Selamlar herkese,
Uzun süredir üzerinde çalıştığım ve piyasadaki "korumalı sitelerden veri çekme" (scraping) problemini kökünden çözen açık kaynak projem PhantomAPI'yi sizlerle paylaşmak istiyorum.
Cloudflare, Datadome veya benzeri WAF (Web Application Firewall) korumasına sahip sitelerden veri çekerken 403 yiyorsanız veya bloklanıyorsanız, bu API tam size göre. Sistem; gerçek bir Chrome tarayıcısını (undetected) hayalet modunda arka planda çalıştırıp engelleri aşıyor, sayfa kaynağını gereksiz etiketlerden temizliyor ve OpenAI (GPT-4o) kullanarak tam olarak istediğiniz veriyi yapılandırılmış JSON formatında size geri döndürüyor.
Dosyaları kendi sunucularınızda inceleyebilir, geliştirebilir ve dilediğiniz gibi kullanabilirsiniz.
İndirme Linki:
VirusTotal Analizi:
Kurulum, kullanım veya geliştirmelerle alakalı her türlü sorunuzu konu altından sorabilirsiniz. Fikirlerinize ve PR (Pull Request) desteklerinize her zaman açığım.
Güle güle kullanın!
Uzun süredir üzerinde çalıştığım ve piyasadaki "korumalı sitelerden veri çekme" (scraping) problemini kökünden çözen açık kaynak projem PhantomAPI'yi sizlerle paylaşmak istiyorum.
Cloudflare, Datadome veya benzeri WAF (Web Application Firewall) korumasına sahip sitelerden veri çekerken 403 yiyorsanız veya bloklanıyorsanız, bu API tam size göre. Sistem; gerçek bir Chrome tarayıcısını (undetected) hayalet modunda arka planda çalıştırıp engelleri aşıyor, sayfa kaynağını gereksiz etiketlerden temizliyor ve OpenAI (GPT-4o) kullanarak tam olarak istediğiniz veriyi yapılandırılmış JSON formatında size geri döndürüyor.
- Advanced Stealth Modu (WAF Bypass): Özel Chrome "flags" ayarları ve TLS Fingerprint Spoofing teknikleriyle en zorlu Cloudflare/Datadome engellerini takılmadan geçer.
Yapay Zeka (GPT-4o) Entegrasyonu: CSS Selectors veya XPath ile saatlerce uğraşmanıza gerek yok. Sadece ne istediğinizi prompt olarak yazın (Örn: "Sayfadaki tüm ürün isimlerini ve fiyatlarını listele"), API size doğrudan JSON versin.
Senkron & Asenkron (Webhook) Desteği: İster anlık JSON cevabı alın, isterseniz ağır sayfalar için sisteme bir webhook_url verin. Sistem işi arka planda halledip sonuçları webhook adresinize POST etsin.
Akıllı Kuyruk (Smart Queue) ve Rate-Limit: Sunucunuzun CPU/RAM kaynaklarını korumak için MAX_CONCURRENT_TASKS sınırı içerir. Aşırı yüklenmede sunucuyu kitlemez, API isteklerini sıraya sokar.
Dinamik Proxy Rotasyonu: proxies.txt dosyasına ekleyeceğiniz proxy'leri her istekte rastgele kullanır, patlayan veya ban yiyen proxy'leri havuzdan otomatik siler.
Tek Tıkla Kurulum: Tüm sistem Dockerize edilmiştir. Sadece docker-compose up -d yazarak saniyeler içinde kendi sunucunuzda ayağa kaldırabilirsiniz.
- Backend: FastAPI, Uvicorn, Python 3.11+
- Scraping: Undetected-Chromedriver, Selenium, BeautifulSoup4, LXML
- AI: OpenAI GPT-4o
- Koruma/Optimizasyon: SlowAPI (Rate limit), Tenacity (Exponential Backoff), Asyncio Semaphore
Dosyaları kendi sunucularınızda inceleyebilir, geliştirebilir ve dilediğiniz gibi kullanabilirsiniz. İndirme Linki:
İçeriklerden Faydalanmak için Üye olmanız Gerekmektedir. Giriş yap veya üye ol.
VirusTotal Analizi:
İçeriklerden Faydalanmak için Üye olmanız Gerekmektedir. Giriş yap veya üye ol.
Kurulum, kullanım veya geliştirmelerle alakalı her türlü sorunuzu konu altından sorabilirsiniz. Fikirlerinize ve PR (Pull Request) desteklerinize her zaman açığım.
Güle güle kullanın!