Siber Güvenlik ve Osint Araçlarından
SPİDERFOOT
SpiderFoot
SpiderFoot, açık kaynak istihbaratı (OSINT) toplamak ve analiz etmek amacıyla geliştirilen ücretsiz bir keşif aracıdır. IP adresleri, alan adları, alt alan adları, e-posta adresleri, kullanıcı adları, telefon numaraları, ASN bilgileri, CIDR aralıkları ve hatta bazı kripto para adresleri gibi çok sayıda veri türü üzerinde çalışabilir. Araç, farklı veri kaynaklarıyla entegre biçimde çalıştığı için hedef hakkında kapsamlı bilgi toplama imkânı sunar. GitHub üzerinden erişilebilen SpiderFoot, hem komut satırı arayüzü hem de web tabanlı grafik arayüzü ile kullanılabilir.SPİDERFOOT
SpiderFoot
200’den fazla modüle sahip olması, aracı özellikle kırmızı takım çalışmaları, keşif faaliyetleri, tehdit istihbaratı analizleri ve kurumların internette istemeden açığa çıkardığı bilgilerin tespit edilmesi açısından oldukça kullanışlı hâle getirir.
İçerik Başlıkları
1. Hakkında
2. SpiderFoot HX
3. Yardım Alma
4. Ön Koşullar
5. SpiderFoot’u Çalıştırma
6. Güvenlik
7. API Anahtarları
8. SpiderFoot’un Yapılandırılması
9. SpiderFoot’un Kullanımı
10. Modüller
11. Veritabanı
________________________________________
1. Hakkında
SpiderFoot nedir?
SpiderFoot, hedef sistemler ya da dijital varlıklar hakkında bilgi toplamak için 100’den fazla açık veri kaynağını otomatik biçimde sorgulayan bir OSINT aracıdır. Kullanıcı, incelemek istediği hedefi belirler, hangi modüllerin devreye gireceğini seçer ve ardından sistem hedefe ilişkin varlıkları ve bu varlıkların birbirleriyle olan bağlantılarını ortaya çıkarır.
OSINT nedir?
OSINT, yani Açık Kaynak İstihbaratı, herkese açık kaynaklardan elde edilen verilerin analiz edilmesiyle oluşturulan bilgi bütünüdür. DNS kayıtları, Whois verileri, internet siteleri, pasif DNS kayıtları, spam kara listeleri, dosya meta verileri, tehdit istihbaratı listeleri ve Shodan ya da Have I Been Pwned gibi servisler bu kapsama girer. Bu kaynaklar, hedef hakkında dikkat çekici ve güvenlik açısından önemli bilgiler ortaya çıkarabilir.
SpiderFoot ile neler yapılabilir?
SpiderFoot’un ürettiği sonuçlar, penetrasyon testlerinde, kırmızı takım uygulamalarında veya tehdit istihbaratı süreçlerinde önemli avantaj sağlar. Araç, veri sızıntıları, güvenlik açıkları ve hassas bilgi ifşaları gibi risk alanlarını görünür kılar. Ayrıca sadece hedef sistemler için değil, kişinin kendi ağı ya da kurumu için de kullanılabilir; böylece internette hangi bilgilerin açık durumda olduğu görülebilir.
________________________________________
2. SpiderFoot HX
SpiderFoot HX, açık kaynak sürümün temel modül yapısını esas alan, ancak daha gelişmiş yetenekler sunan ticari sürümdür. Performans, kullanılabilirlik, veri görselleştirme ve güvenlik gibi alanlarda açık kaynak sürüme göre daha kapsamlı özellikler içerir.
Öne çıkan özellikleri
• Kurulum gerektirmemesi: Kayıt sonrasında sistem hazır hâlde kullanılabilir. Kullanıcı ayrıca bağımlılık yüklemek, sanal makine hazırlamak ya da yüksek donanım kaynağı ayırmak zorunda kalmaz.
• Soruşturma modu: Tam otomasyon yerine adım adım veri toplamak isteyen kullanıcılar için daha kontrollü bir inceleme imkânı sağlar.
• Çok hedefli tarama: Aynı soruşturma kapsamında birden fazla hedef birlikte taranabilir. Böylece ilişkiler daha net biçimde ortaya çıkarılır.
• Daha hızlı taramalar: Yeniden tasarlanmış arka uç mimarisi sayesinde açık kaynak sürüme kıyasla çok daha hızlı sonuç alınabilir.
• OSINT izleme: Taramalar belirli periyotlarla otomatik çalıştırılabilir; değişiklikler izlenebilir ve kullanıcı uyarılabilir.
• E-posta bildirimleri: Tarama tamamlandığında veya izlenen hedeflerde değişiklik olduğunda bildirim gönderilebilir.
• Slack entegrasyonu: İsteyen kullanıcılar bildirimleri Slack üzerinden alabilir.
• Hedef içe aktarma: Çok sayıda hedef CSV gibi formatlarla sisteme toplu biçimde aktarılabilir.
• Ek modüller: Daha kapsamlı veri toplama için yeni modüller sunar.
• Korelasyon motoru: Tespit edilen veriler arasında anlamlı ilişkiler kurarak öncelikli incelenmesi gereken bulguları öne çıkarır.
• Raporlama ve görselleştirme: Sonuçlar veri türüne, kaynağa ve modüle göre sınıflandırılarak sunulur.
• Takım çalışması: Rol tabanlı erişim kontrolü sayesinde ekipler aynı platformda ortak çalışabilir.
• API desteği: Neredeyse tüm arayüz işlevlerini destekleyen REST tabanlı bir API sunar.
• Güvenlik önlemleri: İki faktörlü kimlik doğrulama ve yetki yönetimi gibi özelliklerle platform güvenliği artırılmıştır.
• Anonim tarama: TOR entegrasyonu sayesinde taramaların daha gizli biçimde yürütülmesi mümkündür.
• Özel tarama profilleri: Sık kullanılan modül kombinasyonları profil olarak kaydedilip tekrar kullanılabilir.
________________________________________
3. Yardım Alma
SpiderFoot ile ilgili destek almak isteyen kullanıcılar farklı kanallardan yardım isteyebilir. Topluluk sunucuları üzerinden diğer kullanıcılarla iletişim kurulabilir, öğretici videolar izlenebilir, GitHub deposunda sorun bildirimi yapılabilir ya da destek ekibine e-posta gönderilebilir. Bu sayede hem teknik problemler hem de kullanım sürecine ilişkin sorular için çeşitli destek yolları sunulmuş olur.
________________________________________
4. Ön Koşullar
SpiderFoot farklı işletim sistemlerinde çalışabilir ve kurulum süreci platforma göre değişebilir.
Docker kullanımı
Linux ortamında gerekli bileşenleri tek tek kurmak istemeyen kullanıcılar, aracı Docker konteyneri içinde çalıştırabilir. Bu yöntem kurulum sürecini kolaylaştırır.
Linux / BSD / Solaris
SpiderFoot, Python 3 ile geliştirilmiştir. Bu nedenle Linux, Solaris, FreeBSD ve benzeri sistemlerde Python 3.6 ve üzeri sürümlerin kurulu olması gerekir. Gerekli bağımlılıklar pip ile yüklenebilir.
Windows
Eski sürümlerde paketlenmiş çalıştırılabilir dosyalar sayesinde Python kurmadan da kullanım mümkündür. Ancak depodan çalışan sürüm tercih edilecekse Python, pip ve isteğe bağlı olarak Git yüklenmelidir.
macOS
MacOS üzerinde kurulum için genellikle Homebrew kullanılır. Önce Python ve pip yüklenir, ardından gerekli SpiderFoot bağımlılıkları kurulur. Depodan güncel sürüm çekmek isteyenler ayrıca Git de yükleyebilir.
Kurulum yöntemi
SpiderFoot genellikle iki farklı biçimde edinilir:
• Git deposunu klonlayarak
• Hazır paket ya da arşiv dosyasını indirerek
Git ile kurulum daha çok önerilir; çünkü güncel sürümlere erişmek daha kolaydır.
________________________________________
5. SpiderFoot’u Çalıştırma
SpiderFoot, komut satırı ya da web arayüzü üzerinden çalıştırılabilir. Kullanım biçimi, aracın hangi amaçla devreye alınacağına göre değişir.
Web arayüzü modu
Kullanıcı, belirli bir IP adresi ve port üzerinden yerleşik web sunucusunu başlatabilir. Bu mod sayesinde taramalar web tarayıcısı üzerinden yönetilir, sonuçlar incelenir ve yapılandırmalar arayüzden yapılabilir. Ayrıca istemci/sunucu mantığıyla çalışan CLI aracı da bu yapı ile birlikte kullanılabilir.
Tarama modu
SpiderFoot, web sunucusu başlatmadan yalnızca komut satırından da tarama yapabilir. Bu mod, taramayı hızlı biçimde başlatmak ve çıktıyı doğrudan almak isteyen kullanıcılar için uygundur.
Kullanım mantığı
Sistem başlatıldığında kullanıcıdan genellikle bir hedef belirtmesi beklenir. Eğer gerekli parametreler verilmemişse araç hangi modda çalıştırılacağını anlayamaz ve yardım ekranı gösterir. Web arayüzü modunda sunucu başlatılır; tarama modunda ise sadece hedefe yönelik veri toplama işlemi yapılır.
Dikkat edilmesi gerekenler
Varsayılan yapılandırmada SpiderFoot, erişen kullanıcıları doğrulamaz. Bu nedenle güvenilmeyen ağlarda ya da herkesin erişebileceği sistemlerde dikkatli kullanılmalıdır. Kimlik doğrulama ve HTTPS desteği için güvenlik ayarlarının etkinleştirilmesi gerekir.
________________________________________
6. Güvenlik
SpiderFoot’un 2.7 sürümünden itibaren kimlik doğrulama ve TLS/SSL desteği bulunmaktadır.
Kimlik doğrulama
Araç dizininde belirli bir parola dosyası bulunursa temel kimlik doğrulama devreye girer. Bu dosyada kullanıcı adı ve parola bilgileri satır bazlı tutulur. Böylece arayüze yetkisiz erişim engellenebilir.
TLS/SSL desteği
SpiderFoot, gerekli sertifika ve anahtar dosyaları tespit ettiğinde yalnızca HTTPS üzerinden hizmet verir. Aynı anda hem HTTP hem de HTTPS sunmak mümkün değildir. Böyle bir ihtiyaç varsa ters vekil sunucu kullanılması daha uygun bir yöntemdir.
________________________________________
7. API Anahtarları
SpiderFoot modüllerinin bir kısmı, tam verimle çalışabilmek için API anahtarlarına ihtiyaç duyar. Kullanıcılar, ilgili hizmetlerden bu anahtarları edinerek modül ayarlarına ekleyebilir. Her modülün hangi servise ihtiyaç duyduğu ve anahtarın nasıl alınacağı modül ayarlarında açıklanır.
________________________________________
8. SpiderFoot’un Yapılandırılması
SpiderFoot’un güçlü yönlerinden biri esnek yapılandırma imkânı sunmasıdır. Kullanıcı arayüzündeki ayarlar bölümü üzerinden hemen her özellik özelleştirilebilir.
Yapılandırmada öne çıkan noktalar
• API anahtarları içe ve dışa aktarılabilir.
• Hata ayıklama modu çok fazla günlük üretebilir; bu da bazı durumlarda veritabanı kilitlenme uyarılarına yol açabilir.
• Özellikle DNS ile ilişkili modüllerin doğru yapılandırılması önemlidir; çünkü bu modüller diğer birçok modülün çalışmasını etkiler.
________________________________________
9. SpiderFoot’un Kullanımı
Taramayı başlatma
Web arayüzü ilk açıldığında sistemde geçmiş veri bulunmuyorsa kullanıcıya boş bir ekran sunulur. Yeni bir tarama başlatmak için üst menüden ilgili seçenek seçilir. Ardından tarama adı ve hedef bilgisi girilir.
Kullanıcı, taramayı varsayılan veri türlerine göre ya da modül tabanlı olarak başlatabilir. Modül tabanlı yaklaşım, hangi modülün ne yaptığını bilen ve daha ayrıntılı kontrol isteyen kullanıcılar için daha uygundur.
Tarama sonuçları
Tarama başlatıldıktan sonra, kullanıcıya işlemin durumu neredeyse gerçek zamanlı biçimde gösterilir. Ekranda hem günlük kayıtları hem de toplanan verileri gösteren grafikler yer alır. Sonuçlar veri türüne göre sınıflandırılabilir ve ayrıntılı biçimde incelenebilir.
Veri inceleme
Her bir veri türüne tıklandığında, o başlık altında toplanan sonuçlar görülebilir. Kullanıcı burada verinin kendisini, hangi modül tarafından üretildiğini, hangi kaynaktan geldiğini ve ne zaman tespit edildiğini inceleyebilir.
Yanlış pozitif işaretleme
SpiderFoot, bazı kayıtları yanlış pozitif olarak işaretleme imkânı da sunar. Böylece analiz sırasında gereksiz ya da yanıltıcı sonuçlar filtrelenebilir. Ancak bu işlem yalnızca tarama tamamlandıktan sonra yapılabilir.
Arama özelliği
Sonuçlar, tarama genelinde ya da belirli veri türleri içinde aranabilir. Tam değerle arama, joker karakter kullanarak desen eşleştirme ya da düzenli ifade ile arama gibi yöntemler desteklenir.
Taramaları yönetme
Birikmiş tarama geçmişi, “Taramalar” bölümü üzerinden görüntülenebilir. Bu kısımda önceki taramalar filtrelenebilir, güncellenebilir ya da toplu işlemler uygulanabilir.
________________________________________
10. Modüller
Genel yapı
SpiderFoot, modül temelli bir mimariyle çalışır. Bir modül yeni bir veri bulduğunda, bu veri ilgili diğer modüllere olay olarak iletilir. Böylece modüller birbirini besleyen bir yapı içinde çalışır ve tarama süreci giderek derinleşir.
Örneğin, bir modül hedefe ait bir IP adresi bulduğunda, bu bilgi başka modüller tarafından alınarak ağ bloğu, ASN bilgisi ya da coğrafi konum gibi ek veriler üretilebilir.
Olay mantığı
Her modül, hangi veri türlerini dinlediğini ve hangi veri türlerini üretebildiğini tanımlar. Bu olay tabanlı yapı, SpiderFoot’un esnek ve genişletilebilir olmasını sağlar.
Modül listesi
Sistemde çok sayıda modül yer alır. Bu modüller kötü amaçlılık kontrolü, hesap arama, pasif DNS inceleme, arşiv verisi tarama, tehdit istihbaratı sorgulama ve benzeri birçok işlevi yerine getirir.
Veri öğeleri
SpiderFoot’un çalıştığı veri türleri genel olarak şu başlıklarda toplanabilir:
• IP adresleri
• Alan adları ve internet isimleri
• URL’ler
• Açık portlar
• Yazılım bilgileri
• Coğrafi veriler
• Web içerikleri
• Ham DNS kayıtları
• Tehdit göstergeleri
Modül geliştirme
Kullanıcı isterse SpiderFoot için yeni modüller de yazabilir. Bunun için örnek şablon dosyası temel alınır. Modülün hangi olayları izleyeceği, hangi verileri üreteceği ve olay işlendiğinde hangi mantığın çalışacağı tanımlanır. Yeni veri türleri gerekiyorsa bunlar veritabanına da eklenebilir.
________________________________________
11. Veritabanı
SpiderFoot’ta toplanan tüm veriler SQLite tabanlı bir veritabanında saklanır. Bu yapı sayesinde tarama sonuçları daha sonra tekrar incelenebilir, sorgulanabilir ve farklı amaçlarla analiz edilebilir.
Veritabanı şeması oldukça sade tutulmuştur. Kullanıcılar isterlerse doğrudan SQLite sorguları ile toplam tarama sayısı, belirli bir taramaya ait kimlik bilgisi ya da veri türlerine göre sonuç dağılımı gibi bilgilere ulaşabilir.
Bu yapı, SpiderFoot’un yalnızca anlık bir tarama aracı değil, aynı zamanda geçmiş veriler üzerinde analiz yapılabilen bir platform olmasını sağlar.
________________________________________
Genel Değerlendirme
SpiderFoot, açık kaynak istihbaratı toplama ve ilişkilendirme süreçlerini otomatikleştiren güçlü bir araçtır. Hem güvenlik araştırmacıları hem de kurum içi güvenlik ekipleri için yararlı bir altyapı sunar. Açık kaynak sürümü temel ihtiyaçları karşılayacak düzeyde işlevsel olsa da, SpiderFoot HX daha gelişmiş kullanım senaryoları için ek kabiliyetler sağlar. Özellikle veri görselleştirme, ekip çalışması, otomatik izleme ve güvenlik yönetimi gibi alanlarda daha profesyonel bir yaklaşım sunar.