Screaming Frog SEO Spider, bir web sitesini arama motoru botlarına benzer biçimde gezen ve her URL için teknik verileri tek bir arayüzde toplayan masaüstü bir tarama (crawling) yazılımıdır. Yanıt kodları, başlık etiketleri, canonical yönergeleri, iç bağlantılar, görseller ve yapısal veriler gibi yüzlerce sinyal tek taramada listelenir. Bu rehberde yazılımın kurulumunu, ayarlarını, tarama modlarını ve sonuç ekranlarının nasıl yorumlanacağını teknik SEO denetimi bakış açısıyla ele alıyoruz.
Screaming Frog SEO Spider Nedir ve Nasıl Çalışır?
Yazılım, bulut tabanlı bir panel değil, bilgisayarınıza kurulan Java tabanlı bir masaüstü uygulamasıdır. Başlangıç URL’sinden yola çıkar, sayfalardaki bağlantıları takip eder ve keşfettiği her adresi tarama kuyruğuna ekler. Her istek için sunucunun yanıtını ve sayfanın HTML içeriğini kaydeder, ardından bu ham veriyi sekmeler ve filtreler halinde sunar.
Ücretsiz sürüm bir taramada 500 URL ile sınırlıdır ve gelişmiş özelliklerin çoğuna erişim vermez. Lisanslı sürümde URL sınırı kalkar; JavaScript rendering, API entegrasyonları, özel veri kazıma, tarama karşılaştırma ve zamanlanmış tarama gibi özellikler açılır. Küçük bir kurumsal siteyi hızlıca kontrol etmek için ücretsiz sürüm yeterli olabilir. Binlerce ürün sayfası olan bir e-ticaret sitesinde ise lisans fiilen zorunludur.
Kurulum ve Lisans Etkinleştirme
Yazılımın Windows, macOS ve Ubuntu sürümleri bulunur. İşletim sisteminize uygun kurulum dosyasını indirip standart kurulum adımlarını tamamlamanız yeterlidir. Lisans satın aldıysanız üst menüden Licence bölümüne girip kullanıcı adınızı ve lisans anahtarınızı eklemeniz gerekir. Bilgiler doğrulandığında lisansın geçerlilik süresi görüntülenir. Lisansın devreye girmesi için uygulamayı kapatıp yeniden açmanız gerekir.
Lisans kullanıcı bazlıdır. Bir lisans tek bir kişi tarafından kullanılabilir, ancak aynı kişi birden fazla cihazda çalışabilir. Ekip içinde birden fazla kişi tarama yapacaksa her kullanıcı için ayrı lisans gerekir.
Sistem Ayarları Bellek ve Depolama Yapılandırması
Tarama performansını belirleyen ilk ayarlar Configuration > System altında yer alır. Burada bellek ayırma, depolama modu, proxy ve arayüz dili seçenekleri bulunur. Büyük sitelerde taramanın yarıda kesilmesinin en yaygın nedeni bu bölümdeki yanlış yapılandırmadır.
Memory Allocation ve Storage Mode Seçimi
Memory Allocation, yazılıma ayrılan RAM miktarını belirler. Yüksek URL sayılı sitelerde bu değeri makinenizin kapasitesine göre artırmak hem taranabilecek URL sayısını yükseltir hem de işlem süresini kısaltır. Ayrılan belleği aşırı yükseltip işletim sisteminin kendisine yer bırakmamak ise sistemi yavaşlatır.
Storage Mode iki seçenek sunar. Memory Storage modunda veriler RAM’de tutulur. Bu mod hızlıdır ve yaklaşık yarım milyon URL’ye kadar olan siteler ile bol RAM’e sahip makineler için uygundur. Database Storage modunda ise veriler SSD üzerindeki bir veritabanına yazılır. Büyük sitelerde, kapanma riskine karşı güvenli çalışmak istediğinizde ve tarama geçmişini saklamak gerektiğinde bu mod tercih edilir. Eski taramaları yeniden açabilmek ve iki taramayı kıyaslayabilmek de bu moda bağlıdır.
Proxy ve Dil Ayarları
Taramayı bir proxy üzerinden yürütecekseniz tek bir proxy sunucusu tanımlayabilirsiniz. Ayar değişikliğinin geçerli olması için yazılımın yeniden başlatılması gerekir. Proxy açıkken trafik ya tamamen proxy üzerinden gider ya da hiç gitmez, kısmi istisna tanımlanamaz. Arayüz dili seçeneklerinde Türkçe bulunmaz. Yazım ve dil bilgisi denetimi için de kullanacağınız dilin desteklenen diller arasında olup olmadığını taramadan önce kontrol etmelisiniz.
Tarama Modları ve Kullanım Senaryoları
Yazılım dört farklı çalışma modu sunar. Doğru modu seçmek hem zamandan tasarruf sağlar hem de gereksiz veri kalabalığını önler.
| Mod | Girdi | Ne yapar | Tipik kullanım |
|---|---|---|---|
| Spider | Tek bir başlangıç URL’si | Bağlantıları takip ederek siteyi baştan sona keşfeder | Genel teknik SEO denetimi |
| List | URL listesi veya site haritası | Yalnızca verilen adresleri tarar, yenilerini keşfetmez | Belirli bir dizinin veya yönlendirme listesinin doğrulanması |
| SERP | Başlık ve açıklama verisi | Metinlerin arama sonuçlarındaki görünümünü ve piksel genişliğini önizler | Toplu snippet planlama ve düzenleme |
| Compare | İki kayıtlı tarama | İki tarama arasındaki farkları gösterir | Yayın veya migrasyon öncesi ve sonrası kıyaslama |
Compare modu veritabanı depolama gerektirir. Önceki taramada bulunan sorunların yeni taramada azalıp azalmadığını, değişim algılama sekmesinden görebilirsiniz. Artan sorunlar kırmızı, iyileşenler yeşil renkle işaretlenir. Bu özellik, site taşıma ve yeniden tasarım projelerinde kayıp yaşanıp yaşanmadığını ölçmenin en pratik yoludur.
İlk Taramayı Başlatmak
Spider modunda üst bölümdeki URL alanına site adresini yazıp Start butonuna basmanız yeterlidir. İlerleme yüzdesi sağ üstte, kalan URL sayısı ise sağ altta görünür. Tarama hızı sitenin sunucu kapasitesine, URL sayısına ve kendi makinenizin gücüne bağlı olarak değişir. Alt çubuktaki ortalama ve anlık hız göstergeleri, saniyede kaç URL işlendiğini takip etmenizi sağlar.
Taramayı başlatmadan önce yapılandırma yapmak çoğu zaman daha verimlidir. Çünkü tarama bittikten sonra eksik bir ayarı fark etmek, tüm süreci baştan çalıştırmak anlamına gelir.
Tarama Öncesi Gelişmiş Yapılandırmalar
Configuration menüsü, taramanın kapsamını, hızını ve zenginleştirme kaynaklarını belirler. Aşağıdaki başlıklar, pratikte en çok fark yaratan ayarları özetler.
Spider Ayarları ve Rendering Seçimi
Spider penceresi birkaç sekmeden oluşur. Crawl sekmesinde hreflang, canonical, sayfalandırma ve site haritası gibi öğelerin taramaya dahil edilip edilmeyeceğini seçersiniz. Extraction sekmesinde yapısal veri formatları (JSON-LD, Microdata, RDFa), ham ve render edilmiş HTML’in saklanması gibi tercihler yer alır. Limits sekmesi taranacak maksimum URL sayısını, tarama derinliğini ve yönlendirme zinciri sınırını belirler. Preferences sekmesinde ise başlık, açıklama ve H1 için karakter ve piksel eşiklerini kendi standartlarınıza göre değiştirebilirsiniz.
İstemci tarafında JavaScript ile içerik üreten siteleri taramadan önce Rendering ayarını JavaScript olarak seçmek gerekir. Aksi halde yazılım yalnızca ham HTML’i görür ve dinamik olarak yüklenen bağlantılar, başlıklar veya içerikler eksik kalır.
Include, Exclude ve URL Rewriting
Büyük sitelerde yalnızca belirli bir dizini taramak için Include, gereksiz parametreli veya filtreli adresleri dışarıda bırakmak için Exclude kullanılır. İkisi de düzenli ifadelerle (regex) çalışır ve her satıra bir kural yazılır. Başlangıç URL’sinin Include kurallarıyla eşleşmesi gerekir. Exclude kuralları ise başlangıç URL’sine uygulanmaz, yalnızca taramada sonradan keşfedilen adreslere işler.
URL Rewriting ise izleme parametrelerini temizlemek veya protokol farklarını normalize etmek için kullanılır. Örneğin utm parametreleri kaldırılarak aynı sayfanın yüzlerce kopya URL olarak listelenmesi engellenir.
Robots.txt, User-Agent ve Hız Kontrolü
Robots.txt ayarlarında yazılım, dosyadaki kurallara uyacak ya da kuralları yok sayacak şekilde yapılandırılabilir. Test ortamlarını veya engellenmiş alanları incelerken kuralları yok saymak işe yarar. Özel bir robots.txt girip kuralların taramayı nasıl etkileyeceğini önceden test etmek de mümkündür. Bot yönergelerinin tarama davranışını nasıl şekillendirdiğini daha geniş bir çerçevede görmek için robots.txt ile yapay zekâ botlarının nasıl yönetildiğini anlatan rehbere göz atabilirsiniz.
User-Agent ayarı, sunucuya hangi istemci olarak görüneceğinizi belirler. Bazı güvenlik katmanları yazılımın varsayılan kimliğini engeller. Böyle durumlarda Googlebot gibi bir kimlik seçmek taramayı mümkün kılabilir. Aynı ayar, sayfanın farklı botlara nasıl sunulduğunu karşılaştırmak için de kullanılır. Botların siteyi nasıl keşfettiğini ve işlediğini merak ediyorsanız yapay zekâ botlarının web sitenizi nasıl taradığını ele alan içerik güçlü bir tamamlayıcıdır.
Speed bölümünde eşzamanlı iş parçacığı sayısı ve saniyedeki istek sınırı ayarlanır. Zayıf sunuculara agresif bir tarama yapmak 500 hatalarına ve sitenin yavaşlamasına yol açabilir. Canlı bir sitede önce düşük hızla başlayıp sunucu tepkisini izlemek daha sağlıklıdır.
Custom Search ve Custom Extraction
Custom Search, kaynak kodda belirli bir ifadenin bulunup bulunmadığını tüm sitede kontrol eder. Analitik kodu eksik olan sayfaları ya da belirli bir etiketin yanlış kullanıldığı şablonları bulmak buna örnektir. Custom Extraction ise CSSPath, XPath veya regex ile HTML’den veri kazır. Ürün kodları, fiyatlar, yazar adları, yayın tarihleri ve stok durumu gibi alanlar toplu olarak çekilip tabloya aktarılabilir. Bu özellik yalnızca 200 yanıt veren HTML sayfalarında çalışır. Dinamik olarak oluşan veriler için JavaScript rendering gerekir.
API Bağlantıları ile Veri Zenginleştirme
API Access bölümü, tarama verisini dış kaynaklarla birleştirir. Google Analytics ve Search Console bağlantısı, her URL’nin oturum, tıklama, gösterim ve konum verisini tarama tablosuna ekler. Ayrıca bu kaynaklarda görünüp sitede artık bulunmayan adreslerin de taranmasını sağlayan seçenekler vardır. Bu sayede eski ve yetim kalmış URL’ler yakalanır. Search Console bağlantısı URL denetimi verisini de getirdiğinden, dizinleme sorunlarını tarama bulgularıyla eşleştirebilirsiniz. Bu verilerin yorumlanmasında Search Console sayfa dizinleme raporu rehberi yol gösterici olacaktır.
PageSpeed Insights bağlantısı, her URL için Lighthouse ve alan verilerini getirir. Etkileşim performansını değerlendirirken INP metriğinin ölçümü ve optimizasyonu hakkındaki içerikten yararlanabilirsiniz. Üçüncü taraf backlink platformlarına bağlantı kurarak sayfa bazında bağlantı metriklerini de aynı tabloya ekleyebilirsiniz. Üye girişi arkasındaki alanlar için ise Authentication bölümünde form tabanlı oturum bilgisi tanımlanır.
Sonuç Sekmelerini Okumak
Tarama tamamlandığında ana ekrandaki sekmeler, sorunları kategorilere ayırarak sunar. Her sekmenin sağ panelinde filtreler bulunur ve tüm veriler dışa aktarılabilir. Aşağıdaki sekmeler denetimde en sık başvurulanlardır.
- Internal ve External sekmeleri, site içi kaynakları ve dışarıya giden bağlantıları listeler. Dış bağlantıları incelemek, bilginiz dışında eklenmiş şüpheli yönlendirmeleri bulmanın hızlı bir yoludur.
- Response Codes sekmesi, 2xx, 3xx, 4xx ve 5xx yanıtlarını ayırır. Kırık sayfaları, yönlendirme zincirlerini ve engellenmiş kaynakları buradan tespit edersiniz. Yanıt kodlarının SEO’ya etkisini HTTP durum kodları rehberinde ayrıntılı biçimde bulabilirsiniz.
- URL sekmesi, büyük harf, alt çizgi, parametre, çoklu eğik çizgi ve aşırı uzunluk gibi adres yapısı sorunlarını işaretler.
- Page Titles, Meta Description, H1 ve H2 sekmeleri, eksik, yinelenen, çok uzun veya çok kısa etiketleri filtreler. Karakter ve piksel değerleri birlikte gösterilir.
- Content sekmesi, kelime sayısı, birebir ve yakın kopya içerik ile yazım denetimi bulgularını sunar. Yakın kopya eşiği varsayılan olarak yüzde 90’dır ve ayarlardan değiştirilebilir.
- Images sekmesi, büyük dosyaları ve eksik alt metinleri bulur.
- Canonical, Directives ve Pagination sekmeleri, indeksleme sinyallerindeki çelişkileri ortaya çıkarır. Noindex, nofollow, çoklu canonical veya zincirleme sayfalandırma sorunları buradan görülür.
- Hreflang sekmesi, çok dilli sitelerde karşılıklı bağlantı eksiklerini, hatalı dil kodlarını ve x-default eksikliğini gösterir.
- Structured Data ve Sitemaps sekmeleri, doğrulama hatalarını, site haritasında yer alan ancak indekslenemeyen URL’leri ve haritada olmayan yetim sayfaları listeler.
- Security sekmesi, karma içerik, güvensiz formlar ve eksik güvenlik başlıklarını ortaya çıkarır.
Yan Panel ve Alt Sekmelerle Derinlemesine İnceleme
Sağdaki panelde Overview, Site Structure, Response Times, API ve Spelling & Grammar görünümleri bulunur. Site Structure, URL’leri klasör hiyerarşisine göre gruplayarak
gruplandırarak site mimarisini ve tarama derinliğini görselleştirir. Önemli sayfaların ana sayfadan kaç tıklık uzaklıkta olduğunu bu görünümde net biçimde görürsünüz. Response Times görünümü sunucu yanıt sürelerini saniye aralıklarına böler ve hangi URL kümesinin yavaş yanıt verdiğini ortaya koyar. API görünümü bağlı hesapların ilerleme durumunu ve hata sayısını gösterir.
Alt Sekmelerle URL Bazlı Teşhis
Üst tabloda bir URL seçtiğinizde alt sekmeler o adrese ait ayrıntıları açar. URL Details yanıt kodu, indekslenebilirlik durumu ve tarama derinliğini verir. Inlinks sayfaya hangi adreslerden hangi bağlantı metniyle link verildiğini, Outlinks ise sayfadan çıkan bağlantıları gösterir. İç bağlantı dağılımını bu iki sekmeyle denetlemek, yetim kalan veya yeterli bağlantı almayan sayfaları bulmanın en doğrudan yoludur.
SERP Snippet başlık ve açıklamanın arama sonuçlarındaki olası görünümünü piksel hesabıyla önizler. Rendered Page JavaScript ile oluşan sayfanın render edilmiş halini gösterir, ancak bunun için Spider ayarlarında ham ve render edilmiş HTML’in saklanması gerekir. View Source kaynak kodu inceler, HTTP Headers sunucunun gönderdiği başlıkları listeler, Cookies ise sayfaların bıraktığı çerezleri ortaya çıkarır. Duplicate Details yakın kopya sayfaların benzerlik oranlarını karşılaştırmanıza olanak tanır.
Sitenin Taranamaması Durumunda Kontrol Edilecekler
Tarama başlamıyor veya tek bir URL’de duruyorsa nedenler genellikle üç grupta toplanır. İlk olarak robots.txt dosyası botu engelliyor olabilir. Bu durumda dosya kurallarını yok sayacak şekilde yapılandırma yapılabilir. İkinci olarak güvenlik duvarı veya CDN katmanı yazılımın kimliğini engelliyor olabilir. Bu durumda tarama IP’sinin izin listesine eklenmesi ya da farklı bir User-Agent denenmesi gerekir. Üçüncü olarak içerik tamamen JavaScript ile yükleniyor olabilir. Bu durumda rendering modu JavaScript olarak değiştirilmelidir. Başlangıç URL’sinin yönlendirme yapıp yapmadığını ve Include kurallarıyla çakışıp çakışmadığını da kontrol etmek gerekir.
Tarama Çıktısından Aksiyon Planına
Tarama verisi tek başına bir sonuç değildir, öncelik sırasına konması gereken bir bulgu listesidir. Etkisi en yüksek sorunlar genellikle 4xx ve 5xx yanıtları, indekslemeyi engelleyen noindex ve canonical çelişkileri, uzun yönlendirme zincirleri ve site haritasındaki indekslenemez URL’lerdir. Başlık, açıklama ve başlık hiyerarşisi eksikleri ise ölçeklenebilir iyileştirmelerdir. Her düzeltme sonrasında aynı yapılandırmayla yeniden tarama yapıp Compare modunda sonuçları kıyaslamak, değişikliğin gerçekten çözüm sağlayıp sağlamadığını kanıtlar. Tarama verisini Search Console ve analitik metrikleriyle birleştirdiğinizde, düzeltmeleri trafik potansiyeline göre sıralayabilirsiniz.
Screaming Frog doğru yapılandırıldığında bir sitenin teknik sağlığını nesnel verilerle ortaya koyar. Bellek ve depolama ayarları taramanın kesintisiz tamamlanmasını, Include, Exclude ve hız kontrolleri kapsamın doğru çizilmesini, API entegrasyonları ise bulguların gerçek performans verisiyle ilişkilendirilmesini sağlar. Düzenli aralıklarla tekrarlanan taramalar ve sistematik karşılaştırmalar, teknik borcun birikmesini önler. Bu çalışma disiplinini kurumsal bir yapıya oturtmak isteyen ekipler için profesyonel SEO hizmeti çerçevesi de iyi bir referans noktasıdır.
