Crawling, arama motoru botlarının bir web sitesindeki sayfaları, görselleri, bağlantıları ve diğer kaynakları programlı biçimde ziyaret edip bilgi toplaması işlemidir. Türkçede tarama olarak adlandırılır. Bir sayfanın arama sonuçlarında görünebilmesi için önce keşfedilmesi, ardından taranması gerekir. Bu nedenle tarama, organik görünürlüğün ilk teknik basamağıdır. Tarama aşamasında yaşanan bir aksaklık, içeriğin kalitesi ne olursa olsun sayfanın hiç değerlendirilmemesine yol açabilir.
Tarama işlemi bir sitenin tamamını kapsayabileceği gibi yalnızca belirli sayıda sayfayı da kapsayabilir. Botlar, her sayfada metin içeriklerini, görselleri, kaynak dosyalarını, başlık yapısını, meta verileri ve sayfalar arası bağlantıları okur. Bu işlem yalnızca arama motorlarına özgü değildir. SEO denetim araçları da kendi botlarıyla siteyi tarayarak teknik sorunları raporlar. Aradaki fark amaçtadır. Arama motoru botları dizine eklenecek içeriği belirlemek için gezerken, denetim araçları site sahibine teknik analiz sunmak için gezer.
Arama Motorları Nasıl Çalışır? Tarama, Dizinleme ve Sıralama İlişkisi
Arama motorlarının çalışma düzeni üç ana aşamadan oluşur. İlk aşama taramadır. Bot, bilinen URL’lerden yola çıkarak sayfaları ziyaret eder ve bulduğu yeni bağlantıları ziyaret listesine ekler. İkinci aşama dizinlemedir (indexing). Taranan sayfanın içeriği işlenir, anlamlandırılır ve arama motorunun veri tabanına kaydedilir. Üçüncü aşama sıralamadır (ranking). Kullanıcı bir sorgu girdiğinde dizindeki sayfalar alaka, kalite ve bağlam açısından değerlendirilir, sonuçlar belirli bir sırayla sunulur.
Bu üç aşama birbirine bağlı olsa da aynı şey değildir. Taranan her sayfa dizine eklenmez. Dizine eklenen her sayfa da üst sıralarda yer almaz. Örneğin sayfa tarandıktan sonra düşük kaliteli, yinelenen veya yönlendirilmiş bulunursa dizin dışında bırakılabilir. Bu ayrımı anlamak, sorun giderirken doğru noktaya odaklanmanızı sağlar. Sayfanız hiç görünmüyorsa önce taranıp taranmadığına, sonra dizine girip girmediğine bakmak gerekir. Dizinleme tarafındaki hata türlerini ayrıntılı incelemek için Search Console sayfa dizinleme raporu rehberimizden yararlanabilirsiniz.
Arama Motoru Botları Sayfaları Nasıl Keşfeder?
Googlebot gibi tarayıcılar yeni sayfaları genellikle üç yolla bulur. Birincisi, daha önce taranmış sayfalardaki bağlantılardır. Bir sayfa güçlü bir site içinden veya dış kaynaklardan bağlantı alıyorsa botun ona ulaşma ihtimali artar. İkincisi, XML site haritalarıdır. Site haritası, sitedeki önemli URL’lerin listesini botlara doğrudan sunar. Üçüncüsü, Search Console üzerinden yapılan URL gönderimleri veya dizinleme API’si gibi doğrudan bildirim yöntemleridir. Bu mekanizmanın nasıl işletildiği hakkında Google Indexing API anlatımımız ek teknik bilgi sunar.
Keşif sürecinde bağlantı yapısı belirleyicidir. Hiçbir sayfadan bağlantı almayan yetim sayfalar (orphan pages) botlar tarafından geç bulunur veya hiç bulunamaz. Bu yüzden iç bağlantı mimarisi, taramanın verimliliğini doğrudan etkiler. Anasayfadan tıklama derinliği düşük olan sayfalar daha sık ziyaret edilir. Derinlerde kalan sayfalar ise daha seyrek taranır.
Tarama Sürecinde Botların İncelediği Öğeler
Bot bir sayfaya ulaştığında HTML kaynağını indirir ve içindeki öğeleri analiz eder. Bu analiz yalnızca görünen metinle sınırlı değildir. Aşağıdaki unsurlar tarama sırasında değerlendirilir:
- Sayfa başlığı, meta açıklaması ve heading etiketlerinin hiyerarşisi
- İç ve dış bağlantılar ile bağlantıların rel nitelikleri
- Görseller, alt metinler ve dosya adları
- CSS, JavaScript ve diğer kaynak dosyaları
- Canonical, noindex ve hreflang gibi yönerge etiketleri
- Sunucunun döndürdüğü HTTP durum kodu
Bu öğelerden biri hatalı olduğunda tarama verimi düşer. Örneğin bozuk bir canonical etiketi botu yanlış sayfaya yönlendirebilir. Yanlış bir durum kodu ise sayfanın erişilebilir olup olmadığı konusunda bota hatalı sinyal verir. HTTP durum kodları rehberimiz, hangi yanıtın taramaya nasıl yansıdığını ayrıntılı biçimde açıklar.
JavaScript Tabanlı Sitelerde Tarama ve Render Süreci
Modern sitelerin büyük bölümü içeriği tarayıcıda JavaScript ile oluşturur. Bu durumda botun yalnızca ham HTML’i okuması yeterli olmaz, sayfanın render edilmesi gerekir. Google bu işi iki aşamada yürütür. Önce ham HTML taranır, ardından sayfa render kuyruğuna alınır ve JavaScript çalıştırıldıktan sonra oluşan içerik değerlendirilir. Render kuyruğunda beklemek, içeriğin dizine girmesini geciktirebilir.
Kritik içeriği, bağlantıları ve meta etiketleri istemci tarafında geç yüklenen betiklere bırakmak risklidir. Sunucu taraflı render veya statik üretim gibi yöntemler, içeriğin botlara ilk yanıtta ulaşmasını sağlar. JavaScript’in arama görünürlüğü üzerindeki etkilerini JavaScript ve SEO ilişkisini ele aldığımız içerikte bulabilirsiniz.
Taramayı Etkileyen Temel Faktörler
Bir sitenin ne sıklıkla ve ne derinlikte tarandığı birçok değişkene bağlıdır. Sunucu yanıt süresi bunların başında gelir. Yavaş yanıt veren bir sunucuda bot, siteyi yormamak için tarama hızını düşürür. Site yapısı, URL sayısı, içeriğin güncellenme sıklığı, dış bağlantılar ve genel site otoritesi de tarama davranışını şekillendirir. Aynı şekilde çok sayıda yinelenen veya değersiz URL üreten yapılar, botun zamanını gereksiz sayfalarda harcamasına neden olur.
Bu noktada tarama bütçesi kavramı devreye girer. Tarama bütçesi, botun belirli bir süre içinde bir sitede taramaya istekli olduğu ve taramaya teknik olarak uygun olduğu URL miktarını ifade eder. Küçük siteler için genellikle kritik bir sorun değildir. Binlerce veya milyonlarca sayfası bulunan e-ticaret ve haber siteleri için ise yönetilmesi gereken bir kaynaktır. Konuyu derinlemesine ele aldığımız tarama bütçesi optimizasyon rehberimiz, botları doğru sayfalara yönlendirme adımlarını içerir.
Taramayı Yönlendirme ve Kontrol Yöntemleri
Taramayı tamamen botların insiyatifine bırakmak yerine çeşitli araçlarla yönlendirmek mümkündür. En yaygın araç robots.txt dosyasıdır. Bu dosya, botlara hangi dizinlere veya URL kalıplarına erişmemeleri gerektiğini bildirir. Burada kritik bir ayrım vardır. Robots.txt taramayı engeller, ancak dizinlemeyi tek başına engellemez. Bir URL’ye dışarıdan bağlantı varsa taranmasa bile dizinde görünebilir. Dizinden çıkarmak istediğiniz sayfalar için noindex yönergesi kullanılmalı ve botun bu yönergeyi okuyabilmesi için sayfaya erişim açık bırakılmalıdır. Dosyanın söz dizimi ve doğru kullanımı için robots.txt rehberimize göz atabilirsiniz.
Diğer kontrol araçları şunlardır:
- XML site haritası ile önemli URL’lerin botlara düzenli biçimde bildirilmesi
- Canonical etiketleriyle yinelenen içeriklerde tercih edilen sürümün belirtilmesi
- Meta robots ve X-Robots-Tag yönergeleriyle sayfa bazlı dizinleme kontrolü
- Kalıcı yönlendirmelerle eski URL’lerin yeni adreslere taşınması
- Parametreli ve filtreli URL’lerin kontrol altında tutulması
Sunucu düzeyinde yönlendirme ve erişim kuralları tanımlamak isteyen Apache kullanıcıları için .htaccess dosyası rehberimiz pratik bilgiler sunar.
Sık Karşılaşılan Tarama Sorunları
Tarama kaynaklı sorunlar çoğunlukla sessiz ilerler. Trafik düşene kadar fark edilmeyebilir. En sık görülen sorunlar arasında yanlışlıkla engellenmiş dizinler, zincirleme yönlendirmeler, 404 ve 5xx hataları, çok yavaş yanıt süreleri ve sonsuz URL üreten takvim ya da filtre modülleri yer alır. Bunlara ek olarak içerik olarak boş olduğu halde 200 durum kodu döndüren sayfalar da botun kaynaklarını boşa harcatır. Bu tür sayfaların nasıl tespit edileceğini Soft 404 anlatımımızda bulabilirsiniz.
Bir sorunun tarama mı yoksa dizinleme tarafında mı kaynaklandığını anlamak için aşağıdaki karşılaştırma yol gösterir.
| Aşama | Tipik belirti | Öncelikli kontrol noktası |
|---|---|---|
| Keşif | URL hiç ziyaret edilmiyor | İç bağlantılar, site haritası, yetim sayfa kontrolü |
| Tarama | Bot erişemiyor veya hata alıyor | Robots.txt, sunucu yanıtı, durum kodları |
| Render | İçerik botta eksik görünüyor | JavaScript bağımlılığı, kaynak dosyalara erişim |
| Dizinleme | Taranıyor ama dizine girmiyor | Noindex, canonical, içerik kalitesi, yinelenen içerik |
Tarama Verilerini Analiz Etme Yöntemleri
Taramayı iyileştirmenin ilk adımı onu ölçmektir. Search Console’daki tarama istatistikleri raporu, günlük tarama isteği sayısını, ortalama yanıt süresini ve sunucu hatalarını gösterir. Bu veri, botun siteyle ilişkisinin genel sağlığı hakkında fikir verir. Ancak en güvenilir kaynak sunucu kayıtlarıdır. Gerçek bot ziyaretlerini satır satır gösterdiği için hangi URL’lerin sık, hangilerinin hiç taranmadığı net biçimde görülür. Kayıtların yapısı ve yorumlanması için log dosyası analizi rehberimize başvurabilirsiniz.
Bunun yanında kendi tarama araçlarınızı kullanarak siteyi bir bot gibi gezebilirsiniz. Böyle bir simülasyon kırık bağlantıları, yönlendirme zincirlerini, eksik başlıkları ve yinelenen içerikleri hızla ortaya çıkarır. Masaüstü denetim yazılımlarının gelişmiş ayarlarını Screaming Frog rehberimizde adım adım bulabilirsiniz. Araç taraması ile gerçek bot davranışını karşılaştırmak, hangi sayfaların teorik olarak erişilebilir olduğu halde pratikte ihmal edildiğini gösterir.
Tarama Verimliliğini Artırmak İçin Uygulanabilir Adımlar
Tarama verimliliği, botun sınırlı kaynağını sitenin en değerli sayfalarına yönlendirmekle ilgilidir. Bunun için önce sitenin hangi bölümlerinin gerçekten dizinde olması gerektiğine karar verilmelidir. Ardından aşağıdaki sıralı adımlar izlenebilir:
- Sunucu yanıt süresini kısaltın ve 5xx hatalarını giderin.
- Değeri düşük, yinelenen ve parametreli URL’leri robots.txt, canonical veya noindex ile kontrol altına alın.
- Yönlendirme zincirlerini tek adıma indirin.
- Kırık bağlantıları ve soft 404 sayfalarını temizleyin.
- Önemli sayfaları anasayfadan az tıklamayla ulaşılır kılacak bir iç bağlantı yapısı kurun.
- XML site haritasını yalnızca dizine girmesini istediğiniz, 200 yanıt veren URL’lerle güncel tutun.
- Sayfa hızını ve kaynak dosya boyutlarını optimize edin.
Sayfa hızı hem kullanıcı deneyimini hem de botun tarama kapasitesini etkiler. Görsellerin uygun formatta ve boyutta sunulması bu açıdan önemlidir. Bu konuda WebP formatı anlatımımız faydalı bir başlangıç noktasıdır. Genel teknik denetimlerin hangi bütünlük içinde yürütüleceği konusunda destek almak isteyenler için profesyonel SEO hizmeti çerçevesindeki çalışma modelimiz de bilgi verir.
Yapay Zekâ Botları ve Tarama
Taramanın kapsamı artık yalnızca geleneksel arama motorlarıyla sınırlı değildir. Yapay zekâ destekli arama ve yanıt sistemlerinin kendi botları vardır ve bu botlar içerik toplarken robots.txt gibi yönergeleri dikkate alır. Bir sitenin yapay zekâ yanıtlarında kaynak olarak yer alabilmesi, bu botların siteye erişebilmesine bağlıdır. Hangi botlara izin verileceği ve hangilerinin sınırlanacağı artık stratejik bir karardır. Konuya teknik açıdan yaklaşan Teknik GEO anlatımımız, bu botların siteyi nasıl keşfettiğini, taradığını ve işlediğini ele alır.
Tarama Sağlığını Sürdürülebilir Kılmak
Tarama, bir kez ayarlanıp unutulacak bir süreç değildir. Site büyüdükçe, yeni şablonlar eklendikçe ve içerik envanteri değiştikçe tarama davranışı da değişir. Bu nedenle düzenli denetim rutini oluşturmak gerekir. Aylık Search Console incelemeleri, çeyrek dönemlik tam site taramaları ve büyük değişikliklerin ardından yapılan log kontrolleri sağlıklı bir izleme düzeni sağlar. Taşıma, yeniden tasarım veya altyapı değişikliği gibi kritik dönemlerde bu izleme sıklığı artırılmalıdır.
Tarama, arama motoru görünürlüğünün temelini oluşturur. Botların siteye sorunsuz erişmesi, doğru sayfaları keşfetmesi ve içeriği eksiksiz işleyebilmesi, dizinleme ve sıralama aşamalarının da önkoşuludur. Net bir site mimarisi, temiz teknik altyapı, kontrollü yönerge kullanımı ve düzenli veri analizi bir araya geldiğinde botların sınırlı kaynağı sitenin en değerli içeriklerine yönelir. Bu bütüncül yaklaşım, içeriğe yapılan yatırımın arama sonuçlarında karşılık bulmasını sağlayan en güvenilir zemindir.
