Tarama bütçesi (crawl budget), arama motoru botlarının belirli bir zaman diliminde bir web sitesinde tarayabileceği ve taramaya istekli olduğu URL miktarını tanımlayan teknik SEO kavramıdır. Bütçe, her sayfanın taranacağı anlamına gelmez. Botların kaynakları sınırlıdır ve bu kaynaklar sitenizdeki değerli sayfalara mı yoksa parametreli, kopya ya da kırık URL’lere mi harcanıyor sorusu, yeni içeriklerin dizine girme hızını doğrudan etkiler. Bu rehberde Googlebot’un çalışma düzenini, bütçeyi belirleyen faktörleri, ölçüm yöntemlerini ve uygulanabilir optimizasyon adımlarını ele alıyoruz.

Googlebot Bir Web Sitesini Nasıl İşler?

Google’ın bir URL’i arama sonuçlarında göstermesi dört aşamalı bir süreçten geçer: keşfetme, tarama, dizine ekleme ve sıralama. Bu zincirin ilk iki halkası tarama bütçesiyle doğrudan ilgilidir. Bir sayfa keşfedilmediyse ya da keşfedilip taranma sırasında uzun süre beklediyse, içerik kalitesi ne kadar yüksek olursa olsun sıralama aşamasına ulaşamaz.

Keşfetme

Googlebot yeni URL’leri XML site haritaları, site içi bağlantılar, başka sitelerden gelen backlink’ler ve Search Console üzerinden yapılan URL gönderimleri aracılığıyla bulur. Keşfedilen adresler tarama kuyruğuna alınır. Kuyruktaki sıra, sayfanın tahmini önemine, güncellenme sıklığına ve sitenin genel sağlığına göre belirlenir.

Tarama

Tarama aşamasında bot, sunucuya istek gönderir ve HTML, CSS, JavaScript gibi kaynakları indirir. Sunucu yanıt kodu, yanıt süresi ve sayfa boyutu bu aşamada kritik rol oynar. Yavaş yanıt veren veya sık hata dönen bir sunucu, botun tarama hızını kendiliğinden düşürmesine yol açar.

Dizine Ekleme ve Sıralama

Taranan sayfa işlenir; title, canonical, başlık etiketleri ve yapılandırılmış veri gibi sinyaller sayfanın konusunu anlamlandırmak için kullanılır. Dizine eklenmeye uygun bulunan sayfalar yüzlerce sıralama sinyaliyle değerlendirilerek arama sonuçlarında konumlandırılır. Taranmış ancak dizine eklenmemiş sayfaların nedenlerini anlamak için Search Console sayfa dizinleme raporundaki hata mesajlarını ve çözüm yollarını incelemeniz faydalı olur.

Tarama Bütçesini Oluşturan İki Bileşen

Google’ın tanımına göre tarama bütçesi iki unsurun birleşimidir. Bunların hangisinin darboğaz yarattığını bilmek, doğru aksiyonu seçmenizi sağlar.

  • Tarama hızı sınırı (crawl rate limit): Sunucunuzu aşırı yüklememek için Googlebot’un uyguladığı üst sınırdır. Sunucu hızlı ve hatasız yanıt verdikçe sınır yükselir; zaman aşımı ve 5xx hataları arttıkça düşer.
  • Tarama talebi (crawl demand): Google’ın sitenizdeki URL’leri ne kadar taramak istediğini ifade eder. Sayfaların popülerliği, içeriğin güncellenme sıklığı ve eski kayıtların bayatlamasını önleme ihtiyacı talebi belirler.

Sunucunuz güçlü olsa bile içerikleriniz değer üretmiyorsa talep düşük kalır. Tersine, talep yüksek olsa da sunucunuz yavaşsa bot kendini sınırlar. Bütçe optimizasyonu bu iki ucu aynı anda iyileştirmeyi hedefler.

Tarama Bütçesi Optimizasyonu Kimler İçin Gereklidir?

Birkaç yüz sayfalık bir kurumsal sitenin tarama bütçesi sorunu yaşaması nadirdir. Optimizasyon önceliği şu tür sitelerde belirginleşir:

  • Yüz binlerce hatta milyonlarca URL barındıran e-ticaret ve ilan siteleri
  • Filtre, sıralama ve arama parametreleriyle çok sayıda URL varyasyonu üreten yapılar
  • Günlük olarak yeni içerik yayınlayan haber ve içerik platformları
  • Search Console’da “Keşfedildi, şu anda dizine eklenmedi” durumunda çok sayıda URL biriktiren siteler

Küçük sitelerde de teknik hijyen önemlidir; ancak burada amaç bütçe tasarrufundan çok, sitenin genel taranabilirliğini ve kalitesini korumaktır.

Tarama Bütçesi Nasıl Ölçülür ve Analiz Edilir?

Optimizasyona başlamadan önce mevcut durumu verilerle ortaya koymak gerekir. İki temel veri kaynağı vardır.

Search Console Tarama İstatistikleri Raporu

Search Console’da Ayarlar bölümü altında yer alan Tarama İstatistikleri raporu, son 90 güne ait toplam tarama isteklerini, indirilen veri miktarını ve ortalama yanıt süresini gösterir. Rapordaki dökümlerde yanıt koduna (200, 301, 304, 404, 5xx), dosya türüne, Googlebot türüne (akıllı telefon, masaüstü, görsel) ve tarama amacına (yeni keşif veya yenileme) göre kırılımlar bulunur. Taramaların büyük bölümü 200 dışındaki kodlara gidiyorsa ya da yenileme oranı keşfe göre çok düşükse bütçe verimsiz kullanılıyor demektir.

Sunucu Log Analizi

Sunucu log dosyaları, Googlebot’un hangi URL’yi, ne zaman ve hangi yanıt koduyla ziyaret ettiğini kayıt altına alır. Search Console örnekleme ve toplulaştırma yaparken log verisi ham ve eksiksizdir. Log analizinde şu sorulara yanıt aranır:

  • Bot, trafik getirmeyen parametreli URL’lere ne kadar zaman harcıyor?
  • Stratejik kategori ve ürün sayfaları hangi sıklıkla taranıyor?
  • Yönlendirme zincirleri ve 404 yanıtları toplam taramanın yüzde kaçını oluşturuyor?
  • Yeni yayınlanan bir sayfa ilk taramaya kaç saatte ya da günde ulaşıyor?

Log analizini yaparken botun gerçekten Googlebot olduğunu doğrulamak için IP adreslerini ters DNS sorgusuyla kontrol etmek gerekir; çünkü user-agent bilgisi kolayca taklit edilebilir. Botların yanıt kodlarıyla ilişkisini daha iyi yorumlamak için SEO performansını etkileyen HTTP durum kodları rehberine göz atabilirsiniz.

Tarama Bütçesini Optimize Etmenin 10 Adımı

1. Sunucu Yanıt Süresini ve Sayfa Hızını İyileştirin

Sunucu ne kadar hızlı yanıt verirse Googlebot aynı sürede o kadar fazla URL işleyebilir. İlk bayt süresini (TTFB) düşürmek için sunucu önbelleği, CDN kullanımı ve veritabanı sorgularının iyileştirilmesi etkilidir. Sayfa tarafında ise sıkıştırılmış görseller, küçültülmüş CSS ve JavaScript dosyaları ile modern görsel formatları toplam sayfa ağırlığını azaltır. Core Web Vitals metriklerinden etkileşim tarafını ölçen INP (Interaction to Next Paint) metriğinin optimizasyonu doğrudan tarama verimliliğini değil, kullanıcı deneyimini iyileştirir; ancak hız odaklı teknik çalışmaların bütünü sitenin sağlıklı bir altyapıya sahip olduğunu Google’a gösterir.

2. Gereksiz URL Üretimini Durdurun

Tarama israfının en büyük kaynağı kontrolsüz URL üretimidir. Filtreleme, sıralama, oturum kimliği, takip parametreleri ve dahili arama sonuç sayfaları aynı içeriğin yüzlerce varyasyonunu oluşturabilir. Bu varyasyonların hangilerinin taranmaya değer olduğuna iş hedeflerine ve arama talebine göre karar verilmelidir.

Örneğin bir ayakkabı kategorisinde “42 numara siyah spor ayakkabı” gibi gerçek arama hacmi olan bir filtre kombinasyonu indekse açık tutulurken, fiyat sıralaması veya renk-beden-marka çoklu seçimlerinden doğan uzun kuyruklu kombinasyonlar kapatılabilir. Toptan engelleme yerine talebe dayalı seçici bir yaklaşım hem tarama bütçesini hem de organik trafiği korur.

3. robots.txt Dosyasını Stratejik Kullanın

robots.txt dosyası, botların hangi dizin ve parametrelere erişemeyeceğini belirler. Engellenen URL’ler taranmadığı için bütçe tüketmez. Örnek kullanım şu şekildedir:

User-agent: *
Disallow: /*?siralama=
Disallow: /*?oturum=
Disallow: /arama/

Burada dikkat edilmesi gereken iki nokta vardır. İlk olarak robots.txt tarama erişimini kısıtlar, dizinden kaldırma garantisi vermez; engellenen bir URL’ye dışarıdan bağlantı geliyorsa dizinde içeriksiz olarak görünebilir. İkinci olarak, engellenen sayfadaki noindex etiketi bot tarafından hiç okunamayacağından işlevsiz kalır. Yapay zekâ botlarının erişimini düzenlemek de aynı dosya üzerinden yürütülür; bu konuda robots.txt ile AI botlarının yönetimi başlıklı içeriğimiz ayrıntılı bilgi sunar.

4. Kırık Bağlantıları ve Yönlendirme Zincirlerini Temizleyin

Googlebot sayfadaki her bağlantıyı takip etmeye eğilimlidir. 404 döndüren iç linkler boşa harcanmış bir tarama isteği demektir. Yönlendirme zincirleri ise daha pahalıdır: A adresi B’ye, B adresi C’ye, C adresi de nihai sayfaya yönlendiriyorsa, bot tek bir içeriğe ulaşmak için dört istek yapar. Dahili bağlantıları doğrudan 200 yanıtı veren nihai URL’ye güncelleyin, zincirleri tek adımlı 301 yönlendirmeye indirin ve kalıcı olarak kaldırılmış içerikler için uygun durumlarda 410 yanıtını değerlendirin.

5. Kopya ve Zayıf İçeriği Birleştirin

Birbirine çok benzeyen sayfalar hem tarama bütçesini böler hem de sıralama sinyallerini dağıtır. Kopya içerikleri tespit ettikten sonra şu yollardan birini izleyin: sayfaları tek bir güçlü sayfada birleştirip 301 ile yönlendirmek, canonical etiketiyle tercih edilen sürümü işaretlemek ya da değeri olmayan sayfaları kaldırmak. İnce içerikli etiket, arşiv ve tarih sayfaları genellikle bu gruba girer. Daha az ama daha kapsamlı sayfa, Googlebot’un taleplerini artırır.

6. JavaScript Bağımlılığını Azaltın

Google JavaScript ile üretilen içeriği işleyebilir; ancak bu işlem önce HTML’in taranması, ardından render kuyruğunda beklenmesi anlamına geldiği için daha maliyetlidir. Kritik içeriklerin, başlıkların ve iç bağlantıların ilk HTML yanıtında bulunması taranabilirliği ve dizine girme hızını artırır. Sunucu taraflı render (SSR) veya statik üretim bu noktada öne çıkan çözümlerdir. Bu konu, yapay zekâ botları açısından daha da kritiktir; çünkü birçoğu JavaScript çalıştırmaz. Yapay zekâ botlarının web sitenizi nasıl keşfettiğini, taradığını ve işlediğini anlatan teknik GEO rehberimiz bu bakış açısını tamamlar.

7. İç Bağlantı Yapısını Önem Sırasına Göre Kurgulayın

Googlebot sitenizdeki sayfaların önemini büyük ölçüde iç bağlantılardan okur. Ana sayfadan az tıklamayla ulaşılan ve çok sayıda iç link alan sayfalar daha sık taranır. Gelir getiren kategori ve ürün sayfalarını menü, breadcrumb ve ilişkili içerik modüllerinden güçlü şekilde besleyin. Sepet, giriş, profil gibi SEO değeri olmayan sayfalara giden linklerde nofollow kullanabilir veya bu sayfaları robots.txt ile kapatabilirsiniz. Ancak nofollow tek başına bağlayıcı bir direktif değil, bir ipucudur; kesin kontrol için robots.txt daha güvenilirdir.

8. XML Site Haritalarını Temiz ve Güncel Tutun

Site haritası, Google’a “taranmasını istediğim sayfalar bunlar” mesajı verir. Bu nedenle haritada yalnızca dizine açık, 200 yanıtı veren ve canonical’ı kendisi olan URL’ler yer almalıdır. 404, 301, noindex veya robots.txt ile engellenmiş adresler haritayı kirletir ve güveni zedeler. İçeriği gerçekten güncellenen sayfalarda lastmod değerini doğru tarihle belirtin; sadece Google’ı kandırmak için tarihi yapay olarak yenilemek, zamanla bu sinyalin göz ardı edilmesine yol açar. Çok büyük sitelerde haritaları kategori bazlı bölmek, hangi bölümün ne kadar taranıp dizine alındığını izlemeyi kolaylaştırır.

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://www.example.com/kategori/urun</loc>
    <lastmod>2025-01-15</lastmod>
  </url>
</urlset>

9. Yetim Sayfaları Tespit Edip Bağlayın

Sitede hiçbir iç bağlantı almayan sayfalara yetim (orphan) sayfa denir. Bu sayfalar yalnızca site haritası veya dış linkler aracılığıyla keşfedilebilir ve genellikle düşük sıklıkla taranır. Tarayıcı verisini, log kayıtlarını ve site haritasını karşılaştırarak yetim sayfaları bulun. Değerli olanları menü, kategori, ilişkili ürün veya içerik içi bağlantılarla ağa dahil edin; değeri olmayanları ise kaldırın veya yönlendirin.

10. Sunucu Hatalarını ve Koşullu İstekleri Yönetin

Sık tekrarlanan 5xx hataları ve zaman aşımları Googlebot’un tarama hızını otomatik olarak düşürür. Bakım dönemlerinde 503 yanıtı kullanmak, botun sayfayı geçici olarak erişilemez saymasını sağlar. Ayrıca sunucunuzun If-Modified-Since başlığına doğru şekilde 304 yanıtı vermesi, değişmeyen içeriklerin yeniden indirilmesini önleyerek bant genişliğinden ve tarama kapasitesinden tasarruf sağlar.

Yaygın Tarama Bütçesi Hataları ve Doğrusu

Sorun Tarama Üzerindeki Etkisi Önerilen Çözüm
Parametreli filtre URL’lerinin kontrolsüz yayılması Bot, aynı içeriğin yüzlerce varyasyonuna zaman harcar Talebe göre seçici indeksleme, robots.txt ve canonical kombinasyonu
Yönlendirme zincirleri Tek sayfa için birden fazla istek tüketilir İç linkleri nihai URL’ye güncellemek
Site haritasında hatalı URL’ler Haritaya duyulan güven azalır, taranma önceliği bozulur Yalnızca 200 yanıtlı, indekslenebilir sayfaları listelemek
Yavaş sunucu yanıtı Tarama hızı sınırı düşer Önbellekleme, CDN ve altyapı iyileştirmesi
Yetim sayfalar Keşif gecikir, tarama sıklığı düşer İç bağlantı ağına dahil etmek veya kaldırmak

Tarama Bütçesi Çalışmasının Başarısı Nasıl Değerlendirilir?

Optimizasyon sonrasında değişimi birkaç eksende izleyin. Search Console’da toplam tarama isteklerinin dağılımı, 200 dışındaki yanıtların oranı ve ortalama yanıt süresi temel göstergelerdir. Log kayıtlarında stratejik sayfaların tarama sıklığındaki artış ve yeni içeriklerin ilk taranma süresindeki kısalma, çalışmanın en net kanıtlarıdır. Dizinleme tarafında “Keşfedildi, şu anda dizine eklenmedi” ve “Taranmış, şu anda dizine eklenmemiş” kayıtlarının azalması da olumlu bir sinyaldir.

Bu ölçümleri tek başına bir hedef olarak değil, organik görünürlük ve trafik verileriyle birlikte yorumlamak gerekir. Görünürlük metriklerinin yanıltıcı olabileceğini SEO visibility skorunun neden tek başına KPI olamayacağını anlatan içeriğimizde ele aldık; tarama verileri için de aynı dikkat geçerlidir. Teknik iyileştirmelerin gerçek ticari sonuçlara dönüşmüş örneklerini görmek isterseniz e-ticaret SEO başarı hikayesi vaka analizimiz uygulamalı bir referans sunar.

Sık Sorulan Sorular

Tarama bütçesi bir sıralama faktörü müdür?

Hayır. Tarama bütçesi doğrudan bir sıralama sinyali değildir. Ancak bir sayfa taranmadıkça dizine giremez, dizine girmeyen sayfa da sıralanamaz. Bu nedenle dolaylı etkisi büyüktür; özellikle büyük sitelerde yeni içeriklerin görünürlük kazanma hızını belirler.

Tarama bütçesini Search Console üzerinden artırmak mümkün müdür?

Google, Search Console üzerinden tarama bütçesini artırmak için doğrudan bir ayar sunmaz. Bütçeyi etkileyen asıl unsurlar sunucu performansı, içerik kalitesi ve site yapısıdır. Sunucunuzu hızlandırmak, değerli sayfaların sayısını artırmak ve gereksiz URL’leri ayıklamak, Googlebot’un sitenize ayırdığı kapasiteyi ve talebi dolaylı yoldan yükseltir. Yeni veya güncellenmiş bir sayfanın hızlı taranması gerekiyorsa, Search Console’daki URL denetimi aracı ile tek tek istek göndermek makul bir tamamlayıcıdır; ancak büyük ölçekli sorunları çözen bir yöntem değildir.

Küçük bir web sitesinin tarama bütçesiyle ilgilenmesi gerekir mi?

Birkaç bin sayfaya kadar olan sitelerde tarama bütçesi nadiren bir engel oluşturur. Yine de kırık bağlantıları, yönlendirme zincirlerini ve kopya içerikleri temizlemek her ölçekteki site için sağlıklı bir uygulamadır. Sitenizin büyümesi planlanıyorsa, URL yapısını ve filtre mantığını baştan doğru kurgulamak ileride yaşanacak tarama sorunlarının önüne geçer.

Tarama Bütçesi Yönetiminde Temel Çıkarımlar

Tarama bütçesi yönetimi, tek seferlik bir düzeltme değil, sitenin büyümesiyle birlikte düzenli olarak gözden geçirilmesi gereken teknik bir disiplindir. Hızlı ve hatasız yanıt veren bir sunucu, kontrollü URL üretimi, temiz bir site haritası, güçlü iç bağlantı mimarisi ve kaliteli içerik, Googlebot’un sınırlı kaynağını sitenizin en değerli sayfalarına yönlendirmesini sağlar. Search Console verileri ile sunucu loglarını birlikte okuyarak neyin taranıp neyin göz ardı edildiğini düzenli biçimde izlemek, yeni içeriklerin dizine girme süresini kısaltır ve organik görünürlükteki dalgalanmaları erkenden fark etmenizi sağlar. Sağlam bir tarama altyapısı, içerik ve bağlantı yatırımlarının karşılığını alabilmesinin ön koşuludur.