Log dosyası, bir sistemde gerçekleşen olayların zaman damgasıyla birlikte sırayla kaydedildiği metin tabanlı kayıt dosyasıdır. İşletim sistemleri, veri tabanları, uygulamalar ve web sunucuları çalışırken yaptıkları her işlemi, aldıkları her isteği ve karşılaştıkları her hatayı bu dosyalara yazar. Kayıtlar kronolojik olduğu için bir sorunun ne zaman, hangi kaynakta ve hangi koşullarda ortaya çıktığını geriye dönük olarak izlemek mümkün hale gelir.
Web projeleri açısından en değerli kayıtlar, sunucuya gelen her isteğin işlendiği web sunucusu erişim loglarıdır. Bir ziyaretçi, bir tarayıcı ya da bir arama motoru botu sayfanıza her eriştiğinde sunucu bu işlemi tek bir satır olarak yazar. Analitik araçları yalnızca JavaScript çalıştıran ziyaretçileri ölçerken, log dosyası sunucuya ulaşan tüm istekleri içerir. Bu fark, özellikle teknik SEO çalışmalarında log verisini vazgeçilmez kılar.
Log Dosyası Türleri
Log kayıtları üretildikleri katmana göre farklı amaçlara hizmet eder. Hangi türün hangi soruya cevap verdiğini bilmek, doğru dosyayı doğru analiz için seçmenizi sağlar.
Erişim logları
Erişim logları, sunucuya yapılan her HTTP isteğini kaydeder. İsteği yapan IP adresi, zaman, istenen URL, yanıt kodu, aktarılan veri boyutu ve istemci kimliği (user-agent) bu kayıtta yer alır. SEO analizinin ana kaynağı bu dosyalardır.
Hata logları
Hata logları, sunucunun isteği işlerken yaşadığı sorunları içerir. PHP hataları, zaman aşımları, yapılandırma problemleri ve bellek yetersizliği gibi olaylar burada görünür. Sitede aralıklı olarak ortaya çıkan 5xx hatalarının kök nedenini bulmak için erişim logu ile birlikte okunur.
Uygulama ve işletim sistemi logları
Uygulama logları, bir yazılımın kendi iş mantığına dair ürettiği kayıtlardır. İşletim sistemi logları ise oturum açma, servis başlatma ve donanım olaylarını tutar. Bu iki grup daha çok sistem yönetimi ve hata ayıklama süreçlerinde kullanılır.
Güvenlik ve CDN logları
Güvenlik duvarı (WAF) ve CDN sağlayıcıları da kendi kayıtlarını üretir. Bu kayıtlar, isteklerin sunucunuza ulaşmadan önce önbellekten karşılandığı durumları da gösterdiği için, yoğun CDN kullanan sitelerde analizin eksiksiz olması adına sunucu logu ile birleştirilmelidir.
Bir Erişim Logu Satırı Nasıl Okunur?
Apache ve Nginx tarafından yaygın kullanılan birleşik (combined) formatta bir satır şu bilgileri taşır: istemci IP adresi, tarih ve saat, istek yöntemi ile istenen URL, HTTP protokol sürümü, durum kodu, yanıt boyutu, yönlendiren sayfa ve user-agent. Satırlar boşluk ve tırnak işaretleriyle ayrıldığı için araçlar bu alanları kolayca sütunlara dönüştürür.
| Alan | Ne anlatır? | SEO analizindeki kullanımı |
|---|---|---|
| IP adresi | İsteği yapan istemcinin ağ adresi | Botun gerçekten arama motoruna ait olup olmadığını doğrulamak |
| Zaman damgası | İsteğin gerçekleştiği an | Tarama sıklığını ve günlük dağılımı ölçmek |
| İstek yöntemi ve URL | Hangi kaynağın istendiği | Hangi dizinlerin ve parametreli adreslerin tarandığını görmek |
| Durum kodu | Sunucunun verdiği yanıt | Hataları, yönlendirmeleri ve başarılı yanıtları ayırmak |
| Yanıt boyutu | Aktarılan bayt miktarı | Ağır sayfaları ve anormal boyut farklarını yakalamak |
| User-agent | İstemcinin kendini tanıttığı kimlik | Googlebot, Bingbot ve diğer botları ayrıştırmak |
SEO Açısından Log Analizi Neden Gereklidir?
Arama motorları sitenizi nasıl gördüğünü size söylemez; bunu yalnızca tarama izlerinden çıkarabilirsiniz. Search Console tarama istatistikleri örneklenmiş ve özetlenmiş veri sunar. Log dosyası ise Googlebot’un hangi saniyede hangi URL’ye gittiğini ve sunucunun ne cevap verdiğini ham haliyle gösterir. Bu nedenle log analizi, tahmine dayalı teknik SEO yorumlarını kanıta dayalı kararlara dönüştürür.
Özellikle on binlerce sayfası olan e-ticaret siteleri, haber portalları ve ilan platformlarında, botun zamanını değersiz sayfalarda harcaması indekslenmesi gereken içeriklerin geç keşfedilmesine yol açar. Log verisi bu dengesizliği sayısal olarak ortaya koyar.
Log Analiziyle Yanıtlanan Temel Sorular
Tarama bütçesi nereye harcanıyor?
Googlebot isteklerini dizin, şablon ve URL tipi bazında gruplandırdığınızda, kritik kategori ve ürün sayfalarının mı yoksa filtre parametrelerinin, arama sonuç sayfalarının ve oturum kimlikli adreslerin mi daha çok tarandığını görürsünüz. tarama bütçesi (crawl budget) yönetimi konusundaki kararların hemen hepsi bu dağılım üzerinden verilir.
Botlar hangi durum kodlarıyla karşılaşıyor?
Botun aldığı yanıtların 200, 301, 404 ve 500 gruplarına göre oranı, sitenin teknik sağlığının en net göstergesidir. Yönlendirme zincirleri, geçici 302 yönlendirmeleri ve tekrar eden 5xx hataları logda açıkça görünür. HTTP durum kodlarının SEO üzerindeki etkisi doğru okunduğunda, hangi hatanın öncelikli düzeltilmesi gerektiği de netleşir. 200 dönen ama içeriği boş olan sayfalar ise soft 404 sorunu yaratabilir ve log verisiyle birlikte incelendiğinde daha kolay tespit edilir.
Hangi sayfalar hiç taranmıyor?
Sitemap’inizdeki URL listesini logda görülen URL’lerle karşılaştırdığınızda, botun haftalarca uğramadığı sayfaları bulursunuz. Bu sayfalar genellikle zayıf iç bağlantı almış, derin dizinlerde kalmış veya yanlışlıkla engellenmiştir. Tersi de mümkündür; sitede hiçbir bağlantısı kalmayan ancak botun eski kayıtlardan hâlâ ziyaret ettiği yetim sayfalar da logda ortaya çıkar.
Tarama sıklığı ve yeni içerik keşfi nasıl işliyor?
Yeni yayımlanan bir sayfanın ilk bot ziyaretine kadar geçen süre, içerik üretim stratejinizin ne kadar hızlı karşılık bulduğunu gösterir. Önemli sayfaların günlük, düşük değerli sayfaların haftalık taranması sağlıklı bir tablodur. Tam tersi bir tablo, site mimarisinde ve iç bağlantı yapısında düzeltme gerektiğine işaret eder.
Mobil ve masaüstü botu arasında fark var mı?
Google mobil öncelikli dizinleme kullandığı için logda akıllı telefon botunun ağırlıkta olması beklenir. Masaüstü botunun baskın görünmesi, sitenin mobil sürümünde erişim ya da yönlendirme sorunları olabileceğini düşündürür.
Adım Adım Log Analizi Süreci
Analizin güvenilir olması için veri toplama ve temizleme aşaması özenle yürütülmelidir. Aşağıdaki sıra, çoğu projede uygulanabilir bir çerçeve sunar.
- Sunucu, CDN ve yük dengeleyici loglarını en az 30 günlük bir aralık için eksiksiz biçimde toplayın; kısa dönemler mevsimsel ve kampanya etkilerini gizleyebilir.
- Kayıtları ortak bir formatta birleştirin ve tarih, URL, durum kodu ile user-agent alanlarını ayrı sütunlara ayırın.
- Arama motoru botlarını user-agent bilgisine göre filtreleyin, ardından IP adreslerini ters DNS sorgusu ile doğrulayarak sahte botları ayıklayın.
- URL’leri dizin, sayfa tipi ve parametre varlığına göre kategorize edin.
- Her kategori için istek sayısı, durum kodu dağılımı ve ortalama yanıt boyutunu hesaplayın.
- Sonuçları sitemap, canonical ve iç bağlantı verileriyle karşılaştırarak öncelikli düzeltme listesi çıkarın.
- Düzeltmelerden sonra aynı ölçümü tekrarlayarak değişimi doğrulayın.
Bot Doğrulama ve Sahte Tarayıcılar
User-agent alanı istemci tarafından serbestçe yazılabildiği için, kendini Googlebot olarak tanıtan her istek gerçekten Google’a ait değildir. Veri kazıyıcılar ve zararlı botlar sıkça bu yöntemi kullanır. Doğrulama için IP adresinin ters DNS kaydının googlebot.com veya google.com alan adlarına çıkması ve ileri yönlü DNS sorgusunun aynı IP’yi döndürmesi gerekir. Doğrulanmamış istekleri analize dahil etmek, tarama bütçesi hesaplarını ciddi biçimde saptırır.
Yapay Zekâ Botlarının Log Üzerindeki İzleri
Geleneksel arama botlarının yanında, büyük dil modellerinin veri toplayıcıları ve yanıt motorlarının tarayıcıları da artık sunucu loglarında görünür. Hangi yapay zekâ botunun hangi sayfaları ne sıklıkla ziyaret ettiğini izlemek, içeriklerinizin bu sistemlere ulaşıp ulaşmadığını anlamanın en doğrudan yoludur. GPTBot’un yönetimi ve log takibi bu alandaki tipik bir örnektir. Erişimi yönetmek istediğinizde, kuralları robots.txt dosyası üzerinden tanımlar, sonrasında logdan botların bu kurallara uyup uymadığını kontrol edersiniz.
Log Analizinde Kullanılan Araçlar
Küçük siteler için kayıtları elektronik tabloya aktarıp filtrelemek yeterli olabilir. Ancak milyonlarca satırlık dosyalarda özel araçlar gerekir. Masaüstü log analiz yazılımları dosyaları içe aktarıp bot bazlı raporlar üretir. Kurumsal projelerde ise loglar bir veri ambarına aktarılır ve SQL sorgularıyla ya da görselleştirme panolarıyla izlenir. Tarama simülasyonu yapan bir araç kullanıyorsanız, örneğin Screaming Frog ile teknik SEO denetimi sonuçlarını log verisiyle birleştirmek, sitenin teorik yapısı ile botun gerçek davranışı arasındaki farkı açığa çıkarır.
Search Console tarafında ise sayfa dizinleme raporu hangi URL’lerin indekslenmediğini bildirir. Log analizi bu raporun tamamlayıcısıdır; bir sayfanın indekslenmemesinin nedeninin hiç taranmamasından mı yoksa taranıp dizine alınmamasından mı kaynaklandığını ayırt etmenizi sağlar.
Saklama, Gizlilik ve Performans Konuları
Erişim logları IP adresi gibi kişisel veri sayılabilecek bilgiler içerir. Bu nedenle KVKK ve benzeri mevzuat kapsamında saklama sürelerinin belirlenmesi, erişimin yetkili kişilerle sınırlandırılması ve gerektiğinde IP adreslerinin maskelenmesi gerekir. Log dosyaları hızla büyür; döndürme (log rotation) ve sıkıştırma ayarları yapılmazsa disk alanını tüketebilir. SEO analizi için en az üç aylık, mümkünse bir yıllık arşiv tutmak, güncelleme ve taşıma dönemlerindeki değişimleri kıyaslamayı kolaylaştırır.
Log Analizinde Sık Yapılan Hatalar
En yaygın hata, yalnızca tek bir sunucunun logunu incelemektir. Yük dengeleyici veya CDN arkasındaki sitelerde isteklerin bir kısmı başka noktalarda karşılanır ve tablo eksik kalır. İkinci hata, bot doğrulaması yapmadan sonuç çıkarmaktır. Üçüncüsü ise çok kısa bir zaman aralığına bakıp trend belirlemektir. Bunlara ek olarak, 200 yanıt kodunu otomatik olarak sağlıklı kabul etmek de yanıltıcıdır; sayfanın içeriği boş, hatalı veya eşdeğer bir kopya olabilir. Her bulgu sitemap, canonical ve gerçek sayfa içeriğiyle birlikte değerlendirilmelidir.
Log Verisiyle Karar Almanın Değeri
Log dosyaları, bir web sitesinin sunucu tarafındaki gerçek hafızasıdır. Analitik panolarının göremediği bot trafiğini, tarama önceliklerini, sunucu hatalarını ve erişim anomalilerini tek bir kaynaktan ortaya koyar. Düzenli olarak okunduğunda teknik SEO çalışmaları varsayımlara değil ölçülebilir verilere dayanır; mimari değişiklikler, taşıma projeleri ve içerik yatırımları botun davranışındaki gerçek değişimle doğrulanır. Doğru toplanan, doğrulanmış ve anlamlı gruplandırılmış bir log arşivi, hem arama motorlarına hem de yapay zekâ sistemlerine yönelik görünürlük stratejisinin en güvenilir referans noktası olarak kullanılabilir.
