Üretken yapay zekâ platformlarının bir web sitesini kaynak olarak kullanabilmesi, içeriğin yazılmış olmasıyla değil, botların o içeriğe teknik olarak ulaşabilmesiyle başlar. Keşfedilemeyen bir URL, render edilemeyen bir sayfa ya da çelişkili canonical sinyalleri taşıyan bir içerik, kalitesi ne olursa olsun retrieval katmanına eksik girer. Teknik GEO, içeriğin yapay zekâ sistemleri tarafından keşfedilmesi, erişilmesi, işlenmesi ve doğru anlamlandırılması önündeki engelleri sistematik biçimde ortadan kaldıran disiplindir.
Bu rehber; AI crawler’ların çalışma mantığını, keşif sürecinin aşamalarını, robots.txt politikalarını, JavaScript render modellerini, site mimarisini, sitemap ve canonical yönetimini, sunucu log analizini ve kurumsal bir teknik GEO denetiminin nasıl yapılandırılacağını uygulamaya dönük biçimde ele alır.
Teknik GEO Klasik Teknik SEO’dan Nerede Ayrılır
Teknik SEO’nun hedefi, bir arama motorunun sayfayı taraması, indekslemesi ve sıralamasıdır. Teknik GEO ise sayfanın bir yanıt üretim sürecinde kaynak olarak değerlendirilebilmesi için gereken erişilebilirliği güvence altına alır. İki disiplin büyük ölçüde aynı altyapıyı paylaşır; ancak GEO tarafında bot çeşitliliği daha yüksek, JavaScript render kapasitesi daha sınırlı ve içerik güncellik döngüleri daha karmaşıktır. Bu farklar, aynı teknik sorunun iki ekosistemde farklı şiddette sonuç doğurmasına yol açar. Disiplinler arasındaki stratejik ayrımı GEO ve SEO arasındaki farklar başlığı altında ayrıntılı biçimde ele alıyoruz.
Yapay Zekâ Botları Web İçeriğine Hangi Kanallardan Ulaşır
Yapay zekâ sistemleri web içeriğine tek bir yoldan ulaşmaz. Bir platform kendi crawler’ını çalıştırabilir, mevcut bir arama motoru dizinini kiralayabilir, önceden toplanmış model bilgisine başvurabilir ya da kullanıcı sorgusu anında canlı web araması yapabilir. Keşif sürecini besleyen başlıca kanallar şunlardır:
- Dahili bağlantı ağı ve ana navigasyon yapısı
- Üçüncü taraf sitelerden gelen harici bağlantılar
- XML sitemap ve sitemap index dosyaları
- Arama motoru dizinleri ve bunların crawler altyapıları
- Ürün, haber ve merchant feed’leri
- Daha önce keşfedilmiş URL kayıtları ve önbellek verileri
- Güvenilir kaynaklardaki marka ve varlık referansları
Her platformun kanal tercihi farklıdır. Örneğin Google’ın üretken deneyimleri büyük ölçüde mevcut dizin ve grounding altyapısından beslenirken bazı platformlar sorgu anında bağımsız bir fetch işlemi gerçekleştirir. Bu farkın nasıl işlediğini Gemini’nin web sitelerini nasıl bulduğunu anlatan rehberimizde somut örneklerle açıklıyoruz.
Keşiften Retrieval Katmanına Uzanan Beş Aşamalı Süreç
URL Keşfi ve Yetim Sayfa Riski
Süreç, botun ya da kullanılan arama altyapısının URL’yi bir bağlantı, sitemap, feed veya dizin kaydı üzerinden bulmasıyla başlar. Hiçbir dahili bağlantı almayan, sitemap’te yer almayan ve dışarıdan referans edilmeyen yetim sayfalar bu aşamada elenir. Keşif sorununun en yaygın nedeni içerik eksikliği değil, bağlantı mimarisindeki kopukluktur.
Erişim İzinleri ve Sunucu Yanıtları
Bot, sayfayı talep etmeden önce robots.txt kurallarını ve kendi user-agent tanımına uygulanan yönergeleri kontrol eder. Ancak izin tek başına yeterli değildir; CDN kuralları, güvenlik duvarı filtreleri, hız sınırlamaları ve 403 ya da 429 yanıtları da erişimi fiilen engelleyebilir. robots.txt’de izin verilmiş görünen bir sitenin WAF katmanında AI botlarını sessizce reddetmesi, denetimlerde sıkça karşılaşılan bir çelişkidir.
Fetch ve Render Aşaması
Bot HTML’i talep eder ve ilk yanıtı işler. Ana içerik bu yanıtta yoksa JavaScript’in çalıştırılması gerekir. AI crawler’ların render bütçesi, bekleme süresi ve JavaScript çalıştırma kapasitesi arama motoru botlarına kıyasla çok daha kısıtlıdır. Bu nedenle yalnızca istemci tarafında oluşturulan içerik, pek çok sistem tarafından hiç görülmeyebilir.
İçeriğin Anlamlandırılması
Erişilen HTML üzerinde başlık hiyerarşisi, ana metin, yapılandırılmış veri, canonical etiketi, dil sinyalleri ve dahili bağlantılar değerlendirilir. Sistem bu aşamada sayfanın hangi konuya ait olduğunu, hangi marka ya da ürünlerden söz ettiğini, tercih edilen URL’nin hangisi olduğunu ve içeriğin başka bir sayfanın kopyası olup olmadığını belirlemeye çalışır. Varlıkların tutarlı biçimde tanımlanması bu çözümlemeyi doğrudan kolaylaştırır; Entity SEO ile GEO arasındaki ilişki tam olarak bu katmanda belirginleşir.
Dizin, Önbellek ve Retrieval Katmanı
İşlenen içerik, platformun mimarisine göre bir arama dizinine, geçici önbelleğe ya da vektör tabanlı bir retrieval sistemine alınır. Sorgu anında kaynak seçimi ise teknik erişimden bağımsız kriterlerle yapılır: sorgu uyumu, güncellik, güvenilirlik ve platformun kaynak politikası. Bu katmanın çalışma mantığını RAG mimarisinin nasıl işlediğini açıklayan içeriğimizde ayrıntılandırıyoruz.
AI Crawler Türleri ve Amaç Farklılıkları
Tüm AI botlarını tek bir kategoride değerlendirmek, erişim politikalarında ciddi hatalara yol açar. Botlar amaçlarına göre ayrışır ve her birinin görünürlük üzerindeki etkisi farklıdır.
| Bot Türü | Temel Amaç | Tarama Davranışı | Güncel Görünürlüğe Etkisi |
|---|---|---|---|
| Model geliştirme botları | Eğitim verisi toplamak | Geniş kapsamlı, periyodik | Dolaylı ve gecikmeli |
| Arama ve retrieval botları | Sorgu anında güncel kaynak bulmak | Hedefli, sorguya bağlı | Doğrudan ve anlık |
| Kullanıcı tetiklemeli botlar | Kullanıcının verdiği URL’yi işlemek | Tekil, düzensiz | Oturum bazlı |
| Arama motoru crawler’ları | Dizin oluşturmak | Sürekli, bütçe tabanlı | Grounding üzerinden yüksek |
Bu ayrımın pratik sonucu açıktır: model geliştirme botuna izin vermek güncel yanıtlarda görünürlük sağlamaz; arama botunu engellemek ise anlık kaynak gösterimini doğrudan keser. Aynı şirketin farklı amaçlarla çalıştırdığı user-agent’ların nasıl ayrıştırılacağını GPTBot’un ne olduğu ve nasıl yönetildiği üzerine hazırladığımız rehberde ele alıyoruz.
robots.txt ile Erişim Politikası Nasıl Kurgulanır
robots.txt, crawler’lara hangi URL yollarına erişebileceklerini bildiren yönerge dosyasıdır ve AI bot yönetiminin birincil kontrol noktasıdır. Kurumsal bir politika ikili bir tercih üzerine kurulmaz; site bölümlerine ve bot amaçlarına göre katmanlı kurallar tanımlanır. Herkese açık rehber ve blog içeriklerine erişim verilirken üyelik alanları, dahili arama sonuçları, filtre parametreleri ve staging ortamları kapatılabilir. Farklı user-agent’lara farklı kurallar atanabilir.
User-agent adlarının birebir doğru yazılması zorunludur; hatalı tanımlar sessizce yok sayılır. Ayrıca robots.txt bir güvenlik mekanizması değildir. Ücretli, kişisel ya da gizli içerikler yalnızca bu dosyayla korunamaz; kimlik doğrulama ve sunucu düzeyinde erişim kontrolü gerekir. Platform bazında örnek kural setlerini robots.txt ile AI botlarının yönetimi başlığı altında paylaşıyoruz.
AI Botlarını Engellemek Görünürlüğü Ne Ölçüde Etkiler
Bir crawler’ı engellemek, o botun siteyi doğrudan taramasını durdurur; fakat platformun markaya dair bilgiye ulaşmasını tamamen kesmez. Platform alternatif bir arama dizinini, önceden edinilmiş model bilgisini, üçüncü taraf kaynaklardaki marka referanslarını ya da resmî veri feed’lerini kullanmaya devam edebilir. Bu durum, engelleme kararının paradoksal bir sonuç doğurmasına yol açar: marka hakkında konuşulmaya devam edilir, ancak anlatı artık markanın kendi sayfaları yerine kontrol edilemeyen dış kaynaklardan beslenir.
Erişim kararı; içeriğin ticari değeri, fikrî mülkiyet yaklaşımı, lisanslama politikası, sunucu maliyeti ve güncel kaynak olarak görünme hedefi birlikte tartılarak verilmelidir. Bu karar yalnızca teknik ekibin değil; hukuk, içerik ve pazarlama birimlerinin ortak sorumluluğudur.
Site Mimarisi ve Tıklama Derinliği
Temiz bir bilgi mimarisi, botların önemli sayfaları keşfetmesini ve içerikler arasındaki konu ilişkilerini çözmesini kolaylaştırır. Pillar sayfalar ile destekleyici cluster içerikler arasında kurulan açıklayıcı anchor metinli bağlantılar, hangi sayfanın hangi konu kümesine ait olduğunu netleştirir. Kritik içeriklerin ana sayfadan en fazla üç tıklama uzaklıkta olması, sayfalama ve filtre URL’lerinin kontrol altında tutulması ve eski içeriklerden yenilerine doğru yönlendirmelerin kurulması temel gereksinimlerdir. Yapay zekâ botları için ayrı bir mimari tasarlamak gerekmez; kullanıcının anlayabildiği hiyerarşi, botun da anlayabildiği hiyerarşidir.
JavaScript Render Modelleri ve HTML Erişilebilirliği
Client-Side Rendering
İçerik büyük ölçüde kullanıcının tarayıcısında oluşturulur; sunucudan gelen ilk HTML neredeyse boştur. Render kapasitesi sınırlı AI crawler’lar için en riskli modeldir. Başlık, ürün açıklaması ve ana metin JavaScript çalışmadan görünmüyorsa bot sayfayı içeriksiz olarak kaydeder.
Server-Side Rendering
Ana HTML sunucuda hazırlanarak gönderilir; kritik içerik JavaScript’e bağımlı olmadan erişilebilir hâle gelir. Dinamik ve sık güncellenen siteler için teknik GEO açısından en dengeli yaklaşımdır.
Static Site Generation ve Hydration
Statik üretimde sayfalar önceden oluşturulmuş HTML dosyaları olarak sunulur; içerik ağırlıklı sitelerde maksimum erişilebilirlik ve performans sağlar. Hydration ise sunucudan gelen HTML’in sonradan JavaScript ile etkileşimli hâle getirilmesidir. Doğru uygulandığında hem bot erişilebilirliği hem de zengin kullanıcı deneyimi aynı anda korunur.
Hangi model seçilirse seçilsin; sayfa başlığı, H1, ana içerik, canonical etiketi, meta robots yönergeleri, dahili bağlantılar, yapılandırılmış veri ve hreflang sinyalleri ilk HTML yanıtında bulunmalıdır. Kritik bilgiler yalnızca görsel, canvas, animasyon ya da kullanıcı etkileşimi sonrasında görünür hâle gelmemelidir.
Sitemap, Canonical ve hreflang Sinyallerinin Tutarlılığı
XML Sitemap
XML sitemap, özellikle büyük ölçekli ve sık güncellenen sitelerde keşif sürecini hızlandıran destekleyici bir sinyaldir. Dosyada yalnızca geçerli, canonical ve 200 yanıtı veren URL’ler bulunmalı; yönlendirilmiş, noindex işaretli ya da hata veren adresler çıkarılmalıdır. Son güncelleme bilgisi gerçek içerik değişikliğini yansıtmalı, dosya büyüdüğünde sitemap index yapısına geçilmelidir.
Canonical Etiketi
Canonical, benzer içerikli URL’ler arasında tercih edilen sürümü bildirir. Teknik GEO açısından işlevi, marka ya da konu hakkındaki ana bilginin hangi adreste yaşadığını kesinleştirmektir. Yeni içeriğin eski sayfaya canonical vermesi, dil varyasyonlarının tek URL altında birleştirilmesi ya da canonical ile yönlendirmenin çelişmesi, retrieval kat
manında yanlış sürümün kaynak gösterilmesine neden olur. Canonical sinyali; dahili bağlantılar, sitemap, 301 yönlendirmeleri ve hreflang etiketleriyle aynı yönü göstermelidir.
hreflang ve Çok Dilli Yapılar
hreflang, farklı dil ya da ülke hedefli sayfaların birbirleriyle ilişkisini tanımlar. Hatalı uygulandığında sistemler yanlış dil sürümünü seçer, bölgesel fiyat ve hizmet bilgilerini karıştırır ya da markaya dair ülke bazlı verileri birbirine bağlar. Doğru uygulamada her sayfa kendisini de işaretler, karşılıklı referanslar eksiksiz kurulur, dil ve ülke kodları standartlara uygun yazılır, canonical ile çelişki oluşturulmaz ve gerektiğinde x-default tanımlanır. Çok dilli GEO yalnızca çeviri meselesi değildir; ürün, fiyat ve hizmet bilgilerinin her pazarda güncel ve tutarlı olması gerekir.
Sunucu Logları Bot Davranışını Nasıl Görünür Kılar
Sunucu logları, hangi botun hangi URL’yi ne zaman talep ettiğini ve hangi durum koduyla karşılaştığını gösteren en güvenilir birincil veri kaynağıdır. Log analizi; önemli sayfalara erişimin gerçekleşip gerçekleşmediğini, 404, 403 ve 5xx hatalarının yoğunlaştığı alanları, gereksiz parametre URL’lerine harcanan tarama bütçesini ve robots.txt değişikliklerinin bot davranışına etkisini ortaya koyar.
User-agent bilgisi tek başına kimlik doğrulaması sağlamaz; kötü niyetli sistemler bilinen botların imzasını taklit edebilir. Ters DNS kontrolü ve platformların yayımladığı IP aralıklarıyla doğrulama yapılmadan alınan kararlar yanıltıcı olur. Log verisinin sınırı da bilinmelidir: tarama davranışını gösterir, içeriğin nasıl işlendiğini ya da hangi yanıtta kullanıldığını göstermez.
Önbellek ve İçerik Güncellemelerinin Yönetimi
Yapay zekâ platformlarında görünen bilgi, sitedeki en güncel sürümle aynı olmayabilir; çünkü arama dizini, önbellek, retrieval katmanı ve model bilgisi farklı döngülerde yenilenir. Güncelleme yapılırken eski bilgi mümkün olduğunca aynı URL üzerinde revize edilmeli, gereksiz yeni adres üretilmemeli, adres değiştiyse 301 yönlendirmesi kurulmalı, sitemap ve dahili bağlantılar yeni URL’ye çevrilmeli ve yapılandırılmış veri içerikle birlikte güncellenmelidir. Yalnızca güncelleme tarihi eklemek bir sinyal üretmez; geçerliliğini yitiren bilgilerin fiilen temizlenmesi gerekir.
Teknik GEO Denetimi Nasıl Yapılandırılır
Kurumsal bir denetim altı kontrol alanı üzerinden ilerler. Bot erişimi alanında robots.txt kuralları, CDN ve güvenlik duvarı engelleri ile 403 ve 429 yanıtları incelenir. Tarama ve URL sinyalleri alanında noindex, canonical, yönlendirme zincirleri, yetim sayfalar ve sitemap bütünlüğü doğrulanır. Render ve içerik erişimi alanında ilk HTML ile render edilmiş HTML karşılaştırılır, lazy loading ve etkileşime bağlı içerikler test edilir.
Site mimarisi alanında tıklama derinliği ölçülür, pillar ve cluster bağlantıları haritalanır, filtre ve sayfalama URL’leri değerlendirilir. Dil ve bölge yönetimi alanında hreflang eşleşmeleri, canonical uyumu ve HTTP, HTTPS, www ile non-www sürümlerinin tekilleştirilmesi kontrol edilir. Sunucu logları alanında bot ziyaret sıklığı, URL dağılımı ve hata oranları izlenir. Tespit edilen bulgular; görünürlük etkisi, uygulama zorluğu ve iş önceliğine göre sınıflandırılarak uygulanabilir bir yol haritasına dönüştürülür.
Teknik GEO Çalışmalarında Sık Yapılan Hatalar
- Tüm yapay zekâ platformlarının aynı crawler’ı kullandığını varsaymak
- Bot erişiminin doğrudan kaynak gösterimi sağladığına inanmak
- robots.txt dosyasını güvenlik aracı olarak kullanmak
- JavaScript render sorunlarını arama motoru testleriyle sınırlı değerlendirmek
- Sitemap’e kontrolsüz biçimde tüm URL’leri eklemek
- Canonical ve hreflang sinyallerini çelişkili kurgulamak
- User-agent doğrulaması yapmadan bot trafiği hakkında karar vermek
- Teknik iyileştirme sonrası log takibini bırakmak
Bu listeye eklenmesi gereken bir diğer yanılgı, yeni dosya standartlarını garantili görünürlük sinyali gibi değerlendirmektir. Söz konusu dosyanın gerçek işlevini ve sınırlarını llms.txt dosyasının ne olduğu ve nasıl oluşturulduğu üzerine hazırladığımız içerikte ölçülü bir çerçeveyle açıklıyoruz.
Teknik GEO Tek Başına Yeterli mi
Teknik GEO, içeriğin keşfedilmesi ve işlenmesi için gereken zemini kurar; ancak kaynak gösterilme ya da marka önerilerinde yer alma kararı daha geniş bir değerlendirmeye dayanır. Sorguyla güçlü konu uyumu, doğrulanabilir ve güncel bilgi, marka ve varlık tutarlılığı, özgün veri ya da uzmanlık, güçlü dahili içerik ağı ve güvenilir üçüncü taraf referansları bu değerlendirmenin bileşenleridir. Teknik altyapı erişim engellerini kaldırır; seçilme ise içerik kalitesi, otorite ve marka görünürlüğünün birlikte yönetilmesiyle gerçekleşir.
Yapay zekâ botlarının bir web sitesini bulması, tek bir crawler’a izin vermekle çözülen bir sorun değildir. robots.txt politikası, sunucu ve CDN yanıtları, HTML erişilebilirliği, render modeli, site mimarisi, canonical ve hreflang tutarlılığı, sitemap kalitesi ve log tabanlı doğrulama birbirine bağlı tek bir sistem olarak çalışır. Bu katmanlardan birindeki zayıflık, diğerlerindeki başarıyı etkisiz bırakır. Teknik GEO’yu bir defalık proje olarak değil; platform davranışları değiştikçe loglarla doğrulanan, düzenli denetlenen ve içerik stratejisiyle eşzamanlı yürütülen sürekli bir altyapı disiplini olarak konumlandıran kurumlar, üretken arama ekosisteminde kontrol edebildikleri bir anlatıya sahip olur.
