Web sitelerinin organik trafik kaynakları köklü bir evrimden geçerken, markaların ve dijital yayıncıların karşılaştığı en büyük teknik ikilemlerden biri yapay zekâ asistanlarına kapıları açıp açmamaktır. Milyarlarca parametreyle eğitilen büyük dil modellerinin (LLM) web sitenizi ücretsiz bir veri madeni olarak kullanmasını engellemek ilk bakışta doğal bir güvenlik refleksi gibi görünebilir. Ancak, yanlış yapılandırılmış bir engelleme (bloklama) politikası, markanızın geleceğin arama ekosisteminden (Answer Engines) tamamen silinmesine neden olabilir. Bu kritik eşikte robots.txt ile AI botları nasıl yönetilir sorusu, yalnızca basit bir sunucu ayarı olmaktan çıkıp, markanızın yapay zekâ çağındaki dijital görünürlük stratejisinin merkezine yerleşmektedir.

Günümüzde bir web tarayıcısının (crawler) sitenize erişmesi, sadece içeriğinizin model eğitimine kopyalanması anlamına gelmez; aynı zamanda ChatGPT, Claude veya Perplexity gibi platformlarda kullanıcıya doğrudan kaynak gösterilme ve atıf (citation) alma fırsatı demektir. Birçok web yöneticisi, internetteki tüm yapay zekâ tarayıcılarını tek bir “AI Botu” şemsiyesi altında değerlendirip robots.txt üzerinden tamamen engelleme (Disallow) hatasına düşmektedir. Oysa arka planda veri havuzunu eğiten bir bot ile, kullanıcının sorduğu soruya anlık referans arayan bir bot tamamen farklı mekanizmalarla çalışır.

Bu rehberde, yapay zekâ tarayıcılarının web sitenizdeki davranışlarını nasıl kontrol edeceğinizi, hangi botlara izin verip hangilerini kısıtlamanız gerektiğini ve doğru bir robots.txt ile AI botları nasıl yönetilir stratejisinin markanızın uzun vadeli GEO (Generative Engine Optimization) performansına olan doğrudan etkilerini tüm teknik detaylarıyla inceleyeceğiz.

AI Botları Tek Tip Değildir: Eğitim Botları vs. Arama Botları

Yapay zekâ ekosistemindeki en yaygın stratejik yanılgı, sunucuyu ziyaret eden tüm AI crawler’larının (tarayıcılarının) aynı amaca hizmet ettiğini düşünmektir. Web sitenizin kapısını çalan botlar operasyonel hedeflerine göre iki ana kategoriye ayrılır: Eğitim Botları (Training Bots) ve Arama/Getirme Botları (Search & Retrieval Bots). Bu ayrımın temel nedeni, AI Search ve Google Search Arasındaki Farklar rehberimizde anlattığımız gibi modelin veriyi işleme biçimidir. Eğer bu iki bot türü arasındaki teknik farkı anlamadan tüm yapay zekâ trafiğini robots.txt üzerinden toptan engellerseniz, markanızı geleceğin organik trafik kaynaklarından tamamen izole etmiş olursunuz.

Bir markanın görünürlük stratejisini belirlerken bu iki bot grubunun sunduğu fayda ve riskleri birbirinden net şekilde ayırması gerekir:

  • Model Eğitim Botları (Örn: GPTBot, ClaudeBot, CCBot): Bu botların temel görevi, internetteki devasa veriyi toplayıp yapay zekâ modellerinin (Foundation Models) altyapısını, kelime dağarcığını ve mantık ağını eğitmektir. Sitenizi tararlar, içeriklerinizi alıp milyarlarca parametrelik bir kara kutunun içine eritirler. Markaya Faydası: Neredeyse sıfırdır. Sitenizin GPTBot tarafından taranması, ChatGPT’nin kullanıcılara doğrudan sizin linkinizi vereceği anlamına gelmez. Veriniz yalnızca modelin genel bilgi havuzunu (bilgi ağırlıklarını) beslemek için anonim olarak kullanılır.
  • Arama ve Yanıt Botları (Örn: OAI-SearchBot, PerplexityBot): Dijital pazarlama dünyasının asıl kucaklaması ve optimize olması gereken tarayıcılar bunlardır. Bir kullanıcı yapay zekâya anlık, güncel ve spesifik bir soru yönelttiğinde (örneğin; “2026 yılı güncel e-ticaret SEO stratejileri nelerdir?”), bu botlar geçmiş eğitim verisiyle yetinmez. Anında eş zamanlı web araması (RAG) başlatarak güncel siteleri tarar, içeriğinizi sentezler ve yanıtın hemen altına tıklanabilir bir kaynak bağlantısı (atıf / citation) ekler. Markaya Faydası: Kullanıcıların doğrudan sitenize yönlendirilmesi (referral traffic), yapay zekâ ekranlarında otorite inşası ve geleneksel SEO rakiplerini yapay zekâ önerileriyle ekarte etme imkânı sunar.

İçeriklerinizin bedelsiz bir şekilde model eğitiminde kullanılmasını (fikrî mülkiyet endişeleriyle) istemeyebilirsiniz; ancak aynı anda arama botlarını da kapı dışarı ederseniz, potansiyel müşterilerinizin ChatGPT üzerinden sitenizi keşfetme ihtimalini kendi ellerinizle yok etmiş olursunuz.

Hangi AI Botlarına İzin Vermeli, Hangilerini Engellemeliyiz?

Her web sitesinin iş modeli, veri hassasiyeti ve dijital varlık stratejisi birbirinden farklıdır; bu nedenle robots.txt yapılandırmasında herkes için geçerli tek tip bir formül yoktur. Ürettiğiniz içeriğin ticari değeri, telif hakları ve organik trafik beklentiniz, hangi botlara kapıyı sonuna kadar açıp hangilerine kapatacağınızı belirler. Örneğin, eğer amacınız Yapay Zeka Platformlarında Marka Görünürlüğü kazanmaksa, arama botlarını (SearchBot) tamamen açık bırakmalısınız. Ancak işin içine model eğiten arka plan botları (GPTBot vb.) girdiğinde, yapılandırmanız tamamen faaliyet gösterdiğiniz sektöre göre şekillenmelidir.

Marka hedeflerine ve veri modellerine göre en ideal erişim senaryoları şunlardır:

  • Haber Siteleri, Yayıncılar ve Özgün İçerik Üreticileri: Bu platformlar için içerik, ürünün (ve gelirin) ta kendisidir. Yıllarca süren araştırmaların ve özel haberlerin OpenAI gibi devler tarafından bedelsiz alınıp model eğitiminde kullanılması büyük bir ticari risktir. Bu nedenle yayıncılar genellikle eğitim botlarını (GPTBot, ClaudeBot) kesin bir dille engeller. Ancak anlık gelişen olaylarda kullanıcıların yapay zekâ asistanlarından haber sitelerine tıklayıp doğrudan trafik yaratabilmesi için arama botlarına (OAI-SearchBot, PerplexityBot) izin veren melez (hibrit) bir politika uygularlar.
  • B2B Şirketler, Ajanslar ve Yerel Hizmet Sağlayıcılar: B2B şirketlerin ve hizmet sitelerinin ana hedefi potansiyel müşterilere (lead) ulaşmak ve kendi dikeyinde tartışmasız bir otorite kurmaktır. Sitenizdeki vaka analizlerinin (case study), detaylı hizmet rehberlerinin ve teknik makalelerin yapay zekânın sadece eş zamanlı aramalarında değil, ana eğitim verisinde de yer alması tamamen markanızın lehinedir. Bu senaryoda hem eğitim botlarına hem de arama botlarına tam erişim vermek en agresif ve kazançlı görünürlük stratejisidir.
  • E-Ticaret Siteleri ve Dijital Ürün Platformları: Bir e-ticaret sitesi, kullanıcıların “Ümraniye bölgesinde en iyi halı yıkama firması hangisi?” veya “150 skinli güvenilir oyun hesabı nereden alınır?” gibi kompleks yapay zekâ sorgularında mutlaka önerilmek zorundadır. Bu yüzden arama botlarının kategori ve ürün sayfalarına erişimi asla engellenmemelidir. Ancak, fiyatlandırma stratejilerinin ve stok yapılarının gereksiz yere taranmasını veya yapay zekâ tarafından kontrolsüzce kazınmasını (scraping) önlemek adına; sepet sayfaları, kullanıcı panelleri, filtreleme ve parametrik arama sonuç sayfaları tüm botlara (User-agent: *) kapatılmalıdır.

Hangi sektörde olursanız olun değişmeyen tek bir kural vardır: Sitenizdeki bilginin kaynak olarak gösterilmesini, markanızın yapay zekâ tarafından önerilmesini ve doğrudan organik trafik almayı istiyorsanız, kullanıcı tetiklemeli çalışan arama botlarının (SearchBot) önündeki tüm bariyerleri kaldırmalısınız.

Örnek robots.txt Kuralları (GPTBot, Google-Extended, ClaudeBot)

Belirlediğiniz marka ve görünürlük stratejisini pratiğe dökmek için web sitenizin kök dizininde yer alan robots.txt dosyasına doğru komutları (User-agent ve Disallow/Allow) eklemeniz gerekir. Bu dosya, botların sitenize giriş yapmadan önce okuduğu ilk ve en kritik talimatnamedir. Ancak bu kuralları yazarken yapılacak ufak bir harf veya mantık hatası, sitenizin Google dizininden tamamen silinmesine bile yol açabilir. Arama motoru botlarını yanlışlıkla engellememek için SEO Uzmanı kontrolünde ilerlemeniz kritik önem taşır.

Yapay zekâ ekosistemindeki güncel botları yönetmek için en yaygın kullanılan senaryolara ait örnek robots.txt kod blokları şu şekildedir:

Senaryo 1: Melez (Hibrit) Yapı – Eğitim Botlarını Engelle, Arama Botlarına İzin Ver

İçeriğinin model eğitiminde kullanılmasını (çalınmasını) istemeyen ancak ChatGPT’nin canlı aramalarında (atıf alarak) görünmek isteyen yayıncılar ve haber siteleri için en ideal kurgudur.

# 1. Eğitim Botlarını Tüm Sitede Engelle

User-agent: GPTBot

Disallow: /

User-agent: ClaudeBot

Disallow: /

# Google’ın Gemini eğitimi için kullandığı botu engelle (Klasik SEO’yu bozmaz)

User-agent: Google-Extended

Disallow: /

# 2. Arama ve Getirme (Search & Retrieval) Botlarına İzin Ver

User-agent: OAI-SearchBot

Disallow: 

User-agent: PerplexityBot

Disallow:

Burada Google-Extended komutu özel bir dikkat gerektirir. Bu botu engellemek, arama sonuçlarındaki (klasik Googlebot indeksindeki) veya AI Overviews alanındaki görünürlüğünüzü doğrudan engellemez; yalnızca içeriğinizin Google’ın üretken modellerinin (Gemini) eğitimine katılmasını durdurur.

Senaryo 2: Tam Görünürlük (B2B ve Hizmet Siteleri İçin Agresif Kurgu)

Yapay zekânın her alanında (hem eğitim verisinde hem canlı aramada) yer almak isteyen, sadece admin paneli, kullanıcı sepeti veya parametreli arama sayfaları gibi teknik URL’leri botlardan gizlemek isteyen siteler için uygulanır.

# Tüm yapay zeka ve arama motoru botları için geçerli genel kurallar

User-agent: *

Disallow: /wp-admin/

Disallow: /sepet/

Disallow: /hesabim/

Disallow: /*?filter=

Disallow: /*?sort=

# Yapay Zeka botlarına özel bir engelleme (Disallow) eklenmediği için 

# GPTBot, OAI-SearchBot ve diğer tüm AI botları kamuya açık sayfalara erişebilir.

robots.txt dosyanızda her bir bot (User-agent) bloğunun, yalnızca o botla en spesifik şekilde eşleştiğinde dikkate alınacağını unutmayın. Sitenizin sadece ana sayfasını veya sadece blog klasörünü açmak isterseniz Allow: /blog/ gibi spesifik izin komutları da kullanabilirsiniz, ancak bu tür kuralların yorumlanması her crawler’a (tarayıcıya) göre değişebileceği için olabildiğince sade ve net yapılar (Disallow odaklı) tercih edilmelidir. İşlemleri tamamladıktan sonra sunucu loglarınızdan bu kuralların gerçekten uygulanıp uygulanmadığını mutlaka test etmelisiniz.

robots.txt ve llms.txt Sinerjisi: Kapıyı Açıp, Menüyü Sunmak

Sektördeki rakiplerinizin büyük bir kısmı yapay zekâ görünürlüğünü sadece robots.txt dosyasına birkaç satır “Allow” kodu eklemekten ibaret sanırken, Generative Engine Optimization (GEO) stratejisinin asıl sihirli dokunuşu llms.txt protokolünde gizlidir. robots.txt dosyası yapay zekâ botlarına sitenizde sadece neye erişebileceklerini (kapıyı) söyler; ancak içeriğinizin ne anlattığını, en değerli verilerinizin nerede olduğunu ve modelin bunu nasıl okuması gerektiğini göstermez. Bu nedenle robots.txt ve llms.txt dosyaları birbirinin alternatifi değil, kusursuz birer tamamlayıcısıdır.

ChatGPT, Claude veya Perplexity gibi Büyük Dil Modelleri (LLM); görsel açıdan zenginleştirilmiş, karmaşık JavaScript, CSS ve reklam kodlarıyla dolu standart HTML sayfalarını ayrıştırırken (parsing) zorlanır. Sitenizin kapısını arama botlarına (SearchBot) sonuna kadar açmış olsanız bile, eğer ana içeriğiniz bu görsel ve teknik kod karmaşasının içinde boğuluyorsa, yapay zekâ asistanı veriyi net bir şekilde çekemediği için sizi kaynak (atıf) göstermekten vazgeçebilir. İşte tam bu noktada, sitenizi karmaşık bir web sayfası olmaktan çıkarıp doğrudan bir veri setine dönüştüren yeni nesil teknoloji devreye girer.

llms.txt dosyası, yapay zekâ botları için hazırlanmış özel ve çok net bir özettir. Bot kapıdan (robots.txt) içeri girdiğinde, karmaşık site mimarinizde kaybolmak yerine doğrudan bu metin (markdown) tabanlı dosyayı okur. Markanızın amacını, uzmanlık alanlarını, ürün yapılarını ve en güncel referanslarını hiçbir kod bariyerine takılmadan saniyeler içinde işler. Yapay zeka asistanlarına sitenizin içeriğini doğrudan makine okumasına uygun formatta sunmak için llms.txt Nedir ve Nasıl Oluşturulur? protokolünü mutlaka kullanmalısınız.

Robots.txt ile erişim izni verdiğiniz AI arama botlarını, llms.txt sayesinde temizlenmiş, yapılandırılmış ve doğrudan dil modeline hitap eden bir içeriğe yönlendirmek; AI Search (Yapay Zekâ Araması) sonuçlarında geleneksel rakiplerinizi ezip geçmenizi sağlayacak en ileri seviye teknik GEO hamlesidir. Yapay zekâya sadece kapıyı açmak yetmez, ona aradığı bilgiyi en pürüzsüz formatta bir menü gibi sunmanız gerekir.

AI Botlarını Engellemek SEO ve GEO Performansını Düşürür mü?

Yapay zekâ botlarını engellemenin sitenizin organik performansına (trafiğine) olan etkisi, tamamen hangi botu kısıtladığınıza ve hedefinizi hangi platformda belirlediğinize bağlıdır. Pek çok web yöneticisi, AI botlarını engellediğinde Google’daki sıralamalarının (geleneksel SEO performansının) düşeceğinden korkar. Oysa bu endişe, sitenin dizine eklenmesini sağlayan geleneksel tarayıcılar (Googlebot) ile yapay zekâ eğitim tarayıcıları arasındaki teknik ayrımı bilmemekten kaynaklanır.

Örneğin, Google’ın kendi üretken yapay zekâ modellerini (Gemini) eğitmek için kullandığı Google-Extended botunu kapatmak, geleneksel arama sonuçlarındaki (SEO) sıralamanızı bozmaz. Benzer şekilde, Google’ın arama sonuç sayfasının en üstünde sunduğu AI Overviews (Yapay Zeka Özetleri) alanı da gücünü doğrudan geleneksel Googlebot indeksinden aldığı için, Google-Extended’ı engellemek bu alandaki görünürlüğünüzü de doğrudan engellemez. Yani Google-Extended‘ı kapattığınızda sadece içeriğinizin modelin gelecekteki eğitim verisine katılmasını durdurmuş olursunuz, mevcut SEO trafiğiniz zarar görmez.

Ancak işin GEO (Generative Engine Optimization) tarafına, yani ChatGPT Search, Claude veya Perplexity gibi dış platformlara geldiğimizde tablo tamamen değişir. Eğer OAI-SearchBot veya PerplexityBot gibi arama ve getirme (retrieval) botlarını engellerseniz, bu platformlardaki GEO performansınız sıfıra iner. Yapay zekâ asistanları, kullanıcının sorduğu soruya anlık ve güncel yanıt vermek için sitenize girmeye çalıştığında kapıdan dönecek; dolayısıyla markanızı asla kaynak (atıf) olarak önermeyecektir. Rakipleriniz yapay zekâ tarafından binlerce kez tavsiye edilirken, siteniz “cevap motorları” ekosisteminde tamamen karanlıkta kalacaktır.

Botlara izin verme veya engelleme stratejinizi uyguladıktan sonra, hangi botun sitenize giriş yapabildiğini, referans gösterilme oranlarınızı ve yapay zekâ platformlarından gelen organik trafiği sürekli ölçümlemelisiniz. Bu görünürlük dinamiklerini GEO Performansı Nasıl Ölçülür? yazımızdaki metriklerle takip edebilirsiniz. Doğru kurgulanmış bir robots.txt dosyası, geleneksel SEO kalelerinizi korurken sizi yapay zekâ çağının da vazgeçilmez bir kaynağı haline getirecektir.