Blog'a Dön
Demokan Özkök
9 dk
SEO

Yapay Zekâ Botları Rehberi: robots.txt, Google-Extended, nosnippet ve llms.txt Neyi Kontrol Eder?

GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot ve Google-Extended ayrı işler yapar. Hangisini engellemek neyi değiştirir? Şirketlerin kendi belgelerinden, kaynaklı rehber.

GEOrobots.txtllms.txtYapay ZekaTeknik SEO
Read in English

"Yapay zekâ botlarını engellemeli miyiz?" sorusu genellikle tek bir karar gibi sorulur. Değil. En az dört ayrı karar var ve her biri başka bir belirteçle, başka bir sonuçla verilir. Yanlış satırı engellemek, vazgeçmek istemediğiniz bir görünürlüğü kapatabilir; doğru sandığınız satır ise hiçbir şeyi değiştirmeyebilir.

Bu rehberdeki her ifade ilgili şirketin kendi belgesinden alındı ve 11 Kasım 2026'da kontrol edildi. Bu belgeler değişir; uygulamadan önce kaynak bağlantılarına tekrar bakın.

Önce ayrım: eğitim, arama dizini ve kullanıcı isteği

Yapay zekâ şirketlerinin botları üç farklı iş yapar ve belgelerinde bunları ayrı adlarla tanımlarlar:

  • Eğitim botları model eğitiminde kullanılabilecek içeriği toplar. Engellemek, içeriğinizin eğitimde kullanılmasını istemediğinizi bildirir.
  • Arama botları yapay zekâ aramasında sitenizin gösterilip bağlantı verilebilmesi için dizin oluşturur. Engellerseniz o üründe görünmezsiniz.
  • Kullanıcı tetiklemeli getiriciler bir kullanıcı soru sorduğunda sayfayı o an ziyaret eder. Bazı şirketler bunların robots.txt kurallarına bağlı olmayabileceğini açıkça yazar.

Hangi bot ne yapar

ŞirketBelirteçNe içinBilmeniz gereken
GoogleGooglebotGoogle Arama; AI Overview ve AI Mode dahilArama özellikleri için kontrol bu belirteçtir
GoogleGoogle-ExtendedGemini modellerinin eğitimi ve Gemini Apps ile Vertex AI'da dayanak (grounding)Arama'da yer almayı ve sıralamayı etkilemez; ayrı bir HTTP kullanıcı aracısı yoktur
OpenAIOAI-SearchBotChatGPT arama özelliklerinde siteleri göstermekEngellenirse site ChatGPT arama yanıtlarında gösterilmez; değişiklik yaklaşık 24 saatte yansır
OpenAIGPTBotÜretken yapay zekâ temel modellerinin eğitiminde kullanılabilecek içeriği taramakEngellemek, içeriğin eğitimde kullanılmaması gerektiğini bildirir
OpenAIChatGPT-UserChatGPT ve Custom GPT'lerde kullanıcının başlattığı işlemlerrobots.txt kuralları geçerli olmayabilir; aramada görünmeyi belirlemez
AnthropicClaudeBotModel eğitimi için web içeriği toplamakrobots.txt'e uyar; engellemek gelecekteki içeriği eğitim veri setlerinin dışında tutar
AnthropicClaude-SearchBotArama sonuçlarının kalitesini artırmak için web'i taramakrobots.txt'e uyar; engellemek aramada görünürlüğü azaltabilir
AnthropicClaude-UserKullanıcının sorusu üzerine sayfa getirmekrobots.txt'e uyar; engellemek kullanıcı sorgusunda içeriğin getirilmesini önler
PerplexityPerplexityBotPerplexity arama sonuçlarında siteleri göstermek ve bağlantı vermekTemel model eğitimi için kullanılmaz
PerplexityPerplexity-UserKullanıcının isteği üzerine sayfa ziyaret etmekKullanıcı istediği için robots.txt kurallarını genellikle yok sayar

Kaynaklar: Google AI özellikleri, Google tarayıcıları, OpenAI botları, Anthropic botları, Perplexity botları.

Dört yaygın yanılgı

1. "Google-Extended'ı engellersem AI Overview'dan çıkarım." Çıkmazsınız. Google'ın belgesine göre Google-Extended, sitenin Google Arama'da yer almasını etkilemez ve sıralama sinyali olarak kullanılmaz. Bu belirteç, içeriğin Gemini modellerinin eğitiminde ve Gemini Apps ile Vertex AI'daki dayanak özelliğinde kullanılmasını yönetir. Arama içindeki yapay zekâ özellikleri için Google, kontrolün Googlebot'a yönelik robots.txt yönergeleri olduğunu söylüyor.

2. "AI Overview'da görünmek için llms.txt gerekir." Google'ın belgesi tersini söylüyor: AI Overview veya AI Mode'da görünmek için ek bir gereklilik yok, özel bir schema.org işaretlemesi gerekmiyor ve yeni makine tarafından okunabilir dosyalar ya da yapay zekâ metin dosyaları oluşturmanıza gerek yok. Tek teknik koşul, sayfanın dizine eklenmiş olması ve Google Arama'da snippet ile gösterilmeye uygun olması.

llms.txt'in kendisi ise bir standart değil, bir öneri. llmstxt.org onu, yapay zekâ ajanlarının bir web sitesini kullanmasına yardımcı olacak bilgiyi /llms.txt dosyasıyla sunmayı standartlaştırma önerisi olarak tanımlıyor. Öneriyi Jeremy Howard 3 Eylül 2024'te yayımladı. Dosya Markdown biçiminde ve zorunlu tek bölümü, site ya da proje adını taşıyan bir H1 başlığı. Sitede bulundurmanın bir sakıncası yok; ama Google'ın yapay zekâ özelliklerinde görünmenin koşulu olmadığını bilerek bulundurun.

3. "nosnippet ile yalnızca yapay zekâyı kapatırım." Kapatırsınız, ama yalnızca onu değil. Google'ın robots meta etiketi belgesine göre nosnippet, sayfa için arama sonuçlarında metin snippet'i gösterilmemesini söyler; bu, AI Overview ve AI Mode dahil bütün arama sonucu biçimleri için geçerlidir ve içeriğin bu özelliklerde doğrudan girdi olarak kullanılmasını da önler. Yani normal sonuçtaki açıklama metniniz de gider. max-snippet ise ne kadar içeriğin doğrudan girdi olarak kullanılabileceğini sınırlar.

4. "robots.txt'e yazdıysam hiçbir yapay zekâ sayfama gelmez." Kullanıcı tetiklemeli getiriciler için bu doğru olmayabilir. OpenAI, ChatGPT-User için bu işlemleri kullanıcı başlattığından robots.txt kurallarının geçerli olmayabileceğini yazıyor. Perplexity, Perplexity-User için getirmeyi kullanıcı istediğinden bu getiricinin robots.txt kurallarını genellikle yok saydığını yazıyor. Anthropic ise botlarının robots.txt'e uyduğunu ve standart dışı Crawl-delay uzantısını desteklediğini belirtiyor.

Bing ve Copilot

Microsoft bu kontrolü robots.txt yerine meta etiketlerle veriyor. Bing'in 22 Eylül 2023 tarihli duyurusuna göre etiketsiz içerik sohbet yanıtlarına dahil edilebilir ve üretken yapay zekâ modellerinin eğitiminde kullanılabilir. NOCACHE etiketli içerik yanıtlara dahil edilebilir, ancak eğitimde yalnızca URL, başlık ve snippet kullanılabilir. NOARCHIVE etiketli içerik yanıtlara dahil edilmez ve eğitimde kullanılmaz. Her iki etiketle de içerik Bing arama sonuçlarında görünmeye devam eder.

Bu duyuru Bing Chat dönemine ait; ürün sonradan Copilot adını aldı. Güncel kurallar için Bing Webmaster Yönergeleri'nin son hâlini ayrıca kontrol edin.

Karar tablosu

İstediğinizYapılacakBedeli
Yapay zekâ aramalarında görünmek, eğitimde kullanılmamakOAI-SearchBot, Claude-SearchBot, PerplexityBot açık; GPTBot, ClaudeBot, Google-Extended kapalıGoogle Arama etkilenmez
Google'ın yapay zekâ özetlerinde metnin kullanılmamasınosnippet veya max-snippetNormal sonuçtaki açıklama metni de kısalır ya da kaybolur
Bing sohbet yanıtlarında yer almamak (2023 duyurusuna göre)NOARCHIVE meta etiketiBing arama sonuçlarında görünmeye devam edersiniz
Her yerde görünmekHiçbirini engellememekİçerik eğitimde kullanılabilir

Kendi dosyamızda ne bulduk

Bu rehberi yazarken kendi robots.txt dosyamızı da belgelerle karşılaştırdık. İki şey çıktı. Dosyada anthropic-ai adında bir satır vardı; Anthropic'in bugünkü belgesinde bu ad geçmiyor, belge ClaudeBot, Claude-User ve Claude-SearchBot'u tanımlıyor. Ayrıca OpenAI ve Anthropic'in arama botları için ayrı satırımız yoktu; genel izin kuralı onları zaten kapsıyordu, ama bir gün eğitim botlarını kapatmak istersek ayrımı yapamazdık. Dosyayı güncelledik: o satırı çıkardık, arama ve kullanıcı botlarını adlarıyla ekledik.

Kontrol listesi

  1. robots.txt dosyanızı açın ve her yapay zekâ satırını yukarıdaki tabloyla eşleştirin. Belgelerde karşılığı olmayan adları çıkarın.
  2. Eğitim ve arama kararını ayrı ayrı verin. İkisini tek satırla kapatmayın.
  3. OpenAI için değişikliğin arama tarafında yaklaşık 24 saatte yansıdığını hesaba katın.
  4. Alt alan adlarınız varsa her birinin kendi robots.txt dosyasını kontrol edin. Anthropic, engellemenin her alt alan adı için ayrıca yapılması gerektiğini belirtiyor.
  5. Bu kontrollerin görünürlüğü garanti etmediğini unutmayın. İzin vermek, kaynak gösterileceğiniz anlamına gelmez; kaynak gösterilmek de tıklama anlamına gelmez. Bunu kendi sitemizde ölçtük: 60 sorguluk AI Overview ölçümü.

Kaynaklar

Tümüne 11 Kasım 2026'da erişildi.

Demokan Özkök

Demokan Özkök, Avangard Reklam kurucusu olarak arama verisini ölçülebilir büyüme stratejilerine dönüştürür.

Dijital Pazarlama Stratejinizi Geliştirmek İstiyor musunuz?

Projenizi yazın; kapsam, fiyat ve takvimi 1 iş günü içinde yazılı olarak gönderelim.

Yazılı Teklif (WhatsApp)