"Yapay zekâ botlarını engellemeli miyiz?" sorusu genellikle tek bir karar gibi sorulur. Değil. En az dört ayrı karar var ve her biri başka bir belirteçle, başka bir sonuçla verilir. Yanlış satırı engellemek, vazgeçmek istemediğiniz bir görünürlüğü kapatabilir; doğru sandığınız satır ise hiçbir şeyi değiştirmeyebilir.
Bu rehberdeki her ifade ilgili şirketin kendi belgesinden alındı ve 11 Kasım 2026'da kontrol edildi. Bu belgeler değişir; uygulamadan önce kaynak bağlantılarına tekrar bakın.
Önce ayrım: eğitim, arama dizini ve kullanıcı isteği
Yapay zekâ şirketlerinin botları üç farklı iş yapar ve belgelerinde bunları ayrı adlarla tanımlarlar:
- Eğitim botları model eğitiminde kullanılabilecek içeriği toplar. Engellemek, içeriğinizin eğitimde kullanılmasını istemediğinizi bildirir.
- Arama botları yapay zekâ aramasında sitenizin gösterilip bağlantı verilebilmesi için dizin oluşturur. Engellerseniz o üründe görünmezsiniz.
- Kullanıcı tetiklemeli getiriciler bir kullanıcı soru sorduğunda sayfayı o an ziyaret eder. Bazı şirketler bunların robots.txt kurallarına bağlı olmayabileceğini açıkça yazar.
Hangi bot ne yapar
| Şirket | Belirteç | Ne için | Bilmeniz gereken |
|---|---|---|---|
Googlebot | Google Arama; AI Overview ve AI Mode dahil | Arama özellikleri için kontrol bu belirteçtir | |
Google-Extended | Gemini modellerinin eğitimi ve Gemini Apps ile Vertex AI'da dayanak (grounding) | Arama'da yer almayı ve sıralamayı etkilemez; ayrı bir HTTP kullanıcı aracısı yoktur | |
| OpenAI | OAI-SearchBot | ChatGPT arama özelliklerinde siteleri göstermek | Engellenirse site ChatGPT arama yanıtlarında gösterilmez; değişiklik yaklaşık 24 saatte yansır |
| OpenAI | GPTBot | Üretken yapay zekâ temel modellerinin eğitiminde kullanılabilecek içeriği taramak | Engellemek, içeriğin eğitimde kullanılmaması gerektiğini bildirir |
| OpenAI | ChatGPT-User | ChatGPT ve Custom GPT'lerde kullanıcının başlattığı işlemler | robots.txt kuralları geçerli olmayabilir; aramada görünmeyi belirlemez |
| Anthropic | ClaudeBot | Model eğitimi için web içeriği toplamak | robots.txt'e uyar; engellemek gelecekteki içeriği eğitim veri setlerinin dışında tutar |
| Anthropic | Claude-SearchBot | Arama sonuçlarının kalitesini artırmak için web'i taramak | robots.txt'e uyar; engellemek aramada görünürlüğü azaltabilir |
| Anthropic | Claude-User | Kullanıcının sorusu üzerine sayfa getirmek | robots.txt'e uyar; engellemek kullanıcı sorgusunda içeriğin getirilmesini önler |
| Perplexity | PerplexityBot | Perplexity arama sonuçlarında siteleri göstermek ve bağlantı vermek | Temel model eğitimi için kullanılmaz |
| Perplexity | Perplexity-User | Kullanıcının isteği üzerine sayfa ziyaret etmek | Kullanıcı istediği için robots.txt kurallarını genellikle yok sayar |
Kaynaklar: Google AI özellikleri, Google tarayıcıları, OpenAI botları, Anthropic botları, Perplexity botları.
Dört yaygın yanılgı
1. "Google-Extended'ı engellersem AI Overview'dan çıkarım." Çıkmazsınız. Google'ın belgesine göre Google-Extended, sitenin Google Arama'da yer almasını etkilemez ve sıralama sinyali olarak kullanılmaz. Bu belirteç, içeriğin Gemini modellerinin eğitiminde ve Gemini Apps ile Vertex AI'daki dayanak özelliğinde kullanılmasını yönetir. Arama içindeki yapay zekâ özellikleri için Google, kontrolün Googlebot'a yönelik robots.txt yönergeleri olduğunu söylüyor.
2. "AI Overview'da görünmek için llms.txt gerekir." Google'ın belgesi tersini söylüyor: AI Overview veya AI Mode'da görünmek için ek bir gereklilik yok, özel bir schema.org işaretlemesi gerekmiyor ve yeni makine tarafından okunabilir dosyalar ya da yapay zekâ metin dosyaları oluşturmanıza gerek yok. Tek teknik koşul, sayfanın dizine eklenmiş olması ve Google Arama'da snippet ile gösterilmeye uygun olması.
llms.txt'in kendisi ise bir standart değil, bir öneri. llmstxt.org onu, yapay zekâ ajanlarının bir web sitesini kullanmasına yardımcı olacak bilgiyi /llms.txt dosyasıyla sunmayı standartlaştırma önerisi olarak tanımlıyor. Öneriyi Jeremy Howard 3 Eylül 2024'te yayımladı. Dosya Markdown biçiminde ve zorunlu tek bölümü, site ya da proje adını taşıyan bir H1 başlığı. Sitede bulundurmanın bir sakıncası yok; ama Google'ın yapay zekâ özelliklerinde görünmenin koşulu olmadığını bilerek bulundurun.
3. "nosnippet ile yalnızca yapay zekâyı kapatırım." Kapatırsınız, ama yalnızca onu değil. Google'ın robots meta etiketi belgesine göre nosnippet, sayfa için arama sonuçlarında metin snippet'i gösterilmemesini söyler; bu, AI Overview ve AI Mode dahil bütün arama sonucu biçimleri için geçerlidir ve içeriğin bu özelliklerde doğrudan girdi olarak kullanılmasını da önler. Yani normal sonuçtaki açıklama metniniz de gider. max-snippet ise ne kadar içeriğin doğrudan girdi olarak kullanılabileceğini sınırlar.
4. "robots.txt'e yazdıysam hiçbir yapay zekâ sayfama gelmez." Kullanıcı tetiklemeli getiriciler için bu doğru olmayabilir. OpenAI, ChatGPT-User için bu işlemleri kullanıcı başlattığından robots.txt kurallarının geçerli olmayabileceğini yazıyor. Perplexity, Perplexity-User için getirmeyi kullanıcı istediğinden bu getiricinin robots.txt kurallarını genellikle yok saydığını yazıyor. Anthropic ise botlarının robots.txt'e uyduğunu ve standart dışı Crawl-delay uzantısını desteklediğini belirtiyor.
Bing ve Copilot
Microsoft bu kontrolü robots.txt yerine meta etiketlerle veriyor. Bing'in 22 Eylül 2023 tarihli duyurusuna göre etiketsiz içerik sohbet yanıtlarına dahil edilebilir ve üretken yapay zekâ modellerinin eğitiminde kullanılabilir. NOCACHE etiketli içerik yanıtlara dahil edilebilir, ancak eğitimde yalnızca URL, başlık ve snippet kullanılabilir. NOARCHIVE etiketli içerik yanıtlara dahil edilmez ve eğitimde kullanılmaz. Her iki etiketle de içerik Bing arama sonuçlarında görünmeye devam eder.
Bu duyuru Bing Chat dönemine ait; ürün sonradan Copilot adını aldı. Güncel kurallar için Bing Webmaster Yönergeleri'nin son hâlini ayrıca kontrol edin.
Karar tablosu
| İstediğiniz | Yapılacak | Bedeli |
|---|---|---|
| Yapay zekâ aramalarında görünmek, eğitimde kullanılmamak | OAI-SearchBot, Claude-SearchBot, PerplexityBot açık; GPTBot, ClaudeBot, Google-Extended kapalı | Google Arama etkilenmez |
| Google'ın yapay zekâ özetlerinde metnin kullanılmaması | nosnippet veya max-snippet | Normal sonuçtaki açıklama metni de kısalır ya da kaybolur |
| Bing sohbet yanıtlarında yer almamak (2023 duyurusuna göre) | NOARCHIVE meta etiketi | Bing arama sonuçlarında görünmeye devam edersiniz |
| Her yerde görünmek | Hiçbirini engellememek | İçerik eğitimde kullanılabilir |
Kendi dosyamızda ne bulduk
Bu rehberi yazarken kendi robots.txt dosyamızı da belgelerle karşılaştırdık. İki şey çıktı. Dosyada anthropic-ai adında bir satır vardı; Anthropic'in bugünkü belgesinde bu ad geçmiyor, belge ClaudeBot, Claude-User ve Claude-SearchBot'u tanımlıyor. Ayrıca OpenAI ve Anthropic'in arama botları için ayrı satırımız yoktu; genel izin kuralı onları zaten kapsıyordu, ama bir gün eğitim botlarını kapatmak istersek ayrımı yapamazdık. Dosyayı güncelledik: o satırı çıkardık, arama ve kullanıcı botlarını adlarıyla ekledik.
Kontrol listesi
- robots.txt dosyanızı açın ve her yapay zekâ satırını yukarıdaki tabloyla eşleştirin. Belgelerde karşılığı olmayan adları çıkarın.
- Eğitim ve arama kararını ayrı ayrı verin. İkisini tek satırla kapatmayın.
- OpenAI için değişikliğin arama tarafında yaklaşık 24 saatte yansıdığını hesaba katın.
- Alt alan adlarınız varsa her birinin kendi robots.txt dosyasını kontrol edin. Anthropic, engellemenin her alt alan adı için ayrıca yapılması gerektiğini belirtiyor.
- Bu kontrollerin görünürlüğü garanti etmediğini unutmayın. İzin vermek, kaynak gösterileceğiniz anlamına gelmez; kaynak gösterilmek de tıklama anlamına gelmez. Bunu kendi sitemizde ölçtük: 60 sorguluk AI Overview ölçümü.
Kaynaklar
Tümüne 11 Kasım 2026'da erişildi.
- Google Search Central, AI features and your website.
- Google Search Central, Google's common crawlers (Google-Extended).
- Google Search Central, Robots meta tag specifications (nosnippet, max-snippet).
- OpenAI, Overview of OpenAI crawlers.
- Anthropic, Does Anthropic crawl data from the web, and how can site owners block the crawler?.
- Perplexity, Perplexity crawlers.
- llmstxt.org, The /llms.txt file.
- Microsoft Bing Blogs, Announcing new options for webmasters to control usage of their content in Bing Chat (22 Eylül 2023).

