“Siteyi yapay zekâ botlarına kapatmalı mıyım?” sorusunun tek cevabı yok; çünkü “yapay zekâ botu” tek bir şey değil. Aynı şirketin birbirinden farklı amaçlarla çalışan birden çok tarayıcısı var ve her biri robots.txt'te ayrı yönetilebiliyor. Önce ayrımı netleştirelim.
Üç tür bot
- Eğitim botları: içeriği, üretken modelleri geliştirmek için toplar.
- Arama / atıf botları: yapay zekâ destekli arama özelliklerinde sitenizi göstermek ve bağlantı vermek için gezer.
- Kullanıcı tetikli botlar: bir kullanıcı yapay zekâ asistanından bir sayfayı istediğinde çalışır.
Bot tablosu
Aşağıdaki sınıflandırma, şirketlerin kendi resmî dokümanlarına dayanır.
| Şirket | Bot | Tür | Not |
|---|---|---|---|
| OpenAI | GPTBot | Eğitim | Engellemek, içeriğin eğitimde kullanılmamasını ister |
| OpenAI | OAI-SearchBot | Arama / atıf | Engellemek, siteyi ChatGPT arama yanıtlarından çıkarır |
| OpenAI | ChatGPT-User | Kullanıcı tetikli | Kullanıcı başlattığı için robots.txt kuralları uygulanmayabilir |
| Anthropic | ClaudeBot | Eğitim | Disallow ile engellenir |
| Anthropic | Claude-SearchBot | Arama | Engellenirse görünürlük azalabilir |
| Anthropic | Claude-User | Kullanıcı tetikli | Kullanıcı istediğinde siteye erişir |
| Perplexity | PerplexityBot | Arama / atıf | Perplexity sonuçlarında siteleri göstermek için; temel model eğitimi için kullanılmadığı belirtiliyor |
| Perplexity | Perplexity-User | Kullanıcı tetikli | Genel olarak robots.txt kurallarını dikkate almaz |
| Apple | Applebot-Extended | Eğitim kontrolü | Taramaz; verinin Apple'ın üretken modellerinin eğitiminde kullanılıp kullanılmayacağını belirler |
| Common Crawl | CCBot | Açık veri arşivi | Kâr amacı gütmeyen vakfın açık web arşivi |
OpenAI belirtiyor: robots.txt değişikliğinin sistemlere yansıması yaklaşık 24 saat sürebilir.
Google: Googlebot ve Google-Extended
Google'da iki ayrı kavram var:
- Googlebot Google Search'ün ana tarayıcısıdır. AI Overviews ve AI Mode için erişim denetimi de Googlebot'un robots.txt kurallarına ve önizleme denetimlerine (
nosnippet,max-snippet,noindex) bağlıdır. Googlebot'u engellerseniz aramadan da çıkarsınız. - Google-Extended ayrı bir tarayıcı değil, yalnızca robots.txt'te kullanılan bir belirteçtir. Gemini Apps ve Vertex AI Gemini modellerinin eğitimi ile “Grounding with Google Search” kullanımını yönetir. Google'a göre Google Search'e dahil olmayı etkilemez ve bir sıralama sinyali değildir.
robots.txt neyi yapmaz?
robots.txt, IETF'in RFC 9309 belgesinde tanımlanan gönüllü bir protokoldür; bir erişim yetkilendirmesi ya da güvenlik mekanizması değildir. Kurallara uyan tarayıcılar için bir talep niteliğindedir, uymayan bir istemciyi teknik olarak engellemez. Gerçekten gizli içeriği robots.txt ile değil, kimlik doğrulamayla korumalısınız.
Karar çerçevesi
| Amacınız | Yaklaşım |
|---|---|
| Yapay zekâ aramalarında görünmek | Arama/atıf botlarına izin verin (OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot) |
| İçeriğin model eğitiminde kullanılmasını istemiyorsunuz | Eğitim botlarını engelleyin (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended); isterseniz açık web arşivi CCBot'u da engelleyin. Arama botlarına izin vermeye devam edebilirsiniz |
| Hem görünürlük hem tam kontrol | Önce ne istediğinize karar verin; her bot için bilinçli bir satır yazın |
Görünürlük odaklı bir kurumsal site için örnek bir robots.txt, bu sitenin robots.txt dosyasında görülebilir. Bu bir iş kararıdır: eğitim botlarına izin vermek, içeriğin modellerin eğitiminde kullanılabileceği anlamına gelir.
Sık sorulanlar
Tüm AI botlarını engellersem Google'dan da çıkar mıyım?
Yalnızca Googlebot'u engellerseniz Google aramasından çıkarsınız. Google-Extended'ı engellemek ise Google Search'e dahil olmayı etkilemez.
Kullanıcı tetikli botlar neden robots.txt'e uymayabilir?
Sağlayıcıların dokümanlarına göre bu botlar bir kullanıcının doğrudan isteğiyle çalışır; bu nedenle robots.txt kuralları uygulanmayabilir.
Kaynaklar
- OpenAI: Bots
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Google: Common crawlers
- Google: AI features and your website
- Apple: About Applebot
- Common Crawl: CCBot
- IETF: RFC 9309 Robots Exclusion Protocol
Kaynaklar 1 Ekim 2026'da kontrol edilmiştir; resmî sayfalar zamanla değişebilir.
