Detaylı tanım
GEO başarısı için robots.txt'te bu botlara izin verilmesi gerekir. Bot listesi: GPTBot (OpenAI), ClaudeBot + anthropic-ai (Anthropic), PerplexityBot + Perplexity-User (Perplexity), Google-Extended (Google AI Overviews), Applebot-Extended (Apple Intelligence), CCBot (Common Crawl), cohere-ai (Cohere), meta-externalagent (Meta AI), OAI-SearchBot + ChatGPT-User (OpenAI search). Disallow tüm bu botları, AI motorlarında görünmemenize neden olur.
Örnekler
- User-agent: GPTBot\nAllow: / → ChatGPT'nin markanızı taramasına izin verir.