Detaylı tanım
AI crawler'lar, yapay zekâ şirketlerinin web içeriğini model eğitimi, arama dizini veya kullanıcı isteği üzerine sayfa getirme amacıyla kullandığı botlardır ve işlevleri birbirinden ayrıdır. OpenAI'da GPTBot model eğitimi, OAI-SearchBot ChatGPT arama sonuçları, ChatGPT-User ise kullanıcının tetiklediği ziyaret içindir; GPTBot'u engellemek ChatGPT aramasında görünmeyi etkilemez. Anthropic'te ClaudeBot eğitim, Claude-SearchBot arama kalitesi, Claude-User kullanıcı isteğiyle erişim içindir. Perplexity'de PerplexityBot arama dizini, Perplexity-User kullanıcı isteği içindir. Google-Extended ayrı bir tarayıcı değil, içeriğin Gemini modellerinin eğitiminde ve Gemini uygulamaları ile Vertex AI'daki grounding'de kullanımını yöneten bir robots.txt belirtecidir; Google Arama'da dizine eklenmeyi, sıralamayı ya da AI Overviews ve AI Mode görünürlüğünü etkilemez (bunlar Googlebot ve snippet kontrolleriyle yönetilir). Kullanıcı tetiklemeli botlar robots.txt kurallarına her durumda uymayabilir. Bu yüzden botlar toptan değil, amaçlarına göre ayrı ayrı değerlendirilir.
AI Crawler (GPTBot, ClaudeBot, PerplexityBot) nasıl çalışır?
AI crawler'lar teknik olarak klasik arama motoru botlarıyla aynı yoldan çalışır: HTTP isteği gönderir, User-Agent başlığında kendilerini tanıtır ve alan adının kökündeki robots.txt dosyasında kendi adlarına yazılmış kuralı ararlar. Amaçları ise birbirinden ayrışır. Bir grup bot model eğitimi için toplu içerik toplar; ikinci grup kullanıcı o anda soru sorduğu için tek bir sayfayı canlı çeker; üçüncü grup ise arama dizini besler. Bu ayrım pratikte karar değiştirir, çünkü eğitim botunu kapatıp canlı getirme botunu açık bırakmak, içeriğinizin eğitim setine girmesini sınırlarken sohbet cevabı içinde kaynak olarak gösterilmenizi sürdürebilir. Tek bir toptan izin veya toptan yasak kararı yerine bot ailelerini ayrı ayrı ele almak bu yüzden anlamlıdır.
robots.txt eşleşmesi bot adı üzerinden ve tek blok bazında yapılır. Bir bot kendi adına yazılmış bloğu bulursa genel yıldız bloğunu tamamen yok sayar; dolayısıyla yıldız bloğuna eklediğiniz izin satırları, aşağıda o bot için ayrı bir blok varsa geçerli olmaz. İkinci teknik nokta render tarafındadır: eğitim ve getirme ajanlarının çoğu JavaScript çalıştırmaz, bu yüzden yalnızca istemcide oluşturulan metin onlara boş sayfa gibi görünür. Sunucu tarafı render veya statik HTML burada doğrudan görünürlük meselesidir. Üçüncü nokta CDN katmanıdır: güvenlik duvarı ve bot yönetimi ürünleri, robots.txt ne derse desin bu ajanları erişim reddi koduyla geri çevirebilir, yani izin verdiğinizi sandığınız bot aslında hiç içeri girmemiş olabilir.
Gerçek durumu ölçmenin yolu tahmin değil sunucu erişim kayıtlarıdır. Log dosyasında User-Agent alanına göre filtre alıp hangi botun hangi adresleri hangi HTTP durum koduyla çektiğini görebilirsiniz; erişim reddi ve hız sınırı kodlarının yığılması engellendiğinizin somut kanıtıdır. Kimlik doğrulaması için sağlayıcıların yayımladığı IP aralıkları veya ters DNS sorgusu kullanılır, çünkü User-Agent başlığı taklit edilebilir bir metindir. İkinci ölçüm kanalı yönlendirme trafiğidir: analitikte sohbet ve cevap motorlarının alan adlarından gelen oturumlar, içeriğinizin cevaplarda kaynak gösterildiğine dair dolaylı işaret verir. Bu iki veriyi birlikte okumak, robots.txt üzerinde yaptığınız değişikliğin işe yarayıp yaramadığını görmenin en doğrudan yoludur.
Hangi terimlerle karıştırılıyor?
| Karıştırılan terim | Aradaki fark |
|---|---|
| Googlebot | Googlebot klasik arama dizini için tarar. Google-Extended ise ayrı bir tarayıcı değil, içeriğin Gemini modellerinin eğitiminde ve Gemini uygulamaları ile Vertex AI'daki grounding'de kullanımını yöneten bir robots.txt belirtecidir; Google Arama'da dizine eklenmeyi ve AI Overviews ile AI Mode görünürlüğünü etkilemez. Bu görünürlük Googlebot ve snippet kontrolleriyle yönetilir. |
| Canlı getirme ajanı (ChatGPT-User, Perplexity-User) | Kullanıcı o anda soru sorduğu için tek bir adresi çeker. Toplu tarama veya dizin oluşturma yapmaz, bu yüzden trafiği düşük ama cevaba etkisi doğrudandır. |
| llms.txt | Öneri niteliğinde bir dosya biçimidir, botların uymak zorunda olduğu bir protokol değildir. Erişim kararını fiilen robots.txt ve sunucu tarafındaki kurallar belirler. |
| noindex etiketi | Sayfayı arama dizininden çıkarmak için kullanılır ve botun sayfayı okumasını gerektirir. AI botlarının erişimini yönetmenin yolu ise robots.txt ve sunucu kurallarıdır. |
Sık yapılan hatalar
robots.txt'i tek blok gibi okumak
Yıldız bloğuna izin yazıp aşağıda aynı bot için ayrı bir blok bırakmak sık görülen kurgu hatasıdır. Bot kendi adını taşıyan bloğu bulduğu anda genel bloğu tamamen yok sayar, yani genel blokta verdiğiniz izin o bot için hiç uygulanmaz ve tarama sessizce engellenmiş olur.
İzni robots.txt'te verip CDN'de unutmak
Güvenlik duvarı, bot koruma modu veya hız sınırı kuralları robots.txt'ten bağımsız çalışır. Dosyada izin verilmiş bir ajan, CDN katmanında erişim reddi kodu alarak geri çevrilebilir. Kural değişikliğinden sonra erişim kayıtlarında o botun gerçekten iki yüz kodu aldığını doğrulamadan işi bitmiş saymayın.
İçeriği yalnızca JavaScript ile yüklemek
Eğitim ve canlı getirme ajanlarının çoğu tarayıcı gibi kod çalıştırmaz. Sekmelerin arkasında, açılır panellerde veya kaydırdıkça yüklenen bölümlerde duran metin bu botlara ulaşmaz. Sayfanın kaynak HTML çıktısında görünmeyen bilgi, izin verilmiş olsa bile alıntılanamaz durumdadır.
Tarama iznini kaynak gösterilmekle eşitlemek
İzin gerek şarttır ama yeter şart değildir. Cevap üretirken alıntılanabilmek için sayfanın soruya doğrudan yanıt veren, tarih ve kaynak bilgisi taşıyan, kendi başına anlaşılır bölümler içermesi gerekir. Yalnızca robots.txt satırı ekleyip içeriğe dokunmamak ölçülebilir bir değişiklik üretmez.
AI Crawler (GPTBot, ClaudeBot, PerplexityBot) ne zaman kritik hâle gelir?
Kendi kategorinizle ilgili sorular sohbet asistanlarında cevaplanırken rakipler kaynak gösterilip siz görünmüyorsanız, ilk bakılacak yer robots.txt ve sunucu erişim kayıtlarıdır. Aynı kontrol site yenileme, alan adı taşıma veya yeni bir CDN kurulumundan sonra da kritik hâle gelir; bu geçişlerde bot kuralları çoğu zaman varsayılan ayarla geri gelir ve içerik farkında olmadan taramaya kapanır.
Örnekler
- "User-agent: GPTBot" ve "Disallow: /" satırları OpenAI'ın model eğitimi amaçlı taramasını engeller; ChatGPT arama sonuçlarını etkileyen OAI-SearchBot ayrı bir blokla yönetilir.
- Google-Extended için Disallow yazmak içeriğin Gemini eğitimi ve grounding için kullanımını sınırlar; sayfanın Google Arama ve AI Overviews'taki görünümünü değiştirmez.
İlgili terimler
Bu konuda destek almak ister misiniz?
AI Crawler (GPTBot, ClaudeBot, PerplexityBot) konusunun işinize nasıl uygulanacağını kısa bir ön görüşmede konuşabiliriz. İlk 30 dakikalık görüşme ücretsizdir.
Ücretsiz ön görüşme → +90 543 930 12 72