Yapay zeka botları için robots.txt oluşturucu
Her yapay zeka botunun ne yaptığını bilerek izin verin ya da engelleyin, sonra robots.txt dosyanıza ekleyeceğiniz bloğu kopyalayın.
GPTBot, OpenAI modellerini eğitmek için sayfa toplar. Onu engellemenin ChatGPT içindeki varlığınıza hiçbir etkisi yoktur. OAI-SearchBot ise ChatGPT'nin arama dizinini besler: sayfanızın alınıp alınamayacağına, özetlenip bir bağlantıyla alıntılanıp alıntılanamayacağına o karar verir. Onu engellemek sizi ChatGPT yanıtlarından çıkarır. Pek çok site bir GPTBot engelini kopyaladı, yanına “garanti olsun” diye OAI-SearchBot'u da ekledi ve tam da kazanmaya çalıştığı trafik kanalından kendini eledi. Toptan değil, satır satır karar verin.
OpenAI modellerinin eğitimi için sayfa toplar.
Onu engellemek sizi ChatGPT yanıtlarından çıkarmaz. Bu, görünürlüğünüzle değil verilerinizle ilgili bir karardır.
ChatGPT araması için sayfaları dizine ekler.
ChatGPT yanıtlarında yer alıp bağlantı almanızı belirleyen bot budur. Onu engellemek sizi alıntılardan siler.
ChatGPT Ads reklamlarının açılış sayfalarını denetler.
ChatGPT içinde reklam satın almayı düşünüyorsanız gereklidir: o olmadan açılış sayfalarınız doğrulanamaz.
Bir kullanıcı bağlantıyı paylaştığı ya da onunla ilgili soru sorduğu için sayfayı anlık olarak getirir.
Gerçek bir kişinin, gerçek zamanlı olarak tetiklediği trafik. Onu engellemek, açıkça istenmiş bir ziyareti geri çevirmek demektir.
Claude modelleri için sayfa toplar.
Anthropic ayrıca anlık getirmeler için Claude-User, arama için Claude-SearchBot kullanır: bunlar ayrı ajanlardır ve ayrı ayrı karara bağlanmalıdır.
Perplexity'nin kaynaklı yanıtları için sayfaları dizine ekler.
Perplexity kaynaklarını her zaman gösterir. Onu engellemek, bu alıntılardan ve onlarla gelen trafikten vazgeçmek demektir.
İçeriğinizin Gemini'de ve yanıt dayanaklandırmasında kullanılıp kullanılmayacağını belirleyen bir jeton.
Bir tarama botu değildir: ne Google Search dizinlemenizi ne de sıralamanızı değiştirir.
Birçok eğitim sürecinde yeniden kullanılan, kamuya açık bir derlem oluşturur.
Doğrudan görünürlük getirisi yok: Common Crawl kimseyi alıntılamaz. İçeriğinizi koruyorsanız engellenecek ilk aday budur.
ByteDance modelleri için sayfa toplar.
Agresif tarama hızıyla bilinir. Pek çok site onu haklar kadar sunucu yükü nedeniyle de engeller.
Meta modelleri ve Meta AI için sayfa toplar.
Meta birden fazla ajan kullanır. Bu, eğitim için belgelenmiş tarama ajanıdır.
İçeriğinizin Apple Intelligence için kullanılıp kullanılmayacağını belirleyen bir jeton.
Siri ve Spotlight'ı besleyen Applebot'a dokunmaz: Apple aramasındaki varlığınız etkilenmez.
Bu bloğu, alan adınızın kök dizinindeki mevcut robots.txt dosyanıza ekleyin. Şu anki kurallarınızın üzerine yazmayın: robots.txt her User-agent grubu için ayrı okunur, sizinkiler diğer botlara uygulanmaya devam eder.
Bu araç tamamen sizin tarayıcınızda çalışır. Buraya yazdığınız hiçbir veri sunucularımıza ulaşmaz, hiçbir şey kaydedilmez, açılacak bir hesap ve uyulacak bir kota yoktur. Karşılıksız verebiliyoruz, çünkü çalıştırması bize hiçbir şeye mal olmuyor.
Bu araç ne yapar
Yanlış ayarlanmış bir robots.txt, yapay zeka yanıtlarından fark etmeden kaybolmanın en hızlı yoludur. En sık yapılan ve en pahalıya patlayan karışıklık OpenAI ile ilgili: GPTBot ile OAI-SearchBot aynı işi yapmaz ve birini diğerinin yerine engellemek birbirinin tersi sonuçlar doğurur. Bu araç, kararı size bırakmadan önce her botun gerçekte ne yaptığını gösterir.
- On bir yapay zeka botu, her biri gerçek göreviyle birlikte: eğitim, arama ve alıntı, kullanıcının tetiklediği ziyaret, reklam.
- Dört hazır ayar; biri, eğitim amaçlı toplamayı reddederken alıntıları korur.
- İzin verdiğiniz botlara uygulanacak yasak yollar ekler; müşteri alanınızı ya da sepetinizi korumak için.
- Dosyanın sonuna Sitemap satırı ve her botun ne yaptığını hatırlatan yorum satırları ekler.
- Yerel üretim: dosya tarayıcınızda hazırlanır, hiçbir şey iletilmez.
Sık sorulan sorular
GPTBot'u engellemek beni ChatGPT'den çıkarır mı?
Botlar robots.txt'e gerçekten uyuyor mu?
Dosya nereye konur?
Sitenin yalnızca bir bölümünü engelleyebilir miyim?
Kurallarımın gerçekten uygulandığını nasıl kontrol ederim?
Oluşturucudan daha ileriye
Bu mikro araçlar bir dosya üretir. Ready2GEO tarayıcıları ise sitenizde ve yapay zeka yanıtlarının içinde gerçekte ne olup bittiğine bakar.
Sitenizin ChatGPT reklam platformu tarafından gerçekten uygun ve kullanılabilir bulunup bulunmadığını kontrol eder: bot erişimi, yapı, ticari sinyaller.
Sitemi test et 🕷️ AI Crawler Log AnalyzerSunucu günlüklerinizi yapıştırın: hangi yapay zeka botları gerçekten uğruyor, ne sıklıkta geliyor ve hangi sayfalarda dişlerini kırıyor, görün.
Loglarımı analiz et 🧭 Eksiksiz GEO denetimiToplu denetim, bütün tarayıcıları tek bir raporda birleştirir: önceliklendirilmiş düzeltmeler ve PDF çıktısı ile.
Denetimi başlat