Alat / Penjana robots.txt AI
🚦 Percuma dan Tanpa Had

Penjana robots.txt untuk Bot AI

Benarkan atau sekat setiap bot AI dengan pengetahuan penuh tentang fungsinya, kemudian salin blok kod untuk ditambah ke robots.txt anda.

GPTBot dan OAI-SearchBot: Dua Keputusan, Bukan Satu

GPTBot mengumpul halaman untuk melatih model OpenAI. Menyekatnya tidak memberi sebarang kesan terhadap kehadiran anda dalam ChatGPT. OAI-SearchBot pula memberi maklumat kepada indeks carian ChatGPT: ia yang menentukan sama ada halaman anda boleh diambil, diringkaskan dan dipetik berserta pautan. Menyekatnya akan menghilangkan anda daripada jawapan ChatGPT. Banyak laman web telah menyalin sekatan GPTBot dan turut menambah OAI-SearchBot "untuk berjaga-jaga", lalu tanpa sedar menyingkirkan diri mereka daripada saluran trafik yang sebenarnya cuba mereka bina. Buat keputusan baris demi baris, bukan secara pukal.

Praset
Membuka akses kepada semua yang boleh memetik anda, dan menutup pengumpul yang tidak pernah memetik.
GPTBot OpenAI Latihan Model

Mengumpul halaman untuk melatih model OpenAI.

Menyekatnya tidak menghilangkan anda daripada jawapan ChatGPT. Ini adalah keputusan mengenai data anda, bukan keterlihatan anda.

OAI-SearchBot OpenAI Carian dan Petikan

Mengindeks halaman untuk carian ChatGPT.

Bot inilah yang menentukan kehadiran dan pautan anda dalam jawapan ChatGPT. Menyekatnya akan menghapuskan anda daripada petikan.

OAI-AdsBot OpenAI Pengiklanan

Menyemak halaman pendaratan bagi iklan ChatGPT Ads.

Diperlukan jika anda bercadang membeli ruang iklan dalam ChatGPT: tanpanya, halaman pendaratan anda tidak dapat disahkan.

ChatGPT-User OpenAI Lawatan Dicetuskan oleh Pengguna

Mengambil satu halaman secara langsung kerana seorang pengguna telah berkongsi pautan atau bertanya soalan mengenainya.

Trafik yang dicetuskan oleh seorang manusia sebenar, secara masa nyata. Menyekatnya sama seperti menolak satu lawatan yang diminta secara jelas.

ClaudeBot Anthropic Latihan Model

Mengumpul halaman untuk model Claude.

Anthropic turut menggunakan Claude-User untuk pengambilan secara langsung dan Claude-SearchBot untuk carian: ini adalah ejen yang berasingan dan perlu dilayan secara berasingan.

PerplexityBot Perplexity Carian dan Petikan

Mengindeks halaman untuk jawapan Perplexity yang menyertakan sumber.

Perplexity sentiasa memaparkan sumbernya. Menyekatnya bermakna melepaskan petikan tersebut berserta trafik yang menyertainya.

Google-Extended Google Latihan Model

Token yang mengawal penggunaan kandungan anda untuk Gemini dan asas jawapan yang dijana.

Ini bukan bot perayap: ia tidak mengubah pengindeksan atau kedudukan anda dalam Google Search.

CCBot Common Crawl Latihan Model

Membina satu korpus awam yang digunakan semula oleh banyak proses latihan model.

Tiada faedah keterlihatan secara langsung: Common Crawl tidak memetik sesiapa pun. Ini calon pertama untuk disekat jika anda ingin melindungi data anda.

Bytespider ByteDance Latihan Model

Mengumpul halaman untuk model ByteDance.

Dikenali dengan kadar crawl yang agresif. Banyak laman web menyekatnya atas sebab beban pelayan, selain sebab hak cipta.

meta-externalagent Meta Latihan Model

Mengumpul halaman untuk model Meta dan Meta AI.

Meta menggunakan beberapa ejen. Ini ialah ejen perayap yang didokumenkan khusus untuk tujuan latihan model.

Applebot-Extended Apple Latihan Model

Token yang mengawal penggunaan kandungan anda untuk Apple Intelligence.

Ia tidak menyentuh Applebot, yang menggerakkan Siri dan Spotlight: kehadiran anda dalam carian Apple tidak terjejas.

Satu setiap baris. Berguna untuk ruang pelanggan, troli beli-belah atau kawasan ujian.
Ditambah pada penghujung fail. Biarkan kosong untuk mengabaikannya.
Percuma, tanpa had, tanpa akaun

Alat ini beroperasi sepenuhnya dalam pelayar anda. Tiada data yang anda masukkan di sini dihantar ke pelayan kami, tiada apa-apa disimpan, dan tiada akaun perlu dicipta atau kuota untuk dipatuhi. Oleh itu kami boleh menawarkannya tanpa sebarang balasan: ia tidak memerlukan sebarang kos daripada kami.

Apa yang alat ini lakukan

robots.txt yang tidak ditetapkan dengan betul adalah cara paling cepat untuk hilang daripada jawapan AI tanpa anda sedari. Kekeliruan yang paling kerap berlaku dan paling merugikan melibatkan OpenAI: GPTBot dan OAI-SearchBot tidak menjalankan tugas yang sama, dan menyekat salah satu untuk yang lain membawa kesan yang bertentangan. Alat ini memaparkan peranan sebenar setiap bot sebelum membiarkan anda membuat keputusan.

  • Sebelas bot AI dilindungi, masing-masing dengan peranan sebenarnya: latihan model, carian dan petikan, lawatan yang dicetuskan oleh pengguna, pengiklanan.
  • Empat praset, termasuk satu yang mengekalkan petikan sambil menolak pengumpulan data latihan.
  • Menambah laluan larangan yang terpakai kepada bot yang anda benarkan lalu, untuk melindungi ruang pelanggan atau troli beli-belah.
  • Baris Sitemap ditambah pada penghujung fail, berserta komen yang mengingatkan peranan setiap bot.
  • Penjanaan tempatan: fail dihasilkan dalam pelayar anda sendiri, tiada apa-apa dihantar keluar.

Soalan Lazim

Adakah menyekat GPTBot menyebabkan saya hilang daripada ChatGPT?
Tidak. GPTBot digunakan untuk latihan model sahaja. Yang menentukan kehadiran anda dalam jawapan ChatGPT ialah OAI-SearchBot, ditambah ChatGPT-User untuk pengambilan secara langsung. Anda boleh menolak latihan model sepenuhnya sambil kekal boleh dipetik.
Adakah bot benar-benar mematuhi robots.txt?
Ejen yang didokumenkan daripada OpenAI, Anthropic, Google, Apple dan Perplexity mengaku mematuhinya, dan pada praktiknya memang begitu. robots.txt kekal sebagai satu konvensyen, bukan sekatan teknikal. Jika anda benar-benar perlu menghalang akses, sekatan perlu dibuat pada peringkat firewall aplikasi atau CDN, disertai pengesahan terhadap julat alamat IP yang diterbitkan.
Di mana fail ini perlu diletakkan?
Di root domain, dan hanya di situ sahaja: https://contoh.com/robots.txt. Fail yang diletakkan dalam subdirektori tidak akan pernah dibaca. Setiap subdomain mempunyai robots.txt tersendiri.
Bolehkah saya sekat hanya sebahagian daripada laman web?
Ya. Medan laluan larangan menambah baris Disallow kepada setiap bot yang anda benarkan: mereka kekal mempunyai akses ke laman web tetapi tidak ke direktori tersebut. Ini pendekatan yang sesuai untuk ruang pelanggan atau proses checkout.
Bagaimana saya boleh sahkan peraturan saya benar-benar berkuat kuasa?
Lihat log pelayan anda: log itulah yang menunjukkan bot mana yang benar-benar melawat dan pada apa. Inilah tepatnya fungsi penganalisis log bot AI kami, yang turut mengesan sekatan tidak sengaja daripada firewall atau CDN anda.

Melangkah Lebih Jauh daripada Penjana

Alat mikro ini menghasilkan satu fail. Pengimbas Ready2GEO pula menyelidik apa yang sebenarnya berlaku pada laman web anda dan dalam jawapan enjin AI.

📣 ChatGPT Ads Readiness

Menyemak sama ada laman web anda benar-benar layak dan boleh digunakan oleh platform pengiklanan ChatGPT: akses bot, struktur, isyarat komersial.

Uji Laman Web Saya 🕷️ Penganalisis Log Bot AI

Tampal log pelayan anda: lihat bot AI mana yang benar-benar melawat, seberapa kerap, dan pada halaman mana ia menghadapi masalah.

Analisis Log Saya 🧭 Audit GEO Lengkap

Audit berkelompok ini menggabungkan semua pengimbas ke dalam satu laporan, lengkap dengan pembetulan yang diutamakan dan eksport PDF.

Mulakan Audit

Semua Alat Ready2GEO

🔖Penjana Butang Preferred Source 💡Penjana Context Hints 🧮Kalkulator Bajet ChatGPT Ads 🔗Pembina URL UTM 📄Penjana llms.txt { }Penjana Schema JSON-LD 🧰Lihat Keseluruhan Rangkaian