Alat / Generator robots.txt AI
🚦 Gratis dan tanpa batas

Generator robots.txt untuk crawler AI

Izinkan atau blokir setiap crawler AI dengan pemahaman penuh, lalu salin blok kode untuk ditambahkan ke robots.txt Anda.

GPTBot dan OAI-SearchBot: dua keputusan, bukan satu

GPTBot mengumpulkan halaman untuk melatih model OpenAI. Memblokirnya tidak berpengaruh apa pun terhadap keberadaan Anda di ChatGPT. OAI-SearchBot, di sisi lain, memasok indeks pencarian ChatGPT: dialah yang menentukan apakah halaman Anda dapat diambil, diringkas, dan dikutip lengkap dengan tautan. Memblokirnya akan menghilangkan Anda dari jawaban ChatGPT. Banyak situs menyalin aturan blokir GPTBot lalu menambahkan OAI-SearchBot "untuk berjaga-jaga", dan tanpa sadar menghilangkan diri mereka sendiri dari jalur trafik yang justru sedang mereka perjuangkan. Putuskan baris demi baris, jangan sekaligus.

Preset
Membuka akses untuk semua yang bisa mengutip Anda, menutup pengumpul data yang tidak pernah mengutip.
GPTBot OpenAI Pelatihan model

Mengumpulkan halaman untuk melatih model OpenAI.

Memblokirnya tidak menghilangkan Anda dari jawaban ChatGPT. Ini adalah keputusan soal data Anda, bukan soal visibilitas Anda.

OAI-SearchBot OpenAI Pencarian dan kutipan

Mengindeks halaman untuk pencarian ChatGPT.

Crawler inilah yang menentukan kehadiran dan tautan Anda dalam jawaban ChatGPT. Memblokirnya akan menghapus Anda dari kutipan.

OAI-AdsBot OpenAI Iklan

Memeriksa halaman tujuan (landing page) untuk iklan ChatGPT Ads.

Diperlukan jika Anda berencana membeli iklan di ChatGPT: tanpa crawler ini, halaman tujuan Anda tidak dapat divalidasi.

ChatGPT-User OpenAI Kunjungan yang dipicu pengguna

Mengambil halaman secara langsung karena pengguna membagikan tautannya atau bertanya tentangnya.

Trafik yang dipicu oleh orang sungguhan, secara real-time. Memblokirnya sama saja dengan menolak kunjungan yang secara eksplisit diminta.

ClaudeBot Anthropic Pelatihan model

Mengumpulkan halaman untuk model Claude.

Anthropic juga menggunakan Claude-User untuk pengambilan langsung dan Claude-SearchBot untuk pencarian: keduanya agent terpisah yang perlu diperlakukan secara terpisah pula.

PerplexityBot Perplexity Pencarian dan kutipan

Mengindeks halaman untuk jawaban Perplexity yang menyertakan sumber.

Perplexity selalu menampilkan sumbernya. Memblokirnya berarti melepaskan kutipan tersebut beserta trafik yang menyertainya.

Google-Extended Google Pelatihan model

Token yang mengatur penggunaan konten Anda untuk Gemini dan penjangkaran (grounding) jawaban.

Ini bukan crawler penjelajah: token ini tidak mengubah pengindeksan maupun peringkat Anda di Google Search.

CCBot Common Crawl Pelatihan model

Membentuk korpus publik yang digunakan ulang oleh banyak proses pelatihan model.

Tidak ada manfaat visibilitas secara langsung: Common Crawl tidak mengutip siapa pun. Ini kandidat pertama untuk diblokir jika Anda ingin melindungi data Anda.

Bytespider ByteDance Pelatihan model

Mengumpulkan halaman untuk model ByteDance.

Dikenal karena kecepatan crawl yang agresif. Banyak situs memblokirnya baik karena alasan beban server maupun alasan hak cipta.

meta-externalagent Meta Pelatihan model

Mengumpulkan halaman untuk model Meta dan Meta AI.

Meta menggunakan beberapa agent. Yang ini adalah agent crawler yang didokumentasikan resmi untuk keperluan pelatihan model.

Applebot-Extended Apple Pelatihan model

Token yang mengatur penggunaan konten Anda untuk Apple Intelligence.

Token ini tidak memengaruhi Applebot, yang memasok Siri dan Spotlight: keberadaan Anda di pencarian Apple tidak terpengaruh.

Satu per baris. Berguna untuk area akun pelanggan, keranjang belanja, atau zona pengujian.
Ditambahkan di akhir file. Biarkan kosong untuk tidak menyertakannya.
Gratis, tanpa batas, tanpa akun

Alat ini berjalan sepenuhnya di peramban Anda. Tidak ada data yang Anda masukkan di sini yang dikirim ke server kami, tidak ada yang disimpan, dan tidak perlu membuat akun atau mematuhi kuota apa pun. Karena itu kami bisa menyediakannya secara cuma-cuma: alat ini tidak memakan biaya apa pun bagi kami.

Apa yang dilakukan alat ini

robots.txt yang tidak dikonfigurasi dengan tepat adalah cara tercepat untuk menghilang dari jawaban AI tanpa Anda sadari. Kebingungan paling umum dan paling merugikan menyangkut OpenAI: GPTBot dan OAI-SearchBot tidak menjalankan tugas yang sama, dan memblokir salah satunya alih-alih yang lain memberi dampak yang justru berkebalikan. Alat ini menampilkan peran sebenarnya dari setiap crawler sebelum Anda mengambil keputusan.

  • Sebelas crawler AI dicakup, masing-masing dengan peran sebenarnya: pelatihan model, pencarian dan kutipan, kunjungan yang dipicu pengguna, iklan.
  • Empat preset, termasuk satu yang tetap mempertahankan kutipan sambil menolak pengumpulan data untuk pelatihan.
  • Penambahan jalur terlarang yang berlaku untuk crawler yang Anda izinkan lewat, guna melindungi area akun pelanggan atau keranjang belanja.
  • Baris Sitemap ditambahkan di akhir file, disertai komentar yang mengingatkan peran setiap crawler.
  • Dibuat secara lokal: file dibuat langsung di peramban Anda, tidak ada yang dikirimkan ke mana pun.

Pertanyaan yang sering diajukan

Apakah memblokir GPTBot membuat saya menghilang dari ChatGPT?
Tidak. GPTBot digunakan untuk melatih model. Yang menentukan kehadiran Anda dalam jawaban ChatGPT adalah OAI-SearchBot, ditambah ChatGPT-User untuk pengambilan langsung. Anda tetap bisa menolak digunakan untuk pelatihan model sambil tetap bisa dikutip.
Apakah crawler benar-benar mematuhi robots.txt?
Agent resmi yang didokumentasikan dari OpenAI, Anthropic, Google, Apple, dan Perplexity menyatakan mematuhinya, dan pada praktiknya memang demikian. robots.txt tetap merupakan sebuah konvensi, bukan penghalang teknis. Jika Anda benar-benar perlu mencegah akses, dibutuhkan pemblokiran di tingkat firewall aplikasi atau CDN, disertai verifikasi terhadap rentang alamat IP yang dipublikasikan.
Di mana file ini harus diletakkan?
Di root domain, dan hanya di sana: https://contoh.com/robots.txt. File yang diletakkan di dalam subdirektori tidak akan pernah dibaca. Setiap subdomain memiliki robots.txt-nya sendiri.
Bisakah saya memblokir hanya sebagian situs saja?
Bisa. Kolom jalur terlarang menambahkan baris Disallow ke setiap crawler yang Anda izinkan: mereka tetap memiliki akses ke situs tetapi tidak ke direktori-direktori tersebut. Ini pendekatan yang tepat untuk area akun pelanggan atau alur checkout.
Bagaimana cara memeriksa apakah aturan saya benar-benar diterapkan?
Periksa log server Anda: log itulah yang menunjukkan crawler mana yang benar-benar mengaksesnya dan halaman apa saja yang diakses. Inilah persis yang dilakukan oleh penganalisis log crawler AI kami, yang juga mendeteksi pemblokiran tak disengaja oleh firewall atau CDN.

Melangkah lebih jauh dari sekadar generator

Micro-alat ini menghasilkan sebuah file. Scanner Ready2GEO justru memeriksa langsung apa yang sebenarnya terjadi di situs Anda dan dalam jawaban mesin AI.

📣 ChatGPT Ads Readiness

Memeriksa apakah situs Anda benar-benar memenuhi syarat dan dapat digunakan oleh platform iklan ChatGPT: akses crawler, struktur, sinyal komersial.

Uji situs saya 🕷️ Penganalisis log crawler AI

Tempelkan log server Anda: lihat crawler AI mana yang benar-benar mengunjungi situs Anda, seberapa sering, dan di halaman mana mereka mengalami kendala.

Analisis log saya 🧭 Audit GEO lengkap

Audit gabungan ini menyatukan semua scanner ke dalam satu laporan, lengkap dengan perbaikan yang sudah diprioritaskan dan ekspor PDF.

Jalankan audit

Semua alat Ready2GEO

🔖Generator tombol Preferred Source 💡Generator context hints 🧮Kalkulator anggaran ChatGPT Ads 🔗Pembuat URL UTM 📄Generator llms.txt { }Generator schema JSON-LD 🧰Lihat semua alat