도구 / AI robots.txt 생성기
🚦 무료, 무제한

AI 크롤러용 robots.txt 생성기

각 AI 크롤러가 무슨 일을 하는지 정확히 알고 허용하거나 차단한 다음, robots.txt에 추가할 블록을 복사하세요.

GPTBot과 OAI-SearchBot: 하나가 아니라 두 개의 결정

GPTBot은 OpenAI 모델을 학습시키려고 페이지를 수집합니다. 차단해도 ChatGPT 안에서의 노출에는 아무 영향이 없습니다. 반면 OAI-SearchBot은 ChatGPT 검색 색인을 채웁니다. 여러분의 페이지가 검색되고 요약되어 링크와 함께 인용될 수 있는지를 결정하는 것이 이 봇입니다. 이 봇을 막으면 ChatGPT 답변에서 사라집니다. 많은 사이트가 GPTBot 차단 규칙을 그대로 복사하면서 "혹시 모르니" OAI-SearchBot까지 끼워 넣었고, 정작 노리고 있던 유입 경로에서 스스로를 잘라 냈습니다. 한꺼번에 말고 한 줄씩 결정하세요.

프리셋
여러분을 인용할 수 있는 봇은 모두 열고, 한 번도 인용하지 않는 수집기는 닫습니다.
GPTBot OpenAI 학습

OpenAI 모델 학습을 위해 페이지를 수집합니다.

차단해도 ChatGPT 답변에서 사라지지 않습니다. 노출이 아니라 데이터에 관한 결정입니다.

OAI-SearchBot OpenAI 검색과 인용

ChatGPT 검색을 위해 페이지를 색인합니다.

ChatGPT 답변에 등장하고 링크가 걸릴지를 좌우하는 크롤러입니다. 차단하면 인용에서 제외됩니다.

OAI-AdsBot OpenAI 광고

ChatGPT Ads가 사용하는 랜딩 페이지를 점검합니다.

ChatGPT 안에서 광고를 집행할 생각이라면 반드시 필요합니다. 이 봇이 막히면 랜딩 페이지 검수를 통과할 수 없습니다.

ChatGPT-User OpenAI 사용자가 촉발한 방문

사용자가 링크를 공유했거나 그 페이지에 관해 질문했기 때문에 실시간으로 페이지를 가져옵니다.

실제 사람이 실시간으로 일으킨 트래픽입니다. 차단은 명시적으로 요청받은 방문을 거절하는 셈입니다.

ClaudeBot Anthropic 학습

Claude 모델을 위해 페이지를 수집합니다.

Anthropic은 실시간 조회용 Claude-User와 검색용 Claude-SearchBot도 운영합니다. 서로 다른 에이전트이므로 따로 판단해야 합니다.

PerplexityBot Perplexity 검색과 인용

Perplexity가 출처와 함께 내놓는 답변을 위해 페이지를 색인합니다.

Perplexity는 언제나 출처를 표시합니다. 차단은 그 인용과 거기에 딸린 트래픽을 포기하는 일입니다.

Google-Extended Google 학습

여러분의 콘텐츠가 Gemini와 답변 근거에 쓰일지를 통제하는 토큰입니다.

크롤러가 아닙니다. Google 검색의 색인도 순위도 바꾸지 않습니다.

CCBot Common Crawl 학습

수많은 학습에 재사용되는 공개 코퍼스를 구축합니다.

노출 측면의 직접적인 이득은 없습니다. Common Crawl은 아무도 인용하지 않습니다. 콘텐츠를 지키려 한다면 가장 먼저 차단을 검토할 대상입니다.

Bytespider ByteDance 학습

ByteDance 모델을 위해 페이지를 수집합니다.

크롤링 속도가 공격적인 것으로 알려져 있습니다. 권리 문제만큼이나 서버 부하 때문에 차단하는 사이트가 많습니다.

meta-externalagent Meta 학습

Meta 모델과 Meta AI를 위해 페이지를 수집합니다.

Meta는 여러 에이전트를 운영합니다. 이 봇은 학습용으로 문서화된 크롤러입니다.

Applebot-Extended Apple 학습

여러분의 콘텐츠가 Apple Intelligence에 쓰일지를 통제하는 토큰입니다.

Siri와 Spotlight를 담당하는 Applebot에는 손대지 않습니다. Apple 검색에서의 노출은 그대로입니다.

한 줄에 하나씩. 회원 전용 영역, 장바구니, 테스트 영역에 쓸모가 있습니다.
파일 끝에 추가됩니다. 비워 두면 생략합니다.
무료, 무제한, 계정 불필요

이 도구는 전적으로 브라우저 안에서 동작합니다. 여기에 입력한 내용은 저희 서버로 전송되지 않고, 어디에도 저장되지 않으며, 만들어야 할 계정도 지켜야 할 사용량 제한도 없습니다. 운영에 비용이 들지 않기 때문에 아무 조건 없이 드릴 수 있습니다.

이 도구가 하는 일

잘못 설정한 robots.txt는 스스로 알아채지도 못한 채 AI 답변에서 사라지는 가장 빠른 길입니다. 가장 흔하고 가장 비싼 혼동은 OpenAI에서 일어납니다. GPTBot과 OAI-SearchBot은 하는 일이 다르고, 한쪽 대신 다른 쪽을 막으면 정반대의 결과가 나옵니다. 이 도구는 결정을 맡기기 전에 각 크롤러가 실제로 무엇을 하는지 보여 줍니다.

  • AI 크롤러 11종을 실제 역할과 함께 다룹니다: 학습, 검색과 인용, 사용자가 촉발한 방문, 광고.
  • 프리셋 4종. 그중 하나는 인용은 지키면서 학습용 수집만 거부합니다.
  • 허용한 크롤러에 적용되는 금지 경로를 넣어 회원 전용 영역이나 장바구니를 보호합니다.
  • 파일 끝에 Sitemap 줄을 붙이고, 각 크롤러의 역할을 짚어 주는 주석을 답니다.
  • 로컬 생성: 파일은 브라우저에서 만들어지며 아무것도 전송되지 않습니다.

자주 묻는 질문

GPTBot을 차단하면 ChatGPT에서 사라지나요?
아닙니다. GPTBot은 모델 학습용입니다. ChatGPT 답변에서의 노출을 좌우하는 것은 OAI-SearchBot이고, 실시간 조회는 ChatGPT-User가 담당합니다. 학습은 거부하면서도 얼마든지 인용 가능한 상태로 남을 수 있습니다.
크롤러가 정말 robots.txt를 지키나요?
OpenAI, Anthropic, Google, Apple, Perplexity의 문서화된 에이전트는 지키겠다고 밝히고 있고, 실제로도 지킵니다. 다만 robots.txt는 관행이지 기술적 차단 장치가 아닙니다. 접근을 정말로 막아야 한다면 애플리케이션 방화벽이나 CDN 단에서 차단하고, 공개된 IP 대역과 대조해 확인하세요.
파일은 어디에 두나요?
도메인 루트에, 오직 거기에만 둡니다: https://example.com/robots.txt. 하위 디렉터리에 둔 파일은 절대 읽히지 않습니다. 서브도메인마다 자기 robots.txt를 따로 가집니다.
사이트의 일부만 차단할 수 있나요?
가능합니다. 금지 경로 항목은 허용해 둔 모든 크롤러에 Disallow 줄을 추가합니다. 사이트에는 접근하되 그 디렉터리에는 들어오지 못합니다. 회원 전용 영역이나 결제 단계에 알맞은 방식입니다.
규칙이 실제로 적용되는지 어떻게 확인하나요?
서버 로그를 보세요. 어떤 크롤러가 실제로 어디를 방문하는지 알려 주는 것은 로그뿐입니다. 저희 AI 크롤러 로그 분석기가 하는 일이 정확히 이것이며, 방화벽이나 CDN 때문에 생긴 의도치 않은 차단도 함께 찾아냅니다.

생성기에서 한 걸음 더

이 마이크로 도구들은 파일을 만들어 줍니다. Ready2GEO 스캐너는 여러분의 사이트와 AI 답변 안에서 실제로 무슨 일이 벌어지는지 직접 확인하러 갑니다.

📣 ChatGPT Ads Readiness

ChatGPT 광고 플랫폼이 여러분의 사이트를 실제로 취급할 수 있는지 확인합니다: 크롤러 접근, 구조, 상거래 신호.

내 사이트 진단하기 🕷️ AI 크롤러 로그 분석기

서버 로그를 붙여 넣으면 어떤 AI 크롤러가 실제로 방문하는지, 얼마나 자주 오는지, 어느 페이지에서 막히는지 보입니다.

로그 분석하기 🧭 GEO 전체 감사

통합 감사는 모든 스캐너 결과를 하나의 리포트로 모으고, 우선순위를 매긴 해결 방법과 PDF 내보내기를 제공합니다.

감사 실행하기

Ready2GEO 전체 도구

🔖Preferred Source 버튼 생성기 💡context hints 생성기 🧮ChatGPT Ads 예산 계산기 🔗UTM URL 빌더 📄llms.txt 생성기 { }JSON-LD 스키마 생성기 🧰전체 제품군 보기