본문으로 건너뛰기

AI robots.txt 생성기 무료: 어떤 봇에게 사이트를 보여 줄지 사장님이 정하세요.

robots.txt는 검색엔진과 AI 크롤러에게 사이트의 어느 부분을 읽어도 되는지 알려 주는 파일이에요. 이 생성기로 구글·네이버 같은 검색엔진, ChatGPT 검색 같은 AI 답변 엔진, AI 학습용 크롤러를 그룹별로 허용하거나 막을 수 있어요.

AI robots.txt 생성기

검색엔진 (구글, 빙, 네이버, 얀덱스, 애플…)
AI 검색·답변 엔진 (ChatGPT 검색, Claude, 퍼플렉시티, Gemini 에이전트, 메타 AI…)
AI 모델 학습 (GPTBot, ClaudeBot, Google-Extended, CCBot…)
SEO·비교 크롤러 (Ahrefs, Semrush, Majestic…)
# Generated with the free robots.txt generator by Marketing Studio by UshbaTech: https://marketing.ushbatech.com/tools/ai-robots-txt-generator

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /cart/
Disallow: /account/

User-agent: Googlebot
User-agent: Bingbot
User-agent: Applebot
User-agent: DuckDuckBot
User-agent: YandexBot
User-agent: Yeti
User-agent: Daum
User-agent: Baiduspider
User-agent: SeznamBot
User-agent: PetalBot
Allow: /
Disallow: /admin/
Disallow: /cart/
Disallow: /account/
Content-Signal: search=yes, ai-input=yes, ai-train=yes

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: OAI-AdsBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Agent
User-agent: meta-webindexer
User-agent: meta-externalfetcher
User-agent: Amzn-SearchBot
User-agent: DuckAssistBot
User-agent: MistralAI-User
User-agent: MistralAI-Index
User-agent: YouBot
Allow: /
Disallow: /admin/
Disallow: /cart/
Disallow: /account/
Content-Signal: search=yes, ai-input=yes, ai-train=yes

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: Bytespider
User-agent: cohere-training-data-crawler
User-agent: AI2Bot
User-agent: DeepSeekBot
Allow: /
Disallow: /admin/
Disallow: /cart/
Disallow: /account/
Content-Signal: search=yes, ai-input=yes, ai-train=yes

User-agent: AhrefsBot
User-agent: SemrushBot
User-agent: MJ12bot
User-agent: DotBot
User-agent: DataForSeoBot
Allow: /
Disallow: /admin/
Disallow: /cart/
Disallow: /account/
Content-Signal: search=yes, ai-input=yes, ai-train=yes

Sitemap: https://example.com/sitemap.xml

봇 이름은 2026년 11월 기준이에요. 이름을 지정한 그룹은 “User-agent: *” 규칙을 물려받지 않아서, 그룹마다 비공개 경로를 반복해 넣어요.

이 robots.txt 생성기는 무엇을 하나요?

크롤러를 검색엔진, AI 검색·답변 엔진, AI 모델 학습, SEO·비교 크롤러 네 그룹으로 나눠 그룹별로 허용·차단을 고르면, 비공개 경로와 사이트맵까지 포함한 robots.txt를 만들어요. 네이버 크롤러 Yeti도 검색엔진 그룹에 들어 있어요.

어떻게 쓰나요?

  1. 1

    1단계

    그룹별 선택

    검색엔진과 AI 검색은 허용하고, AI 학습 허용 여부는 사장님 방침에 맞게 고르세요.

  2. 2

    2단계

    비공개 경로 입력

    /admin, /cart처럼 모든 봇에게 막을 경로를 한 줄에 하나씩 적어요.

  3. 3

    3단계

    사이트맵 넣고 올리기

    sitemap.xml 주소를 넣고 결과를 robots.txt로 저장해 루트에 올려요.

이 작업까지 맡기고 싶다면?

마케팅 스튜디오의 AI 직원은 8개 SNS, 이메일, 광고, SEO 업무를 만들고 발행하고 추적해요. SEO·GEO 진단은 robots.txt, llms.txt, 구조화 데이터를 자동으로 점검하고, 원하면 GitHub에 수정까지 커밋해요.

무료 크레딧으로 시작하기

AI robots.txt 생성기 자주 묻는 질문

더 궁금한 점이 있나요? 담당자에게 물어보기

AI 학습 크롤러를 막으면 AI 검색에 안 나오나요?

그룹이 달라요. GPTBot 같은 학습용 크롤러를 막아도 ChatGPT 검색용 크롤러(OAI-SearchBot)를 허용하면 AI 검색 답변에는 나올 수 있어요.

#

네이버 Yeti를 막으면 어떻게 되나요?

네이버 검색에 사이트가 수집되지 않아요. 한국 손님을 만나려면 Yeti는 꼭 허용하세요.

#

robots.txt만 바꾸면 바로 적용되나요?

크롤러가 다음에 방문할 때 반영돼요. 서치어드바이저와 서치 콘솔에서 robots.txt를 다시 확인하게 할 수 있어요.

#