하루인포팁

생활·건강·지원금·IT까지, 하루에 필요한 정보를 한 번에

AI 학습 웹 크롤링 robots.txt 차단, 2027년 전에 지금 적어둘 규칙

AI 학습 웹 크롤링 robots.txt 차단, 2027년 전에 지금 적어둘 규칙

작성자

카테고리:

약 19분 소요

AI 학습 크롤러를 robots.txt로 막으려면 2027년 공유 토큰만 기다려서는 안 되고, 지금 GPTBot·ClaudeBot 같은 회사별 규칙을 함께 적어야 합니다. 학습 거부와 AI 검색 노출 제외가 왜 별개인지, Cloudflare에서 무엇을 골라야 하는지 단계별로 정리했습니다.

이 글에는 네이버 브랜드커넥트 제휴 링크가 포함되어 있습니다. 링크를 통해 구매가 이루어지면 작성자가 일정액의 수수료를 지급받습니다. 제품 선택과 구매는 독자의 판단이며, 이 글은 특정 제품의 효과를 보증하지 않습니다.


AI 웹 크롤링 차단 전 확인할 것

AI 웹 크롤링 차단 전 확인할 것

AI 학습 크롤러를 robots.txt로 막으려면 2027년 공유 토큰을 기다리지 말고 지금 회사별 규칙부터 적어야 합니다. Google과 Microsoft Bing이 2026년 10월 30일 공유 학습 거부 토큰을 지원하겠다고 밝혔지만, 적용 시점은 Google이 2027년 목표, Bing이 2027년 2월 1일입니다. 이 글에서는 robots.txt 차단 구조, AI 검색 노출 제어, Cloudflare 설정을 다룹니다. 이미 학습에 쓰인 데이터를 지우는 방법은 빠집니다. 그런 장치가 현재 어느 표준 초안에도 없어서입니다.

웹 크롤링 뜻부터 짚겠습니다. 웹 크롤링은 봇이 웹페이지를 자동으로 찾아가 내용을 모으는 일입니다. 예전에는 주로 검색 색인용이었는데, 지금은 AI 학습용 수집이 절반을 넘습니다. Cloudflare 측정으로 2026년 6월 크롤러 요청의 52%가 AI 학습용이었습니다. 2025년 봄에는 22%였습니다.

웹크롤링 AI 문제를 다룰 때는 스위치가 셋이라는 점부터 알아둬야 합니다. 학습 거부, AI 검색 답변 제외, 일반 검색 노출은 각각 다른 장치로 움직입니다. 하나를 끈다고 나머지가 따라 꺼지지는 않습니다.

스위치 무엇을 막나 주요 수단
AI 학습 모델 학습용 수집 robots.txt 회사별 토큰, 2027년부터 공유 토큰
AI 검색 답변 AI Overviews·AI Mode·답변 생성(그라운딩) Search Console 제어, Bing X-Robots-Tag
일반 검색 검색 결과 색인 Googlebot·Bingbot 규칙

전제도 하나 깔고 가야 합니다. robots.txt 표준인 RFC 9309(2022년 9월 발행)는 원문에 “These rules are not a form of access authorization.”라고 적었습니다. robots.txt는 잠금장치가 아니라 안내문입니다. 규칙을 지키지 않는 봇은 막지 못합니다.

용어 풀이
1. robots.txt — 사이트 맨 위 경로에 두는 텍스트 파일로, 어떤 봇이 어느 경로를 수집해도 되는지 알리는 규칙입니다.
2. 그라운딩 — AI가 답변을 만들 때 웹페이지 내용을 근거로 끌어다 쓰는 것으로, 학습과는 별개의 사용입니다.
3. User-Agent 토큰 — robots.txt에서 규칙을 적용할 봇을 이름으로 지정하는 값입니다.


준비물·필요 서류

준비물·필요 서류

작업은 파일 몇 줄 고치는 게 전부지만, 권한과 봇 목록이 없으면 절반만 적용됩니다. 아래 항목을 먼저 갖춰 두세요.

준비물 용도 비고
robots.txt 편집 권한 회사별·공유 토큰 규칙 작성 사이트 최상위 경로 파일
서버 헤더 설정 권한 Bing 그라운딩 거부(X-Robots-Tag) 페이지 단위로만 지정 가능
Google Search Console 소유권 AI Overviews·AI Mode 제외 2026년 8월 31일 전 세계 확대
Cloudflare 대시보드(사용 시) 엣지 차단 방식 선택 ‘Disallow AI Training’과 ‘Block’ 구분
접속 로그 실제로 오는 봇 확인 차단 전후 비교용
회사별 봇 목록 학습·검색·사용자 요청 봇 구분 아래 표 참고

회사마다 봇이 용도별로 나뉘어 있습니다. 기본 구조는 학습 봇만 막고 검색 봇은 열어 두는 것입니다. 2026년 11월 4일 각 사 공개 문서로 정리하면 다음과 같습니다.

회사 학습 검색 사용자 요청 robots.txt 적용
OpenAI GPTBot OAI-SearchBot ChatGPT-User 학습·검색 봇은 적용, ChatGPT-User는 문서에 “robots.txt rules may not apply”
Anthropic ClaudeBot Claude-SearchBot Claude-User 준수, 비표준 Crawl-delay도 지원
Google Google-Extended Googlebot — Google-Extended는 학습 제어용 토큰
Apple Applebot-Extended Applebot — Extended 토큰으로 학습 제어

Anthropic 크롤러 문서는 2026년 4월 7일이 마지막 수정일이라 공유 토큰 이야기가 아직 없습니다. 표는 회사별 토큰 기준이라는 점을 감안하고 보셔야 합니다.

마지막 준비물은 템플릿입니다. 같은 학습 거부를 표현하는 문법이 지금 세 가지로 갈라져 있습니다. 기업들이 택한 __usage_ai-training, IETF AIPREF 작업반 초안의 Content-Usage: train-ai=n, Cloudflare의 Content-Signal: ai-train=no입니다. 최종 표준에서 문법이 바뀔 수 있으니, 사이트마다 손으로 고치기보다 템플릿 하나로 관리하는 편이 낫습니다.


단계별 진행 순서

단계별 진행 순서

1단계 — 실제로 오는 봇부터 확인합니다. 로그를 조회하는 정도라 시간은 얼마 안 걸립니다. AI 웹 크롤링 데이터 분석 결과를 보면, Cloudflare 측정에서 용도가 섞인 크롤러가 활동의 36% 이상이었습니다. 한 봇이 검색과 AI 기능을 겸하는 경우가 많습니다. 이름만 보고 막지 말고 용도부터 확인하세요.

2단계 — 회사별 학습 봇을 robots.txt에 적습니다. 편집은 몇 분이면 끝납니다. 다만 OpenAI는 robots.txt 변경이 반영되기까지 약 24시간이 걸린다고 안내합니다. RFC 9309도 크롤러가 캐시본을 24시간 넘게 쓰지 말라고 권고하니, 하루 정도는 이전 규칙이 남아 있다고 보고 진행하면 됩니다.

줄 의미
User-agent: GPTBot / Disallow: / OpenAI 학습 차단
User-agent: ClaudeBot / Disallow: / Anthropic 학습 차단
User-agent: Google-Extended / Disallow: / Google 학습 제어
User-agent: Applebot-Extended / Disallow: / Apple 학습 제어
OAI-SearchBot·Claude-SearchBot·Googlebot 따로 막지 않음(검색 노출 유지)

3단계 — 공유 토큰을 함께 적습니다. User-agent: __usage_ai-training과 Disallow: / 두 줄을 넣습니다. heise의 2026년 11월 2일 정리에 따르면, 이 토큰을 모르는 파서는 RFC 9309에 따라 모르는 User-Agent로 보고 무시합니다. 지금 적어 둬도 부작용이 없다는 뜻입니다. 이 토큰의 출처는 Anthropic 소속 Kevin Kelley가 2026년 10월 30일 올린 IETF 개인 초안이고, Datatracker에는 “not endorsed by the IETF”라고 표시돼 있습니다.

Google은 공유 토큰으로 학습을 거부하고 Google-Extended를 따로 지정하지 않으면 Google-Extended를 차단한 것으로 해석하겠다고 밝혔습니다. 둘을 모두 적었다면 Google-Extended 규칙이 우선한다고 보는 것이 자연스럽습니다. 두 규칙이 서로 어긋나지 않게 맞춰 두는 게 안전합니다.

4단계 — AI 검색 노출 여부를 따로 정합니다. 학습 거부 토큰은 학습만 다룹니다. Google의 AI Overviews·AI Mode·Discover 생성형 기능에서 빠지려면 Search Console의 ‘Search generative AI’ 제어를 써야 하며, 기본값은 포함입니다. 적용하고 실제로 제외되기까지 1-2일이 걸립니다. Google 도움말에 따르면 이 제어는 학습에 영향을 주지 않고, 다른 검색 영역의 순위 신호로도 쓰이지 않습니다.

5단계 — Bing 메타 태그를 바꿉니다. Bing은 2027년 3월 1일 이후 NoArchive·NoCache를 학습·그라운딩 거부로 읽지 않습니다. 이 두 태그로 AI 사용을 막아 왔다면 ai-training:disallow로 바꿔야 합니다. 그라운딩 거부는 페이지 단위로만 지정되고, 형식은 X-Robots-Tag: Bingbot: ai-grounding:disallow입니다. Bing은 임시 그라운딩 선호를 2026년 12월 15일에 시작해 2027년 9월 30일까지 운영한다고 공지했습니다.

6단계 — Cloudflare를 쓴다면 차단 방식을 고릅니다. 2026년 9월 15일 발표 기준으로 ‘Disallow AI Training’을 골라야 Googlebot·Bingbot·Applebot의 검색용 크롤링이 유지됩니다. ‘Block’을 고르면 Googlebot까지 완전히 막힙니다. Cloudflare 사이트 가운데 학습 차단을 켠 곳은 17%, 검색 봇까지 막은 곳은 1%가 안 됩니다.

7단계 — 파일을 검증합니다. RFC 9309는 크롤러에게 최소 500KiB까지 파싱하라고 요구합니다. 규칙을 덧붙이다 보면 파일이 길어지니 중복 줄을 정리하세요. 반영 시간(약 24시간)이 지나면 접속 로그에서 학습 봇 요청이 줄었는지 확인합니다.

용어 풀이
1. IETF 개인 초안 — 작업반이 정식으로 채택하지 않은 개인 제출 문서로, 표준으로 확정된 것이 아닙니다.
2. 엣지 차단 — 요청이 서버에 닿기 전에 CDN 네트워크에서 봇을 실제로 막는 방식입니다.


자주 놓치는 부분

자주 놓치는 부분

가장 비싼 실수는 Cloudflare에서 ‘Block’을 고르는 것입니다. 학습을 막으려다 Googlebot까지 막혀 검색 노출을 잃습니다. Cloudflare 설명이 중간에 바뀐 탓도 있습니다. 2026년 7월 1일 글은 학습을 차단하면 Googlebot·Bingbot·Applebot도 막힌다는 취지였는데, 9월 15일 글에서는 ‘Disallow AI Training’이 검색 크롤링을 유지한다고 고쳐 설명했습니다. 7월 무렵 설정을 그대로 두셨다면 지금 다시 확인해 보세요.

기본값이 어디에 적용되는지도 엇갈립니다. Cloudflare 원문은 2026년 9월 15일부터 신규 도메인의 광고 게재 페이지에서 학습·에이전트 봇을 기본 차단한다고 적었습니다. 그런데 TechCrunch 2026년 7월 1일 보도는 기존 무료 고객 전체도 적용 대상에 넣었습니다. 기존 무료 요금제 사이트라면 대시보드에서 현재 값을 직접 보는 것이 가장 확실합니다.

공유 토큰이 ‘이미 작동한다’고 오해하기도 쉽습니다. 2026년 11월 현재 Google·Bing은 이 토큰을 아직 처리하지 않습니다. 회사별 시행 시점도 제각각입니다. Thurrott는 Anthropic이 이미 구현했고 Google·Microsoft·OpenAI는 2027년에 구현한다고 보도했습니다. 하지만 Anthropic 공식 크롤러 문서에는 토큰 언급이 없고, OpenAI 개발자 문서에도 시행 일정이 없습니다. 그때까지 확실하게 통하는 방법은 회사별 토큰뿐입니다.

사용자 요청형 봇은 따로 봐야 합니다. OpenAI 문서는 ChatGPT-User에 robots.txt 규칙이 적용되지 않을 수 있다고 적고 있습니다. 사용자가 대화 중에 링크를 열게 하는 방식이어서 학습 봇과 성격이 다릅니다. 이런 접근까지 막으려면 robots.txt 대신 엣지 차단이나 서버 측 통제를 검토해야 합니다.

효력 범위를 과대평가하는 경우도 많습니다. 학습 거부는 앞으로 수집할 때의 선호 표시일 뿐입니다. 이미 학습된 데이터를 지우는 장치는 kelley 초안에도 AIPREF 초안에도 없습니다. AIPREF 어휘 초안(vocab-08, 2026년 9월 13일)은 학습(train-ai)·AI 사용(ai-use)·검색(search) 3개 범주를 정의하면서도, 작업반 합의를 반영한 문서는 아니라고 스스로 밝히고 있습니다.

영국에 서비스하는 사이트라면 규제 일정도 챙겨 두세요. 영국 CMA는 2026년 6월 3일 Google에 Publisher Conduct Requirement를 확정했고, 이행 기한은 9개월입니다. AI 검색 기능에서 콘텐츠를 뺄 수 있는 도구를 제공하고, 미세조정 사용 거부를 보장하라는 내용입니다. 다만 AI Mode가 포함되는지는 보도자료에 나와 있지 않습니다.

용어 풀이
1. 미세조정(fine-tuning) — 이미 학습된 모델을 특정 데이터로 추가 학습시켜 성능을 맞추는 과정입니다.
2. NoArchive·NoCache — 검색엔진에 페이지 사본 보관을 막도록 요청하는 기존 메타 지시어로, Bing은 2027년 3월 1일부터 이를 AI 거부로 읽지 않습니다.


체크리스트 정리

  • 회사별 학습 봇 4종 차단 줄 작성 — GPTBot·ClaudeBot·Google-Extended·Applebot-Extended에 Disallow: /를 적고, 검색 봇(OAI-SearchBot·Claude-SearchBot·Googlebot)은 열어 둡니다.
  • 공유 토큰 __usage_ai-training 병기 — 지금은 처리되지 않지만 하위 호환이라 부작용이 없고, Bing은 2027년 2월 1일부터 적용합니다.
  • Search Console ‘Search generative AI’ 제어 결정 — 기본값은 포함입니다. AI Overviews·AI Mode에서 빠지려면 직접 끄고 1-2일 뒤 결과를 확인합니다.
  • Bing 메타 태그 교체 — NoArchive·NoCache만 믿지 말고 ai-training:disallow로 바꿉니다. 시한은 2027년 3월 1일입니다.
  • Cloudflare 차단 방식 재확인 — ‘Block’이 아니라 ‘Disallow AI Training’인지, 기존 무료 요금제라면 기본값이 어떻게 들어가 있는지 봅니다.
  • 반영 시간 후 로그 검증 — 약 24시간이 지난 뒤 학습 봇 요청이 줄었는지, 파일이 500KiB 파싱 한도 안에 있는지 확인합니다.
  • 문법 변경 대비 템플릿화 — 최종 표준에서 Content-Usage 같은 다른 문법이 채택될 수 있으니 robots.txt를 템플릿으로 관리합니다.


함께 보면 좋은 제품

위 링크는 제휴 링크이며, 제품 선택은 독자의 판단입니다.

참고 자료

조사 기준일: 2026년 11월 04일

본문의 수치는 아래 자료에서 확인한 것입니다. 제조사 공식 자료(T1)와 전문 매체 실측(T2)을 구분해 표기했습니다. 가격·공급 상황은 변동이 크므로 기준일 이후의 값은 다시 확인해야 합니다.

공식 자료 (확인일 2026-11-04)
– https://www.rfc-editor.org/rfc/rfc9309.html
– https://datatracker.ietf.org/wg/aipref/documents/
– https://ietf-wg-aipref.github.io/drafts/draft-ietf-aipref-vocab.html
– https://datatracker.ietf.org/doc/html/draft-ietf-aipref-attach-05
– https://datatracker.ietf.org/doc/draft-kelley-aipref-training-preference-signal/
– https://developers.google.com/search/blog/2026/10/ai-training-control
– https://support.google.com/webmasters/answer/16908024?hl=en
– https://blogs.bing.com/search/2026/10/your-content-your-choice-clearer-preferences-for-training-and-grounding/
– https://www.gov.uk/government/news/cma-secures-fairer-deal-for-publishers-and-improves-google-search-services-in-uk
– https://blog.cloudflare.com/content-independence-day-ai-options
– https://blog.cloudflare.com/accountable-mixed-use-ai-crawlers/
– https://blog.cloudflare.com/agentic-internet-bot-report
– https://developers.openai.com/api/docs/bots
– https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler
– (열람 실패, 403) https://openai.com/index/helping-websites-express-ai-training-preferences/
– https://techcrunch.com/2026/07/01/cloudflares-new-policy-pushes-ai-companies-to-pay-for-publishers-content/
– https://the-decoder.com/cloudflare-replaces-its-blanket-ai-bot-block-with-granular-controls-for-search-training-and-agent-crawlers/
– https://www.heise.de/en/news/AI-training-A-robots-txt-entry-will-soon-be-enough-for-all-bots-11508368.html
– https://ppc.land/google-and-bing-back-one-robots-txt-rule-to-opt-out-of-ai-training/


코멘트

답글 남기기

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다