어떤 AI 크롤러가 llms.txt를 읽을까?
게시일:
llms.txt는 아직 자리 잡지 않은, 자발적으로 따르는 관례입니다. 따라서 어떤 크롤러도 이를 반드시 읽어야 하는 것은 아닙니다. 하지만 깔끔한 파일과 깔끔한 페이지는 이를 읽는 모든 모델에 도움이 됩니다. 또한 실제로 접근을 결정하는 파일인 robots.txt와 함께 작동합니다. robots.txt를 출입문, llms.txt를 잘 정리된 지도라고 생각하면 됩니다.
두 종류의 AI 크롤러
AI 봇을 두 그룹으로 나누면 이해하기 쉽습니다. 보통 이 둘을 서로 다르게 다루기 때문입니다.
- 답변 / 검색 크롤러 — 사용자의 질문에 지금 답하기 위해 페이지를 가져옵니다:
OAI-SearchBot와ChatGPT-User(OpenAI),Claude-SearchBot와Claude-User(Anthropic),PerplexityBot와Perplexity-User. 이들은 AI 노출(가시성)을 좌우하므로 대체로 허용하고 싶은 봇입니다. - 학습 크롤러 — 모델을 학습시킬 데이터를 수집합니다:
GPTBot,ClaudeBot,Google-Extended,Applebot-Extended,CCBot,Bytespider,Meta-ExternalAgent. 이들을 허용할지 여부는 별개의 옵트아웃(opt-out) 선택입니다.
오늘날 이들 중 어떤 봇이 llms.txt를 읽을까?
솔직히 말하면 도입은 아직 초기 단계입니다. llms.txt는 AI 개발자 도구와 에이전트 프레임워크 사이에서 지원이 늘고 있는 신생 표준이지만, 대부분의 대형 크롤러는 아직 이를 자동으로 가져오지 않습니다. 가치는 준비되어 있다는 데 있습니다. 정확하고 잘 정리된 파일은 비용이 거의 들지 않으면서 표준이 성숙해 가는 동안 유리한 위치를 선점하게 해 주며, 그 파일이 가리키는 깔끔한 페이지는 지금 당장 모델에 도움이 됩니다.
접근은 llms.txt가 아니라 robots.txt에서 결정된다
llms.txt는 아무것도 차단하거나 허용하지 않습니다. 오직 정리(큐레이션)만 할 뿐입니다. AI 크롤러가 무엇을 가져갈 수 있는지 제어하려면 robots.txt를 사용하세요. 노출에 친화적인 설정은 답변 크롤러를 허용하고 학습 크롤러에 대해서는 의도적으로 선택을 내립니다.
User-agent: OAI-SearchBot Allow: / User-agent: PerplexityBot Allow: / User-agent: GPTBot Disallow: /
두 파일이 어떻게 역할을 나누는지는 llms.txt vs robots.txt를 참고하세요.
해야 할 일
- 위의 답변 / 검색 크롤러를 허용해 AI 도구가 여러분을 인용할 수 있게 하세요.
- 학습 옵트아웃(
GPTBot,Google-Extended)은 의도적으로 결정하세요 — 이들을 차단해도 AI 검색 노출에는 영향이 없습니다. - 잘 정리된 llms.txt를 게시한 다음, 연결된 모든 페이지가 실제로 열리는지 검증하세요.