llms.txt vs robots.txt vs sitemap.xml
게시일:
세 파일 모두 사이트 루트에 위치하며 모두 일반 텍스트입니다. 하지만 각각 다른 문제를 해결합니다. 이 셋을 혼동하는 것이 가장 흔한 llms.txt 실수입니다.
한 줄 요약
- robots.txt — 크롤러 접근을 제어합니다. 봇이 무엇을 가져갈 수 있고 없는지를 정합니다.
- sitemap.xml — 검색 엔진을 위해 색인 가능한 모든 페이지를 나열합니다.
- llms.txt — 추론 시점에 대규모 언어 모델을 위해 신호가 강한 핵심 페이지들의 엄선된 목록을 선별합니다.
robots.txt는 권한에 관한 것입니다
robots.txt는 크롤러에게 어떤 경로를 요청할 수 있는지 알려줍니다. 이것은 접근 제어 규약입니다. 콘텐츠를 선별하거나 순위를 매기지 않으며, 언어 모델만을 위해 작성된 것도 아닙니다.
sitemap.xml은 커버리지에 관한 것입니다
사이트맵은 망라적인 것을 지향합니다. 검색 엔진이 놓치지 않도록 색인하고 싶은 모든 URL을 매핑합니다. 사람이 읽기 위한 요약이 아니라 기계 지향적인 XML입니다.
llms.txt는 선별에 관한 것입니다
llms.txt는 망라적인 것과 정반대입니다. 모델이 사이트를 이해하고 활용하는 데 가장 도움이 되는 소수의 페이지를 직접 골라 만든 Markdown 목록이며, 각 항목마다 짧은 설명이 붙습니다. 이것은 학습 데이터셋이나 접근 제어가 아니라 추론(사용자가 AI에게 도움을 요청할 때 돕는 것)을 위해 존재합니다.
서로를 보완합니다
이들 사이에서 하나를 고르는 것이 아닙니다. 탄탄한 구성은 셋을 모두 갖춥니다. robots.txt는 접근을 관리하고, sitemap.xml은 커버리지를 보장하며, llms.txt는 AI를 위한 신호를 선별합니다. 직접 작성했다면 검증기로 실행해 보고 형식에 관한 세부 사항은 llms.txt 파일을 만드는 방법을 읽어 보세요.