먼저 할 일
robots.txt에서 검색 답에 쓰는 AI 봇을 막고 있지 않은지 확인합니다. 어느 AI 서비스의 봇을 막으면 그 서비스 답에는 출처로 나오기 어렵고, llms.txt는 아직 제안 단계이며 Google은 AI 기능에 이런 파일이 필요 없다고 밝혔습니다.
서비스별 AI 봇 이름
robots.txt의 «User-agent» 줄에 이 이름을 그대로 씁니다.
| 회사 | 봇 이름 | 하는 일 | 막으면 |
|---|---|---|---|
| OpenAI | OAI-SearchBot | ChatGPT 검색에 사이트를 보여 주려고 수집 | ChatGPT 검색 답에 나오지 않음 |
| OpenAI | GPTBot | 모델 학습에 쓸 수 있는 글 수집 | 학습에 쓰지 말라는 뜻 |
| OpenAI | ChatGPT-User | 사용자가 시킨 페이지 열기 | 사용자 요청이라 적용되지 않을 수 있음 |
| Perplexity | PerplexityBot | Perplexity 검색 결과에 사이트를 보여 주고 링크 | 검색 결과에 링크되기 어려움 |
| Perplexity | Perplexity-User | 사용자 질문에 답하려고 페이지 방문 | 사용자 요청이라 robots.txt를 대체로 따르지 않음 |
| Anthropic | ClaudeBot | 학습에 쓰일 수 있는 글 수집 | 앞으로 올리는 글을 학습에서 빼 달라는 뜻 |
| Anthropic | Claude-SearchBot | 검색 결과 품질을 높이려고 색인 | 검색 답에 덜 나올 수 있음 |
| Anthropic | Claude-User | 사용자 질문에 답하려고 페이지 읽기 | 사용자가 시킨 검색에 덜 나올 수 있음 |
| Google-Extended | 수집은 하지 않고 Gemini 앱과 Vertex AI가 학습이나 답의 근거로 쓸지 정하는 이름 | Google 검색 포함과 순위에는 영향 없음 | |
| Microsoft | Bingbot | Bing 검색 수집 | Bing 검색에 나오지 않음 |
Google-Extended와 AI 개요
Google-Extended를 막아도 AI 개요·AI 모드에서 빠지지 않습니다. Google의 AI 기능 문서는 이 둘의 노출을 Googlebot robots.txt와 nosnippet·noindex 같은 검색 설정으로 다루라고 안내합니다.
robots.txt 확인 순서
robots.txt는 표준(RFC 9309)에 따라 사이트 맨 위 경로에 둡니다. 봇은 자기 이름이 적힌 묶음을 따르고 없으면 «User-agent: *» 묶음을 따릅니다.
- 회사 홈페이지 주소 뒤에 /robots.txt를 붙여 엽니다.
- 위 표의 봇 이름이 «User-agent» 줄에 있는지 찾습니다.
- 그 아래 «Disallow: /»가 있으면 사이트 전체를 막은 상태입니다.
- 봇 이름이 없으면 «User-agent: *» 묶음의 규칙을 봅니다.
- 하위 도메인(예: blog.회사주소)은 robots.txt를 따로 둡니다. Anthropic도 하위 도메인마다 따로 적으라고 안내합니다.
- robots.txt는 페이지를 검색에서 숨기는 장치가 아닙니다. 숨기려면 noindex를 씁니다.
llms.txt란
llms.txt는 사이트에 AI용 안내 문서를 마크다운으로 두자는 제안입니다. Jeremy Howard가 2024년 9월 3일 llmstxt.org에 처음 올렸고 지금도 의견을 받는 단계입니다.
llmstxt.org에도 주요 AI 검색 서비스가 이 파일을 읽어 답에 쓴다는 내용은 없습니다.
이 파일 하나로 AI 답에 나온다는 근거는 찾지 못했습니다. 대행사가 llms.txt 설치를 주요 작업으로 내세우면 그 근거를 물어보는 게 좋습니다.