먼저 할 일
회사 홈페이지의 robots.txt가 OAI-SearchBot을 막고 있지 않은지부터 확인합니다. OpenAI는 이 봇을 막은 사이트를 ChatGPT 검색 답변에 보여 주지 않는다고 밝혔고, 학습용 GPTBot은 따로 정하는 봇이라 학습은 닫고 검색만 열어 둘 수 있습니다.
OAI-SearchBot과 GPTBot의 차이
봇마다 하는 일이 다르고 robots.txt 규칙도 따로 정합니다.
| 이름 | 하는 일 | robots.txt |
|---|---|---|
| OAI-SearchBot | ChatGPT 검색 기능에 사이트를 보여 주려고 수집 | 따름 |
| GPTBot | 생성형 AI 기본 모델 학습에 쓸 수 있는 글 수집 | 따름 |
| ChatGPT-User | 사용자가 시킨 일로 페이지를 엶. 자동 수집은 하지 않음 | 사용자 요청이라 적용되지 않을 수 있음 |
| OAI-AdsBot | ChatGPT 광고로 제출된 랜딩 페이지만 확인 | 광고 페이지에만 해당 |
OAI-SearchBot을 막으면 생기는 일
검색 답변의 출처에서는 빠집니다. 다만 주소만 적힌 링크로는 나올 수 있다고 OpenAI는 적었습니다.
OpenAI 안내로는 robots.txt를 고친 뒤 반영까지 약 24시간이 걸립니다. ChatGPT-User는 검색에 나올지 정하는 데는 쓰지 않는다고 합니다.
우리 사이트가 막고 있는지 확인하기
robots.txt는 사이트 맨 위 경로에 두는 파일이라 브라우저로 바로 열어 볼 수 있습니다.
- 주소창에 회사 홈페이지 주소 뒤에 /robots.txt를 붙여 엽니다. 예: https://example.co.kr/robots.txt
- «User-agent: OAI-SearchBot» 줄 아래에 «Disallow: /»가 있으면 사이트 전체를 막은 상태입니다.
- OAI-SearchBot 줄이 따로 없으면 «User-agent: *» 묶음의 규칙을 따릅니다. 거기에 «Disallow: /»가 있으면 OAI-SearchBot도 막힙니다.
- 파일이 없다고 나오면(404) 막은 규칙이 없는 상태입니다.
- 홈페이지 제작사나 호스팅 업체에 방화벽·CDN에서 AI 봇을 막아 두었는지 물어봅니다. robots.txt를 열어 두어도 서버가 봇을 막으면 읽지 못합니다.
검색은 열고 학습만 닫는 네 줄
아래 네 줄을 robots.txt에 넣으면 ChatGPT 검색에는 사이트가 나오게 두고 모델 학습에는 쓰지 말라고 알리는 셈입니다. 학습까지 허용할지는 회사가 정하면 됩니다.
- User-agent: OAI-SearchBot
- Allow: /
- User-agent: GPTBot
- Disallow: /