같은 질문을 여러 번 묻는 이유

먼저 할 일

같은 질문을 정한 횟수만큼 물어 우리 회사가 몇 번 나왔는지 셉니다. AI는 같은 질문에도 답이 조금씩 달라 화면 한 장으로는 늘 나오는지 알 수 없고, 이렇게 센 숫자라야 다음 달과 비교할 수 있습니다.

답이 매번 달라지는 까닭

OpenAI 개발 문서를 보면 OpenAI 모델은 기본 설정에서 같은 질문에도 매번 다른 답을 냅니다. 설정을 맞춰도 같은 답이 나온다고 보장하지는 않는다고 적었습니다.

검색하는 AI는 답이 바뀌는 까닭이 하나 더 있습니다. Google 도움말을 보면 AI 모드는 질문을 작은 주제로 나눠 여러 곳을 동시에 검색합니다. 어떤 문서를 읽었느냐에 따라 추천 목록도 바뀔 수 있습니다.

AI 모드는 저장된 검색 기록을 써서 사람마다 답을 맞추기도 합니다. 내 폰에서 본 답과 고객 폰에서 본 답이 다를 수 있습니다.

같은 질문을 20번 물어 우리 회사 이름이 8번 나왔다는 뜻입니다. 비율로는 40%입니다.

이 숫자는 한 문장을 한 서비스에 그날 물어 얻은 결과입니다. 문장을 바꾸거나 다른 AI에 물으면 따로 세면 됩니다.

묻는 횟수가 적으면 우연이 크게 섞입니다. 5번 중 1번과 2번은 20%와 40%로 두 배 차이처럼 보여도 실제로는 한 번 차이입니다.

셀 때는 나온 자리까지 적습니다. 네 곳을 추천한 답에서 첫째로 나온 것과 넷째로 나온 것은 고객 눈에 다르게 보입니다.

캡처 한 장은 그 순간 나온 답 하나입니다. 다시 물으면 우리 회사가 빠질 수도 있고 없던 경쟁사가 들어올 수도 있습니다.

대행사가 보낸 캡처가 좋아 보이면 몇 번 물어서 나온 화면인지 확인해 두는 게 좋습니다.

질문 문장은 고객이 실제로 쓰는 말이어야 합니다. «강남역 치과 추천»과 «강남역 임플란트 잘하는 곳»은 다른 질문이라 따로 셉니다.

정보를 고친 뒤 AI가 새 내용을 읽기까지 시간이 걸립니다. OpenAI는 robots.txt를 바꾸면 반영까지 약 24시간이 걸린다고 밝혔고 Google은 페이지를 다시 수집하는 데 며칠에서 몇 달이 걸릴 수 있다고 적었습니다.

그래서 고치기 전에 숫자를 먼저 세어 두고 매달 같은 질문, 같은 횟수로 다시 셉니다. 조건이 다른 숫자끼리는 비교하지 않습니다.

오른 숫자가 다음 달에 다시 내려갈 수도 있으니 한 달 결과보다 여러 달 흐름을 보는 편이 낫습니다.