챗봇의 블랙박스, 미분류(Other): 원인 분해로 개선하기
챗봇을 운영하다 보면 가장 답답한 순간이 있습니다. 모델 성능이 부족할 때가 아니라, “무엇이 문제인지 명확히 보이지 않을 때”입니다. 당시 운영에서는 응답 경로를 아래 3개로 구분해 확인했습니다. FAQ(지식 기반 답변) Ticket(문의 접수·이관) Other(미분류) 문제는 늘 Other(미분류)였습니다. 지표가 흔들릴 때도 “Other가 늘었다”는 사실까지만 보이고, 그 안에서 어떤 원인이 늘었는지는 잘 드러나지 않았습니다. 3분류 라벨로는 개선이 막연해집니다. 그래서…