[AI 품질 개선 시리즈 2/3] fallback_idk 분석: 챗봇의 “모르겠습니다”를 품질 개선으로 바꾸는 법 AI 챗봇을 운영하다 보면 자주 마주치는 응답이 있습니다.“죄송합니다. 잘 모르겠습니다.”“아직 답변이 준비되지 않은 내용입니다.” 실무에서는 이런 “모르겠습니다”류 응답을 fallback_idk 같은 실패 버킷으로 따로 모아보기도 합니다. 중요한 것은 이 버킷을 단순 실패로만 보지 않는 것입니다. fallback_idk는 챗봇이 답하지 못한 결과이기도 하지만, 동시에 어디서…
[AI 품질 개선 시리즈 1/3] Safety와 UX 충돌: 욕설은 막아도, 버그 제보는 놓치면 안 됩니다 AI 챗봇에서 Safety는 중요합니다. 다만 실무에서는 다른 문제가 생기기도 합니다. 욕설이나 강한 표현을 막는 데 집중하다 보면, 그 문장 안에 있던 실제 사용자 의도까지 함께 잘려나가는 경우가 있기 때문입니다. 예를 들어 감정이 섞인 버그 제보나 문의 접수 요청이 단순한 위험…
최근 Codex App에서 Jira triage용 스킬을 하나 만들었습니다. Skill Creator로 생성도 잘 되었고, SKILL.md 파일도 생겼습니다. 그런데 정작 가장 중요한 순간에 문제가 생겼습니다. $ 입력 시 제가 만든 스킬이 보이지 않았습니다. 처음에는 App 문제라고 생각했습니다. 재실행도 해보고, 경로도 바꿔보고, 새 스킬도 하나 더 만들어봤습니다. 그런데 결론은 훨씬 더 전통적인 쪽이었습니다. 스킬이 안 보이는 게 아니라,…