1. 서문 앞선 글에서는 Safety 정책과 폴백·쿠션멘트 설계를 다뤘습니다. 이번에는 이 요소들이 RAG 파이프라인 속에서 어떻게 연결되는지를 이야기하려 합니다. 먼저 간단히 복습하자면: LLM (Large Language Model): 대규모 언어 모델. 질문을 이해하고 답변을 생성하는 엔진 RAG (Retrieval-Augmented Generation): LLM이 답변을 생성하기 전, 검색으로 근거 자료를 찾아 활용하는 최신화 프레임워크 → 즉, “검색 기반 + 생성형”을 결합해…
1. 서문 챗봇 기획에서 폴백(Fallback) 과 쿠션멘트(Cushion Message) 는 단순한 보조 장치가 아닙니다. 서비스가 복잡해질수록 이 두 장치는 사용자 경험을 지키는 안전망이 됩니다. 저는 CS 챗봇 시절부터 AI 챗봇까지 이어지는 과정에서 이 두 요소를 어떻게 설계·운영했는지를 경험했고, 그 과정에서 얻은 시행착오와 교훈을 공유하고자 합니다. 2. 타임라인: Rule 기반 → AI 기반 CS 챗봇 (Rule-Based) 매칭…
서문 이전 글에서 Safety 정책을 개념 수준으로 다뤘지만,실제 서비스 도입 시에는 정책의 깊이와 디테일이 서비스 품질에 직접적인 영향을 줍니다. 제가 처음 Safety 정책을 접한 건 CS 챗봇 구축 시 Fallback 시나리오 설계 단계였습니다.그 당시, 비윤리 발화나 악성 발화를 걸러내는 기본 카테고리를 Fallback으로 제공했고,이것이 나중에 LLM 챗봇에서 말하는 Safety 정책과 동일하다는 것을 뒤늦게 알게 됐죠. 이러한…