“챗봇 성능을 올린 건 프롬프트가 아니라, 컨텍스트였다.”
1. 들어가며
“Context Engineering? 어렵다고 생각했지만, 해보니 그렇지 않았다.”
요즘 LLM 관련 커뮤니티나 관련 글에서는 ‘Prompt Engineering은 끝났다. 이제는 Context Engineering의 시대다’라는 이야기가 심심치 않게 들립니다.
하지만 솔직히 말해, 처음에 Context Engineering이라는 말은 꽤 어렵게 느껴졌습니다. ‘컨텍스트’라는 단어 자체가 다소 추상적이고, 마치 개발자들만 다루는 고난도 영역처럼 느껴졌거든요.
그런데 최근 챗봇 프로젝트를 진행하며 직접 그 구조를 설계하고 반복 테스트해보니,
생각보다 복잡한 것도, 멀리 있는 것도 아니었습니다.
“사용자 질문이 다르게 표현돼도, LLM이 같은 의미로 이해하고 일관되게 답할 수 있도록 맥락을 구성해주는 일”
→ 이게 바로 제가 직접 설계하고 반복해본, 실전형 Context Engineering이었습니다.
2. 문제 발견
“의도는 같은데 표현이 달라지니, 챗봇은 다르게 이해했다.”
제가 맡은 챗봇 프로젝트의 초기 테스트 결과는 꽤 충격적이었습니다.
‘초보자 가이드’라는 질문에는 잘 대답하던 챗봇이,
‘뉴비 팁’이라는 표현에는 전혀 엉뚱한 답을 내놨거든요.
두 질문의 의도는 분명히 같았지만,
단지 표현 방식이 다르다는 이유만으로 챗봇은 서로 다른 질문으로 인식하고 있었습니다.
당시엔 챗봇 출시가 한 달 남짓 남은 시점이었고,
팀은 RAG 성능 향상을 위한 Knowledge 확장과 기능 개발에 집중하고 있던 상황이었습니다. 하지만 정작 가장 중요한 응답의 정확도와 신뢰도가 낮은 상태였고,
출시 여부조차 불투명해질 정도로 우려가 커졌습니다.
이때 발견한 핵심은 단순히 “지식이 부족해서”가 아니라,
“모델이 이해할 수 있도록 표현을 정리해주는 맥락(Context)이 설계되지 않았기 때문”이었습니다.
3. 해결 과정
“FAQ 중심 유사 표현군 테스트 구조 설계”
문제의 본질을 확인한 이후, 단순히 지식을 더 넣는 것이 아니라
사용자 표현의 다양성에 대응할 수 있는 구조를 만들기로 했습니다.
그 시작은 자주 묻는 질문(FAQ) 101개를 기준으로,
각 항목당 유사 표현 2개씩을 붙여 총 303건의 테스트셋을 구성한 것이었습니다.
콘텐츠 서비스 기획·운영 경험을 하며 체득한 팔레토 법칙에 착안해
“가장 많이 묻는 질문부터 제대로 잡자”는 방향으로 아이디어를 정리했고,
이를 내부에 제안하여 빠르게 승인받고 바로 실행에 들어갔습니다.
그 결과는 아래와 같습니다.
- 1차 테스트: 초기 정확도 21%
- 2차 테스트: 표현군 보완 및 KB 정비 후 정확도 79%로 대폭 향상
- 3차 테스트: 일시적 정확도 하락(67%) 발생 – 캐시/문서 갱신 문제로 확인
- 4차 테스트: 구조 개선 및 운영 이슈 해결 후 최종 정확도 약 89% 달성
※ 3차 테스트에서 발견된 배포 관리 이슈와 그 개선 과정은 다음 글에서 다룰 예정입니다.
이 일련의 과정을 거치며,
단순히 지식을 채우는 것이 아니라
“어떻게 컨텍스트를 구성해줘야 모델이 일관된 답변을 낼 수 있는가”를 체득할 수 있었습니다.
4. 교훈
“Context Engineering은 생각보다 가까이에 있다.”
이번 프로젝트를 통해 얻은 인사이트는 분명했습니다.
- Context Engineering은 개발자만의 영역이 아니다.
- 오히려, 기획자처럼 사용자의 언어와 표현 방식을 이해하고 정리하는 사람이 잘 설계할 수 있는 영역이다.
- 복잡한 수식이나 모델 튜닝 없이도,
표현군 설계와 반복 테스트만으로 성능을 유의미하게 끌어올릴 수 있다는 걸 직접 경험했습니다.
5. 마무리하며…
LLM 도입이 본격화되는 지금,
단순히 “모델을 붙였다”는 수준을 넘어서
Prompt → Context로 사고 전환이 이뤄져야 서비스가 실제로 잘 동작합니다.
저는 이번 프로젝트를 통해,
기획자도 충분히 LLM 챗봇의 성능을 구조적으로 개선할 수 있으며,
그 핵심은 컨텍스트 설계에 있다는 점을 실전 프로젝트를 통해 확인할 수 있었습니다.
그리고 더 나아가 결국
“기획자란 모두가 이해할 수 있는 기준을 세우고,
이를 테스트 및 분석하여, 실제 성과로 만드는 프레임을 설계하는 사람”
이라는 생각을 다시 한번 확인하게 되었습니다.
결국 LLM은 맥락을 먹고 자랍니다.
여러분만의 컨텍스트 설계 방식을 만들어보시길.
모두 파이팅입니다 💪