커뮤니티 LLM QA에서 ID 검증과 의미 검증을 나눈 이유 근거가 존재하는 것과, 그 근거가 요약을 뒷받침하는 것은 다릅니다. 커뮤니티 게시글을 분석하고 종합 요약하는 서비스를 검증하면서 가장 선명하게 배운 점입니다. 문장은 자연스러웠고 대표 게시글도 연결돼 있었습니다. 그런데 근거를 열어 보면 요약과 반대되는 의견이 담겨 있었습니다. 예를 들어, 요약에는 ‘장비 교체가 빠르다’고 적혀 있는데 대표 글은 ‘교체가…
월드 모델이라는 말을 반년 동안 들었는데, 솔직히 말하면 계속 헷갈렸습니다.AI 제품을 직접 다루는데도 그랬고, 다시 한번 제대로 확인하고 정리해봤더니 헷갈린 이유가 있었습니다.같은 단어가 서로 다른 두 가지를 가리키고 있었습니다. 먼저 세 가지를 구분합니다 LLM — 언어와 지식을 다룹니다. 다음에 올 단어를 예측하는 방식으로 학습합니다. “여기 공사 중이니까 돌아가”라는 말을 이해하는 쪽입니다. 월드 모델 — 다음에…
LLM 기반 뉴스 서비스의 품질 개선기 자사 데이터 플랫폼에서는 외부 뉴스를 자동으로 수집하고, LLM으로 분류·요약해 내부 사용자에게 전달하는 뉴스 서비스를 운영하고 있습니다. 이미 운영 중인 서비스였지만 어느 순간부터 자사와 직접 관련 없는 기사가 섞이거나, 반대로 중요한 기사가 빠지는 문제가 반복적으로 나타났습니다. 처음에는 단순한 프롬프트 문제라고 생각했습니다. 하지만 원인을 찾기 위해 수집부터 최종 결과까지 Bottom-up으로 따라가…