부제: 대규모 AI 평가를 가능하게 만드는 신뢰도 등급 시스템 AI 모델을 평가(Evaluation)할 때 가장 본질적인 질문은 단순합니다. “이 평가 결과를 얼마나 믿을 수 있는가?” 정확한 평가를 위해서는 정답 기준이 필요하지만, 모든 데이터를 사람이 직접 라벨링하기에는 비용과 시간이 현실적인 제약이 됩니다. 반대로 모델이 자동으로 생성한 라벨은 빠르지만, 그 자체로는 신뢰하기 어렵습니다. 이러한 현실적인 문제를 해결하기…
요즘 AI를 붙인 제품은 많습니다. 그런데 “대화는 그럴듯한데, 실제로 일은 안 끝나는” 경우도 흔합니다. 반대로 “일은 끝나는데, 사고 나면 누가 책임지지?”라는 질문도 따라옵니다. 이 둘을 동시에 만족시키는 구조가 점점 표준처럼 자리 잡는 분위기입니다. 보편 패턴: 대화(Assistant) → 실행(Agent) → 승인(Gate/Confirm) 제가 보는 가장 보편적인 구조는 이렇습니다. Assistant(대화 흐름): 사용자의 의도/맥락/제약을 정리해서 “무엇을 할지”를 확정합니다. Agent(실행…
이전 1부에서는 아래의 관점으로 개념을 정리해보았습니다. “프롬프트 = 질문, 프롬프트 엔지니어링 = 설계” 이번 2부에서는 그 설계를 굳이 사람이 머리 싸매고 하지 않고, GPT에게 그대로 맡겼을 때 어떤 차이가 나는지를 실제 사례로 정리해보려고 합니다. 0. 실험 방법 – 딱 이것만 바꿨습니다 실험 방법은 아주 단순합니다. 실제 업무에서 제가 하고 싶은 작업을 그대로 정리해둔다. Before: 떠오르는…