본문으로 바로가기
ARCHIVE

CallZip 01 - 근거 없는 답을 내지 않는 상담 지원 AI

상담 통화와 1:1 문의를 받아 답변 초안을 만드는 상담 지원 AI를 만들면서, 음성 인식·검색·답변 생성·상담사 화면·내부망 설치까지 어떤 기준으로 설계하고 검증했는지 과정 중심으로 정리했다.

  • #CallZip
  • #RAG
  • #STT
  • #Whisper
  • #LLM
  • #FastAPI

🧠 요약

  • 상담 지원 AI의 첫 번째 기준은 "답을 많이 내는 것"이 아니라 "근거 없는 답을 내지 않는 것" 이었다.
  • 음성 인식은 일반 모델이 모르는 매장·상품 이름과 반복 환각이 가장 큰 문제였다.
  • 답변 초안은 검색된 근거 안에서만 만들고, 근거가 약하면 멈추고 상담사에게 넘긴다.
  • 모델이나 프롬프트를 바꿀 때마다 서비스 코드를 그대로 부르는 실험으로 효과와 부작용을 함께 쟀다.
  • 고객사 서버는 인터넷이 막힌 내부망이라, 아무것도 내려받지 않는 설치 묶음을 만들었다.

고객사 이름, 평가 수치, 화면 이미지는 공개할 수 없어서 과정과 판단 기준만 적는다.


0. 무엇을 만들었나

CallZip은 상담 통화와 1:1 문의를 받아서 문의 유형을 분류하고, 관련 정책을 찾아, 상담사가 검토할 답변 초안을 만드는 시스템이다.

전체 흐름은 이렇다.

  1. 통화 녹음을 받아 쓴다(STT).
  2. 개인정보를 가린다.
  3. 문의 유형을 분류한다.
  4. 정책 문서와 FAQ에서 근거를 찾는다.
  5. 근거 안에서 답변 초안을 만든다.
  6. 상담사가 화면에서 초안과 근거를 보고 고치거나 승인한다.

AI가 고객에게 바로 답하지 않는다는 점이 중요했다. 최종 판단은 항상 상담사가 한다.

1. 음성 인식: 상담 통화는 받아쓰기 어렵다

상담 통화에는 매장 이름, 상품명, 회원 등급처럼 일반 음성 인식 모델이 모르는 말이 많다. 고객과 상담사 목소리가 한 녹음에 섞여 있고, 조용한 구간에서는 모델이 같은 문장을 계속 만들어 내는 반복 환각도 자주 생겼다.

처리 흐름

  • ffprobe로 실제 컨테이너 형식, 코덱, 채널 수, 길이를 확인한다. 길이 정보가 없는 브라우저 녹음(WebM)은 PCM으로 변환한 뒤의 실제 길이로 다시 잰다.
  • ffmpeg로 16kHz로 정규화하고, 2채널 녹음은 고객·상담사 채널을 나눠 따로 받아 쓴다.
  • VAD로 말하는 구간만 잘라 Whisper large-v3에 넘긴다.
  • 받아쓴 직후 개인정보를 마스킹하고, 이후 단계에는 마스킹된 글만 넘긴다.

도메인 적응

Whisper에 LoRA와 매장·상품 어휘 사전을 붙였다. 이때 전체 오류율만 보지 않고, 핵심어가 실제로 더 잘 잡히는지를 따로 확인한 뒤 채택했다. 전체 오류율이 조금 좋아져도 상품명을 계속 틀리면 상담에는 쓸모가 없기 때문이다.

반복 환각

  • 발화 길이에 비례해 생성 길이에 상한을 둔다.
  • 반복이 감지되면 더 강한 디코딩 설정으로 한 번만 다시 시도한다.
  • 그래도 반복되면 그 구간은 버린다.

잘못 받아쓴 문장이 답변 근거로 흘러가는 것보다, 차라리 비워 두는 편이 안전하다고 판단했다.

2. 답변 생성: 근거가 없으면 만들지 않는다

검색

정책 문서와 FAQ를 청크 규칙에 맞춰 잘라 PostgreSQL(pgvector)에 넣었다. 검색은 글자 유사도 검색과 벡터 검색을 RRF로 합치고, 재순위 모델로 다시 정렬한다.

검색 조건에는 다음을 넣었다.

  • 정책의 게시·승인 상태와 유효 기간: 승인 전 정책은 운영 답변에 쓰이지 않는다.
  • 고객용·직원용 권한: 직원용 문서가 고객 답변에 섞이지 않는다. 이건 종단 시험으로 고정했다.
  • 문의 유형

답변 분기

재순위 점수가 기준 이상이면 근거 안에서 답변 초안을 만든다. 기준에 못 미치면 안내형 답변이 가능한지 보고, 그것도 안 되면 안전하게 멈추고 상담사에게 넘긴다.

이 기준값은 감으로 정하지 않았다. 정상 질의와 서비스와 상관없는 질의의 점수 분포를 실제로 재서 정했고, 모델을 바꿀 때마다 같은 평가셋으로 다시 맞췄다.

백엔드

  • FastAPI로 분류·검색·답변 API를 만들고, LLM은 vLLM으로 띄운 Qwen3를 부른다.
  • 받아쓰기나 문서 적재처럼 오래 걸리는 일은 procrastinate 작업 큐로 넘긴다. API는 바로 응답하고 워커가 뒤에서 처리한다.
  • 스키마는 Alembic 마이그레이션으로 관리해 개발·운영 DB를 같은 판으로 맞췄다.

3. 품질을 판단하는 방식

모델이나 프롬프트를 바꿀 때 가장 조심한 건 "좋아진 것만 보는 것"이었다. 그래서 바꿀 때마다 다음 순서를 지켰다.

  1. 서비스 코드를 그대로 부르는 실험을 만든다. 실험용으로 따로 짠 코드는 서비스와 다르게 동작할 수 있기 때문이다.
  2. 바꾸는 단계만 갈아 끼우고, 같은 평가셋에서 비교한다.
  3. 같은 설정을 두 번 돌려서 생성 자체가 얼마나 흔들리는지 먼저 잰다. 그보다 큰 차이만 개선으로 본다.
  4. 효과와 부작용(근거에 없는 내용이 든 답 등)을 함께 보고 반영, 기준 조정 후 재실험, 보류 중 하나를 고른다.

사례 1. 분류 모델: 문제는 정답 기준이었다

문의 유형 분류 성능이 학습 설정을 바꿔도 오르지 않았다. 틀린 사례를 하나씩 읽어 보니, 학습에 쓴 상담원 라벨은 상담을 어떻게 처리했는지를 따르고 있었다. 그런데 우리가 맞혀야 하는 건 고객이 무엇을 물었는지였다.

그래서 모델이 아니라 기준을 고쳤다.

  • 고객 의도 기준 라벨링 가이드를 만들고, 판을 올려 가며 다듬었다.
  • 가이드에 맞춰 학습 라벨을 다시 판정하고 재학습했다.
  • 기계로 판정한 정답은 표본을 사람이 직접 검수했다.

사례 2. 재순위 모델: 좋아졌지만 보류

검색 모델을 바꾸는 안을 단계별로 나눠 검증했다. 임베딩은 차원을 줄여도 검색 품질과 답변 근거가 그대로여서 바꿨다. 재순위 모델은 근거 검색과 정확한 답이 늘었지만, 근거에 없는 내용이 든 답도 같이 늘었다. 기준값을 다시 맞춰 재실험했더니 이득이 줄었고, GPU 여유도 부족해 보류했다.

좋아진 지표가 있어도 부작용이 함께 늘면 반영하지 않는다. 이 사례가 그 기준을 정하는 계기가 됐다.

사례 3. 답변 말투 어댑터

상담사가 실제로 보낸 답변으로 말투 어댑터를 학습했다. 평가할 때는 말투가 비슷한지보다 답변 템플릿의 빈칸을 그대로 지키는지, 문의에 없는 내용을 만들어 내지 않는지를 먼저 봤다. 목표는 "그럴듯한 답"이 아니라 "상담사가 고칠 곳이 적은 초안"이었다.

4. 상담사 화면

화면은 초안과 근거를 나란히 보여 주고, 상담사가 빠르게 확인·수정·승인하게 만드는 데 집중했다.

  • 문의, 분류 결과, 답변 초안, 근거 문서를 한 화면에서 처리
  • 과거 상담에서 닮은 문의와 실제 상담사 답변
  • 통화에서 언급된 상품을 기간별로 묶어 보는 트렌드 화면
  • 받아쓰기에서 뽑은 어휘 후보를 사람이 확인해 사전에 반영하는 화면
  • 역할별 권한과, 고객사마다 기능을 켜고 끄는 스위치

5. 인터넷 없는 내부망에 설치하기

고객사 서버는 외부 인터넷에 나갈 수 없었다. 그래서 설치 중에 아무것도 내려받지 않는 오프라인 설치 묶음을 만들었다.

  • 의존성, 컨테이너 이미지, 모델을 판마다 고정해서 묶는다.
  • WEB, WAS, DB, GPU 서버마다 같은 install.sh를 쓰고, 바깥 연결을 바꿀 곳은 WAS 설정 파일 하나로 모았다.
  • 설치 뒤 점검 명령 하나로 연결, HTTPS, 시험 문의 처리를 확인한다.
  • DB 백업·복원과 이전 판으로 되돌리는 절차를 설치 절차서에 같이 넣었다.
  • 판마다 바뀐 점을 정리한 변경 안내와 상담사용 설명서를 함께 전달했다.

🔄 회고 및 인사이트

새로 알게 된 점

  • 성능이 안 오를 때 모델보다 정답 기준을 먼저 의심해야 할 때가 있다.
  • 생성 모델 비교는 같은 설정의 흔들림부터 재야 한다. 그렇지 않으면 우연을 개선으로 착각한다.

관점의 변화

처음에는 답을 더 잘 만드는 데 집중했다. 만들다 보니 상담 현장에서 더 중요한 건 틀린 답을 안 내는 것이었다. "모르면 멈춘다"를 시스템의 기본 동작으로 두고 나서 설계가 훨씬 단순해졌다.

관련 글