쌓이기만 하는 고객의 목소리
상담 기록은 콜센터 시스템에, 리뷰는 쇼핑몰 관리자 화면에, 설문 주관식은 엑셀에, 영업 메모는 CRM에 따로 쌓입니다. 채널마다 형식과 담당 부서가 달라서 "이번 달 고객이 가장 많이 불편해한 것"이라는 단순한 질문에도 답하기 어렵습니다.
흔한 대안은 키워드 집계와 수작업 샘플링입니다. 그러나 키워드 집계는 "배송"이 몇 번 나왔는지만 알려줄 뿐, 지연인지 파손인지 오배송인지 구분하지 못합니다. "또 안 되네요"처럼 키워드가 없는 불만은 아예 빠집니다. 월 100건을 읽는 샘플링은 전체의 0.5%를 차지하는 문제를 평균 0.5건밖에 만나지 못합니다.
분류 체계부터 세우기: 택소노미 설계
LLM을 붙이기 전에 무엇으로 나눌지부터 정해야 합니다. "결제 오류 불만"처럼 여러 속성을 한 라벨에 섞으면 항목이 수백 개로 불어나므로, 축을 분리하는 것이 핵심입니다.
체계 수립은 세 단계로 진행합니다. 먼저 최근 문의 500~1,000건을 LLM에 넣어 유형 후보를 뽑습니다. 다음으로 현업 담당자가 후보를 합치고 나누어 축별 10~30개로 확정합니다. 마지막으로 항목마다 정의와 포함·제외 예시를 문서로 남깁니다. 이 문서가 그대로 분류 프롬프트의 근거가 됩니다.
LLM 분류 파이프라인 구성
파이프라인은 네 단계로 구성합니다.
어느 항목에도 맞지 않는 건은 억지로 넣지 말고 "기타"로 받아야 합니다. 기타 비중이 5%를 넘거나 비슷한 내용이 반복되면 신규 유형의 신호입니다. 분류 체계는 분기 1회 정기 개정하고, 신제품 출시처럼 큰 변화가 있을 때 수시로 손봅니다.
분류 결과를 믿을 수 있는가: 정확도 검증
검증 없는 대시보드는 그럴듯한 숫자일 뿐입니다. 담당자 두 명이 같은 300~500건을 각자 라벨링해 평가셋을 만들고, 모델 결과와의 일치율을 축별로 측정합니다. 이때 사람 간 일치율을 함께 봐야 합니다. 두 사람의 일치율이 85%인 축에서 모델에 95%를 요구하는 것은 무의미하며, 이는 항목 정의가 모호하다는 뜻입니다.
모델이나 프롬프트를 바꾸면 같은 문의가 다른 라벨을 받아 추세선이 끊길 수 있습니다. 변경 전에 평가셋으로 회귀 테스트를 하고, 최근 한 달 치를 신·구 버전으로 모두 분류해 항목별 차이를 확인합니다. 차이가 크면 과거 데이터를 새 버전으로 재분류하고, 그렇지 않으면 변경 시점을 차트에 표시합니다.
분석이 조치로 이어지게 만들기
분류 결과는 부서가 쓰는 형태로 전달되어야 합니다. 제품팀에는 기능별 개선 요청 순위, 품질팀에는 오류 유형별 추이, 영업팀에는 고객사별 불만 이력이 필요합니다. 특정 유형이 직전 4주 평균의 2배를 넘으면 메신저로 알리는 급증 알림도 유용합니다.
더 중요한 것은 연동입니다. 이슈 트래커의 개선 과제에 관련 VOC 건수와 근거 문장을 연결하면 우선순위 논의가 인상이 아닌 데이터로 이루어지고, 배포 후 해당 유형이 실제로 줄었는지 확인할 수 있습니다.
도입 시 주의점: 개인정보와 비용
상담 데이터에는 개인정보가 섞여 있습니다. 외부 LLM API를 쓴다면 처리위탁과 국외 이전에 해당하는지, 입력 데이터가 모델 학습에 쓰이지 않는지 계약 조건을 확인해야 합니다. 보관 기준도 미리 정합니다. 전자상거래 사업자는 소비자 불만·분쟁 처리 기록을 3년간 보존해야 하므로, 원문은 법정 기간에 맞추고 분석용 데이터는 마스킹된 상태로 분리하는 구성이 안전합니다.
비용은 계산해 보면 판단이 쉽습니다. 건당 처리 비용을 3원으로 가정하면 월 3만 건 전수 처리는 9만 원입니다. 10% 샘플링으로 8만 1천 원을 아낄 수 있지만, 발생률 0.5%인 문제는 150건에서 15건으로 줄어 주간 추이를 읽기 어렵습니다. 급증 탐지가 목적이라면 대개 전수 처리가 합리적이며, 짧은 문의는 경량 모델로 처리하는 방식으로 비용을 낮춥니다.
POLYGLOTSOFT의 VOC 분석 시스템 구축
POLYGLOTSOFT는 기존 상담 시스템과 CRM을 교체하지 않고 그 위에 분석 파이프라인을 얹는 방식으로 구축합니다. 채널별 데이터 수집과 마스킹, 택소노미 설계 워크숍, 평가셋 기반 정확도 검증, 부서별 대시보드와 이슈 트래커 연동까지 한 흐름으로 지원합니다. 쌓여만 있는 고객의 목소리를 개선 과제로 바꾸고 싶으시다면 POLYGLOTSOFT에 문의해 주시기 바랍니다.