임베딩 교체가 '모델 교체'보다 까다로운 이유
LLM은 API 엔드포인트만 바꿔도 교체됩니다. 임베딩 모델은 사정이 다릅니다. 임베딩을 바꾸면 이미 저장된 벡터 전체를 다시 만들어야 합니다.
벡터 사이에 호환성이 없습니다: 모델마다 의미 공간이 다르므로 A 모델로 만든 질의 벡터로 B 모델 문서 벡터를 검색하면 결과가 사실상 무작위가 됩니다. 질의와 문서는 반드시 같은 모델로 임베딩해야 합니다.차원 수가 달라집니다: 768차원에서 1,536차원이나 3,072차원으로 바뀌면 인덱스를 새로 만들어야 합니다. float32 기준으로 1,024차원 벡터 하나는 4KB이고, 100만 청크면 원본 벡터만 약 4GB입니다.정규화 여부와 거리 함수도 달라집니다: 출력이 정규화되는 모델이라면 내적과 코사인 유사도가 같은 결과를 냅니다. 정규화하지 않는 모델에 내적 인덱스를 그대로 쓰면 순위가 왜곡됩니다. 임계값(예: 유사도 0.75 이상만 사용)도 모델마다 다시 정해야 합니다.교체 판단 기준
"새 모델이 벤치마크 점수가 높다"는 이유만으로는 교체 근거가 부족합니다. 우리 데이터에서 실제로 더 나은지 확인해야 합니다.
평가 질의셋 구축
운영 로그에서 검색 실패 사례(답변 불만족, 재질문, 상담원 이관)를 모읍니다.질의와 정답 문서를 쌍으로 묶어 200~500개 규모의 평가셋을 만듭니다. 처음에는 100개만 있어도 비교를 시작할 수 있습니다.검색 지표로 비교
Recall@k: 정답 문서가 상위 k개 안에 들어간 질의의 비율입니다. RAG는 상위 5~10개를 LLM에 넘기므로 Recall@5와 Recall@10이 핵심입니다.MRR: 첫 번째 정답이 나온 순위의 역수를 평균한 값입니다. 정답이 1위면 1.0, 3위면 0.33입니다.세그먼트별 확인
평균 점수만 보면 약점이 묻힙니다. 한국어와 영어 질의, 사내 약어·제품 코드가 들어간 질의, 짧은 FAQ와 긴 매뉴얼로 나눠서 비교해야 합니다. 평균은 3%p 올랐는데 도메인 용어 질의에서는 오히려 떨어지는 경우가 흔합니다.
무중단 재색인 설계
블루-그린 병행 구축
기존 인덱스(블루)는 그대로 서비스하고, 새 모델로 만든 인덱스(그린)를 따로 구축합니다. 평가셋으로 그린을 검증한 뒤 질의 임베딩 모델과 조회 대상 인덱스를 함께 전환합니다. 둘 중 하나만 바뀌면 검색이 즉시 망가지므로 두 설정을 한 단위로 배포해야 합니다.
비용과 소요 시간 산정
100만 청크 × 평균 500토큰이면 5억 토큰입니다. 100만 토큰당 0.1달러로 가정하면 약 50달러가 듭니다.처리량이 초당 500청크라면 약 2,000초, 즉 33분 정도 걸립니다. 실제로는 API 호출 한도 때문에 이보다 길어지므로 배치 크기와 재시도 정책을 미리 정해 둡니다.실패한 배치만 다시 돌릴 수 있도록 청크 ID 단위로 진행 상태를 기록합니다.전환 기간 중 이중 색인
재색인이 진행되는 동안에도 문서는 추가되고 수정됩니다. 이 기간에는 신규·수정 문서를 블루와 그린에 모두 기록하고, 삭제도 양쪽에 반영합니다. 전환 직전에는 두 인덱스의 문서 수와 최종 수정 시각을 대조합니다.
운영 체계로 만들기
메타데이터 기록: 인덱스마다 임베딩 모델명·버전, 차원, 거리 함수, 청크 크기와 중첩(overlap) 설정을 남깁니다. 나중에 "이 벡터를 어떻게 만들었는지" 추적할 수 있어야 합니다.회귀 테스트: 평가셋을 정기적으로 실행하고 Recall@10이 기준선보다 일정 폭 이상 떨어지면 알림을 보냅니다.롤백 절차: 전환 후 일정 기간은 블루 인덱스를 지우지 않고 보관합니다. 설정 하나로 되돌릴 수 있어야 롤백이 실제로 작동합니다.역할 분담: 키워드 검색(BM25)은 제품 코드와 고유명사를, 벡터 검색은 의미가 비슷한 표현을 잡아냅니다. 리랭커는 후보를 정밀하게 다시 정렬합니다. 하이브리드 구성에서는 벡터 쪽 품질이 떨어져도 키워드 쪽이 보완해 주므로, 임베딩 교체에 따른 위험이 줄어듭니다.POLYGLOTSOFT의 RAG 운영 지원
POLYGLOTSOFT는 RAG를 한 번 만들고 끝나는 기능이 아니라 계속 운영하는 시스템으로 설계합니다. 지원 범위는 운영 로그 기반 평가 질의셋 구축, 후보 임베딩 모델 비교, 블루-그린 재색인 파이프라인, 이중 색인과 롤백 절차, 정기 품질 회귀 테스트까지입니다. 임베딩 교체를 앞두고 있거나 검색 품질이 떨어졌는데 원인을 모르겠다면 POLYGLOTSOFT에 문의해 주십시오. 현재 구성을 진단하고 안전한 전환 계획을 함께 세우겠습니다.
