블로그 목록으로
인공지능

벡터 검색은 품번을 못 찾는다: 키워드·벡터 하이브리드 검색과 리랭커로 사내 RAG 정확도 높이기

품번·오류코드처럼 정확히 일치해야 하는 질의에서 벡터 검색이 실패하는 이유와, BM25·벡터 하이브리드 검색, RRF 결합, 크로스 인코더 리랭커로 사내 RAG의 검색 정확도를 높이는 방법을 정리합니다.

POLYGLOTSOFT 기술팀2026-11-097분 소요14
RAG하이브리드검색리랭커BM25사내AI

"분명 문서에 있는데 AI가 못 찾는다"

사내 RAG를 도입한 뒤 가장 자주 듣는 불만은 "답이 틀린다"보다 "문서에 있는데 못 찾는다"입니다. 예를 들어 "AB-1203-K 부품의 체결 토크는?"이라고 물으면, 벡터 검색은 AB-1208-K나 AB-1203-M처럼 표기가 비슷한 다른 품번 문서를 가져오기 쉽습니다. 임베딩은 문장의 의미를 압축한 값이라 품번·규격번호·오류코드·고객사명처럼 한 글자만 달라도 다른 대상을 가리키는 문자열을 정확히 구분하도록 만들어지지 않았기 때문입니다.

문제는 이 오답이 그럴듯하다는 점입니다. 비슷한 부품의 비슷한 절차서를 근거로 LLM이 자신 있게 답하므로, 사용자는 틀린 줄 모르고 씁니다. 답변 품질 문제를 진단해 보면 원인의 상당수는 생성 모델이 아니라 검색 단계에 있습니다. 정답 문서가 후보에 없으면 어떤 모델도 맞게 답할 수 없습니다.

키워드 검색과 벡터 검색은 서로 다른 것을 잘한다

  • 키워드 검색(BM25 등): 질의의 단어가 문서에 그대로 있는지를 봅니다. 고유명사·코드·숫자에 강하고, 드물게 나오는 단어일수록 가중치가 커서 품번 하나로도 정확히 찾습니다.
  • 벡터 검색: "설비가 갑자기 멈췄을 때"와 "비상 정지 발생 시 조치"처럼 표현은 달라도 뜻이 같은 질문에 강합니다.
  • 한국어 환경에서는 토큰 처리를 꼭 확인해야 합니다. 형태소 분석기(Elasticsearch·OpenSearch의 Nori 등)는 조사를 떼어 내 검색 품질을 높이지만, 설정에 따라 `AB-1203-K`를 `ab`, `1203`, `k`로 쪼개 버립니다. 이렇게 되면 1203이 들어간 모든 문서가 함께 걸립니다. 품번 패턴은 정규식으로 미리 뽑아 분해하지 않는 별도 필드에 저장하고, 대소문자·하이픈 유무를 정규화해 두는 것이 안전합니다.

    두 결과를 합치는 방법

    점수 정규화 결합은 BM25 점수와 코사인 유사도를 0~1로 맞춘 뒤 가중합합니다. 직관적이지만, 두 점수의 분포가 질의마다 달라 가중치를 하나로 고정하기 어렵습니다.

    순위 기반 결합(RRF)은 점수를 버리고 순위만 씁니다. 문서마다 각 검색 결과에서 `1 / (k + 순위)`를 더하며, k는 보통 60을 씁니다. 두 검색에서 모두 상위에 오른 문서가 자연스럽게 앞으로 오고 튜닝할 값이 거의 없어 첫 도입에 적합합니다.

    여기에 질의 라우팅을 더하면 효과가 커집니다. 질의에 품번·오류코드 패턴이 있으면 키워드 쪽 비중을 높이고, 서술형 질문이면 벡터 쪽 비중을 높입니다.

    또한 메타데이터 필터는 검색 전에 적용해야 합니다. 문서 종류, 개정일, 부서로 범위를 먼저 좁히지 않으면 폐기된 구판 절차서가 최신판과 경쟁해 상위를 차지할 수 있습니다. 같은 문서의 여러 개정판이 있는 제조 현장에서는 특히 중요합니다.

    리랭커로 최종 순서를 다시 매긴다

    하이브리드 검색으로 넓게 가져온 후보를 크로스 인코더 리랭커로 다시 정렬하는 2단계 구조가 일반적입니다. 크로스 인코더는 질문과 문서를 함께 읽고 관련도를 직접 판단하므로, 문서를 따로 임베딩해 거리만 재는 방식보다 정밀합니다. 대신 후보마다 모델을 한 번씩 실행하므로 느리고 비쌉니다.

    그래서 후보 개수가 핵심 조정값입니다. 1차에서 50~100개를 가져와 리랭커로 상위 5~10개만 LLM에 넘기는 구성이 출발점으로 많이 쓰입니다. 후보를 늘리면 정답이 포함될 확률은 오르지만 지연시간도 함께 늘어나므로, 사내 응답시간 목표 안에서 값을 정해야 합니다.

    리랭커의 효과는 사내 평가 질문셋으로 확인합니다. 실제 업무 질문 100~200개를 모으고 각 질문의 정답 문서를 표시해 두면, 도입 전후를 같은 기준으로 비교할 수 있습니다. 품번 질의, 서술형 질의, 개정판 구분이 필요한 질의를 고르게 섞는 것이 좋습니다.

    운영에서 확인할 지표

  • 검색 적중률: 정답 문서가 상위 N개 안에 들어온 비율(Recall@N)입니다.
  • 답변 정확도: 정답 문서가 주어졌을 때 답이 맞았는지를 따로 봅니다.
  • 두 지표를 분리해야 원인이 보입니다. 적중률이 낮으면 검색을, 적중률은 높은데 답이 틀리면 프롬프트와 생성을 고쳐야 합니다. 또한 "못 찾았다"는 피드백과 재질문이 발생한 질의를 로그로 모아, 2~4주 주기로 사전·동의어·청킹 단위를 보완하면 정확도가 꾸준히 올라갑니다.

    POLYGLOTSOFT의 접근

    POLYGLOTSOFT는 MES·WMS 구축 경험을 바탕으로 품번, 도면번호, 설비코드, 개정 이력처럼 제조·물류 문서에 특화된 구조를 반영한 하이브리드 검색 RAG를 구축합니다. 코드 패턴 전용 필드 설계, 질의 라우팅, 리랭커 적용, 사내 평가 질문셋 구성까지 단계별로 함께 진행합니다. 사내 문서 검색 정확도로 고민하고 계시다면 지금 문의해 주십시오.