검색 품질 문제의 절반은 검색이 아니라 입력에 있습니다
사내 문서를 학습시킨 AI 챗봇을 도입했는데 답변이 엉뚱하다는 상담을 자주 받습니다. 대부분 임베딩 모델을 바꾸고, 벡터DB를 교체하고, 프롬프트를 다듬는 데 몇 주를 씁니다. 그런데도 정확도가 60%대에서 움직이지 않습니다.
원인을 추적해 보면 검색 단계가 아니라 인제스트(ingest) 단계에 있는 경우가 절반을 넘습니다. 실제로 한 제조 고객사에서 검색 실패 사례 120건을 역추적했더니, 88건이 "애초에 인덱스에 정상적인 형태로 들어가 있지 않은 문서"였습니다. 표가 한 줄로 뭉개졌거나, 스캔 PDF라 본문이 통째로 비어 있거나, 조항 번호가 본문과 분리된 상태였습니다.
기업 문서의 현실은 정갈한 마크다운이 아닙니다. 20년 된 스캔 PDF, 병합 셀이 가득한 엑셀 표, 도면이 삽입된 파워포인트, 한글(HWP)과 워드가 섞인 규정집이 공존합니다. 파싱 단계에서 깨진 문서는 어떤 검색 전략으로도 복구되지 않습니다. 존재하지 않는 텍스트를 검색할 방법은 없기 때문입니다.
문서 유형별 파싱 난이도와 처리 전략
텍스트 PDF와 스캔 PDF의 분기
먼저 두 유형을 자동으로 구분해야 합니다. 페이지당 추출 문자 수가 임계값(경험적으로 100자) 미만이면 스캔본으로 판정하고 OCR 경로로 보내는 방식이 실무에서 잘 동작합니다. 전체를 무조건 OCR에 태우면 비용과 처리 시간이 수 배로 늘고, 멀쩡한 텍스트를 OCR 오인식으로 훼손하는 역효과가 납니다.
OCR 결과는 반드시 신뢰도를 함께 저장하고, 페이지 평균 신뢰도가 기준치(예: 0.75) 아래면 자동 통과시키지 말고 검수 큐로 보냅니다.
표를 구조로 살리기
표는 가장 자주 망가지는 요소입니다. 단순 텍스트 추출은 병합 셀과 다단 헤더를 무시하고 셀 값을 한 줄로 이어 붙여, "2026년 3분기 불량률 0.8%"라는 정보가 "2026 3분기 0.8 1.2 0.9" 같은 숫자 나열로 변합니다.
표는 별도 파서로 인식해 마크다운 표나 HTML로 변환하고, 다단 헤더는 상위 헤더를 각 열에 전개해 붙여 줍니다. 표 앞의 캡션과 문단을 청크에 함께 넣어 주면 "무엇에 대한 표인지"가 남습니다.
도면·이미지와 조항 구조 문서
도면은 그 자체로 검색되지 않으므로, 비전 모델로 캡션을 생성해 텍스트 대체본을 만들고 원본 이미지 경로를 메타데이터로 붙입니다. 계약서·사내 규정처럼 조항 구조가 곧 의미인 문서는 `제3조 제2항` 같은 계층을 파싱 시점에 구조화 필드로 뽑아 두어야 합니다. 나중에 본문에서 정규식으로 복원하려 하면 표·각주와 뒤엉켜 정확도가 급락합니다.
청킹 전략: 고정 길이를 벗어나기
512토큰 고정 분할은 시작점일 뿐 정답이 아닙니다. 실무에서는 다음 순서를 권장합니다.
청크에 붙이는 메타데이터가 운영 품질을 좌우합니다. 최소한 출처 문서 ID, 문서 버전, 유효기간, 소관 부서, 보안 등급, 페이지·조항 위치는 필수입니다. 이 필드가 있어야 필터링 검색과 출처 표시, 그리고 다음 절의 폐기 처리가 가능해집니다.
운영에서 무너지는 지점
스테일 청크
가장 흔한 사고입니다. 규정이 개정됐는데 구버전 청크가 인덱스에 남아 있으면, AI는 폐지된 규정을 확신에 차서 인용합니다. 재인제스트 시 문서 ID 기준으로 기존 청크를 일괄 삭제한 뒤 재삽입하는 원자적 처리가 필요합니다. 신규만 추가하는 방식은 반드시 사고로 이어집니다.
권한 혼입
인사 평가 자료와 전사 공지가 한 인덱스에 섞이면, 검색 한 번으로 권한 경계가 무너집니다. 청크 메타데이터에 접근 그룹을 넣고 검색 쿼리 시점에 필터를 강제하거나, 등급별로 인덱스를 분리해야 합니다. 검색 후 결과를 걸러내는 방식은 상위 K개가 이미 오염되어 답변 품질까지 함께 떨어집니다.
실패 문서 격리
파싱 실패 문서를 조용히 건너뛰면, 사용자는 "문서가 있는데 AI가 모른다"는 상황을 겪습니다. 실패 건은 사유와 함께 격리 큐에 적재하고 재처리 대상으로 관리해야 합니다.
파이프라인 구축 순서와 검증법
권장 순서는 명확합니다. 골든셋 → 파싱 품질 측정 → 청킹 조정 → 검색 튜닝입니다. 대표 문서 30~50건을 유형별로 뽑아 사람이 정답을 만든 뒤, 파싱 정확도부터 숫자로 확인합니다. 이 단계를 건너뛰고 검색 튜닝에 들어가면 원인 진단이 불가능해집니다.
단계별 자동 검증 지표는 다음과 같이 운영합니다.
이 지표를 대시보드에 상시 노출하면, 신규 문서 유형이 유입될 때 품질 저하를 사후가 아니라 당일에 감지할 수 있습니다.
POLYGLOTSOFT와 함께하는 엔터프라이즈 AI 구축
POLYGLOTSOFT는 기업 내부 문서를 기반으로 하는 RAG·생성AI 시스템을 설계·구축합니다. 스캔 문서 OCR 파이프라인, 표·도면 구조화, 권한 기반 인덱스 분리, 개정 문서 재인제스트 자동화까지 운영을 전제로 한 아키텍처를 제공합니다. 이미 도입한 AI 검색의 정확도가 오르지 않아 고민이시라면, 인제스트 파이프라인 진단부터 시작해 보시기 바랍니다. 구독형 개발 서비스로 소규모 검증부터 전사 확산까지 단계적으로 함께하겠습니다.