채팅 화면에서는 잘 되던 AI가 시스템 연동에서 실패하는 이유
사람이 읽는 채팅 화면에서는 "납기일은 다음 달 15일쯤으로 보입니다" 같은 답변도 충분히 쓸모가 있습니다. 하지만 ERP가 이 답변을 받으면 날짜 필드에 넣을 수 없어 적재가 실패합니다. 시스템 연동에서 문제를 일으키는 유형은 크게 세 가지입니다.
주문서 품목 추출, 견적서 단가 비교, 검사성적서 측정값 입력 같은 업무는 한 건만 잘못 들어가도 후속 공정이 멈춥니다. 예를 들어 월 3,000건을 처리하는데 형식 오류가 2%만 나도 매달 60건을 사람이 다시 확인해야 합니다.
구조화 출력의 선택지
1. 프롬프트 지시
"아래 JSON 형식으로만 답하세요"라고 지시하는 방식입니다. 구현은 가장 쉽지만 형식을 보장하지 못하므로 파싱 실패에 대비한 재시도가 반드시 필요합니다.
2. 함수 호출(Tool Use)
도구의 입력 스키마를 정의하고 모델이 그 인자를 채우게 합니다. 필드 이름과 구조를 지키는 비율이 크게 올라가지만, 제공사와 설정에 따라 스키마를 완전히 강제하지는 않을 수 있습니다.
3. 스키마 강제(Constrained Decoding)
토큰을 생성하는 단계에서 스키마에 맞지 않는 출력을 원천적으로 막습니다. 형식 오류는 사실상 사라지지만, 지원하는 스키마 문법(재귀 구조, 패턴 제약 등)이 모델과 API마다 다릅니다.
선택 기준은 간단합니다. 쓰려는 API가 스키마 강제를 지원하면 우선 사용하고, 지원하지 않으면 함수 호출에 검증 계층을 더합니다. 어느 방식이든 형식이 맞는다고 해서 값까지 맞는 것은 아니라는 점을 기억해야 합니다.
좋은 스키마 설계 원칙
마지막 원칙이 가장 중요합니다. 틀린 값은 빈 값보다 찾기 어렵기 때문입니다.
검증 계층과 실패 처리
검증은 두 단계로 나눕니다.
실패했을 때는 기준을 정해 처리합니다.
운영 지표와 품질 관리
스키마는 반드시 버전을 붙여 관리합니다. 필드 추가는 선택 필드로 먼저 도입해 하위 호환을 지키고, 필드 삭제나 의미 변경은 새 버전으로 분리해 기존 연동이 깨지지 않게 합니다.
ERP·MES·WMS 연동 아키텍처
권장 흐름은 문서 수신 → 추출 서비스 → 스키마·규칙 검증 → 검토 큐(필요 시) → 기간계 API 적재입니다. 모델이 기간계 DB에 직접 쓰지 않도록 검증 서비스를 경계로 두고, 원문·추출 결과·수정 이력을 함께 저장해 감사 추적과 재학습 데이터로 활용합니다.
POLYGLOTSOFT는 주문서·검사성적서 같은 문서 추출부터 ERP·MES·WMS 적재까지 이어지는 업무 자동화를 설계하고 구축합니다. 스키마 설계, 검증 규칙, 검토 화면, 운영 지표 대시보드까지 한 번에 필요하시다면 구독형 개발 서비스로 빠르게 시작하실 수 있습니다. 요구사항 문서를 제출해 주시면 프로토타입으로 먼저 확인하실 수 있습니다.