정확도는 높은데 아무도 쓰지 않는 모델
검증 데이터에서 정확도 90%를 넘긴 불량 예측 모델이 현장에서는 외면받는 일이 흔합니다. 화면에 "불량 가능성 82%"만 떠 있으면 현장 엔지니어는 무엇을 해야 할지 알 수 없습니다. 금형 온도를 확인해야 하는지, 원자재 로트를 바꿔야 하는지 알려주지 않기 때문입니다.
신뢰는 더 쉽게 무너집니다. 20년 경력 반장의 감각과 다른 예측이 한두 번 빗나가면 "역시 AI는 현장을 모른다"는 평가가 굳어집니다. 그 뒤로는 모델이 맞혀도 아무도 화면을 보지 않습니다. 결국 도입의 성패는 모델 성능보다 행동으로 이어지는 설명이 있느냐에 달려 있습니다.
설명의 종류부터 구분한다
설명가능 AI(XAI)라고 하면 하나의 기능처럼 들리지만, 현장이 묻는 질문은 세 가지로 나뉩니다.
현장이 읽을 수 있는 화면으로 바꾼다
변수명을 공정 용어로 번역합니다
`T_ZONE3_AVG` 대신 "3구역 금형 평균 온도 218℃ (정상 205~215℃)"로 표시합니다. 단위와 정상 범위를 함께 보여주면 엔지니어가 설명이 타당한지 스스로 판단할 수 있습니다.
상위 원인 3개와 권장 조치를 짝짓습니다
기여도가 큰 원인을 10개씩 나열하면 오히려 읽히지 않습니다. 상위 3개만 보여주고, 각 원인에 표준 작업서 기준의 권장 조치를 붙입니다. 예를 들어 "건조 시간 부족 → 원료 건조기 체류 시간 확인"처럼 원인과 조치를 한 줄로 묶습니다.
확신이 낮은 예측은 '판단 보류'로 표시합니다
예측 확률이 40~60% 구간이거나 학습 데이터에 드물던 조건이라면 확률 대신 "판단 보류 – 담당자 확인 필요"로 표시합니다. 모델이 모르는 것을 모른다고 말해야 과신도, 불신도 줄어듭니다.
설명이 모델의 문제를 드러낼 때
설명은 현장을 위한 도구이면서 모델을 검증하는 도구이기도 합니다.
도입 단계와 측정 지표
전 라인에 한 번에 적용하기보다 시범 라인 1~2곳에서 시작합니다. 권고마다 수용 여부, 실제 조치 내용, 조치 후 결과를 함께 기록합니다. 예를 들어 4주 동안 권고 120건 중 78건이 조치됐다면 수용률은 65%입니다. 거절된 42건의 사유가 다음 개선의 재료가 됩니다.
KPI에는 정확도 외에 현장 사용률(예측 화면 조회 후 조치 또는 판단 기록을 남긴 비율)을 함께 둡니다. 아무도 보지 않는 모델의 정확도는 생산성에 아무것도 더하지 못하기 때문입니다.
POLYGLOTSOFT의 접근
POLYGLOTSOFT는 MES 데이터를 기반으로 품질·설비 예측 모델을 구축하고, 공정 용어로 된 설명 화면과 현장 피드백 기능을 함께 제공합니다. 변수 정의 단계부터 정보 누수를 점검하고, 시범 라인의 수용률과 사용률을 기준으로 확대 여부를 함께 판단합니다. 예측 모델이 현장에서 실제로 쓰이도록 만들고 싶으시다면 POLYGLOTSOFT에 문의해 주십시오.
