모델 성능은 라벨에서 결정된다: 비전 AI 데이터 라벨링 가이드라인·품질관리 운영 실무

같은 이미지를 두 사람이 다르게 라벨링합니다

외관 검사 현장에서는 0.3mm 스크래치를 불량으로 보는 검사원도 있고 양품으로 넘기는 검사원도 있습니다. 이 차이는 라벨에 그대로 옮겨집니다. 평가셋 라벨의 10%가 틀려 있다면 모델이 완벽하게 판정해도 측정되는 정확도는 90% 안팎에서 멈출 수 있습니다. 라벨 불일치가 모델 성능의 상한을 정하는 구조입니다.

모델 튜닝보다 라벨부터 정비해야 하는 경우도 판단할 수 있습니다. 모델 구조를 바꿔도 정확도가 1%p 안쪽에서만 움직이고, 오답 샘플을 열어 보면 사람끼리도 판정이 갈리는 이미지가 대부분이라면 라벨 문제일 가능성이 큽니다.

라벨링 가이드라인 작성법

클래스 정의와 경계 사례

클래스마다 판정 기준을 수치로 적습니다 (예: 길이 0.5mm 이상 스크래치는 불량)

기준 근처의 경계 사례를 따로 모아 판정 규칙을 명시합니다

초점 불량·조명 반사처럼 판정할 수 없는 이미지는 '판정 불가' 클래스로 분리하고, 억지로 양품·불량 중 하나를 고르지 않게 합니다

예시 이미지 구성

클래스마다 정답 예시와 자주 틀리는 오답 예시를 나란히 싣습니다. 글로 된 설명보다 비교 이미지 한 쌍이 작업자 간 편차를 더 많이 줄입니다.

품질 기준서와 맞추기

라벨 기준은 현장 품질 기준서(한도 견본 포함)와 같아야 합니다. 품질팀이 가이드 초안을 검토하고 서명하는 절차를 두면, 나중에 "모델이 기준과 다르게 판정한다"는 논쟁을 막을 수 있습니다.

작업자 간 일치도 측정과 품질관리

교차 라벨링: 전체의 5~10%를 2명 이상이 독립적으로 라벨링합니다

일치도 지표: 분류는 Cohen's kappa(2명), Fleiss' kappa(3명 이상), 박스·세그멘테이션은 IoU로 측정합니다. 단순 일치율만 보면 안 됩니다. 양품이 95%인 데이터에서는 무작위로 찍어도 우연히 일치할 확률이 약 90%에 이르기 때문입니다

골드 데이터 삽입: 정답이 확정된 샘플을 작업 중간에 섞어 작업자별 정확도를 추적합니다

개정 루프: 불일치 사례를 주 단위로 모아 판정 회의를 열고, 결론을 가이드라인 개정판에 반영합니다

라벨링 작업 운영 방식

| 방식 | 장점 | 단점 |

|------|------|------|

| 내부 현장 인력 | 도메인 이해도 높음 | 본업 부담, 처리량 한계 |

| 외부 업체 | 처리량·비용 효율 | 경계 사례 판정이 약함 |

| 혼합 | 외부가 1차, 내부가 경계 사례 검수 | 운영 설계 필요 |

모델 사전 라벨링은 작업 속도를 크게 높이지만, 작업자가 모델 예측을 그대로 승인하는 확증 편향이 생깁니다. 골드 데이터로 승인율과 정확도를 함께 확인해야 합니다. 능동 학습은 모델이 확신하지 못하는 샘플부터 라벨링해, 같은 예산으로 더 큰 성능 향상을 노리는 방식입니다.

데이터셋 버전과 이력 관리

가이드라인 버전 → 데이터셋 버전 → 모델 버전을 하나의 이력으로 연결합니다

학습·검증·평가 데이터는 로트·제품·촬영일 단위로 분리합니다. 동영상에서 뽑은 연속 프레임이 양쪽에 섞이면 평가 점수가 부풀려집니다

작업자 얼굴, 차량 번호판, 도면 같은 민감 정보는 라벨링 전에 마스킹하고, 외부 업체 반출 범위를 계약에 명시합니다

프로젝트 착수 전 체크리스트

클래스 정의와 경계 사례 판정을 품질팀과 합의했는가

일치도 목표(예: kappa 0.8 이상)와 검수 비율을 정했는가

이미지당 작업 시간을 시범 라벨링으로 측정해 일정·비용을 산정했는가

데이터 분리 기준과 보안 처리 방침을 문서화했는가

POLYGLOTSOFT는 비전 AI 모델 구축과 함께 라벨링 가이드라인 수립, 일치도 관리, 데이터셋 버전 관리까지 이어지는 데이터 파이프라인을 지원합니다. 검사 자동화를 준비하고 계시다면 데이터 진단 단계부터 함께 설계해 드리겠습니다. 문의하기 페이지나 카카오톡 채널로 편하게 연락해 주십시오.