‘데이터가 없어서 AI를 못 한다’는 말의 실체
제조 현장에서 AI 도입을 상담하면 가장 자주 듣는 말이 ‘데이터가 부족하다’입니다. 불량률 0.3% 공정에서 하루 1만 개를 생산해도 불량은 30개이고, 그중 특정 유형의 결함은 한 달을 모아도 수십 장을 넘기기 어렵습니다. 딥러닝 검사 모델이 클래스당 수백에서 수천 장을 요구하는 현실과는 간극이 큽니다.
또 다른 벽은 접근 권한입니다. 개인정보와 영업비밀이 섞인 운영 데이터를 외부 개발팀에 넘길 수 없어, 계약 체결 후 실제 데이터가 전달되기까지 2~3개월이 소요되는 경우가 흔합니다. 그동안 프로젝트는 사실상 멈춰 있습니다.
시장 조사기관들은 수년 전부터 ‘AI 학습 데이터의 상당 부분이 합성데이터로 대체될 것’이라고 전망해 왔지만, 실제 기업의 도입률은 그 예측을 한참 밑돕니다. 기대와 현실의 간극은 기술이 없어서가 아니라, 어디에 쓰면 되고 어디에 쓰면 안 되는지에 대한 판단 기준이 없어서 생깁니다.
합성데이터의 세 가지 유형과 적용 지점
규칙·시뮬레이션 기반 — CAD 모델을 3D 렌더링해 스크래치·찍힘·이물을 조명 각도와 표면 재질별로 생성하거나, 물리 시뮬레이션으로 설비 진동·온도 시계열을 만듭니다. 라벨이 생성 시점에 자동으로 확정되므로 라벨링 비용이 0에 수렴하는 것이 최대 장점입니다.
생성모델 기반 — GAN이나 디퓨전 모델로 희소 클래스를 증강합니다. 실제 불량 이미지 100장으로 수천 장을 만들 수 있지만, 원본에 존재하지 않던 결함 양상까지 창조하지는 못합니다. 있는 것을 늘리는 도구이지 없는 것을 만드는 도구가 아닙니다.
구조화 데이터 합성 — 통계 분포와 컬럼 간 상관관계를 보존한 가상 고객·거래 테이블을 생성합니다. 개발·QA 환경 구성이나 협력사 공유 용도에서 투자 대비 효과가 가장 확실합니다.
효과가 나는 케이스 vs 안 나는 케이스
효과가 큰 영역은 비교적 명확합니다. 희소 불량 검출, 로봇 비전 사전학습, 개발·테스트 환경용 데이터가 여기에 속합니다. 반대로 실데이터에만 존재하는 미묘한 상관관계가 성능의 핵심인 수요예측·이탈예측에서는 합성데이터가 오히려 존재하지 않는 패턴을 학습시켜 모델을 망칩니다.
승부처는 혼합 비율입니다. 합성 100%로 학습한 비전 모델을 실제 라인에 올리면 조명·렌즈 특성·컨베이어 진동 차이 때문에 정확도가 급락하는 도메인 갭(sim-to-real)이 발생합니다. 실무에서 가장 안정적인 방식은 합성데이터로 사전학습한 뒤 실데이터 수백 장으로 파인튜닝하는 2단계 구성이었습니다.
품질을 어떻게 검증할 것인가
충실도(fidelity)·다양성(diversity)·프라이버시는 삼각 트레이드오프 관계입니다. 원본에 가까울수록 충실도는 오르지만 재식별 위험이 함께 오르고, 다양성을 키우면 현실성이 떨어집니다. 세 지표를 동시에 최대화하려는 시도는 실패합니다.
평가는 반드시 실데이터 홀드아웃 세트로만 수행해야 합니다. 합성 검증셋으로 측정한 정확도는 자기 답안을 자기가 채점하는 것과 같습니다.
모델 붕괴(model collapse)도 경계 대상입니다. 합성데이터로 학습한 모델의 출력을 다시 학습 데이터로 넣는 순환이 반복되면 분포의 꼬리가 깎여 나가고, 정작 잡아야 할 희귀 케이스를 놓치게 됩니다. 데이터 세대(generation)를 기록하고 순환 유입을 차단하는 규칙이 필요합니다.
법·거버넌스 관점의 유의점
합성이라는 이유만으로 개인정보 규제에서 자동으로 벗어나지는 않습니다. 원본 레코드를 사실상 복제한 합성 레코드는 재식별 위험이 남아 있고, 개인정보보호법상 가명·익명 처리 여부는 결국 재식별 가능성 평가 결과에 달려 있습니다. 최근접 이웃 거리 같은 정량 지표로 위험 수준을 측정하고 문서로 남겨야 합니다.
학습 데이터의 출처, 생성 파라미터, 실데이터와 합성데이터의 비율을 기록해 두는 것도 중요합니다. EU AI Act를 포함한 규제 대응에서 요구되는 것은 결국 ‘설명 가능한 데이터 이력’입니다.
POLYGLOTSOFT의 접근
POLYGLOTSOFT는 제조 비전 검사와 수요예측 프로젝트에서 실데이터 확보를 기다리는 대신, 착수 첫 주에 시뮬레이션 기반 합성 이미지로 파이프라인과 모델 골격을 먼저 세우는 방식을 사용합니다. 실데이터가 도착하면 파인튜닝과 재평가만 수행하면 되므로, 데이터 대기 기간이 프로젝트 지연으로 이어지지 않습니다.
데이터 생성·검증 파이프라인 구축부터 모델 학습, 운영 중 재학습까지 구독형으로 함께 만들어 갑니다. 데이터가 없어 AI 도입을 미루고 계시다면, 지금 보유한 데이터만으로 무엇이 가능한지 진단하는 것부터 시작해 보시기 바랍니다.