경쟁의 병목이 알고리즘에서 인프라로 옮겨갔다
AI 도입의 성패를 가르는 지점이 모델 선택에서 인프라 조달로 옮겨갔습니다. HBM 메모리는 2026년 생산 물량까지 사실상 완판되었고, AI 서버 시스템의 리드타임은 28~32주에 달합니다. 네트워크 계층도 마찬가지여서 400G/800G 광모듈과 스위치가 16~26주, 데이터센터급 대형 전력 변압기는 36~48개월을 기다려야 합니다.
여기서 조달 시차 문제가 발생합니다. GPU 발주 시점과 실제 가동 시점 사이에 수개월에서 수년의 공백이 생기고, 그 사이 사업 계획은 이미 다음 단계로 넘어가 있습니다. GPU를 확보했다는 사실만으로는 아무것도 시작되지 않습니다.
세 개의 좁은 문: GPU·메모리·전력
AI 인프라는 GPU, 메모리, 전력이라는 세 개의 문을 순차적으로 통과해야 완성됩니다. 병렬이 아니라 순차 구조이기 때문에 한 곳만 늦어져도 전체 일정이 그만큼 밀립니다. GPU가 8주 먼저 도착해도 수전 공사가 6개월 남았다면 가동일은 결국 6개월 뒤입니다.
특히 전력과 냉각이 실제 배치 밀도를 결정합니다. 랙당 소비 전력이 10~15kW를 넘어서면 공랭만으로는 한계에 부딪히고, 40kW 이상 고밀도 구성에서는 액랭 도입이 사실상 전제 조건이 됩니다. 액랭은 배관과 누수 감지, 전용 운영 인력까지 함께 요구하므로 기존 전산실을 그대로 활용하기 어렵습니다. 여기에 탄소중립 목표까지 걸리면 전력 확보와 배출 감축을 동시에 만족시켜야 하는 이중 부담이 생깁니다.
자체 구축 vs 클라우드 vs GPUaaS: 판단 기준
판단의 출발점은 워크로드 성격입니다.
국내에서는 GPUaaS 사업자를 활용하거나 정부 AI컴퓨팅 인프라 지원 사업을 통해 접근권을 확보하는 경로도 열려 있습니다. 총소유비용(TCO)을 계산할 때는 장비 가격 외에 전력비, 유휴 시간, 운영 인력, 3~4년 주기의 교체 비용을 반드시 포함해야 합니다. 이 항목들을 빼놓으면 자체 구축이 실제보다 30~40% 저렴해 보이는 착시가 생깁니다.
조달 시차를 견디는 아키텍처 설계
기다리는 기간을 손실로 두지 않는 설계가 필요합니다.
계약·협상에서 확인할 것
납기 지연 시 책임과 보상 조건, 용량 예약 및 취소 조항, 원자재 가격 변동에 따른 조정 조항을 문서로 확인해야 합니다. 또한 데이터 반출 비용과 컨테이너 기반 이식성을 계약 단계에서 확보해 두어야 벤더 종속을 피할 수 있습니다.
규모별 현실적 전략
중견·중소기업이라면 소유가 아니라 접근권 확보가 현실적인 방향입니다. 반면 상시 추론 규모가 큰 기업은 기준선 부하만 자체 보유하고 변동분은 외부로 돌리는 병행 구조가 안정적입니다.
POLYGLOTSOFT는 이렇게 접근합니다
POLYGLOTSOFT는 인프라 선택을 나중에 바꿀 수 있도록 애플리케이션을 설계합니다. 추론 호출을 추상화 계층 뒤에 두고, 자체 GPU와 외부 서비스를 설정만으로 전환할 수 있게 구성합니다. 구독형 개발 모델을 통해 조달 상황이 바뀔 때마다 시스템을 함께 조정해 드립니다. AI 인프라 전략과 시스템 설계를 함께 고민하고 계시다면 언제든 문의해 주시기 바랍니다.