연산 인프라가 AI를 만드는 공장이 됩니다.

제품이 하나뿐인 데이터센터

NVIDIA는 자사 설명 페이지에서 이 문제를 직접 짚습니다. AI 팩토리란 데이터 수집부터 학습, 대규모 추론까지 AI의 전 과정을 처리하도록 구축한 컴퓨팅 인프라입니다. 여기서 만들어 내는 것은 지능이고, 그 양은 토큰 처리량으로 측정합니다. 일반 데이터센터가 온갖 작업을 두루 처리한다면, AI 팩토리는 AI 작업, 특히 추론 성능과 에너지 효율에 맞춰 최적화돼 있습니다. 연차보고서는 같은 승부수를 법률 문서다운 표현으로 적습니다. NVIDIA는 가속 컴퓨팅을 개척했고, 이제는 스스로를 데이터센터 규모의 AI 인프라 회사라고 부릅니다.

그래서 모든 회사가 토큰을 생산하게 될 것입니다. 제가 이를 AI 팩토리라고 부르는 이유가 바로 그것입니다.

Jensen Huang · NVIDIA 공동 창업자 겸 CEO · 2026 회계연도 4분기 실적 발표(제3자 녹취록) · 2026-02-25

Huang의 논리는 소프트웨어에서 하드웨어로 이어집니다. AI가 모든 소프트웨어에 들어가면 모든 회사가 토큰을 만들게 되고, 회사의 컴퓨팅 시설은 생산량과 단위 원가가 있는 공장이 됩니다. 그러면 NVIDIA가 파는 것도 달라집니다. NVIDIA는 Blackwell 세대부터 칩, 네트워크, 시스템, 소프트웨어, 알고리즘을 한꺼번에 설계합니다. 회사가 '극한의 공동 설계(extreme co-design)'라고 부르는 방식으로, 수십만 개의 GPU가 거대한 컴퓨터 한 대처럼 작동하게 하려는 것입니다. Signet이 보기에 이런 구도에서 경쟁 상대는 같은 전력으로 토큰을 더 적게 만드는 모든 부품 조합입니다.

왜 지금인가: 추론 모델과 전력 한계

이 승부수가 지금 성과로 이어지는 배경에는 두 가지 변화가 있습니다. 첫째는 수요입니다. NVIDIA는 2025년 3월 Blackwell Ultra를 출시하면서, 여러 단계를 거쳐 생각하고 스스로 행동하는 추론·에이전트 AI에는 몇 자릿수 더 많은 연산이 필요하다고 밝혔습니다. 2026년 3월 GTC에서 Huang은 지난 몇 년 사이 연산 수요가 100만 배 늘었다고 본다며, 2025년부터 2027년까지 최소 1조 달러의 매출을 예상한다고 말했습니다. 다만 이는 전망입니다. 둘째는 전력입니다. 데이터센터가 끌어 쓸 수 있는 전력에는 한계가 있어, 와트당 생산량이 핵심 기준이 됩니다.

모든 데이터센터는 전력 제약을 받습니다. 고객은 이런 제약과 AI 팩토리 매출을 극대화해야 한다는 점을 고려해, 와트당 성능을 기준으로 중요한 아키텍처 결정을 내립니다.

Colette Kress · NVIDIA 수석부사장 겸 CFO · 2026회계연도 4분기 실적 발표 준비 발언 · 제삼자 전재 · 2026-02-25

2026년 10월 NVIDIA는 구매자를 설득하면서 비용 이야기까지 꺼냈습니다. 회사 추산으로 AI 팩토리는 1MW당 약 6,000만 달러가 듭니다. 이만한 돈이 드니 운영자는 수익이 분명히 보일 때만 투자하고, MW당 초당 토큰 수가 수익 창출력을 좌우하는 숫자가 됩니다. 같은 글은 2020년에 출하된 A100이 6년이 지난 지금도 상업 서비스에 쓰인다는 점도 짚습니다. 잘 지은 공장은 계속 돈을 번다는 것, 서울의 아키텍트가 한국 구매자에게 들고 가는 주장이 바로 이것입니다.

고객의 계획이 실제 클러스터가 되기까지

모델을 학습시키고 서비스를 운영하려는 한국 고객이 있다고 가정해 보겠습니다. 첫 단계는 요구 사항 정리입니다. 고객사 머신러닝·인프라 팀이 메모리, 처리량, 지연 시간 요구를 정하면, NVIDIA 솔루션 아키텍트가 이에 맞는 참조 아키텍처를 고릅니다. 참조 아키텍처란 DGX SuperPOD, 클라우드 파트너, 기업 자체 구축용으로 미리 검증해 둔 설계도입니다. 다음은 연결입니다. 연산, 스토리지, 관리에는 InfiniBand나 Ethernet으로 각각 별도의 네트워크를 구성하는데, 이를 패브릭이라고 합니다. 건물에는 충분한 전력과 냉각 설비가 있어야 합니다. NVIDIA의 DSX 플랫폼은 이 과정을 AI 팩토리 설계·구축·운영 플레이북으로 묶은 것이고, DSX Air를 쓰면 공장을 짓기 전에 소프트웨어로 먼저 시뮬레이션해 볼 수 있습니다.

그다음은 구축과 인계입니다. NVIDIA 구축 팀이 클러스터를 설치하고, 인계 후에는 상시 안정화 팀이 시스템을 안정화합니다. 작업 배정, 시스템 모니터링, 장애 복구는 Mission Control이 맡습니다. 판단이 가장 중요한 순간은 두 번 옵니다. 첫째는 설계를 고를 때입니다. 패브릭이나 전력 계획을 잘못 잡으면 되돌리는 데 큰 비용이 듭니다. 둘째는 가동 직후 몇 주입니다. GPU에는 이상이 없는데도 네트워크, 스토리지, 작업 배정 문제로 모델이 느리게 실행되는 시기입니다. AI Factory 공고가 요구하는 개발자 현장 지원도 바로 이 단계의 일입니다.

서울에서 채용되는 사람은 시스템 전체를 대표하고, 고객은 그 시스템을 MW당 토큰으로 평가합니다. 현재 열린 한국 포지션 19개는 이 흐름의 각기 다른 지점에 있습니다. 솔루션 아키텍트는 요구 파악과 인계를, 개발자 기술 엔지니어는 최적화를 맡습니다. 자동차, 반도체, 로봇 전문가는 고객의 산업 안으로 들어가 일합니다. 면접 전에 지원하는 자리가 이 흐름의 어디쯤인지 짚어 보세요.

한데 묶어 파는 세 계층

NVIDIA는 AI 팩토리를 계층별로 팔지만, 고객은 여러 계층을 한꺼번에 살 수 있습니다. 하드웨어 계층은 GPU와 CPU를 랙 단위 시스템으로 묶은 것입니다. GB300 NVL72 랙은 Blackwell Ultra GPU 72개와 Grace CPU 36개를 연결하는데, NVIDIA 설명으로는 GB200 NVL72보다 AI 성능이 1.5배 높습니다. GPU 하나당 Spectrum-X Ethernet이나 Quantum-X800 InfiniBand 네트워크로 초당 800Gb의 데이터를 보낼 수 있습니다. 그 위에 운영을 맡는 Mission Control이 있고, 다시 그 위에 CUDA와 CUDA 기반 라이브러리·모델이 올라갑니다.

DGX SuperPOD는 이 계층들을 한데 묶어 바로 도입할 수 있게 만든 턴키 제품입니다. NVIDIA는 컴퓨팅, 스토리지, 네트워크, 소프트웨어, 인프라 관리가 함께 작동하도록 만든 풀스택 데이터센터 플랫폼이라고 소개합니다. GPU 수만 개까지 확장해 매개변수 수조 개 규모 모델을 학습하고 추론할 수 있으며, DGX GB300 시스템을 쓸 때는 GB300 NVL72 랙 설계를 따릅니다. 주요 구매자는 부품부터 직접 설계하지 않고 AI 팩토리를 갖추려는 기업, 연구 기관, 클라우드 운영사입니다. 제품 페이지에는 한국 고객 두 곳이 나옵니다. KT의 LLM 개발 팀장은 이 플랫폼에서 모델을 더 효과적으로 학습했다고 말하고, 네이버의 CLOVA 책임자는 한국·일본 시장용 언어 모델을 만드는 데 도움이 되고 있다고 말합니다.

Mission Control은 구축을 마친 공장의 운영을 맡습니다. 제품 페이지에 따르면 Mission Control은 클러스터 구축부터 건물 관리 시스템 연동까지 아우르며, 개발자 워크로드 배정과 오케스트레이션, 모니터링, 자동 복구를 정식 지원하는 소프트웨어입니다. 버전 2.3은 GB200 NVL72와 GB300 NVL72 시스템을 지원합니다. 주로 사는 쪽은 AI 인프라를 매일 운영하는 플랫폼 팀입니다. 한국 네트워킹 공고도 Base Command Manager, Run:ai와 함께 이를 NVIDIA의 클러스터 오케스트레이션 소프트웨어로 꼽습니다. 운영 계층이 서울 팀의 업무와 그만큼 가깝다는 뜻입니다.

소프트웨어 계층은 가장 오래됐고, Huang의 말로는 가장 가치 있는 계층입니다. NVIDIA의 2026년 10월 1일 글에 따르면 CUDA-X 라이브러리와 모델로 개발하는 개발자는 1,000만 명이 넘고, 그 위에 쌓인 CUDA-X 라이브러리와 모델도 1,000개가 넘습니다. CUDA 출시 20주년이던 GTC 2026에서 Huang은 CUDA-X 라이브러리를 회사의 '왕관의 보석', 즉 가장 귀한 자산이라고 불렀습니다. 한국 공고에는 고객이 실제로 쓰는 도구가 나옵니다. 모델 쪽은 Megatron-LM, NeMo, TensorRT-LLM이고, 시뮬레이션과 로봇 쪽은 Omniverse와 Isaac Sim, 패키지형 애플리케이션 쪽은 NIM 마이크로서비스와 블루프린트입니다. Salesforce는 NVIDIA의 공개 모델 Nemotron을 파인튜닝해 자체 인프라에서 운영합니다.

실험실(wet lab)에서 계산 실험실(dry lab)로 옮겨 간 한 고객

Eli Lilly 사례에는 무엇을 구축했는지와 어떤 연구에 쓰려는지가 함께 나옵니다. NVIDIA에 따르면 신약 개발은 실험마다 분자를 직접 합성하고 테스트해야 해서, 생산성이 높은 팀도 표적 하나당 1년에 분석할 수 있는 분자 아이디어가 2,000개 정도입니다. Lilly는 2026년 2월 DGX B300 시스템을 쓴 첫 DGX SuperPOD인 LillyPod를 가동했습니다. Blackwell Ultra GPU 1,016개로 9,000페타플롭스 이상의 AI 성능을 내고, 구축에는 4개월이 걸렸습니다. 운영은 Mission Control이 맡습니다. Lilly가 밝힌 목표는 과학자들이 실제 실험에 앞서 분자 가설 수십억 개를 컴퓨터로 먼저 검증하는 계산 실험실(dry lab)입니다.

연산은 생물학의 핵심이자 과학의 핵심입니다

Thomas Fuchs · Eli Lilly 수석부사장 겸 최고 AI 책임자 · LillyPod 가동 발표, NVIDIA 블로그 인용 · 2026-02-25

회사 사례가 기록한 것은 구축 자체입니다. 고객 이름, 클러스터 규모, 구축 기간, 운영 소프트웨어가 나옵니다. 사례에 적힌 연구 성과는 Lilly의 목표이고, 성패를 가리려면 몇 년이 걸립니다. 한국 사례도 마찬가지입니다. KT와 네이버는 플랫폼을 쓰고 있다고 말하고, 2025~2026년의 대형 한국 프로젝트는 목표 시점이 붙은 계획입니다. 면접에서도 진행 중인 약속으로 이야기해 보세요.

서울 팀이 실제로 파는 것

서울의 솔루션 아키텍트가 칩만 파는 경우는 드뭅니다. AI Factory 공고는 아키텍트에게 DGX SuperPOD용, NVIDIA Cloud Partners용, 기업용 세 가지 참조 아키텍처를 늘 숙지하고, 고객의 학습·추론 클러스터에 맞는 것을 고르라고 요구합니다. 면접에서는 시스템을 이야기해 보세요. 패브릭, 스토리지, 냉각, 운영 소프트웨어를 하나씩 짚으면서, 각 선택이 MW당 토큰을 어떻게 바꾸는지 설명하면 됩니다.