H100 H200 H200NVL 스펙 차이 총정리 초보자 가이드

H200 NVL 개요

엔터프라이즈 AI 서버 도입을 검토하는 담당자라면 H100, H200, H200 NVL 세 모델의 차이를 표 하나로 정리해두는 것이 좋습니다. 세 제품 모두 NVIDIA Hopper 아키텍처를 기반으로 하지만, 폼팩터(SXM/PCIe)와 메모리 구성에 따라 도입 조건과 견적 구조가 크게 달라집니다.

특히 H200 NVL은 “SXM 8-GPU 시스템을 새로 짤 수 없는 환경을 위한 PCIe 공랭 옵션”으로 이해하는 것이 정확합니다. 연산 성능(TFLOPS) 자체는 기존 H100 NVL과 동일하고, 개선된 부분은 메모리 용량·대역폭·NVLink 확장성입니다. 이 글은 2026년 8월 7일 기준 NVIDIA 공식 제품 페이지와 공식 블로그에서 확인된 수치만 근거로 삼았고, 출처마다 표기가 갈리는 항목은 그 사실도 함께 안내합니다.

1. 폼팩터·메모리·대역폭 비교

세 모델의 가장 큰 차이는 폼팩터입니다. H100/H200은 SXM(서버 통합형)과 PCIe(슬롯 장착형) 두 갈래로 나뉘고, H200 NVL은 PCIe 계열의 확장판입니다.

항목	H100 SXM	H100 PCIe	H100 NVL	H200 SXM	H200 NVL
폼팩터	SXM(서버 통합)	PCIe Gen5 듀얼슬롯	PCIe 2카드 조합	SXM(서버 통합)	PCIe Gen5 듀얼슬롯, 공랭
메모리	80GB HBM3	80GB HBM2e	카드당 94GB HBM3	141GB HBM3e	141GB HBM3e
대역폭	3.35TB/s	2.0TB/s	3.9TB/s	4.8TB/s	4.8TB/s
NVLink	900GB/s	–	600GB/s	900GB/s	GPU당 900GB/s (2~4-way)

H200 NVL은 4-way NVLink 브릿지 구성을 지원해 총 메모리 564GB(141GB×4), NVLink 집계 대역폭 1.8TB/s까지 묶을 수 있습니다. NVLink 스위치 없이 카드 간 직접 연결 방식을 쓰는 만큼 전력·비용 부담이 상대적으로 낮다는 점도 특징입니다.

주의할 점은 H100 NVL 대비 대역폭 향상 배수입니다. NVIDIA 공식 채널 안에서도 1.2배와 1.4배가 혼용되고 있는데, H100 NVL(3.9TB/s)→H200 NVL(4.8TB/s)로 계산하면 산술적으로는 약 1.2배가 맞습니다. 1.4배는 SXM 계열 비교치가 잘못 인용된 것으로 추정되나 확정되지는 않았으므로, 견적·상담 시에는 “약 1.2~1.4배” 범위로 안내하는 것이 안전합니다.

2. 연산 성능(TFLOPS) 비교

연산 성능에서 먼저 짚어야 할 점이 있습니다. H200은 H100보다 “더 빠른” 것이 아닙니다. H200의 개선은 메모리 용량·대역폭에 한정되고, 연산 TFLOPS는 동일 폼팩터 기준 H100과 완전히 같습니다.

항목	H100 SXM / H200 SXM	H100 NVL / H200 NVL
FP64	34 TFLOPS	30 TFLOPS
FP64 Tensor Core	–	60 TFLOPS
FP32	67 TFLOPS	60 TFLOPS
TF32 Tensor Core	989 TFLOPS	835 TFLOPS
FP16 Tensor Core	1,979 TFLOPS	1,671 TFLOPS
FP8/INT8 Tensor Core	3,958 TFLOPS	3,341 TFLOPS

표의 모든 TFLOPS 수치는 스파시티(sparsity) 적용치입니다. NVIDIA 스펙시트가 이 값을 대표 수치로 크게 표기하지만, 스파시티를 적용하지 않은 실제(dense) 연산 성능은 대략 절반 수준으로 보는 것이 현실적입니다. 연산 병목이 있는 워크로드라면 H200으로 교체해도 처리 속도 자체는 개선되지 않는다는 점을 도입 전에 반드시 확인해야 합니다.

MLPerf Inference v5.1 벤치마크에서는 8-GPU HGX H200(SXM) 시스템 기준 Llama2-70B 서버 모드 약 33,867 tok/s, Llama3.1-405B 서버 모드 약 298 tok/s가 보고됐습니다. 다만 이 수치는 SXM 8-GPU 클러스터 기준이며, H200 NVL(PCIe, 600W) 카드 단위 실측치는 이번 조사에서 공식 확인하지 못했습니다.

3. 전력(TDP)·발열 비교

폼팩터에 따라 TDP가 크게 갈리므로, 서버 섀시·전원·냉각 설계는 폼팩터를 먼저 확정한 뒤 진행해야 합니다.

모델	최대 TDP	냉각 방식
H100 SXM	700W(조정 가능)	액랭 중심
H100 PCIe	350W	공랭
H100 NVL	350~400W(조정 가능)	공랭
H200 SXM	H100 SXM과 동일 수준	액랭 중심
H200 NVL	최대 600W(조정 가능)	공랭(듀얼슬롯)

H200 NVL의 TDP 하한 조정치(예: 450W)를 언급하는 자료가 일부 있으나, 이는 NVIDIA 공식 페이지가 아닌 재판매처 페이지에서만 확인된 내용입니다. 공식 자료는 “최대 600W(조정 가능)”까지만 명시하므로, 하한값은 공식 미확인 상태로 안내해야 합니다.

전문 매체 ServeTheHome은 H200 NVL이 600W TDP 제약으로 인해 카드 단위 성능이 H200 SXM보다 다소 낮을 수 있다고 정성적으로 언급했으나, 구체적인 수치 비교는 제시하지 않았습니다.

4. 도입 관점 — H100 NVL 대비, 경쟁 제품 대비 위치

H100 NVL(자사 구형) 대비: 연산 성능은 동일하고, 4-way NVLink 구성으로 확장하면 총 메모리를 564GB까지 늘릴 수 있습니다. 기존 PCIe 공랭 인프라를 유지하면서 메모리만 증설하고 싶은 경우에 가장 먼저 검토할 대상입니다.

경쟁 제품 대비: AMD Instinct MI325X는 메모리 256GB HBM3e, 대역폭 6TB/s로 용량 자체는 크지만 TDP가 1,000W에 달해 H200 NVL(600W)의 저전력·공랭 포지셔닝과는 반대 방향입니다. 공랭 랙에 증설하려는 경우 H200 NVL이, 메모리 용량이 최우선이고 액랭·고전력 인프라를 감당할 수 있는 경우 MI325X가 대안이 됩니다. 다만 MI325X 수치는 AMD 공식 데이터시트 원문을 직접 확인하지 못하고 검색 스니펫 기준으로 인용했으므로 재확인이 필요합니다.

소프트웨어 스택 비용 관점: H200 NVL은 NVIDIA AI Enterprise 5년 구독 라이선스가 GPU 구매가에 포함되는 조건입니다. H100/H200 SXM 도입 시 별도 라이선스 협의가 필요한 것과 비교하면 초기 견적 구조가 다릅니다. 다만 라이선스 자체의 정가는 여전히 공식 미확인 상태이므로 “포함 여부”만 확정적으로 안내하고 금액은 신중하게 다뤄야 합니다.

가격: H100/H200 계열 모두 NVIDIA는 공식 소매가를 발표하지 않습니다. 시중에서 언급되는 H100 $25K~$40K, H200 약 $31K(2026년 8월 기준 검색상 확인된 리셀러 추정치) 등은 공식 확인 자료가 아니므로, 실제 도입 견적은 총판을 통해 개별 확인해야 합니다.

5. 자주 나오는 오해와 확인 필요 항목

오해/질문	정확한 답변
“H200은 H100보다 빠르다”	연산 TFLOPS는 동일하고 메모리 용량·대역폭만 개선됐습니다
“스펙시트의 FP16 TFLOPS가 실제 처리 속도다”	스파시티 적용치이며, dense 실성능은 대략 절반입니다
“H200 NVL 실사용 후기를 참고하면 된다”	H200 NVL은 기업·클라우드 조달 채널로만 유통돼 개인 커뮤니티 실사용 후기가 사실상 존재하지 않습니다(2026년 8월 검색 기준). 실측 참고는 MLPerf 같은 공식 벤치마크가 중심이 됩니다
“TDP를 450W까지 낮출 수 있다”	공식 자료는 최대 600W(조정 가능)까지만 명시하며, 하한값은 비공식 재판매처 자료에서만 언급돼 공식 미확인입니다

이 외에도 H200 NVL 전용 MLPerf 카드 단위 실측치, B200 개별 GPU의 공식 TDP·TFLOPS 등은 이번 조사 시점(2026-08-07)에도 공식 자료로 확인되지 않은 항목으로 남아 있습니다. 도입 상담 시 “확인 후 회신” 대상으로 명확히 구분해 안내하는 것이 신뢰를 지키는 방법입니다.

정리

H100·H200·H200 NVL의 차이는 결국 폼팩터(SXM 액랭 vs PCIe 공랭)와 메모리 세대(HBM3 vs HBM3e)의 조합으로 요약됩니다. 연산 성능은 세대가 아니라 폼팩터에 따라 갈리고, H200 계열의 진짜 강점은 메모리 용량·대역폭·NVLink 확장성에 있습니다. H200 NVL은 기존 공랭 인프라를 유지하면서 대용량 메모리와 라이선스 포함 조건을 함께 얻고 싶은 도입 담당자에게 우선 검토 대상입니다. 다만 배수·TDP 하한·가격처럼 출처 간 표기가 갈리거나 공식 미확인인 항목은 단정하지 않고 범위로 안내하는 것이 정확합니다.

참고 자료

조사 기준일: 2026년 08월 07일

본문의 수치는 아래 자료에서 확인한 것입니다. 제조사 공식 자료(T1)와 전문 매체 실측(T2)을 구분해 표기했습니다. 가격·공급 상황은 변동이 크므로 기준일 이후의 값은 다시 확인해야 합니다.

Tier 1
– NVIDIA H200 공식 제품 페이지 — https://www.nvidia.com/en-us/data-center/h200/ (확인일 2026-08-07)
– NVIDIA Developer 블로그, “Deploying NVIDIA H200 NVL at Scale with New Enterprise Reference Architecture” — https://developer.nvidia.com/blog/deploying-nvidia-h200-nvl-at-scale-with-new-enterprise-reference-architecture (확인일 2026-08-07)
– NVIDIA 공식 블로그, “NVIDIA H200 NVL PCIe GPU Accelerates AI and HPC Applications” — https://blogs.nvidia.com/blog/hopper-h200-nvl/ (확인일 2026-08-07)
Tier 2
– ServeTheHome, “NVIDIA H200 NVL 4-Way Shown at OCP Summit 2024” — https://www.servethehome.com/nvidia-h200-nvl-4-way-shown-at-ocp-summit-2024/ (확인일 2026-08-07)
– Nebius 블로그, “Nebius proves bare-metal-class performance for AI inference workloads in MLPerf Inference v5.1” — https://nebius.com/blog/posts/bare-metal-class-performance-mlperf-inference (확인일 2026-08-07)
– HPCwire, “MLPerf Inference v5.1 Results Land With New Benchmarks and Record Participation” (요약 인용, 원문 직접 접근 실패) — https://www.hpcwire.com/2025/09/10/mlperf-inference-v5-1-results-land-with-new-benchmarks-and-record-participation/
Tier 3 / 미확인 보조자료 (다음 리서치 재확인 대상)
– AMD Instinct MI325X 데이터시트(원문 WebFetch 실패, 검색 스니펫 기준) — https://www.amd.com/content/dam/amd/en/documents/instinct-tech-docs/product-briefs/instinct-mi325x-datasheet.pdf
– Cisco MLPerf UCS C845A M8(H200 NVL) 화이트페이퍼(403 접근 제한) — https://www.cisco.com/c/en/us/products/collateral/servers-unified-computing/ucs-c-series-rack-servers/mlperf-ucs-c845a-m8-rack-server-wp.html
– gpupoet.com, cputronic.com 등 GPU 스펙 애그리게이터(TDP 하한 450W 언급, T1 미확인 근거)

카테고리