英偉達發佈下一代 AI 超級芯片，內存容量和帶寬大幅提升

2023 年 11 月 13 日，美國洛杉磯，英偉達（Nvidia）在 SIGGRAPH 大會上發佈了一款新的人工智能（AI）超級芯片平臺——NVIDIA HGX™ H200，該平臺將爲全球各行各業的 AI 應用提供強勁的計算動力。

NVIDIA HGX™ H200 是基於英偉達最新的 Hopper™ 架構的 GPU 平臺，搭載了 NVIDIA H200 Tensor Core GPU 和 HBM3e 內存。HBM3e 是一種高性能的內存技術，相比傳統的 GDDR6 內存，其速度更快，容量更大，能夠有效地處理海量的數據。NVIDIA H200 GPU 的內存容量達到了 141GB，是前一代 NVIDIA A100 GPU 的近兩倍，內存帶寬也從 2 TB/s 提升到了 4.8 TB/s，是目前市場上最高的水平。

NVIDIA HGX™ H200 平臺的強大性能，使其能夠應對各種複雜的 AI 和高性能計算（HPC）工作負載，特別是生成式 AI 和大型語言模型（LLM）。生成式 AI 是一種能夠自主創造內容的 AI 技術，例如文本、圖像、音頻、視頻等，它可以用於娛樂、教育、醫療、商業等領域。大型語言模型是一種能夠理解和生成自然語言的 AI 模型，例如 OpenAI 的 GPT-4，它可以用於對話、搜索、翻譯、摘要等任務。這些 AI 應用需要消耗大量的計算資源和內存空間，而 NVIDIA HGX™ H200 平臺能夠滿足它們的需求，提高它們的性能和效率。

據英偉達創始人兼 CEO 黃仁勳介紹，NVIDIA HGX™ H200 平臺在 Llama 2（700 億參數的 LLM）上的推理速度比 NVIDIA HGX™ H100 平臺快了一倍，而在訓練方面，NVIDIA HGX™ H200 平臺能夠支持超過 1 萬億參數的 LLM，是目前最大的規模。黃仁勳表示，NVIDIA HGX™ H200 平臺是業界領先的端到端 AI 超級計算平臺，它將以更快的速度解決世界上一些最重要的挑戰。

NVIDIA HGX™ H200 平臺將以 4 路和 8 路的配置提供，與 NVIDIA HGX™ H100 平臺相比，其每個節點的 GPU 數量增加了一倍，達到了 16 個或 32 個，這意味着更高的計算密度和更低的功耗。NVIDIA HGX™ H200 平臺還支持 NVIDIA NVLink™ 和 NVIDIA NVSwitch™ 技術，實現了 GPU 之間的高速互連，以及與 CPU、內存和網絡的高效集成。

NVIDIA HGX™ H200 平臺已經得到了全球領先的服務器製造商和雲服務提供商的認可和支持，包括 AWS、阿里雲、百度雲、戴爾、惠普、華爲、聯想、微軟、甲骨文等。這些合作伙伴預計將於 2024 年第二季度開始發貨基於 H200 的系統，爲客戶提供最先進的 AI 計算服務。

NVIDIA HGX™ H200 平臺的發佈，標誌着英偉達在 AI 領域的領導地位，也展示了 GPU 技術的不斷創新和進步。NVIDIA HGX™ H200 平臺將爲 AI 研究和應用帶來新的可能性，推動人類社會的智能化和數字化轉型。