英偉達重磅發(fā)布：144核超級Arm CPU及800億晶體管的超級GPU

3月23日，在今日的NVIDIA（英偉達）GTC大會上，英偉達創(chuàng)始人兼CEO黃仁勛重磅發(fā)布了近20項新技術(shù)及產(chǎn)品。

其中最為引人關(guān)注的是最新Hopper架構(gòu)的H100 GPU系列及144核超級Arm CPU。

先進的小芯片互聯(lián)技術(shù)

為了便于更好的文章內(nèi)容，我們先介紹一下英偉達的最新推出的芯片互聯(lián)技術(shù)NVLink-C2C。

這是一種支持內(nèi)存一致性的芯片到芯片互連技術(shù)。NVLink-C2C 可提供高達 25 倍的能效，比 Nvidia 目前使用的 PCIe 5.0 PHY 的面積效率高 90 倍，支持高達 900 GB/s 或更高的吞吐量。該接口支持 CXL 和 Arm 的 AMBACHI 等行業(yè)標準協(xié)議，并支持從基于 PCB 的互連到硅中介層和晶圓級實現(xiàn)的各種連接。令人驚訝的是，Nvidia 現(xiàn)在允許其他供應商將該設(shè)計用于他們自己的小芯片。此外，Nvidia 宣布將支持新的 UCIe 規(guī)范。

NVLink-C2C 現(xiàn)在將覆蓋 Nvidia 的所有芯片，包括 GPU、CPU、SOC、NIC 和 DPU。Nvidia 還表示，它正在開放規(guī)范以允許其他公司在其小芯片設(shè)計中使用 NVLink。這為客戶提供了使用 UCIe 接口或 NVLink 的選項，盡管 Nvidia 聲稱 NVLink-C2C 已針對比 UCIe 更低的延遲、更高的帶寬和更高的能效進行了優(yōu)化。

比如英偉達利用NVLink-C2C可將兩個Grace CPU互聯(lián)在一起組成144核的超級CPU - Grace CPU Superchip （CPU+CPU）。也可以將單片Grace CPU與Hopper GPU互聯(lián)(CPU+GPU)，組成Grace Hopper Superchip.

144核超級CPU: Grace CPU Superchip

Grace CPU Superchip是該公司第一款專為數(shù)據(jù)中心設(shè)計的純 CPU 的 Arm 芯片。基于 Neoverse 的架構(gòu)，支持 Arm v9，并通過Nvidia 新的 NVLink-C2C 互連技術(shù)將兩個72核心的Hopper CPU融合在一起(CPU+CPU)，提供一致的 900 GB/s 連接，組成144核的Grace CPU Superchip。此外，基于 Arm v9 Neoverse的芯片支持 Arm 的 Scalable VectorExtensions (SVE)，這是一種性能提升的 SIMD 指令，其功能類似于 AVX。

兩個 Grace CPU 通過 Nvidia 新的 NVLink 芯片到芯片 (C2C) 接口進行通信。這種芯片到芯片和芯片到芯片的互連支持低延遲內(nèi)存一致性，允許連接的設(shè)備同時在同一個內(nèi)存池上工作。Nvidia 使用其 SERDES 和 LINK 設(shè)計技術(shù)制作接口，重點是能源和面積效率。

Nvidia 聲稱 Grace CPUSuperchip 在 SPEC 基準測試中提供的性能比其自己的 DGX A100 服務器中的兩個上一代 64 核 AMD EPYC 處理器高出 1.5 倍，并且是當今領(lǐng)先服務器芯片的兩倍。

老黃聲稱 Grace CPUSuperchip 將于 2023 年初出貨，將成為市場上最快的處理器，適用于超大規(guī)模計算、數(shù)據(jù)分析和科學計算等廣泛的應用。

鑒于我們對 Arm 路線圖的了解，該芯片基于 N2 Perseus 平臺，這是第一個支持 Arm v9 的平臺。該平臺采用 5nm 設(shè)計，支持所有最新的連接技術(shù)，如 PCIe Gen 5.0、DDR5、HBM3、CCIX 2.0 和 CXL 2.0，比 V1 平臺提供高達 40% 的性能。

考慮到 Grace CPU Superchip 的兩個 CPU 和板載內(nèi)存都消耗 500W 的峰值功率，這很有意義。這與其他領(lǐng)先的 CPU 具有競爭力，例如 AMD 的 EPYC（霄龍），每個芯片的最高功率為 280W（這不包括內(nèi)存功耗）。

Nvidia 聲稱 Grace CPU 在市場上的效率將是競爭 CPU 的兩倍。每個 CPU 都可以訪問自己的 8片LPDDR5X，因此這兩個芯片仍然會受到近遠內(nèi)存的標準 NUMA 類趨勢的影響。盡管如此，兩個芯片之間增加的帶寬也應該有助于減少由于競爭減少而導致的延遲，從而實現(xiàn)非常有效的多芯片實現(xiàn)。該設(shè)備還配備了 396MB 的片上緩存，但尚不清楚這是用于單個芯片還是兩者兼有。

Grace CPU Superchip 內(nèi)存子系統(tǒng)提供高達 1TB/s 的帶寬，Nvidia 稱這是 CPU 的首創(chuàng)，是支持 DDR5 內(nèi)存的其他數(shù)據(jù)中心處理器的兩倍多。LPDDR5X 共有 16 個封裝，可提供 1TB 容量。此外，Nvidia 指出，Grace 使用了 LPDDR5X 的第一個 ECC 實現(xiàn)。

集成800億晶體管，英偉達發(fā)布新一代GPU，臺積電4nm

今天，在其 GPU 技術(shù)大會 (GTC) 上，Nvidia 透露了其 Hopper 架構(gòu)和 Nvidia H100 GPU的詳細信息。

我們知道 Nvidia 致力于下一代 GPU 已經(jīng)有一段時間了，但現(xiàn)在我們有了一些具體的規(guī)格。不要將 Hopper 架構(gòu)和 H100 GPU 與 Ada 混淆，后者是以消費者為中心的架構(gòu)，將為未來的 GeForce 卡提供動力。

Nvidia 尚未透露有關(guān) Ada 的任何細節(jié)，Hopper H100 將取代 Ampere A100，后者本身取代了 Volta V100。這些都是數(shù)據(jù)中心部件，并且與來自 AMD 的Instinct MI250/250X和新發(fā)布的Instinct MI210等公司的激烈競爭，Nvidia 正在尋求重新奪回 HPC 的領(lǐng)先地位。正如您所期望的那樣，H100 專為超級計算機設(shè)計，專注于 AI 功能。與當前的 A100 相比，它包括許多更新和升級，所有設(shè)計都達到了新的性能和效率水平。

Hopper 包含 800 億個晶體管(A100 GPU“僅”有 540 億個晶體管)。它是使用定制的 TSMC 4N 工藝制造的——這是為 4nm Nvidia 設(shè)計的，這不要與 TSMC 提供的通用 N4 4nm 工藝混淆。

英偉達沒有透露核心數(shù)量或時鐘頻率，但確實提供了一些其他細節(jié)。H100 支持 Nvidia 的第四代 NVLink 接口，可提供高達 128 GB/s 的帶寬。它還支持不使用 NVLink 的系統(tǒng)的 PCIe 5.0，最高速度為 128 GB/s。更新后的 NVLink 連接提供的帶寬是 A100 的 1.5 倍，而 PCIe 5.0 提供的帶寬是 PCIe 4.0 的兩倍。

H100 還將默認支持 80GB 的 HBM3 內(nèi)存，帶寬為 3 TB/s，比 A100 的 HBM2E 快 1.5 倍。雖然 A100 有 40GB 和 80GB 兩種型號，后者在生命周期的后期推出，但 H100 和 A100 仍然使用多達六個 HBM 堆棧，顯然禁用了一個堆棧（即使用虛擬堆棧）。

一般來說，H100 的內(nèi)存和接口帶寬比其前代產(chǎn)品多 50%?？梢钥隙?，這是一個很好的改進，但 Hopper 的其他方面涉及更大的增長。H100 可提供高達 2,000 TFLOPS 的 FP16 計算和 1,000 TFLOPS 的 TF32 計算，以及 60 TFLOPS 的通用 FP64 計算——在所有三種情況下，這都是 A100 性能的三倍。Hopper 還增加了改進的 FP8 支持，計算能力高達 4,000 TFLOPS，比 A100 快六倍（由于缺乏原生 FP8 支持，它不得不依賴 FP16）。為了幫助優(yōu)化性能，Nvidia 還擁有一個新的轉(zhuǎn)換器引擎，它將根據(jù)工作負載在 FP8 和 FP16 格式之間自動切換。

Nvidia 還將添加旨在加速動態(tài)編程的新 DPX 指令。這些可以幫助廣泛的算法，包括路線優(yōu)化和基因組學，Nvidia 聲稱這些算法的性能比其上一代 GPU 快 7 倍，比基于 CPU 的算法快 40 倍。Hopper 還包括提高安全性的更改，多實例 GPU (MIG) 現(xiàn)在允許在單個 H100 GPU 上運行七個安全租戶。所有這些變化對于英偉達的超級計算和人工智能目標都很重要。然而，這些變化并非都是好的。盡管轉(zhuǎn)向較小的制造節(jié)點，但 SXM 變體的 H100 TDP 已增加到 700W，而 A100 SXM 模塊的 TDP 為 400W。這增加了 75% 的功率，改進范圍似乎在 50% 到 500% 之間，具體取決于工作負載。

總的來說，我們預計性能將比英偉達 A100 快兩到三倍，因此效率仍應有凈提升，但這進一步證明了摩爾定律正在放緩?？傮w而言，英偉達聲稱 H100 的擴展性優(yōu)于 A100，并且可以在 AI 訓練中提供高達 9 倍的吞吐量。使用 Megatron 530B 吞吐量作為基準，它還提供了 16 到 30 倍的推理性能。最后，在 3D FFT（快速傅立葉變換）和基因組測序等 HPC 應用程序中，Nvidia 表示 H100 比 A100 快 7 倍。

Nvidia DGX H100、Superpods 和 Eos 超級計算機

當然，Nvidia H100 GPU 只是故事的一部分。與 A100 一樣，Hopper 最初將作為新的 DGX H100 機架式服務器提供。每個 DGX H100 系統(tǒng)包含 8 個 H100 GPU，可提供高達 32 PFLOPS 的 AI 計算和 0.5 PFLOPS 的 FP64，以及 640GB 的 HBM3 內(nèi)存。DGX H100 alos 具有 3.6 TB/s 的二等分帶寬。

使用多臺 DGX H100 服務器，Nvidia 可以擴展到具有 32 個 DGX H100 系統(tǒng)的 DGX SuperPod，并與更新的 NVLink 交換機系統(tǒng)和 Quantum-2 InfiniBand 網(wǎng)絡連接在一起。因此，單個 H100 SuperPod 具有 256 個 H100 GPU、20TB 的 HBM3 內(nèi)存和高達 1 ExaFLOPS 的 AI 計算潛力。它還提供 70.4 TB/s 的帶寬。

自然，超級計算機可以使用多個 SuperPod 構(gòu)建，Nvidia 宣布了其新的 Eos 超級計算機，該超級計算機緊隨 Selene 的腳步。Eos 將由 18 個 H100 SuperPods、576 個 DGX H100 系統(tǒng)和 360 個 NVLink 交換機構(gòu)建而成，它將提供 275 PFLOPS 的 FP64 計算。更重要的是，在 Nvidia 專注于 AI 的未來，它將提供 18 EFLOPS 的 FP8 AI 計算，或 9 EFLOPS 的 FP16。

Hopper 遇到 Grace：超級CPU+超級GPU

前面提到，通過英偉達最新互聯(lián)技術(shù)可以將Grace CPU和Hopper GPU互聯(lián)融合在一起（CPU+GPU），組成Grace Hopper Superchips。

Grace Hopper Superchip 在一個載板上有兩個不同的芯片，一個 CPU 和一個 GPU。我們現(xiàn)在知道 CPU 有 72 個內(nèi)核，使用基于 Neoverse 的設(shè)計，支持 Arm v9，并與 Hopper GPU 配對。這兩個單元通過 900 GBpsNVLink-C2C 連接進行通信，提供 CPU 和 GPU 之間的內(nèi)存一致性，從而允許兩個單元同時訪問 LPDDR5X ECC 內(nèi)存池，據(jù)稱帶寬比標準系統(tǒng)提高了 30 倍。

Nvidia 最初沒有公布設(shè)計中使用的 LPDDR5X 數(shù)量，但在這里我們可以看到該公司現(xiàn)在聲稱擁有“600GB 內(nèi)存 GPU”，其中肯定包括 LPDDR5X 內(nèi)存池。我們知道 LPDDR5X 每個封裝的最高容量為 64GB，這意味著 CPU 配備了高達 512GB 的 LPDDR5X。同時，Hopper GPU 通常具有 80GB 的 HBM3 容量，使我們接近 Nvidia 的 600GB 。讓 GPU 訪問該數(shù)量的內(nèi)存容量可能會對某些工作負載產(chǎn)生變革性影響，尤其是對于經(jīng)過適當優(yōu)化的應用程序。

本文來源：https://www.sohu.com/a/532011033_121207965