英偉達這顆芯片，震驚所有人

在 2025 年的 CES 活動(dòng)上，Nvidia (NVDA.US)這宣布與聯(lián)發(fā)科合作開(kāi)發(fā)了一款售價(jià) 3000 美元的新型臺式電腦，該電腦搭載了基于 Arm 的全新精簡(jiǎn)版 Grace CPU 和 Blackwell GPU 超級芯片。新系統名為“Project DIGITS”（不要與 Nvidia 的深度學(xué)習 GPU 訓練系統：DIGITS混淆）。該平臺為 AI 和 HPC 市場(chǎng)提供了一系列新功能。

Project DIGITS 采用具有 20 個(gè) Arm 核心的全新 Nvidia GB10 Grace Blackwell 超級芯片，旨在提供“千萬(wàn)億次”（FP4 精度）的 GPU-AI 計算性能，用于原型設計、微調和運行大型 AI 模型。（強制性浮點(diǎn)解釋器可能在這里有所幫助。）

自 G8x 系列顯卡發(fā)布（2006 年）以來(lái)，Nvidia 一直致力于提供適用于整個(gè) GPU 系列的 CUDA 工具和庫。能夠使用低成本客戶(hù)顯卡進(jìn)行 CUDA 開(kāi)發(fā)有助于創(chuàng )建充滿(mǎn)活力的應用程序生態(tài)系統。由于高性能 GPU 的成本和稀缺性，DIGITS 項目應該能夠實(shí)現更多基于 LLM 的軟件開(kāi)發(fā)。與低成本 GPU 一樣，在桌面上運行、配置和微調開(kāi)放式變壓器模型（例如 llama）的能力應該對開(kāi)發(fā)人員具有吸引力。例如，通過(guò)提供 128GB 內存，DIGITS 系統將有助于克服許多低成本消費級顯卡上的 24GB 限制。

規格不足

新款 GB10 超級芯片采用 Nvidia Blackwell GPU，配備最新一代 CUDA 核心和第五代 Tensor 核心，通過(guò) NVLink-C2C 芯片到芯片互連連接到高性能 Nvidia Grace 類(lèi) CPU，其中包括20 個(gè)節能的 Arm 核心（十個(gè) Arm Cortex-X925 和十個(gè) Cortex-A725 CPU 核心）。

雖然沒(méi)有可用的規格，但 GB10 的 GPU 端被認為提供的性能低于Grace-Blackwell GB200。需要明確的是；GB10 不是分檔或激光修剪的GB200。GB200超級芯片有 72 個(gè) Arm Neoverse V2 核心和兩個(gè) B200 Tensor Core GPU。

DIGITS 系統的定義特征是 CPU 和 GPU 之間統一、一致的內存 128GB（LPDDR5x）。這種內存大小在 GPU 上運行 AI 或 HPC 模型時(shí)打破了“GPU 內存障礙”；例如，80GB Nvidia A100 的當前市場(chǎng)價(jià)格從 18,000 美元到 20,000 美元不等。有了統一、一致的內存，CPU 和 GPU 之間的 PCIe 傳輸也被消除了。下圖中的渲染表明內存量是固定的，用戶(hù)無(wú)法擴展。該圖還表明ConnectX 網(wǎng)絡(luò )（以太網(wǎng)？）、Wifi、藍牙和 USB 連接可用。

該系統還提供高達 4TB 的 NVMe 存儲。在電源方面，Nvidia 提到了標準電源插座。沒(méi)有特定的電源要求，但尺寸和設計可能會(huì )提供一些線(xiàn)索。首先，與 Mac mini 系統一樣，小尺寸（見(jiàn)圖 2）表明產(chǎn)生的熱量一定不會(huì )那么高。其次，根據 CES 展廳的圖像，沒(méi)有風(fēng)扇通風(fēng)口或切口。機箱的正面和背面似乎有一種海綿狀的材料，可以提供氣流，并可能充當整個(gè)系統的過(guò)濾器。由于散熱設計表明功率，功率表明性能，因此 DIGITS 系統可能不是一款為實(shí)現最大性能（和功耗）而調整的尖叫器，而是一款具有優(yōu)化內存架構的涼爽、安靜、高效的 AI 桌面系統。

如上所述，該系統非常小。下圖提供了一些鍵盤(pán)和顯示器的視角（沒(méi)有顯示電纜。根據我們的經(jīng)驗，其中一些小型系統可能會(huì )因電纜重量而從桌面上拉下來(lái)。）

桌面上的人工智能

Nvidia 報告稱(chēng)，開(kāi)發(fā)人員可以運行多達 2000 億個(gè)參數的大型語(yǔ)言模型，以增強 AI 創(chuàng )新。此外，使用 Nvidia ConnectX 網(wǎng)絡(luò )，兩臺 Project DIGITS AI 超級計算機可以連接起來(lái)，運行多達 4050 億個(gè)參數的模型。借助 Project DIGITS，用戶(hù)可以使用自己的桌面系統開(kāi)發(fā)和運行模型推理，然后在加速云或數據中心基礎設施上無(wú)縫部署模型。

Nvidia 創(chuàng )始人兼首席執行官黃仁勛表示：“AI 將成為各行各業(yè)中每一種應用的主流。借助 Project DIGITS，Grace Blackwell 超級芯片將惠及數百萬(wàn)開(kāi)發(fā)者。將 AI 超級計算機放在每一位數據科學(xué)家、AI 研究人員和學(xué)生的桌子上，將使他們能夠參與并塑造 AI 時(shí)代?！?/p>

這些系統不適用于訓練，而是設計用于在本地運行量化的 ?LLM（減少模型權重的精度大?。?。Nvidia 引用的 1 petaFLOP 性能數字適用于 FP4 精度權重（四位，或 16 個(gè)可能的數字）許多模型可以在此級別充分運行，但量化可以增加到 FP8、FP16 或更高，以獲得更好的結果，具體取決于模型的大小和可用內存。例如，對 Llama-3-70B 模型使用 FP8 精度權重需要每個(gè)參數一個(gè)字節或大約 70GB 的內存。將精度減半到 FP4 會(huì )將其減少到 35GB 的內存，但增加到 FP32 將需要 140GB，這比 DIGITS 系統提供的內存還要大。

有人用 HPC 集群?jiǎn)幔?/p>

可能不為人所知的是，DIGITS 并不是第一款桌邊 Nvidia 系統。2024年，GPTshop.ai推出了一款基于 GH200 的桌邊系統。HPCwire提供了包括 HPC 基準測試在內的報道。與 DIGITS 項目不同，GPTshop 系統在桌邊機箱中提供了 GH200 Grace-Hopper 超級芯片和 GB200 Grace-Blackwell 超級芯片的全部功能。性能的提升也伴隨著(zhù)更高的成本。

將 DIGITS 項目系統用于桌面 HPC 可能是一種有趣的方法。除了運行更大的 AI 模型之外，集成的 CPU-GPU 全局內存對 HPC 應用程序也非常有益。請考慮最近HPCwire 的一篇關(guān)于僅在英特爾兩顆 Xeon 6 Granite Rapids 處理器（無(wú) GPU）上運行的 CFD 應用程序的故事。根據作者 Moritz Lehmann 博士的說(shuō)法，模擬的促成因素是他能夠用于模擬的內存量。

同樣，許多 HPC 應用程序不得不想方設法繞過(guò)常見(jiàn) PCIe 連接視頻卡的小內存域。使用多張卡或 MPI 有助于擴展應用程序，但 HPC 中最有利的因素始終是更多內存。

當然，需要基準測試來(lái)確定 DIGITS 項目是否完全適用于桌面 HPC，但還有另一種可能性：“用這些構建一個(gè) Beowulf 集群”。這句話(huà)通常被認為是一個(gè)玩笑，但對于 DIGITS 項目來(lái)說(shuō)可能更嚴肅一些。當然，集群是用服務(wù)器和（多個(gè)）PCEe 連接的 GPU 卡構建的。然而，一個(gè)小型、中等功率、完全集成的全局內存 CPU-GPU 可能會(huì )成為更平衡、更有吸引力的集群構建塊。還有一個(gè)好處：它們已經(jīng)運行 Linux 并具有內置的 ConnectX 網(wǎng)絡(luò )。

本文轉自“半導體行業(yè)觀(guān)察”微信公眾號；智通財經(jīng)編輯：陳筱亦。