由於投入大量先前軟硬體準備以及積極開放軟體生態，現在 AI 產業產生僅有 NVIDIA 解決方案足以執行生成式 AI 與大型語言模型( LLM )訓練的迷思， Intel 在最新的 MLPerf 提交旗下包括 Habana Gaudi 2 深度學習加速器與第 4 代 Xeon Scalable 的成績，希冀以實證打破業界迷思，為希望擺脫單一生態系限制的客戶提供不同的選項。

其中最新的 MLPerf Traning 3.0 結果也證實 Habana Gaudi 2 具備完善的軟硬體技術，能在 GPT-3 獲得實證，並成為除了 NVIDIA 以外提交 GPT-3 LLM 訓練基準測試效能結果的半導體解決方案；除了具備獲得實證的效能以外， Intel 強調 Habana Gaudi 2 也式相較 NVIDIA H100 更具性價比的選擇，並預期透過後續軟體更新持續提升表現。

而首度導入 Intel AI 引擎的第 4 代 Xeon Scalable 處理器則展現深度學習訓練效能，使客戶可透過 Xeon 伺服器建構單一通用 AI 系統，處理資料預處理、模型訓練與部屬，也是當前唯一一款提交 MLPerf 成果的 CPU 產品。

Intel Habana Gaudi 2 在 MLPerf 達成多項里程碑，其中在具備 1,750 億個參數的 GPT-3 模型訓練展現一定的效能與高效擴展性，並且是使用 PyTorch 與流行的 DeepSpeed 最佳化函式庫而非客製化軟體； Intel 藉由 384 個加速器，實現 311 分鐘完成訓練的佳績(註：目前記錄由 CoreWeave 以 3,584 個 NVIDIA H100 於 11 分鐘內完成)；此外也展現在 GPT-3 由 256 個加速器增加至 384 個加速器的 95% 近線性效能增長。

除了 GPT-3 以外， Habana 也在包括 ResNet-50 的 8 個加速器、 Unet3D 8 個加速器、自然語言處理的 BERT 的 8 個與 64 個加速器取得優異的訓練成果。此外，相較 Intel 於 2023 年 11 月提交的測試結果，在 BERT 與 ResNet 模型的效能分別有 10% 與 4% 提升，顯見 Intel 的 Gaudi 2 軟體持續改善帶來效能提升。另外 Intel 指出此次於 MLPerf 3.0 的測試結果是使用 BF16 資料類型，預計 2023 年第三季提供 FP8 軟體支援與新功能，進一步提升 Gaudi 2 效能。

雖然當前異構加速運算是目前 AI 與深度學習的主流，不過對還在評估當中或是認為專用 AI 系統成本較高與擔心複雜度的業者， Intel 藉由在第四代 Xeon Scalable 導入 Intel AI 架構，使純 CPU 運算系統也能執行一定的 AI 訓練負載；此外對自 Intel 先前發表的結果，借助 Intel AI 軟體與標準業界開放原始碼，能使預訓練好的模型透過簡單的數分鐘微調使用企業的小型資料庫。

Intel 也指出多項第四代 Xeon Scalable 在 MLPerf 創下的紀錄，於封閉分區方面，第四代 Xeon 可在 50 分鐘內與 90 分鐘內完成 BERT 與 ResNet-50 模型；對開放分區的 BERT 則可在擴展到 16 個節點於 31 分鐘完成模型訓練；對較大的 RetinaNet 模型，透過 16 節點的 Xeon Scalable 可於 232 分鐘完成，這也表示客戶可靈活應用伺服器的零碎時間進行模型訓練。

然而 NVIDIA H100 在大型企業仍相當受重視其來有因，雖然 NVIDIA H100 價格更為高昂，但卻也是目前唯一能完整執行 MLPerf Traning 3.0 的 8 個項目的解決方案，除此之外結合 NVIDIA 的高速網路互連解決方案等，能進一步擴大大量節點的效能增長，諸如此次創下 GPT-3 訓練紀錄的系統即連接超過 3,000 個 GPU ，更不用說 NVIDIA 在軟體不僅耕耘時間更長，採取開放態度也進一步使生態鏈有更高的支援。

更多Cool3C文章
2023第34屆金曲獎：Line Today免費直播線上看、完整入圍名單、得獎名單
2023台東熱氣球嘉年華整理：日期時間、交通接駁車資訊、繫留體驗費用、氣球造型與追球日誌