AI算力成本腰斬！AMD MI355X跑GLM 5.2

隨著 AI 推理需求爆炸性增長，算力成本成為企業落地的最大痛點。近期，推理優化公司
Wafer 公布的一組數據引發了 AI 業界的高度關注：在AMD(AMD-US)MI355X
晶片上運行最新開源模型 GLM 5.2，不僅實現了高效能表現，其成本更僅為輝達
(NVDA-US) 旗艦 GPU B200 的一半。

這項結果顯示，AMD 正逐步縮小與輝達在 AI 推理市場的差距，也讓外界重
新審視 GPU 市場長期由 CUDA 生態建立的競爭優勢。

測試顯示，MI355X 在執行 GLM 5.2 時，單節點聚合吞吐量達每秒 2,626 個 token（
tok/s），單流吞吐量則達每秒 213 個 token。在效能方面，約可達到同級輝達旗艦
B200 約八成水準，但部署成本卻不到 B200 的一半。

消息公布後，立即引發開發者社群高度關注，相關討論也迅速登上 Hacker News 熱門排
行榜。

Wafer 表示，這次部署並非依靠特殊硬體，而是透過一系列軟體最佳化完成，
包括模型量化、推理引擎選擇，以及多項相容性修正與效能調校，讓 AMD GPU 能充分發揮
推理能力。

量化技術兼顧效能與精準度

在模型最佳化方面，Wafer 使用 AMD 官方 Quark 工具，將模型權重由 BF16 量化為
MXFP4，以降低運算資源需求。

根據測試結果，量化後模型在多項基準測試中的準確率僅有輕微變化，部分測試甚至較官
方量化版本更佳，代表壓縮模型後仍能維持相當程度的推理品質。

推理引擎方面，Wafer 比較了 vLLM、ATOM 與 sglang 三種方案後，最終選擇 sglang。
原因在於前兩者無法同時兼顧量化效益與長文本輸出品質，而 sglang 則能維持模型輸出
的穩定性，成為此次部署的主要推理平台。

修補細節 推理速度大幅提升

在完成模型量化後，Wafer 又針對推理流程持續優化。其中最大的挑戰來自 ROCm 平台對
投機解碼（Speculative Decoding）的支援不足。

團隊發現，共享專家層命名方式與 sglang 使用的命名規則不同，導致模型載入失敗，透
過修正命名後，單流吞吐量便大幅提升近三倍。

此外，另一項問題來自程式碼直接引用 CUDA 標頭檔，導致 ROCm 編譯失敗，Wafer 僅透
過加入編譯保護即可解決。之後再調整平行運算方式，以及手動指定適合 GLM 5.2 專家
層的 Kernel，最終將單節點聚合吞吐量提升至每秒 2,626 個 token。

測試採用接近實際生產環境的設定，包括 2 萬 token 輸入、1,000 token 輸出及 60%
快取命中率，首個 token 延遲控制在 2.22 秒內，整體成功率達 100%。

新創公司也能挑戰 GPU 巨頭

值得注意的是，完成這項成果的 Wafer 並非大型科技公司，而是一家僅獲得 400 萬美元
種子輪融資的新創企業，投資人包括 Fifty Years、Y Combinator、Liquid2，以及
Google 首席科學家 Jeff Dean、OpenAI 共同創辦人 Wojciech Zaremba 與 Dropbox 共
同創辦人 Arash Ferdowsi 等知名人士。

Wafer 將自身定位為利用 AI 優化 AI 基礎設施的公司，並表示此次 GLM 5.2 的部分
Kernel 調校、命名衝突排查與最佳化工作，都已大量導入 AI 輔助工程。

相較過去為了提升效能仍需自行開發客製化 Kernel，如今更多工作已轉向修補官方工具
鏈中的細節，代表 AMD 軟體生態正逐漸成熟。

AMD 軟體生態逐漸成熟

Wafer 指出，過去若每次模型發布都必須重新開發底層 Kernel，小型團隊幾乎無法跟上
市場節奏；如今官方工具鏈已能完成大部分工作，剩餘僅需修正相容性與最佳化細節，新
創公司便有機會快速完成部署，這也是 Wafer 能在模型發布後短時間內完成適配的重要
原因。

Wafer 認為，目前頂尖模型能否順利部署到 AMD 平台，愈來愈取決於官方軟體支援速度
，而非硬體本身，CUDA 長期建立的軟體優勢正逐步受到挑戰。

事實上，SemiAnalysis 今年稍早針對 GLM-5 的測試也得到類似結果。報告指出，在互動
式推理場景下，AMD MI355X 每百萬 token 推理成本約為 0.22 美元，低於輝達 B200 的
0.30 美元，主要原因除了硬體整體擁有成本較低，也反映 AMD 軟體最佳化已有明顯進
展。

不過，目前 AMD 的優勢仍主要集中於單節點部署。在多節點、大規模分散式叢集以及跨
機專家並行等企業級應用方面，輝達仍保有明顯領先優勢。

若未來雲端業者能持續將 Wafer 的最佳化方式複製到更多開源模型，AI 推理成本仍有望
持續下降，也將進一步提升開源模型在市場上的競爭力。