新研究質疑以 GPU 使用率衡量推論基礎設施效能_免费美区账号apple id 美区App Store共享账号注册下载

  发布时间:2026-11-22 18:46:29   作者:玩站小弟   我要评论
在 Supercomputing 2026 大會上,AI 數據及記憶體基礎設施公司 WEKA 聯同市場情報公司 NAND Research,推出「推論經濟效益評分卡」。這套全新通用框架按實際完成的有效 免费美区账号apple id 美区App Store共享账号注册下载。

在 Supercomputing 2026 大會上,新研AI 數據及記憶體基礎設施公司 WEKA 聯同市場情報公司 NAND Research,究質推出「推論經濟效益評分卡」。使用施效這套全新通用框架按實際完成的率衡量推論基有效工作量,衡量推論基礎設施的礎設生產力及經濟價值,而非單看 GPU 有多繁忙。新研免费美区账号apple id 美区App Store共享账号注册下载

評分卡訂出九項指標,究質包括每瓦特的使用施效詞元產出、每次推論成本及上下文保留能力。率衡量推論基評分卡也訂立四項測試規則,礎設包括每次運行至少八小時,新研以及只計算成功產出。究質這套框架已應用於與 AI 雲端服務公司 Nebius 合作進行的使用施效基準測試。與此同時,率衡量推論基推論正占據愈來愈大比例的礎設 AI 基礎設施開支,而買家也面對電力、記憶體及機架空間的限制。

新研究發現:買家已開始以不同方式看待推論

S&P Global 旗下 451 Research 的最新研究顯示,機構已開始作出調整。研究預計,求美区apple id 常见问题推論占 AI 基礎設施開支的比例,將由 2026 年的 34% 增至 2030 年的 46%;研究也發現,在執行推論的機構中,41% 會為推論採購與其餘 IT 架構截然不同的基礎設施。

S&P Global 旗下 451 Research 高級分析師 Greg Macatee 表示:「AI 的價值最終透過推論實現,而我們的研究顯示,推論正重塑機構採購基礎設施的方式。AI 代理正帶動詞元數量呈指數級增長;記憶體、電力及供應方面的限制,令機構難以單靠增添 GPU 來追上需求。」

為何 GPU 使用率不足以衡量推論效能

多年來,訓練一直是主要的 AI 工作負載。訓練透過大型、可預測的運算任務,讓 GPU 持續忙碌,因此 GPU 使用率成為衡量 AI 基礎設施生產力的常用指標。推論,尤其是代理式推論,對 GPU 的要求卻截然不同。AI 代理並非只回應一個提示,而是透過多個步驟完成任務,並在每一步重新讀取先前建立的上下文。當 GPU 為其他用戶及工作階段騰出空間,而將這些上下文從記憶體移除後,便必須在任務恢復執行時重新計算。在這項工作完成之前,任務無法繼續推進。結果是 GPU 雖然滿負荷運作,卻因多次重算相同詞元而浪費運算週期,未能帶來有效產出。

推論經濟效益評分卡以生產環境規模衡量推論系統:觀察系統在大量用戶同時使用的情況下,持續數小時而非數分鐘所完成的請求。

WEKA 聯合創辦人兼行政總裁 Liran Zvibel 表示:「業界一直沿用訓練時代的成績表來評核推論。GPU 使用率只能告訴你晶片很繁忙。它卻無法說明工作究竟已經完成、被重複執行,還是最終遭到捨棄。對 AI 代理而言,大量工作其實都在重複進行。如今,電力、供應及機架空間與資金一樣,都是限制因素。推論基礎設施需要新的衡量方式:在符合用戶預期回應時間的前提下,每瓦特、每個機架及每美元能產生多少有效工作量。推論經濟效益評分卡將這套衡量方式具體化,而 WEKA 也會與其他供應商一樣,接受同一標準的評核。」

從繁忙到高效:評分卡如何運作

推論經濟效益評分卡訂出九項推論效能及經濟效益指標:每瓦特的詞元產出、每個機架的詞元產出、每次推論成本、GPU 有效吞吐量、首個詞元回應時間及端到端延遲、記憶體使用效率、運作密度、AI 代理並行數,以及上下文保留能力。評分卡也為各項指標訂立測試規範:

  • 所有受測系統採用相同工作負載及服務目標
  • 衡量整個推論服務堆疊
  • 每次測試運行至少八小時
  • 僅將成功產出計入成果

NAND Research 首席分析師兼創辦人 Steve McDowell 表示:「現時 AI 基礎設施最昂貴的錯誤,就是按峰值吞吐量採購,卻為重複工作付費。AI 代理工作負載令這個問題更容易被忽略,因為長時間任務的每一步,都會重新讀取上下文,而繁忙的 GPU 可能需要從頭重建這些上下文。我們設計這張評分卡,讓買家能以相同標準評核任何系統:以數小時為單位衡量已完成的工作,並記錄每次失敗。Nebius 的基準測試展示了這套規範能揭示甚麼,因為測試完整運行了八小時,並將每宗失敗或逾時的請求納入統計。」

實際驗證:真實 AI 代理負載,持續運行八小時

WEKA 與 Nebius 最近在 NVIDIA HGX B300 系統上進行聯合基準測試,採用評分卡的測試規則,並公佈多項指標的結果。測試使用一個配備八個 GPU 的節點,運行 DeepSeek-V4-Pro,為 512 個活躍工作階段提供服務。這些工作階段選自一個包含逾 5,000 個真實 AI 代理編程工作階段的資料集。每種配置均持續運行八小時,並將每宗失敗或逾時請求納入統計。

採用配備 Augmented Memory Grid 的 WEKA NeuralMesh 後,系統將叢集內的 NVMe 資源匯集成共享上下文儲存層。與同一批 GPU 僅使用高頻寬記憶體(HBM)提供服務相比,該節點每個 GPU 每小時的輸出詞元數達到 3.7 倍。在成功完成的請求中,97% 能在五秒內收到首個詞元,高於僅使用 HBM 時的 44%。僅使用 HBM 提供服務時,60% 的預填充運算,是重新計算叢集在同一工作階段中先前已處理過的上下文;採用 Augmented Memory Grid 後,這個比例降至 6.8%。按實測速率計算,僅使用 HBM 的節點約需 30 小時,才能達到 Augmented Memory Grid 在八小時內完成的產出。完整基準測試已刊載於 weka.io 及 nebius.com 的網誌。

Nebius 產品副總裁 Narek Tatevosyan 表示:「峰值吞吐量展示的是系統在幾分鐘內能做到甚麼,但我們的客戶會讓 AI 代理運行數小時、數天,甚至更長時間,因此真正重要的是持續完成有效工作。在完整工作時段內,隨著上下文被移出記憶體,以及逾時請求增加,僅使用 HBM 的配置表現逐漸落後;WEKA NeuralMesh 則在整個測試期間維持穩定的首個詞元回應時間。這改變了我們規劃容量的方式:我們按一個工作天內能完成的工作量配置資源,而非基準測試的峰值。推論經濟效益評分卡讓我們能以共同的衡量方式,向客戶展示這個數字。」

「代理式推論是塑造 AI 工廠的關鍵工作負載,對記憶體及上下文提出極高要求。在大規模運作下,問題已不再是 GPU 能容納多少上下文,而是在無需重新運算的情況下,能於整個叢集內將上下文容量擴展至多大規模。」NVIDIA 儲存技術副總裁 Jason Hardy 表示。「WEKA 及 Nebius 在 NVIDIA HGX B300 系統上的測試結果,展示了共用上下文層如何提升持續吞吐量及回應速度。隨著推論規模不斷擴大,採購者將需要更清晰的方法,根據各系統實際完成的工作量作比較。」

以可重現為設計原則:開放執行軌跡及工具

基準測試所用的執行軌跡及工具均已開源,任何人都可在自己的系統上運行相同工作負載,並在同等條件下比較結果。這些執行軌跡來自真實 AI 代理編程工作階段,而非合成負載,涵蓋實際工作中多變的時序及複雜度,為各團隊提供貼近實際生產情況的測試負載。其他機構也已開始在此基礎上開發工具:SemiAnalysis 的 AgentX 基準測試以這些執行軌跡為基礎,而 NVIDIA AIPerf 基準測試工具也提供相應的資料載入工具。

SemiAnalysis 創辦人兼行政總裁 Dylan Patel 表示:「代理式推論基準測試必須反映真實生產流量,包括長時間運行的 AI 代理、不斷增長的上下文、包含子代理的複雜多代理工作流程,以及實際部署中常見的突發、難以預測的流量模式。能達到這個標準的基準測試寥寥可數,而我們建立 AgentX,正是為了填補這個缺口。這也是 AgentX 採用 WEKA 開放的 kvlab 執行軌跡格式,基於真實 AI 代理軌跡運行的原因,讓任何人都能重播相同的多輪工作流程,並在同等條件下比較結果。隨著 AI 代理成為主要推論工作負載,這種可重現的測量方式,將讓業界不再局限於峰值數字,而能看清基礎設施可持續維持的表現。」

SemiAnalysis 計畫隨著測試進展,分享 WEKA NeuralMesh 上的 AgentX 測試結果。如欲了解更多資訊,請瀏覽 https://inferencex.semianalysis.com/agentx。

更多資源

  • 推論經濟效益評分卡及 NAND Research 配套報告可於此處查閱。
  • 按此免費下載 S&P Global 旗下 451 Research 的報告《From inference to agentic AI》。
  • 閱讀 WEKA 行政總裁 Liran Zvibel 的網誌文章。
  • 如欲了解資料擷取工具背後的工程設計,以及各項測量指標的定義,請按此瀏覽。
  • 歡迎於 11 月 16 至 20 日蒞臨芝加哥 SC26 大會的 WEKA 2519 號展位,進一步了解如何將推論經濟效益評分卡應用於您的推論工作負載。

(本文由 PR Newswire 授權轉載;首圖來源:shutterstock)

想請我們喝幾杯咖啡?

icon-tag

每杯咖啡 65 元

icon-coffee x 1
icon-coffee x 3
icon-coffee x 5
icon-coffee x

您的咖啡贊助將是讓我們持續走下去的動力

總金額共新臺幣 0 元
《關於請喝咖啡的 Q & A》

相关文章

  • 天津:在巧克力博物馆体验甜蜜

    这是12月28日拍摄的天津巧克力博物馆外景。近日,位于天津市和平区金街步行街的天津巧克力博物馆正式开放。馆内陈列20余件巧克力雕塑作品,使用巧克力总量达10吨,由雕塑师纯手工打造。巧克力雕塑作品中既有
    2026-11-22
  • 证券时报e公司讯,央行今日进行20亿元7天期逆回购操作,中标利率为2 00

    (相关资料图)证券时报e公司讯,央行今日进行20亿元7天期逆回购操作,中标利率为2.00%,与此前持平。因今日有130亿元逆回购到期,当日实现净回笼110亿元。文章来源:证券时报·e公司) 标签:
    2026-11-22
  • 宿管员谈大学生三大毛病

    演讲现场,徐思秀的“粉丝”们纷纷给她助威 台上的徐思秀有些紧张 徐大姐的日记 大学讲堂,做演讲的多是社会名人、知名学者、成功企业家,但昨天,重庆交通大学双福校区却迎来了一位与众不同的
    2026-11-22
  • 男子欲卖肾筹钱帮助女儿赴日留学

    陈萌给父亲看出国留学要办的手续。 长江商报消息 陈萌回到家时,已经晚上8点了。而此时,父母早为她准备好了丰盛的晚餐,一个排骨火锅、两盘玉米、一盘西红柿炒蛋和一份土豆丝。这样的饭菜,只有在她回家
    2026-11-22
  • 亮相“第十一届博博会” 世遗泉州文创与海丝文物精彩出圈

    AI摘要第十一届博博会在海口举办,泉州参展展示世遗文创,并携18件文物赴展深化泉琼海丝文化交流。泉州将持续探索文物活化利用与跨区域合作,推动海丝文化传承传播与创新发展。
    2026-11-22
  • 厦门节前年货市场年味浓 市民采购忙

    市场年味浓 市民采购忙 记者兵分多路走访节前年货市场,看市民开启“扫货模式” 春节将至,市民在中埔水产品市场选购海鲜。记者 唐光峰 摄 海西晨报讯记者 钟宝坤 彭怡郡见习记者
    2026-11-22

最新评论