午夜精品久久久久久久爽_最新一区二区三区_香蕉视频99_日本不卡一二三区_免费一区二区三区_日日狠狠久久

關(guān)于ZAKER 合作
量子位 20分鐘前

華為又開源了個大的:超大規(guī)模 MoE 推理秘籍

超大規(guī)模 MoE 模型(如 DeepSeek),到底該怎么推理才能做到又快又穩(wěn)。

現(xiàn)在,這個問題似乎已經(jīng)有了標準答案——

華為一個新項目,直接把推理超大規(guī)模 MoE 背后的架構(gòu)、技術(shù)和代碼,統(tǒng)統(tǒng)給開源了!

這個新開源項目名叫Omni-Infer,整體來看,它對于企業(yè)用戶來說是非常利好的。

例如它可以給企業(yè)提供 PD 分離部署方案,針對 QPM 進行系統(tǒng)級優(yōu)化,還會分享大規(guī)模商用過程中硬件使用的 " 方法論 "。

而且對于開發(fā)者和開源社區(qū),華為這 " 一呼 " 也是起到了 " 百應(yīng) " 的效果。

北京智源研究院副院長兼總工程師林詠華表示:

北京智源研究院一直以來致力于人工智能開源生態(tài)建設(shè),很高興看到 Omni-infer 項目開源,智源團隊打造的面向多芯片的 FlagScale 框架也在第一時間接入了 Omni-infer,期待后續(xù)有更多生態(tài)合作。

GitHub 地址:https://github.com/FlagOpen/FlagScale/pull/630

上海人工智能實驗室系統(tǒng)平臺中心負責(zé)人王輝認為:

DeeLlink 致力于打造最開放兼容的人工智能計算體系,十分期待能與 Omni-infer 項目攜手,繁榮自主軟硬件協(xié)同開源社區(qū)、拓展生態(tài)版圖。

以及OpenI 啟智社區(qū)運營中心主任余躍也給出了響應(yīng):

OpenI 啟智社區(qū)堅持創(chuàng)新為本,面向未來與 Omni-Infer 項目一起打造基于算力網(wǎng)的開源共創(chuàng)協(xié)作生態(tài)。

據(jù)了解,華為 Omni-Infer 社區(qū)的定位是 " 加速套件 + 最佳實踐 ",未來提供開箱即用能力,支持昇騰推理集群快速部署。

而對于這次 Omni-Infer 的開源,其實是華為兌現(xiàn)了一個月前在發(fā)布重磅技術(shù)報告之際所做出的承諾。

那么接下來,我們就來一同深入了解一下華為的 Omni-Infer。

一個框架和一個套件

從整體來看,Omni-Infer 可以拆成兩大塊來看:一個是推理框架,一個是推理加速套件

從框架角度來看,Omni-Infer 能和業(yè)界主流的開源大模型推理框架(如 vLLM)完美兼容,就像不同品牌的零件可以組裝在同一臺機器上。

并且據(jù)了解,它的功能還將不斷擴展,會持續(xù)為昇騰硬件平臺上的大模型推理提供更強大的支持(例如 SGLang 等主流開源 LLM 推理框架)。

值得一提的是,Omni-Infer 是與 vLLM/SGLang 等等這些主流大模型推理開源框架是解耦的,獨立安裝。

這就意味著用戶只需維護 vLLM 等的主版本即可,大大降低了軟件版本維護的成本。

至于 Omni-Infer 的加速套件,若是用較為形象的比喻,它的 " 打開方式 " 是這樣的:

企業(yè)級的 " 調(diào)度員 ":它有一套智能的調(diào)度系統(tǒng),就像交通警察指揮車輛一樣,能合理安排任務(wù)(xPyD 調(diào)度)。而且支持大規(guī)模分布式部署,就像多個交通崗?fù)f(xié)同工作,不管任務(wù)量多大,都能保證最低的延遲,讓響應(yīng)更及時。

精準的 " 負載平衡器 ":對于不同長度的任務(wù)序列,它在預(yù)填充和解碼這兩個關(guān)鍵階段都做了優(yōu)化。比如,就像快遞分揀中心針對不同大小的包裹采用不同的分揀策略,讓整個處理過程的吞吐量達到最大,同時還能保持低延遲。

MoE 模型的 " 專屬搭檔 ":它對混合專家(MoE)模型特別友好,支持 EP144/EP288 等多種配置。可以想象成一個大型的 " 專家團隊 ",每個專家負責(zé)不同的任務(wù),它能讓這些專家高效協(xié)作。

智能的 " 資源分配者 ":具備分層非均勻冗余和近實時動態(tài)專家放置功能。就像在一個大型工廠里,根據(jù)實時的生產(chǎn)需求,動態(tài)調(diào)整各個生產(chǎn)線的工人分配,讓資源得到最充分的利用。

注意力機制的 " 強化器 ":專門為 LLM、MLLM 和 MoE 等模型優(yōu)化了注意力機制。這就好比給模型的 " 注意力 " 裝上了 " 放大鏡 ",讓它在處理信息時更聚焦、更高效,提升了模型的性能和可擴展性。

如何 " 食用 "?

在聊完 Omni-Infer 的特點之后,我們繼續(xù)來看下該如何去體驗。

首先對于它的使用環(huán)境是有一定的要求:

硬件:目前僅支持 CloudMatrix384 推理卡

操作系統(tǒng):Linux Python: >=3.9, <= 3.11

其次在安裝方式上,目前僅支持通過 Docker 鏡像方式進行安裝:

docker pull swr.cn-southwest-2.myhuaweicloud.com/omni-ai/omniinfer:202506272026

這個鏡像已預(yù)先集成所需的 CANN 及 Torch-NPU 依賴包,同時內(nèi)置可直接運行的 Omni-Infer 與 vLLM 工具包,開箱即可使用。

可以使用下面這個命令檢查是否可用:

pip list | grep omni_infer

PD 分離自動化部署(4 機 2P1D)為例,它的部署框架如下所示:

再接下來,只需文檔教程,僅少量代碼和步驟,即可完成安裝和部署:

整體來看,此次華為面向超大規(guī)模 MoE 開源的項目,是做到了簡單幾步就可以讓 AI 推理這事變得又快又穩(wěn)。

極致開源

Omni-Infer 除了將此前《華為昇騰服務(wù)器 DeepSeek V3/R1 推理部署最佳實踐》技術(shù)報告中的關(guān)鍵技術(shù)開源出來之外,也同步進行了更加專業(yè)的開源社區(qū)建設(shè)。

首先,在獨立的社區(qū)倉庫中,將社區(qū)治理、社區(qū)會議、社區(qū)活動、生態(tài)合作、代碼規(guī)范、設(shè)計文檔等社區(qū)信息全部開放出來,讓開發(fā)者能夠最直接深入的參與到社區(qū)發(fā)展中。

其次,參照業(yè)界主流大型開源社區(qū)的最佳實踐,采用開放的社區(qū)治理機制,通過項目管理委員會(Project Management Committee)和特別興趣小組(Special Interest Group)兩級機制,提供公正透明的討論與決策機制。

再次,針對業(yè)界同類開源項目大多存在的 " 一頭熱 " 的 " 被動適配 " 生態(tài)合作模式問題,Omni-Infer 社區(qū)則采取了 " 主動適配 " 的社區(qū)構(gòu)筑路徑,尤其是主動擁抱國內(nèi)正在逐步成長的人工智能開源項目,讓生態(tài)真正實現(xiàn)多方共贏。

作為長期與業(yè)界幾大主流開源基金會(Linux 基金會、OpenInfra 基金會、Apache 基金會等)保持緊密合作關(guān)系的社區(qū)團隊,Omni-infer 剛開源的首個活動就將參與 OpenInfra 基金會在蘇州的 Meetup,感興趣的同學(xué)可以到現(xiàn)場交流,也順路可參加有特色的全球性開源社區(qū)的生日活動。

最后,所有相關(guān)的地址放下面了,感興趣的小伙伴可自取哦 ~

技術(shù)報告及可分析代碼包:

https://gitcode.com/ascend-tribe/ascend-inference-cluster

源代碼開發(fā)協(xié)作:

https://gitee.com/omniai/omniinfer

社區(qū)治理、運作等內(nèi)容:

https://gitee.com/omniai/community

【其他托管平臺】

Github:

https://github.com/omni-ai-npu/omni-infer

OpenI 啟智社區(qū):

https://git.openi.org.cn/omni-ai/omni-infer

GitLink 確實平臺:

https://gitlink.org.cn/omni-ai/omniinfer

一鍵三連「點贊」「轉(zhuǎn)發(fā)」「小心心」

歡迎在評論區(qū)留下你的想法!

點亮星標

科技前沿進展每日見

相關(guān)標簽

最新評論

沒有更多評論了
主站蜘蛛池模板: 成人黄色一级毛片 | 日韩中文一区二区 | 韩国三级hd中文字幕 | 国产精品美女久久久网av | 不卡在线一区 | 亚洲午夜久久久 | 一区二区三区在线观看国产 | 成人国产免费视频 | 久久中文视频 | 亚洲一区二区视频 | 久久精品观看 | 国产成人精品久久二区二区 | 亚洲三级在线播放 | 日产精品久久久久久久 | 91大神精品视频在线观看 | 色免费在线视频 | 中文字幕亚洲综合久久 | 综合五月婷 | 欧美日韩一区二区三区在线视频 | 日韩手机在线视频 | 欧美成人黄色 | www.亚洲免费 | 91精品国产综合久久国产大片 | 日韩欧乱色一区二区三区在线 | 一区二区精品视频 | 精品在线一区二区 | 91久久国产综合久久91猫猫 | 国产麻豆 | 中文字幕自拍 | 麻豆视频观看 | 国产欧美精品一区二区 | 精品电影一区二区三区 | 在线h片 | 天堂а在线中文在线无限看推荐 | 国产精品裸体一区二区三区 | 国产1区2区3区在线观看 | 99精品免费| 国产视频在线一区二区 | 91嫩草在线| 男女国产网站 | 亚洲综合视频在线 |