作者：Alter
2024年是大模型落地應用的元年。
開發者們不再迷戀于“大練模型”，而是將大模型裝進了手機、帶到了課堂、融入的生產線、賦能到城市管理……大模型和場景的深入融合，不單單釋放出了新質生產力，還默默重構著產業上下游的格局。
12月14日的昇思人工智能框架峰會上，昇思MindSpore開源社區理事長丁誠向外界公布了一組新數據：昇思MindSpore AI框架開源版本的下載量已經超過1100萬次，覆蓋全球130多個國家和地區的2400多個城市；3.7萬多名開發者參與社區貢獻，累積代碼提交10萬多行。
同一時間，中國科學院科技戰略咨詢研究院預測，中國AI框架2024年新增市場昇思份額將達30%。而根據IT行業的市場規律，一個AI框架的市場份額超過30%，意味著可能成為事實上的行業共識，將逐步形成完善的產業生態，進而推動技術更快的落地。
問題在于，為何昇思MindSpore會成為新增市場份額超過30%的AI框架，又將對大模型的落地應用產生什么樣的影響？
01 立足開源開放，3.7萬名貢獻者撐起的繁榮生態
一個AI框架是否好用，開發者生態是不可或缺的一環。
時間回到2020年3月28日，昇思MindSpore AI框架正式開源。時值國內深度學習框架的“春天”，不少企業都推出了自己AI框架，不乏同樣采取開源路線的玩家。不同的是，昇思MindSpore在開源之外，還著手構建了一套完整的人才培養和社區治理體系。
先說人才培養。
當外界普遍抱怨AI人才難覓的時候，昇思MindSpore開源社區悄悄構建了一套面向開發者分層分級的社區學習和發展體系。
第一階段是學習，社區提供了30多門系列主題課程，600多場線上線下專題活動，每年20多場創新訓練營等專場賦能，目的是幫助每一個對AI有興趣的開發者，掌握人工智能相關的技術知識 ；
第二階段是實踐，開發者熟悉了AI相關的知識后，通過以賽促學、以練促學的方式，幫助開發者在實踐中提升。目前昇思MindSpore開源社區已經發布了1100多個實習任務、舉辦了30多場大賽；
第三階段是創新，當開發者充分掌握AI技能后，借助專項學術論文基金、社區項目支持等方式，為開發者提供創新資源和成果激勵。比如CAAI-昇思學術基金、鯤鵬昇騰科研創新使能計劃等等；
第四階段是影響，對于成長起來的開發者，昇思MindSpore開源社區正在通過開發者/布道師認證、邀請加入SIG組和技術委員會等方式，幫助開發者提升影響力，同時以社區布道、答疑解惑等形式回饋社區。
再來說社區治理。
2023年6月的人工智能框架生態峰會上，昇思MindSpore與18家AI頂尖企業、學會、高校與科研院所聯合發布了《共建人工智能框架生態倡議》，同時成立了昇思MindSpore開源社區理事會。
其中昇思MindSpore開源社區理事會由理事會單位共同管理、決策和規劃社區的整體發展；技術委員會委員看護整體方案，共同決策社區的技術迭代演進；SIG組則全面看護各個技術領域，管理日程開發與維護，旨在構建一個開放、多元、包容的AI技術生態，凝聚多種創新力量。
如果將人才比作種子的話，開源社區就像是一片肥沃的黑土地，為種子的發芽、生根、開花、結果源源不斷的提供養分，最終形成郁郁蔥蔥的森林，成為中國AI產業向上生長的堅實力量。
可以佐證的是：截止到2024年11月，昇思MindSpore的社區貢獻者已經增長到3.7萬人，一年半的時間里翻了兩倍；和360多所高校建立了合作，其中290多所高校開設了昇思MindSpore相關課程；基于昇思MindSpore AI框架的原創論文發表累計超過1700篇，位列全球第二、中國第一；昇思MindSpore獲評Gitee中國最佳開源貢獻項目，成為Gitee-AI分類下全品類指數第一……
四年前，昇思MindSpore播下了開源的種子，現在已經逐漸長成繁榮的森林。
02 使能大模型創新，AI正在千行萬業加速落地
開源生態的價值在哪里？大模型可以說是最典型的標桿。
就產業布局來說，AI框架有著“承上啟下”的作用。按照中國工程院何友院士的說法：“AI框架南向使能多樣化算力，北向孵化各類算法模型，是人工智能應用創新的土壤和源泉”。屬于芯片企業、大模型廠商、應用開發者等不同角色匯聚的“中樞地帶”，對大模型落地應用的意義不言而喻。
智譜CEO張鵬在昇思人工智能框架峰會上的演講中提到：智譜團隊在CodeGeeX的訓練中，使用的就是昇思MindSpore AI框架，依托昇騰與昇思的多維混合分布式并行技術等軟硬件能力，大幅改善了模型開發、訓練的效率及模型精度。目前CodeGeeX在開發者社區中已經有超過百萬的用戶，日活超過了幾十萬。
作為大模型訓練的“煉丹爐”，目前昇思MindSpore已經支持、孵化了50多個主流大模型，包括但不限于訊飛星火、通義千問、GLM4、Llama、Baichuan、DeepSeeek、YI等等，通過套件的能力封裝，可以實現開發、訓練、微調、部署的全流程開箱即用。同時有1700多家社區伙伴，采用昇思MindSpore孵化了2000多個解決方案，覆蓋互聯網、金融、能源、交通等15個行業。
也就是說，昇思MindSpore開源社區通過匯聚大模型產業鏈條中的不同力量，打通了一條大模型開發、訓練、微調、推理部署的“最佳路徑”，跑通了大模型落地的“最后一公里”，讓創新離產業更近。
比如南方電網打造的“馭電”電力潮流預測大模型。
隨著新能源大規模并網，電力系統規劃和運行面臨高度不確定性、高度可變性、海量調度單元、多目標和多約束決策等技術挑戰，傳統的數值仿真工具已經難以滿足需要。
南方電網依托昇思MindSpore AI框架與昇騰AI處理器提供的基礎軟硬件能力，開發出了全新的仿真工具——“馭電”電力潮流預測大模型，通過學習電力系統內在運行規律，具備了海量運行方式生成和新能源承載能力分析等能力，可以在保障電網安全的基礎上最大限度發揮新能源發電能力。
再比如昌平實驗室打造的“天工”抗體設計模型。
抗體類藥物在病毒引起的傳染病等方面發揮著重要作用，但傳統的抗體設計方法效率低下、成本高昂，無法滿足日益增長的臨床需求。
針對這些需求與挑戰，昌平實驗室聯合昇思MindSpore打造了“天工”抗體設計模型，能夠實現抗體功能設計、序列嫁接和活性預測等多種任務，相比傳統抗體設計方法提升一個數量級以上。其中基于天工模型嫁接改造得到的人源抗體，經協和醫學院團隊驗證抗體表達量提升約5至10倍，有望將抗體生產成本降低2倍以上。
可以找到的例子有很多。
比案例本身更有價值的，是將大模型落地到千行萬業的新范式：因為昇思MindSpore正在適配越來越多大模型，提供了全流程的大模型開發套件，一家企業想要基于自身的業務做大模型，不再需要重新開發，只需調用套件接口，喂自己的數據，調整參數，就能開發自己的行業大模型。
03 技術跨越式演進，昇思MindSpore成為新選擇
正如前面所提到的，AI框架的作用是“承上啟下”。
不單單是在技術層面，還涉及產業上下游的協作：上游的大模型開發者，能否進一步提高模型訓練的效率，將更多的精力集中在模型本身，而非基礎設施和工具鏈上；下游的應用開發者，能否進一步降低學習門檻，快速將大模型的能力和場景相融合。
至少就目前來看，AI框架還有不少的挑戰需要解決：
向上解決大模型開發者遇到的一系列問題，譬如大模型的參數量、序列長度、模態結構等指數級演進，產生了異構模型的計算不均衡、超長序列帶來的內存爆炸、模型并行出現流水線空泡等問題；
向下打破大模型落地的重重阻礙，譬如在單模型單任務走向多模型多任務、深度學習和強化學習相融合的趨勢下，多模型協同交互、推理和強化學習任務混合部署、訓推權重在線轉換等挑戰層出不窮。
為什么昇思MindSpore AI框架會成為開發者的新選擇呢？我們從丁誠的演講中找到了三個關鍵線索。
一是從多個維度全面兼容業界主流方案。
考慮到大多數開發者在上手使用新框架時，希望第三方開源樣例可以快速復現，昇思MindSpore在框架層將兼容300多個模型網絡接口、300+算子表達以及數據、權重等基礎格式，同時全面兼容了Transformers和Diffusers全流程套件的200多個接口。
以LLAMA 3-70B的代碼樣例為例，開發者只需要將命名空間進行等價替換，就可以快速完成腳本復現。
二是大幅降低大模型端到端的訓練成本。
大模型訓練的最大痛點無外乎算力和時間成本，而昇思MindSpore AI框架在設計時就構筑了原生的分布式并行能力，同時針對稠密模型、萬億參數的MoE模型、長序列等場景進行了針對性優化。
比如隨著集群規模、并行策略維度的復雜性持續增長，并行策略的選取、優化也會帶來巨大的調試成本，昇思MindSpore將進一步通過自動搜索、仿真執行等能力，讓訓練性能調優從周級下降到了天級。
三是面向未來場景持續優化框架結構。
面向o1代表的慢思考場景，昇思MindSpore將支持在線權重重排，使得訓推任務的轉換和權重切分可以無縫銜接；并將RLHF等基礎模塊進行封裝，方便高效率實現算法，端到端提升整體吞吐。
面向AI for Science場景，昇思MindSpore提供了對數學家更親和的函數式編程體驗，原生支持Python3、NumPy等科學計算的接口加速，并能夠結合自動微分能力和機制加速進行編譯優化，進一步滿足創新訴求。
一個簡單易懂的道理：誰能幫助大模型開發者提高生產力，降低門檻和成本，誰就會成為他們口碑相傳的必備工具。
2020年昇思MindSpore的下載量還只有10萬次，2021年超過100萬次，到了大模型走向落地的2024年，下載量陡增到1100萬次，呈現出了一條鮮明的指數級增長曲線。隨著越來越多的能力升級，相信將有更多的開發者加入到昇思MindSpore開源社區。
04 寫在最后
AI框架是越用越好的生態，越多人使用意味著有更多的貢獻者、更多的問題與解決方案，繼而吸引到越多的開發者使用。
根據有關機構的預測，未來三年大模型在生產經營環節的應用將同步提高到80%以上，一幅大模型驅動的產業創新圖景已經徐徐展開，一個由昇思MindSpore的開發者、伙伴及用戶創造的開源生態也將越來越繁榮。
