隨著人工智能技術(shù)的飛速發(fā)展，大模型應(yīng)用已成為推動行業(yè)進步的關(guān)鍵力量。然而，在這背后，是一系列復(fù)雜而精密的AI基礎(chǔ)設(shè)施（AI Infra）支撐著這一切。從提供強大的算力到優(yōu)化模型部署，AI Infra正成為連接技術(shù)革新與實際應(yīng)用的重要橋梁。本文深入探討了AI Infra在當(dāng)前及未來AI發(fā)展中的核心作用，以及它如何幫助大模型應(yīng)用實現(xiàn)更廣泛、更高效的落地。

業(yè)內(nèi)有一句廣為流傳的諺語：“當(dāng)大家都去挖金礦時，賣鏟子的最賺錢?！?/p>

在19世紀(jì)中葉的淘金熱中，挖金礦的死了一波又一波，反而哪些賣鏟子、賣牛仔褲的人賺得盆滿缽滿。正如賣鏟人在淘金熱中成為最大贏家，在當(dāng)今AIGC時代，AI Infra也扮演著類似的角色。

在大模型這座金礦剛剛開始挖掘的當(dāng)下，挖金子的AI還沒有盈利，賣鏟子的英偉達卻賺翻了，市值一度沖破3萬億美元，超過蘋果成為僅次于微軟的全球第二大公司。

AI Infra是指在大模型生態(tài)系統(tǒng)中，鏈接算力和應(yīng)用的中間層基礎(chǔ)設(shè)施，包括硬件、軟件、工具鏈和優(yōu)化方法等，是一個整體解決方案。

如果用云計算三層構(gòu)架做類比，AI Infra與PaaS層級相似，為大模型應(yīng)用開發(fā)提供一站式模型算力部署和開發(fā)工具平臺。算力、算法、數(shù)據(jù)可以看作IaaS層，各種開源和閉源模型則是SaaS在大模型時代的新演變，即MaaS。

大模型應(yīng)用落地的進程在不斷加速，AI Infra的價值潛力被進一步釋放。中金數(shù)據(jù)預(yù)測，目前，AI Infra產(chǎn)業(yè)處于高速增長的發(fā)展早期，未來3-5年內(nèi)各細(xì)分賽道空間或保持30%+的高速增長。

對AI Infra的看好也在資本層面有所反映。由袁進輝創(chuàng)建的主攻推理框架的初創(chuàng)公司硅基流動，近日完成天使輪+融資，融資金額近億元人民幣。半年時間內(nèi)硅基流動已經(jīng)經(jīng)歷兩輪融資，今年1月剛剛完成5000萬元的天使輪融資。

與袁進輝創(chuàng)業(yè)方向相同，前阿里副總裁賈揚清在去年成立Lepton AI，據(jù)公開消息披露，現(xiàn)已完成天使輪融資由Fusion Fund基金、CRV風(fēng)投兩家機構(gòu)投資。

隨著大模型進入大規(guī)模應(yīng)用落地時期，提供大模型訓(xùn)練、部署和應(yīng)用時所需的基礎(chǔ)設(shè)施成為關(guān)鍵一環(huán)，AI Infra成為大模型應(yīng)用爆發(fā)背后“掘金賣鏟”的最佳生意。

一、AI Infra：大模型應(yīng)用背后千億市場的“掘金賣鏟”生意

相比模型價值，卷AI應(yīng)用成為行業(yè)共識。李彥宏堅信，基礎(chǔ)模型之上將誕生數(shù)以百萬計的應(yīng)用，它們對于現(xiàn)有業(yè)態(tài)的改造作用，比從0到1的顛覆作用更大。

如今AI應(yīng)用的供給在不斷增加，IDC在年初時預(yù)測，2024年全球?qū)⒂楷F(xiàn)出超過5億個新應(yīng)用，這相當(dāng)于過去40年間出現(xiàn)的應(yīng)用數(shù)總和。

從最近的市場變化我們也能感知一二。最近視頻生成類模型產(chǎn)品扎堆出現(xiàn)，快手的可靈、字節(jié)跳動的即夢、商湯的Vimi集體亮相，此外還有AI搜索產(chǎn)品、AI陪伴類產(chǎn)品等層出不窮。

大模型應(yīng)用爆發(fā)趨勢已然確定，根據(jù)InfoQ研究中心數(shù)據(jù)，2030年AGI應(yīng)用市場規(guī)模將達4543.6億元，模型應(yīng)用層的巨大機會已經(jīng)吸引了幾乎各行各業(yè)的參與。

而在大模型應(yīng)用之下，AI Infra成為其爆發(fā)的隱藏推手。

從開發(fā)流程角度看，一款大模型應(yīng)用的開發(fā)，離不開數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練與調(diào)優(yōu)、模型部署與應(yīng)用以及后續(xù)的監(jiān)控與維護。而AI Infra就是為AI應(yīng)用開發(fā)者提供算力與工具需求。

如果把開發(fā)AI應(yīng)用看成建房子，那么AI Infra就是提供水泥鋼筋的施工隊。AI Infra施工隊的價值點在于它是一個集成平臺，將下層的算力芯片層與上層的AI應(yīng)用層打通，讓開發(fā)者實現(xiàn)一鍵調(diào)用，并且實現(xiàn)降低算力成本、提升開發(fā)效率并且保持模型優(yōu)秀性能的效果。

讓應(yīng)用更簡單，讓AI落地更便捷，是AI Infra的使命。可以說，AI應(yīng)用的市場有多大，AI Infra的機會就有多多。

大模型時代，AI Infra等對于模型訓(xùn)練和推理加速至關(guān)重要。隨著大模型走入大規(guī)模應(yīng)用落地時期，模型訓(xùn)練和推理效率、性能、成本效益等方面的優(yōu)化變得尤為重要。此時，AI Infra則在其中發(fā)揮了關(guān)鍵作用。

實際上，AI Infra的價值主要集中在推理層，相比訓(xùn)練，推理的市場容量更大。

大模型訓(xùn)練說到底是巨頭的游戲，且無論是谷歌、微軟還是百度、阿里他們都有自己完整的AI基礎(chǔ)層，只做AI Infra的廠商在這方面機會不大。

而推理則不同，幾乎所有的大模型公司、應(yīng)用公司以及用大模型進行改造的各行業(yè)都需要推理，訓(xùn)練是模型生產(chǎn)的階段性產(chǎn)物，而推理則在模型使用時是持續(xù)性的。

具體到數(shù)據(jù)處理量上，訓(xùn)練一個大型模型所需處理的token數(shù)量雖然龐大，通常達到幾萬億到十萬億級別，但這僅是模型誕生前的準(zhǔn)備階段。而進入推理階段后，模型的實際應(yīng)用對數(shù)據(jù)處理的需求急劇上升，以O(shè)penAI為例，其單日生成的token量就可達一萬億至幾萬億之巨，這意味著在極短的時間內(nèi)，如一周內(nèi)，所處理的數(shù)據(jù)量就可能遠(yuǎn)超訓(xùn)練階段所需。

根據(jù)市場研究公司MarketsandMarkets的數(shù)據(jù)，全球大模型訓(xùn)練和推理市場規(guī)模預(yù)計將從2023年的125億美元增長到2028年的563億美元，AI Infra的“掘金賣鏟”生意潛力巨大。

二、大模型部署成本降低10000倍

“如何把大模型部署成本降低10000倍？部署成本=芯片+軟件+模型+云“，袁進輝在2024稀土開發(fā)者大會上這樣談到。

AI Infra作為提供大模型訓(xùn)練、部署和應(yīng)用時所需的基礎(chǔ)設(shè)施，快速、便宜和優(yōu)質(zhì)是最核心的三個問題，AI Infra要實現(xiàn)的就是在不犧牲模型性能的前提下盡可能降低模型部署成本。

成本、效率和性能是大模型發(fā)展中的不可能三角，在AI Infra賽道的玩家如何實現(xiàn)？

如果說模型層和應(yīng)用層已經(jīng)成為紅海，那么AI Infra還是一片藍海。

在國內(nèi)專注AI Infra的公司并不多，硅基流動和無問芯穹是兩家重量級玩家。該賽道的國外企業(yè)包括英偉達、亞馬遜以及賈揚清創(chuàng)建的Lepton AI等。

雖然，硅基流動與無問芯穹都聚焦AI Infra，但兩者在服務(wù)重點、技術(shù)實現(xiàn)還是有很大差異。

硅基流動創(chuàng)始人袁進輝是一個AI領(lǐng)域的連續(xù)創(chuàng)業(yè)者，2017年創(chuàng)辦一流科技，聚焦深度學(xué)習(xí)框架，打造出開源訓(xùn)練框架OneFlow，服務(wù)于大模型的生產(chǎn)，2023年被光年之外收購。

去年8月，袁進輝帶領(lǐng)其核心團隊成員從光年之外獨立，成立硅基流動，聚焦AI Infra，服務(wù)模型大模型應(yīng)用，瞄準(zhǔn)推理領(lǐng)域，從頭搭建了一套獨立于伯克利的 vLLM和英偉達的TensorRT—LLM之外的推理框架—SiliconLLM。

除了獨創(chuàng)的推理框架外，硅基流動目前還上線了一站式大模型API云服務(wù)平臺SiliconCloud，支持Qwen2(7B)、GLM4(9B)、Yi1.5(9B)等開源模型免費使用，提供高性能文生圖/視頻加速庫OneDif等產(chǎn)品。

SiliconCloud云服務(wù)平臺在SiliconLLM和OneDif的加持優(yōu)化下，能夠讓開發(fā)者在不犧牲性能的前提下，更低成本和更高效率地進行模型應(yīng)用開發(fā)。

據(jù)悉，硅基流動的新產(chǎn)品SiliconCloud公測上線一個月后，平臺用戶日均調(diào)用數(shù)十億Token。

比硅基流動早成立3個月的無問芯穹，在AI Infra上，著眼于軟硬一體的整體解決方案，聚焦從算法到芯片、從芯片集群到模型、再從模型到應(yīng)用的三階段“M×N”中間層產(chǎn)品。

今年3月無問芯穹首次公測Infini-AI大模型開發(fā)與服務(wù)云平臺，Infini-AI云平臺共由三部分構(gòu)成，分別是異構(gòu)云管平臺、一站式AI平臺和大模型服務(wù)平臺。

從目前來看，無問芯穹重點從多元異構(gòu)算力入手，打破單一芯片品牌訓(xùn)練資源瓶頸，提高算力供給水平，降低模型部署成本。

在7月WAIC大會上，無問芯穹針對多芯片異構(gòu)生態(tài)豎井的難題發(fā)布了異構(gòu)分布式混訓(xùn)平臺，以適應(yīng)多模型與多芯片的格局。

目前國內(nèi)市場上的芯片供應(yīng)除了英偉達和AMD外，還存在大量國產(chǎn)芯片，而這種多芯片之間造成異構(gòu)生態(tài)豎井，無問芯穹的底層解法是，提供高效整合異構(gòu)算力資源的好用算力平臺，以及支持軟硬件聯(lián)合優(yōu)化與加速的中間件，讓異構(gòu)芯片真正轉(zhuǎn)化為大算力。實現(xiàn)了混訓(xùn)算力利用率最高可達97.6%。

可以看到，無論是硅基流動還是無問芯穹，盡管他們的AI Infra路線不盡相同，但都有一個共同目標(biāo)：降低大模型部署成本，助力大模型應(yīng)用更快更好地落地。

除了以硅基流動和無問芯穹為代表的初創(chuàng)公司陣營，以阿里、騰訊、百度為代表的云計算廠商也是目前AI Infra的主要玩家。

云計算廠商憑借其雄厚的資本及深耕多年的技術(shù)積累，在AI Infra層有著極強的優(yōu)勢。

以阿里云為例，阿里云在AI Infra層提供了包括靈駿智算集群、HPN 7.0網(wǎng)絡(luò)架構(gòu)、CPFS存儲系統(tǒng)、PAI人工智能平臺、魔搭社區(qū)和百煉平臺等一系列產(chǎn)品和服務(wù)，覆蓋了從基礎(chǔ)設(shè)施到模型開發(fā)、訓(xùn)練、部署的全流程，已形成中國最完備的AI基礎(chǔ)設(shè)施產(chǎn)品及服務(wù)，包括IaaS層、PaaS層和MaaS層的服務(wù)。

可以看到，阿里云通過提供高性能、高穩(wěn)定性的AI計算服務(wù)，支持大模型訓(xùn)練和推理，以構(gòu)建開放的AI應(yīng)用生態(tài)。實際上，無論是阿里云還是其他云計算廠商，想要的不僅是“賣鏟子”，更重要的是用AI驅(qū)動現(xiàn)有業(yè)務(wù)，覆蓋條業(yè)務(wù)線，每一個場景。

云計算廠商“大而全”，初創(chuàng)公司“小而美”。大廠們從算力、數(shù)據(jù)、網(wǎng)絡(luò)、存儲等到模型再到開發(fā)工具鏈，構(gòu)建大模型生態(tài)。

而初創(chuàng)公司，雖然不具備大廠們的全產(chǎn)業(yè)鏈，卻也在AI Infra層發(fā)揮著重要作用，硅基流動盯住推理領(lǐng)域，獨創(chuàng)推理框架SiliconLLM；無問芯穹用異構(gòu)算力筑基AI Infra。他們沿著各自的路線在通往普惠性AGI之路上不斷探索。

三、鏟子難賣，金礦難挖

盡管在大模型應(yīng)用爆發(fā)的當(dāng)下，AI Infra層潛藏著巨大的生意。但是對于這些做AI Infra的公司來說，即使他們在自己的專業(yè)領(lǐng)域如此強大，在潮水的變化面前依然脆弱。

鏟子難賣，金礦難挖。

英偉達CUDA生態(tài)已經(jīng)發(fā)展了20年，在AI領(lǐng)域，最先進的模型和應(yīng)用都首先在CUDA上跑起來。

每個硬件之間都有不同的接口，CUDA統(tǒng)一了不同接口之間的語言，讓使用者能夠用一套標(biāo)準(zhǔn)語言去使用不同硬件。在模型開發(fā)過程中，開發(fā)者勢必會趨同于在同一個語言體系中去完成自己的開發(fā)。而這實際上就構(gòu)成了英偉達CUDA生態(tài)厚度。

目前，CUDA生態(tài)在AI算力市場占據(jù)了90%以上的份額。不過隨著AI模型的標(biāo)準(zhǔn)化，模型之間結(jié)構(gòu)差異變小，不再需要調(diào)度多種大小模型，英偉達CUDA生態(tài)厚度在變薄。

即使如此，英偉達在算力市場也是絕對王者。賈揚清預(yù)測，英偉達在接下來的3~5年當(dāng)中，還會是整個AI硬件提供商中絕對的領(lǐng)頭羊，市場發(fā)展占有率不會低于80%。

盡管硅基流動和無問芯穹等AI Infra層的廠商有區(qū)別英偉達的優(yōu)勢，但在絕對壟斷者面前，仍如蚍蜉撼樹。

對AI Infra層的賣鏟廠商來說，外有英偉達守礦人，堵在門口賣門票與鏟子，好不容易找到一條進入金礦的小路，卻發(fā)現(xiàn)，里面的挖礦人已經(jīng)習(xí)慣“徒手”挖礦，不再接受新鏟子。

在國內(nèi)，企業(yè)為軟件付費意愿低，且大多習(xí)慣集成式服務(wù)。國內(nèi)SaaS投資已經(jīng)降到冰點，如果AI Infra層廠商單靠賣硬件或軟件難以實現(xiàn)商業(yè)化。

軟硬件捆綁式銷售成為這些廠家不約而同選擇的商業(yè)化模式。

在無問芯穹創(chuàng)始人夏立雪看來，無問芯穹本質(zhì)上扮演了一個運營商的角色：運營算力資源并提供所需工具?！拔覀兛吹搅四軌驇е布瑤еY源去售賣，而且客戶是認(rèn)可我們的價值的?！?/p>

和夏立雪想法相同，袁進輝同樣認(rèn)為，“當(dāng)下綁定一個客戶必須付費的產(chǎn)品，如硬件或云計算資源，一起賣軟件，是能夠跑通的?！?/p>

另外還有一個重要的商業(yè)化趨勢——出海。從市場空間看，有統(tǒng)計數(shù)字表明，目前生成式 AI 和大模型的海外需求是國內(nèi)需求的幾十到上百倍，全球化是AI Infra層廠商必須要做的事情。

做全球化還有一層重要原因，在海外，B端的軟件付費服務(wù)難度較低，接受程度高。

硅基流動已與多家海外AIGC頭部企業(yè)合作，成為公司第一批付費客戶，在近期獲得新一輪融資后，袁進輝表示，公司將會同步拓展海外市場。而賈揚清直接將公司建在海外，瞄準(zhǔn)海外企業(yè)和國內(nèi)想要拓展海外市場的企業(yè)。

商業(yè)模式標(biāo)準(zhǔn)化問題仍需AI Infra層廠商慢慢探索。

隨著AI模型的標(biāo)準(zhǔn)化以及應(yīng)用場景的爆發(fā)式增長，低成本、高性能的一站式模型部署方案勢必占據(jù)重要生態(tài)位。對于大模型公司來說，一站式的模型部署方案不僅能夠解決算力短缺和數(shù)據(jù)高效處理等問題，讓企業(yè)能夠?qū)Ｗ⒂趹?yīng)用層面的落地難題；同時，通過集中式的資源管理和服務(wù)化，AI Infra可以幫助企業(yè)降低模型及應(yīng)用開發(fā)成本。

不過，雖然AI Infra可以帶來成本效益，但其初期的投資和維護成本仍然較高，對于初創(chuàng)公司來說仍是一個不小的挑戰(zhàn)。

伴隨著AI應(yīng)用的快速發(fā)展，AI Infra需要能夠快速適應(yīng)新的變化和需求，增強基礎(chǔ)設(shè)施的可擴展性和靈活性，而未來誰能夠為多樣化的應(yīng)用場景提供個性化的大模型一站式部署方案或許就能夠在這場競爭中勝出。

關(guān)于AI Infra的未來，夏立雪這樣形容：“打開水龍頭前，我們不需要知道水是從哪條河里來的。同理，未來我們用各種AI應(yīng)用時，也不會知道它調(diào)用了哪些基座模型，用到了哪種加速卡的算力——這就是最好的AI Native 基礎(chǔ)設(shè)施。”