“真正的推理端剛剛開(kāi)始” 訓(xùn)練算力成本仍占至少七成 大模型下半場(chǎng)何時(shí)爆發(fā)?
原創(chuàng)
2024-09-21 19:04 星期六
財(cái)聯(lián)社記者 付靜
①OpenAI o1系列大模型強(qiáng)調(diào)推理能力,業(yè)內(nèi)稱(chēng)其發(fā)布將帶動(dòng)推理算力的需求提升。
②現(xiàn)階段,AI算力需求主要增長(zhǎng)動(dòng)力仍來(lái)自訓(xùn)練,模型廠(chǎng)商算力成本中訓(xùn)練端占比至少7成。
③今年AI推理成本下探、效率提升,國(guó)內(nèi)外算力廠(chǎng)商已紛紛加入推理競(jìng)賽。

財(cái)聯(lián)社9月21日訊(記者 付靜)“關(guān)于AI是否到達(dá)瓶頸以及進(jìn)展是否會(huì)放緩的爭(zhēng)論,其實(shí)已經(jīng)持續(xù)了一段時(shí)間。AI發(fā)展不僅沒(méi)有放緩,而且我們對(duì)未來(lái)幾年已經(jīng)勝券在握。”O(jiān)penAI創(chuàng)始人兼首席執(zhí)行官Sam Altman在近日的訪(fǎng)談中表示。

持續(xù)引領(lǐng)業(yè)界技術(shù)發(fā)展方向的OpenAI最新發(fā)布的o1系列大模型著重強(qiáng)調(diào)推理能力,引發(fā)模型推理端算力的關(guān)注度攀升。財(cái)聯(lián)社記者日前多方采訪(fǎng)業(yè)內(nèi)人士獲悉,o1的發(fā)布將帶動(dòng)推理算力的需求進(jìn)一步提升,隨著大模型廣泛落地,推理算力有望高增。推理被視作大模型“下半場(chǎng)”,不過(guò)現(xiàn)階段來(lái)看,AI算力需求主要的增長(zhǎng)動(dòng)力仍來(lái)自于訓(xùn)練,模型廠(chǎng)商算力成本中訓(xùn)練端占比至少七成左右,真正的推理端或剛剛開(kāi)始。

“真正的推理端剛剛開(kāi)始”

“o1系列的數(shù)學(xué)推理能力、物理推理能力相比上一代的GPT-4o有非常明顯的進(jìn)步和提升空間。OpenAI引領(lǐng)著整個(gè)行業(yè)的發(fā)展趨勢(shì),國(guó)內(nèi)AI大模型勢(shì)必也會(huì)跟進(jìn)這種推理能力提升趨勢(shì)?!靶”睂W(xué)AI”主理人張亮在接受財(cái)聯(lián)社記者采訪(fǎng)時(shí)表示。

據(jù)OpenAI官方說(shuō)法,與之前的模型相比,o1系列可推理更復(fù)雜的任務(wù)。據(jù)悉,新模型采用強(qiáng)化學(xué)習(xí)方法,對(duì)于復(fù)雜的推理任務(wù)逐步思考和細(xì)化步驟從而產(chǎn)生思維鏈,最后提供過(guò)程+答案的回復(fù)。

國(guó)盛通信近日研報(bào)顯示,o1大模型的推出是對(duì)推理側(cè)需求的跨時(shí)代更新,在進(jìn)入規(guī)模化時(shí)代后,“大力出奇跡”原則下對(duì)芯片數(shù)量、交換機(jī)數(shù)量、連接器數(shù)量等核心硬件數(shù)量的需求都有望指數(shù)級(jí)提升,新一輪的軍備競(jìng)賽或?qū)㈤_(kāi)啟,在強(qiáng)化學(xué)習(xí)對(duì)芯片的龐大需求下“萬(wàn)卡”或僅是個(gè)入門(mén)選擇。

IDC中國(guó)分析師杜昀龍告訴財(cái)聯(lián)社記者,推理在未來(lái)幾年會(huì)占有大部分市場(chǎng),與訓(xùn)練共存。

不過(guò)根據(jù)當(dāng)前大模型的發(fā)展進(jìn)度,一位服務(wù)器從業(yè)者態(tài)度相對(duì)較謹(jǐn)慎,他告訴財(cái)聯(lián)社記者,“其實(shí)從去年到現(xiàn)在,大部分時(shí)間是在解決訓(xùn)練的問(wèn)題,解決有和無(wú)的問(wèn)題。其實(shí)GPT的推理能力本來(lái)不是很好,隨著它(指OpenAI)訓(xùn)練路徑走通了,開(kāi)始對(duì)推理進(jìn)行優(yōu)化。我覺(jué)得真正的推理端剛剛開(kāi)始,國(guó)內(nèi)推理端沒(méi)有爆發(fā)起來(lái),是因?yàn)閺哪P退惴ǖ綉?yīng)用場(chǎng)景整體都沒(méi)有系統(tǒng)性地有效結(jié)合起來(lái)。”

從產(chǎn)業(yè)用于模型訓(xùn)練和推理的具體算力成本比例看,本月初騰訊云副總裁沙開(kāi)波曾在接受財(cái)聯(lián)社在內(nèi)的媒體采訪(fǎng)時(shí)表示,“現(xiàn)在總體上應(yīng)該超過(guò)80%都還是以訓(xùn)練為主,隨著后面整個(gè)應(yīng)用的落地,推理的比重會(huì)逐漸去增加?!?/p>

一位市場(chǎng)分析人士亦告訴財(cái)聯(lián)社記者,“國(guó)內(nèi)訓(xùn)練和推理算力比例大概是4到5比1。”

據(jù)IDC此前預(yù)測(cè)數(shù)據(jù),云端推理占算力的比重將逐步提升,預(yù)計(jì)到2026年推理占62.2%,訓(xùn)練占37.8%。

不過(guò)杜昀龍告訴財(cái)聯(lián)社記者,“這是之前的預(yù)測(cè)數(shù)據(jù),最終以官方最新發(fā)布為主。”根據(jù)其實(shí)際了解到的產(chǎn)業(yè)當(dāng)下?tīng)顩r:“從金額看,訓(xùn)練在70%以上,而推理不到30%。”

而今年上半年英偉達(dá)在其財(cái)報(bào)電話(huà)會(huì)議上曾披露,大模型推理場(chǎng)景已經(jīng)占了數(shù)據(jù)中心業(yè)務(wù)40%的營(yíng)收比例。

對(duì)此前述市場(chǎng)分析人士坦言,“可能海外走得比較快,國(guó)內(nèi)實(shí)際應(yīng)用起來(lái)的不是很明顯,推理算力需求提升其實(shí)也沒(méi)有很明顯?!?/p>

推理成本下探 賽道持續(xù)升溫

財(cái)聯(lián)社記者在采訪(fǎng)中亦獲悉,今年AI推理成本逐步下探,推理效率也得到了提升。

“從目前推理的硬件來(lái)看,其成本是相對(duì)比較低廉的,而且效率并不低,功耗也不大。但是從大模型的應(yīng)用來(lái)說(shuō),推理面臨的挑戰(zhàn)是成本高?!倍抨例埜嬖V記者。

“推理成本在持續(xù)下降。今年相比于去年,在推理階段產(chǎn)生單位智能的成本基本上降了一個(gè)數(shù)量級(jí),明年估計(jì)還會(huì)再有一個(gè)數(shù)量級(jí)的下降?!痹轮得鎰?chuàng)始人楊植麟在近日的一次分享中公開(kāi)稱(chēng)。

不過(guò)張亮也告訴財(cái)聯(lián)社記者,“國(guó)內(nèi)AI大模型廠(chǎng)商為了跑馬圈地,為了圈定AI開(kāi)發(fā)者完成生態(tài)搭建,所以把價(jià)格打下來(lái)了。如果不去調(diào)用各個(gè)大模型平臺(tái)的API,而是自己訓(xùn)練,其實(shí)還會(huì)面臨GPU硬件成本高昂的問(wèn)題?!?/p>

在推理側(cè),“一些業(yè)務(wù)場(chǎng)景的復(fù)雜和落地鏈路的延長(zhǎng),數(shù)據(jù)樣本量不足或缺乏標(biāo)準(zhǔn)化輸出等,都是客觀存在的問(wèn)題。”張亮同時(shí)向記者表示。

財(cái)聯(lián)社記者注意到,大模型應(yīng)用雖尚待落地,各算力硬件廠(chǎng)商已然瞄準(zhǔn)了推理這一賽道。

華為昇騰計(jì)算整機(jī)業(yè)務(wù)人士在近日的華為全聯(lián)接大會(huì)上稱(chēng):“AI應(yīng)用的爆發(fā)式增長(zhǎng),可能帶動(dòng)AI推理算力需求激增至訓(xùn)練算力的百倍。未來(lái),推理將成為AI產(chǎn)業(yè)的主戰(zhàn)場(chǎng)。”基于推理需求趨勢(shì),神州數(shù)碼(000034.SZ)子公司神州鯤泰亦最新宣布,將基于與華為昇騰的合作打造昇騰能力中心。

“國(guó)產(chǎn)算力現(xiàn)在其實(shí)主要在做推理,在訓(xùn)練方面可能還在嘗試?!鼻笆鍪袌?chǎng)分析人士稱(chēng)。近期,獨(dú)角獸燧原科技、壁仞科技先后啟動(dòng)IPO,據(jù)媒體報(bào)道,騰訊此前推出的推理芯片“紫霄”正是由燧原科技合作開(kāi)發(fā)。

與此同時(shí),海外玩家中,AMD、美國(guó)獨(dú)角獸Cerebras Systems、韓國(guó)FuriosaAI紛紛加入AI推理競(jìng)賽。而為降低對(duì)英偉達(dá)等外部芯片供應(yīng)商的依賴(lài),Meta也下場(chǎng)自研推理芯片,其MTIA v2上半年已正式發(fā)布。“像微軟、OpenAI等都有親自去做AI算力芯片的想法,在供給側(cè)一定是有一個(gè)逐步提升增強(qiáng)的過(guò)程。”張亮稱(chēng)。

收藏
110.98W
我要評(píng)論
歡迎您發(fā)表有價(jià)值的評(píng)論,發(fā)布廣告和不和諧的評(píng)論都將會(huì)被刪除,您的賬號(hào)將禁止評(píng)論。
發(fā)表評(píng)論
要聞
股市
關(guān)聯(lián)話(huà)題
4.22W 人關(guān)注
8784 人關(guān)注