ChatGPT的火爆，讓大家看到AI大模型的威力。于是乎，國內相關(guān)企業(yè)紛紛踏入AI大模型賽道，并呈現出“百模大戰”的火爆場(chǎng)面。

01

如何評估AI大模型需求？

當前整個(gè)算力市場(chǎng)面臨著(zhù)算力供給突飛猛進(jìn)和大模型算力需求相對不足的沖突。至頂智庫統計，截至2023年2月，我國目前已投入運營(yíng)和在建的人工智能計算中心達23個(gè)，分布在北京、上海、南京、杭州等多個(gè)城市。但是在A(yíng)I算力加速布局的同時(shí)，企業(yè)如何評估自身的大模型需求以及構建相適應的算力基礎設施成為AI應用發(fā)展的首要問(wèn)題。

評估AI大模型需求是一個(gè)系統工程，不僅需要了解業(yè)務(wù)需求，還要了解模型的復雜性、海量數據的多樣性以及算力本身的性能和成本考量。

AI大模型訓練需要服務(wù)器集群實(shí)現大規模計算，因此企業(yè)要判斷自身服務(wù)對象的數據量以及需要圍繞著(zhù)面向訓練場(chǎng)景，包括算力，網(wǎng)絡(luò )、存儲的整個(gè)算力需求進(jìn)行評估。鄔鴻認為AI大模型需求隨著(zhù)數據量的增長(cháng)，對于算力的需求不是簡(jiǎn)單的線(xiàn)性增加，而是指數型增加?！捌髽I(yè)的服務(wù)客戶(hù)群體是百萬(wàn)，千萬(wàn)，或者甚至上億級別，對AI算力需求是完全不一樣的變化，因為算力是根據AI大模型需求增長(cháng)呈現指數性增加，而不是線(xiàn)性增加，所以首先企業(yè)要明確服務(wù)對象的體量，包括對會(huì )話(huà)請求的要求，通過(guò)這一點(diǎn)可以判斷未來(lái)行業(yè)大模型落地的大概算力需求?！?鄔鴻分享到。

另外，還要考慮大模型拓展帶來(lái)的長(cháng)尾效應?！叭绻M(jìn)一步深入到中小型應用的大模型拓展，例如像電力、金融、電商、物流等行業(yè)大模型，其長(cháng)尾效應非常寬也非常長(cháng)，勢必帶來(lái)AI算力的需求增長(cháng)，雖然沒(méi)有互聯(lián)網(wǎng)動(dòng)輒上萬(wàn)片的算力卡需求，但是聚少成多，具備很強的長(cháng)尾效應?！?鄔鴻介紹到，一般企業(yè)對行業(yè)大模型的算力需求在100-1000張卡之內，這可以滿(mǎn)足絕大部分行業(yè)大模型訓練需求。

02

高效應對AI大模型，算力是關(guān)鍵

當前AI服務(wù)器已經(jīng)廣泛應用在人工智能、深度學(xué)習、智慧教育、智能城市、醫療健康、大數據、高性能計算 (HPC)、虛擬現實(shí)等，以及媒體傳輸、云游戲、元宇宙等智能視覺(jué)云應用等?；贏(yíng)I服務(wù)器在大模型訓練和推理方面的優(yōu)勢，未來(lái)整個(gè)服務(wù)器市場(chǎng)也發(fā)生了巨變?！敖衲陙?lái)看，AI服務(wù)器增長(cháng)速度遠遠高于通用服務(wù)器增長(cháng)速度，從銷(xiāo)售額來(lái)看，我們預估可能到明年或者后年，通用服務(wù)器和AI服務(wù)器市場(chǎng)占比可能達到1:1?！编w鴻談到。

如今，除了傳統服務(wù)器，寶德計算攜手英特爾、英偉達以及昇騰AI等合作伙伴，持續推出了面向AI加速計算服務(wù)器系列產(chǎn)品，通過(guò)高性能、可擴展性強、高能效和開(kāi)箱即用等優(yōu)勢，滿(mǎn)足AI客戶(hù)尤其是大模型訓練和推理提供超高性?xún)r(jià)比的算力支撐。

寶德計算AI服務(wù)器目前針對AI訓練、AI推理以及邊緣推理推出全系列面向AI場(chǎng)景的算力基礎設施。

訓練服務(wù)器偏向于以單機多卡滿(mǎn)足高性能的訓練價(jià)值為主，主要面向互聯(lián)網(wǎng)、AI獨角獸以及ISV等用戶(hù)的傳統的深度學(xué)習訓練場(chǎng)景。比如基于GPU的寶德AI加速計算服務(wù)器，支持新一代 NVIDIA NVLink 互聯(lián)技術(shù)的NVIDIA H800 GPU ，也可支持Intel® Gaudi®2 GPU，通過(guò)GPU承擔部分預算量繁重且耗時(shí)的代碼，實(shí)現應用程序加速，加速企業(yè)實(shí)現更多計算任務(wù)、處理更大數據集、縮短應用運行時(shí)間，可為大模型訓練提供強勁的算力支持。

同時(shí)，寶德自強AI訓練服務(wù)器系列是基于鯤鵬處理器+昇騰910處理器打造的AI訓練服務(wù)器，具有超強算力密度、高速網(wǎng)絡(luò )帶寬等特點(diǎn)。該系列服務(wù)器廣泛應用于深度學(xué)習模型開(kāi)發(fā)和訓練，適用于智慧城市、智慧醫療、天文探索、石油勘探等需要大算力的行業(yè)領(lǐng)域。

推理服務(wù)器主要通過(guò)高并發(fā)的推理卡，面向CSP業(yè)務(wù)的數據中心推理以及ISV面向的私有端-網(wǎng)安、安防、智慧城市等市場(chǎng)，應用于廣告、用戶(hù)畫(huà)像和視頻等場(chǎng)景。

對于需要更多變化的邊緣推理應用場(chǎng)景，寶德計算也有對應的邊緣推理設備，里面集成了英特爾嵌入式CPU，以及NVIDIA Jetson模組，來(lái)滿(mǎn)足客戶(hù)對于邊緣側的推理需求。

03

AI大模型需求背后是整個(gè)AI生態(tài)的建設

面向大模型需求，除了AI算力，還需要關(guān)注整個(gè)AI生態(tài)。這方面，寶德堅持與國內外AI芯片產(chǎn)業(yè)鏈頭部廠(chǎng)商深度合作，緊跟先進(jìn)技術(shù)做適配與研發(fā)，與Intel戰略合作20多年，是NVIDIA和昇騰的OEM合作伙伴，積極擁抱開(kāi)放的AI芯片產(chǎn)業(yè)。同時(shí)，寶德建立AI生態(tài)適配中心，聚焦推理場(chǎng)景，與更多國產(chǎn)AI加速卡合作和適配，滿(mǎn)足客戶(hù)多樣性的算力需求。

此外，因為AI大模型還涉及到算力基礎設施，包括高性能網(wǎng)絡(luò )和高性能存儲。寶德建議在A(yíng)I服務(wù)器集群發(fā)展方面，除了考慮AI算力方面的優(yōu)勢，也要提前規劃好面向未來(lái)的高性能網(wǎng)絡(luò )和高性能存儲平臺，為算力基礎設施擴容打好基礎。

“存儲擴容和網(wǎng)絡(luò )擴建，相對來(lái)說(shuō)都比較復雜，因此在做大模型的初步方案設計時(shí)一定要將底層的根基——底層的高性能存儲加上中間的高性能網(wǎng)絡(luò )整個(gè)平臺搭建好?！?鄔鴻最后分享說(shuō)， “我們給客戶(hù)設計整個(gè)方案，盡量將底層的存儲和網(wǎng)絡(luò )設計得更有預見(jiàn)性，為未來(lái)的擴容留下更多的接口?！?/span>