時(shí)間:2024-01-18來(lái)源:本站
2024年的地方兩會(huì )已經(jīng)拉開(kāi)大幕,“增強經(jīng)濟回升向好態(tài)勢”成多地政府工作報告的要點(diǎn),人工智能作為數字經(jīng)濟高質(zhì)量發(fā)展的重要抓手,受到廣泛關(guān)注,AI以及大模型等成為代表提案的高頻詞。隨著(zhù)數字技術(shù)和大模型等AI技術(shù)的加速發(fā)展,人工智能的落地應用已經(jīng)步入深水區,支撐計算和推理需求、滿(mǎn)足成本和節能要求的更具性?xún)r(jià)比的算力成為用戶(hù)的一致訴求,第五代英特爾® 至強® 可擴展處理器應需而生!
為AI加速而生,第五代英特爾® 至強® 可擴展處理器完美運行200億參數大模型
2023年底全新發(fā)布的第五代英特爾® 至強® 可擴展處理器,核心數量增至最高64核心,配備了高達 320MB 的 L3 緩存和 128MB 的 L2 緩存,同比上代產(chǎn)品相同 TDP 下平均性能提升 21%,內存帶寬提高多達 16%,三級緩存容量更是提升 2.7 倍。
它每個(gè)內核都具備 AI 加速功能,無(wú)需添加獨立加速器,就可處理要求嚴苛的 AI 工作負載,與上代相比,其訓練性能提升多達 29%,推理能力提升高達 42%,尤其是在運行參數量 200 億及以下的大語(yǔ)言模型時(shí),能夠做到時(shí)延不超過(guò) 100 毫秒,堪稱(chēng)完美。
而且,憑借出色的軟硬件工具和生態(tài)系統、先進(jìn)的機密計算技術(shù)等,它能夠提供可添加加速器和GPU的開(kāi)放標準框架、優(yōu)化和開(kāi)箱即用的預訓練AI模型等,便于客戶(hù)隨時(shí)進(jìn)行AI部署。新至強的AI能力也得到了京東云雙十一、阿里云第八代企業(yè)級實(shí)例 g8i、火山引擎第三代彈性計算實(shí)例、華棲云等用戶(hù)的實(shí)證和好評。
基于第五代英特爾® 至強® 處理器,
寶德服務(wù)器打造更具性?xún)r(jià)比的AI算力
大模型和AIGC等AI技術(shù)風(fēng)起潮涌,技術(shù)創(chuàng )新應用與算力需求之間出現了某些不和諧,其中不乏某些工作負載過(guò)度浪費GPU資源。對此,寶德計算發(fā)揮自身板卡到整機系統的自主研發(fā)實(shí)力和AI市場(chǎng)經(jīng)驗,基于全新的至強處理器,加大在全新一代AI服務(wù)器的技術(shù)創(chuàng )新和產(chǎn)品打磨,探索更具性?xún)r(jià)比和競爭力的AI算力。
首先,寶德完成了數據中心級AI訓練服務(wù)器、中心和邊緣側推理的AI推理服務(wù)器以及面向邊緣極端環(huán)境的AI邊緣服務(wù)器、AI訓推一體機等全線(xiàn)產(chǎn)品的測試與升級,幫助客戶(hù)快速將全新AI算力轉化成應用,比如寶德雙路服務(wù)器PR2715E,性能強勁、安全可靠、高效節能,是AI和大模型推理的優(yōu)秀算力平臺。
其次,寶德進(jìn)一步升級和完善生成式AI解決方案(寶德AIGC)。該方案將采用新一代至強處理器平臺和Intel GPU,支持集群部署和單機部署多種形式,能充分發(fā)揮和讓客戶(hù)受益于新平臺強大的AI計算、推理性能和卓越的經(jīng)濟效益,可廣泛應用于行業(yè)大模型、智能語(yǔ)音助手、網(wǎng)絡(luò )直播、線(xiàn)上教育和培訓以及多行業(yè)的客服與支持,并且支持按需定制。
而且,寶德注重加強產(chǎn)品能效的提升,多措并舉降低客戶(hù)的總體擁有成本。一方面,新一代寶德服務(wù)器在性能大幅提升的同時(shí),能夠兼容上一代產(chǎn)品的軟件和平臺,大大縮減用戶(hù)新系統和新應用部署所需的測試和驗證工作。另一方面,充分發(fā)揮新至強處理器內置加速器低功耗高能效的優(yōu)勢,并且通過(guò)智能管理軟件、智能散熱系統、部件或整機液冷散熱等節能方案的靈活配置和按需定制,進(jìn)一步降低整機能耗,為用戶(hù)提供技術(shù)先進(jìn)、智能高效、綠色節能的AI算力方案!