RM新时代实业有限公司

  • ?
    萬(wàn)億大模型存力受限?寶德自研AI數據湖存儲來(lái)破局

    時(shí)間:2023-08-01來(lái)源:本站

    近年來(lái),隨著(zhù)人工智能模型產(chǎn)業(yè)的快速發(fā)展,尤其是在Transformer結構出現以后,AI大模型規模逐步提升。ChatGPT的問(wèn)世,更是掀起了一場(chǎng)“百模大戰”,大模型參數量實(shí)現了從億級到萬(wàn)億級的突破。
    而大模型所謂的“大”,體現在模型的深度學(xué)習網(wǎng)絡(luò )層數多、鏈接多、參數復雜,以及訓練所用數據集種類(lèi)更復雜,數據數量更豐富。模型規模的提升,帶來(lái)了AI相關(guān)海量數據的增長(cháng),也帶來(lái)了存儲和處理這些數據的難題。大模型訓練不僅受限于海量的算力, 更受限于巨大的存力瓶頸。

    大模型時(shí)代,AI存力與算力同樣不容忽視

    數據存力是算力價(jià)值的前提和基礎,只有數據存得好、算得快、傳得穩,整個(gè)算力基礎設施才能夠發(fā)揮數據要素的價(jià)值,才能更好地支持大模型中的信息實(shí)時(shí)傳輸和高效率讀寫(xiě)。隨著(zhù)算力需求的迅速提升,支撐起龐大AI算力的存儲系統也亟待升級。如若存儲系統的性能無(wú)法匹配強大的算力,那么GPU/CPU算力將會(huì )由于數據無(wú)法跟上而處于等待狀態(tài),將會(huì )嚴重浪費龐大、昂貴的算力基礎資源投資。
    當前,大模型應用場(chǎng)景對數據存儲提出了以下挑戰:

    1

    數據歸集速度慢且來(lái)源復雜,預處理階段難以實(shí)現統一訪(fǎng)問(wèn)。數據類(lèi)型多元復雜,服務(wù)協(xié)議多樣,傳統存儲面向單一數據類(lèi)型設計,難以以統一的方式進(jìn)行訪(fǎng)問(wèn)和處理,數據歸集流程慢。


    2

    海量小文件數據加載慢,存儲性能不足導致算力無(wú)法充分發(fā)揮。大模型對存儲系統的讀寫(xiě)性能要求較高,特別是在訓練過(guò)程中需要頻繁地讀取和寫(xiě)入數據,而且需要支持快速的隨機訪(fǎng)問(wèn)。數據通常以圖片、文檔等小文件的形式存在,由于這些小文件的數量巨大,傳統存儲系統可能無(wú)法高效地處理這些數據,導致加載速度緩慢。


    3

    寶貴的研究數據,在各個(gè)階段面臨可靠性和安全性問(wèn)題。大模型通常使用敏感數據進(jìn)行訓練和推斷,在存儲時(shí)需要保證數據的安全性和完整性,防止數據外泄、篡改或被惡意攻擊。一旦存儲數據損壞或丟失,可能會(huì )導致訓練結果的丟失或者準確性下降。


    4

    大容量存儲需求。大模型需要處理大量的數據,包括輸入數據和模型參數。這些數據往往非常龐大,需要大量的存儲空間來(lái)保存。

    為了解決大模型時(shí)代的數據存儲難題,并適應AI大模型的發(fā)展需求,寶德重磅推出了完全自研的AI數據湖存儲——PLStor GS9200來(lái)破局!      
    寶德PLStor GS9200是一款面向大模型多應用場(chǎng)景,以性能為中心,具備高可靠、簡(jiǎn)單易用和豐富企業(yè)級功能等優(yōu)勢的領(lǐng)先并行存儲系統。其存儲集群支持無(wú)上限的大規模擴展,可以輕松擴展到EB級別,并能夠承載上萬(wàn)臺AI/異構算力服務(wù)器,滿(mǎn)足大容量存儲需求。    


    極致性能

    海量小文件高吞吐量、計算客戶(hù)端高讀寫(xiě)


    寶德PLStor GS9200提供了業(yè)內領(lǐng)先的基于os內核程序優(yōu)化設計的原生客戶(hù)端,以一客戶(hù)端對多臺存儲節點(diǎn)的方式并行讀寫(xiě)數據,支持RDMA技術(shù)。整個(gè)系統能提供上TB/s級的吞吐帶寬。

    在實(shí)際運行中,寶德PLStor GS9200的單臺計算節點(diǎn)能夠充分利用自身的網(wǎng)絡(luò )吞吐極限能力,進(jìn)行數據讀寫(xiě)。例如,配置了400Gbps Infiniband網(wǎng)絡(luò )的PLStor GS9200單臺節點(diǎn)可以獲得≥45GB/s的讀寫(xiě)帶寬。寶德PLStor GS9200在性能測試中表現出色,相比于業(yè)內友商和開(kāi)源系統,每塊Nvme-SSD在該系統中可以提供超過(guò)4.3GB/s的讀寫(xiě)性能,提升了150%;而每塊SATA硬盤(pán)的讀寫(xiě)性能超過(guò)120MB/s,提升了80%。



    存算融合

    多級存儲滿(mǎn)足不同階段的數據存儲需求


    寶德PLStor GS9200采用存算融合的設計,可以整合計算節點(diǎn)內的存儲資源,構建全局命名空間的近線(xiàn)存儲池。這使得AI計算可以像訪(fǎng)問(wèn)本地資源一樣訪(fǎng)問(wèn)并行文件系統,實(shí)現文件共享和高并發(fā)讀寫(xiě)訪(fǎng)問(wèn)。通過(guò)存算融合的部署方案,可以實(shí)現靈活配置數量來(lái)擴展GPU/CPU計算資源和存儲資源,以滿(mǎn)足動(dòng)態(tài)擴展的業(yè)務(wù)需求。



    數據安全無(wú)小事,軟硬實(shí)力兩手抓


    寶德PLStor GS9200保證并行存儲系統在數據安全性、高并發(fā)讀寫(xiě)、高空間利用率三者皆得。它采用N+M糾刪碼來(lái)設置數據保護等級,并具備自動(dòng)故障檢測與恢復機制,實(shí)現硬件系統故障自動(dòng)快速恢復重建。系統同時(shí)支持智能快照功能,可以創(chuàng )建多達無(wú)限數量的基于增量歷史時(shí)間點(diǎn)拷貝。當發(fā)生數據“軟”故障,比如軟件程序導致的數據損壞、病毒破壞、意外刪除等,可以通過(guò)對合適的時(shí)間點(diǎn)標記進(jìn)行“回滾”來(lái)快速恢復數據。此外,系統還支持權限控制列表ACL等功能,以及更多可靈活配置的文件訪(fǎng)問(wèn)權限控制選項,以滿(mǎn)足不同場(chǎng)景下的數據安全存儲和訪(fǎng)問(wèn)需求。



    數據湖存儲多協(xié)議互通,實(shí)現平臺高效管理


    寶德PLStor GS9200數據湖存儲支持塊、文件、對象、大數據等存儲協(xié)議,并且支持POSI/NFS/CIFS/HDFS/S3/Swift等多種協(xié)議互通,可同時(shí)訪(fǎng)問(wèn)同一文件,避免因訪(fǎng)問(wèn)協(xié)議不同造成的數據拷貝。它還支持多協(xié)議同時(shí)讀寫(xiě),無(wú)明顯語(yǔ)義損失,支持文件修改寫(xiě)、對象多段上傳等常用語(yǔ)義,無(wú)需配置額外的網(wǎng)關(guān)。同時(shí)數據可根據應用需要在數據湖中進(jìn)行可視的流動(dòng),簡(jiǎn)化數據歸集流程,實(shí)現統一平臺管理,大大提升業(yè)務(wù)與管理效率。

    當前,萬(wàn)億級AI大模型之戰已經(jīng)打響。面對萬(wàn)億級參數量和PB級數據量帶來(lái)的挑戰,寶德PLStor GS9200并行存儲系統憑借更高的可靠性、讀寫(xiě)性能、兼容能力等優(yōu)勢,完美替代了傳統的文件系統,支撐了大量人工智能、商用HPC項目的數據存儲應用,并成功促進(jìn)了超過(guò)五千臺計算節點(diǎn)客戶(hù)端、超過(guò)五百臺存儲節點(diǎn)的單一文件系統、超過(guò)100PB裸容量的單一存儲池等諸多大規模項目落地,助力AI大模型等更多應用加速。
    未來(lái),寶德將持續技術(shù)創(chuàng )新,提供多樣化的存儲產(chǎn)品與方案,并積極攜手更多合作伙伴,共同推進(jìn)AI賦能千行百業(yè),助力開(kāi)啟AI大模型時(shí)代新局面。
    熱門(mén)推薦
    ? RM新时代实业有限公司
  • RM新时代官网网址 RM新时代手机版下载 新时代RM|APP官网网址 RM新时代正规平台入口 RM新时代注册 RM新时代正规平台入口-百度知道 RM新时代平台 rm新时代跑路 rm新时代正规吗 RM新时代入口