時(shí)間:2023-08-01來(lái)源:本站
大模型時(shí)代,AI存力與算力同樣不容忽視
1
數據歸集速度慢且來(lái)源復雜,預處理階段難以實(shí)現統一訪(fǎng)問(wèn)。數據類(lèi)型多元復雜,服務(wù)協(xié)議多樣,傳統存儲面向單一數據類(lèi)型設計,難以以統一的方式進(jìn)行訪(fǎng)問(wèn)和處理,數據歸集流程慢。
2
海量小文件數據加載慢,存儲性能不足導致算力無(wú)法充分發(fā)揮。大模型對存儲系統的讀寫(xiě)性能要求較高,特別是在訓練過(guò)程中需要頻繁地讀取和寫(xiě)入數據,而且需要支持快速的隨機訪(fǎng)問(wèn)。數據通常以圖片、文檔等小文件的形式存在,由于這些小文件的數量巨大,傳統存儲系統可能無(wú)法高效地處理這些數據,導致加載速度緩慢。
3
寶貴的研究數據,在各個(gè)階段面臨可靠性和安全性問(wèn)題。大模型通常使用敏感數據進(jìn)行訓練和推斷,在存儲時(shí)需要保證數據的安全性和完整性,防止數據外泄、篡改或被惡意攻擊。一旦存儲數據損壞或丟失,可能會(huì )導致訓練結果的丟失或者準確性下降。
4
大容量存儲需求。大模型需要處理大量的數據,包括輸入數據和模型參數。這些數據往往非常龐大,需要大量的存儲空間來(lái)保存。
極致性能
海量小文件高吞吐量、計算客戶(hù)端高讀寫(xiě)
寶德PLStor GS9200提供了業(yè)內領(lǐng)先的基于os內核程序優(yōu)化設計的原生客戶(hù)端,以一客戶(hù)端對多臺存儲節點(diǎn)的方式并行讀寫(xiě)數據,支持RDMA技術(shù)。整個(gè)系統能提供上TB/s級的吞吐帶寬。
在實(shí)際運行中,寶德PLStor GS9200的單臺計算節點(diǎn)能夠充分利用自身的網(wǎng)絡(luò )吞吐極限能力,進(jìn)行數據讀寫(xiě)。例如,配置了400Gbps Infiniband網(wǎng)絡(luò )的PLStor GS9200單臺節點(diǎn)可以獲得≥45GB/s的讀寫(xiě)帶寬。寶德PLStor GS9200在性能測試中表現出色,相比于業(yè)內友商和開(kāi)源系統,每塊Nvme-SSD在該系統中可以提供超過(guò)4.3GB/s的讀寫(xiě)性能,提升了150%;而每塊SATA硬盤(pán)的讀寫(xiě)性能超過(guò)120MB/s,提升了80%。
存算融合
多級存儲滿(mǎn)足不同階段的數據存儲需求
寶德PLStor GS9200采用存算融合的設計,可以整合計算節點(diǎn)內的存儲資源,構建全局命名空間的近線(xiàn)存儲池。這使得AI計算可以像訪(fǎng)問(wèn)本地資源一樣訪(fǎng)問(wèn)并行文件系統,實(shí)現文件共享和高并發(fā)讀寫(xiě)訪(fǎng)問(wèn)。通過(guò)存算融合的部署方案,可以實(shí)現靈活配置數量來(lái)擴展GPU/CPU計算資源和存儲資源,以滿(mǎn)足動(dòng)態(tài)擴展的業(yè)務(wù)需求。
數據安全無(wú)小事,軟硬實(shí)力兩手抓
寶德PLStor GS9200保證并行存儲系統在數據安全性、高并發(fā)讀寫(xiě)、高空間利用率三者皆得。它采用N+M糾刪碼來(lái)設置數據保護等級,并具備自動(dòng)故障檢測與恢復機制,實(shí)現硬件系統故障自動(dòng)快速恢復重建。系統同時(shí)支持智能快照功能,可以創(chuàng )建多達無(wú)限數量的基于增量歷史時(shí)間點(diǎn)拷貝。當發(fā)生數據“軟”故障,比如軟件程序導致的數據損壞、病毒破壞、意外刪除等,可以通過(guò)對合適的時(shí)間點(diǎn)標記進(jìn)行“回滾”來(lái)快速恢復數據。此外,系統還支持權限控制列表ACL等功能,以及更多可靈活配置的文件訪(fǎng)問(wèn)權限控制選項,以滿(mǎn)足不同場(chǎng)景下的數據安全存儲和訪(fǎng)問(wèn)需求。
數據湖存儲多協(xié)議互通,實(shí)現平臺高效管理
寶德PLStor GS9200數據湖存儲支持塊、文件、對象、大數據等存儲協(xié)議,并且支持POSI/NFS/CIFS/HDFS/S3/Swift等多種協(xié)議互通,可同時(shí)訪(fǎng)問(wèn)同一文件,避免因訪(fǎng)問(wèn)協(xié)議不同造成的數據拷貝。它還支持多協(xié)議同時(shí)讀寫(xiě),無(wú)明顯語(yǔ)義損失,支持文件修改寫(xiě)、對象多段上傳等常用語(yǔ)義,無(wú)需配置額外的網(wǎng)關(guān)。同時(shí)數據可根據應用需要在數據湖中進(jìn)行可視的流動(dòng),簡(jiǎn)化數據歸集流程,實(shí)現統一平臺管理,大大提升業(yè)務(wù)與管理效率。