以客戶(hù)為中心,提供定制化或一站式的全棧解決方案,賦能千行百業(yè)
xx臺新媒體每天產(chǎn)生大量的視音頻媒體節目,為超過(guò)百萬(wàn)用戶(hù)提供多內容、全業(yè)務(wù)、高質(zhì)量的節目服務(wù)。隨著(zhù)視頻內容的日益積累、內容分發(fā)范圍不斷增大,對生產(chǎn)系統和存儲系統都提出更高的要求,所以建立一套系統完善、安全性高的素材存儲系統便是如今最重要的工作之一。
新項目的建設,將為xx臺新媒體媒資庫存儲提供高性能的數據存儲平臺。滿(mǎn)足存儲空間的同時(shí),還要求存儲系統穩定可靠、高性能、易擴展、易維護等特性。針對xx臺新媒體媒資庫存儲的需求,細化分析如下:
1.根據當前和近幾年數據容量的增長(cháng)預估,存儲系統需要提供近500TB的有效存儲空間。
2.存儲系統具有良好的擴展性,以應對媒資系統擴容后更大存儲規模需求
3.業(yè)務(wù)系統要求存儲系統提供3GB/s的穩定帶寬。
4.高可用存儲,系統具備完善的自治能力,確保數據不丟失,存儲服務(wù)不停機。
5.多協(xié)議支持,便于各類(lèi)服務(wù)器和工作站接入并獲取存儲資源。
6.配置簡(jiǎn)潔,維護便捷,方便使用和后期管理。
根據用戶(hù)的需求并結合用戶(hù)的實(shí)際應用場(chǎng)景,在該項目中采用PL-XDFS分布式文件存儲系統,構建海量、高效、可擴展的分布式存儲系統。
通過(guò)PL-XDFS分布式存儲系統豐富的協(xié)議支持、強大的橫向擴展能力、超高的吞吐性能為媒資系統提供高性能、動(dòng)態(tài)高可擴展的CIFS/FTP存儲服務(wù)。同時(shí)結合其強大的動(dòng)態(tài)擴展能力,可隨著(zhù)業(yè)務(wù)發(fā)展,快速實(shí)現性能或容量的動(dòng)態(tài)擴展,大大簡(jiǎn)化系統規劃難度、降低前期投入。
此次方案中配置了5個(gè)PL-XDFS節點(diǎn),每個(gè)節點(diǎn)配置24塊8TB硬盤(pán),總裸容量達到了960TB,配合4+1的糾刪碼冗余策略,考慮到單盤(pán)容量較大,出現故障依賴(lài)網(wǎng)絡(luò )恢復的時(shí)間較長(cháng),對業(yè)務(wù)系統的負載影響較大,在每節點(diǎn)內部配置RAID保護,每24顆磁盤(pán)配置2組12顆盤(pán)的RAID5+HotSpare,因此最終容量利用率為960TB*20/24*0.8*0.91=582TB。每個(gè)節點(diǎn)提供600MB/s的帶寬輸出,總輸出帶寬可以達到3GB/s以上。容量和性能均可滿(mǎn)足業(yè)務(wù)需求。
每個(gè)PL-XDFS配置2*10Gbe+2*1Gb網(wǎng)卡,5個(gè)PL-XDFS節點(diǎn)之間采用萬(wàn)兆網(wǎng)絡(luò )互連,流媒體和新媒體工作站采用萬(wàn)兆網(wǎng)卡接入萬(wàn)兆網(wǎng)絡(luò ),其他業(yè)務(wù)服務(wù)器通過(guò)千兆網(wǎng)卡與每個(gè)PL-XDFS的千兆網(wǎng)口實(shí)現業(yè)務(wù)組網(wǎng)。
PL-XDFS同時(shí)支持POSIX/NFS/CIFS/FTP協(xié)議, 無(wú)需安裝任何客戶(hù)端,即可實(shí)現多客戶(hù)端跨平臺訪(fǎng)問(wèn),滿(mǎn)足了媒資平臺不同主機平臺共享訪(fǎng)問(wèn)媒體資源的需求。
PL-XDFS除糾刪碼保護外,還支持副本保護,未來(lái)對于部分要求更高可靠性的數據,可采用副本方式進(jìn)行增強保護。
PL-XDFS的核心是XDFS分布式文件系統,XDSF是寶德基于業(yè)界領(lǐng)先和廣泛使用的GlusterFS分布式文件系統,結合技術(shù)團隊多年的工程化及系統優(yōu)化經(jīng)驗,針對非結構化數據應用環(huán)境推出的海量分布式存儲系統。XDFS可實(shí)現動(dòng)態(tài)的容量及性能擴展、卓越的系統高可用性;借助虛擬化和并行化的卷組、文件系統資源管理,可構建大規模、高性能、動(dòng)態(tài)可擴展的共享存儲架構。XDFS可實(shí)現192PB的海量存儲規模、 可線(xiàn)性擴展的高性能。
1、分布式存儲集群,去中心化架構,無(wú)需獨立元數據服務(wù)器
2、基于DHT算法智能數據定位,有效提升媒資素材檢索效率
3、全以太網(wǎng)單網(wǎng)架構,無(wú)需專(zhuān)用的光纖通道設備(FC-SAN)
4、綜合采用RAID、糾刪碼數據保護,有效實(shí)現了節點(diǎn)內、節點(diǎn)間的復合數據
保護,并合理控制了數據修復的系統資源占用和網(wǎng)絡(luò )占用
5、標準客戶(hù)端設計,無(wú)需在業(yè)務(wù)主機安裝任何客戶(hù)端,讓業(yè)務(wù)主機專(zhuān)注應用
6、可擴展副本保護,增加關(guān)鍵數據的可用性
7、高密度設備,采用4U/24bay設備,有效降低空間和能耗,合理控制成本
8、系統無(wú)單點(diǎn)故障,數據高可用,存儲服務(wù)不停機
9、系統支持數據分層,未來(lái)可增加SSD或SAS,按數據熱點(diǎn)實(shí)現自動(dòng)分級存儲
PL-XDFS采用完全去中心化的的分布式文件存儲架構,無(wú)獨立元數據服務(wù)器設計,消除元數據信息交互瓶頸;Scale-out動(dòng)態(tài)擴展,快速在線(xiàn)增刪節點(diǎn),最高可實(shí)現1024個(gè)節點(diǎn)集群,可管理近100PB的海量數據。
PL-XDFS提供分布式的文件讀寫(xiě)和共享服務(wù),本次配置的5節點(diǎn)集群可實(shí)現3GB的性能,可管理海量文件,未來(lái)可通過(guò)集群擴展,實(shí)現100GB的帶寬;支持萬(wàn)兆網(wǎng)卡及Infiniband網(wǎng)絡(luò ),通過(guò)RDMA優(yōu)化并發(fā)讀寫(xiě)性能。并可通過(guò)SSD實(shí)現數據分層或小文件性能優(yōu)化。
PL-XDFS提供副本和糾刪碼兩種數據/集群保護模式,節點(diǎn)內部還可選RAID保護,用戶(hù)可根據應用類(lèi)型、數據重要性、性能、成本平衡選擇配置模式,實(shí)現數據高可用保護和存儲服務(wù)高可用保護。XDFS可實(shí)現不停機的在線(xiàn)擴展,大大縮減或消除計劃內的停機時(shí)間。