RM新时代实业有限公司

海量數據存儲

GS9200系列分布式存儲采用存儲服務(wù)器集群的方式來(lái)滿(mǎn)足海量數據的存儲需求，大量的存儲服務(wù)器構成的一個(gè)分布式的虛擬化存儲池，能夠為應用提供單卷EB級別的存儲容量。所有的應用客戶(hù)端都可以共享訪(fǎng)問(wèn)虛擬化存儲池中的數據，能夠很好的保證應用系統數據的一致性，且存儲池中的資源可以按照應用性能和容量需求進(jìn)行動(dòng)態(tài)的彈性分配。

海量文件高效檢索

應用平臺中，大量應用的持續運行會(huì )產(chǎn)生海量的數據，海量的數據不僅僅意味著(zhù)容量的增長(cháng)，也會(huì )帶來(lái)大量的文件數量增長(cháng)。為了滿(mǎn)足應用平臺的長(cháng)期發(fā)展，集群存儲系統必須要能夠高效存儲管理足夠多的文件數量。集群存儲系統采用元數據服務(wù)器集群的方式來(lái)滿(mǎn)足海量文件數量的存儲需求以及海量文件數量帶來(lái)的元數據性能需求，可支撐單卷2千億以上文件的快速檢索需求。

元數據服務(wù)器集群中，元數據最大可擴展至128臺，采用兩兩互備的形式提供訪(fǎng)問(wèn)，且集群中所有的元數據服務(wù)器都是對等的，元數據均衡地存放在所有的元數據服務(wù)器中。完全對等的元數據服務(wù)器集群架構使得每臺元數據服務(wù)器都能夠同時(shí)提供服務(wù)，突破了傳統單元數據服務(wù)器架構對文件數量的限制以及存儲服務(wù)能力的限制。

在元數據服務(wù)器中，所有的元數據都是存放在永久性存儲區中，只有頻繁訪(fǎng)問(wèn)的活躍性元數據才會(huì )在緩存中駐留，所有的元數據內容更新都會(huì )及時(shí)地刷新到永久性存儲區中。上述的元數據存儲方式在滿(mǎn)足元數據服務(wù)器單元數據存儲能力的同時(shí)也提高了單個(gè)元數據服務(wù)器的服務(wù)能力，即使整個(gè)平臺突然斷電也不會(huì )發(fā)生數據的丟失，甚至從而導致整個(gè)存儲平臺的崩潰。

元數據服務(wù)器集群是以?xún)戎玫呢撦d均衡機制來(lái)共同維護一個(gè)統一的名字空間，元數據的存儲負載和訪(fǎng)問(wèn)負載都均勻地分布到各個(gè)元數據服務(wù)器上。元數據集群之上存在一個(gè)虛擬層，客戶(hù)端在訪(fǎng)問(wèn)時(shí)可通過(guò)此虛擬層確定元數據存在于那臺物理元數據節點(diǎn)上，所有元數據訪(fǎng)問(wèn)一步定位，無(wú)須中間代理轉發(fā)。

高并發(fā)訪(fǎng)問(wèn)

在數據讀取的過(guò)程中，元數據信息是采用隨機讀取的形式進(jìn)行的，數據信息是采用順序讀取的形式進(jìn)行，當高并發(fā)訪(fǎng)問(wèn)時(shí)，隨機讀取與順序讀取的同時(shí)進(jìn)行會(huì )對服務(wù)器以至于整個(gè)文件系統造成很大的壓力，造成并發(fā)訪(fǎng)問(wèn)性能低下。

GS9200文件系統是采用數據通道與元數據通道分離的形式實(shí)現，且元數據服務(wù)器與數據存儲服務(wù)器可動(dòng)態(tài)進(jìn)行擴容，從而加大元數據服務(wù)器檢索能力，與數據傳輸的性能，也就是說(shuō)在高并發(fā)訪(fǎng)問(wèn)情況發(fā)生時(shí)，元數據服務(wù)器可迅速的檢索到數據元數據信息，然后讓數據存儲端與訪(fǎng)問(wèn)端直接建立數據通道，進(jìn)行并發(fā)數據讀取，從而提升高并發(fā)訪(fǎng)問(wèn)效率。

GS9200的元數據可根據元數據服務(wù)器內存大小將熱點(diǎn)的元數據盡量多地駐留在內存中，提升元數據訪(fǎng)問(wèn)的效率，同時(shí)得益于現在固態(tài)硬盤(pán)的發(fā)展，元數據在緩存中不命中的情況下也可以極高的帶寬提供元數據查詢(xún)服務(wù)。

實(shí)際應用中，十臺元數據服務(wù)器的吞吐率可超過(guò)數十萬(wàn)文件/秒，且此值不是元數據極限值，只是根據應用實(shí)際環(huán)境得到的一個(gè)檢測時(shí)的最高值。

高數據讀寫(xiě)性能

整個(gè)集群存儲系統是一個(gè)帶外模式的IO訪(fǎng)問(wèn)架構，客戶(hù)端訪(fǎng)問(wèn)存儲系統模型如下圖所示，數據通道和元數據通道完全分開(kāi)，所有的數據讀寫(xiě)都直接在Client（客戶(hù)端）和iStore（存儲服務(wù)器）之間進(jìn)行，整個(gè)IO架構不存在任何單點(diǎn)性能限制。

存儲服務(wù)器集群中所有的存儲服務(wù)器都同時(shí)提供IO服務(wù)，能夠向應用服務(wù)器提供GByte/s級的聚合IO帶寬，能夠滿(mǎn)足云計算平臺中大量的應用服務(wù)器同時(shí)訪(fǎng)問(wèn)存儲系統帶來(lái)的性能需求。

集群存儲系統的雙集群模式（元數據服務(wù)器集群和存儲服務(wù)器集群）使得整個(gè)存儲平臺在架構上沒(méi)有任何性能瓶頸，能夠提供超過(guò)100GByte/s的聚合IO帶寬以及1000萬(wàn)次以上的IOPS（每秒讀寫(xiě)次數）。

動(dòng)態(tài)在線(xiàn)擴展

集群存儲系統中的元數據服務(wù)器集群和存儲服務(wù)器集群都可以在線(xiàn)動(dòng)態(tài)擴展。

存儲服務(wù)器集群的擴展包括存儲服務(wù)器數量和存儲服務(wù)器中磁盤(pán)數量的擴展，存儲服務(wù)器集群的擴展帶來(lái)的是容量上的增長(cháng)，在擴展過(guò)程中無(wú)需中斷存儲系統上應用的運行，擴展的容量即插即用。而且隨著(zhù)存儲服務(wù)器數量的增多，整套集群存儲系統的聚合帶寬也會(huì )線(xiàn)性的增長(cháng)。

元數據服務(wù)器集群的擴展帶來(lái)的是文件數量存儲能力的增長(cháng)，整個(gè)擴展過(guò)程對整個(gè)應用平臺完全透明，擴展的元數據服務(wù)器即刻能夠提供服務(wù)，前端應用無(wú)需進(jìn)行任何配置。隨著(zhù)元數據服務(wù)器數量的增多，整套集群存儲系統所提供的元數據服務(wù)能力也會(huì )呈線(xiàn)性增長(cháng)，能夠管理的文件總個(gè)數也線(xiàn)性增加。

高可靠性

在集群存儲系統設計中，假設任何硬件設備都是不可靠的，集群存儲系統的可靠性不依賴(lài)任何硬件設備來(lái)實(shí)現，在集群存儲系統中任何元數據服務(wù)器、存儲服務(wù)器、磁盤(pán)以及網(wǎng)絡(luò )設備的失效都不影響集群存儲系統的穩定運行。

數據動(dòng)態(tài)遷移

隨著(zhù)應用平臺的持續運行和擴展，集群存儲系統也需要進(jìn)行不斷的擴展。擴展帶來(lái)了一個(gè)問(wèn)題，新添加的存儲服務(wù)器中沒(méi)有任何的數據，而原有的存儲服務(wù)器空間利用率卻維持在一個(gè)較高的狀態(tài)，此時(shí)集群存儲系統只能在新添加的存儲服務(wù)器上為數據分配空間，從而導致整個(gè)集群存儲系統的寫(xiě)入性能不能得到有效提升。為此需要在系統擴容后可以將原有存儲服務(wù)器上的一部分數據動(dòng)態(tài)的遷移到新添加的存儲服務(wù)器中，直到整個(gè)存儲服務(wù)器集群的空間利用率都達到一個(gè)相同的狀態(tài)。

在進(jìn)行數據動(dòng)態(tài)遷移過(guò)程中前端應用無(wú)需停止服務(wù)，而且數據動(dòng)態(tài)遷移過(guò)程對前端的應用服務(wù)器是完全透明的，從而在擴容的同時(shí)也提高了整個(gè)平臺的IO效率。數據動(dòng)態(tài)遷移過(guò)程可以隨時(shí)中斷，用戶(hù)可以在前端應用負載較高的情況下將數據遷移過(guò)程停止，在合適的時(shí)間重新啟動(dòng)數據動(dòng)態(tài)遷移任務(wù)，數據動(dòng)態(tài)遷移任務(wù)將繼續進(jìn)行。

數據動(dòng)態(tài)遷移的實(shí)現還帶來(lái)一個(gè)好處，存儲系統可以籍此替換老舊的過(guò)保硬件。管理員可以將一臺存儲服務(wù)器上的數據動(dòng)態(tài)遷移到剩余的完好存儲服務(wù)器上，在數據遷移完成之后即可在集群存儲系統中刪除此存儲服務(wù)器。借助數據動(dòng)態(tài)遷移功能集群存儲系統可以有效安全的撤除老舊設備，從而在線(xiàn)更新集群存儲系統中的所有的硬件。從上述可以得到，集群存儲系統可以確保云存儲系統持續不斷地運行下去，并進(jìn)行自我更新，實(shí)現可伸縮性綠色節能。

數據隔離與交互

存儲平臺是一個(gè)公共的服務(wù)平臺，存儲系統需要在共享訪(fǎng)問(wèn)的基礎上減少不同應用之間的相互干擾。在這里，GS9200系列分布式存儲可以讓不同的應用掛載到集群存儲系統中不同的子目錄下，這樣既滿(mǎn)足了同一應用不同服務(wù)器之間的共享訪(fǎng)問(wèn)需求，又隔離了不同應用的數據。這樣的數據隔離是邏輯上的隔離，各應用在相互隔離的情況下還能夠共享集群存儲系統的剩余空間和整體IO性能，無(wú)需將集群存儲系統像SAN系統那樣分割成多個(gè)小塊，在滿(mǎn)足需求的同時(shí)也簡(jiǎn)化了整個(gè)存儲平臺的管理，且linu可動(dòng)態(tài)的對此目錄進(jìn)行容量設置。

文件系統POSI接口兼容

為了廣泛支持各種現有的應用和方面構建新的應用系統，GS9200系列分布式存儲采用POSI接口作為應用訪(fǎng)問(wèn)接口。POSI接口是一個(gè)廣泛應用于各個(gè)操作系統的一個(gè)API規范，采用POSI接口作為集群存儲系統的訪(fǎng)問(wèn)方式能夠滿(mǎn)足應用領(lǐng)域中多樣化的應用系統訪(fǎng)問(wèn)存儲系統的兼容性。POSI也是一個(gè)應用廣泛的編程模型，現有的應用可以無(wú)縫的遷移到應用平臺上。

文件系統和對象存儲互通

GS9200支持提供全面的S3對象存儲接口能力，同時(shí)還支持文件系統和對象存儲實(shí)現數據互通的功能。

為了融合兩種場(chǎng)景，GS9200在對象系統里面加入了存儲池的概念，對象的存儲池分為不同的類(lèi)型（普通、FS），租戶(hù)基于存儲池創(chuàng )建bucket，該bucket訪(fǎng)問(wèn)方式取決于bucket歸屬的存儲池的模式。

業(yè)務(wù)和存儲融合運行能力

GS9200存儲系統具備在自身的存儲節點(diǎn)之上運行相關(guān)業(yè)務(wù)系統（比如WebServer、流媒體、高性能計算、虛擬化）的能力，實(shí)現業(yè)務(wù)程序和存儲系統在同一批物理服務(wù)器中融合運行的模式。

GS9200的融合運行模式能夠大幅度降低構建成本和日常的運維管理工作難度，真正實(shí)現在擴展計算能力或者存儲能力按需擴展。

秒級的快照功能

GS9200實(shí)現了秒級的ROW方式快照，具有以下幾個(gè)特點(diǎn)：

ROW方式的快照，沒(méi)有寫(xiě)放大

對數據寫(xiě)入性能沒(méi)有影響

支持大量快照并存

基于切片的快照，快照顆粒度小，空間占用小。

快照功能可為文件或者卷創(chuàng )建多達無(wú)限數量的基于增量的歷史時(shí)間點(diǎn)拷貝。當發(fā)生數據“軟”故障，比如軟件程序導致的數據損壞、病毒破壞、意外刪除等，可以通過(guò)對合適的時(shí)間點(diǎn)標記進(jìn)行“回滾”來(lái)快速恢復數據。該功能特別適用于關(guān)鍵性業(yè)務(wù)的連續數據保護。