經(jīng)過(guò)20多年的發(fā)展,寶德持續而深刻地把握市場(chǎng)需求,積累了海量的客戶(hù)資源和豐富的服務(wù)經(jīng)驗
運營(yíng)商省公司原清賬單系統建立在小型機及高端存儲設備上。為了實(shí)現海量數據存儲和快速導入,原系統把明細清單壓縮存放到文件系統中,數據庫只保留索引信息以滿(mǎn)足查詢(xún)性能的要求。隨著(zhù)時(shí)間推移,數量增長(cháng),需找到新的解決方案來(lái)滿(mǎn)足龐大數據和響應體系的支持。
當前存在一些實(shí)際問(wèn)題,新的系統是否能有效解決問(wèn)題,是本次設計方案的關(guān)鍵所在:
1、通過(guò)文件存儲定長(cháng)記錄的方式,程序難以修改。原有清單中心基于266字節的定長(cháng)格式,但新融合計費項目上線(xiàn),清單格式增長(cháng)至1024字節。
2、文件系統缺乏常規查詢(xún)語(yǔ)言,入SQL,HIVE等,舊的已經(jīng)不能滿(mǎn)足越來(lái)越多統計需求。
3、系統需要不斷增加新字段,文件系統無(wú)法擴展。
4、文件系統不支持數據庫常規更新功能,詳單沖銷(xiāo)、修正、補信息等功能難以實(shí)現。
5、隨著(zhù)新詳單格式改變,存儲空間及性能相應需要增加5倍。擴展費用高昂。
方案概述
系統必須能夠高效處理海量數據
1、單月清單數據量約1000億條*1k/條=100TB,6個(gè)月高達600TB~700TB。
2、系統要求從600TB清單數據中檢索某個(gè)用戶(hù)某個(gè)月的清單記錄,響應時(shí)間小于1秒。
3、支持高峰期美妙2000個(gè)并發(fā)訪(fǎng)問(wèn)查詢(xún)
4、滿(mǎn)足現在清帳單業(yè)務(wù)的查詢(xún)統計需求(23類(lèi))
5、實(shí)時(shí)入庫,清單文件無(wú)積壓。
6、對聯(lián)機分析必須提供標準編程接口,支持SQL/JDBC/ODBC等。
高擴展性和高可用
1、用戶(hù)程序查詢(xún)數據不需要知道底層細節,比如數據分布細節
2、可以水平擴展
3、允許多臺機器故障的場(chǎng)景下,業(yè)務(wù)不中斷