以客戶(hù)為中心,提供定制化或一站式的全棧解決方案,賦能千行百業(yè)
xx網(wǎng)安支隊規劃在全區的網(wǎng)吧、大型連鎖門(mén)店、重點(diǎn)路段公共電話(huà)亭及公共汽車(chē)站等重點(diǎn)區域部署移動(dòng)終端硬件特征采集設備,對區域內的移動(dòng)終端設備進(jìn)行監控。實(shí)現數據采集、實(shí)時(shí)回傳、數據匯總(數據倉庫)、進(jìn)入報警及軌跡追蹤等功能,為公安機關(guān)在公共 WIFI 管控工作中提供有力的抓手。
隨著(zhù)XX網(wǎng)安投入的采集設備的增多,數據接入量的增大,業(yè)務(wù)分析場(chǎng)景愈加復雜,這些都要求有更強大的數據倉庫支撐。原有的基于RDBMS 數據倉庫已經(jīng)接近性能瓶頸;所以上海XX網(wǎng)安迫切需要一種更先進(jìn)的技術(shù),既能解決當前遇到的問(wèn)題,也能滿(mǎn)足未來(lái)業(yè)務(wù)發(fā)展 需求。RDBMS 遇到的問(wèn)題主要體現在如下四個(gè)方面:
1、數據 ETL 耗時(shí)越來(lái)越長(cháng),無(wú)法滿(mǎn)足目標系統對數據的時(shí)效性要求,關(guān)鍵任務(wù)的 SLA不能得到保證。
2、RDBMS 性能優(yōu)化(index & partition)無(wú)法逾越 I/O 瓶頸,同時(shí),數據倉庫不斷增加 index 和 partition 也增加了系統在加載時(shí)的資源消耗,同時(shí)增加了系統維護度。
3、由于性能原因,使隨機查詢(xún)能力受限,檢索場(chǎng)景僅支持7天數據,無(wú)法針對較長(cháng)時(shí) 間軸進(jìn)行實(shí)時(shí)追蹤。
4、目前的系統架構不支持線(xiàn)性擴展,使數據的存儲得到制約,擴容需要花費高成本以 購買(mǎi)大型設備,即便如此,也無(wú)法控制數據增長(cháng)帶來(lái)的性能處理壓力。
下圖是基于寶德大數據平臺的架構設計及數據流轉:
尺寸 | 2U機架式服務(wù)器,86.1mm(高)* 447mm(寬)* 790mm(深)
|
CPU | 配置兩顆6230R/26C/52T/主頻2.1GHz處理器
|
硬盤(pán)位 | 提供12個(gè)3.5寸硬盤(pán)槽位,配置2塊960G SSD系統盤(pán)、10塊4TB數據盤(pán) |
網(wǎng)口 | 4個(gè)千兆電口,4個(gè)萬(wàn)兆光口(含4個(gè)萬(wàn)兆光模塊) |
RAID | 2G緩存RAID陣列卡(支持RAID0 1 10 )并配置超級電容 |
PCIE插槽 | 配置至少4個(gè)PCIe插槽 |
電源 | 配置2個(gè)交流電源模塊,1+1 |
操作系統 | Centos7.6 |
寶德大數據一體機(PR2715P2)是寶德公司最新推出的一款2U服務(wù)器產(chǎn)品,它采用Intel C620系列高性能芯片組,支持第二代Intel® Xeon® Processor Scalable可擴展系列處理器,該機型最多支持內存容量3 TB,默認支持8塊熱插拔3.5寸硬盤(pán),可選支持12盤(pán)/24盤(pán)版本,并可靈活擴展全高全長(cháng)的PCI-E設備。高集成度的設計在有限空間內帶來(lái)強勁的性能表現足以支撐關(guān)鍵任務(wù)的運行。PR2715P2提供先進(jìn)的管理功能和存儲技術(shù),具有可靠的可擴充性和高可用性。
主要流程是采集設備收集到源數據后,經(jīng)過(guò)光柵,一部份數據會(huì )傳輸到 ftp 服務(wù)器,數 據調度服務(wù)器發(fā)現 ftp 服務(wù)器有新數據到來(lái),會(huì )對數據進(jìn)行清洗整合,然后匯總到 inceptor 數據倉庫以及 hyperbase 檢索庫中,另一個(gè)部分數據直接通過(guò)分布式消息隊列,進(jìn)入到 hyperbase 檢索庫中,前臺應用系統便可對數據進(jìn)行訪(fǎng)問(wèn)和使用。
截止到目前為止,上海XX網(wǎng)安已經(jīng)完全替換了之前的RDBMS數據庫,且平穩運行1 年左右,累計存儲150T數據,周增長(cháng)數據量在4t左右,前端應用系統反饋良好,隨著(zhù)近年來(lái)公安業(yè)務(wù)的不斷開(kāi)展,和硬件設備的不斷補充,存儲量和處理量的不斷增加,TDH大數據平臺通過(guò)線(xiàn)性擴展完全可以滿(mǎn)足要求。
單用戶(hù)分析快速查詢(xún)采用了寶德hyperbase組件進(jìn)行實(shí)現,通過(guò)寶德強大的sql支持以及jdbc接口,再配合寶德的全文搜索引擎search組件,能夠以?xún)?yōu)越的低延時(shí)響應速度 查詢(xún)準確結果,保障業(yè)務(wù)的穩定運行。