RM新时代实业有限公司

  • ?
    解決方案

    以客戶(hù)為中心,提供定制化或一站式的全棧解決方案,賦能千行百業(yè)

    寶德大數據平臺建設解決方案
    項目背景

    xx網(wǎng)安支隊規劃在全區的網(wǎng)吧、大型連鎖門(mén)店、重點(diǎn)路段公共電話(huà)亭及公共汽車(chē)站等重點(diǎn)區域部署移動(dòng)終端硬件特征采集設備,對區域內的移動(dòng)終端設備進(jìn)行監控。實(shí)現數據采集、實(shí)時(shí)回傳、數據匯總(數據倉庫)、進(jìn)入報警及軌跡追蹤等功能,為公安機關(guān)在公共 WIFI 管控工作中提供有力的抓手。


    隨著(zhù)XX網(wǎng)安投入的采集設備的增多,數據接入量的增大,業(yè)務(wù)分析場(chǎng)景愈加復雜,這些都要求有更強大的數據倉庫支撐。原有的基于RDBMS 數據倉庫已經(jīng)接近性能瓶頸;所以上海XX網(wǎng)安迫切需要一種更先進(jìn)的技術(shù),既能解決當前遇到的問(wèn)題,也能滿(mǎn)足未來(lái)業(yè)務(wù)發(fā)展 需求。RDBMS 遇到的問(wèn)題主要體現在如下四個(gè)方面:

    1、數據 ETL 耗時(shí)越來(lái)越長(cháng),無(wú)法滿(mǎn)足目標系統對數據的時(shí)效性要求,關(guān)鍵任務(wù)的 SLA不能得到保證。

    2、RDBMS 性能優(yōu)化(index & partition)無(wú)法逾越 I/O 瓶頸,同時(shí),數據倉庫不斷增加 index 和 partition 也增加了系統在加載時(shí)的資源消耗,同時(shí)增加了系統維護度。

    3、由于性能原因,使隨機查詢(xún)能力受限,檢索場(chǎng)景僅支持7天數據,無(wú)法針對較長(cháng)時(shí) 間軸進(jìn)行實(shí)時(shí)追蹤。

    4、目前的系統架構不支持線(xiàn)性擴展,使數據的存儲得到制約,擴容需要花費高成本以 購買(mǎi)大型設備,即便如此,也無(wú)法控制數據增長(cháng)帶來(lái)的性能處理壓力。







    下圖是基于寶德大數據平臺的架構設計及數據流轉:



    方案介紹

    尺寸

    2U機架式服務(wù)器,86.1mm()* 447mm()* 790mm()

    CPU

    配置兩顆6230R/26C/52T/主頻2.1GHz處理器

    硬盤(pán)位

    提供12個(gè)3.5寸硬盤(pán)槽位,配置2960G SSD系統盤(pán)、104TB數據盤(pán)

    網(wǎng)口

    4個(gè)千兆電口,4個(gè)萬(wàn)兆光口(含4個(gè)萬(wàn)兆光模塊)

    RAID

    2G緩存RAID陣列卡(支持RAID0 1 10 )并配置超級電容

    PCIE插槽

    配置至少4個(gè)PCIe插槽

    電源

    配置2個(gè)交流電源模塊,1+1

    操作系統

    Centos7.6



    寶德大數據一體機(PR2715P2)是寶德公司最新推出的一款2U服務(wù)器產(chǎn)品,它采用Intel C620系列高性能芯片組,支持第二代Intel® Xeon® Processor Scalable可擴展系列處理器,該機型最多支持內存容量3 TB,默認支持8塊熱插拔3.5寸硬盤(pán),可選支持12盤(pán)/24盤(pán)版本,并可靈活擴展全高全長(cháng)的PCI-E設備。高集成度的設計在有限空間內帶來(lái)強勁的性能表現足以支撐關(guān)鍵任務(wù)的運行。PR2715P2提供先進(jìn)的管理功能和存儲技術(shù),具有可靠的可擴充性和高可用性。

    方案解析

    主要流程是采集設備收集到源數據后,經(jīng)過(guò)光柵,一部份數據會(huì )傳輸到 ftp 服務(wù)器,數 據調度服務(wù)器發(fā)現 ftp 服務(wù)器有新數據到來(lái),會(huì )對數據進(jìn)行清洗整合,然后匯總到 inceptor 數據倉庫以及 hyperbase 檢索庫中,另一個(gè)部分數據直接通過(guò)分布式消息隊列,進(jìn)入到 hyperbase 檢索庫中,前臺應用系統便可對數據進(jìn)行訪(fǎng)問(wèn)和使用。

    方案優(yōu)勢
    • 優(yōu)秀的數據存儲和處理能力

      截止到目前為止,上海XX網(wǎng)安已經(jīng)完全替換了之前的RDBMS數據庫,且平穩運行1 年左右,累計存儲150T數據,周增長(cháng)數據量在4t左右,前端應用系統反饋良好,隨著(zhù)近年來(lái)公安業(yè)務(wù)的不斷開(kāi)展,和硬件設備的不斷補充,存儲量和處理量的不斷增加,TDH大數據平臺通過(guò)線(xiàn)性擴展完全可以滿(mǎn)足要求。

    • 快速的分析查詢(xún)

      單用戶(hù)分析快速查詢(xún)采用了寶德hyperbase組件進(jìn)行實(shí)現,通過(guò)寶德強大的sql支持以及jdbc接口,再配合寶德的全文搜索引擎search組件,能夠以?xún)?yōu)越的低延時(shí)響應速度 查詢(xún)準確結果,保障業(yè)務(wù)的穩定運行。

    ? RM新时代实业有限公司
  • RM新时代官网网址 RM新时代手机版下载 新时代RM|APP官网网址 RM新时代正规平台入口 RM新时代注册 RM新时代正规平台入口-百度知道 RM新时代平台 rm新时代跑路 rm新时代正规吗 RM新时代入口