方案
安全大數據
安全大數據
需求背景
企業或機構已經部署了眾多安全檢測設備、防護設備、審計設備,這些以旁路部署、串行部署、或是在服務器和終端上部署的軟硬件在啟用后會持續產生各種告警數據、原始操作等審計數據,這些數據設備本身并不長期存儲。不少企業針對重點防護的系統或業務還要求直接對其產生的日志等數據進行收集、存儲和分析。近年來還有不少企業或機構對流協議解析后原始數據進行收集、存儲、分析,例如DNS和Http訪問等數據量都很大。
隨著等保2.0對日志存儲期限要求延長,企業對長期數據分析、協議深度分析、多種數據深度關聯分析等需求增多,對安全相關大數據進行收集、存儲組織和分析的需求日益增多。
技術簡介
網御星云安全大數據技術面向安全大數據處理全過程,涵蓋數據采集、數據接入、數據預處理、數據組織、數據服務。采用大數據分布式集群技術。
數據處理
安全數據提取
對原始數據信息進行數據解析和映射,保證數據提取的一致性和完整性。支持結構化數據和非結構化數據提取。
安全數據清洗
對無用數據信息進行剔除,篩選出需要的數據。支持數據過濾、統一標識、填補空缺。
安全數據關聯
按關聯規則或算法將數據與其他數據例如關聯信息、知識數據等進行關聯。支持關聯回填和關聯提取。
安全數據比對
將清洗或關聯的數據與其他數據進行比較,識別出需要的數據集。支持特征比對、范圍比對和正則比對。
安全數據標識
對數據處理結果集打上相應的標簽。支持基礎屬性標簽、行為標簽、告警標簽、自定義標簽。
安全數據分發
原始安全大數據經過提取、清洗、關聯、比對、標識等預處理后形成標準安全大數據集,根據客戶不同安全場景需求,將數據按預定規則和接口方式輸出到各種數據存儲組織和計算引擎,完成數據分發和共享。支持關系型數據庫、分布式文件存儲系統、分布式消息總線、分布式全文檢索、分布式列式健值數據庫。
數據組織
原始庫
原始庫存儲原始數據集。包含邊界安全相關數據、網絡安全相關數據、終端安全相關數據、應用安全相關數據、數據安全相關數據、安全基礎設施相關數據等。
資源庫
資源庫含安全要素的數據集,主要是人員信息庫、組織結構信息庫、設備信息庫、業務系統信息庫等。
主題庫
主題庫含各種分析對象的數據集,主要是面向人員、設備、業務系統等多維護畫像數據。
業務庫
支撐安全業務的數據集,主要是脆弱性關聯庫、風險管理庫、處置響應庫、威脅事件管理庫等。
知識庫
安全領域共享的知識數據集,主要是威脅情報庫、IP地理信息庫、惡意代碼庫等。
數據治理
不同類型安全設備日志內容差異很大,即使是同類產品因為廠家不同也在數據格式和內容有不少差異,由于自身是全線產品提供商,基于安全行業豐富的知識和經驗,深刻理解眾多安全設備數據的語義,結合對目標客戶網絡環境的了解,在安全數據治理方面能更準確更快速地還原流和日志等機器數據原本語義,讓數據更準確。
高擴展架構
基于分布式集群的大數據計算和存儲技術,易于容量擴展。
支持微服務架構,支持異構系統集成和橫向擴展。
提供系統組件容器化。支持DevOps。
提供插裝機制,支持海量數據采集、數據處理,提供數據適配、算法插裝和調度、應用插裝等擴展能力,易于集成擴展。
數據處理能力在超大型客戶生產系統中驗證穩定運行。
海量多元異構數據接入
基于大數據計算和存儲技術,支持DIKI(D-Data網絡流數據,設備日志、Web及應用服務器日志等數據;I-Information企業關聯信息例如資產數據、漏洞掃描數據;K-Knowledge安全知識;I-Threat Intelligence威脅情報)數據采集接入,并基于安全分析需要進行數據范式化、過濾清洗、豐富化和標簽等加工處理,對部分安全設備告警數據提供語義自動理解識別能力,使數據“干凈可用”,保證數據質量。
典型應用
安全大數據在企業內典型應用包括作為企業安全數據資源匯總點的安全大數據平臺,以及有海量數據的場景例如工業互聯網安全大數據平臺等。
在政府等機構典型應用包括政府安全大數據中心、智慧城市安全大數據中心等。