大數(shù)據(jù)時代，如何建設(shè)安防體系？
發(fā)布日期：2024-02-04 瀏覽：712
在大數(shù)據(jù)時代，作為海量數(shù)據(jù)的主要來源之一，安防行業(yè)相關(guān)應用產(chǎn)生了巨大的信息數(shù)據(jù)，特別是在當前大集成、大聯(lián)網(wǎng)的環(huán)境下，數(shù)據(jù)量呈現(xiàn)飛速增長趨勢。安防行業(yè)數(shù)據(jù)主要來源于平安城市、智慧城市和智能交通等大型安防項目，面對海量的數(shù)據(jù)，也帶來了數(shù)據(jù)整合、數(shù)據(jù)存儲、數(shù)據(jù)分析應用等一系列問題。在此背景下，本文提出了一種基于大數(shù)據(jù)的安全防護體系建設(shè)思路。
1、“大數(shù)據(jù)”時代
“大數(shù)據(jù)”是指一組數(shù)據(jù)集非常龐大且復雜，很難利用現(xiàn)有的數(shù)據(jù)庫管理工具進行處理。它有助于統(tǒng)一大型數(shù)據(jù)集，并能夠從分析中得出其它信息，而不是來自具有相同數(shù)據(jù)總量的單獨的較小數(shù)據(jù)集。大數(shù)據(jù)時代的來臨，帶來了很多現(xiàn)實中的難題，為了解決這些難題需要新的技術(shù)變革，需要新一代的數(shù)據(jù)庫技術(shù)，業(yè)界稱之為大數(shù)據(jù)技術(shù)。
在大數(shù)據(jù)應用時代，視頻因其信息含量最高、數(shù)據(jù)量最大，分析運算最復雜而成為大數(shù)據(jù)時代采集分析傳輸存儲應用最具挑戰(zhàn)的國際技術(shù)難題！智能視頻分析研究永無止境，分析算法必須以監(jiān)控視頻為資源，研究實時或歷史監(jiān)控視頻中的目標特征提取、增強與行為分析等關(guān)鍵技術(shù)，才能推動監(jiān)控視頻應用模式從事后被動處置向事前主動預防轉(zhuǎn)變。
大規(guī)模數(shù)據(jù)在智慧城市系統(tǒng)流動過程中，出于傳輸效率、數(shù)據(jù)質(zhì)量與安全等因素的考慮，需要對大規(guī)模數(shù)據(jù)進行預處理。大數(shù)據(jù)處理技術(shù)往往需要與基于云計算的并行分布式技術(shù)相結(jié)合，這也是目前國際產(chǎn)業(yè)界普遍采用的技術(shù)方案。大數(shù)據(jù)分析與挖掘技術(shù)為智慧城市治理提供了強大的決策支持能力。
互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展已經(jīng)為構(gòu)建一個大型全國性的專業(yè)報警運營服務平臺提供了有力的技術(shù)支撐。通過這個報警平臺，報警運營服務商手中會累積海量的用戶數(shù)據(jù)，例如用戶的身份信息、警情數(shù)據(jù)、消費記錄、維修記錄等，這些都是非常寶貴的資源。報警運營服務商可以在此基礎(chǔ)上，應用大數(shù)據(jù)技術(shù)進行分析和挖掘，充分發(fā)揮大數(shù)據(jù)的商業(yè)價值。如公安系統(tǒng)中的圖偵技術(shù)，應用模式多樣，思維活躍，圍繞著“發(fā)現(xiàn)線索”的目的可衍生出多種技戰(zhàn)法，只有從這些具體的技戰(zhàn)法中才能提煉出需求，真正告訴系統(tǒng)的設(shè)計者“我們要什么”。
智能家居會產(chǎn)生大數(shù)據(jù)，同時也是大數(shù)據(jù)的重要應用領(lǐng)域，不然它極有可能將停滯不前。家庭產(chǎn)生的大數(shù)據(jù)能讓智能家居更“聰明”，但需要根據(jù)實際情況進行有效處理，而不是任何數(shù)據(jù)的“一鍋端”，通過大數(shù)據(jù)與云計算技術(shù)的結(jié)合應用，智能家居系統(tǒng)能夠第一時間對用戶家庭中智能設(shè)備的數(shù)據(jù)、信息進行有效分析、記憶，并將得到的規(guī)律反過來應用于智能設(shè)備，提升智能家居的智能效果。
2、安防體系設(shè)計思路
近年來，業(yè)界已經(jīng)提出了多種大數(shù)據(jù)安防體系建設(shè)思路，但目前，仍然處于不斷地豐富和完善的階段。研究發(fā)現(xiàn)，大部分安防體系設(shè)計思路主要圍繞以下4點展開：（1）安全資源：安全策略的執(zhí)行主體，對接信息通信技術(shù)（Information and Communications Technology，ICT）環(huán)境資源并提供策略執(zhí)行的結(jié)果信息反饋。（2）安全資源管控系統(tǒng)：決策指令（安全策略）的執(zhí)行傳達者，通過對安全資源的能力調(diào)度及策略下發(fā)，實現(xiàn)“風險可控”。（3）安全信息感知系統(tǒng)：接收安全資源的數(shù)據(jù)，提供決策依據(jù)和決策執(zhí)行的反饋信息，實現(xiàn)“風險可知”。（4）安全運營決策系統(tǒng)：基于安全信息，通過安全運行進行安全決策，實現(xiàn)組織安全目標“風險可管”。
針對大數(shù)據(jù)安防體系設(shè)計思路分析，何健等人提出了構(gòu)建適用于大數(shù)據(jù)環(huán)境的、立體動態(tài)的多層次安全防護體系；劉曉軍等人 從剖析大數(shù)據(jù)通用技術(shù)架構(gòu)入手，總結(jié)了數(shù)據(jù)處理的相關(guān)流程，分析和對比了數(shù)據(jù)中臺并總結(jié)了其適用范圍和優(yōu)缺點，最后聚焦多級架構(gòu)模式下數(shù)據(jù)安全融合技術(shù)問題，提出了相應的解決辦法；張翠翠等人 提出了基于數(shù)據(jù)中臺的數(shù)據(jù)安全分級防護方案，給出了數(shù)據(jù)中臺“零信任”安全防護總體架構(gòu)；賴新等人構(gòu)建了基于云計算用戶層、數(shù)據(jù)傳輸層和云計算服務層的數(shù)據(jù)安全防護體系。
基于大數(shù)據(jù)的安全防護體系建設(shè)理念包括以下幾點：（1）智能感知系統(tǒng)：由安防設(shè)備、網(wǎng)絡設(shè)備、物聯(lián)網(wǎng)（Internet of Things，IoT）設(shè)備等構(gòu)成，采集與網(wǎng)絡安全相關(guān)的數(shù)據(jù)和信息，就像人類的眼睛、耳朵、鼻子，源源不斷地把脫敏后的安全數(shù)據(jù)傳輸?shù)健鞍踩竽X”，由“安全大腦”進行智能的分析和決策。（2）大數(shù)據(jù)湖：存儲網(wǎng)絡安全大數(shù)據(jù)的平臺，相當于人的記憶中樞。（3）安全知識體系：包括各種威脅情報、安全資源庫、安全分析模型等等，是用于檢測、識別、分析、溯源各類網(wǎng)絡安全威脅的知識庫。（4）智能分析系統(tǒng)：采用人工智能、數(shù)據(jù)挖掘、可視化計算等一系列分析技術(shù)，實現(xiàn)對安全威脅的分析研判和處置。（5）智能學習系統(tǒng)：具備自我學習、自我演進的能力，實現(xiàn)對新的網(wǎng)絡安全威脅、攻擊方法等的識別功能。（6）人機智能交互輔助決策系統(tǒng)：利用安全專家經(jīng)驗，通過智能人機交互方式，實現(xiàn)對安全威脅檢測、分析、溯源等的輔助決策。
3、安防體系架構(gòu)
安全大數(shù)據(jù)平臺架構(gòu)
在參考了上述關(guān)于安防建設(shè)體系的設(shè)計思路與建設(shè)理念后，結(jié)合實踐特性，本文有針對性地提出了安全大數(shù)據(jù)平臺的體系架構(gòu)。該體系架構(gòu)從邏輯層次上劃分為安全底座、安全中臺、服務總線、安全應用 4 個層次。
總體而言，安全大數(shù)據(jù)平臺架構(gòu)可概括為“一腦雙核，四輪驅(qū)動”，具體由安全數(shù)據(jù)中臺、安全資源中臺、數(shù)據(jù)治理、安全事件、國家標準和技術(shù)協(xié)會（National Institute of Standards and Technology，NIST）的網(wǎng)絡安全框架（Cyber Security Framework，CSF）、數(shù)據(jù)驅(qū)動 6 個部分組成。其中“一腦雙核”是指以安全數(shù)據(jù)中臺和安全資源中臺為核心構(gòu)建的智能感知控制體系：數(shù)據(jù)中臺提供安全數(shù)據(jù)采集、處理、分析、組織和集成的通道；資源中臺則是以數(shù)據(jù)中臺為基礎(chǔ)，為各種安全應用提供數(shù)據(jù)基礎(chǔ)服務能力。智能感知控制體系以資產(chǎn)為核心構(gòu)建，不斷流動的安全事件經(jīng)過安全大腦分析判斷之后反饋給安全管控平臺，通過策略管控手段作用到資產(chǎn)上，形成了管理與控制的通道。
“四輪驅(qū)動”是指以數(shù)據(jù)治理為手段，以安全事件為中心，以 NIST 的 CSF 為指導，以場景化驅(qū)動豐富的安全應用：數(shù)據(jù)治理是指構(gòu)建安全事件主數(shù)據(jù)體系，如資產(chǎn)、病毒、漏洞、行為、威脅情報庫、安全資源庫等；以安全事件為中心，持續(xù)動態(tài)檢測和響應，在所有感知層收集的數(shù)據(jù)進入事件中心后，在策略管控下，在安全主數(shù)據(jù)、威脅庫和安全知識庫指引下進行實時或離線處理，響應系統(tǒng)會做出各種符合相應場景的響應；以 NIST CSF 框架為指導，構(gòu)建資源中臺，對外提供包括識別、保護、檢測、響應、恢復在內(nèi)的完整的安全能力和功能的輸出；以數(shù)據(jù)驅(qū)動豐富的安全應用，通過各類安全應用融合聯(lián)動，促使安全從原來的被動、割裂走向融合、場景化且能夠統(tǒng)一管理。
由此可以看出，安全數(shù)據(jù)管控能力的集中性，多種應用場景的適應性，以及支撐業(yè)務發(fā)展的可持續(xù)性是該架構(gòu)的核心思路。
安防體系數(shù)據(jù)架構(gòu)
在本文建立了安全大數(shù)據(jù)平臺后，安全防護問題實質(zhì)上就演變成了數(shù)據(jù)問題，如何采集、計算、存儲、融合分析數(shù)據(jù)，直至挖掘出安全威脅是整個安防體系需要考慮的核心問題。如圖 3 所示，安全大數(shù)據(jù)平臺的數(shù)據(jù)架構(gòu)在設(shè)計上與安全大數(shù)據(jù)平臺的體系架構(gòu)類似，主要由數(shù)據(jù)采集層、數(shù)據(jù)計算層、數(shù)據(jù)服務層和數(shù)據(jù)應用層 4 部分構(gòu)成。
1.數(shù)據(jù)采集層
數(shù)據(jù)采集層利用大數(shù)據(jù)技術(shù)收集網(wǎng)絡安全信息 。從業(yè)務類型來劃分，接入的數(shù)據(jù)主要包括安防應用系統(tǒng)埋點日志類數(shù)據(jù)、流量類數(shù)據(jù)、安全資源類數(shù)據(jù)、安全知識情報類數(shù)據(jù)和安全告警類數(shù)據(jù)等。數(shù)據(jù)抽取工具和自定義程序?qū)崿F(xiàn)對數(shù)據(jù)庫、文本文件、流數(shù)據(jù)的接入。通過構(gòu)建數(shù)據(jù)引接系統(tǒng)，支持多源異構(gòu)數(shù)據(jù)接入，引入 Kafka 數(shù)據(jù)高速傳輸組件，能夠?qū)崿F(xiàn)流量削峰，建立高效數(shù)據(jù)傳輸通道，最大化數(shù)據(jù)吞吐率，實現(xiàn)數(shù)據(jù)高速采集傳輸，減少數(shù)據(jù)時延，滿足對實時性要求更高的應用場景。
2.數(shù)據(jù)計算層
對于安全數(shù)據(jù)分析場景，數(shù)據(jù)處理需要實現(xiàn)流批一體化。從數(shù)據(jù)處理實時性來看，對一些時延性要求不高的業(yè)務場景，一般采用批處理方式，而對于實時處理要求比較高的業(yè)務場景，較多采用流式處理引擎，其處理過程為：數(shù)據(jù)同步工具從業(yè)務系統(tǒng)庫實時增量同步數(shù)據(jù)到 Kafka；數(shù)據(jù)通過 Kafka傳輸，經(jīng)過消費同步到安全數(shù)據(jù)平臺的數(shù)據(jù)湖中；另外數(shù)據(jù)經(jīng)過實時計算引擎 Flink 處理后，直接推送到前端數(shù)據(jù)應用中，進行數(shù)據(jù)可視化展示。
本層引入離線和實時數(shù)倉。數(shù)據(jù)倉庫設(shè)計采用分層的設(shè)計，這樣設(shè)計的原因是對于海量安全數(shù)據(jù)，需要對數(shù)據(jù)進行組織規(guī)劃，使其具有清晰的數(shù)據(jù)結(jié)構(gòu)，方便數(shù)據(jù)有秩序地流轉(zhuǎn)，并且在數(shù)據(jù)開發(fā)過程中，能夠減少重復開發(fā)，統(tǒng)一數(shù)據(jù)口徑。
3.數(shù)據(jù)服務層
經(jīng)過數(shù)據(jù)計算后，主要輸出的數(shù)據(jù)服務能力包括數(shù)據(jù)資源目錄服務、主數(shù)據(jù)服務、數(shù)據(jù)標準、數(shù)據(jù)共享服務、數(shù)據(jù)質(zhì)量服務、數(shù)據(jù)血緣分析服務和元數(shù)據(jù)管理服務。每一類數(shù)據(jù)服務都由一組服務接口組成。
4.數(shù)據(jù)應用層
通過數(shù)據(jù)服務層打通各類安全數(shù)據(jù)與安全應用的通道，實現(xiàn)無縫銜接，以數(shù)據(jù)驅(qū)動安全業(yè)務發(fā)展。