?大數(shù)據(jù)下統(tǒng)一審計(jì)技術(shù)框架研究

安全大數(shù)據(jù)采用分布式數(shù)據(jù)庫(kù),提供對(duì)文本、圖片、關(guān)系型數(shù)據(jù)等類型數(shù)據(jù)的存儲(chǔ)與高效檢索能力,以及分布式冗余存儲(chǔ)能力,節(jié)點(diǎn)動(dòng)態(tài)擴(kuò)容能力,滿足態(tài)勢(shì)數(shù)據(jù)的大容量存儲(chǔ)需求。

0、引言

各大安全廠商將審計(jì)追責(zé)功能集成到各自的安全產(chǎn)品中,將審計(jì)追責(zé)貫穿到各個(gè)安全功能中,根據(jù)安全產(chǎn)品功能不同而形成的審計(jì)追責(zé)功能,大致可分為主機(jī)審計(jì)、網(wǎng)絡(luò)審計(jì)、數(shù)據(jù)庫(kù)審計(jì)。隨著信息系統(tǒng)的迅速發(fā)展以及用戶需求的不斷增加,網(wǎng)絡(luò)規(guī)模日益龐大,應(yīng)用系統(tǒng)日益復(fù)雜。同時(shí),網(wǎng)絡(luò)安全事件層出不窮,使得信息系統(tǒng)面臨著嚴(yán)峻的安全形勢(shì),傳統(tǒng)的單一的防御設(shè)備或者檢測(cè)設(shè)備已經(jīng)無(wú)法滿足安全需求。有針對(duì)性的審計(jì)技術(shù)能夠綜合各方面的安全因素,從整體上動(dòng)態(tài)反映網(wǎng)絡(luò)安全狀況,并對(duì)安全狀況的發(fā)展趨勢(shì)進(jìn)行預(yù)測(cè)和預(yù)警,為增強(qiáng)網(wǎng)絡(luò)安全性提供可靠的參照依據(jù)。

同時(shí),國(guó)內(nèi)各類網(wǎng)絡(luò)安全法和網(wǎng)絡(luò)安全等級(jí)保護(hù)標(biāo)準(zhǔn)2.0相繼出臺(tái)與發(fā)布,其中明確了,審計(jì)追責(zé)功能不僅成為合規(guī)的需求,也是企業(yè)及組織關(guān)注的重點(diǎn)??偟膩?lái)說(shuō),一套行之有效的監(jiān)控審計(jì)系統(tǒng),能夠形成威懾力,降低人為破壞和攻擊的可能性。

1、日志審計(jì)基本框架

應(yīng)用大數(shù)據(jù)存儲(chǔ)分析技術(shù),采用服務(wù)化、組件化的思想,本文提出一種前后端的日志審計(jì)體系框架,通過(guò)前段嵌入應(yīng)用,后端能力輸出的模式構(gòu)建統(tǒng)一安全審計(jì)體系。如圖1所示。

圖1審計(jì)系統(tǒng)結(jié)構(gòu)圖

在前端,提供2種方式嵌入應(yīng)用:數(shù)據(jù)采集服務(wù)接口,被動(dòng)接收應(yīng)用系統(tǒng)的事件日志;數(shù)據(jù)采集構(gòu)件,主動(dòng)嵌入應(yīng)用中,采集應(yīng)用系統(tǒng)的事件日志。

在后端,通過(guò)部署服務(wù),結(jié)合前端提取的日志信息,經(jīng)過(guò)分析處理后,提供安全審計(jì)能力輸出。在后端服務(wù)中,日志接收服務(wù)接收前端采集提取的應(yīng)用系統(tǒng)日志信息,傳遞給數(shù)據(jù)處理模塊進(jìn)行數(shù)據(jù)處理及存儲(chǔ);統(tǒng)計(jì)分析服務(wù)通過(guò)集成告警行為模式和各類插件式告警規(guī)則,完成告警事件分析、日志快速檢索、日常報(bào)表整理、定制報(bào)表匯總等功能。

2、數(shù)據(jù)采集

審計(jì)系統(tǒng)的審計(jì)日志采集分為被動(dòng)接收和主動(dòng)采集兩種方式,被動(dòng)接收以提供審計(jì)接口,各系統(tǒng)通過(guò)調(diào)用審計(jì)接口,上報(bào)日志的方式采集用戶行為日志數(shù)據(jù);主動(dòng)采集是通過(guò)直接訪問業(yè)務(wù)系統(tǒng)或者既有系統(tǒng)的日志數(shù)據(jù)庫(kù)或者文件的方式,主動(dòng)獲取日志數(shù)據(jù)。

2.1數(shù)據(jù)接口收集

使用服務(wù)化的方式,提供日志采集接口,為用戶提供日志集中的通道,各數(shù)據(jù)源應(yīng)用通過(guò)調(diào)用采集接口服務(wù)的方式,完成數(shù)據(jù)采集過(guò)程。

此方式的優(yōu)點(diǎn)在于:不侵入應(yīng)用系統(tǒng),相關(guān)數(shù)據(jù)的準(zhǔn)備由數(shù)據(jù)源系統(tǒng)自行準(zhǔn)備,有利于數(shù)據(jù)源系統(tǒng)開展數(shù)據(jù)責(zé)任授權(quán)及控制擴(kuò)散范圍。同時(shí),也有利于數(shù)據(jù)采集源與目的系統(tǒng)狀態(tài)的固化,運(yùn)維中系統(tǒng)升級(jí)帶來(lái)的接口風(fēng)險(xiǎn)較少。

缺點(diǎn)在于,由于現(xiàn)有系統(tǒng)狀態(tài)的固化,不利于對(duì)現(xiàn)有系統(tǒng)的數(shù)據(jù)采集,對(duì)形成數(shù)據(jù)效能存在一定的阻力及風(fēng)險(xiǎn)。

2.2數(shù)據(jù)主動(dòng)采集

主動(dòng)獲取式采集模式,通過(guò)數(shù)據(jù)采集系統(tǒng)嵌入設(shè)備應(yīng)用系統(tǒng)中,根據(jù)數(shù)據(jù)源系統(tǒng),主動(dòng)適配采集方式及數(shù)據(jù)格式,收集相關(guān)數(shù)據(jù)。

此方式的優(yōu)點(diǎn)在于,能夠快速地集成現(xiàn)有數(shù)據(jù),形成數(shù)據(jù)能力。

缺點(diǎn)在于,對(duì)于內(nèi)含敏感數(shù)據(jù)的系統(tǒng),面臨著數(shù)據(jù)擴(kuò)散授權(quán)的風(fēng)險(xiǎn),若數(shù)據(jù)格式未形成規(guī)范或標(biāo)準(zhǔn),則不利于系統(tǒng)升級(jí)改造。

3、日志存儲(chǔ)

采用傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)與大數(shù)據(jù)存儲(chǔ)相結(jié)合的方式完成,將數(shù)據(jù)量較小的基礎(chǔ)數(shù)據(jù)采用關(guān)系型數(shù)據(jù)庫(kù)存儲(chǔ),將數(shù)據(jù)量大的日志數(shù)據(jù)采用分布式大數(shù)據(jù)技術(shù)存儲(chǔ)。

系統(tǒng)采用大數(shù)據(jù)中心的海量安全數(shù)據(jù)的統(tǒng)一存儲(chǔ)。隨著安全基礎(chǔ)數(shù)據(jù)的不斷匯聚,數(shù)據(jù)大小將呈現(xiàn)爆發(fā)式增長(zhǎng),而數(shù)據(jù)共享服務(wù)需要提供快速、高效的數(shù)據(jù)訪問與存儲(chǔ)能力,傳統(tǒng)的集中式數(shù)據(jù)庫(kù)顯然不能夠滿足需求。

因此,安全大數(shù)據(jù)采用分布式數(shù)據(jù)庫(kù),提供對(duì)文本、圖片、關(guān)系型數(shù)據(jù)等類型數(shù)據(jù)的存儲(chǔ)與高效檢索能力,以及分布式冗余存儲(chǔ)能力,節(jié)點(diǎn)動(dòng)態(tài)擴(kuò)容能力,滿足態(tài)勢(shì)數(shù)據(jù)的大容量存儲(chǔ)需求。

相比于傳統(tǒng)集中式數(shù)據(jù)庫(kù),分布式數(shù)據(jù)庫(kù)具有基于海量數(shù)據(jù)的高性能、高可靠性和動(dòng)態(tài)擴(kuò)展性的優(yōu)點(diǎn)。

在分布式大數(shù)據(jù)系統(tǒng)中,可以隨時(shí)靈活地訪問信息而不必關(guān)心數(shù)據(jù)存放的地點(diǎn)和方法,數(shù)據(jù)不是集中存放在網(wǎng)絡(luò)的各個(gè)節(jié)點(diǎn)上,節(jié)點(diǎn)之間相互冗余備份,來(lái)實(shí)現(xiàn)數(shù)據(jù)服務(wù)的高可用性。

從大數(shù)據(jù)架構(gòu)視圖來(lái)看,大數(shù)據(jù)設(shè)計(jì)如下圖2所示。

圖2大數(shù)據(jù)架構(gòu)視圖

采用大數(shù)據(jù)分析架構(gòu),具有如下特點(diǎn):

一是提供大數(shù)據(jù)的基礎(chǔ)能力,包含大容量存儲(chǔ)能力、快速處理能力、快速檢索能力、智能分析能力等。

二是在基礎(chǔ)之上提高使用效率,能夠?yàn)橛脩粼诖髷?shù)據(jù)平臺(tái)上開發(fā)數(shù)據(jù)業(yè)務(wù),包含數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)可視化、智能分析等功能提高效率,實(shí)現(xiàn)大數(shù)據(jù)中心的核心價(jià)值。

三是提升管理效率,將各方面的管理納入體系,為升級(jí)、擴(kuò)容、技術(shù)支持等工作降低代價(jià)。

四是多用戶安全性,大數(shù)據(jù)中心服務(wù)于多個(gè)安全業(yè)務(wù),需要用戶安全作為保障,將各個(gè)安全業(yè)務(wù)線流程隔離。

4、日志分析

網(wǎng)絡(luò)行為分析的目的是通過(guò)分析用戶及網(wǎng)絡(luò)中的行為模式,從海量日志中分析出具有參考價(jià)值的事件,提醒管理維護(hù)人員注意。在實(shí)際使用過(guò)程中,一方面,用戶及網(wǎng)絡(luò)中的行為模式多種多樣,分析方法也完全不同;另一方面,未知的一些威脅行為模式特征無(wú)法確定,需在使用過(guò)程中累積知識(shí)和經(jīng)驗(yàn),完成針對(duì)新的行為模式特征的提取與分析。

網(wǎng)絡(luò)行為分析采用插件式的規(guī)則分析方法,一個(gè)分析方法對(duì)應(yīng)一類行為模式,通過(guò)插件管理程序加載到分析引擎中,輸入日志事件,輸出分析結(jié)果,如圖3所示。

圖3基于構(gòu)件化的動(dòng)態(tài)分析引擎技術(shù)

同時(shí),系統(tǒng)采用離線數(shù)據(jù)分析方法,挖掘網(wǎng)絡(luò)中的異常行為及威脅,并通過(guò)追蹤溯源開展責(zé)任認(rèn)定。離線數(shù)據(jù)分析是大數(shù)據(jù)分析的主要分析場(chǎng)景,將海量的數(shù)據(jù)通過(guò)大數(shù)據(jù)的分析方法,挖掘出有用的知識(shí)后,供用戶查詢和展示。

分析方法按照技術(shù)實(shí)現(xiàn)的方案不同,可以分為以下三類:

基于行為規(guī)則的審計(jì),該方法是提取已知異常行為特征,通過(guò)對(duì)行為特征進(jìn)行邏輯范式描述后寫入審計(jì)規(guī)則知識(shí)庫(kù)中,在開展審計(jì)活動(dòng)時(shí),審計(jì)規(guī)則和標(biāo)準(zhǔn)化日志進(jìn)行模式識(shí)別與匹配,發(fā)現(xiàn)可能存在的異常行為。

基于統(tǒng)計(jì)的審計(jì),該方法的原理是利用統(tǒng)計(jì)學(xué)模型的特點(diǎn),使用隨機(jī)變量及其概率分布刻畫目標(biāo)對(duì)象的行為,通過(guò)統(tǒng)計(jì)學(xué)方法描述目標(biāo)對(duì)象的行為特點(diǎn)?;诮y(tǒng)計(jì)學(xué)的審計(jì)則是在統(tǒng)計(jì)學(xué)上發(fā)現(xiàn)目標(biāo)行為特點(diǎn)偏離一般正常行為的異常行為。

基于特征自學(xué)習(xí)的審計(jì),該方法是利用大數(shù)據(jù)挖掘相關(guān)分析方法,總結(jié)出一般行為間的頻繁模式、關(guān)聯(lián)和相關(guān)性,從總結(jié)出的數(shù)據(jù)規(guī)律間尋找異常行為的方法。

系統(tǒng)分析算法管理模塊可綜合容納這三種方法的分析算法,針對(duì)不同的分析場(chǎng)景,開展適應(yīng)性、針對(duì)性強(qiáng)的審計(jì)分析。

5、時(shí)間分析

在系統(tǒng)中,各類業(yè)務(wù)進(jìn)行的工作越來(lái)越復(fù)雜,為了保護(hù)系統(tǒng)的安全,方便監(jiān)控系統(tǒng)運(yùn)行狀況,查看日志并進(jìn)行分析已經(jīng)成為一個(gè)重要手段。管理員可以查看在某時(shí)間段內(nèi)所發(fā)生的事件,也可以通過(guò)對(duì)各種日志進(jìn)行分析輔助安全保密管理工作。由于日志具有數(shù)據(jù)量大,不容易讀懂的特點(diǎn),如果僅憑借管理員查看日志記錄的手段,其中所蘊(yùn)含的有用信息也難以發(fā)現(xiàn)。將數(shù)據(jù)挖掘技術(shù)應(yīng)用于日志分析是一個(gè)關(guān)鍵技術(shù),能夠關(guān)聯(lián)多種類型的日志事件,綜合分析,依據(jù)事先設(shè)定的規(guī)則進(jìn)行匹配,達(dá)到及時(shí)提醒和告警的效果,減輕管理人員的分析負(fù)擔(dān),如圖4所示。

日志事件分析負(fù)責(zé)對(duì)篩選后的待審計(jì)信息結(jié)合審計(jì)規(guī)則進(jìn)行分析,從中發(fā)現(xiàn)異常和違規(guī)行為,為采取相應(yīng)安全措施提供依據(jù)。

圖4事件分析與告警流程示意圖

該流程能夠運(yùn)用于重保任務(wù)和重點(diǎn)監(jiān)控方向的實(shí)時(shí)監(jiān)控,通過(guò)設(shè)置重保區(qū)域、對(duì)象、智能分析引擎來(lái)完成。同時(shí),可以將實(shí)時(shí)分析結(jié)果用于網(wǎng)絡(luò)安全態(tài)勢(shì)呈現(xiàn)。

管理員在審計(jì)告警規(guī)則設(shè)置頁(yè)面事先設(shè)置關(guān)注的人員、關(guān)注對(duì)象、關(guān)注行為后,通過(guò)人工設(shè)置與自學(xué)習(xí)調(diào)整等方式設(shè)置警戒閾值,系統(tǒng)將設(shè)置好的內(nèi)容生成告警觸發(fā)器,事件發(fā)生時(shí),實(shí)時(shí)分析事件判斷是否能夠觸發(fā)告警,事件達(dá)到告警條件,分析系統(tǒng)將生成告警事件,給出告警信息。

6、結(jié)語(yǔ)

通過(guò)構(gòu)建一個(gè)統(tǒng)一的審計(jì)系統(tǒng),匯集用戶及各系統(tǒng)數(shù)據(jù),依托大數(shù)據(jù)分析的技術(shù)優(yōu)勢(shì),將各分類算法,構(gòu)建成統(tǒng)一的審計(jì)平臺(tái),能夠有效地提升企業(yè)系統(tǒng)的安全防御能力。

THEEND

最新評(píng)論(評(píng)論僅代表用戶觀點(diǎn))

更多
暫無(wú)評(píng)論