運(yùn)維數(shù)據(jù)中臺(tái)的建設(shè)方法、實(shí)踐與展望

twt企業(yè)IT社區(qū)
twt社區(qū)
企業(yè)在數(shù)字化轉(zhuǎn)型過(guò)程中運(yùn)維遇到很多痛點(diǎn)如發(fā)現(xiàn)問(wèn)題難、根因定位難、故障預(yù)測(cè)難、運(yùn)維數(shù)據(jù)治理難、容量預(yù)測(cè)難以及各種運(yùn)營(yíng)大屏需求等,建設(shè)運(yùn)維數(shù)據(jù)中臺(tái)可以有效的解決這些痛點(diǎn),本文將探討運(yùn)維數(shù)據(jù)中臺(tái)的探索與實(shí)踐。

1、前言

企業(yè)在數(shù)字化轉(zhuǎn)型過(guò)程中運(yùn)維遇到很多痛點(diǎn)如發(fā)現(xiàn)問(wèn)題難、根因定位難、故障預(yù)測(cè)難、運(yùn)維數(shù)據(jù)治理難、容量預(yù)測(cè)難以及各種運(yùn)營(yíng)大屏需求等,建設(shè)運(yùn)維數(shù)據(jù)中臺(tái)可以有效的解決這些痛點(diǎn),本文將探討運(yùn)維數(shù)據(jù)中臺(tái)的探索與實(shí)踐。

2、背景

企業(yè)在數(shù)字化轉(zhuǎn)型過(guò)程中,IT架構(gòu)越來(lái)越復(fù)雜(如主機(jī)、存儲(chǔ)、網(wǎng)絡(luò)、數(shù)據(jù)庫(kù)、中間件、虛擬化、容器、眾多的業(yè)務(wù)系統(tǒng)),要如何統(tǒng)一監(jiān)控運(yùn)維?海量的IT、業(yè)務(wù)數(shù)據(jù)該如何體現(xiàn)其價(jià)值?如何智能化運(yùn)維、提升運(yùn)維效率?

2345截圖20211028093243.png

傳統(tǒng)運(yùn)維依賴人工操作,有時(shí)也被戲稱為“人肉運(yùn)維”。在傳統(tǒng)運(yùn)維人員減少的同時(shí),我們管理的機(jī)器數(shù)量卻翻倍了,這是我們面臨的一個(gè)比較大的問(wèn)題。網(wǎng)絡(luò)拓?fù)淙找鎻?fù)雜。微服務(wù)出現(xiàn)之后,網(wǎng)絡(luò)拓?fù)潢P(guān)系更加復(fù)雜了,資源頻繁的彈性伸縮,導(dǎo)致CMDB和其他應(yīng)用信息無(wú)法做到實(shí)時(shí)管理。

運(yùn)維專家資源匱乏。運(yùn)維行業(yè)要求硬件、系統(tǒng)、網(wǎng)絡(luò)、腳本語(yǔ)言、開(kāi)發(fā)能力、應(yīng)用運(yùn)維等多領(lǐng)域的知識(shí)儲(chǔ)備,一名優(yōu)秀的運(yùn)維專家需要長(zhǎng)期運(yùn)維工作經(jīng)驗(yàn)的積累。另外,目前運(yùn)維從業(yè)者減少也導(dǎo)致了運(yùn)維專家尤其是有豐富經(jīng)驗(yàn)的運(yùn)維專家資源匱乏的現(xiàn)狀。運(yùn)維平臺(tái)日趨復(fù)雜。很多公司發(fā)展到一定的規(guī)模之后,因?yàn)榍捌诘陌l(fā)展規(guī)劃不足,可能每個(gè)部門(mén)都有自己的運(yùn)維或者監(jiān)控平臺(tái),平臺(tái)繁多就容易形成數(shù)據(jù)孤島,這樣就造成了研發(fā)人員在使用的時(shí)候非常不便。

2345截圖20211028093243.png

以前大家可能面對(duì)的是一個(gè)應(yīng)用只操作一個(gè)數(shù)據(jù)庫(kù)這種傳統(tǒng)的應(yīng)用架構(gòu),而現(xiàn)在幾乎所有的應(yīng)用都已經(jīng)加入了微服務(wù)架構(gòu)的行列,應(yīng)用之間的調(diào)用情況就變得很復(fù)雜,在定位系統(tǒng)問(wèn)題的時(shí)候就非常被動(dòng),這也是我們面臨的一個(gè)問(wèn)題。

數(shù)據(jù)治理難。當(dāng)數(shù)字化建設(shè)進(jìn)行到一定程度的時(shí)候,被管理對(duì)象的數(shù)據(jù)量相應(yīng)的也是水漲船高,數(shù)據(jù)數(shù)量大、類別多且非常分散,很難通過(guò)某一指標(biāo)體系來(lái)衡量系統(tǒng)的健康度,也沒(méi)有一個(gè)統(tǒng)一的視角去判斷數(shù)據(jù)質(zhì)量的好壞優(yōu)劣。

3、什么是運(yùn)維數(shù)據(jù)中臺(tái)

3.1運(yùn)維數(shù)據(jù)中臺(tái)定位

1、統(tǒng)一的運(yùn)維數(shù)據(jù)平臺(tái),基礎(chǔ)架構(gòu)監(jiān)控:提供豐富的基礎(chǔ)架構(gòu)(主機(jī)、網(wǎng)絡(luò)、存儲(chǔ)、虛擬化、數(shù)據(jù)庫(kù)、中間件等),環(huán)境探針和組件,統(tǒng)一運(yùn)維數(shù)據(jù)采集,支持對(duì)接各種監(jiān)控平臺(tái)、外部數(shù)據(jù)源,統(tǒng)一數(shù)據(jù)存儲(chǔ),標(biāo)準(zhǔn)化數(shù)據(jù)管理、數(shù)據(jù)治理,統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn),主數(shù)據(jù)管理。

2、數(shù)字化運(yùn)營(yíng),個(gè)性化的數(shù)據(jù)分析呈現(xiàn)能力,提供靈活自定義的指標(biāo)和評(píng)分模型,提供豐富的Dashboard模板,支持高度自定義的可視化呈現(xiàn)能力。

3、賦能智能運(yùn)維,智能基線告警,智能告警收斂,智能故障預(yù)測(cè),智能根因分析,科學(xué)性能管理、容量預(yù)測(cè)。

3.2數(shù)據(jù)中臺(tái)解決企業(yè)數(shù)字化轉(zhuǎn)型運(yùn)維痛點(diǎn)

1、針對(duì)系統(tǒng)架構(gòu)變化頻繁,又要搭建新的監(jiān)控平臺(tái)我們可以采用一體化數(shù)據(jù)采集平臺(tái)+可視化平臺(tái),放心引入服務(wù)組件;

2、針對(duì)歷史監(jiān)控平臺(tái)太多,多平臺(tái)反復(fù)橫跳,數(shù)據(jù)不統(tǒng)一;原始數(shù)據(jù)無(wú)法直接衡量業(yè)務(wù)&IT服務(wù)的健康程度的問(wèn)題我們可以統(tǒng)一運(yùn)維數(shù)據(jù)中臺(tái),打破數(shù)據(jù)孤島,打造統(tǒng)一、規(guī)范的指標(biāo)體系;

3、針對(duì)業(yè)務(wù)變動(dòng)、舉辦活動(dòng)、領(lǐng)導(dǎo)視察,又要采購(gòu)新的大屏的問(wèn)題我們可以高度定制可視化平臺(tái),快速打造酷炫大屏;

4、針對(duì)告警來(lái)源不統(tǒng)一,告警風(fēng)暴侵?jǐn)_,故障定位困難的問(wèn)題我們可以搭建智能告警平臺(tái),實(shí)現(xiàn)告警相關(guān)性分析,智能化告警、根因分析&故障定位;

5、針對(duì)負(fù)載太重、資源空閑過(guò)多,容量和成本的平衡、供應(yīng)與需求的平衡等問(wèn)題我們可以實(shí)現(xiàn)科學(xué)性能管理、智能容量預(yù)測(cè)。

4、如何建設(shè)運(yùn)維數(shù)據(jù)中臺(tái)

4.1運(yùn)維數(shù)據(jù)中臺(tái)架構(gòu)

2345截圖20211028093243.png

4.2運(yùn)維數(shù)據(jù)中臺(tái)數(shù)據(jù)流程

2345截圖20211028093243.png

4.3運(yùn)維數(shù)據(jù)中臺(tái)建設(shè)方法論

建設(shè)運(yùn)維數(shù)據(jù)中臺(tái)本質(zhì)上是要減少數(shù)據(jù)的重復(fù)建設(shè),提高數(shù)據(jù)的共享能力。所以建設(shè)運(yùn)維數(shù)據(jù)中臺(tái)需要運(yùn)用OneData、OneService兩個(gè)方法論。OneData要求數(shù)據(jù)平臺(tái)的所有數(shù)據(jù)只加工一次,對(duì)應(yīng)到數(shù)據(jù)平臺(tái)的設(shè)計(jì)層面,要求有統(tǒng)一的維度,對(duì)于明細(xì)層數(shù)據(jù),相同粒度的度量只加工一次,對(duì)于匯總層的數(shù)據(jù),相同粒度的指標(biāo)只存在一份。OneService是統(tǒng)一查詢服務(wù),原先數(shù)據(jù)開(kāi)發(fā)和應(yīng)用開(kāi)發(fā)的邊界是比較模糊的,哪些邏輯應(yīng)該是由數(shù)據(jù)開(kāi)發(fā)完成,哪些應(yīng)該是由應(yīng)用開(kāi)發(fā)完成。數(shù)據(jù)服務(wù)劃清了數(shù)據(jù)和應(yīng)用的邊界,數(shù)據(jù)服務(wù)提供的是加工好的指標(biāo)數(shù)據(jù),應(yīng)用通過(guò)數(shù)據(jù)服務(wù),直接獲取計(jì)算的結(jié)果,強(qiáng)制把公共計(jì)算邏輯下沉到數(shù)據(jù)層面,提高了數(shù)據(jù)的共享能力。數(shù)據(jù)中臺(tái)屏蔽了底層系統(tǒng)之間的差異,讓運(yùn)維人員可以將業(yè)務(wù)日常的運(yùn)維工作交給產(chǎn)品、開(kāi)發(fā)、測(cè)試等人員執(zhí)行,實(shí)現(xiàn)業(yè)務(wù)發(fā)布、變更等日常工作的自助化,除此之外,為降低非運(yùn)維人員的操作成本,提供了“輕應(yīng)用”和“職能化”功能,提高自助率。

4.4運(yùn)維數(shù)據(jù)中臺(tái)應(yīng)用場(chǎng)景舉例

4.4.1根因定位

針對(duì)根因定位,可以分為以下主要幾個(gè)步驟。

設(shè)置時(shí)間切片粒度:實(shí)時(shí)獲取時(shí)間切片內(nèi)(1min、5min等)的告警數(shù)據(jù);

告警分類:針對(duì)原始的告警數(shù)據(jù),結(jié)合具體的告警信息和監(jiān)控項(xiàng)等信息,根據(jù)訓(xùn)練好的分類模型對(duì)原始的告警數(shù)據(jù)從HOST、VM、SOFTWARE三個(gè)方面進(jìn)行分類,例如:vm網(wǎng)卡流量大、host磁盤(pán)使用率過(guò)高、software_網(wǎng)頁(yè)訪問(wèn)失敗等。

根據(jù)CMDB配置關(guān)系建模

告警因果圖構(gòu)建:基于告警收斂結(jié)果,在圖數(shù)據(jù)庫(kù)中按照系統(tǒng)級(jí)別查詢每個(gè)系統(tǒng)下的所有節(jié)點(diǎn)之間的連接子圖,并將得到的結(jié)果輸入到networkx中,得到某個(gè)系統(tǒng)下的各節(jié)點(diǎn)之間的最終連接關(guān)系,即告警因果圖。

根因路徑:基于上述生成的告警因果圖,以及權(quán)重來(lái)計(jì)算疑似路徑,排序給出根因路徑。

對(duì)于上述第一個(gè)時(shí)間切片中的某個(gè)系統(tǒng),在圖數(shù)據(jù)庫(kù)中查詢?cè)撓到y(tǒng)下的所有節(jié)點(diǎn)構(gòu)成的子圖,以“某銀行XX系統(tǒng)”這個(gè)系統(tǒng)為例,查詢得到在“一跳”范圍內(nèi)與該系統(tǒng)下的所有節(jié)點(diǎn)之間有關(guān)聯(lián)的節(jié)點(diǎn)的關(guān)系大致如下(紅色表示物理機(jī)節(jié)點(diǎn),棕色表示虛擬機(jī)節(jié)點(diǎn),綠色表示軟件節(jié)點(diǎn)):

2345截圖20211028093243.png

上圖中出現(xiàn)的所有節(jié)點(diǎn)中,既包括有告警信息的,也包括沒(méi)有告警消息的,因此將上述因果圖輸入到netwokx后,可以得到最終經(jīng)過(guò)精簡(jiǎn)后的有告警消息發(fā)出的各節(jié)點(diǎn)的因果圖,其中一部分的因果圖展示如下:

2345截圖20211028093243.png

可以解釋為:“192.168.xxx.xxx-host-服務(wù)器宕機(jī)”導(dǎo)致“10.104.xxx.xxx-vm-服務(wù)器宕機(jī)”,進(jìn)而導(dǎo)致“software-網(wǎng)頁(yè)訪問(wèn)失敗”。

進(jìn)一步的,根據(jù)上述生成的因果圖,再結(jié)合因果圖中每條邊的權(quán)重,就可以計(jì)算出該時(shí)間切片下的單個(gè)系統(tǒng)層面上的所有疑似根因路徑,經(jīng)過(guò)排序后即可得到最終的根因路徑。本例中最終得到的幾條根因路徑如下:

2345截圖20211028093243.png

從上圖可以看出,程序最終給出了幾條疑似的根因路徑,其中包括最長(zhǎng)的一條,可以解釋為:ip**為192.168.xxx.xxx這臺(tái)物理機(jī)由于網(wǎng)卡overruns的原因,導(dǎo)致了這臺(tái)物理機(jī)的宕機(jī),從而使得這臺(tái)物理機(jī)上的ip為10.104.xxx.xxx的虛擬機(jī)宕機(jī),最終導(dǎo)致這臺(tái)虛擬機(jī)上的相關(guān)的網(wǎng)頁(yè)訪問(wèn)失敗。

4.4.2容量預(yù)測(cè)

容量管理服務(wù)覆蓋IT系統(tǒng)的整個(gè)生命周期,通過(guò)調(diào)用中臺(tái)服務(wù)對(duì)業(yè)務(wù)容量數(shù)據(jù)(包括用戶數(shù)量、交易與交易量、業(yè)務(wù)模型、業(yè)務(wù)復(fù)雜度等)、服務(wù)容量數(shù)據(jù)(服務(wù)水平等級(jí)、TPS、并發(fā)用戶數(shù)、連接數(shù)、系統(tǒng)響應(yīng)時(shí)間)和IT基礎(chǔ)架構(gòu)組件容量數(shù)據(jù)(服務(wù)器(CPU、內(nèi)存、IO等)、存儲(chǔ)(磁盤(pán)空間、Cache等)、網(wǎng)絡(luò)(帶寬、端口流量等)、數(shù)據(jù)庫(kù)、中間件)的分析,建立科學(xué)的容量模型,實(shí)現(xiàn)對(duì)容量指標(biāo)的分析和預(yù)測(cè),及時(shí)發(fā)現(xiàn)容量瓶頸、資源配置不均衡等問(wèn)題,在確保業(yè)務(wù)系統(tǒng)的穩(wěn)定運(yùn)行的同時(shí),節(jié)約IT基礎(chǔ)設(shè)施的成本,為客戶提供科學(xué)有效的IT采購(gòu)與擴(kuò)容提供科學(xué)依據(jù),為IT資源更合理分配提供決策支持,實(shí)現(xiàn)兩個(gè)平衡:容量和成本的平衡、供應(yīng)與需求的平衡。

2345截圖20211028093243.png

5、運(yùn)維數(shù)據(jù)中臺(tái)建設(shè)難點(diǎn)

運(yùn)維數(shù)據(jù)中臺(tái)的方法論包括One Service和One Data,而One Data的難點(diǎn)和重點(diǎn)就是運(yùn)維數(shù)據(jù)的治理,數(shù)據(jù)治理是一個(gè)長(zhǎng)期過(guò)程,在運(yùn)維數(shù)據(jù)體系建設(shè)過(guò)程中要有一個(gè)持續(xù)演進(jìn)的運(yùn)維數(shù)據(jù)治理步驟。

第一階段:摸家底,落地?cái)?shù)據(jù)資產(chǎn)。基于要實(shí)現(xiàn)運(yùn)維數(shù)字化場(chǎng)景,梳理運(yùn)維數(shù)據(jù)分析涉及監(jiān)控、日志、性能、配置、流程、應(yīng)用運(yùn)行6類數(shù)據(jù)存儲(chǔ)在哪里,工具或平臺(tái)架構(gòu)、數(shù)據(jù)結(jié)構(gòu),數(shù)據(jù)實(shí)時(shí)性,數(shù)據(jù)完整性,數(shù)據(jù)正確性,數(shù)據(jù)標(biāo)準(zhǔn)化程度等方案。

第二階段:建標(biāo)準(zhǔn),提供一站式的管控能力。結(jié)合第一階段的成果,建立數(shù)據(jù)管控的流程、機(jī)制、標(biāo)準(zhǔn)、安全體系能力,建立一站式的運(yùn)維數(shù)據(jù)平臺(tái),從運(yùn)維數(shù)據(jù)應(yīng)用場(chǎng)景角度梳理企業(yè)數(shù)據(jù)質(zhì)量問(wèn)題,建立數(shù)據(jù)運(yùn)營(yíng)職能崗位、制定數(shù)據(jù)標(biāo)準(zhǔn)及配套的流程。基于運(yùn)維數(shù)據(jù)標(biāo)準(zhǔn),結(jié)合運(yùn)維數(shù)據(jù)項(xiàng)目推動(dòng)運(yùn)維數(shù)據(jù)治理模塊的建設(shè),比如:以運(yùn)維指標(biāo)體系場(chǎng)景驅(qū)動(dòng)落地?cái)?shù)據(jù)資產(chǎn)管理模塊/系統(tǒng),以CMDB配置數(shù)據(jù)為基礎(chǔ)落地主數(shù)據(jù)庫(kù)。

第三階段:促消費(fèi),以數(shù)據(jù)消費(fèi)反向提升數(shù)據(jù)治理能力。首先,提供自助式服務(wù)能力,以用戶為中心,加強(qiáng)運(yùn)維數(shù)據(jù)運(yùn)營(yíng)效能,為用戶提供直接獲取數(shù)據(jù)的能力,直接為用戶提供價(jià)值,向用戶提供數(shù)據(jù)服務(wù)化能力,使用戶能夠自助的獲取和使用數(shù)據(jù)。其次,提供人機(jī)協(xié)同應(yīng)用能力,將數(shù)據(jù)沉淀為知識(shí),形成運(yùn)維知識(shí)圖譜,結(jié)合AIOps理念將機(jī)器優(yōu)勢(shì)與運(yùn)維專家經(jīng)驗(yàn)相結(jié)合,形成數(shù)據(jù)洞察/預(yù)測(cè)、決策/自動(dòng)化、執(zhí)行/任務(wù)的閉環(huán)。利用豐富的數(shù)據(jù)消費(fèi)場(chǎng)景如監(jiān)控告警、自動(dòng)化運(yùn)維等反向發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題,來(lái)持續(xù)提升數(shù)據(jù)治理水平。

數(shù)據(jù)領(lǐng)域的數(shù)據(jù)治理主要包括元數(shù)據(jù)、主數(shù)據(jù)、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)模型、數(shù)據(jù)安全、數(shù)據(jù)生命周期7部分內(nèi)容,以下結(jié)合運(yùn)維領(lǐng)域特點(diǎn),談一下我對(duì)運(yùn)維數(shù)據(jù)治理的內(nèi)容。

1、元數(shù)據(jù)管理

元數(shù)據(jù):元數(shù)據(jù)是指描述數(shù)據(jù)的數(shù)據(jù),是指從信息資源中抽取出來(lái)說(shuō)明數(shù)據(jù)特征、內(nèi)容的結(jié)構(gòu)化的數(shù)據(jù),用于組織、描述、檢索、保存、管理。

2、主數(shù)據(jù)管理

主數(shù)據(jù)管理是指一整套用于生成和維護(hù)主數(shù)據(jù)的規(guī)范、技術(shù)和方案,以保證主數(shù)據(jù)的完整性、一致性和準(zhǔn)確性。主數(shù)據(jù)與交易數(shù)據(jù)不同,主數(shù)據(jù)的內(nèi)容具有穩(wěn)定、可共享、權(quán)威幾個(gè)特征。運(yùn)維主數(shù)據(jù)的主要數(shù)據(jù):

與機(jī)器相關(guān)的:動(dòng)環(huán)、網(wǎng)絡(luò)、服務(wù)器、存儲(chǔ)、光纖交換機(jī)等。

與軟件相關(guān)的:系統(tǒng)軟件、數(shù)據(jù)庫(kù)、中間件、應(yīng)用系統(tǒng)、DNS等。

與流程相關(guān)的:與ITIL相關(guān)的事件、問(wèn)題、變更、配置等。

3、數(shù)據(jù)標(biāo)準(zhǔn)管理

數(shù)據(jù)標(biāo)準(zhǔn)通常包括組織架構(gòu)、標(biāo)準(zhǔn)制度、管控流程、技術(shù)體系四個(gè)方向,應(yīng)用統(tǒng)一的數(shù)據(jù)定義、數(shù)據(jù)分類、編碼規(guī)范,以及數(shù)據(jù)字典等。在運(yùn)維領(lǐng)域數(shù)據(jù)標(biāo)準(zhǔn)可以考慮如下:

組織架構(gòu):確定運(yùn)維元數(shù)據(jù)、主數(shù)據(jù)、交易數(shù)據(jù)涉及的管理決策、數(shù)據(jù)業(yè)主、運(yùn)營(yíng)、質(zhì)量、消費(fèi)等團(tuán)隊(duì)或崗位角色。

標(biāo)準(zhǔn)制度:圍繞源端數(shù)據(jù)制定分類、格式、編碼等規(guī)范,制定日志、報(bào)警、性能指標(biāo)等數(shù)據(jù)標(biāo)準(zhǔn)。

管控流程:要對(duì)運(yùn)維數(shù)據(jù)管理的供應(yīng)、變更、申請(qǐng)、共享、質(zhì)量、運(yùn)營(yíng)等流程進(jìn)行規(guī)范化、線上化、流程化、表單化。

技術(shù)體系:綜合考慮平臺(tái)架構(gòu)、接口規(guī)范、應(yīng)用場(chǎng)景等,圍繞運(yùn)維數(shù)據(jù)的“采存算管用”建立運(yùn)維數(shù)據(jù)平臺(tái)。

4、數(shù)據(jù)質(zhì)量管理

數(shù)據(jù)質(zhì)量管理是指針對(duì)數(shù)據(jù)從獲取、存儲(chǔ)、共享、維護(hù)、應(yīng)用、消亡全生命周期的每個(gè)階段里可能引發(fā)的數(shù)據(jù)質(zhì)量問(wèn)題,進(jìn)行識(shí)別、度量、監(jiān)控、預(yù)警等管理活動(dòng),并通過(guò)改善和提高組織的管理水平提高數(shù)據(jù)質(zhì)量。運(yùn)維數(shù)據(jù)有如下特點(diǎn):海量的非結(jié)構(gòu)化數(shù)據(jù)、秒級(jí)以內(nèi)的實(shí)時(shí)數(shù)據(jù)、源端數(shù)據(jù)標(biāo)準(zhǔn)化程度低、應(yīng)用場(chǎng)景對(duì)實(shí)時(shí)性要求高。所以運(yùn)維數(shù)據(jù)質(zhì)量管理應(yīng)該在有限資源的背景下聚焦實(shí)時(shí)、在線、準(zhǔn)確、完整、有效、規(guī)范等關(guān)鍵字。

5、數(shù)據(jù)模型管理

運(yùn)維數(shù)據(jù)的模型管理方面,一是要借鑒傳統(tǒng)業(yè)務(wù)大數(shù)據(jù)的指標(biāo)數(shù)據(jù)模型設(shè)計(jì)方法;二要結(jié)合運(yùn)維數(shù)據(jù)消費(fèi)場(chǎng)景實(shí)時(shí)、準(zhǔn)確等特征,利用流式計(jì)算方式區(qū)分源端原始數(shù)據(jù),旁路后的加工數(shù)據(jù),根據(jù)規(guī)則生成的指標(biāo)數(shù)據(jù)等方式,設(shè)計(jì)運(yùn)維實(shí)時(shí)數(shù)據(jù)模型。

6、數(shù)據(jù)安全管理

數(shù)據(jù)安全管理是實(shí)現(xiàn)數(shù)據(jù)安全策略和流程的制訂,數(shù)據(jù)安全管理需要遵循國(guó)家、行業(yè)的安全政策法規(guī),比如網(wǎng)絡(luò)安全法,等級(jí)保護(hù),個(gè)人隱私安全等要求。另外,數(shù)據(jù)治理將依賴數(shù)據(jù)來(lái)源、內(nèi)容、用途進(jìn)行分類,所以數(shù)據(jù)安全管理還要求對(duì)數(shù)據(jù)內(nèi)容敏感程度、影響等進(jìn)行分級(jí)分類。運(yùn)維數(shù)據(jù)都是生產(chǎn)數(shù)據(jù),生產(chǎn)數(shù)據(jù)的安全管理,要從技術(shù)、管理兩個(gè)角度對(duì)產(chǎn)生、運(yùn)營(yíng)、消費(fèi)進(jìn)行全流程的安全管理。

7、數(shù)據(jù)生命周期管理

數(shù)據(jù)生命周期通常是指數(shù)據(jù)從產(chǎn)生、采集、存儲(chǔ)、整合、分析、消費(fèi)/應(yīng)用、歸檔、銷毀等過(guò)程的數(shù)據(jù)管理。數(shù)據(jù)價(jià)值決定著數(shù)據(jù)全生命周期過(guò)程的管理方式,數(shù)據(jù)價(jià)值可能會(huì)隨著時(shí)間的變化而遞減,影響著采集粒度、時(shí)效性、存儲(chǔ)方式、分析應(yīng)用、場(chǎng)景消費(fèi)等。對(duì)運(yùn)維數(shù)據(jù)生命周期各個(gè)階段的特點(diǎn)采取不同的管理方法和控制手段,能從數(shù)據(jù)中挖掘出更多有效的數(shù)據(jù)價(jià)值。

6、運(yùn)維數(shù)據(jù)中臺(tái)的發(fā)展方向

運(yùn)維數(shù)據(jù)中臺(tái)的發(fā)展方向可以從以下兩個(gè)方面考慮:

1、云上數(shù)據(jù)中臺(tái),實(shí)現(xiàn)應(yīng)用微服務(wù)化、容器化。應(yīng)用可以基于容器鏡像構(gòu)建、運(yùn)行,實(shí)現(xiàn)容器編排、上線和擴(kuò)容快、秒級(jí)伸縮,同時(shí)也提升資源使用率和業(yè)務(wù)交互的性能

2、構(gòu)建運(yùn)維AI中臺(tái),AI中臺(tái)是運(yùn)維數(shù)據(jù)中臺(tái)的未來(lái)發(fā)展的趨勢(shì),隨著業(yè)務(wù)技術(shù)的發(fā)展,數(shù)據(jù)中臺(tái)會(huì)向著AI中臺(tái)演進(jìn),它圍繞智能化服務(wù)為核心,它依賴于數(shù)據(jù)中臺(tái)提供給它數(shù)據(jù)服務(wù)的能力,而智能化的技術(shù)開(kāi)發(fā)能力,又能夠提供給數(shù)據(jù)更便捷和快速的的數(shù)據(jù)分析和預(yù)測(cè),從而提供了更好的數(shù)據(jù)服務(wù)。因此它們之間又是相互依存、共同提升。AI中臺(tái)的構(gòu)建貫穿數(shù)據(jù)體系的各個(gè)方面,并不是在數(shù)據(jù)中臺(tái)的基礎(chǔ)上加上智能化處理就行。AI中臺(tái)嘗試解決如下的問(wèn)題:

拆分服務(wù)構(gòu)建環(huán)節(jié),智能服務(wù)開(kāi)發(fā)流程化,快速響應(yīng)業(yè)務(wù)需求

利用元數(shù)據(jù)管理方式,提供統(tǒng)一的標(biāo)準(zhǔn)格式,場(chǎng)景可以多人協(xié)同配合開(kāi)發(fā)

基礎(chǔ)設(shè)施共享化,模型的訓(xùn)練和發(fā)布與數(shù)據(jù)平臺(tái)有效綁定,服務(wù)的構(gòu)建自動(dòng)化

通用AI能力平臺(tái)化,降低人員要求,提升協(xié)作效率

THEEND

最新評(píng)論(評(píng)論僅代表用戶觀點(diǎn))

更多
暫無(wú)評(píng)論