自主可控大數(shù)據(jù)存儲管理系統(tǒng)立足自主可控、安全可信關鍵軟硬件，采用軟硬件協(xié)同創(chuàng)新方式，具備高效能、高可靠、強實時等特點，面向軍事大數(shù)據(jù)應用技術領域，解決海量多類型數(shù)據(jù)安全存儲、開放融合數(shù)據(jù)體系構建、多云協(xié)同運行等關鍵問題。通過實施運用自主可控大數(shù)據(jù)存儲管理系統(tǒng)，有效提升了海量多元數(shù)據(jù)的高安全融合存儲與多樣化協(xié)同分析的能力，促進了快速形成以軍事大數(shù)據(jù)為核心的新型戰(zhàn)斗力。
一、案例背景與主要問題
隨著大數(shù)據(jù)技術的迅猛發(fā)展及其在軍事上的廣泛應用，大數(shù)據(jù)已成為戰(zhàn)爭制勝的新要素。分析軍事領域大數(shù)據(jù)，可以更加直觀、快速的實現(xiàn)多元信息融合、有效增強戰(zhàn)場全域感知和聯(lián)合指揮能力，只有掌握數(shù)據(jù)資源，才能在未來戰(zhàn)爭中占據(jù)主動優(yōu)勢。然而，軍事領域大數(shù)據(jù)技術的應用仍存在諸多挑戰(zhàn)：
（1）海量多類型數(shù)據(jù)安全存儲問題
戰(zhàn)場態(tài)勢的復雜性，以及感知技術、網(wǎng)絡技術的廣泛運用，導致了軍事數(shù)據(jù)爆發(fā)式增長，而其中80%以上的數(shù)據(jù)為非結構化數(shù)據(jù)，如何存儲多類型海量數(shù)據(jù)對大數(shù)據(jù)存儲提出了挑戰(zhàn)。同時，軍事數(shù)據(jù)作為核心資產(chǎn)，保障數(shù)據(jù)安全是重中之重，對于軍事應用領域，必須滿足“自主可控、安全可信”的大數(shù)據(jù)系統(tǒng)規(guī)劃和建設要求。
（2）大數(shù)據(jù)存儲管理開放融合問題
多元數(shù)據(jù)融合與多樣化計算分析是構建戰(zhàn)場信息模型的必要基礎，大數(shù)據(jù)的存儲系統(tǒng)一方面要具備海量、安全、高效存儲能力，滿足大數(shù)據(jù)的存儲需求，另一方面需要提供豐富訪問協(xié)議接口，以滿足不同計算分析工具或平臺的高性能訪問需求。針對大數(shù)據(jù)的計算分析方式是多樣的，例如實時流分析、批處理、Ad-hoc SQL分析等，每一種計算分析方式往往都要需要構建相應的底層基礎架構，包括存儲引擎與計算引擎，這就要求對于大數(shù)據(jù)的多樣化計算分析需要針對不同的存儲引擎、計算引擎，設計開發(fā)不同的應用程序，數(shù)據(jù)需要在多個存儲引擎中復制，在造成開發(fā)工作負擔的同時，給系統(tǒng)運維也帶來了難度。
大數(shù)據(jù)存儲管理需要具備多元數(shù)據(jù)、多樣化計算分析的開放融合能力。
（3）大數(shù)據(jù)存儲管理系統(tǒng)運行模式問題
計算、存儲等基礎設施資源是支撐大數(shù)據(jù)管理分析的基礎，一方面由于時效性、安全性等要求，以及戰(zhàn)場環(huán)境限制，部隊分支機構根據(jù)作戰(zhàn)需求會構建私有化基礎設施資源，如自建數(shù)據(jù)中心，建立車載、艦載大數(shù)據(jù)存儲系統(tǒng)等；而另一方面，隨著數(shù)據(jù)規(guī)模的不斷增加，私有化基礎設施在資源量、建設成本等方面不能滿足使用要求，并且存在與其他數(shù)據(jù)中心（例如上級數(shù)據(jù)中心）進行數(shù)據(jù)交互的場景需求，這都要求私有基礎設施具備與外部數(shù)據(jù)中心共同組成混合云、多云基礎設施形態(tài)的能力。
二、解決方案
自主可控大數(shù)據(jù)存儲管理系統(tǒng)依托于自身的軟硬件協(xié)同能力，針對軍事大數(shù)據(jù)技術應用領域，有效解決存在的以上問題。自主可控大數(shù)據(jù)存儲管理系統(tǒng)組成包括基礎硬件設施層、大數(shù)據(jù)多樣化計算分析統(tǒng)一平臺、大數(shù)據(jù)文件系統(tǒng)，以及可視化交互與運維平臺。
基礎硬件設施由國產(chǎn)申威3231彈性計算服務器及申威3231彈性存儲服務器組成，提供計算、存儲基礎設施資源；大數(shù)據(jù)文件系統(tǒng)運行在存儲服務器之上，以對象存儲為底座，提供HDFS、POSIX、NFS存儲服務；大數(shù)據(jù)多樣化計算分析統(tǒng)一平臺通過數(shù)據(jù)與計算抽象，形成面向異構數(shù)據(jù)的多模式計算分析能力；可視化交互與運維平臺統(tǒng)一管理基礎設施，以及計算、存儲平臺，提供便捷的使用和運維服務。
基于自主可控處理器的大數(shù)據(jù)存儲管理系統(tǒng)的總體實施方案具有以下能力特點：
（1）采用計算存儲分離架構，能夠靈活的對計算、存儲等基礎資源進行獨立配置及彈性伸縮，具備良好的經(jīng)濟性和節(jié)能降耗水平；
（2）計算、存儲基礎資源的彈性伸縮涵蓋3個層面：彈性服務器設備級縱向彈性伸縮；彈性服務器集群級橫向彈性伸縮；混合云模式的跨集群、跨地域彈性伸縮；
（3）軟硬件協(xié)同創(chuàng)新設計，具備高度可定制能力，開箱即用的高度集成能力。
自主可控大數(shù)據(jù)存儲管理系統(tǒng)的硬件基礎設施層實施方案：
（1）基于新一代國產(chǎn)申威3231處理器設計多路高性能服務器；
（2）高度模塊化及可定制化，具有良好的硬件層彈性，能夠獨立拓展計算能力及存儲能力。
自主可控大數(shù)據(jù)存儲管理系統(tǒng)的大數(shù)據(jù)文件系統(tǒng)實施方案：
（1）對象存儲基于糾刪碼機制，在充分保證數(shù)據(jù)可靠性的基礎上，大大提高了磁盤空間有效利用率。為解決糾刪編碼帶來的性能損耗，利用申威3231處理器SIMD指令級進行編碼計算加速，兼顧了空間利用率與性能；
（2）元數(shù)據(jù)與數(shù)據(jù)分離架構，以內(nèi)存式KV數(shù)據(jù)庫存儲元數(shù)據(jù)、對象存儲系統(tǒng)存儲業(yè)務數(shù)據(jù)，實現(xiàn)高性能與高吞吐量；
（3）混合云模式充分拓展資源空間，無縫開展數(shù)據(jù)共享。
基于自主可控處理器的大數(shù)據(jù)存儲管理系統(tǒng)的多樣化計算分析統(tǒng)一平臺實施方案具有以下能力特點：
（1）基于計算與存儲抽象，兼容多類型數(shù)據(jù)存儲系統(tǒng)及大數(shù)據(jù)引擎，實現(xiàn)大數(shù)據(jù)分析平臺的統(tǒng)一；
（2）結合大數(shù)據(jù)文件系統(tǒng)的混合云擴展模式，擴展至外部云環(huán)境存儲的數(shù)據(jù)，可以通過計算平臺的混合云擴展模式，在外部云上獲得與本地大數(shù)據(jù)分析一致的體驗。
三、解決方案先進性、獨創(chuàng)性
自主可控大數(shù)據(jù)存儲管理系統(tǒng)在面向軍事大數(shù)據(jù)技術領域解決關鍵問題，解決方案先進性、獨創(chuàng)性主要體現(xiàn)在4個方面：
（1）立足自主可控、安全可信關鍵軟硬件，設計高性能且具備硬件彈性的高度可定制大數(shù)據(jù)存儲管理基礎硬件平臺；基于自主可控處理器的大數(shù)據(jù)存儲管理系統(tǒng)有效解決了信息系統(tǒng)底層安全問題；
（2）建立開放的大數(shù)據(jù)存儲管理基礎體系，包括1）數(shù)據(jù)開放：支持海量異構多源數(shù)據(jù)的融合存儲；2）計算開放：統(tǒng)一計算平臺，解耦底層計算引擎，支持多樣化大數(shù)據(jù)計算分析模式；具備開放的基礎體系，適應于多業(yè)務數(shù)據(jù)融合應用場景，高效支持業(yè)務分析模式的創(chuàng)新發(fā)展；
（3）無縫對接多云服務，支持混合云工作模式；支持混合云運行模式，能夠獲取足夠的資源彈性及數(shù)據(jù)共享性；
（4）高度集成，開箱即用，有效提升大數(shù)據(jù)存儲管理能效，降低運維管理復雜度，提高大數(shù)據(jù)存儲管理的效能，進一步拓展了其應用推廣范圍。
四、實施效果
通過在某部實施運用自主可控大數(shù)據(jù)存儲管理系統(tǒng)，有效解決了海量多元數(shù)據(jù)的高安全融合存儲與多樣化協(xié)同分析的問題，促進了快速形成以軍事大數(shù)據(jù)為核心的新型戰(zhàn)斗能力。
