近期,四川省科學技術獎勵大會公布了“2019年度四川省科學技術進步獎”獲獎名單。在此次評優活動中,衛士通《面向安全監管的高可靠分布式存儲系統》被評為“四川省科學技術進步獎二等獎”。
四川省科學技術獎勵工作深入貫徹“尊重勞動、尊重知識、尊重人才、尊重創造”的方針,旨在鼓勵團結協作、自主創新和攀登科學技術高峰,促進科學研究、技術開發與社會發展之間的融合,努力培養國內一流科學家、科技領軍人才和科技工作一線創新人才,加速創新驅動發展戰略的實施,以此推進創新型四川建設。
項目·簡介
面向安全監管的高可靠分布式存儲系統
該項目由衛士通和成都信息工程大學聯合完成,針對安全監管數據存儲利用率不高,容錯能力有限等問題,采用衛士通安全運行監管系統所用的hadoop分布式文件結構,以安全運行監管系統采集到的多種類安全監管數據為對象,共同研究設計了具備高容錯能力、高安全特性、可快速編解碼的新型分布式存儲陣列糾刪碼,提出了具備不同特點、多粒度的數據容錯恢復技術、計算環境、網絡邊界與傳輸網絡安全防護技術,以及減少數據傳輸量的分存份額縮減方法,并構建了具備自主知識產權、基于陣列碼的高安全、高可靠分布式存儲系統。
該項目的總體研究思路,是從安全監管的分布式存儲系統對數據存儲可靠性的要求出發,以存儲編碼的高容錯能力和快速編解碼能力來實現最優更新及存儲修復;以多粒度容錯能力為保障、減少數據傳輸為輔助來實現高可靠分布式存儲系統的技術支撐;以hadoop技術為依據來實現相應的大數據分布式存儲。未來,該項目的相關成果可應用到氣象、公安、電力、醫院等行業,將帶來顯著的社會價值。
不僅如此,項目組還在期間突破了一系列關鍵技術,共申請和獲得相關專利9項(國內發明專利7項,已授權7項;申請國際PCT專利2項)、獲得軟件著作權33項、發表論文48篇。
亮點·解讀
面向安全監管的高可靠分布式存儲系統
01、本系統采用多源數據集中采集組件來統一接入多源數據,然后對異構的輸入數據進行校驗、解析、校正,再統一存入大數據集群。而多源數據集中采集組件則采用插件化的架構模式,能滿足當下和未來添加、修改各類不同數據編解碼的需求,從而對各種異構數據進行標準化處理;
02、在安全監管方面,本系統使用事件關聯分析技術,結合安全事件的運行環境,對原來相對孤立的低層安全事件數據集進行關聯整合,并通過過濾、聚合等手段去偽存真,發掘隱藏在這些安全數據之間的真實聯系,識別網絡威脅和復雜的攻擊樣式,生成高級層面的安全場景,為網絡安全態勢感知和攻擊發現提供可靠的支撐;
03、該分布式存儲系統跟其他存儲系統相比,由于基礎陣列碼在理論上擁有不受限的容錯能力,因此在容錯數量方面遠遠大于以往的存儲系統,可以在大規模分布式存儲集群中容忍更多的節點失效;
04、本系統在陣列碼特點上,擺脫了以往傳統糾刪碼受到素數或類素數的約束條件,可以使參數設置更靈活。此外,采用的編碼運算都是異或運算,較以往基于有限域或其他運算的陣列碼,在運算速度方面有了顯著提升。該系統采用的陣列碼均是MDS或近似MDS的最優編碼,因此存儲效率能夠達到最優或近似最優,在高容錯能力的前提下存儲效率更高、冗余度更低,更能節約存儲成本和計算成本;
05、在數據恢復上,由于該系統采用的是異或運算,因此數據恢復的基本速度很快,在獨有的局部恢復技術的配合下,可實現更快捷的數據恢復。此外,該系統在數據恢復方面獨創了不同層次的數據恢復功能,實現了比特數據、數據塊、重要圖像和存儲節點的恢復。