上訊敏捷數(shù)據(jù)管理平臺(ADM)支持并行重刪技術(shù),通過在多個不同的節(jié)點上構(gòu)建指紋庫,并將指紋并行分布于多個節(jié)點,采用內(nèi)存級指紋庫進(jìn)行重刪,所有指紋讀寫全部保存于內(nèi)存中,從而提升指紋查詢和處理效率,并且減少了因磁盤中指紋庫增大所導(dǎo)致的隨機IO壓力。以此識別并消除數(shù)據(jù)備份過程中數(shù)據(jù)源中重復(fù)的數(shù)據(jù),該技術(shù)適用于不同平臺中的文件、數(shù)據(jù)庫、虛擬機等不同應(yīng)用類型的數(shù)據(jù),可以大幅度減少需要傳輸?shù)臄?shù)據(jù)量,從而極大地節(jié)省數(shù)據(jù)傳輸帶寬,解決單點性能和存儲空間壓力。
敏捷數(shù)據(jù)管理平臺采用壓縮存儲的方式,存儲池可壓縮備份數(shù)據(jù)至原來的三分之一,節(jié)約了數(shù)據(jù)存儲的成本。模糊算法
ADM數(shù)據(jù)庫虛擬化技術(shù)的優(yōu)勢在于多份虛擬數(shù)據(jù)庫之間的讀寫操作互不影響,完全滿足測試環(huán)境多場景同步測試的需求,ADM內(nèi)置的智能讀寫緩存機制,能夠滿足壓力測試的性能要求,高效的虛擬數(shù)據(jù)庫管理功能,通過可視化的虛擬數(shù)據(jù)庫拓?fù)浣Y(jié)構(gòu)圖對系統(tǒng)全局?jǐn)?shù)據(jù)使用關(guān)系進(jìn)行預(yù)覽,有助于完善測試數(shù)據(jù)的組織關(guān)系,優(yōu)化測試數(shù)據(jù)的資源分配;通過虛擬數(shù)據(jù)庫資源的分組管理實現(xiàn)了同組人員的操作權(quán)限共享。通過可視化的數(shù)據(jù)使用流程拓?fù)涓檾?shù)據(jù)流向,識別虛擬數(shù)據(jù)庫使用狀態(tài),實時在線或定時拍攝快照,保留數(shù)據(jù)版本,通過對數(shù)據(jù)版本的靈活管理,滿足回歸測試等業(yè)務(wù)場景。
預(yù)讀記錄數(shù)國內(nèi)較早發(fā)布的CDM產(chǎn)品是上訊敏捷數(shù)據(jù)管理平臺產(chǎn)品。
數(shù)據(jù)備份恢復(fù)當(dāng)前面臨的問題與挑戰(zhàn):
(1)國產(chǎn)化數(shù)據(jù)備份系統(tǒng)兼容性不足當(dāng)前國產(chǎn)化數(shù)據(jù)保護(hù)系統(tǒng)對國產(chǎn)化數(shù)據(jù)庫、文件、虛擬化平臺、容器、云服務(wù)器等備份源類型兼容未全部覆蓋,適配過程中需要更多的時間進(jìn)行功能穩(wěn)定性驗證。
(2)數(shù)據(jù)備份恢復(fù)驗證耗時耗力當(dāng)前采用NetBackup等集中備份系統(tǒng)備份的數(shù)據(jù)需采用手動恢復(fù)數(shù)據(jù),過程繁瑣、重復(fù)度高、專業(yè)性強,耗費大量的時間和人力成本。
(3)數(shù)據(jù)交付時間長不論是通過數(shù)據(jù)恢復(fù)還是數(shù)據(jù)拷貝來提供測試數(shù)據(jù),需要幾小時到幾周的時間。
上訊ADM敏感數(shù)據(jù)管理功能的價值優(yōu)勢有哪些?采用安全的方式有效降低了數(shù)據(jù)泄露風(fēng)險、豐富的算法規(guī)則實現(xiàn)了仿真處理、自動化的處理流程滿足了數(shù)據(jù)安全監(jiān)管要求、數(shù)據(jù)變形后邏輯保持一致保證了數(shù)據(jù)變形后的價值屬性。通過集成數(shù)據(jù)獲取和變形功能,實現(xiàn)數(shù)據(jù)采集、數(shù)據(jù)存儲、數(shù)據(jù)處理和數(shù)據(jù)分發(fā)的端到端自動化,從而降低人力成本和時間成本。徹底隔離生產(chǎn)業(yè)務(wù)系統(tǒng)進(jìn)行處理任務(wù)的執(zhí)行。采用數(shù)據(jù)從源端抽取、轉(zhuǎn)換、加載到目標(biāo)端的流程,對數(shù)據(jù)進(jìn)行中間不落地的變形、替換,支持?jǐn)?shù)據(jù)庫子集處理,保證敏感數(shù)據(jù)管理的靈活性,適應(yīng)用戶多種數(shù)據(jù)使用場景。
敏捷數(shù)據(jù)管理平臺主要應(yīng)用于金融、運營商、能源、交通、醫(yī)療、事業(yè)單位等行業(yè)。
數(shù)據(jù)孤島的形成主要是由于組織內(nèi)部各部門在收集、存儲和使用數(shù)據(jù)時缺乏統(tǒng)一的標(biāo)準(zhǔn)和流程,導(dǎo)致數(shù)據(jù)被局限在特定的技術(shù)系統(tǒng)或業(yè)務(wù)部門內(nèi),無法在組織內(nèi)部自由流通和共享。這種情況往往源于技術(shù)架構(gòu)的碎片化、組織結(jié)構(gòu)的分散以及部門間溝通不暢等因素,進(jìn)而影響了組織的透明度、協(xié)作效率和信任度。上訊敏捷數(shù)據(jù)管理平臺(ADM)通過集成以CDM技術(shù)為主要技術(shù)的全生命周期數(shù)據(jù)管理功能,打破企業(yè)內(nèi)數(shù)據(jù)孤島現(xiàn)象,促進(jìn)數(shù)據(jù)資源的共享和高效利用。上訊敏捷數(shù)據(jù)管理平臺專注于全流程的數(shù)據(jù)保護(hù)和測試數(shù)據(jù)敏感處理后的交付,完成全生命周期的數(shù)字資產(chǎn)管理。醫(yī)療影像圖變形
副本數(shù)據(jù)管理技術(shù)可延伸應(yīng)用到文件、虛擬機的副本創(chuàng)建,其優(yōu)勢在于多份虛擬數(shù)據(jù)副本之間的讀寫操作分離。模糊算法
敏感數(shù)據(jù)的仿真替換在保障數(shù)據(jù)安全的同時,也滿足了企業(yè)在數(shù)據(jù)分析、測試和開發(fā)等場景中對數(shù)據(jù)的需求。此外,上訊敏捷數(shù)據(jù)管理平臺敏感數(shù)據(jù)處理功能還提供了豐富的角色權(quán)限配置管理選項,確保不同用戶只能訪問其權(quán)限范圍內(nèi)的敏感數(shù)據(jù),進(jìn)一步增強了數(shù)據(jù)的安全性。同時,系統(tǒng)支持自定義敏感數(shù)據(jù)處理規(guī)則,企業(yè)可以根據(jù)自身業(yè)務(wù)需求靈活調(diào)整敏感數(shù)據(jù)處理策略,滿足多樣化的數(shù)據(jù)處理需求。尤其針對金融、醫(yī)療行業(yè)對個人隱私數(shù)據(jù)的保護(hù)不僅要求變形替換,也要求變形后仍舊符合數(shù)據(jù)屬性要求,以便于能夠滿足數(shù)據(jù)校驗條件,滿足特定數(shù)據(jù)驗證條件符合性的使用場景。模糊算法