數據副本管理

來源: 發(fā)布時間:2024-10-18

敏感數據處理是上訊敏捷數據管理平臺(ADM)產品功能模塊之一,主要針對敏感數據的處理使用,提供集敏感數據自動識別、仿真處理與數據交付為一體的敏感數據管理功能,覆蓋了敏感數據使用與管理的全部場景。針對敏感數據識別提供通用數據特征庫,敏感數據類型包括但不限于個人身份信息、組織機構信息、資質資格證信息、金融數據信息、醫(yī)療數據信息、車輛數據信息等眾多類別,支持全庫與子集自動掃描識別,包括數據內容、字段類型、約束關系均可以實現自動識別,并依據類型特征加以分類;針對敏感數據的仿真處理,ADM內置大量數據算法對敏感數據進行隨機化、模糊化替換,保證處理后數據的完整性、仿真性以及數據間的關聯關系保持不變,支持處理結果的校驗。數據安全領域的CDM是指copy data management。數據副本管理

數據副本管理,上訊敏捷數據管理平臺ADM

上訊敏捷數據管理平臺(ADM)支持并行重刪技術,通過在多個不同的節(jié)點上構建指紋庫,并將指紋并行分布于多個節(jié)點,采用內存級指紋庫進行重刪,所有指紋讀寫全部保存于內存中,從而提升指紋查詢和處理效率,并且減少了因磁盤中指紋庫增大所導致的隨機IO壓力。以此識別并消除數據備份過程中數據源中重復的數據,該技術適用于不同平臺中的文件、數據庫、虛擬機等不同應用類型的數據,可以大幅度減少需要傳輸的數據量,從而極大地節(jié)省數據傳輸帶寬,解決單點性能和存儲空間壓力。操作日志審計海量數據供數于下游開發(fā)測試統計分析場景的數據使用需求該如何滿足?

數據副本管理,上訊敏捷數據管理平臺ADM

l虛擬化平臺數據保護ADM為用戶提供***且有針對性的虛擬化平臺保護方案,包括VMware/SmartX/浪潮/華為FC/云宏WinStack/OpenStack/浪潮云InCloudOpenStack虛擬化平臺,幫助用戶解決商業(yè)和國產虛擬化的備份和恢復業(yè)務。例如:VMware是通過調用管理虛擬機和讀寫數據的API備份接口VADP(VstorageAPISforDataProtection)進行備份。VMware備份實現了無代理備份,即無需在虛擬化平臺或者各個虛擬機上安裝客戶端代理,只需通過代理客戶端連接虛擬化平臺即可,因此幾乎不占用主機資源,不影響生產性能。支持虛擬機自動發(fā)現功能,當虛擬機發(fā)生變化時,無需人工添加或刪除變化的虛擬機,即可實現自動備份,備份模式***支持NBD、NBD-SSL、SAN、Hot-Add備份,恢復模式支持SAN、NBD、NBD-SSL模式,備份格式包括RAW、VMDK等。

在典型的重復數據刪除技術中,根據不同的數據備份場景選擇適合的重刪策略與粒度方案。在確定重刪策略與粒度后,會根據輸入側不同粒度(卷級、文件級、塊級)的數據采取不同的數據切分策略,并依據任務級與全局指紋庫提供自適應源端的全局重刪算法與策略,當前支持源端塊級、文件級重刪和并行重刪技術。源端重刪是采用基于內容的可變長數據切分算法,通過對數據塊進行哈希算法的***標記,即指紋(Fingerprint),在指紋庫中尋找相同的指紋。如果存在相同指紋,則表示已保存了相同的數據塊,ADM則不再保存此數據塊,而是引用已存在的數據塊,從而節(jié)省更多的備份空間。該算法還可以智能識別已修改的數據和未修改的數據,從而避免因修改數據位移而導致的未修改數據切分到新數據塊中的問題,比較大限度地提升重刪性能和重刪率,為避免數據備份過程中冗余網絡傳輸與存儲開銷,在源端設置粗粒度前置數據校驗可以明顯縮小備份傳輸過程中的數據冗余,目的在于不備份任意一個冗余數據。上訊敏捷數據管理平臺ADM產品的合規(guī)性體現在通過數據申請審批流程使用數據,嚴格控制數據外流。

數據副本管理,上訊敏捷數據管理平臺ADM

組織內部應建立一套完善的數據備份恢復體系,部署相應的數據備份恢復平臺,實現對生產數據的定期備份和恢復驗證。該平臺應包括對備份數據進行定期的恢復驗證,周期間隔跨越日、月、季度、半年、年等,恢復驗證策略設置完畢可自動執(zhí)行,確保數據的可恢復性和可用性;該平臺應能對長期存儲的備份數據進行時效性管理,針對數據的分享、存儲、使用和刪除設定有效期,過期存儲數據可進行刪除或再次授權使用;該平臺應能對備份數據進行壓縮或加密存儲,保證存儲空間的有效利用.敏捷數據管理平臺ADM產品數據信創(chuàng)產品,實現了國產數據庫的備份與國產操作系統的兼容。敏感數據處理效率每秒幾萬條

敏捷數據管理平臺虛擬數據秒級分發(fā),提升了環(huán)境準備效率,數據交付時間整體節(jié)約100倍以上。數據副本管理

數據備份面臨存儲成本高的問題,ADM采用內置高效的壓縮存儲池存放數據,壓縮比約為3:1,存儲即壓縮,降低了備份數據的存儲成本;其次,通過ADM的數據庫虛擬化技術,一份基礎數據即可快速拉起多份虛擬數據庫,由于虛擬數據庫90%的數據均與原始數據相同,因此拉起時幾乎不占用額外的物理存儲空間,只對新增的寫操作計入容量占用,因此,隨著數據分發(fā)使用的場景和頻率增加,虛擬庫的數量越來越多,而存儲成本將會呈倍數級節(jié)約,例如針對同一份數據創(chuàng)建N個虛擬庫,傳統方法需要N倍的存儲空間占用,而通過ADM只需要占用近乎0TB的存儲空間,節(jié)約了數據存儲環(huán)節(jié)的資源和成本。數據副本管理