生產(chǎn)網(wǎng)

來源: 發(fā)布時(shí)間:2024-10-19

敏捷數(shù)據(jù)管理平臺(tái)(Agile Data Management)簡稱ADM,是采用基于CDM(副本數(shù)據(jù)管理)的數(shù)據(jù)庫虛擬化技術(shù),為企業(yè)上中下游數(shù)據(jù)的備份恢復(fù)、數(shù)據(jù)驗(yàn)證、敏感數(shù)據(jù)處理、分發(fā)交付提供的面向數(shù)據(jù)全生命周期的安全管理解決方案,在保證數(shù)據(jù)安全使用的同時(shí),提高了數(shù)據(jù)使用效率并降低了數(shù)據(jù)存儲(chǔ)成本。ADM由數(shù)據(jù)備份管理、備份校驗(yàn)管理、數(shù)據(jù)副本管理、敏感數(shù)據(jù)處理管理組成,實(shí)現(xiàn)了數(shù)據(jù)復(fù)制容災(zāi)、數(shù)據(jù)存儲(chǔ)管理和數(shù)據(jù)流程管理,通過自動(dòng)化流程任務(wù)編排的方式實(shí)現(xiàn)了數(shù)據(jù)使用的成本控制、版本管理與開發(fā)利用,能夠充分發(fā)揮了數(shù)據(jù)資產(chǎn)的潛在價(jià)值。數(shù)據(jù)安全領(lǐng)域的CDM是指copy data management。生產(chǎn)網(wǎng)

生產(chǎn)網(wǎng),上訊敏捷數(shù)據(jù)管理平臺(tái)ADM

l應(yīng)用數(shù)據(jù)一致性保障ADM主要應(yīng)用原生備份接口獲取具有應(yīng)用一致性保障的數(shù)據(jù),如針對(duì)Oracle,利用OracleRMAN和歸檔日志來保障備份數(shù)據(jù)庫數(shù)據(jù)的一致性;針對(duì)VMware虛擬化,利用VMwareSnapshot技術(shù)來保障備份虛擬機(jī)數(shù)據(jù)的一致性。l事務(wù)日志同步技術(shù)支持?jǐn)?shù)據(jù)庫的事務(wù)日志備份,事務(wù)日志是數(shù)據(jù)庫中已發(fā)生的所有修改和執(zhí)行每次修改的事務(wù)的一連串記錄,事務(wù)日志備份可將數(shù)據(jù)恢復(fù)到精確的故障點(diǎn)。例如:Oracle支持歸檔日志備份和刪除,MySQL數(shù)據(jù)庫支持redo日志備份和刪除等。l文件系統(tǒng)數(shù)據(jù)保護(hù)ADM支持備份非結(jié)構(gòu)化的文件系統(tǒng)。支持全量備份和長久增量備份與全量快照合成,備份策略采用定時(shí)執(zhí)行備份任務(wù),恢復(fù)策略支持細(xì)粒度恢復(fù),**小粒度為恢復(fù)單個(gè)文件。支持跨文件系統(tǒng)恢復(fù),例如恢復(fù)到EXT3、EXT4、NTFS等文件系統(tǒng)。變形規(guī)則隨機(jī)生成數(shù)據(jù)管理領(lǐng)域的CDM產(chǎn)品哪個(gè)廠商做得好?

生產(chǎn)網(wǎng),上訊敏捷數(shù)據(jù)管理平臺(tái)ADM

上訊敏捷數(shù)據(jù)管理平臺(tái)適用場景:數(shù)據(jù)交付速度慢的開發(fā)測(cè)試部門企業(yè)通過交付生產(chǎn)數(shù)據(jù)輔助第三方業(yè)務(wù)決策,如開發(fā)/測(cè)試環(huán)境、統(tǒng)計(jì)分析、準(zhǔn)業(yè)務(wù)系統(tǒng)環(huán)境搭建等,交付生產(chǎn)數(shù)據(jù)的方式是通過生成業(yè)務(wù)系統(tǒng)數(shù)據(jù)副本,而副本的準(zhǔn)備通常需要幾小時(shí),甚至幾天不等,嚴(yán)重拖延了項(xiàng)目進(jìn)度。

備份數(shù)據(jù)的有效性驗(yàn)證效率低的運(yùn)維部門,大部分企業(yè)對(duì)其**業(yè)務(wù)系統(tǒng)進(jìn)行了數(shù)據(jù)備份,為了檢驗(yàn)備份數(shù)據(jù)的有效性,以及滿足相關(guān)法律法規(guī)的要求,企業(yè)對(duì)備份數(shù)據(jù)采取周期性的恢復(fù)驗(yàn)證;由于企業(yè)的業(yè)務(wù)系統(tǒng)繁多,而人員相對(duì)緊缺,驗(yàn)證工作需要大量重復(fù)性動(dòng)作,成為企業(yè)當(dāng)前面臨的一大挑戰(zhàn)。

數(shù)據(jù)副本分散存放難以管理的數(shù)據(jù)中心數(shù)據(jù)副本一旦被交付使用,就**存在于使用環(huán)境中,隨著數(shù)據(jù)使用場景的日益增多,數(shù)據(jù)副本在非生產(chǎn)環(huán)境中逐漸累積,**分散的存放方式導(dǎo)致副本的辨識(shí)度不高,后續(xù)使用與銷毀難度明顯增大。同時(shí),重復(fù)存放現(xiàn)象嚴(yán)重造成了存儲(chǔ)資源的浪費(fèi)。u隱私數(shù)據(jù)泄露風(fēng)險(xiǎn)高的用戶無論是通過生產(chǎn)數(shù)據(jù)庫導(dǎo)出,還是通過備份系統(tǒng)恢復(fù),都能夠直接獲取到企業(yè)的**生產(chǎn)數(shù)據(jù),其中包含企業(yè)內(nèi)部機(jī)密數(shù)據(jù)和客戶個(gè)人隱私信息,一旦發(fā)生泄露將帶來嚴(yán)重后果,不僅影響企業(yè)的名譽(yù),也會(huì)造成一定的經(jīng)濟(jì)損失。

通過智能定義敏感數(shù)據(jù)類型,自動(dòng)發(fā)現(xiàn)和識(shí)別敏感數(shù)據(jù),包括數(shù)據(jù)類型、內(nèi)容、約束關(guān)系,靈活排序減少人為篩選,定位敏感數(shù)據(jù)源。豐富的算法與仿真的字典庫相結(jié)合,保證處理后數(shù)據(jù)仍具有業(yè)務(wù)屬性,數(shù)據(jù)表間關(guān)系仍具有業(yè)務(wù)一致性,不影響數(shù)據(jù)挖掘分析數(shù)據(jù)價(jià)值。對(duì)涉及企業(yè)、個(gè)人信息的隱私數(shù)據(jù),包括資金財(cái)產(chǎn)、個(gè)人、企業(yè)隱私的對(duì)照關(guān)系進(jìn)行敏感數(shù)據(jù)識(shí)別,通過內(nèi)置的規(guī)則進(jìn)行處理,將數(shù)據(jù)敏感部分去隱私化,但并不失去數(shù)據(jù)挖掘的價(jià)值特征,減少數(shù)據(jù)隱私泄露帶來的風(fēng)險(xiǎn)和損失,甚至降低可能發(fā)生的人身傷害和違法犯罪事件。上訊信息敏捷數(shù)據(jù)管理平臺(tái)為企業(yè)上中下游數(shù)據(jù)的高效使用、安全管控提供了一套綜合數(shù)據(jù)安全治理解決方案。

生產(chǎn)網(wǎng),上訊敏捷數(shù)據(jù)管理平臺(tái)ADM

測(cè)試數(shù)據(jù)版本迭代管理,提升開發(fā)測(cè)試業(yè)務(wù)的變更效率企業(yè)開發(fā)需求更新頻繁,對(duì)測(cè)試環(huán)境和測(cè)試數(shù)據(jù)提出了同步變更的要求,ADM的虛擬數(shù)據(jù)庫快照功能解決了測(cè)試數(shù)據(jù)版本迭代的問題,通過對(duì)數(shù)據(jù)庫狀態(tài)進(jìn)行定時(shí)或即時(shí)的記錄,保留當(dāng)前虛擬數(shù)據(jù)庫的狀態(tài)作為測(cè)試數(shù)據(jù)版本,一旦需要調(diào)用某個(gè)版本時(shí),只需切換到不同時(shí)間點(diǎn)的虛擬庫快照即可,靈活實(shí)現(xiàn)測(cè)試數(shù)據(jù)版本的任意切換,ADM還支持創(chuàng)建和維護(hù)虛擬庫級(jí)聯(lián)快照,滿足回歸測(cè)試等具體應(yīng)用場景,通過這一功能明顯提升了開發(fā)測(cè)試效率、升級(jí)迭代效率。副本數(shù)據(jù)管理CDM產(chǎn)品與數(shù)據(jù)備份產(chǎn)品的區(qū)別?CDM在金融行業(yè)的應(yīng)用場景

數(shù)據(jù)安全領(lǐng)域的CDM是指副本數(shù)據(jù)管理。生產(chǎn)網(wǎng)

上訊敏捷數(shù)據(jù)管理平臺(tái)(ADM)支持重復(fù)數(shù)據(jù)刪除技術(shù),在典型的重復(fù)數(shù)據(jù)刪除技術(shù)中,根據(jù)不同的數(shù)據(jù)備份場景選擇適合的重刪策略與粒度方案。在確定重刪策略與粒度后,會(huì)根據(jù)輸入側(cè)不同粒度(卷級(jí)、文件級(jí)、塊級(jí))的數(shù)據(jù)采取不同的數(shù)據(jù)切分策略,并依據(jù)任務(wù)級(jí)與全局指紋庫提供自適應(yīng)源端的全局重刪算法與策略,當(dāng)前支持源端塊級(jí)、文件級(jí)重刪和并行重刪技術(shù)。源端重刪是采用基于內(nèi)容的可變長數(shù)據(jù)切分算法,通過對(duì)數(shù)據(jù)塊進(jìn)行哈希算法的標(biāo)記,即指紋(Fingerprint),在指紋庫中尋找相同的指紋。如果存在相同指紋,則表示已保存了相同的數(shù)據(jù)塊,ADM則不再保存此數(shù)據(jù)塊,而是引用已存在的數(shù)據(jù)塊,從而節(jié)省更多的備份空間。該算法還可以智能識(shí)別已修改的數(shù)據(jù)和未修改的數(shù)據(jù),從而避免因修改數(shù)據(jù)位移而導(dǎo)致的未修改數(shù)據(jù)切分到新數(shù)據(jù)塊中的問題,較大限度地提升重刪性能和重刪率,為避免數(shù)據(jù)備份過程中冗余網(wǎng)絡(luò)傳輸與存儲(chǔ)開銷,在源端設(shè)置粗粒度前置數(shù)據(jù)校驗(yàn)可以明顯縮小備份傳輸過程中的數(shù)據(jù)冗余,目的在于不備份任意一個(gè)冗余數(shù)據(jù)。生產(chǎn)網(wǎng)