“希望是本無所謂有,無所謂無的。這正如地上的路;其實地上本沒有路,走的人多了,也便成了路?!?這是魯迅先生1921年在短篇小說《故鄉》中的一段話。
魯迅先生用這段話表達對兒時伙伴閏土從幼年到成年之變化的感嘆,揭露了封建傳統觀念對人精神的束縛、扭曲,所造成人與人之間的冷漠、隔膜,表達了對現實的強烈不滿,以及改造舊社會、創造新生活的強烈愿望。
大數據技術應用也是如此。
沒有停歇的大數據腳步
大數據一度被寄予厚望,它借助全量數據分析,似乎讓人找到了破解困擾人類難題的希望。但從實際的結果看:大數據表現遠遠落后于人類的期望,問題何在?是大數據技術言過其實嗎?
有輿論認為:“成也蕭何,敗也蕭何,Hadoop復雜性制約了大數據推廣應用?!钡?strong>先行者并沒有停下探索的腳步,盡管沒有“破解癌癥”類的爆點,但行業應用并不缺乏經典的成功案例。
金融行業的 “千人千面”;醫療行業的 “疫情精準防護”;電力行業的輸電網絡、配電網絡、以及用電負荷等電力調度模型;以及交通行業的 “平安交通”、“交通運輸應急處置和調度指揮”、“交通運輸信用輿情檢測”等大數據經典應用讓我津津樂道,但也讓我好奇:他們是如何做到的呢?又是如何跨越Hadoop、數據建模帶來的技術復雜性的呢?
仔細研究大數據產業生態,我漸漸也想明白了:大數據不僅是HDFS、MapReduce、數據建模,而是涵蓋了Web管理界面、集群供應/管理/監控、數據傳遞/遷移、數據分析、機器學習以及流式數據處理等數據應用場景的大大小小26個模塊化工具,它們都是大數據技術。

一句話,對于大數據的認知要與時俱進,否則就趕不上技術發展的步伐了!Hive、HBase都是大數據,在很多行業得到了普遍應用。有數據顯示:全球大數據平臺市場規模持續增長,市場規模高達4813.6億元。

數據安全成為成長中的煩惱
大數據產業茁壯成行,以Hive、HBase等為基礎,“千人千面”、“疫情精準防護”等已經成為行業不可或缺的應用,其重要性不言而喻,也因為如此,業務系統的可靠性和穩定性問題就變得格外突出,業務連續性日益得到用戶關注。
大數據平臺保護對于確保業務連續性至關重要。
不同于傳統的數據保護備份,大數據平臺保護面臨著 “數多無策”的問題。針對于PB級大數據,有限備份窗口讓傳統備份手段面臨挑戰;此外,長時間保留海量的備份副本,也讓企業數據存儲成本不堪重負;備份數據的安全存儲與合規等都面臨問題,需要新一代備份方案加以解決。

愛數AnyBackup研發副總裁鄧平指出:“大數據應用重要性不斷提升,作為核心業務應用的承載平臺,大數據平臺保護就變得愈加重要?!?/p>
針對HDFS、Hive、HBase等大數據平臺組件的保護需求,愛數AnyBackup提供表粒度、數據一致性的數據備份,以及多并發的數據恢復,全面滿足了大數據平臺保護的需要。

愛數AnyBackup又是怎么解決備份窗口不足以及數據副本存儲成本的難題呢?

據鄧平透露:借助永久增量、重刪技術,愛數AnyBackup方案能夠提升96倍以上備份效率,節省存儲資源達90%;針對勒索病毒,愛數AnyBackup利用不可變存儲技術,實現備份數據防篡改,為業務系統數據安全再加一把鎖,將勒索病毒拒之門外。
針對本地備份/異地容災、以及兩地三中心災備等更高級別的數據安全保護需求,愛數AnyBackup也提供針對性的解決方案。
需要特別指出的是:針對HDFS、Hive、HBase等應用場景的不同特點,如Hive架構中,元數據與存儲分離,如何確保備份數據的一致性?再例如,HBase數據變化頻繁,對增量數據備份要求比較高,這都要求AnyBackup能夠應對,而AnyBackup也確實做到。
備份并不難理解,但是針對大數據平臺保護做到表顆粒度的數據保護、不同格式Metastore數據兼容,以及在線備份、靈活的架構部署,這都離不開對HDFS、Hive、HBase等技術的深度把握,沒有技術作為保障,就只好“望洋興嘆”了。
在我看來,愛數AnyBackup與大數據平臺的情緣,也是大數據技術茁壯成長的見證。如果大數據應用僅僅限于探索和嘗試,未必需要備份;大數據業務不可或缺,則備份必然成為必選項,愛數AnyBackup在技術上的優勢,讓其如魚得水!
小結
因為重要所以備受重視。大數據應用的水平提升,使得其業務重要性不斷增強,如今“個性化推薦”、“千人千面”等行業應用已經不可或缺,也因為如此,大數據平臺保護應該提到議事日程上來。
大數據與數據保護結緣,將開啟數據應用新時代!