大數據時代,人們的生活、工作都在數據化,時時刻刻都有新的數據產生,數據正在呈幾何倍數爆炸式增長。如何存儲、管理和使用這些數據,是現代企業面臨的難題。
Forrester報告顯示,組織中經常有多達73%的數據未使用,但很少有數據被丟棄。這些組織仍然保留舊的但很少或從未訪問過的數據,原因主要是:
新的分析類型,比如長期趨勢分析可能會使這些幾乎被遺忘的數據變得必要。
訴訟的可能性,這可能要追溯到幾年前的舊文檔和電子郵件。
這些數據可以被稱作“冷數據”,顧名思義,冷數據即是那些不經常訪問、但又無法刪除的信息,比如用戶在社交媒體上存儲的大量信息、企業備份數據、業務與操作日志數據、話單與統計數據等信息。
組織在這方面面臨的挑戰是,如何有效管理此類數據的存儲,即使大部分時間組織看不到也用不到這些數據。
其中一個問題是,存儲被IT界視為一種商品。存儲很便宜,所以沒有人會考慮在需要的時候訂購更多的磁盤。
但是存儲真的便宜嗎?
帶寬和基礎架構成本不斷增長,而這些成本通常需要支持更多存儲(甚至便宜的存儲)以及包含大數據的更大文件。更多的存儲空間需要更多的資金用于處理、網絡和人員等支持資源。與存儲相關的成本會增加的另一個原因是,保留大型文件的多個版本時災難恢復和備份過程變得復雜。
結果是,需要為很少使用或根本不使用的數據留出額外的存儲空間,尤其是大數據的需要超出了存儲空間的規模。這增加了總體IT支出。
公司可以采取以下四個方法來有效地管理其冷存儲數據。
1、使用便宜但可靠的冷存儲
對于很少使用或存檔的數據,慢速硬盤驅動器和磁帶是最常用的存儲介質。重要的是定期測試磁盤和磁帶,以確保它們工作正常。另外,要避免將舊的驅動器和磁帶降級為歸檔和數據備份功能——這些資源仍然有使用壽命,如果它們太舊,則更有可能出現故障。
2.考慮基于云的冷存儲
如果您不想在現場或物理外部設施中存儲大數據,則可以選擇使用云。基于云的冷存儲有很多選擇,您可能會找到一種存儲所有冷數據最合適的選擇。
3.對冷數據進行年度評估
即使您已經有存儲冷數據的方法,也并不意味著您應該存儲所有數據。如果您還沒有,您可以與管理層和法律部門商議確定應該保留哪些數據、丟棄哪些數據,每年評估一次即可。
4. 使用數據/存儲自動化
大多數存儲提供商提供分層的數據存儲,這種存儲是通過人工智能實現的。人工智能會采用您定義的存儲數據的規則,并自動應用它們來確定數據的存儲位置。
數據存儲的主要層是內存存儲或固態驅動器,您經常訪問的數據存儲就在其中。不常訪問的數據可以存儲在更便宜的硬盤存儲的二級數據層上。
很少使用的數據或冷數據將被分配給速度較慢的磁盤驅動器或磁帶,這些磁盤或磁帶是您最便宜的存儲介質。通過利用這種自動化,您可以確保經常以最低的成本存儲冷數據的同時,始終可以將大量熱數據提供給用戶。
結束語
大多數大數據存儲管理策略的重點是讓用戶隨時可以實時獲得數據,但這也增加了存儲和處理的預算支出。公司可以通過管理很少使用的數據來幫助抵消這些較大的支出,這樣就可以以最低的成本存儲這些數據。對于這些數據,冷存儲是一種安全、可靠、經濟的解決方案。