【中國智能制造網(wǎng)技術(shù)前沿】“數(shù)據(jù)湖”相當(dāng)于一個中心位置來存儲你所有的數(shù)據(jù)，它無需考慮數(shù)據(jù)來源和格式。它通常是用‘Hadoop’來建立。數(shù)據(jù)可以是結(jié)構(gòu)化的或者非結(jié)構(gòu)化的。你可以使用大量的存儲，分析和處理工具快速提取數(shù)據(jù)的價值來做出重要的組織決策。　　
　　因為所有的數(shù)據(jù)都是受歡迎的，對于傳統(tǒng)的企業(yè)數(shù)據(jù)倉庫來說，‘數(shù)據(jù)湖’算得上是一個功能強大的替代品或補充品。另外，隨著更多的企業(yè)向基于云服務(wù)的應(yīng)用開發(fā)和物聯(lián)網(wǎng)轉(zhuǎn)型，‘數(shù)據(jù)湖’也是一個主要的選擇。
　　
　　在早期的使用案例中，企業(yè)頻繁的將數(shù)據(jù)裝載到“數(shù)據(jù)湖”而不嘗試去管理它。隨著‘數(shù)據(jù)湖’越來越成熟而且對企業(yè)來說更具戰(zhàn)略意義，僅僅將數(shù)據(jù)裝載到“數(shù)據(jù)湖”已經(jīng)不再足夠了而是需要做更好的打算。
　　
　　“數(shù)據(jù)湖”具有靈活性，可擴展性，低成本性三個特征。并且它還具有傳統(tǒng)的數(shù)據(jù)倉庫（EDW）的大部分特征，當(dāng)你要增加數(shù)據(jù)管理和支配能力，如：數(shù)據(jù)質(zhì)量，元數(shù)據(jù)管理，安全，轉(zhuǎn)換和拆分與組合數(shù)據(jù)的能力。如果正確的管理“數(shù)據(jù)湖”，它可以改進你現(xiàn)在的數(shù)據(jù)管理措施并且能啟用新的數(shù)據(jù)管理措施。建立“數(shù)據(jù)湖”的時候，你的公司可以選擇下列4種方式中的一種：
　　
　　選擇1：延后支配
　　
　　種選擇在加載數(shù)據(jù)到數(shù)據(jù)湖的時候就忽略數(shù)據(jù)的支配和管理。然而，當(dāng)你需要篩選出數(shù)據(jù)中有用的部分的時候，你將不得不用工具來清理這些數(shù)據(jù)，例如機器學(xué)習(xí)技術(shù)。然而這種方法是真正存在風(fēng)險的，即使是智能的推理引擎也需要從‘數(shù)據(jù)湖’大量的數(shù)據(jù)中的某個地方開始，不可避免的就是在‘數(shù)據(jù)湖’中部分?jǐn)?shù)據(jù)將被忽略，變得滯后，孤立，并且其中的數(shù)據(jù)幾乎不具有結(jié)構(gòu)化，即使是智能的自動化工具或者人工分析，都不知道從什么地方開始。
　　
　　選擇2：適應(yīng)已經(jīng)存在的工具
　　
　　你可以利用初為數(shù)據(jù)倉庫設(shè)計的應(yīng)用和過程。當(dāng)你準(zhǔn)備導(dǎo)入數(shù)據(jù)到數(shù)據(jù)倉庫時你可以用軟件工具來執(zhí)行ETL過程。你可以用這些工具來導(dǎo)出數(shù)據(jù)到數(shù)據(jù)湖，然而那樣做代價很高，而且只能解決部分你所需要的管理和支配功能。另外一個缺點就是ELT是不包含在在Hadoop集群內(nèi)的，那樣會減慢操作速度和增加消耗，因為每次查詢都必須將數(shù)據(jù)從集群中移除。
　　
　　選擇3：編寫定制腳本
　　
　　在第三種選擇中，你用定制腳本創(chuàng)建了一個工作流來連接進程，應(yīng)用，質(zhì)量檢查和數(shù)據(jù)轉(zhuǎn)換從而來滿足管理的需要。這是一個很常見的選擇但是不可靠和耗資源的。你需要在Hadoop和它的生態(tài)系統(tǒng)方面有很強的分析能力從而來利用開源工具，而且他們需要編寫腳本來把各部分連接起來。隨著你必須不斷修改復(fù)雜的代碼和工作流來更新‘數(shù)據(jù)湖’，這個過程是很費時間和資源的。
　　
　　選擇4：配置一個完整的“數(shù)據(jù)湖”管理平臺
　　
　　第四個選擇是配置一個用來汲取和管理大量不同的數(shù)據(jù)的“數(shù)據(jù)湖”管理平臺。Zaloni’sBedrock提供了這項功能。他允許你為數(shù)據(jù)編排目錄，利用元數(shù)據(jù)并且支持正在進行中的以確保數(shù)據(jù)質(zhì)量，數(shù)據(jù)沿襲和自動化工作流的進程。這種方法是解決“數(shù)據(jù)湖”管理和支配的佳辦法。
　　
　　當(dāng)你向“數(shù)據(jù)湖”轉(zhuǎn)變的時候，選擇一個完全整合的數(shù)據(jù)湖管理平臺將會使你對數(shù)據(jù)充滿信心，并且會合并更多的用戶和用戶案例使之有益于商業(yè)。歸根結(jié)底，這就是數(shù)據(jù)存在的意義，用來告知和提高組織的決策過程，用嶄新的并且激動人心的方式來幫助您的業(yè)務(wù)增長。