UNIS DataEngine DI數(shù)據(jù)集成引擎內(nèi)嵌多種可視化數(shù)據(jù)處理引擎，運(yùn)用分布式流數(shù)據(jù)處理技術(shù)，為用戶提供高效便捷的數(shù)據(jù)抽取、清洗、轉(zhuǎn)換、加載等功能。完成數(shù)據(jù)庫(kù)數(shù)據(jù)、文本數(shù)據(jù)、日志數(shù)據(jù)、設(shè)備數(shù)據(jù)和互聯(lián)網(wǎng)數(shù)據(jù)從數(shù)據(jù)源向目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)無(wú)縫集成和轉(zhuǎn)化的任務(wù)，讓用戶不再花費(fèi)大量時(shí)間精力在底層數(shù)據(jù)傳輸、處理的技術(shù)細(xì)節(jié)上。

UNIS DataEngine DI數(shù)據(jù)集成引擎

簡(jiǎn)單、易用

• 提供簡(jiǎn)潔友好的Web操作界面，摒棄傳統(tǒng)工具的笨重操作模式。
• 基于JAVA開(kāi)發(fā)，實(shí)現(xiàn)跨平臺(tái)操作，對(duì)上層提供封裝完善的ETL工具集，大大降低數(shù)據(jù)集成工作量。
• 統(tǒng)一的Web操作平臺(tái)，可實(shí)現(xiàn)數(shù)據(jù)集成的任務(wù)管理、發(fā)布、調(diào)度、監(jiān)控等功能。
• 對(duì)于常用配置資源做到一次配置，任意使用，提高數(shù)據(jù)集成效率。

高性價(jià)比

• 低成本:無(wú)需部署專用的ETL服務(wù)器，充分利用現(xiàn)有硬件資源。
• 高性能:分布式ETL引擎，大幅提高ETL效率，尤其適用于大數(shù)據(jù)量的并行處理，且性能隨著數(shù)據(jù)集成引擎節(jié)點(diǎn)的擴(kuò)展可以得到線性提升。

集成UNIS DataEngine大數(shù)據(jù)平臺(tái)的能力

• 無(wú)縫銜接大數(shù)據(jù)平臺(tái)，通過(guò)高效的工作流引擎，實(shí)現(xiàn)對(duì)大 數(shù)據(jù)平臺(tái)數(shù)據(jù)集成任務(wù)的編排和執(zhí)行。
• 優(yōu)化Hive、HBase、Storm、Kafka等組件的兼容性和穩(wěn)定性，提升數(shù)據(jù)并行處理能力和加載速度。

數(shù)據(jù)集成引擎與UNIS DataEngine大數(shù)據(jù)平臺(tái)

云化ETL

云化ETL

• 將ETL工具Web化、任務(wù)云化，并下發(fā)到集群各個(gè)節(jié)點(diǎn)，分布式運(yùn)行;充分發(fā)揮集群資源，實(shí)現(xiàn)負(fù)載均衡，大幅提高ETL速率。
• 系統(tǒng)內(nèi)置的大量常用ETL過(guò)程模板和用戶自定義模板，可以簡(jiǎn)化用戶數(shù)據(jù)集成操作，提升工作效率。
• 創(chuàng)新型的作業(yè)和作業(yè)模板管理，可創(chuàng)建多個(gè)ETL任務(wù)，根據(jù)不同的條件觸發(fā)多個(gè)關(guān)聯(lián)的執(zhí)行任務(wù)。同時(shí)可將已創(chuàng)建的作業(yè)模板應(yīng)用到新的ETL作業(yè)中。

作業(yè)管理

• 數(shù)據(jù)集成引擎提供多類型數(shù)據(jù)庫(kù)連接，豐富的ETL組件，支持多種數(shù)據(jù)抽取、轉(zhuǎn)換以及加載模式。
• 支持大數(shù)據(jù)平臺(tái)適配，提供Hive、HBase、HDFS、MongoDB、MPP等數(shù)據(jù)源的適配和集成工具。
• 多源數(shù)據(jù)類型適配，提供Oracle、SQLServer、MySQL、DB2、Sybase、Informix、PostgreSQL、Txt、Excel、XML、CSV、Access等數(shù)據(jù)源的適配訪問(wèn)組件，并可將任務(wù)分布式運(yùn)行于多個(gè)集群節(jié)點(diǎn)。

數(shù)據(jù)集成設(shè)計(jì)器

數(shù)據(jù)集成設(shè)計(jì)器用于描述源數(shù)據(jù)格式、目標(biāo)數(shù)據(jù)格式以及數(shù)據(jù)集成流程。UNIS DataEngine DI數(shù)據(jù)集成引擎的設(shè)計(jì)器提供批量更新和直觀、易用的設(shè)計(jì)導(dǎo)航，簡(jiǎn)化了數(shù)據(jù)加載和轉(zhuǎn)換等高級(jí)特性的實(shí)施步驟，縮短了實(shí)施時(shí)間，實(shí)現(xiàn)一站式數(shù)據(jù)處理模型設(shè)計(jì)。這樣，用戶可以集中精力描述工作的內(nèi)容，而非工作方法，顯著提高數(shù)據(jù)集成的效率。

元數(shù)據(jù)管理

作為UNISDataEngineDI數(shù)據(jù)集成引擎的重要功能，元數(shù)據(jù)管理能夠?yàn)閿?shù)據(jù)集成建立一套數(shù)據(jù)資料庫(kù)，存儲(chǔ)治理范圍內(nèi)的數(shù)據(jù)定義、來(lái)源、轉(zhuǎn)換關(guān)系、目標(biāo)、質(zhì)量等級(jí)、依賴關(guān)系、安全權(quán)限等。進(jìn)而幫助人們更好的理解數(shù)據(jù)，發(fā)現(xiàn)和描述數(shù)據(jù)的來(lái)龍去脈，形成清晰直觀的數(shù)據(jù)流圖，實(shí)現(xiàn)數(shù)據(jù)管控。

此外，通過(guò)元數(shù)據(jù)管理，實(shí)現(xiàn)統(tǒng)一數(shù)據(jù)口徑、標(biāo)明數(shù)據(jù)方位、分析數(shù)據(jù)關(guān)系、管理模型變更。從而更加有效的發(fā)掘和利用信息資產(chǎn)的價(jià)值，實(shí)現(xiàn)精準(zhǔn)高效的分析和決策，推進(jìn)系統(tǒng)變更管理，降低項(xiàng)目風(fēng)險(xiǎn)。

任務(wù)調(diào)度中心

用戶可在數(shù)據(jù)集成引擎選擇已存的模板進(jìn)行任務(wù)創(chuàng)建，也可對(duì)現(xiàn)有任務(wù)進(jìn)行定制化修改實(shí)現(xiàn)任務(wù)創(chuàng)建，并可對(duì)正在執(zhí)行的任務(wù)甚至歷史任務(wù)進(jìn)行監(jiān)控管理，能在任務(wù)出錯(cuò)時(shí)通過(guò)預(yù)定義方式告知用戶任務(wù)失敗。從而完善任務(wù)管理與監(jiān)控體系，提升數(shù)據(jù)集成的可靠性。

任務(wù)調(diào)度管理

• 提供統(tǒng)一、友好的管理界面，通過(guò)此管理平臺(tái)，只需通過(guò)簡(jiǎn)單的操作，用戶即可設(shè)置環(huán)境、導(dǎo)出和導(dǎo)入數(shù)據(jù)庫(kù)、管理運(yùn)行操作、監(jiān)視會(huì)話、診斷錯(cuò)誤以及生成報(bào)告。
• 管理平臺(tái)還提供強(qiáng)大的作業(yè)調(diào)度以及管控能力，使得數(shù)據(jù)處理更加業(yè)務(wù)化、可視化，使得信息化部門(mén)可以更加方便、全面地了解數(shù)據(jù)處理模型的運(yùn)行情況，有助于迅速定位和排除故障，并為及時(shí)主動(dòng)地采取業(yè)務(wù)優(yōu)化措施提供了可能性。
• 支持用戶細(xì)粒度的權(quán)限管理，包括功能訪問(wèn)權(quán)限和數(shù)據(jù)操作權(quán)限，實(shí)現(xiàn)精細(xì)化的數(shù)據(jù)傳輸管理，保障數(shù)據(jù)安全。
• 支持可視化多角度作業(yè)運(yùn)行監(jiān)控，提供統(tǒng)計(jì)報(bào)表展示，進(jìn)而知悉數(shù)據(jù)傳輸?shù)膶?shí)時(shí)狀態(tài)，對(duì)于優(yōu)化提升數(shù)據(jù)集成的質(zhì)量和效率具有極大的幫助。

運(yùn)行任務(wù)統(tǒng)計(jì)報(bào)表展示

• 數(shù)據(jù)整合:實(shí)現(xiàn)同、異構(gòu)數(shù)據(jù)源之間的數(shù)據(jù)采集、傳輸、處理和整合，打破數(shù)據(jù)孤島。
• 新舊系統(tǒng)業(yè)務(wù)更替:將舊業(yè)務(wù)系統(tǒng)數(shù)據(jù)按照合適的規(guī)范標(biāo)準(zhǔn)傳輸至新業(yè)務(wù)系統(tǒng)當(dāng)中。
• 跨組織數(shù)據(jù)移動(dòng):在一些大型組織中，數(shù)據(jù)需要互通共享，甚至跨地區(qū)的業(yè)務(wù)訪問(wèn)，可以打通數(shù)據(jù)，降低業(yè)務(wù)訪問(wèn)延遲。
• 定時(shí)數(shù)據(jù)同步:為數(shù)據(jù)倉(cāng)庫(kù)業(yè)務(wù)增量數(shù)據(jù)提供多維度的定時(shí)同步功能。
• 數(shù)據(jù)分析:在不影響業(yè)務(wù)的同時(shí)，將業(yè)務(wù)數(shù)據(jù)實(shí)時(shí)同步至分析系統(tǒng)中，快速滿足業(yè)務(wù)決策及BI系統(tǒng)。
• 建設(shè)行業(yè)數(shù)據(jù)標(biāo)準(zhǔn):在數(shù)據(jù)治理過(guò)程中，通過(guò)對(duì)數(shù)據(jù)格式的統(tǒng)一，實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)化，保證數(shù)據(jù)質(zhì)量。