產(chǎn)品特征

配置化的安裝部署

系統(tǒng)可實現(xiàn)跨平臺、跨網(wǎng)絡(luò)、跨區(qū)域分布式部署。

將大數(shù)據(jù)平臺各組成部分封裝成統(tǒng)一的產(chǎn)品安裝工具，實現(xiàn)界面化的向?qū)桨惭b。

平臺采用向?qū)竭^程安裝，自動檢測資源，自動化安裝。用戶只需機器資源，平臺自動進行資源檢測、資源規(guī)劃、平臺各模塊的安裝。真正做到向?qū)桨惭b，無人值守式安裝。

元數(shù)據(jù)驅(qū)動的平臺架構(gòu)

平臺采用分布式架構(gòu)，彈性管控集群資源。

平臺運行以元數(shù)據(jù)為基礎(chǔ)，元數(shù)據(jù)包括數(shù)據(jù)源元數(shù)據(jù)，數(shù)據(jù)倉庫元數(shù)據(jù)，結(jié)果元數(shù)據(jù)，數(shù)據(jù)服務(wù)元數(shù)據(jù)，任務(wù)元數(shù)據(jù)，平臺信息元數(shù)據(jù)等。

平臺各功能組件之間通過數(shù)據(jù)進行交互，實現(xiàn)松耦合。平臺各子系統(tǒng)既是一個獨立的功能模塊，又能通過數(shù)據(jù)的交互構(gòu)成一個整體。

全域的系統(tǒng)監(jiān)控與管理

管理模塊是大數(shù)據(jù)平臺信息的匯聚點，通過管理子系統(tǒng)獲取的信息可以知道系統(tǒng)的總體運行情況.

實時查看平臺運行的業(yè)務(wù)，對業(yè)務(wù)進行調(diào)度，優(yōu)先級配置，多維度的業(yè)務(wù)報表。

通過管理平臺的信息呈現(xiàn)，用戶可以清晰地知道當(dāng)前系統(tǒng)運行的變化趨勢，從而把握系統(tǒng)的穩(wěn)定性及健康狀況，可動態(tài)管理集群。

具備集群監(jiān)控、集群管理（節(jié)點管理，異常管理，用戶管理，安全管理等）、元數(shù)據(jù)管理、調(diào)度管理、數(shù)據(jù)服務(wù)管理、系統(tǒng)管理等功能。

完善的安全管理策略

多層面的用戶權(quán)限管理機制，設(shè)置嚴(yán)格的數(shù)據(jù)管理機制。

內(nèi)置了用戶操作記錄機制，全面監(jiān)控用戶對平臺的使用情況。

豐富的函數(shù)模型庫

對常用的統(tǒng)計函數(shù)，數(shù)值計算函數(shù)，字符函數(shù)進行封裝

對常用的數(shù)據(jù)挖掘模型、算法進行封裝

插件式的函數(shù)模型庫，可動態(tài)增加新算法模型。

提供行業(yè)分析模型及類似BI的分析和展示工具。

開放的數(shù)據(jù)服務(wù)

對外提供各種數(shù)據(jù)服務(wù)，開放多種數(shù)據(jù)接口，外部系統(tǒng)/用戶可通過服務(wù)認(rèn)證、數(shù)據(jù)API等方式按權(quán)限訪問相應(yīng)的數(shù)據(jù)。

采用可視化的圖形，列表等頁面展現(xiàn)方式。

統(tǒng)一服務(wù)，標(biāo)準(zhǔn)化的接口訪問協(xié)議，為各類數(shù)據(jù)服務(wù)提供統(tǒng)一入口，提供便利，全面的數(shù)據(jù)服務(wù)。

統(tǒng)一控制，對用戶訪問和數(shù)據(jù)訪問的統(tǒng)一管控，訪問日志記錄，保證數(shù)據(jù)安全。

統(tǒng)一數(shù)據(jù)緩存機制，接口訪問穩(wěn)定性和速度的提升?？蓴U展，可定制，滿足未來的數(shù)據(jù)訪問需求。

多來源多格式適配的數(shù)據(jù)采集

以元數(shù)據(jù)驅(qū)動的方式提供強大的抽取、轉(zhuǎn)換和加載(ETL) 能力。適配多種數(shù)據(jù)源，支持從文件，DB、數(shù)據(jù)流中導(dǎo)入數(shù)據(jù)。

靈活的數(shù)據(jù)轉(zhuǎn)換配置和任務(wù)配置,提供了直觀的圖形界面設(shè)計器，大大縮短數(shù)據(jù)抽取的開發(fā)周期，并且容易維護。設(shè)計界面友好，提供了工作流設(shè)計模式，滿足各種場景的實現(xiàn)。

服務(wù)以集群方式部署，支持多任務(wù)并發(fā)，自動負載均衡，支持大數(shù)據(jù)量的抽取轉(zhuǎn)換處理，執(zhí)行效率高，提供了豐富的異常處理功能，能滿足各種異常處理需求。

統(tǒng)一的分布式存儲

以Hbase做為數(shù)據(jù)存儲的統(tǒng)一格式，MapReduce、Hive通過接口使用Hbase數(shù)據(jù)。

做到一份存儲，多處使用。

配置式的服務(wù)配置工具

通過配置完成計算任務(wù)的配置，降低平臺實施和使用的技術(shù)門檻。

通過統(tǒng)一的配置模板實現(xiàn)對數(shù)據(jù)計算的定義、腳本實現(xiàn)并通過定義規(guī)則驅(qū)動數(shù)據(jù)計算。

可視化的自助分析工具

自定義報表工具，實現(xiàn)了基于 XML 的定義文件來可編程性地生成報表的能力.

圍繞著報表引擎，開發(fā)用戶圖形界面，用戶可以使用向?qū)?，無需編程，通過工具配置一步接一步完成創(chuàng)建一個報表。

數(shù)據(jù)展示格式靈活，能更大程度上滿足用戶的數(shù)據(jù)需求。

多維分析工具，提供豐富的圖形化展現(xiàn)界面和接口。

用java語言開發(fā)支持 MDX（多維表達式）的查詢語言、分析型XML 和 olap4j 的接口技術(shù)規(guī)范。實現(xiàn)了從 SQL 和其它數(shù)據(jù)源讀取數(shù)據(jù)，在內(nèi)存緩沖區(qū)中生成集合數(shù)據(jù)。

產(chǎn)品優(yōu)勢

分布式存儲底層改造

Hadoop原生的框架中，數(shù)據(jù)可在HDFS、HBASE、HIVE中進行存儲和計算。如果一個數(shù)據(jù)集同時要進行要進行以上三種存儲和計算的話，需要在三個組件中都存儲數(shù)據(jù)。彩訊大數(shù)據(jù)平臺對分布式存儲進行改造，實現(xiàn)將數(shù)據(jù)存儲在HBASE中，開發(fā)數(shù)據(jù)接口，使得MapReduce、 HIVE可以通過接口訪問HBASE存儲的數(shù)據(jù)進行計算，從而實現(xiàn)一份數(shù)據(jù)，三種計算模式。

函數(shù)模型封裝

將常用統(tǒng)計、分析、挖掘的模型進行插件式封裝，用戶實現(xiàn)統(tǒng)計實例無需再進行底層的編程，只需要按照計算模式的參數(shù)輸入約定，即可完成實例的開發(fā)定義；不常用的計算模型，按需實現(xiàn)插件式開發(fā)，開發(fā)后部署到計算模型庫中，逐步豐富計算模型庫。

配置式個性化開發(fā)

通過可配置式個性化開發(fā)，大大降低了平臺實施和使用的技術(shù)門檻，對平臺的80%以上的二次開發(fā)不再需要專業(yè)的開發(fā)人員，業(yè)務(wù)人員就可以實現(xiàn)對數(shù)據(jù)計算的定義、腳本實現(xiàn)并通過定義規(guī)則驅(qū)動數(shù)據(jù)計算。

在交互界面上，選取的計算模式，在數(shù)據(jù)元數(shù)據(jù)中選取需要進行計算的屬性，將計算模式、計算屬性和元數(shù)據(jù)傳遞給語義層；在語義服務(wù)層，形成對數(shù)據(jù)的計算的算法語義，并將這個算法語義轉(zhuǎn)換成既定的計算語義（如：SQL語句）。在分布式計算層面：先將計算語義轉(zhuǎn)換成計算腳本和計算任務(wù)JOB，然后按照J(rèn)OB的定義選取的計算模板執(zhí)行計算腳本，并將結(jié)果按計算語義中定義的結(jié)果模式輸出到的結(jié)果表中，同時實現(xiàn)在前方數(shù)據(jù)服務(wù)中可檢索。

配置式安裝部署

將大數(shù)據(jù)平臺各組成部分封裝成統(tǒng)一的產(chǎn)品安裝工具，實現(xiàn)界面化的向?qū)桨惭b實施，使得平臺的部署實施自動化簡易化。