智能制造網(wǎng)APP
智能制造網(wǎng)手機(jī)站
智能制造網(wǎng)小程序
智能制造網(wǎng)官微
智能制造網(wǎng)服務(wù)號(hào)
智能控制
機(jī)器人
儀器儀表
物聯(lián)網(wǎng)
3D打印
工業(yè)軟件
回放
品牌
其他品牌
11月19日，華為在深圳舉辦2019數(shù)據(jù)基礎(chǔ)設(shè)施論壇，面向鯤鵬計(jì)算產(chǎn)業(yè)，宣布全面啟動(dòng)數(shù)據(jù)基礎(chǔ)設(shè)施戰(zhàn)略，并開(kāi)源數(shù)據(jù)虛擬化引擎HetuEngine(河圖引擎)。
據(jù)了解，這是繼今年9月基于“鯤鵬+昇騰”雙引擎全面啟航計(jì)算戰(zhàn)略后，華為從數(shù)據(jù)角度對(duì)計(jì)算戰(zhàn)略的再度闡述。
華為Cloud & AI產(chǎn)品與服務(wù)總裁侯金龍?jiān)诖髸?huì)上發(fā)表了《打造“融合、智能、開(kāi)放”數(shù)據(jù)基礎(chǔ)設(shè)施，攜手邁入智能時(shí)代》主題演講。
以下是侯金龍演講全文：
女士們、先生們、朋友們，大家上午好！歡迎大家來(lái)到深圳，參加首屆數(shù)據(jù)基礎(chǔ)設(shè)施論壇。
人類(lèi)正邁入萬(wàn)物互聯(lián)的智能時(shí)代，而數(shù)據(jù)將成為智能世界的關(guān)鍵生產(chǎn)資料。今天，我分享的主題是《打造“融合、智能、開(kāi)放”數(shù)據(jù)基礎(chǔ)設(shè)施，攜手邁入智能時(shí)代》。
構(gòu)建萬(wàn)物互聯(lián)的智能世界
華為公司的愿景與使命是：“把數(shù)字世界帶入每個(gè)人、每個(gè)家庭、每個(gè)組織，構(gòu)建萬(wàn)物互聯(lián)的智能世界”。在智能世界，算力成為新生產(chǎn)力，數(shù)據(jù)成為新生產(chǎn)資料，“5G、AI、云”成為新生產(chǎn)工具，將使能千行百業(yè)邁入智能時(shí)代。
兩個(gè)月前，華為在全聯(lián)接大會(huì)上發(fā)布了“一云兩翼雙引擎”的鯤鵬計(jì)算產(chǎn)業(yè)布局，基于“鯤鵬+昇騰”雙引擎，全面啟航計(jì)算戰(zhàn)略，為世界提供強(qiáng)算力。
“一云”是指華為云，是生態(tài)伙伴發(fā)展的黑土地。“兩翼”是指智能計(jì)算和智能數(shù)據(jù)。數(shù)據(jù)作為鯤鵬產(chǎn)業(yè)中的關(guān)鍵一翼，華為將圍繞數(shù)據(jù)構(gòu)建端到端的能力，包括存、算、用的能力，通過(guò)5G+云+AI能力，打造“融合、智能、開(kāi)放”的數(shù)據(jù)基礎(chǔ)設(shè)施，釋放數(shù)據(jù)價(jià)值，讓智能無(wú)所不及！
智能世界，從數(shù)據(jù)管理走向數(shù)據(jù)運(yùn)營(yíng)
首先，數(shù)據(jù)將驅(qū)動(dòng)客戶(hù)體驗(yàn)。當(dāng)你打開(kāi)一個(gè)App，就會(huì)收到你感興趣的內(nèi)容推送。推送的背后，其實(shí)就是數(shù)據(jù)在驅(qū)動(dòng)。比如快手，每天產(chǎn)生1.2億個(gè)內(nèi)容標(biāo)簽與用戶(hù)畫(huà)像實(shí)時(shí)匹配，數(shù)據(jù)運(yùn)營(yíng)實(shí)現(xiàn)內(nèi)容推送。
其次，在企業(yè)經(jīng)營(yíng)活動(dòng)中，數(shù)據(jù)驅(qū)動(dòng)企業(yè)生產(chǎn)決策。以大港油田為例，在經(jīng)歷了50年持續(xù)開(kāi)采后，面臨資源枯竭、產(chǎn)量下降的挑戰(zhàn)。2019年以來(lái)，大港油田采用華為大數(shù)據(jù)和AI技術(shù)，利用測(cè)井曲線(xiàn)，結(jié)合經(jīng)驗(yàn)?zāi)Ｐ蜕闪嗣靠诰目紫抖?、滲透率，找到了更多的新的油氣層。通過(guò)數(shù)據(jù)運(yùn)營(yíng)，為長(zhǎng)期穩(wěn)產(chǎn)500萬(wàn)噸提供了決策支撐。
后，我介紹下數(shù)據(jù)驅(qū)動(dòng)企業(yè)流程簡(jiǎn)化。華為每年有近300萬(wàn)人次出差，以前出差涉及考勤、機(jī)票、酒店，包括報(bào)銷(xiāo)等十幾個(gè)申請(qǐng)流程，現(xiàn)在只需要一個(gè)流程就可以真正實(shí)現(xiàn)“說(shuō)走就走”。這是每天45萬(wàn)次后臺(tái)數(shù)據(jù)關(guān)聯(lián)碰撞的結(jié)果。數(shù)據(jù)運(yùn)營(yíng)，實(shí)現(xiàn)“讓數(shù)據(jù)多跑路，員工少跑腿”。
智能世界，需求與資源存在巨大落差
隨著5G、AI和云的普及，數(shù)據(jù)量正以驚人的速度增長(zhǎng)：從1080P到4K、8K，視頻數(shù)據(jù)量將提升40倍，從4K到4KVR要增加6倍以上；未來(lái)每輛自動(dòng)駕駛汽車(chē)每天就會(huì)產(chǎn)生高達(dá)64TB數(shù)據(jù)；深圳一個(gè)城市有超過(guò)200萬(wàn)攝像頭，每天將產(chǎn)生80PB數(shù)據(jù)，平均保存30天，大家希望保存更長(zhǎng)時(shí)間；大量的數(shù)據(jù)過(guò)去只需存幾天，現(xiàn)在需要保存幾個(gè)月甚至保存。
根據(jù)預(yù)測(cè)，數(shù)據(jù)量將從2018年的33ZB快速增長(zhǎng)到2025年的180ZB。但是，產(chǎn)生的數(shù)據(jù)中僅有不到2%被保存，而被保存的數(shù)據(jù)中僅有不到10%被應(yīng)用。
這些海量數(shù)據(jù)的增長(zhǎng)背后是需要海量存儲(chǔ)和計(jì)算的資源，數(shù)據(jù)增長(zhǎng)是無(wú)限的，而存儲(chǔ)資源卻是有限的。
數(shù)據(jù)全生命周期，每比特價(jià)值大，每比特成本優(yōu)
我們希望對(duì)數(shù)據(jù)的采、存、算、管、用實(shí)施端到端的整合和優(yōu)化，讓數(shù)據(jù)在全生命周期內(nèi)更好用，數(shù)據(jù)的每比特發(fā)揮價(jià)值大，數(shù)據(jù)的每比特成本優(yōu)！
打造“融合、智能、開(kāi)放”數(shù)據(jù)基礎(chǔ)設(shè)施
為實(shí)現(xiàn)這個(gè)追求，華為打造融合、智能、開(kāi)放的數(shù)據(jù)基礎(chǔ)設(shè)施，讓數(shù)據(jù)系統(tǒng)從孤立走向融合，從復(fù)雜走向智能，從封閉走向開(kāi)放：
通過(guò)“打破數(shù)據(jù)處理與數(shù)據(jù)存儲(chǔ)的邊界”，實(shí)現(xiàn)數(shù)據(jù)共享和分析，降本增效。
通過(guò)“AI+存儲(chǔ)+云”，實(shí)現(xiàn)數(shù)據(jù)全生命周期內(nèi)智能管理和智能運(yùn)營(yíng)，讓存儲(chǔ)越用越快，價(jià)值越來(lái)越大。
通過(guò)“數(shù)據(jù)虛擬化引擎”，統(tǒng)一SQL語(yǔ)法，像使用數(shù)據(jù)庫(kù)一樣使用大數(shù)據(jù)。
融合：使用極簡(jiǎn)
數(shù)據(jù)應(yīng)用的核心包括存儲(chǔ)和分析。煙囪式IT業(yè)務(wù)系統(tǒng)帶來(lái)兩個(gè)問(wèn)題：存的時(shí)候會(huì)產(chǎn)生多個(gè)冗余副本，且數(shù)據(jù)無(wú)法流動(dòng)，存儲(chǔ)成本高；分析的時(shí)候會(huì)導(dǎo)致大量數(shù)據(jù)搬遷，分析效率低。
通過(guò)10余年技術(shù)積累和創(chuàng)新，華為在存儲(chǔ)、數(shù)據(jù)庫(kù)和大數(shù)據(jù)技術(shù)上實(shí)現(xiàn)了一系列突破，通過(guò)打破4堵墻，讓數(shù)據(jù)的每比特發(fā)揮價(jià)值大，數(shù)據(jù)的每比特成本優(yōu)。
打破存儲(chǔ)內(nèi)部系統(tǒng)墻：通過(guò)一套架構(gòu)實(shí)現(xiàn)生產(chǎn)、分析、備份、歸檔的統(tǒng)一管理，一份數(shù)據(jù)在各個(gè)系統(tǒng)中平滑流動(dòng)，減少拷貝，TCO降低30%以上。
打破數(shù)據(jù)庫(kù)與存儲(chǔ)鏈路墻：通過(guò)算子下推實(shí)現(xiàn)近數(shù)據(jù)計(jì)算，減少存儲(chǔ)層與計(jì)算層之間的數(shù)據(jù)交換，數(shù)據(jù)訪(fǎng)問(wèn)和處理性能提升2倍。
打破大數(shù)據(jù)與存儲(chǔ)配置墻：通過(guò)存算分離實(shí)現(xiàn)資源靈活配置，計(jì)算不足擴(kuò)計(jì)算，存儲(chǔ)不足擴(kuò)存儲(chǔ)。并通過(guò)彈性EC、數(shù)據(jù)縮減技術(shù)減少冗余，整體TCO降低30%以上。
打破數(shù)據(jù)庫(kù)與大數(shù)據(jù)協(xié)同墻：通過(guò)協(xié)同分析實(shí)現(xiàn)數(shù)據(jù)零搬遷，數(shù)據(jù)庫(kù)和大數(shù)據(jù)共享一份數(shù)據(jù)，分析效率提升100%。
智能：體驗(yàn)
過(guò)去，主要依靠人來(lái)完成設(shè)備配置和運(yùn)維，運(yùn)維人員經(jīng)驗(yàn)和能力的高低決定了管理效率的優(yōu)劣。華為基于A(yíng)I芯片、存儲(chǔ)和華為云的三層架構(gòu)，通過(guò)云上訓(xùn)練和云下推理，讓系統(tǒng)越用越快、越用越省。
依托昇騰處理器的AI能力，自動(dòng)學(xué)習(xí)和識(shí)別IO流，提升Cache預(yù)取命中率，系統(tǒng)整體性能提升20%。
依托鯤鵬處理器的多核算力，根據(jù)不同的數(shù)據(jù)類(lèi)型，實(shí)時(shí)優(yōu)化數(shù)據(jù)縮減算法，TCO降低25%。
結(jié)合華為云自身大規(guī)模運(yùn)維運(yùn)營(yíng)經(jīng)驗(yàn)，當(dāng)前可以實(shí)現(xiàn)提前14天預(yù)測(cè)硬盤(pán)故障，提前60天預(yù)測(cè)性能瓶頸，提前365天預(yù)測(cè)容量不足，其中30%的故障可以自我修復(fù)。
開(kāi)放：開(kāi)發(fā)極簡(jiǎn)
隨著業(yè)務(wù)類(lèi)型日益增多，大量業(yè)務(wù)需要跨平臺(tái)、跨數(shù)據(jù)源協(xié)同分析。這種場(chǎng)景下，突出的3個(gè)問(wèn)題是：找數(shù)難、取數(shù)難、用數(shù)難。
找數(shù)難：傳統(tǒng)企業(yè)數(shù)據(jù)類(lèi)型越來(lái)越多，結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)并存，缺少統(tǒng)一數(shù)據(jù)目錄和全局?jǐn)?shù)據(jù)視圖，要在眾多異構(gòu)數(shù)據(jù)源中找到特定數(shù)據(jù)，好比大海撈針。
取數(shù)難：一個(gè)典型的分析業(yè)務(wù)通常依賴(lài)跨地域跨平臺(tái)數(shù)據(jù)協(xié)同，需要從多個(gè)業(yè)務(wù)系統(tǒng)獲取數(shù)據(jù)，這要經(jīng)過(guò)多部門(mén)間協(xié)調(diào)、核實(shí)才能獲取。
用數(shù)難：多業(yè)務(wù)分析需要多引擎協(xié)同，這將依賴(lài)多種數(shù)據(jù)訪(fǎng)問(wèn)技術(shù)，就需要開(kāi)發(fā)人員掌握多種開(kāi)發(fā)工具和語(yǔ)言，從而導(dǎo)致開(kāi)發(fā)門(mén)檻變高，開(kāi)發(fā)周期變長(zhǎng)。
為了屏蔽數(shù)據(jù)類(lèi)型差異、地域差異、語(yǔ)法差異，讓數(shù)據(jù)治理簡(jiǎn)單，使用簡(jiǎn)單，華為推出了“河圖引擎”。
HetuEngine，從“大數(shù)據(jù)”走向“大數(shù)據(jù)庫(kù)”
我們將數(shù)據(jù)虛擬化引擎命名為河圖，就是屏蔽數(shù)據(jù)基礎(chǔ)設(shè)施的復(fù)雜度，讓像使用數(shù)據(jù)庫(kù)一樣使用大數(shù)據(jù)，復(fù)用現(xiàn)有的生態(tài)、工具和技能，提升開(kāi)發(fā)效率2到10倍。“大禹得河圖后始見(jiàn)清明”，傳說(shuō)中，大禹通過(guò)河圖掌握河流山川復(fù)雜的地形地貌，順利完成治水大業(yè)。
河圖引擎，就是要讓數(shù)據(jù)治理簡(jiǎn)單，使用簡(jiǎn)單，更方便的挖掘數(shù)據(jù)價(jià)值。它具備4個(gè)核心能力：
一個(gè)目錄：通過(guò)元數(shù)據(jù)在線(xiàn)感知，構(gòu)建1000+異地異構(gòu)數(shù)據(jù)源全局虛擬數(shù)據(jù)視圖，打破數(shù)據(jù)孤島，數(shù)據(jù)全局可視，解決企業(yè)找數(shù)難問(wèn)題。
一個(gè)入口：通過(guò)開(kāi)放的連接框架、5000節(jié)點(diǎn)SQL引擎，實(shí)現(xiàn)30種異地異構(gòu)數(shù)據(jù)源統(tǒng)一SQL訪(fǎng)問(wèn)，秒級(jí)獲取，數(shù)據(jù)全局可得，解決企業(yè)取數(shù)難問(wèn)題。
一份數(shù)據(jù)：通過(guò)CarbonData技術(shù)，實(shí)現(xiàn)一份數(shù)據(jù)多場(chǎng)景分析，多應(yīng)用共享，數(shù)據(jù)零搬遷，數(shù)據(jù)全局可用，解決企業(yè)用數(shù)難問(wèn)題。
統(tǒng)一安全：通過(guò)細(xì)粒度動(dòng)態(tài)授權(quán)、敏感數(shù)據(jù)自動(dòng)感知技術(shù)，實(shí)現(xiàn)異地異構(gòu)數(shù)據(jù)源集中式安全配置與管控，數(shù)據(jù)全局可控，數(shù)據(jù)授權(quán)時(shí)間從天到秒，解決企業(yè)數(shù)據(jù)安全與合規(guī)問(wèn)題。
開(kāi)源河圖引擎HetuEngine
為了更好地發(fā)展數(shù)據(jù)產(chǎn)業(yè)，今天我宣布開(kāi)源河圖引擎，開(kāi)源版本的河圖引擎叫openHetu，將于2020年6月上線(xiàn)。我們將開(kāi)源內(nèi)核，可以基于開(kāi)源代碼進(jìn)行定制，包括數(shù)據(jù)源擴(kuò)展、SQL執(zhí)行策略等，實(shí)現(xiàn)應(yīng)用快速對(duì)接，提升開(kāi)發(fā)效率。
平臺(tái)+生態(tài)，攜手邁入智能時(shí)代
華為始終踐行“平臺(tái)+生態(tài)”策略，通過(guò)硬件開(kāi)放，軟件開(kāi)源，使能伙伴，共建開(kāi)放、繁榮的鯤鵬計(jì)算產(chǎn)業(yè)生態(tài)，共同邁入智能時(shí)代。
謝謝大家！
(原標(biāo)題：華為宣布啟動(dòng)數(shù)據(jù)基礎(chǔ)設(shè)施戰(zhàn)略)
浙公網(wǎng)安備 33010602000006號(hào)
智能制造網(wǎng)APP
智能制造網(wǎng)小程序
微信公眾號(hào)
