智能制造網(wǎng)APP
智能制造網(wǎng)手機(jī)站
智能制造網(wǎng)小程序
智能制造網(wǎng)官微
智能制造網(wǎng)服務(wù)號(hào)
智能控制
機(jī)器人
儀器儀表
物聯(lián)網(wǎng)
3D打印
工業(yè)軟件
回放
回放
300W開放式電源轉(zhuǎn)換器TPP300-124A-M
開放式電源,TPP300-112M,TRACO電源品牌
TRACOPOWER
【中國智能制造網(wǎng) 市場(chǎng)分析】BAT雖然在數(shù)據(jù)量上占據(jù)優(yōu)勢(shì)，但卻在豐富性上受到局限，甚至并不具備垂直領(lǐng)域UGC所具備的大數(shù)據(jù)能力。中小企業(yè)則可以充分利用自己在垂直領(lǐng)域里深耕的優(yōu)勢(shì)，將數(shù)據(jù)的豐富性提升上來，從而獲得差異性的優(yōu)勢(shì)。
大數(shù)據(jù)以大為本 數(shù)據(jù)挖掘技術(shù)能否“算命”？
大數(shù)據(jù)的門檻
“如果你只有一堆人的電話號(hào)碼，這可能沒多大意義。但像攜程的數(shù)據(jù)，比如所有人提前預(yù)訂、搜索、瀏覽、點(diǎn)評(píng)的信息等，這就是有價(jià)值的。但更深層的核心是，你能不能在某個(gè)產(chǎn)品上使用到這些數(shù)據(jù)，而且確實(shí)有幫助。”眾薈數(shù)據(jù)智能事業(yè)部總經(jīng)理焦宇說。
美團(tuán)云大數(shù)據(jù)平臺(tái)負(fù)責(zé)人對(duì)此表示認(rèn)同，“首先要弄清楚擁有的數(shù)據(jù)是否有價(jià)值，是否有人愿意為其買單。另外則是源數(shù)據(jù)的豐富度，是否能夠?yàn)閿?shù)據(jù)價(jià)值的發(fā)揮帶來補(bǔ)充和完善”。
顯然，數(shù)據(jù)收集的目的并不單單是把數(shù)據(jù)集中起來，終還是要在實(shí)際運(yùn)營(yíng)中發(fā)揮作用。擁有數(shù)據(jù)只是開端，如何深入分析、洞察數(shù)據(jù)彼此之間的關(guān)聯(lián)，才是大數(shù)據(jù)應(yīng)用的關(guān)鍵，這也是眾多手握大數(shù)據(jù)企業(yè)的分水嶺。
不過，在這個(gè)過程中，有一個(gè)不容忽視的問題，那就是數(shù)據(jù)的質(zhì)量問題。“錯(cuò)誤的輸入，換來的必然是錯(cuò)誤的輸出”，螞蜂窩大數(shù)據(jù)技術(shù)總監(jiān)韓鑫在接受采訪時(shí)就特別指出了這個(gè)問題。
“真正決定數(shù)據(jù)挖掘成敗的是數(shù)據(jù)本身的質(zhì)量，對(duì)于算法的合理使用和優(yōu)化反而是次要的。由于大數(shù)據(jù)的興起，我們很容易獲得龐雜的數(shù)據(jù)；然而單純地指望從高深的算法中去獲得我們想要的信息而忽視數(shù)據(jù)本身的質(zhì)量，往往只能是空中樓閣。”
對(duì)大數(shù)據(jù)而言，表面上看數(shù)據(jù)是越多越好，因?yàn)楦嗟臄?shù)據(jù)可以產(chǎn)生更能擬合真實(shí)情況的場(chǎng)景，但同時(shí)更多的數(shù)據(jù)也產(chǎn)生了更多的噪音——所以單純的數(shù)據(jù)的量的增加并不能提高計(jì)算的度。
因而擁有高質(zhì)量的數(shù)據(jù)，要遠(yuǎn)比握有一堆龐雜的數(shù)據(jù)更有價(jià)值：這樣既能減少數(shù)據(jù)挖掘的難度，也有利于提高數(shù)據(jù)挖掘的精度。但是，這就是大數(shù)據(jù)的核心門檻嗎？
韓鑫認(rèn)為：“建立完整的大數(shù)據(jù)體系還需要兩個(gè)重要的因素，業(yè)務(wù)的豐富程度和數(shù)據(jù)思維的融入。”
焦宇從自己的實(shí)踐經(jīng)驗(yàn)出發(fā)，談了自己的看法：“對(duì)一個(gè)特別好的產(chǎn)品經(jīng)理來講，大數(shù)據(jù)的門檻首先是要理解這個(gè)東西到底是什么；第二建模能力要強(qiáng)。從這兩方面說，人才相對(duì)都是稀缺的。比如有些公司是有大數(shù)據(jù)的，但要找到很牛的人來做這件事情，雖然理論上講是可以隨時(shí)找到的，但事實(shí)上卻很難。”
“個(gè)是大數(shù)據(jù)。第二個(gè)方面，有人把數(shù)據(jù)比喻成‘石油’，有石油寶藏還得有機(jī)器、工具把它挖出來，這個(gè)工具就是機(jī)器學(xué)習(xí)。第三方面是計(jì)算能力的進(jìn)步。工具再強(qiáng)，沒有非常強(qiáng)的計(jì)算能力，還是跑不動(dòng)的。”滴滴研究院院長(zhǎng)何曉飛則給出了這樣的答案。
數(shù)據(jù)挖掘的難點(diǎn)
數(shù)據(jù)挖掘，不像收集數(shù)據(jù)填幾張表，問幾個(gè)問題就能輕松實(shí)現(xiàn)。它的專業(yè)性相對(duì)較高，運(yùn)用的知識(shí)、技術(shù)難度也明顯加大。因而大多數(shù)的數(shù)據(jù)挖掘基本是由專業(yè)人士或?qū)I(yè)團(tuán)隊(duì)來做的。
另外，建模的成功與否，對(duì)數(shù)據(jù)呈現(xiàn)的結(jié)果也有非常重要的影響。模型不同，結(jié)果也往往會(huì)出現(xiàn)差異。
“任何人都能搭出來一個(gè)模型，只要搭出模型就能有結(jié)果，但這個(gè)結(jié)果是不是反映真實(shí)世界？因?yàn)閿?shù)據(jù)之間的關(guān)系，并不是直接的線性關(guān)系，因此模型可以非常復(fù)雜。所以你先得知道你要解決的是個(gè)什么問題：從統(tǒng)計(jì)上來講，是哪種類型的問題，它有什么樣的特性，你在數(shù)據(jù)上的采集有什么局限？然后再找到跟這個(gè)問題接近的模型。”焦宇說。
“數(shù)據(jù)挖掘的難點(diǎn)在于，主要數(shù)據(jù)收集和終應(yīng)用之間的相互關(guān)聯(lián)卻又矛盾的關(guān)系，這類似于‘先有雞還是先有蛋’的問題。兩者之間相互影響相互補(bǔ)充，導(dǎo)致其相對(duì)其他類別的程序開發(fā)而言，是更為漫長(zhǎng)而又復(fù)雜的過程。” 韓鑫說道。
無論是焦宇所說的模型，還是韓鑫所說的算法，其實(shí)都在強(qiáng)調(diào)一個(gè)重點(diǎn)：根據(jù)實(shí)際情況變化對(duì)模型和算法做出相應(yīng)的調(diào)整。沒有固定的規(guī)則，只有時(shí)時(shí)更新的數(shù)據(jù)和不斷變化的情況，所以運(yùn)用的規(guī)則也要因時(shí)調(diào)整。
美團(tuán)云大數(shù)據(jù)平臺(tái)負(fù)責(zé)人則認(rèn)為，如何拿到“規(guī)范的數(shù)據(jù)”才是真正的難點(diǎn)所在：“新美大每天產(chǎn)生p級(jí)別的數(shù)據(jù)，包括大量的商戶、用戶和交互數(shù)據(jù)；每天通過hadoop、hive、spark、storm等大數(shù)據(jù)工具進(jìn)行批量和實(shí)時(shí)的清洗，才得以形成規(guī)范的數(shù)據(jù)。”
然而，也許難的一點(diǎn)還是在于那個(gè)實(shí)際的問題。技術(shù)快速發(fā)展，提供了像應(yīng)用統(tǒng)計(jì)方法、事例推理、決策樹、規(guī)則推理、模糊集、神經(jīng)網(wǎng)絡(luò)、遺傳算法等諸多方法來處理信息，這既降低了數(shù)據(jù)挖掘的難點(diǎn)，同時(shí)也提高了數(shù)據(jù)挖掘的效率和度——但所有的這些，都需要不菲的資金。
許多人可能都聽說過那些使用大數(shù)據(jù)的輝煌案例：Facebook每天要存儲(chǔ)大約100TB的用戶數(shù)據(jù)；NASA每天要處理約24TB的數(shù)據(jù)。那么處理這些數(shù)據(jù)所需的成本是多少呢？
按照亞馬遜Redshift的定價(jià)，NASA需要為45天數(shù)據(jù)存儲(chǔ)服務(wù)支付超過100萬美元。而根據(jù)國外的一項(xiàng)調(diào)查，大多數(shù)企業(yè)的CIO稱他們的預(yù)算支付不起大數(shù)據(jù)部署的成本，數(shù)據(jù)存儲(chǔ)和處理的成本實(shí)在太高。
浙公網(wǎng)安備 33010602000006號(hào)
智能制造網(wǎng)APP
智能制造網(wǎng)小程序
微信公眾號(hào)
