【中國智能制造網(wǎng) 專訪】“數(shù)據(jù)分析師與數(shù)據(jù)科學(xué)家的區(qū)別 就像本科與博士做研究一樣：本科生是老師手把手教題目，而博士生是自己找題目。”
鄭宇：大數(shù)據(jù)時代缺的不是數(shù)據(jù) 而是開放的思維
作為人群聚集區(qū)，城市是一個天然的數(shù)據(jù)集中池。
社交媒體、交通流量、氣象、地理等多種大數(shù)據(jù)都在這里匯聚，物聯(lián)網(wǎng)、傳感器的發(fā)展，也讓這些數(shù)據(jù)得以被追蹤存儲。當(dāng)這些時空數(shù)據(jù)集被組合起來，并與人工智能結(jié)合，這似乎是一條解決交通擁堵、環(huán)境惡化、能耗增加等城市問題的新的角度。
“我們都生活在城市中，城市跟我們的生活密切相關(guān)。我是做計算機科學(xué)的人，那為什么不能想辦法解決身邊的那些常見的問題呢？”在一次公開采訪中，鄭宇如此描述自己鐘情城市計算的一個原因。
近年來，城市計算(Urban Computing)逐漸走入公眾視野，并且越來越受到社會關(guān)注。這是是計算機科學(xué)以城市為背景，與城市規(guī)劃、交通、能源、環(huán)境、社會學(xué)和經(jīng)濟等學(xué)科融合的新興領(lǐng)域。城市計算通過不斷獲取、整合和分析城市中不同領(lǐng)域的大數(shù)據(jù)來解決城市所面臨的挑戰(zhàn)。
在2013年，鄭宇因為在城市計算方面的杰出研究被《MIT科技評論評》評為全球杰出青年創(chuàng)新者。
雅虎創(chuàng)始人楊致遠(yuǎn)、谷歌聯(lián)合創(chuàng)始人拉里•佩奇、Facebook創(chuàng)始人馬克•扎克伯格、Twitter聯(lián)合創(chuàng)始人杰克•多西以及蘋果設(shè)計師喬納森•艾維等多位互聯(lián)網(wǎng)明星都曾入選TR35。而鄭宇是當(dāng)年入選者中僅有的兩位來自中國機構(gòu)的創(chuàng)新者之一。
微軟研究院鄭宇帶領(lǐng)團隊主持“城市計算”以來，通過分析和融合城市中的各種大數(shù)據(jù)，實現(xiàn)了一系列關(guān)于智能交通、城市規(guī)劃、環(huán)境和能源的實際案例。相關(guān)技術(shù)不僅被應(yīng)用于微軟的產(chǎn)品，并且還在多個城市服務(wù)于中國政府。
3月20日，微軟亞洲研究院“城市計算”領(lǐng)域負(fù)責(zé)人鄭宇博士近期在清華大數(shù)據(jù)講座上分享了題為“大數(shù)據(jù)驅(qū)動城市計算”的講座。
演講后，我們有幸針對“數(shù)據(jù)科學(xué)團隊建設(shè)問題”對鄭宇博士補充了相關(guān)采訪問題，針對這樣一個時空數(shù)據(jù)交雜的分析領(lǐng)域，鄭宇在組建數(shù)據(jù)團隊和數(shù)據(jù)人才培養(yǎng)方面有著自己的獨到見解，此外，針對技術(shù)和研究方向上，他也給出了基于自己經(jīng)驗的看法。
以下為問答實錄——
數(shù)據(jù)分析師與數(shù)據(jù)科學(xué)家的區(qū)別
就像本科與博士做研究一樣
▼
Q：數(shù)據(jù)分析師和數(shù)據(jù)科學(xué)家有什么區(qū)別？
鄭宇：很多公司的招聘廣告上面寫招聘數(shù)據(jù)科學(xué)家其實都不是招真正的數(shù)據(jù)科學(xué)家，而是數(shù)據(jù)分析師。數(shù)據(jù)分析師有明確的任務(wù)，明確的數(shù)據(jù)，結(jié)果也明確，他會用一些分析工具去跑一些報表，然后提交結(jié)果。而數(shù)據(jù)科學(xué)家要有能力自己找題目，首先要懂得行業(yè)問題，其次懂得數(shù)據(jù)背后的隱含信息，然后還要知道這個行業(yè)問題之后你要知道用什么數(shù)據(jù)如何解決這個問題。除此以外，還要對各種模型都很清楚，不光是機器學(xué)習(xí)，還有數(shù)據(jù)管理以及可視化，把很多模型要組合在一起。后要對云計算平臺有一定的了解，要學(xué)會怎么用，甚至要學(xué)會怎么改它，一個好的數(shù)據(jù)科學(xué)家是站在云平臺上面看問題、想數(shù)據(jù)、關(guān)聯(lián)模型，把這些模型有機組合起來部署到云平臺上面，產(chǎn)生鮮活的知識，解決行業(yè)問題，這個才是大數(shù)據(jù)。其中的區(qū)別就像本科與博士做研究一樣，本科生是老師手把手教題目，博士生是自己找題目。
我通過兩個例子講述一下什么叫數(shù)據(jù)科學(xué)家，什么叫數(shù)據(jù)分析師：
先舉一個數(shù)據(jù)分析師的例子：銀行向用戶發(fā)信用卡，用戶提交的表格上有他的年齡、職業(yè)、收入等信息，需要分析師判斷是否給這個用戶發(fā)信用卡。這是一個YES or NO的問題，分析師要做的是拿個人的信用記錄去訓(xùn)練一個分類模型。任務(wù)明確，數(shù)據(jù)明確，決定也很明確。
再說一個政府向數(shù)據(jù)科學(xué)家提出的需求：“徐匯區(qū)有一條路灰很多，怎么用大數(shù)據(jù)去處理？”、“北京市建副中心到通州以后對北京整個的經(jīng)濟、環(huán)境、交通有什么影響？”這個問題不是因果問題，不是預(yù)測問題，也不是關(guān)聯(lián)問題，需要你去想找什么樣的數(shù)據(jù)，怎么展現(xiàn)怎么實施。沒有具體問題也沒有具體數(shù)據(jù)，這就是數(shù)據(jù)科學(xué)家應(yīng)該解決的問題。
Q：您的團隊大致有多少人組成?與數(shù)據(jù)相關(guān)的團隊有多少人，有哪些不同的職位劃分?
鄭宇：我的核心團隊其實沒有大家想象的那么大。有2位研究員、4名軟件工程師和八、九名研究助理組成。根據(jù)城市計算的四個層面(城市感知、城市數(shù)據(jù)管理、城市數(shù)據(jù)的分析和挖掘、服務(wù)提供)以及每個人的特長和興趣，我會給這些組員分配不同的工作。其中一位研究員帶領(lǐng)幾名研究助理和工程師，負(fù)責(zé)數(shù)據(jù)管理層面。另一位研究員帶領(lǐng)幾名研究助理和工程師，負(fù)責(zé)城市數(shù)據(jù)的挖掘和分析層面。另外幾名研究助理會分布在城市感知以及服務(wù)提供兩個層面。我會參與到城市計算各個層面的項目中去。此外，我們會跟一些合作伙伴展開合作，比如，會有一些高校的團隊在某些項目中幫助我們做一些可視分析. 另外，我們也會經(jīng)常跟市場部門的合作伙伴一起跟客戶溝通，了解他們的需求，協(xié)調(diào)數(shù)據(jù)并終部署技術(shù)。
Q：數(shù)據(jù)相關(guān)團隊在微軟及您的整個團隊中所處地位如何？
鄭宇：數(shù)據(jù)團隊在一個項目的始終都扮演者及其重要的作用。從開始的市場接入環(huán)節(jié)，我們的數(shù)據(jù)團隊就要開始參與到其中，了解用戶的需求和掌握的數(shù)據(jù)情況，甚至要幫助用戶分析和提出他們的需求。在現(xiàn)在這些數(shù)據(jù)驅(qū)動和人工智能主導(dǎo)的項目中，單純依靠銷售和市場團隊很難打開局面，也很難形成跟客戶的有效配合。后期，我們還要對第三方運維企業(yè)做有效的培訓(xùn)，確保他們能夠維護我們部署的系統(tǒng)。
[MTpage]
大數(shù)據(jù)時代我們真的不再缺數(shù)據(jù)了
缺得是我們的思維不夠開放
▼
Q：一個好的數(shù)據(jù)科學(xué)家關(guān)鍵的品質(zhì)是什么？
鄭宇：你會發(fā)現(xiàn)在大數(shù)據(jù)時代我們真的不再缺數(shù)據(jù)了，缺得是我們的思維不夠開放，思考問題A的時候不要一直看問題A的數(shù)據(jù)，其實會發(fā)現(xiàn)問題B和C的數(shù)據(jù)都可以拿來用，而且這個數(shù)據(jù)完全可以不是你這個領(lǐng)域的數(shù)據(jù)。只有你對這個問題理解深刻以后才能把別的數(shù)據(jù)背后的知識拿過來做融合。很多時候項目推動不了不是人數(shù)不夠，而是因為缺乏中間靈魂的頭腦，培養(yǎng)這樣的人其實是非常困難的。以我個人的經(jīng)驗至少七到十年才能培養(yǎng)出這樣一個真正的數(shù)據(jù)科學(xué)家來，這樣一個人可以解決很多問題。所以我鼓勵大家，你至少讀一個五年P(guān)HD加兩年的實戰(zhàn)經(jīng)驗，基本上可以來做這樣的事情。
Q：那么算法的理論知識和實際項目的實踐經(jīng)驗?zāi)膫€更重要？
鄭宇：兩個方面都很重要，但是后者的學(xué)習(xí)和獲取過程更困難。
數(shù)據(jù)挖掘的模型你可能拿本書學(xué)個兩三年基本能學(xué)會一些模型，但是很多項目的經(jīng)驗，你的真的很少有機會接觸到這樣的項目。只有把系統(tǒng)部署到真實世界中用起來，拿到新的反饋，再改進模型，經(jīng)過這幾次迭代過程你會學(xué)到很多東西，但是這個機會特別少，特別難得。而且你從后者怎么吸取和提煉這種經(jīng)驗也很重要，如果沒有總結(jié)能力和提取能力的話，換個新問題你還是不會做。所以我覺得這兩者都重要，后者培養(yǎng)起來更加困難一點。
Q：您怎么看待數(shù)據(jù)驅(qū)動？數(shù)據(jù)驅(qū)動在一個企業(yè)可以輔助商業(yè)決策，請列舉在過去幾年利用數(shù)據(jù)解決研究問題/發(fā)現(xiàn)觀點的一個有趣的例子。
鄭宇：從商業(yè)選址到空氣質(zhì)量預(yù)測，數(shù)據(jù)驅(qū)動的方法已經(jīng)多次作出了有效的決策。比如，合理的為商業(yè)店面選址可以帶來更多的人氣，提升商業(yè)的收益并降低企業(yè)的投入。通過數(shù)據(jù)驅(qū)動的方法為充電樁選址，可以讓有限的資源為更多車服務(wù)，并且避免過度擁堵。另外，在住宅地產(chǎn)選址的過程中，我們發(fā)現(xiàn)除了學(xué)區(qū)房，影響小區(qū)價值的另一個重要因素是該小區(qū)通向近高速公路入口的路網(wǎng)距離(或者通行時間)。位置很近的兩個小區(qū)，其價值(根據(jù)同一市場環(huán)境下的漲幅比來確定)可以相差很遠(yuǎn)。
關(guān)于數(shù)據(jù)模型資產(chǎn)的復(fù)用
有兩個東西可以轉(zhuǎn)移
▼
Q：北上廣這些城市的數(shù)據(jù)化基礎(chǔ)設(shè)施比較好，那么在這些地區(qū)做城市研究會相對可操作，但是，在其他的比較落后的地區(qū)如何開展相關(guān)城市計算研究呢？
鄭宇：我們在研究中，會遇到有兩個類似的模型應(yīng)用場景的情況，但是我們不能直接把在A場景做的模型應(yīng)用到B場景去，這時候，我建議基于遷移學(xué)習(xí)的方法來做不同場景間的知識的轉(zhuǎn)移。有兩個東西可以轉(zhuǎn)移：
，數(shù)據(jù)和數(shù)據(jù)之間的關(guān)系可以轉(zhuǎn)移：比如說出現(xiàn)擁堵的時候空氣質(zhì)量會變壞，當(dāng)濕度比較高的時候容易形成霧霾。這種數(shù)據(jù)和數(shù)據(jù)之間的關(guān)系在很多地方都是普遍存在的，可以在A 城市里面用豐富的數(shù)據(jù)訓(xùn)練出一些字典，然后以此為基準(zhǔn)復(fù)用到B、C、D城市去。
第二，利用隱含空間：數(shù)據(jù)本身可能不能轉(zhuǎn)移，但是把數(shù)據(jù)投影到隱含空間以后，不同城市的數(shù)據(jù)就可以共享。我舉個隱含空間的例子，比如北京市的交通流量和寧波市的交通流量肯定很不一樣，但是它們投影到隱含空間里面可能都是早高峰堵、晚高峰堵中間不堵，如果都能投影到類似的隱含空間以后，不同城市的數(shù)據(jù)就可以共享和利用。
Q：如何選擇模型特征？
鄭宇：在做模型特征選擇時，數(shù)據(jù)質(zhì)量比特征重要，特征比模型重要。
，如果你根本都沒這個數(shù)據(jù)的話你可能費很大勁設(shè)計各種模型才能得到一點好的結(jié)果，如果你的數(shù)據(jù)質(zhì)量很好，你有這個數(shù)據(jù)了，就很容易得到結(jié)果。
第二，業(yè)務(wù)理解深度和對數(shù)據(jù)的敏感度決定了你能找到的特征好壞。如果提了很好的特征，可能根據(jù)兩三個特征就能得到別人十幾個特征的不得結(jié)果。我們提取什么特征完全取決于我們對問題本身的理解，所以我著眼在與行業(yè)知識結(jié)合，數(shù)據(jù)挖掘其實是一個發(fā)現(xiàn)知識的過程，我們需要有從數(shù)據(jù)里面提煉知識解決問題的能力。
第三，數(shù)據(jù)越大、質(zhì)量越好，特征的選擇的必要性越低。在傳統(tǒng)的數(shù)據(jù)挖掘里往往有很多參數(shù)但訓(xùn)練樣本又很少，所以不得不進行特征優(yōu)選，使得訓(xùn)練樣本還是那么多，但是參數(shù)變少，這樣可以保證訓(xùn)練效果跟以前不差甚至更好。而現(xiàn)在我們擁有海量數(shù)據(jù)了，哪怕多選了一些冗余的特征，也可以依靠后面模型的力量來通過權(quán)重參數(shù)的做約束，越來越多的機器學(xué)習(xí)算法本身就考慮了特征的冗余性問題，所以在你擁有足夠大的高質(zhì)量數(shù)據(jù)之后，是沒必要花費太多的精力在特征剔除上。
有問題的時候不要
先去看別人怎么做的
重要的是你是否真的
對用數(shù)據(jù)解決問題感興趣
▼
Q：怎么決定研究方向？
鄭宇：我們基本上所有的工作都來源對生活的觀察。重要的一點是你是否真的對用數(shù)據(jù)解決問題感興趣，你真正能夠體會到這種樂趣的時候就進入狀態(tài)了。
通常我們在看到現(xiàn)實生活中真的有很難的題目后，會在設(shè)計完方法以后再看有沒有相關(guān)的工作做過了，這避免了我們的思路跟別人重復(fù)。再此我也建議大家，如果你有問題的時候不要先去看別人怎么做的，很多學(xué)生喜歡這么想，看到一個題目馬上就去搜別人怎么做的，然后馬上跟著別人思路走進去了，很難有創(chuàng)造性的思維。
Q：對于希望進入數(shù)據(jù)領(lǐng)域的工程師，分析師們，您希望他們加強哪方面的技能培養(yǎng)?
，加強數(shù)據(jù)科學(xué)的基本技能培養(yǎng)，包括數(shù)據(jù)管理、機器學(xué)習(xí)和可視化技術(shù)以及云計算平臺的使用。
第二，加強對要解決問題所在行業(yè)的了解，借助行業(yè)現(xiàn)有的知識來設(shè)計合理的數(shù)據(jù)模型，明確行業(yè)傳統(tǒng)方法為什么不行，并懂得跟行業(yè)專家有效溝通。
第三，培養(yǎng)溝通和表達(dá)能力?，F(xiàn)在的數(shù)據(jù)科學(xué)家不再是關(guān)起門來在家里閉門造車的工匠或者學(xué)者，他需要把深奧的問題和理論用淺顯的語言講出來，讓政府以及傳統(tǒng)行業(yè)的客戶能夠明白。
后，培養(yǎng)自己的創(chuàng)作力。很多時候客戶是提不出需求的，作為一個數(shù)據(jù)科學(xué)家要有超前的想象力和犀利的創(chuàng)造力。這點難培養(yǎng)，跟一個人的成長經(jīng)歷有關(guān)，甚至要從娃娃抓起。
我正在為MIT Press撰寫一本《城市計算》的英文專著，里面涉及了數(shù)據(jù)科學(xué)家需要掌握的各種技能，以及實戰(zhàn)案例。該書將作為美國該專業(yè)的本教材，預(yù)計年底出版，有興趣的朋友可以關(guān)注。”
(原標(biāo)題：專訪微軟鄭宇：這個時代不缺數(shù)據(jù)，缺得是不夠開放的思維)
