智能制造網(wǎng)APP
智能制造網(wǎng)手機(jī)站
智能制造網(wǎng)小程序
智能制造網(wǎng)官微
智能制造網(wǎng)服務(wù)號(hào)
智能控制
機(jī)器人
儀器儀表
物聯(lián)網(wǎng)
3D打印
工業(yè)軟件
回放
品牌
其他品牌
麻省理工學(xué)院(MIT)的研究人員發(fā)明了一種新的系統(tǒng)，可以自動(dòng)清除“臟數(shù)據(jù)”(dirty data)——數(shù)據(jù)分析師、數(shù)據(jù)工程師和數(shù)據(jù)科學(xué)家害怕的打字錯(cuò)誤、重復(fù)、缺失值、拼寫錯(cuò)誤和不一致。
這個(gè)系統(tǒng)被稱為PClean，是概率計(jì)算項(xiàng)目(Probabilistic Computing Project)研究人員編寫的針對(duì)特定領(lǐng)域的概率編程語言，旨在簡(jiǎn)化人工智能應(yīng)用程序的開發(fā)并實(shí)現(xiàn)自動(dòng)化，例如時(shí)間序列和數(shù)據(jù)庫進(jìn)行建模。
根據(jù)Anaconda和Figure Eight進(jìn)行的調(diào)查，數(shù)據(jù)清理可能需要數(shù)據(jù)科學(xué)家四分之一的時(shí)間。自動(dòng)化數(shù)據(jù)清理這項(xiàng)任務(wù)，一直是很有挑戰(zhàn)性的，因?yàn)椴煌臄?shù)據(jù)集需要不同類型的清理，而且經(jīng)常需要對(duì)世界上的對(duì)象進(jìn)行常理性的判斷。PClean為這些判斷用提供了通用的常識(shí)性模型，這些判斷可以根據(jù)特定的數(shù)據(jù)庫和錯(cuò)誤類型進(jìn)行定制。
PClean使用一種基于知識(shí)的方法來自動(dòng)化數(shù)據(jù)清理過程：用戶對(duì)數(shù)據(jù)庫的背景知識(shí)以及可能出現(xiàn)的問題進(jìn)行編碼。用戶可以給PClean關(guān)于域和關(guān)于數(shù)據(jù)可能被破壞的背景知識(shí)。PClean通過常識(shí)概率推理結(jié)合這些知識(shí)來得出答案。
這篇論文的主要作者、電子工程和計(jì)算機(jī)科學(xué)系(EECS)的博士生亞歷克斯·盧(Alex Lew)說，他最興奮的是PClean提供了一種從計(jì)算機(jī)獲取幫助的方式，就像人們相互尋求幫助一樣。
“PClean是第一個(gè)基于生成數(shù)據(jù)建模的可擴(kuò)展、設(shè)計(jì)良好、通用的解決方案，這必須是正確的道路。結(jié)果不言自明。”合著者Agrawal補(bǔ)充說:“現(xiàn)有的數(shù)據(jù)清理方法在表達(dá)能力上受到了更多的限制，而這可能更加用戶友好，但代價(jià)是相當(dāng)有限。”此外，我們發(fā)現(xiàn)PClean可以擴(kuò)展到非常大的數(shù)據(jù)集，這些數(shù)據(jù)集在現(xiàn)有系統(tǒng)下運(yùn)行時(shí)不現(xiàn)實(shí)。”
PClean建立在概率編程的最新進(jìn)展之上，包括在麻省理工概率計(jì)算項(xiàng)目中建立的一個(gè)新的人工智能編程模型，該模型使應(yīng)用人類知識(shí)的現(xiàn)實(shí)模型來解釋數(shù)據(jù)變得更加容易。PClean的修復(fù)是基于貝葉斯推理(Bayesian reasoning)的，這種方法結(jié)合了先驗(yàn)概率(給定的手頭數(shù)據(jù))和后驗(yàn)概率，能夠?qū)μ钛a(bǔ)的數(shù)據(jù)給出一個(gè)概率值。
PClean是第一個(gè)貝葉斯數(shù)據(jù)清理系統(tǒng)，它可以結(jié)合領(lǐng)域?qū)I(yè)知識(shí)和常識(shí)性推理，自動(dòng)清理數(shù)據(jù)庫中的數(shù)百萬條記錄。PClean通過三項(xiàng)創(chuàng)新實(shí)現(xiàn)了這一效率：
- 首先，PClean的腳本語言允許用戶對(duì)他們知道的內(nèi)容進(jìn)行編碼。這將產(chǎn)生精確的模型，即使對(duì)于復(fù)雜的數(shù)據(jù)庫也是如此。
- 第二，PClean的推理算法使用了一種兩階段的方法，基于一次處理記錄，對(duì)如何清除記錄做出有根據(jù)的猜測(cè)，然后重新訪問判斷調(diào)用來修復(fù)錯(cuò)誤。這將產(chǎn)生強(qiáng)大、準(zhǔn)確的推理結(jié)果。
- 第三，PClean提供了一個(gè)自定義編譯器，可以生成快速推理代碼。這使得PClean能夠以比其他競(jìng)爭(zhēng)方法更快的速度運(yùn)行在有上百萬條記錄的數(shù)據(jù)庫上。
與所有概率程序一樣，該工具工作所需的代碼行數(shù)要比其他最先進(jìn)的選擇少得多：PClean程序只需要大約50行代碼就可以在準(zhǔn)確性和運(yùn)行時(shí)方面超過基準(zhǔn)測(cè)試。做個(gè)比較你就明白這種提升有多明顯：一款簡(jiǎn)單的蛇形手機(jī)游戲需要兩倍多的代碼才能運(yùn)行，而《我的世界》的代碼就超過了100萬行。
在他們剛剛于2021年人工智能和統(tǒng)計(jì)學(xué)會(huì)會(huì)議上提交的論文中，作者展示了PClean的能力，通過使用PClean來檢測(cè)錯(cuò)誤，并在220萬行全國(guó)醫(yī)療保險(xiǎn)醫(yī)師比較數(shù)據(jù)集中輸入缺失值，可以擴(kuò)展到包含數(shù)百萬條記錄的數(shù)據(jù)集。僅僅運(yùn)行了7個(gè)半小時(shí)，PClean就發(fā)現(xiàn)了8000多個(gè)錯(cuò)誤。然后作者通過手工驗(yàn)證(通過搜索醫(yī)院網(wǎng)站和醫(yī)生LinkedIn頁面)，結(jié)果顯示：對(duì)于超過96%的患者，PClean提出的修復(fù)方案是正確的。
由于PClean是基于貝葉斯概率的，它也可以給出其不確定性的校準(zhǔn)估計(jì)。它可以維持多個(gè)假設(shè)——給你分級(jí)的判斷，而不僅僅是是/否的答案。
(原標(biāo)題：抓錯(cuò)能手！MIT發(fā)布首個(gè)貝葉斯“數(shù)據(jù)清理”機(jī)器人：7.5小時(shí)洗220萬條數(shù)據(jù))
浙公網(wǎng)安備 33010602000006號(hào)
智能制造網(wǎng)APP
智能制造網(wǎng)小程序
微信公眾號(hào)
