智能制造網(wǎng)APP
智能制造網(wǎng)手機站
智能制造網(wǎng)小程序
智能制造網(wǎng)官微
智能制造網(wǎng)服務(wù)號
智能控制
機器人
儀器儀表
物聯(lián)網(wǎng)
3D打印
工業(yè)軟件
回放
品牌
其他品牌
我們的世界正向著科幻大踏步前進(jìn)。
過去幾個月，ChatGPT的出現(xiàn)，引爆了一波人工智能熱潮，這個強大的聊天機器人讓我們看到了通用語言模型的生產(chǎn)力前景，只要繼續(xù)迭代下去，有望大大提高人類社會的生產(chǎn)效率，在諸多行業(yè)產(chǎn)生變革。
而就在我們還在適應(yīng)ChatGPT帶來的變化時，一個更加重磅的炸彈被引爆了，前幾天，谷歌和柏林工業(yè)大學(xué)的團(tuán)隊推出了史上最大的視覺語言模型——PaLM-E，該模型包含了5620億個參數(shù)，相之前最大模型GPT-3的1750億個參數(shù)，參數(shù)量翻了兩倍多。
更加重要的是，PaLM-E作為一種多模態(tài)具身視覺語言模型，成功實現(xiàn)了讓人工智能同時具備“理解文字”和“讀懂圖片”的能力，它不僅可以理解圖像，還能理解、生成語言，執(zhí)行各種復(fù)雜的機器人指令而無需重新訓(xùn)練。
可以說，PaLM-E的發(fā)布標(biāo)志著人工智能領(lǐng)域的又一個重要里程碑，極大地推動人工智能技術(shù)的發(fā)展和應(yīng)用，它不僅在技術(shù)上提高了人工智能的水平，在應(yīng)用上，也能為更多領(lǐng)域提供更加智能、更加自主的工具和服務(wù)，比如能輕易理解人類指令的智能機器人或許并不遙遠(yuǎn)了。
視覺-語言多模態(tài)的通才模型
PaLM-E，全稱Pathways Language Model with Embodied，是一種具身視覺語言模型，是PaLM-540B語言模型與ViT-22B視覺Transformer模型的結(jié)合，它的強大之處在于，能夠利用視覺數(shù)據(jù)來增強其語言處理能力。
“PaLM-E是迄今為止已知的最大VLM(視覺語言模型)。我們觀察到諸如多模態(tài)思維鏈推理(允許模型分析包括語言和視覺信息的一系列輸入)，只接受單圖像提示訓(xùn)練的多圖像推理(使用多個圖像作為輸入來做出推理或預(yù)測)等涌現(xiàn)能力。”論文的第一作者、谷歌AI研究員Danny Driess表示。
PaLM-E中的E，即embodied(具身化)，是指基于語言模型，PaLM-E能夠直接觀察、利用真實世界中的信息，比如視覺圖像或傳感器數(shù)據(jù)，將它們編碼為一系列與語言標(biāo)記大小相同的向量，不再僅僅依賴于文本輸入，使得機器人的智能化躍上一個新的臺階。
通過具身化功能，PaLM-E能完成即具身推理任務(wù)，即讓機器人在虛擬或真實的環(huán)境中，通過多模態(tài)的輸入(如語言、視覺、觸覺以及機器人的3D空間狀態(tài)信息等)，完成一些需要常識和邏輯推理的任務(wù)。
比如你跟機器人說“幫我把桌上的薯片拿過來”，這就是一個具身推理任務(wù)，不僅需要機器人理解人類的語言和意圖，還需要機器人觀察和操作環(huán)境中的物體，以及規(guī)劃一系列的子目標(biāo)和動作，具身推理任務(wù)是一個非常復(fù)雜的領(lǐng)域，涉及到與多模態(tài)語言模型、神經(jīng)符號系統(tǒng)、對話系統(tǒng)等各方面的技術(shù)，PaLM-E也只是初步涉及而已，不過這也已經(jīng)是非常大的進(jìn)步了。
除此之外，PaLM-E還表現(xiàn)出了強大的正遷移能力，即它可以將從一項任務(wù)中學(xué)到的知識和技能遷移到另一項任務(wù)中，從而與單任務(wù)機器人模型相比性能明顯提高。
賦機器人以智能的PaLM-E
PaLM-E不僅可以指導(dǎo)機器人完成各種復(fù)雜的任務(wù)，還可以生成描述圖像的語言，展示了前所未有的靈活性和適應(yīng)性，代表著一次重大飛躍，特別是人機交互領(lǐng)域。
在測試中，機器人被要求去抽屜里拿薯片。根據(jù)谷歌的說法，當(dāng)給出一個高級命令時，比如“把抽屜里的薯片拿給我”，PaLM-E可以為一個有手臂的移動機器人平臺生成一個行動計劃并執(zhí)行自己的行動。PaLM-E通過分析來自機器人相機的數(shù)據(jù)來實現(xiàn)這一點，而無需對場景進(jìn)行預(yù)處理，這消除了人類預(yù)處理或注釋數(shù)據(jù)的需要，并允許更自主的機器人控制。
同時它還具有彈性，可以對環(huán)境做出反應(yīng)。例如，PaLM-E模型可以引導(dǎo)機器人從廚房取薯片袋，而且，通過將PaLM-E集成到控制回路中，它可以抵抗任務(wù)期間可能發(fā)生的中斷。在一個視頻示例中，研究人員從機器人手中抓取薯片并移動它們，但機器人找到薯片并再次抓取它們。
PaLM-E還能識別圖像，并生成關(guān)于它的文本信息。研究人員寫道，PaLM-E也是一種“有效的視覺語言模型”。例如，它可以識別圖像中的籃球明星科比·布萊恩特，并可以生成關(guān)于他的文本信息，比如他贏得了多少次冠軍，在另一個例子中，PaLM-E看到一個交通標(biāo)志并解釋與之相關(guān)的規(guī)則。
PaLM-E的出現(xiàn)為機器人領(lǐng)域提供了更強大的工具，機器人可以更好地理解環(huán)境和交互，從而更加自主地執(zhí)行任務(wù)。例如，在工廠、醫(yī)院、物流中心等場景下，機器人可以通過PaLM-E更好地識別目標(biāo)物體、理解工作流程、執(zhí)行任務(wù)等。
結(jié)語
PaLM-E的出現(xiàn)可以說一個新的拐點已經(jīng)到來，多模態(tài)的融合將成為未來必然的發(fā)展方向，不管是文字，還是圖片，亦或者語音，都耦合到一個模型中，制造出通用的全能模型。
就如PaLM-E里面提到的，LLM(大語言模型)有個天然的局限性，就是它只在文本語料中訓(xùn)練，雖然積累了大量的內(nèi)在知識，但無法與真實世界接觸，文本世界的抽象需要用真實世界的各種信息去標(biāo)定，因此若想實現(xiàn)AGI(通用人工智能)，必須多模態(tài)。
PaLM-E這種多模態(tài)具身視覺語言模型的出現(xiàn)，也將讓人機交互方式產(chǎn)生變化，以對話方式控制的產(chǎn)品將越來越多，畢竟誰也不想買個電子產(chǎn)品，就要在手機里裝個App，使用時還要進(jìn)行繁瑣的操作，說一句話就能完成所有的操作，恐怕沒有人會拒絕。
原標(biāo)題：重磅！谷歌的這項技術(shù)，真的要顛覆機器人行業(yè)
浙公網(wǎng)安備 33010602000006號
智能制造網(wǎng)APP
智能制造網(wǎng)小程序
微信公眾號
