人工智能(AI)技術(shù)擺脫了靜態(tài)的基于規(guī)則的編程,用動(dòng)態(tài)學(xué)習(xí)的推理系統(tǒng)代替了更智能的決策。*的人工智能技術(shù)與物聯(lián)網(wǎng)技術(shù)相結(jié)合,正在用智能應(yīng)用重新定義整個(gè)行業(yè)。
這些行業(yè)的一個(gè)重要趨勢(shì)是人工智能推理系統(tǒng)向邊緣轉(zhuǎn)移,更接近傳感器和控制元件,減少延遲并改善響應(yīng)。從可穿戴設(shè)備到嵌入式系統(tǒng),所有類型的邊緣人工智能硬件的需求都在快速增長(zhǎng)。據(jù)估計(jì),到2026年,單位年復(fù)合增長(zhǎng)率為20.3%,超過(guò)22億單位。
邊緣AI推理平臺(tái)面臨的挑戰(zhàn)是實(shí)時(shí)提供高帶寬數(shù)據(jù),并對(duì)AI和控制算法使用有限的空間和功率進(jìn)行決策。接下來(lái),我們將看到NVIDIA的三個(gè)強(qiáng)大的AI應(yīng)用開(kāi)發(fā)支柱如何幫助工業(yè)計(jì)算機(jī)使邊緣AI推理解決方案成為現(xiàn)實(shí)。
Edge AI推斷支持應(yīng)用程序中當(dāng)前發(fā)生的事情,并在繼續(xù)學(xué)習(xí)的過(guò)程中展望未來(lái)數(shù)月和數(shù)年。
什么是人工智能推理
支持人工智能的系統(tǒng)有兩種:一種用于訓(xùn)練,另一種用于推理。訓(xùn)練系統(tǒng)檢查數(shù)據(jù)集和結(jié)果,尋找建立一個(gè)決策算法。對(duì)于大型數(shù)據(jù)集,培訓(xùn)系統(tǒng)可以使用服務(wù)器、云計(jì)算資源或在情況下使用超級(jí)計(jì)算機(jī)進(jìn)行擴(kuò)展,還可以花費(fèi)數(shù)天或數(shù)周的時(shí)間來(lái)分析數(shù)據(jù)。
在訓(xùn)練中發(fā)現(xiàn)的算法被傳遞給人工智能推理系統(tǒng),用于處理真實(shí)世界的實(shí)時(shí)數(shù)據(jù)。雖然推理的計(jì)算強(qiáng)度不如訓(xùn)練,但它需要有效的人工智能加速來(lái)快速處理決策,并與傳入的數(shù)據(jù)保持同步。由于熟悉的編程工具、高性能和強(qiáng)大的生態(tài)系統(tǒng),一個(gè)流行的加速選擇是使用GPU內(nèi)核。
傳統(tǒng)上,AI推斷系統(tǒng)是在服務(wù)器級(jí)平臺(tái)上通過(guò)在PCIe擴(kuò)展插槽中添加GPU卡來(lái)創(chuàng)建的。大多數(shù)人工智能推理仍然發(fā)生在支持人工智能的服務(wù)器或云計(jì)算上,一些應(yīng)用程序需要服務(wù)器級(jí)平臺(tái)來(lái)提高人工智能加速性能。在考慮延遲和響應(yīng)的情況下,低功耗嵌入式系統(tǒng)可以將人工智能推理擴(kuò)展到邊緣。
邊緣人工智能推理體系結(jié)構(gòu)的優(yōu)點(diǎn)
邊緣計(jì)算在處理大量實(shí)時(shí)數(shù)據(jù)的分布式體系結(jié)構(gòu)中具有很大的優(yōu)勢(shì)。將所有這些數(shù)據(jù)移入云中或服務(wù)器進(jìn)行分析會(huì)帶來(lái)網(wǎng)絡(luò)和存儲(chǔ)方面的挑戰(zhàn),從而影響帶寬和延遲。更接近數(shù)據(jù)源的本地化處理(如使用AI進(jìn)行預(yù)處理)可以減少這些瓶頸,降低網(wǎng)絡(luò)和存儲(chǔ)成本。
還有其他邊緣計(jì)算的好處。個(gè)人識(shí)別信息可以匿名化,提高隱私。安全區(qū)域減少了系統(tǒng)范圍內(nèi)的漏洞。局部算法執(zhí)行實(shí)時(shí)確定性,使系統(tǒng)處于控制之下,許多錯(cuò)誤警報(bào)或觸發(fā)器可以在工作流的早期消除。
擴(kuò)展邊緣計(jì)算與人工智能推理增加了更多的好處。邊緣人工智能推理應(yīng)用程序通過(guò)添加更小的平臺(tái)有效地?cái)U(kuò)展。通過(guò)在一個(gè)邊緣節(jié)點(diǎn)上進(jìn)行推理而獲得的任何改進(jìn)都可以上傳并部署到整個(gè)節(jié)點(diǎn)系統(tǒng)中。
如果一個(gè)邊緣人工智能推理平臺(tái)能夠加速整個(gè)應(yīng)用程序堆棧,包括數(shù)據(jù)接收、推理、本地化控制、連接性等等,那么它就為系統(tǒng)架構(gòu)師創(chuàng)造了引人注目的可能性。
2025第21屆鄭州工業(yè)自動(dòng)化展
展會(huì)城市:鄭州市展會(huì)時(shí)間:2025-05-09