智能制造網(wǎng)APP
智能制造網(wǎng)手機(jī)站
智能制造網(wǎng)小程序
智能制造網(wǎng)官微
智能制造網(wǎng)服務(wù)號(hào)
智能控制
機(jī)器人
儀器儀表
物聯(lián)網(wǎng)
3D打印
工業(yè)軟件
回放
MC-34MR-4MTS-F700-FX-F-220V(0380)
品牌
10月13日消息，近日，蘋果公司推出了300億參數(shù)的多模態(tài)AI大模型MM1.5，該版本是在前代MM1的架構(gòu)基礎(chǔ)上發(fā)展而來的。
該模型繼續(xù)遵循數(shù)據(jù)驅(qū)動(dòng)的訓(xùn)練原則，著重探究在不同訓(xùn)練周期中混合各類數(shù)據(jù)對(duì)模型性能產(chǎn)生的影響，相關(guān)模型文檔已在Hugging Face上發(fā)布。
MM1.5提供了從10億到300億的多種參數(shù)規(guī)模，擁有圖像識(shí)別和自然語言推理能力。
在新版本中，蘋果公司的研發(fā)人員改進(jìn)了數(shù)據(jù)混合策略，極大地增強(qiáng)了模型在多文本圖像理解、視覺引用與定位以及多圖像推理等方面的能力。
參考論文可知，團(tuán)隊(duì)在MM1.5的持續(xù)預(yù)訓(xùn)練階段引入了高質(zhì)量的OCR數(shù)據(jù)和合成圖像描述，這顯著提高了模型對(duì)包含大量文本的圖像的理解水平。
此外，研究人員在監(jiān)督式微調(diào)階段深入分析了不同數(shù)據(jù)類型對(duì)模型表現(xiàn)的作用，優(yōu)化了視覺指令微調(diào)數(shù)據(jù)的混合方式，使得即便是小規(guī)模的模型(如10億、30億參數(shù)版本)也能有出色的發(fā)揮，實(shí)現(xiàn)了更高的效率。
值得一提的是，蘋果公司這次還推出了專門用于視頻理解的MM1.5-Video模型和專門處理移動(dòng)設(shè)備用戶界面（UI）理解的MM1.5-UI模型。
其中，MM1.5-UI模型未來有望成為iOS背后的“蘋果牌”AI，能夠處理各種視覺引用與定位任務(wù)，還能總結(jié)屏幕上的功能，或者通過與用戶的對(duì)話進(jìn)行交互。
盡管MM1.5模型在多項(xiàng)基準(zhǔn)測(cè)試中表現(xiàn)優(yōu)異，但蘋果團(tuán)隊(duì)仍計(jì)劃通過進(jìn)一步融合文本、圖像和用戶交互數(shù)據(jù)，并設(shè)計(jì)更復(fù)雜的架構(gòu)，來提升模型對(duì)移動(dòng)設(shè)備UI的理解能力，從而讓“蘋果牌”AI更強(qiáng)大。
浙公網(wǎng)安備 33010602000006號(hào)
智能制造網(wǎng)小程序
微信公眾號(hào)
