阿里云通義千問開源72B、1.8B兩款大語言模型并首度開源音頻大模型

2023-12-04 10:15:23來源：TechWeb.com.cn 關(guān)鍵詞：大語言模型音頻大模型閱讀量：26840

導(dǎo)讀：從18億、70億、140億到720億參數(shù)規(guī)模，通義千問成為業(yè)界首個(gè)“全尺寸開源”的大模型。此外，阿里云還首次開源音頻理解大模型Qwen-Audio。

　　12月1日消息，阿里云宣布開源通義千問720億參數(shù)模型Qwen-72B。Qwen-72B在10個(gè)權(quán)威基準(zhǔn)測評創(chuàng)下開源模型最優(yōu)成績，成為業(yè)界最強(qiáng)開源大模型，性能超越開源標(biāo)桿Llama 2-70B和大部分商用閉源模型。未來，企業(yè)級、科研級的高性能應(yīng)用，也有了開源大模型這一選項(xiàng)。

　　通義千問還開源了18億參數(shù)模型Qwen-1.8B和音頻大模型Qwen-Audio。至此，通義千問共開源18億、70億、140億、720億參數(shù)的4款大語言模型，以及視覺理解、音頻理解兩款多模態(tài)大模型，實(shí)現(xiàn)“全尺寸、全模態(tài)”開源。

　　Qwen-72B基于3T tokens高質(zhì)量數(shù)據(jù)訓(xùn)練，延續(xù)通義千問預(yù)訓(xùn)練模型一貫以來的強(qiáng)勢表現(xiàn)，在10個(gè)權(quán)威基準(zhǔn)測評中奪得開源模型最優(yōu)成績，在部分測評中超越閉源的GPT-3.5和GPT-4。

　　英語任務(wù)上，Qwen-72B在MMLU基準(zhǔn)測試取得開源模型最高分；中文任務(wù)上，Qwen-72B霸榜C-Eval、CMMLU、GaokaoBench等基準(zhǔn)，得分超越GPT-4；數(shù)學(xué)推理方面，Qwen-72B在GSM8K、MATH測評中斷層式領(lǐng)先其他開源模型；代碼理解方面，Qwen-72B在HumanEval、MBPP等測評中的表現(xiàn)大幅提升，代碼能力有了質(zhì)的飛躍。

　　Qwen-72B可以處理最多32k的長文本輸入，在長文本理解測試集LEval上取得了超越ChatGPT-3.5-16k的效果。研發(fā)團(tuán)隊(duì)優(yōu)化了Qwen-72B的指令遵循、工具使用等技能，使之能更好地被下游應(yīng)用集成。比如，Qwen-72B搭載了強(qiáng)大的系統(tǒng)指令(System Prompt)能力，用戶只用一句提示詞就可定制AI助手，要求大模型扮演某個(gè)角色或者執(zhí)行特定的回復(fù)任務(wù)。

　　此前，中國大模型市場還沒出現(xiàn)足以對標(biāo)Llama 2-70B的優(yōu)質(zhì)開源模型。Qwen-72B填補(bǔ)了國內(nèi)空白，以高性能、高可控、高性價(jià)比的優(yōu)勢，提供不亞于商業(yè)閉源大模型的選擇。基于Qwen-72B，大中型企業(yè)可開發(fā)商業(yè)應(yīng)用，高校、科研院所可開展AI for Science等科研工作。

　　發(fā)布會(huì)上的另一開源模型Qwen-1.8B是目前尺寸最小的中國開源大模型，推理2K長度文本內(nèi)容僅需3G顯存，可在消費(fèi)級終端部署。

　　從18億、70億、140億到720億參數(shù)規(guī)模，通義千問成為業(yè)界首個(gè)“全尺寸開源”的大模型。用戶可在魔搭社區(qū)直接體驗(yàn)Qwen系列模型效果，也可通過阿里云靈積平臺調(diào)用模型API，或基于阿里云百煉平臺定制大模型應(yīng)用。阿里云人工智能平臺PAI針對通義千問全系列模型進(jìn)行深度適配，推出了輕量級微調(diào)、全參數(shù)微調(diào)、分布式訓(xùn)練、離線推理驗(yàn)證、在線服務(wù)部署等服務(wù)。

　　此外，阿里云還首次開源音頻理解大模型Qwen-Audio。Qwen-Audio能夠感知和理解人聲、自然聲、動(dòng)物聲、音樂聲等各類語音信號。用戶可以輸入一段音頻，要求模型給出對音頻的理解，甚至基于音頻進(jìn)行文學(xué)創(chuàng)作、邏輯推理、故事續(xù)寫等等。音頻理解能夠賦予大模型接近人類的聽覺能力。

　　據(jù)介紹，阿里云是國內(nèi)最早開源自研大模型的科技企業(yè)，8月以來開源了Qwen-7B、Qwen-14B和視覺理解模型Qwen-VL。幾款模型先后沖上HuggingFace、Github大模型榜單，得到中小企業(yè)和個(gè)人開發(fā)者的青睞，累計(jì)下載量超過150萬，催生出150多款新模型、新應(yīng)用。發(fā)布會(huì)現(xiàn)場，多位開發(fā)者伙伴現(xiàn)身說法，分享了他們用Qwen開發(fā)專屬模型和特定應(yīng)用的實(shí)踐。

　　阿里云CTO周靖人表示，開源生態(tài)對促進(jìn)中國大模型的技術(shù)進(jìn)步與應(yīng)用落地至關(guān)重要，通義千問將持續(xù)投入開源，希望成為“AI時(shí)代最開放的大模型”，與伙伴們共同促進(jìn)大模型生態(tài)建設(shè)。

上一篇：昆侖萬維發(fā)布「天工 SkyAgents」平臺，零代碼打造AI智能體

下一篇：又一里程碑，哪吒泰國工廠下線首臺NETAV-II

我要評論

昵稱

匿名

文明上網(wǎng)，理性發(fā)言。（您還可以輸入200個(gè)字符)

表情

所有評論僅代表網(wǎng)友意見，與本站立場無關(guān)。

大語言模型與生成式人工智能的區(qū)別
本文旨在通過對大語言模型和生成式人工智能的深入分析，了解這兩種技術(shù)的區(qū)別，以及它們各自的行業(yè)應(yīng)用和未來發(fā)展趨勢。
大語言模型生成式人工智能
2024-09-02 10:09:27
啟明創(chuàng)投發(fā)布2024生成式AI十大展望
2024世界人工智能大會(huì)上，啟明創(chuàng)投圍繞大語言模型、多模態(tài)模型、商業(yè)機(jī)會(huì)等做出2024生成式AI十大展望。
生成式AI大語言模型
2024-07-08 11:01:29
OpenAI、螞蟻集團(tuán)、谷歌等聯(lián)合編制的大模型安全國際標(biāo)準(zhǔn)正式發(fā)布
日前，世界數(shù)字技術(shù)院(WDTA)發(fā)布了一系列突破性成果，包括《生成式人工智能應(yīng)用安全測試標(biāo)準(zhǔn)》和《大語言模型安全測試方法》兩項(xiàng)國際標(biāo)準(zhǔn)。
大語言模型生成式AI應(yīng)用
2024-04-18 09:22:04
大手筆！“歐洲版OpenAI”獲微軟投資
從外媒最新的報(bào)道來看，除了對OpenAI大手筆的投資，微軟也投資了有著歐洲版OpenAI之稱的法國人工智能公司Mistral AI。
大語言模型聊天機(jī)器人
2024-02-28 09:02:16
早報(bào)|阿里云核心銷售業(yè)務(wù)調(diào)整；訊飛醫(yī)療在港交所提交上市申請
教科文組織將于2月5日至6日在斯洛文尼亞克拉尼舉辦全球人工智能論壇，以評估全球人工智能治理進(jìn)展；阿里云核心銷售業(yè)務(wù)層面進(jìn)行調(diào)整，將混合云事業(yè)部更名為政企事業(yè)部；1月26日晚，訊飛醫(yī)療科技股份有限公司向港交所提交上市申請書......
人工智能大語言模型
2024-01-29 09:29:30
消息稱谷歌將推遲至明年第一季度發(fā)布大語言模型Gemini
據(jù)兩位知情人士透露，谷歌將推遲發(fā)布其大語言模型Gemini，發(fā)布時(shí)間從原定的今年11月份推遲到了2024年第一季度。
大語言模型AI聊天機(jī)器人
2023-11-20 10:03:06

版權(quán)與免責(zé)聲明：

凡本站注明“來源：智能制造網(wǎng)”的所有作品，均為浙江興旺寶明通網(wǎng)絡(luò)有限公司-智能制造網(wǎng)合法擁有版權(quán)或有權(quán)使用的作品，未經(jīng)本站授權(quán)不得轉(zhuǎn)載、摘編或利用其它方式使用上述作品。已經(jīng)本網(wǎng)授權(quán)使用作品的，應(yīng)在授權(quán)范圍內(nèi)使用，并注明“來源：智能制造網(wǎng)”。違反上述聲明者，本站將追究其相關(guān)法律責(zé)任。

本站轉(zhuǎn)載并注明自其它來源（非智能制造網(wǎng)）的作品，目的在于傳遞更多信息，并不代表本站贊同其觀點(diǎn)或和對其真實(shí)性負(fù)責(zé)，不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。如其他媒體、平臺或個(gè)人從本站轉(zhuǎn)載時(shí)，必須保留本站注明的作品第一來源，并自負(fù)版權(quán)等法律責(zé)任。如擅自篡改為“稿件來源：智能制造網(wǎng)”，本站將依法追究責(zé)任。

鑒于本站稿件來源廣泛、數(shù)量較多，如涉及作品內(nèi)容、版權(quán)等問題，請與本站聯(lián)系并提供相關(guān)證明材料：聯(lián)系電話：0571-89719789；郵箱：1271141964@qq.com。