国产强伦姧在线观看无码,中文字幕99久久亚洲精品,国产精品乱码在线观看,色桃花亚洲天堂视频久久,日韩精品无码观看视频免费

      正在閱讀:網(wǎng)易伏羲預訓練模型“玉言”登頂CLUE分類榜單,成績首次超過人類水平

      網(wǎng)易伏羲預訓練模型“玉言”登頂CLUE分類榜單,成績首次超過人類水平

      2023-01-21 10:00:00來源:TechWeb.com.cn 關(guān)鍵詞:人工智能網(wǎng)易伏羲閱讀量:24208

      導讀:近日,網(wǎng)易伏羲預訓練模型“玉言”成功登頂 CLUE分類任務(wù)榜,這是網(wǎng)易伏羲在中文文本預訓練領(lǐng)域又一重要里程碑。
        近日,網(wǎng)易伏羲的“玉言”系列模型在CLUE分類任務(wù)排行榜中超越其他模型,榮登榜單第一。在CLUE1.1分類任務(wù)排行榜(包含AFQMC[文本相似度]、TNEWS[短文本分類]、IFLYTEK[長文本分類]、OCNLI[自然語言推理]、WSC[代詞消歧]、CSL[關(guān)鍵詞識別]6個理解任務(wù))上首次超過人類水平。
       
        作為中文語言理解領(lǐng)域最具權(quán)威性的測評基準之一,CLUE榜單在學術(shù)界及工業(yè)界有著深遠影響。此次「玉言」成功登頂 CLUE分類任務(wù)榜,是網(wǎng)易伏羲在中文文本預訓練領(lǐng)域又一重要里程碑。值得一提的是,一年前網(wǎng)易伏羲的“玉言”系列模型也曾登頂CLUE推出的中文小樣本學習評測榜單FewCLUE。
       
        "玉言“是網(wǎng)易伏羲自主研發(fā)的中文文本預訓練大模型系列,這次登頂CLUE分類任務(wù)榜單的模型參數(shù)達到110億,結(jié)構(gòu)由深層 Encoder 和淺層 Decoder 組成,這種結(jié)構(gòu)可以使得大模型具有優(yōu)秀理解能力的同時,也有著較為優(yōu)秀的生成能力。除此之外,Encoder-Decoder結(jié)構(gòu)方便訓練任務(wù)的設(shè)計,不需要復雜的掩碼策略。其預訓練數(shù)據(jù)包括網(wǎng)易自有高質(zhì)量數(shù)據(jù)、各類百科、新聞、社區(qū)問答、wiki、小說等等;網(wǎng)易伏羲對收集到的數(shù)據(jù)進行去重,清洗,產(chǎn)出了大量高質(zhì)量數(shù)據(jù),并采用這些數(shù)據(jù)訓練模型,使得模型具有良好的泛化性,在各類任務(wù)上都有著出色的性能。
       
        網(wǎng)易伏羲在"玉言“模型的訓練中,采用多任務(wù)訓練框架對模型Encoder和Decoder進行訓練。為了提升模型的語義表示能力,同時讓模型更好的理解不同長度的文本信息,提出了不同的預訓練策略來幫助模型學習:
       
        1. 掩碼策略:掩碼[MASK]將句子中的詞進行掩蓋,讓模型還原被掩蓋的詞語,提升模型對詞語的語義表示能力;
       
        2. Word Shift 策略:通過打亂中文詞語里單字的順序,讓模型對其進行還原,從而提升模型對中文詞語表達的關(guān)注能力,增強對中文詞語的敏感性;
       
        3. Short Sentence Reorder 策略:通過打亂出現(xiàn)在句子中的短句,再讓模型還原以提升模型對句子語義的理解;
       
        4. Word/Sentence Deleted 策略:刪除句子中的單詞或整句后再讓模型進行還原,以提升模型對不同長度的文本的語義表示能力;
       
        網(wǎng)易伏羲的大規(guī)模預訓練相關(guān)工作由網(wǎng)易高級副總裁、網(wǎng)易雷火事業(yè)群總裁胡志鵬牽頭主持,并且入選2022年度浙江省科技計劃項目--“尖兵”項目。自研模型規(guī)模從最早的一億參數(shù)增長至千億參數(shù),模型領(lǐng)域從文本拓展到圖文、音樂、行為序列等多種模態(tài),積累了豐富的預訓練模型訓練和工程優(yōu)化的經(jīng)驗。相關(guān)技術(shù)也已經(jīng)應(yīng)用在網(wǎng)易集團內(nèi)的文字游戲、智能NPC、文本輔助創(chuàng)作、音樂輔助創(chuàng)作、美術(shù)設(shè)計、互聯(lián)網(wǎng)搜索推薦等業(yè)務(wù)場景,并取得了顯著的業(yè)務(wù)效果。
       
        另外,網(wǎng)易伏羲參與了中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟組織的大規(guī)模預訓練模型技術(shù)的應(yīng)用評估方法編寫,并且在由中國信息通信研究院、人工智能關(guān)鍵技術(shù)和應(yīng)用評測工業(yè)和信息化部重點實驗室等機構(gòu)發(fā)起的2022可信AI峰會上,網(wǎng)易伏羲的大模型應(yīng)用「 LOFTER-AI 寫文」和「傀儡戲-互動式文字游戲」同時入選“2022大規(guī)模預訓練模型優(yōu)秀應(yīng)用案例”,在大模型技術(shù)及AI實踐領(lǐng)域獲行業(yè)認可。
       
        網(wǎng)易伏羲作為國內(nèi)專業(yè)從事游戲與泛娛樂AI研究和應(yīng)用的頂尖機構(gòu),未來會在大規(guī)模預訓練模型領(lǐng)域持續(xù)探索,并結(jié)合有靈機器人眾包能力,引入“人”的決策及數(shù)據(jù)閉環(huán),進一步提升大模型的能力。
      我要評論
      文明上網(wǎng),理性發(fā)言。(您還可以輸入200個字符)

      所有評論僅代表網(wǎng)友意見,與本站立場無關(guān)。

      • 浙江印發(fā)《浙江省推進“人工智能+教育”行動方案(2025—2029年)》

        行動方案還明確了五大項16個小項重點任務(wù),為全省未來5年“人工智能 教育”行動設(shè)計好了“施工圖”。如建設(shè)教育大模型基礎(chǔ)設(shè)施、探索教學新形態(tài)、構(gòu)建人工智能教育課程體系、開展教師人工智能素養(yǎng)培訓等。
        人工智能教育
        2025-05-14 08:51:13
      • 十大新興技術(shù):人工智能演變成一種商業(yè)工具

        人工智能作為一種新興技術(shù),已經(jīng)不再是簡單的概念炒作,而是真正融入到企業(yè)的業(yè)務(wù)運營中,成為推動企業(yè)發(fā)展的核心力量。本文將深入剖析十大借助人工智能提升的熱門新興技術(shù),展現(xiàn)其在商業(yè)領(lǐng)域的廣泛應(yīng)用與巨大潛力。
        人工智能
        2025-05-14 09:38:03
      • 河南信息通信業(yè)牽頭制造、種植、教育領(lǐng)域省級人工智能行業(yè)賦能中心建設(shè)

        河南省確定了13家河南省人工智能賦能中心,各賦能中心通過整合算力、算法、數(shù)據(jù)等核心資源,搭建政產(chǎn)學研用協(xié)同平臺,推進人工智能技術(shù)攻關(guān)、場景建設(shè)、供需匹配。
        人工智能信息通信業(yè)
        2025-05-13 13:56:14
      • 推動“人工智能+物流”發(fā)展 對智慧城市建設(shè)有何意義

        今年一季度,在政策的助力下,物流裝備領(lǐng)域也是活力滿滿,從國產(chǎn)冷機實現(xiàn)量產(chǎn),到新能源貨車快速更新,物流裝備的綠色化水平不斷提升,有效助推物流運行效率的提升和物流成本的下降。
        人工智能物流
        2025-05-12 10:24:19
      • 智慧城市建設(shè)恰逢其時 人工智能在安全領(lǐng)域有哪些應(yīng)用

        AI將在未來發(fā)揮更大的作用,構(gòu)建更智能、更安全的世界。企業(yè)和政府應(yīng)積極擁抱AI技術(shù),同時關(guān)注其倫理和社會影響,確保AI的發(fā)展真正造福人類。
        人工智能安全領(lǐng)域
        2025-05-11 09:43:13
      • 夯實學校人工智能教育 服務(wù)教育強國建設(shè)

        無論是培育人工智能領(lǐng)域的高端人才、激發(fā)人工智能環(huán)境中廣大青少年的創(chuàng)新潛力,還是提升智能時代公民的適應(yīng)力,都需超越傳統(tǒng)的標準化人才培養(yǎng)模式,加強人工智能教育和創(chuàng)新能力培養(yǎng)。
        人工智能教育
        2025-05-08 17:26:13
      版權(quán)與免責聲明:

      凡本站注明“來源:智能制造網(wǎng)”的所有作品,均為浙江興旺寶明通網(wǎng)絡(luò)有限公司-智能制造網(wǎng)合法擁有版權(quán)或有權(quán)使用的作品,未經(jīng)本站授權(quán)不得轉(zhuǎn)載、摘編或利用其它方式使用上述作品。已經(jīng)本網(wǎng)授權(quán)使用作品的,應(yīng)在授權(quán)范圍內(nèi)使用,并注明“來源:智能制造網(wǎng)”。違反上述聲明者,本站將追究其相關(guān)法律責任。

      本站轉(zhuǎn)載并注明自其它來源(非智能制造網(wǎng))的作品,目的在于傳遞更多信息,并不代表本站贊同其觀點或和對其真實性負責,不承擔此類作品侵權(quán)行為的直接責任及連帶責任。如其他媒體、平臺或個人從本站轉(zhuǎn)載時,必須保留本站注明的作品第一來源,并自負版權(quán)等法律責任。如擅自篡改為“稿件來源:智能制造網(wǎng)”,本站將依法追究責任。

      鑒于本站稿件來源廣泛、數(shù)量較多,如涉及作品內(nèi)容、版權(quán)等問題,請與本站聯(lián)系并提供相關(guān)證明材料:聯(lián)系電話:0571-89719789;郵箱:1271141964@qq.com。

      不想錯過行業(yè)資訊?

      訂閱 智能制造網(wǎng)APP

      一鍵篩選來訂閱

      信息更豐富

      推薦產(chǎn)品/PRODUCT 更多
      智造商城:

      PLC工控機嵌入式系統(tǒng)工業(yè)以太網(wǎng)工業(yè)軟件金屬加工機械包裝機械工程機械倉儲物流環(huán)保設(shè)備化工設(shè)備分析儀器工業(yè)機器人3D打印設(shè)備生物識別傳感器電機電線電纜輸配電設(shè)備電子元器件更多

      我要投稿
      • 投稿請發(fā)送郵件至:(郵件標題請備注“投稿”)1271141964.qq.com
      • 聯(lián)系電話0571-89719789
      工業(yè)4.0時代智能制造領(lǐng)域“互聯(lián)網(wǎng)+”服務(wù)平臺
      智能制造網(wǎng)APP

      功能豐富 實時交流

      智能制造網(wǎng)小程序

      訂閱獲取更多服務(wù)

      微信公眾號

      關(guān)注我們

      抖音

      智能制造網(wǎng)

      抖音號:gkzhan

      打開抖音 搜索頁掃一掃

      視頻號

      智能制造網(wǎng)

      公眾號:智能制造網(wǎng)

      打開微信掃碼關(guān)注視頻號

      快手

      智能制造網(wǎng)

      快手ID:gkzhan2006

      打開快手 掃一掃關(guān)注
      意見反饋
      我要投稿
      我知道了