智能制造網(wǎng)>產(chǎn)品庫>其他機(jī)械>其他機(jī)械>其他>>本地化部署ChatGLM

本地化部署ChatGLM

參考價	面議

參考價

面議

具體成交價以合同協(xié)議為準(zhǔn)

公司名稱中山市天啟智能科技有限公司
品牌
型號
所在地
廠商性質(zhì)其他
更新時間2023/10/18 13:33:17
訪問次數(shù)169

產(chǎn)品標(biāo)簽:

在線詢價收藏產(chǎn)品點(diǎn)擊查看電話

聯(lián)系我們時請說明是智能制造網(wǎng) 上看到的信息，謝謝!

索取相關(guān)資料

公司介紹主營產(chǎn)品

Firefly開源團(tuán)隊(duì)是中山市天啟智能科技有限公司于2014年創(chuàng)立的開源團(tuán)隊(duì)，致力于人工智能、智能硬件、嵌入式開發(fā)、系統(tǒng)開發(fā)、應(yīng)用程序開發(fā)等研發(fā)，擁有開源系列產(chǎn)品、開源社區(qū)與網(wǎng)上商城。Firefly 開源產(chǎn)品包括核心板、行業(yè)主板、行業(yè)整機(jī)、集群服務(wù)器、開發(fā)套件、Station等產(chǎn)品。

展開顯示更多內(nèi)容

智能網(wǎng)關(guān)

產(chǎn)品簡介在線詢價

方案背景自ChatGPT發(fā)布以來，生成式AI在引起了新的浪潮，它影響著各行各業(yè)，為世界帶來史詩級的智能化發(fā)展

本地化部署ChatGLM 產(chǎn)品信息

方案背景

自ChatGPT發(fā)布以來，生成式AI在引起了新的浪潮，它影響著各行各業(yè)，為世界帶來史詩級的智能化發(fā)展。然而，類ChatGPT的大語言模型極度依賴算力巨大的服務(wù)器，導(dǎo)致目前大部分應(yīng)用只能通過集中調(diào)用API的方式來應(yīng)用，很難本地化部署。隨著大模型適用領(lǐng)域的擴(kuò)展，大模型登陸邊緣設(shè)備的需求凸顯，越來越多的行業(yè)需要把大語言模型應(yīng)用在專業(yè)的領(lǐng)域上。在這個背景下，F(xiàn)irefly推出了基于BM1684X平臺的大語言模型本地部署的方案，讓邊緣設(shè)備可配置上一顆真正的“智慧”大腦，應(yīng)用于各行各業(yè)。

一，本地化的ChatGLM-6B大語言模型

（1）具有 62 億參數(shù)

采用了由清華大學(xué)的ChatGLM-6B大語言模型，基于 General Language Model (GLM) 架構(gòu)，具有 62 億參數(shù)，使用了和 ChatGPT 相似的*技術(shù)，以達(dá)到優(yōu)質(zhì)的效果。

（2）優(yōu)化中文對話

支持中英雙語的對話語言模型，并且針對中文問答和對話進(jìn)行了優(yōu)化。其開源的訓(xùn)練數(shù)據(jù)量達(dá)到1萬億字符的模型

二，高算力AI邊緣計(jì)算主機(jī)EC-A1684XJD4

ChatGLM-6B可部署在Firefly旗下產(chǎn)品AI嵌入式主機(jī)EC-A1684XJD4中，主機(jī)配置了16GB大內(nèi)存，適用于部分大模型的量化部署，可運(yùn)行Ubuntu20.04操作系統(tǒng)，并集成的SOPHONSDK 3.0.0，可充分發(fā)揮BM1684X集成TPU的AI加速能力