清華 ChatGLM2-6B 模型又開始刷圈了！新版本在推理能力上提升了 42%，最高支持 32k 上下文。
ChatGLM-6B 自 3 月發(fā)布以來，在 AI 社區(qū)爆火，GitHub 上已斬獲 29.8k 星。
如今，第二代 ChatGLM 來了！
清華 KEG 和數(shù)據(jù)挖掘小組發(fā)布了中英雙語對話模型 ChatGLM2-6B。
最新版本 ChatGLM2-6B 增加了許多特性:
- 基座模型升級，性能更強(qiáng)大
- 支持 8K-32k 的上下文
- 推理性能提升了 42%
- 對學(xué)術(shù)研究完全開放，允許申請商用授權(quán)
值得一提的是，在中文 C-Eval 榜單中，ChatGLM2 以 71.1 分位居榜首，碾壓 GPT-4。而最新版本 ChatGLM2-6B 以 51.7 分位列第 6。
ChatGLM2-6B 升級亮點
ChatGLM-6B 的第二代版本，在保留了初代模型對話流暢、部署門檻較低等眾多優(yōu)秀特性的基礎(chǔ)之上，又增加許多新特性:
1. 更強(qiáng)大的性能
基于 ChatGLM 初代模型的開發(fā)經(jīng)驗，全面升級了 ChatGLM2-6B 的基座模型。
ChatGLM2-6B 使用了 GLM 的混合目標(biāo)函數(shù)，經(jīng)過了 1.4T 中英標(biāo)識符的預(yù)訓(xùn)練與人類偏好對齊訓(xùn)練.
評測結(jié)果顯示，與初代模型相比，ChatGLM2-6B 在 MMLU、CEval(+33%)、GSM8K(+571%) 、BBH(+60%)等數(shù)據(jù)集上的性能取得了大幅度的提升，在同尺寸開源模型中具有較強(qiáng)的競爭力。
2. 更長的上下文
基于 FlashAttention 技術(shù)，研究人員將基座模型的上下文長度由 ChatGLM-6B 的 2K 擴(kuò)展到了 32K，并在對話階段使用 8K 的上下文長度訓(xùn)練，允許更多輪次的對話。
但當(dāng)前版本的 ChatGLM2-6B 對單輪超長文檔的理解能力有限，會在后續(xù)迭代升級中著重進(jìn)行優(yōu)化。
3. 更高效的推理
基于 Multi-Query Attention 技術(shù)，ChatGLM2-6B 有更高效的推理速度和更低的顯存占用.
在官方的模型實現(xiàn)下，推理速度相比初代提升了 42%，INT4 量化下，6G 顯存支持的對話長度由 1K 提升到了 8K。
4. 更開放的協(xié)議
ChatGLM2-6B 權(quán)重對學(xué)術(shù)研究完全開放，在獲得官方的書面許可后，亦允許商業(yè)使用。
效果
相比于初代模型，ChatGLM2-6B 在多個維度的能力上，都取得了巨大的提升。
數(shù)理邏輯
知識推理
長文檔理解
評測結(jié)果
研究團(tuán)隊選取了部分中英文典型數(shù)據(jù)集進(jìn)行了評測，以下為 ChatGLM2-6B 模型在 MMLU、C-Eval(中文)、GSM8K(數(shù)學(xué))、BBH 上的測評結(jié)果。
MMLU
C-Eval
GSM8K
BBH
推理性能
ChatGLM2-6B 使用 Multi-Query Attention，提高了生成速度。生成 2000 個字符的平均速度對比如下:
Multi-Query Attention 同時也降低了生成過程中 KV Cache 的顯存占用。
此外，ChatGLM2-6B 采用 Causal Mask 進(jìn)行對話訓(xùn)練，連續(xù)對話時可復(fù)用前面輪次的 KV Cache，進(jìn)一步優(yōu)化了顯存占用。
因此，使用 6GB 顯存的顯卡進(jìn)行 INT4 量化的推理時，初代的 ChatGLM-6B 模型最多能夠生成 1119 個字符就會提示顯存耗盡，而 ChatGLM2-6B 能夠生成至少 8192 個字符。
研究團(tuán)隊也測試了量化對模型性能的影響。結(jié)果表明，量化對模型性能的影響在可接受范圍內(nèi)。
使用方法
環(huán)境安裝
首先需要下載本倉庫:
然后使用 pip 安裝依賴:pip install -r requirements.txt，其中 transformers 庫版本推薦為 4.30.2，torch 推薦使用 2.0 以上的版本，以獲得最佳的推理性能。
代碼調(diào)用
可以通過如下代碼調(diào)用 ChatGLM2-6B 模型來生成對話:
gt;fromtransformersimportAutoTokenizer,AutoModel
gt;
1.制定規(guī)律的睡眠時間表保持規(guī)律的睡眠時間表可以幫助你建立健康的睡眠習(xí)慣使你更容易入睡。盡量在每天的相同時間上床并在同一時間起床。2.創(chuàng)造一個舒適的睡眠環(huán)境確保睡眠環(huán)境舒適安靜黑暗且溫度適宜。可以使用舒適的床上用品并保持房間通風(fēng)。3.放松身心在睡前做些放松的活動例如泡個熱水澡聽些輕柔的音樂閱讀一些有趣的書籍等有助于緩解緊張和焦慮使你更容易入睡。4.避免飲用含有咖啡因的飲料咖啡因是一種刺激性物質(zhì)會影響你的睡眠質(zhì)量。盡量避免在睡前飲用含有咖啡因的飲料例如咖啡茶和可樂。5.避免在床上做與睡眠無關(guān)的事情在床上做些與睡眠無關(guān)的事情例如看電影玩游戲或工作等可能會干擾你的睡眠。6.嘗試呼吸技巧深呼吸是一種放松技巧可以幫助你緩解緊張和焦慮使你更容易入睡。試著慢慢吸氣保持幾秒鐘然后緩慢呼氣。如果這些方法無法幫助你入睡你可以考慮咨詢醫(yī)生或睡眠專家尋求進(jìn)一步的建議。從本地加載模型
在從 Hugging Face Hub 下載模型之前，需要先安裝 Git LFS，然后運行:
如果 checkpoint 的下載速度較慢，可以只下載模型實現(xiàn):
然后，手動下載模型參數(shù)文件，并將文件替換到本地的 chatglm2-6b 目錄下。
模型下載到本地之后，將以上代碼中的 THUDM / chatglm2-6b 替換為本地的 chatglm2-6b 文件夾的路徑，即可從本地加載模型。
參考資料:
廣告聲明:本文含有的對外跳轉(zhuǎn)鏈接，用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考。IT之家所有文章均包含本聲明。
鄭重聲明：此文內(nèi)容為本網(wǎng)站轉(zhuǎn)載企業(yè)宣傳資訊，目的在于傳播更多信息，與本站立場無關(guān)。僅供讀者參考，并請自行核實相關(guān)內(nèi)容。
|
