感謝IT之家網友 航空先生 的線索投遞！
，王小川旗下百川智能今日發布 Baichuan-13B 大模型，號稱“130 億參數開源可商用”。
圖源 Baichuang-13B GitHub 頁面
據官方介紹，Baichuan-13B 是由百川智能繼 Baichuan-7B 之后開發的包含 130 億參數的開源可商用的大規模語言模型，在中英文 Benchmark 上均取得同尺寸模型中最好的效果。本次發布包含有預訓練 和對齊 (Baichuan-13B-Chat) 兩個版本。
圖源 Baichuang-13B GitHub 頁面
官方宣稱，Baichuan-13B 有如下幾個特點:
-
更大尺寸、更多數據:Baichuan-13B 在 Baichuan-7B 的基礎上進一步擴大參數量到 130 億，并且在高質量的語料上訓練了 1.4 萬億 tokens，超過 LLaMA-13B40%，是當前開源 13B 尺寸下訓練數據量最多的模型。支持中英雙語，使用 ALiBi 位置編碼，上下文窗口長度為 4096。
-
同時開源預訓練和對齊模型:預訓練模型是適用開發者的『 基座 』，而廣大普通用戶對有對話功能的對齊模型具有更強的需求。因此項目中同時具有對齊模型，具有很強的對話能力，開箱即用，幾行代碼即可簡單地部署。
-
更高效的推理:為了支持更廣大用戶的使用，項目中同時開源了 int8 和 int4 的量化版本，相對非量化版本在幾乎沒有效果損失的情況下大大降低了部署的機器資源門檻，可以部署在如英偉達 RTX3090 這樣的消費級顯卡上。
-
開源免費可商用:Baichuan-13B 不僅對學術研究完全開放，開發者也僅需郵件申請并獲得官方商用許可后，即可以免費商用。
目前該模型已經在 HuggingFace、GitHub、Model Scope 公布，感興趣的 IT之家小伙伴們可以前往了解。
廣告聲明:文內含有的對外跳轉鏈接，用于傳遞更多信息，節省甄選時間，結果僅供參考，IT之家所有文章均包含本聲明。
鄭重聲明：此文內容為本網站轉載企業宣傳資訊，目的在于傳播更多信息，與本站立場無關。僅供讀者參考，并請自行核實相關內容。
|
