現在，只需一個瀏覽器，就能跑通“大力出奇跡”的大語言模型了！
不僅如此，基于 LLM 的類 ChatGPT 也能引進來，而且還是不需要服務器支持、WebGPU 加速的那種。
例如這樣:
這就是由陳天奇團隊最新發布的項目 ——Web LLM。
短短數日，已經在 GitHub 上攬貨 3.2K 顆星。
一切盡在瀏覽器，怎么搞？
首先，你需要下載 Chrome Canary，也就是谷歌瀏覽器的金絲雀版本:
因為這個開發者版本的 Chrome 是支持 WebGPU 的，否則就會出現如下的錯誤提示:
在安裝完畢后，團隊建議用“終端”輸入如下代碼啟動 Chrome Canary:
/Applications/Google\Chrome\Canary./Contents/MacOS/Google\Chrome\Canary—enable-dawn-features=disable_robustness
不過在第一次展開對話的時候，系統還會出現一個初始化的過程。
機器學習編譯是關鍵
接下來，我們來看一看 Web LLM 如何做到“一切盡在瀏覽器”的。
根據團隊介紹，其核心關鍵技術是機器學習編譯。
整體方案是站在開源生態系統這個“巨人肩膀”上完成的，包括 Hugging Face、來自 LLaMA 和 Vicuna 的模型變體，以及 wasm 和 WebGPU 等。
并且主要流程是建立在 Apache TVM Unity 之上。
團隊首先在 TVM 中 bake 了一個語言模型的 IRModule，以此來減少了計算量和內存使用。
TVM 的 IRModule 中的每個函數都可以被進一步轉換并生成可運行的代碼，這些代碼可以被普遍部署在任何最小 TVM 運行時支持的環境中。
其次，TensorIR 是生成優化程序的關鍵技術，通過結合專家知識和自動調度程序快速轉換 TensorIR 程序，來提供高效的解決方案。
除此之外，團隊還用到了如下一些技術:
上述所有的工作流程都是基于 Python 來完成的。
但 Web LLM 團隊也表示，這個項目還有一定的優化空間，例如 AI 框架如何擺脫對優化計算庫的依賴，以及如何規劃內存使用并更好地壓縮權重等等。
團隊介紹
Web LLM 背后的團隊是 MLC.AI 社區。
據了解，MLC.AI 社區成立于 2022 年 6 月，并由 Apache TVM 主要發明者、機器學習領域著名的青年學者陳天奇，帶領團隊上線了 MLC 線上課程，系統介紹了機器學習編譯的關鍵元素以及核心概念。
值得一提的是，該團隊此前還做過 Web Stable Diffusion，鏈接都放在下面了，趕快去體驗吧~
Web LLM 體驗地址:
Web Stable Diffusion 體驗地址:
參考鏈接:
鄭重聲明：此文內容為本網站轉載企業宣傳資訊，目的在于傳播更多信息，與本站立場無關。僅供讀者參考，并請自行核實相關內容。
|
