Mac專屬大模型框架來(lái)了！兩行代碼部署，能聊本地?cái)?shù)據(jù)，還支持中文
翻版Chat with RTX
克雷西 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
Mac用戶，終于不用羨慕N卡玩家有專屬大模型Chat with RTX了！
大神推出的新框架，讓蘋果電腦也跑起了本地大模型，而且只要兩行代碼就能完成部署。
仿照Chat with RTX，框架的名字就叫Chat with MLX（MLX是蘋果機(jī)器學(xué)習(xí)框架），由一名OpenAI前員工打造。
黃院士的框架里有的功能，例如本地文檔總結(jié)、YouTube視頻分析，Chat with MLX里也都有。
而且包括中文在內(nèi)共有11種可用語(yǔ)言，自帶支持的開(kāi)源大模型多達(dá)七種。
體驗(yàn)過(guò)的用戶表示，雖然計(jì)算量負(fù)擔(dān)對(duì)蘋果設(shè)備可能大了點(diǎn)，但是新手也很容易上手，Chat with MLX真的是個(gè)好東西。
那么，Chat with MLX的實(shí)際效果究竟怎么樣呢？
用MacBook部署本地大模型
Chat with MLX已經(jīng)集成到了pip命令中，所以在有pip的條件下，只需要一行代碼就能完成安裝：
pip install chat-with-mlx
安裝完成后，在終端中輸入chat-with-mlx并按回車，就會(huì)自動(dòng)完成初始化并彈出網(wǎng)頁(yè)（第一次啟動(dòng)及下載模型時(shí)需要連接到Hugging Face服務(wù)器）。
△Chat with MLX實(shí)測(cè)效果
將這個(gè)頁(yè)面向下翻，選擇想用的模型和語(yǔ)言后點(diǎn)擊Load Model，系統(tǒng)就會(huì)自動(dòng)下載模型信息并加載。
注意如果中途需要更換模型，需要先將前面的模型Unload再選擇新模型。
其他模型只要Hugging Face上有并且兼容MLX框架，也可以手工添加，方法可以到GitHub頁(yè)中了解。
如果要使用自有數(shù)據(jù)，需要先選擇類型（文件或YouTube視頻），然后上傳文件或填寫視頻鏈接，并點(diǎn)擊Start Indexing建立索引。
按照開(kāi)發(fā)者的說(shuō)法，只要不點(diǎn)擊Stop，再次上傳新文件后數(shù)據(jù)是累加的。
當(dāng)然，也可以不傳數(shù)據(jù)，直接當(dāng)成普通大模型來(lái)用。
為了避免推理時(shí)間過(guò)長(zhǎng)，我們選擇了規(guī)模較小的Quyen-SE來(lái)進(jìn)行測(cè)試。
（Quyen-SE基于阿里的通義千問(wèn)改造而成，Chat with MLX的作者也參與了研發(fā)工作。）
首先看看模型不加定制數(shù)據(jù)的速度，在M1芯片的MacBook上，這個(gè)0.5B的模型表現(xiàn)是這樣的，可以說(shuō)比較流暢。
但在宣傳中，Chat with MLX的主要賣點(diǎn)，還是本地RAG檢索。
為了確保素材文檔在模型的訓(xùn)練數(shù)據(jù)中不存在，小編從箱底翻出了自己不公開(kāi)上網(wǎng)的本科畢業(yè)論文。
我們?cè)儐?wèn)了論文中不同位置的細(xì)節(jié)，一共根據(jù)文章內(nèi)容給Chat with MLX設(shè)計(jì)了十個(gè)問(wèn)題。
其中有七個(gè)回答是正確（符合文意）的，不過(guò)速度和純生成相比要略慢一些。
測(cè)試中我們還發(fā)現(xiàn)，模型還有一定的幾率會(huì)把提示詞吐出來(lái)，不過(guò)觸發(fā)條件似乎沒(méi)有什么規(guī)律。
但可以看出，為了提高模型的表現(xiàn)，作者已經(jīng)把給小費(fèi)這種新興的提示詞技巧都招呼上了。
整體感受下來(lái)，可能是受制于算力原因，在蘋果設(shè)備上部署本地大模型，效果無(wú)法和英偉達(dá)的Chat with RTX相媲美。
同時(shí)，在GitHub上，也有許多用戶反饋各種各樣的安裝失敗問(wèn)題，作者也都進(jìn)行了回復(fù)或跟進(jìn)，并把程序重新更新了一遍。
但無(wú)論如何，選擇本地化部署，數(shù)據(jù)的安全性可能是更為重要的考量因素；而且從中可以看出，本地化、專屬化的大模型，已經(jīng)開(kāi)始出現(xiàn)向消費(fèi)級(jí)產(chǎn)品普及的趨勢(shì)。
用網(wǎng)友的話說(shuō)，升級(jí)AI PC的時(shí)間到了。
GitHub：
https://github.com/qnguyen3/chat-with-mlx
相關(guān)閱讀
開(kāi)源操作系統(tǒng)社區(qū)OpenCloudOS正式成立，共建國(guó)產(chǎn)操作系統(tǒng)技術(shù)生態(tài)
隨著開(kāi)源的理念逐漸深入人心，中國(guó)企業(yè)也正從開(kāi)源的使用者向開(kāi)源的貢獻(xiàn)者、乃至推動(dòng)者轉(zhuǎn)變。在此背景下，騰訊與合作伙伴共同倡議發(fā)起操作系統(tǒng)開(kāi)源社區(qū)OpenCloudOS。
手指按住閃光燈，普通手機(jī)也能測(cè)血氧！華盛頓大學(xué)等開(kāi)源新數(shù)據(jù)集，監(jiān)測(cè)數(shù)值范圍大于現(xiàn)有方法
作者：希望更多人來(lái)擴(kuò)充這一數(shù)據(jù)集
讓ChatGPT調(diào)用10萬(wàn)+開(kāi)源AI模型！HuggingFace新功能爆火：大模型可隨取隨用多模態(tài)AI工具
LangChain競(jìng)爭(zhēng)對(duì)手來(lái)了
華人團(tuán)隊(duì)迷你GPT-4搶跑看圖聊天：OpenAI有的它都有，服務(wù)器已被擠爆
看美食寫菜譜，手繪網(wǎng)頁(yè)變代碼
