英偉達版ChatGPT來了，PC端部署，很GPU
網(wǎng)友：要換顯卡了
金磊 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
英偉達推出了自家版本的ChatGPT，名字很有GPU的味道——
Chat With RTX。
英偉達的這款A(yù)I聊天機器人和目前主流的“選手”有所不同。
它并非是在網(wǎng)頁或APP中運行，而是需要下載安裝到個人電腦中。
這波操作，不僅是在運行效果上會更快，也就意味著Chat With RTX在聊天內(nèi)容上或許并沒有那么多限制。
網(wǎng)友們也紛紛對這一點發(fā)出了感慨：
哇~這是本地運行的耶~
當然，在配置方面也是要求的，只需要至少8GB的RTX 30或40系列顯卡即可。
那么Chat With RTX的實際效果如何，我們繼續(xù)往下看。
英偉達版ChatGPT
首先，值得一提的是，Chat With RTX并非是英偉達自己搞了個大語言模型（LLM）。
它背后所依靠的仍是兩款開源LLM，即Mistral和Llama 2，用戶在運行的時候可以根據(jù)喜好自行選擇。
Pick完LLM之后，就可以在Chat With RTX中上傳本地文件。
支持的文件類型包括txt，.pdf，.doc/.docx和.xml。
然后就可以開始提問了，例如：
Sarah推薦的餐廳名字是什么？
由于是在本地運行，因此Chat With RTX生成答案的速度是極快的，真真兒的是“啪的一下”：
Sarah推薦的餐廳名字叫做The Red Le Bernardin。
除此之外，Chat With RTX另一個亮點功能，就是可以根據(jù)在線視頻做回答。
例如把一個油管視頻的鏈接“投喂”給它：
然后向Chat With RTX提問：
英偉達在CES 2024上宣布了什么？
Chat With RTX也會以極快的速度根據(jù)視頻內(nèi)容作答。
至于其背后用到的技術(shù)方面，英偉達官方只是簡單提了一句：“用到了檢索增強生成 （RAG）、NVIDIA TensorRTLLM軟件和NVIDIA RTX等?！?/p>
如何食用？
正如我們剛才提到的，Chat With RTX的用法很簡單，只需一個下載安裝的動作。
不過在配置上，除了GPU的要求之外，還有一些條件，例如：
- 系統(tǒng)：Windows 10或Windows 11
- RAM：至少16GB
- 驅(qū)動：535.11版本或更新
不過Chat With RTX在大小上并沒有很輕量，共計大約35G。
因此在下載它之前，務(wù)必需要檢查一下Chat With RTX所需要的安裝條件。
不然就會出現(xiàn)各種各樣的悲劇了：
不過實測被吐槽
The Verge在英偉達發(fā)布Chat With RTX之后，立即展開了一波實測。
不過結(jié)論卻是大跌眼鏡。
例如剛才提到的搜索視頻功能，在實際測試過程中，它竟然下載了完全不同視頻的文字記錄。
其次，如果給Chat With RTX“投喂”過多的文件，例如讓Chat with RTX為25000個文檔編制索引，它就直接“罷工”崩潰了。
以及它也“記不住”上下文，因此后續(xù)問題不能基于上一個問題。
最后還有個槽點，就是下載Chat with RTX消耗了測試人員整整半個小時……
不過槽點之外，The Verge也比較中立地肯定了Chat with RTX的優(yōu)點。
例如搜索電腦上的文檔，其速度和精準度是真香。
并且做總結(jié)也是Chat with RTX較為擅長的內(nèi)容：
更重要的是，在本地運行這樣的機制，給用戶文件的安全性帶來了保障。
那么你會pick英偉達版的ChatGPT嗎？
參考鏈接：
[1]https://www.theverge.com/2024/2/13/24071645/nvidia-ai-chatbot-chat-with-rtx-tech-demo-hands-on
[2]https://news.ycombinator.com/item?id=39357900
[3]https://blogs.nvidia.com/blog/chat-with-rtx-available-now/
[4]https://twitter.com/rowancheung/status/1757429733837418610
- 商湯林達華萬字長文回答AGI：4層破壁，3大挑戰(zhàn)2025-08-12
- 商湯多模態(tài)大模型賦能鐵路勘察設(shè)計，讓70年經(jīng)驗“活”起來2025-08-13
- 以“具身智能基座”為核，睿爾曼攜全產(chǎn)品矩陣及新品亮相2025 WRC2025-08-11
- 哇塞，今天北京被機器人人人人人塞滿了！2025-08-08
相關(guān)閱讀
科大訊飛被曝加緊開發(fā)中國版ChatGPT，具體發(fā)布時間已確定
關(guān)于誰能打造中國版ChatGPT的問題也爭得一塌糊涂。
老黃發(fā)布最強AIGC芯片！內(nèi)存容量暴增近50%，可運行任意大模型，“生成式AI的iPhone時刻已來”
還牽手抱抱臉搞起大模型版Colab
