英偉達(dá)版ChatGPT來了，PC端部署，很GPU
網(wǎng)友：要換顯卡了
金磊 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
英偉達(dá)推出了自家版本的ChatGPT，名字很有GPU的味道——
Chat With RTX。
英偉達(dá)的這款A(yù)I聊天機(jī)器人和目前主流的“選手”有所不同。
它并非是在網(wǎng)頁或APP中運(yùn)行，而是需要下載安裝到個(gè)人電腦中。
這波操作，不僅是在運(yùn)行效果上會(huì)更快，也就意味著Chat With RTX在聊天內(nèi)容上或許并沒有那么多限制。
網(wǎng)友們也紛紛對這一點(diǎn)發(fā)出了感慨：
哇~這是本地運(yùn)行的耶~
當(dāng)然，在配置方面也是要求的，只需要至少8GB的RTX 30或40系列顯卡即可。
那么Chat With RTX的實(shí)際效果如何，我們繼續(xù)往下看。
英偉達(dá)版ChatGPT
首先，值得一提的是，Chat With RTX并非是英偉達(dá)自己搞了個(gè)大語言模型（LLM）。
它背后所依靠的仍是兩款開源LLM，即Mistral和Llama 2，用戶在運(yùn)行的時(shí)候可以根據(jù)喜好自行選擇。
Pick完LLM之后，就可以在Chat With RTX中上傳本地文件。
支持的文件類型包括txt，.pdf，.doc/.docx和.xml。
然后就可以開始提問了，例如：
Sarah推薦的餐廳名字是什么？
由于是在本地運(yùn)行，因此Chat With RTX生成答案的速度是極快的，真真兒的是“啪的一下”：
Sarah推薦的餐廳名字叫做The Red Le Bernardin。
除此之外，Chat With RTX另一個(gè)亮點(diǎn)功能，就是可以根據(jù)在線視頻做回答。
例如把一個(gè)油管視頻的鏈接“投喂”給它：
然后向Chat With RTX提問：
英偉達(dá)在CES 2024上宣布了什么？
Chat With RTX也會(huì)以極快的速度根據(jù)視頻內(nèi)容作答。
至于其背后用到的技術(shù)方面，英偉達(dá)官方只是簡單提了一句：“用到了檢索增強(qiáng)生成 （RAG）、NVIDIA TensorRTLLM軟件和NVIDIA RTX等?！?/p>
如何食用？
正如我們剛才提到的，Chat With RTX的用法很簡單，只需一個(gè)下載安裝的動(dòng)作。
不過在配置上，除了GPU的要求之外，還有一些條件，例如：
- 系統(tǒng)：Windows 10或Windows 11
- RAM：至少16GB
- 驅(qū)動(dòng)：535.11版本或更新
不過Chat With RTX在大小上并沒有很輕量，共計(jì)大約35G。
因此在下載它之前，務(wù)必需要檢查一下Chat With RTX所需要的安裝條件。
不然就會(huì)出現(xiàn)各種各樣的悲劇了：
不過實(shí)測被吐槽
The Verge在英偉達(dá)發(fā)布Chat With RTX之后，立即展開了一波實(shí)測。
不過結(jié)論卻是大跌眼鏡。
例如剛才提到的搜索視頻功能，在實(shí)際測試過程中，它竟然下載了完全不同視頻的文字記錄。
其次，如果給Chat With RTX“投喂”過多的文件，例如讓Chat with RTX為25000個(gè)文檔編制索引，它就直接“罷工”崩潰了。
以及它也“記不住”上下文，因此后續(xù)問題不能基于上一個(gè)問題。
最后還有個(gè)槽點(diǎn)，就是下載Chat with RTX消耗了測試人員整整半個(gè)小時(shí)……
不過槽點(diǎn)之外，The Verge也比較中立地肯定了Chat with RTX的優(yōu)點(diǎn)。
例如搜索電腦上的文檔，其速度和精準(zhǔn)度是真香。
并且做總結(jié)也是Chat with RTX較為擅長的內(nèi)容：
更重要的是，在本地運(yùn)行這樣的機(jī)制，給用戶文件的安全性帶來了保障。
那么你會(huì)pick英偉達(dá)版的ChatGPT嗎？
參考鏈接：
[1]https://www.theverge.com/2024/2/13/24071645/nvidia-ai-chatbot-chat-with-rtx-tech-demo-hands-on
[2]https://news.ycombinator.com/item?id=39357900
[3]https://blogs.nvidia.com/blog/chat-with-rtx-available-now/
[4]https://twitter.com/rowancheung/status/1757429733837418610
- 商湯林達(dá)華萬字長文回答AGI：4層破壁，3大挑戰(zhàn)2025-08-12
- 商湯多模態(tài)大模型賦能鐵路勘察設(shè)計(jì)，讓70年經(jīng)驗(yàn)“活”起來2025-08-13
- 以“具身智能基座”為核，睿爾曼攜全產(chǎn)品矩陣及新品亮相2025 WRC2025-08-11
- 哇塞，今天北京被機(jī)器人人人人人塞滿了！2025-08-08
相關(guān)閱讀
ChatGPT編程準(zhǔn)確率暴降13%！UIUC&南大新基準(zhǔn)讓AI代碼現(xiàn)原形了
大模型會(huì)生成“假裝能跑”的代碼
