邊無(wú)際首發(fā)ChatIoT：AI大模型從數(shù)字世界向物理世界邁進(jìn)

量子位的朋友們 2023-05-02 18:27:46 來(lái)源：量子位

將大模型的能力帶到物理世界，除了微軟、谷歌、還有一家中國(guó)的創(chuàng)業(yè)公司。邊無(wú)際作為專(zhuān)注于物聯(lián)網(wǎng)開(kāi)發(fā)平臺(tái)研發(fā)的科技公司，緊跟AI大模型帶來(lái)的生產(chǎn)力變革，首發(fā)ChatIoT，率先將大模型的技術(shù)應(yīng)用于物聯(lián)網(wǎng)領(lǐng)域。

在微軟、谷歌等公司宣布將大模型能力用于機(jī)器人的開(kāi)發(fā)之后，邊無(wú)際通過(guò)將大模型與物聯(lián)網(wǎng)開(kāi)發(fā)框架Shifu深度融合，構(gòu)建起新的AIoT生態(tài)，這意味著物聯(lián)網(wǎng)開(kāi)發(fā)中的設(shè)備接入和使用，將從傳統(tǒng)的編程模式轉(zhuǎn)變?yōu)榛谧匀徽Z(yǔ)言的交互方式。這種創(chuàng)新使得人們能夠在無(wú)需編碼的情況下構(gòu)建AIoT場(chǎng)景，從而提高開(kāi)發(fā)效率和降低技術(shù)門(mén)檻。

在ChatGPT引發(fā)的生產(chǎn)變革浪潮中，大模型技術(shù)正蓬勃發(fā)展并影響著諸多領(lǐng)域。如今，一個(gè)關(guān)鍵問(wèn)題擺在我們面前：如何讓大模型賦能實(shí)體經(jīng)濟(jì)，釋放更大潛力，推動(dòng)物聯(lián)網(wǎng)領(lǐng)域?qū)崿F(xiàn)智能化和高效協(xié)同？

邊無(wú)際推出ChatIoT為物聯(lián)網(wǎng)領(lǐng)域的發(fā)展帶來(lái)了新的可能。邊無(wú)際通過(guò)簡(jiǎn)化設(shè)備接入和應(yīng)用開(kāi)發(fā)的過(guò)程，將大模型的能力進(jìn)一步拓展至更廣泛的物聯(lián)網(wǎng)開(kāi)發(fā)領(lǐng)域。該技術(shù)創(chuàng)新將降低物聯(lián)網(wǎng)項(xiàng)目的難度，為行業(yè)提供更多智能、靈活的交互方式。展望未來(lái)，AIoT技術(shù)將為智能制造、智慧城市、智能家居等領(lǐng)域帶來(lái)深刻的變革，進(jìn)一步提高物理世界的數(shù)字化程度，推進(jìn)生產(chǎn)生活的智能化發(fā)展。

大語(yǔ)言模型：物聯(lián)網(wǎng)開(kāi)發(fā)的新思路

自然語(yǔ)言控制物理世界正取得突破性進(jìn)展。微軟在今年3月發(fā)布消息稱(chēng)，正在測(cè)試使用OpenAI的語(yǔ)言模型ChatGPT來(lái)實(shí)現(xiàn)對(duì)家庭和工業(yè)輔助機(jī)器人的遠(yuǎn)程控制。研究目標(biāo)是驗(yàn)證ChatGPT是否能夠超越文本，思考物理世界，幫助機(jī)器人完成任務(wù)。微軟團(tuán)隊(duì)稱(chēng)他們能夠用這表明開(kāi)發(fā)者可以引導(dǎo)ChatGPT對(duì)其周?chē)h(huán)境和任務(wù)的理解，進(jìn)而實(shí)現(xiàn)語(yǔ)言直觀地控制物理世界。

谷歌同樣推出PaLM-E，一種新的通用機(jī)器人模型，通過(guò)將來(lái)自不同視覺(jué)和語(yǔ)言領(lǐng)域的知識(shí)轉(zhuǎn)移到機(jī)器人系統(tǒng)中。這是將大型語(yǔ)言模型引入機(jī)器人的關(guān)鍵突破，直接攝入原始的機(jī)器人傳感器數(shù)據(jù)流實(shí)現(xiàn)語(yǔ)言模型的訓(xùn)練。由此產(chǎn)生的模型，可以實(shí)現(xiàn)高效的機(jī)器人學(xué)習(xí)，并且基于視覺(jué)模型保持任務(wù)完成能力。

在中國(guó)，邊無(wú)際以相同的技術(shù)路徑投身到大模型與物理世界結(jié)合當(dāng)中。物聯(lián)網(wǎng)開(kāi)發(fā)中軟件定義硬件的開(kāi)始出現(xiàn)在設(shè)備接入過(guò)程中。市面上的物聯(lián)設(shè)備浩如煙海，每個(gè)設(shè)備都用了不同的協(xié)議，有著不同的驅(qū)動(dòng)，導(dǎo)致開(kāi)發(fā)者在進(jìn)行物聯(lián)網(wǎng)場(chǎng)景設(shè)計(jì)和開(kāi)發(fā)時(shí)效率總是很低。但是，大語(yǔ)言模型具有幫助開(kāi)發(fā)者提升這項(xiàng)工作效率的潛力。大語(yǔ)言模型可以在學(xué)習(xí)現(xiàn)有的驅(qū)動(dòng)和協(xié)議基礎(chǔ)之上，根據(jù)新設(shè)備的特性來(lái)設(shè)計(jì)并自行開(kāi)發(fā)出可以操控新設(shè)備的驅(qū)動(dòng)程序。

在完成了接入之后，開(kāi)發(fā)者可以使用大語(yǔ)言模型進(jìn)行應(yīng)用的開(kāi)發(fā)。大語(yǔ)言模型可用于創(chuàng)建、完成或組合代碼，無(wú)論其來(lái)源是代碼片段還是自然語(yǔ)言描述，能夠大大提升物聯(lián)網(wǎng)開(kāi)發(fā)效率。憑借這樣的能力，這些模型可以幫助專(zhuān)業(yè)和業(yè)余的開(kāi)發(fā)人員構(gòu)建創(chuàng)新的應(yīng)用程序。

以GPT為基礎(chǔ)的大語(yǔ)言模型，可以在從接入到應(yīng)用開(kāi)發(fā)的完整鏈條上提供非常多的幫助。每個(gè)設(shè)備使用不同的協(xié)議，有不同的規(guī)則，使得利用ChatGPT等大模型應(yīng)用很難與物聯(lián)設(shè)備產(chǎn)生直接的交互。這需要有兼容性高的物聯(lián)網(wǎng)開(kāi)發(fā)框架提供標(biāo)準(zhǔn)化的設(shè)備開(kāi)發(fā)接口，進(jìn)而實(shí)現(xiàn)基于自然語(yǔ)言的數(shù)據(jù)采集、數(shù)據(jù)處理與設(shè)備反控。

邊無(wú)際ChatIoT： AI大模型與設(shè)備的交互模式

邊無(wú)際推出了基于Shifu物聯(lián)網(wǎng)開(kāi)發(fā)框架的ChatIoT，可以實(shí)現(xiàn)自然語(yǔ)言面向設(shè)備的編程，并開(kāi)放標(biāo)準(zhǔn)的API，讓ChatGPT等應(yīng)用能夠充分利用設(shè)備的能力。在邊無(wú)際的技術(shù)基礎(chǔ)上，AI大模型可以在設(shè)備互聯(lián)互通的基礎(chǔ)上，進(jìn)行應(yīng)用的下發(fā)與部署。邊無(wú)際自主研發(fā)的Shifu作為一個(gè)中間件，將自然語(yǔ)言命令翻譯成設(shè)備特定的命令。ChatIoT意味著實(shí)現(xiàn)了LLM在物聯(lián)網(wǎng)應(yīng)用中的標(biāo)準(zhǔn)化模式，讓用戶使用自然語(yǔ)言與不同的設(shè)備進(jìn)行交互。

邊無(wú)際通過(guò)將Shifu整合AI大模型的能力，使ChatGPT等工具有能力將其影響擴(kuò)展到物理世界，通過(guò)引入自然語(yǔ)言作為新的用戶界面，徹底改變物聯(lián)網(wǎng)模式。物聯(lián)網(wǎng)開(kāi)發(fā)框架Shifu作為底層基礎(chǔ)設(shè)施，使不同的AI大模型與設(shè)備進(jìn)行通信，例如ChatGPT可以完成 “使用自然語(yǔ)言向物聯(lián)設(shè)備發(fā)出命令，并使它們做相應(yīng)的動(dòng)作 “的循環(huán)，從而將ChatGPT的影響力擴(kuò)展到物理世界。

在一個(gè)典型的物聯(lián)網(wǎng)多設(shè)備場(chǎng)景應(yīng)用中，通過(guò)ChatIoT開(kāi)發(fā)模式，整合機(jī)械臂、AGV（自動(dòng)導(dǎo)引車(chē)）、攝像頭等設(shè)備，實(shí)現(xiàn)高效協(xié)同。開(kāi)發(fā)者利用邊無(wú)際Shifu與ChatGPT等工具共同完成從設(shè)備連接、驅(qū)動(dòng)到設(shè)備任務(wù)協(xié)同的過(guò)程。

首先，讓ChatGPT學(xué)習(xí)Shifu的開(kāi)發(fā)框架，了解如何將機(jī)械臂、AGV和攝像頭等不同設(shè)備接入到系統(tǒng)。開(kāi)發(fā)者需要提供設(shè)備的元數(shù)據(jù)，如設(shè)備的能力和連接地址等。然后，讓ChatGPT通過(guò)驅(qū)動(dòng)生成針對(duì)各設(shè)備的數(shù)字孿生微服務(wù)，并編寫(xiě)相應(yīng)的配置文件。邊無(wú)際通過(guò)源代碼庫(kù)將給大模型提供豐富且完整的案例，加速設(shè)備適配過(guò)程。

接下來(lái)，描述設(shè)備任務(wù)協(xié)同需求，包括機(jī)械臂的移動(dòng)范圍、時(shí)間和抓取動(dòng)作，AGV的路徑規(guī)劃和運(yùn)輸任務(wù)，以及攝像頭的監(jiān)控和圖像處理等。請(qǐng)求ChatGPT編寫(xiě)應(yīng)用程序，用于控制和協(xié)調(diào)這些設(shè)備。在此過(guò)程中，邊無(wú)際將提供生成模板，從使用者的角度出發(fā)，描述用戶如何通過(guò)驅(qū)動(dòng)操作設(shè)備，讓大模型更深入地理解場(chǎng)景需求。

經(jīng)過(guò)以上步驟，ChatGPT的自然語(yǔ)言對(duì)話將實(shí)現(xiàn)基于AIoT的多設(shè)備物聯(lián)網(wǎng)場(chǎng)景應(yīng)用。機(jī)械臂、AGV和攝像頭等設(shè)備能夠高效地協(xié)同工作，實(shí)現(xiàn)智能制造、智能物流等應(yīng)用場(chǎng)景的無(wú)縫對(duì)接。這將大大提高生產(chǎn)效率和降低成本，為物聯(lián)網(wǎng)領(lǐng)域帶來(lái)革命性的變革。

未來(lái)，邊無(wú)際將持續(xù)更新設(shè)備模型庫(kù)，進(jìn)一步迭代ChatIoT的開(kāi)發(fā)及交互模式，將大模型技術(shù)與物聯(lián)網(wǎng)場(chǎng)景開(kāi)發(fā)深入結(jié)合。ChatIoT作為一種創(chuàng)新的AIoT解決方案，通過(guò)簡(jiǎn)化設(shè)備接入和應(yīng)用開(kāi)發(fā)流程，降低了物聯(lián)網(wǎng)項(xiàng)目的技術(shù)門(mén)檻。ChatIoT將有助于推動(dòng)物聯(lián)網(wǎng)行業(yè)的應(yīng)用場(chǎng)景更加豐富多樣，從而滿足不斷變化的市場(chǎng)需求。

*本文轉(zhuǎn)載自鳳凰科技，觀點(diǎn)僅為作者所有