國(guó)產(chǎn)語音對(duì)話大模型來了：李開復(fù)零一萬物參與，中英雙語多模態(tài)

白交 2023-09-02 13:20:20 來源：量子位

蕭簫 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

首個(gè)中英雙語的語音對(duì)話開源大模型來了！

這幾天，一篇關(guān)于語音-文本多模態(tài)大模型的論文出現(xiàn)在arXiv上，署名公司中出現(xiàn)了李開復(fù)旗下大模型公司01.ai——零一萬物的名字。

這篇論文提出了一個(gè)中英雙語可商用對(duì)話模型LLaSM，同時(shí)支持錄音和文本輸入，“混合雙打”也沒有問題：

論文認(rèn)為，“語音聊天”才是AI與人之間更方便自然的交互方式，而不僅僅是通過文本輸入。

用上大模型，有網(wǎng)友已經(jīng)在想象“躺著說話就能寫代碼”的場(chǎng)景了。

這項(xiàng)研究來自LinkSoul.AI、北大和零一萬物，目前已經(jīng)開源，也可以在抱抱臉中直接試玩。

一起來看看它的效果如何。

支持文本語音輸入，手機(jī)也可玩

據(jù)研究人員表示，LLaSM是第一個(gè)支持中英文雙語語音-文本多模態(tài)對(duì)話的開源可商用對(duì)話模型。

那么，就來看看它的語音文本輸入和中英雙語能力如何。

首先來個(gè)中英文化碰撞，讓它用英文評(píng)價(jià)一下李白：

還可以，正確地說出了李白的朝代。如果看不懂英文，讓它直接翻譯成中文也沒問題：

接下來再試試中英混合提問，在中文里面摻雜一個(gè)“fried food”，模型輸出也不錯(cuò)：

再試探一下模型，讓它進(jìn)行一些評(píng)價(jià)，看看李白和杜甫哪個(gè)更厲害。

可以看出，模型思考一會(huì)后給出了非常中立的評(píng)價(jià)，也具備大模型的基本“端水常識(shí)”（手動(dòng)狗頭）

當(dāng)然，不止是電腦，手機(jī)也能玩。

我們?cè)囍?strong>語音輸入“給我推薦一個(gè)菜譜吧”：

可以看到模型準(zhǔn)確地輸出了一個(gè)“茄子芝士”的菜譜，就是不知道好不好吃。

不過，我們?cè)趪L試的時(shí)候也發(fā)現(xiàn)，這個(gè)模型有時(shí)候會(huì)出bug。

例如有時(shí)候它并不能很好地“聽懂人話”。

要求輸出中英混合的內(nèi)容，它會(huì)假裝看不懂并輸出英文：

而當(dāng)中英混合詢問想聽“Taylor Swift的Red”時(shí)，模型更是直接出大bug，反反復(fù)復(fù)輸出一句話，甚至停不下來……

總體來看，當(dāng)遇到中英混合的提問或要求時(shí)，模型輸出能力還是不太行。

不過分開的話，它的中英文表述能力還是不錯(cuò)的。

那么，這樣的模型究竟是怎么實(shí)現(xiàn)的呢？

做了個(gè)什么新模型？

從試玩來看，LLaSM主要有兩個(gè)特點(diǎn)：一個(gè)是支持中英輸入，另一個(gè)是語音文本雙輸入。

要做到這兩點(diǎn)，分別需要在架構(gòu)和訓(xùn)練數(shù)據(jù)上做一些調(diào)整。

架構(gòu)上，LLaSM將當(dāng)前的語音識(shí)別模型和大語言模型做了個(gè)整合。

LLaSM由三個(gè)部分構(gòu)成，分別包括自動(dòng)語音識(shí)別模型Whisper、模態(tài)適配器和大模型LLaMA。

其中，Whisper負(fù)責(zé)接收原始語音輸入，并輸出語音特征的向量表示；模態(tài)適配器負(fù)責(zé)對(duì)齊語音和文本嵌入；LLaMA則負(fù)責(zé)理解語音和文本輸入的指令，并生成回復(fù)。

模型的訓(xùn)練一共分為兩個(gè)階段，第一階段訓(xùn)練模態(tài)適配器，凍結(jié)編碼器和大模型，也就是讓它來學(xué)習(xí)語音和文本對(duì)齊；第二階段凍結(jié)編碼器，訓(xùn)練模態(tài)適配器和大模型，來學(xué)習(xí)多模態(tài)對(duì)話能力。

訓(xùn)練數(shù)據(jù)上，研究人員整理出了一個(gè)包含19.9萬個(gè)對(duì)話和50.8萬個(gè)語音-文本樣本的數(shù)據(jù)集LLaSM-Audio-Instructions。

而在50.8萬個(gè)語音-文本樣本中，有8萬個(gè)中文語音樣本，42.8萬個(gè)英文語音樣本。

研究人員主要基于WizardLM、ShareGPT和GPT-4-LLM等數(shù)據(jù)集，通過文本轉(zhuǎn)語音技術(shù)，給這些數(shù)據(jù)集生成語音包，同時(shí)過濾掉無效對(duì)話。

這也是目前最大的中英文語音文本指令遵循數(shù)據(jù)集，不過目前還在整理中，據(jù)研究人員表示，整理完后會(huì)進(jìn)行開源。

不過，論文暫時(shí)沒有對(duì)比它和其他語音模型或文本模型的輸出效果。

作者介紹

這篇論文來自LinkSoul.AI、北京大學(xué)和零一萬物。

共同一作Yu Shu和Siwei Dong均來自LinkSoul.AI，此前曾經(jīng)在北京智源人工智能研究院工作。

LinkSoul.AI是一家AI初創(chuàng)公司，之前推出過首個(gè)開源Llama 2的中文語言大模型。

作為李開復(fù)旗下的大模型公司，零一萬物也在這次研究中有所貢獻(xiàn)。作者Wenhao Huang的Hugging Face主頁顯示，他畢業(yè)于復(fù)旦大學(xué)。

論文地址：
https://arxiv.org/abs/2308.15930

Demo地址：
https://huggingface.co/LinkSoul/LLaSM-Cllama2