谷歌大模型團隊并入DeepMind！誓要趕上ChatGPT進度

明敏 2023-02-26 12:44:18 來源：量子位

明敏 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

為應對ChatGPT，谷歌在大模型方面的動作還在繼續(xù)。

最新消息，其旗下專注語言大模型領域的“藍移團隊”（Blueshift Team）宣布，正式加入DeepMind，旨在共同提升LLM能力！

DeepMind科學家們在推特下面“列隊歡迎”，好不熱鬧~

藍移團隊隸屬于谷歌研究，和谷歌大腦實驗室同等級。

之前谷歌耗時2年發(fā)布的大模型新基準BIG-Bench，就有該團隊的重要貢獻。

還有谷歌5400億大模型PaLM，背后也有藍移團隊成員提供建議。

綜合此前消息，DeepMind表示要在今年發(fā)布聊天機器人麻雀（Sparrow）內測版本。

如今又有擅長大模型研究的團隊加入，強強聯(lián)手，或許會加快谷歌應對ChatGPT的腳步？

這下有好戲看了。

藍移團隊是誰？

據官網介紹，藍移團隊主要關注的研究點是如何理解和改進大語言模型的能力。

他們專注于了解Transformer的局限性，并挑戰(zhàn)將其能力擴展到解決數(shù)學、科學、編程、算法和規(guī)劃等領域。

具體可分為如下幾方面分支。

團隊的代表性工作有數(shù)學做題模型Minerva。

它曾參加數(shù)學競賽考試MATH，得分超過計算機博士水平。

綜合了數(shù)理化生、電子工程和計算機科學的綜合考試MMLU-STEM，它的分數(shù)比以往AI高了20分左右。

并且它的做題方法也是理科式的，基于谷歌5400億參數(shù)大模型PaLM，Minerva狂讀論文和LaTeX公式后，可可以按照理解自然語言的方式理解數(shù)學符號。

作者透露，讓該模型參加波蘭的數(shù)學高考，成績都超過了全國平均分數(shù)。

還有藍移團隊曾和MIT的科學家一起，通過訓練大模型學會程序員debug時“打斷點”的方式，就能讓模型讀代碼的能力大幅提升。

還有谷歌耗時2年發(fā)布的大模型新基準BIG-Bench，藍移團隊全部成員均參與了這項工作。

BIG-bench由204個任務組成，內容涵蓋語言學、兒童發(fā)展、數(shù)學、常識推理、生物學、物理學、社會偏見、軟件開發(fā)等方面的問題。

以及如上提到的谷歌大模型PaLM，藍移團隊成員Ethan S Dyer也貢獻了建議。

官網顯示，藍移團隊目前有4位主要成員。

Behnam Neyshabur現(xiàn)在是DeepMind的高級研究員。他在豐田工業(yè)大學（芝加哥）攻讀了計算機博士學位，后來在紐約大學進行博士后工作，同時是普林斯頓大學高等研究理論機器學習項目組的成員。

研究領域是大語言模型的推理和算法能力、深度學習和泛化等。

Vinay Ramasesh在加州大學伯克利分校獲得物理學博士學位，曾致力于研究基于超導量子比特的量子處理器，碩士畢業(yè)于麻省理工學院。

最近他主要在研究語言模型，職位是研究科學家。

Ethan Dyer博士畢業(yè)于麻省理工學院，2018年加入谷歌工作至今。

Anders Johan Andreassen同樣是物理專業(yè)出身，博士畢業(yè)于哈佛大學。在哈佛大學、加州大學伯克利分校都做過博士后，2019年起加入谷歌。

谷歌還有多少后手？

這次藍移團隊的調動，也不免讓外界猜測是否是谷歌為應對ChatGPT的最新舉措。

ChatGPT引爆大模型趨勢后，谷歌幾乎是最先打響“阻擊戰(zhàn)”的大廠。

盡管加急發(fā)布的Bard效果確實有失水準，但這并不意味著谷歌會就此喪失競爭力。

誠如OpenAI之于微軟，谷歌也有DeepMind。

DeepMind還是上一輪AI浪潮的引爆者。

消息顯示，DeepMind手里也有聊天機器人。

去年9月，他們介紹了一個對話AI麻雀（Sparrow），它的原理同樣是基于人類反饋的強化學習，能夠依據人類偏好訓練模型。

DeepMind創(chuàng)始人兼CEO哈薩比在今年早些時候說，麻雀的內測版本將在2023年發(fā)布。

他表示，他們將會“謹慎地”發(fā)布模型，以實現(xiàn)模型可以開發(fā)強化學習功能，比如引用資料等——這是ChatGPT不具備的功能。

但具體的發(fā)布時間還沒有透露。

藍移團隊的加入公告中提到，他們是為了加速提升DeepMind乃至谷歌的LLM能力，不知這一動向是否會加速該對話模型的發(fā)布。

與此同時，谷歌也沒有把目光完全局限在自家開發(fā)能力上。

本月初，劈柴哥重磅宣布，斥資3億美元，緊急投資ChatGPT競品公司Anthropic——由GPT-3核心成員出走創(chuàng)辦。

1月底，該公司內測聊天機器人Claude，

這是一個超過520億參數(shù)的大模型，自稱基于前沿NLP和AI安全技術打造。

它同ChatGPT一樣，靠強化學習（RL）來訓練偏好模型，并進行后續(xù)微調。

但又與ChatGPT采用的人類反饋強化學習（RLHF）不同，Claude訓練時，采用了基于偏好模型而非人工反饋的原發(fā)人工智能方法（Constitutional AI），這種方法又被稱為AI反饋強化學習（RLAIF）。

如今，Claude尚未作為商業(yè)產品正式發(fā)布，但已有人（如全網第一個提示工程師Riley Goodside）拿到了內測資格。有人說效果比ChatGPT要好。

目前，這家公司的最新估值已經達到50億美元。

總而言之，谷歌雖然在Bard上栽了跟頭，但也沒把雞蛋放在一個籃子里。接下來它在大模型上還有哪些新動作？還很有看頭。

參考鏈接：
[1]https://twitter.com/bneyshabur/status/1629150056715816962
[2]https://research.google/teams/blueshift/
[3]https://www.deepmind.com/blog/building-safer-dialogue-agents