面壁智能對齊技術(shù)UltraFeedback如何讓7B模型打敗70B LLaMA2？

量子位的朋友們 2023-10-14 13:17:15 來源：量子位

HuggingFace 團隊最新訓練的小尺寸模型 Zephyr-7B，性能 超越參數(shù)十倍之大的 LLaMA2-70B-Chat。

在權(quán)威基準測試 MT-Bench 上，Zephyr-7B 以 7.09 分的成績整體超越 LLaMA2-70B-Chat。此外，Zephyr-7B 還在 OpenLLM Leaderboard 的 4 個數(shù)據(jù)集上取得了 66.1 的平均分。

從 Twitter 中的雷達圖可以看出，這個 7B 模型的信息抽?。‥xtraction）和代碼（Coding）能力尤其突出，大幅超越 Mistra-7B-Instruct 和 LLaMA2-70B-Chat。

以一當十，Zephyr-7B 是怎么做到的？

Zephyr-7B 基于 面壁智能（ModelBest）聯(lián)合清華 NLP 實驗室最新開源的大規(guī)模反饋數(shù)據(jù)集 UltraFeedback 訓練而成。

UltraFeedback是團隊探索 大模型對齊（Alignment）技術(shù) 的又一座里程碑，發(fā)布不足十天，已經(jīng)得到開源社區(qū)的積極認可。

GitHub地址：https://github.com/OpenBMB/UltraFeedback

HuggingFace鏈接： https://huggingface.co/datasets/openbmb/UltraFeedback

UltraFeedback 數(shù)據(jù)集強在哪里？

基于人類反饋的強化學習（RLHF），已被 OpenAI、Anthropic 和 Google DeepMind 等業(yè)界領(lǐng)先公司廣泛研究并應(yīng)用。

然而，由于 缺乏高質(zhì)量、公開可用的偏好數(shù)據(jù)集，開源社區(qū)在 RLHF 的研究和實踐上仍然處于落后狀態(tài)。

為了解決這一問題，助力建設(shè)繁榮的大模型開源生態(tài)。面壁智能團隊構(gòu)建了UltraFeedback，一個 大規(guī)模、多樣化、細粒度 的偏好數(shù)據(jù)集，包括 25萬 條對話數(shù)據(jù)以及相應(yīng)的偏好標注數(shù)據(jù)。

在非社區(qū)標注的偏好數(shù)據(jù)集中，這一數(shù)據(jù)規(guī)模排在首位。并且，其中每條偏好標注均包含四個方面的細粒度得分與詳細的文字說明。

此外，UltraFeedback 從多個社區(qū)開源的指令數(shù)據(jù)集中收集了約 6 萬條指令。基于這些指令，UltraFeedback 從 17 種不同架構(gòu)、參數(shù)量、訓練數(shù)據(jù)的模型中隨機選取 4 種不同模型，為每條指令生成4種有區(qū)分度的回復(fù)，極大地提升了指令和模型的多樣性。

目前，團隊已經(jīng)發(fā)布 UltraFeedback 的相應(yīng)論文，想要詳細了解 UltraFeedback 技術(shù)原理的朋友可前去查看。

如何應(yīng)用 UltraFeedback？獎勵模型和批評模型

基于 UltraFeedback，團隊訓練了兩個模型來進一步輔助模型評測和模型反饋學習。

一個是 獎勵模型（Reward Model）——UltraRM，旨在區(qū)分同一個問題的不同回答好壞（HuggingFace 地址：https://huggingface.co/openbmb/UltraRM-13b ）。

就像老師為不同學生的答案給出評分，分數(shù)高低其實就是收到的獎勵大小。高分答案可以指引大家后續(xù)的回答方向。同理，UltraRM 是大模型后續(xù)進行RLHF的基礎(chǔ)，也是衡量反饋數(shù)據(jù)集質(zhì)量的重要維度。

UltraRM 由 LLaMA2-13B 初始化，在 UltraFeedback 和三個開源數(shù)據(jù)集（Anthropic HH-RLHF, Stanford SHP和OpenAI Summarization）組成的混合數(shù)據(jù)集上進行微調(diào)。在四個公共偏好測試集上，UltraRM 顯著超過其他開源獎勵模型，達到了 SOTA 的性能。

另一個機制是 批評模型（Critique Model）——UltraCM，用于自動生成文本形式的反饋（HuggingFace 地址： https://huggingface.co/openbmb/UltraCM-13b）。

批評重在“評”，就像老師除了給分外，還會進一步作出點評，指出答案好在哪里，不好在哪里。根據(jù)更明確的一對一點評，才能針對性地提升回答。

能夠給出文本形式評價的 UltraCM 對于可解釋的模型評測以及模型反饋學習十分重要。

與 UltraRM 類似，UltraCM 由 LLaMA2-13B 初始化。在 9 個基準數(shù)據(jù)集上，UltraCM 優(yōu)于所有開源 baseline，性能接近 ChatGPT。

對齊技術(shù)給大模型戴上“緊箍咒”

“對齊（Alignment）” 是指要求人工智能系統(tǒng)的目標、價值觀、利益等與人類的相一致，使其符合設(shè)計者的預(yù)期，避免產(chǎn)生超出控制的有害后果。

如果人工智能是神通廣大的孫悟空，那么對齊技術(shù)就是緊箍咒。唐僧只有掌握了緊箍咒，才能確保孫悟空不會胡作非為。

面壁智能（ModelBest）與清華大學 NLP 實驗室持續(xù)探索深耕大模型對齊（Alignment）技術(shù)，除了 UltraFeedback 外，團隊此前還開源發(fā)布了 UltraChat 和 UltraLM。

UltraChat，高質(zhì)量的對話數(shù)據(jù)集，包含了 150 余萬 條多輪指令數(shù)據(jù)。調(diào)用多個 ChatGPT API 相互對話，從而生成多輪對話數(shù)據(jù)。

UltraLM，基于 UltraChat 數(shù)據(jù)訓練的大語言模型，具有豐富的世界知識和超強的指令理解和跟隨能力，能對各類問題/指令給出具有豐富信息量的回復(fù)。

繼 UltraLM-13B-v1.0 登頂斯坦福 AlpacaEval* 開源模型榜單 后，團隊最新發(fā)布了與 UltraRM 聯(lián)合的 UltraLM-13B-v2.0（best-of-16 采樣），在 AlpacaEval 榜單取得了 92.30% 的高分，成為 70B 以下模型 最高分。

由此可見，運用面壁智能相關(guān)對齊技術(shù)能夠“降本增效”地提升模型能力。

不管AI未來會有多么強大，只有被人類馴化才能服務(wù)人類。對齊技術(shù)是人工智能的好老師，讓大模型的訓練和生成得以控制。