蘋果AI版iOS首日火爆：聊天秒變高情商，大模型成最強(qiáng)嘴替，Siri華麗變身

克雷西 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

它來(lái)了它來(lái)了，蘋果的Apple Intelligence終于與果粉見(jiàn)面了！

隨著iOS 18.1 Beta版的上線，注冊(cè)開發(fā)者從即日起就能體驗(yàn)到蘋果AI的部分功能。

最明顯的一處就是Siri的全面換新，變身成了Apple Intelligence & Siri。

另一項(xiàng)重磅更新就是寫作功能了，它可以幫忙潤(rùn)色推特評(píng)論，三下五除二就能把高級(jí)表達(dá)方式安排起來(lái)。

甚至dirty words也能分分鐘變得儒雅隨和：

開啟Apple Intelligence后，蘋果自研的端側(cè)大模型就會(huì)被下載到設(shè)備當(dāng)中。

根據(jù)手快的網(wǎng)友體驗(yàn)反饋，不像其他家的AI那樣動(dòng)不動(dòng)就是拒絕服務(wù)。

與此同時(shí)，蘋果自家大模型的報(bào)告也已出爐，披露了大量技術(shù)細(xì)節(jié)。

報(bào)告顯示，在指令遵循、文本總結(jié)等任務(wù)上，蘋果云端大模型取得了超過(guò)GPT-4的成績(jī)。

蘋果基礎(chǔ)大模型團(tuán)隊(duì)負(fù)責(zé)人龐若鳴（Ruoming Pang）也表示，其模型與一些同類最佳模型相比具有競(jìng)爭(zhēng)力。

龐若鳴是普林斯頓計(jì)算機(jī)博士，本碩分別畢業(yè)于上海交大和南加州大學(xué)，于2021年加入蘋果，此前在谷歌擔(dān)任了15年的工程師。

Apple Intelligence的主要對(duì)話功能，正是由他率領(lǐng)的團(tuán)隊(duì)研發(fā)的模型提供支持。

這次他還強(qiáng)調(diào)，這些基礎(chǔ)模型“并不是聊天機(jī)器人”，而是支持廣泛的功能，包括摘要、寫作幫助、工具使用和代碼。

另外，蘋果也研發(fā)了許多自研算法，為提高模型表現(xiàn)提供了加持，具體信息也在報(bào)告中被披露。

還有細(xì)心的網(wǎng)友從中發(fā)現(xiàn)了華點(diǎn)——

蘋果大模型的訓(xùn)練用的是谷歌TPU集群，英偉達(dá)含量竟然為零。

Siri升級(jí)，但ChatGPT暫未接入

要想體驗(yàn)到蘋果的Apple Intelligence，需要滿足的條件有不少。

首先，搭載它的iOS 18.1 Beta版目前是99美金一年的注冊(cè)開發(fā)者限定，所以普通用戶還得等等。

還有就是之前說(shuō)過(guò)的，只支持M系和A17 Pro芯片，也就是說(shuō)iPhone中只有部分地區(qū)的15 Pro和15 Pro Max能用。

除了硬件和身份要求，系統(tǒng)設(shè)置也需要修改，要將地區(qū)設(shè)置為美國(guó)，且設(shè)備和Siri的語(yǔ)言都要改成英語(yǔ)。

滿足了所有這些要求之后，就可以……加入等待隊(duì)列了。

此次上線的Apple Intelligence是部分功能，主要圍繞文本生成、Siri和相冊(cè)這幾個(gè)模塊。

先說(shuō)文本生成，作為蘋果AI的重要組成部分，該功能的視適用范圍不局限于蘋果官方應(yīng)用。

只要使用標(biāo)準(zhǔn)輸入文本系統(tǒng)，在第三方應(yīng)用程序當(dāng)中也能利用該功能進(jìn)行文本總結(jié)、校對(duì)和重寫。

另外結(jié)合iOS 18 Beta的語(yǔ)音備忘錄中已經(jīng)上線的音頻轉(zhuǎn)錄功能，文本生成系統(tǒng)還可以為錄音生成摘要。

第二個(gè)比較重要的更新就是Siri了。

界面上，新版Siri不再是一個(gè)圓形圖標(biāo)，在運(yùn)行時(shí)會(huì)有環(huán)繞屏幕的彩色光不斷閃動(dòng)。

而且還給不想語(yǔ)音對(duì)話的用戶提供了文本對(duì)話方式，雙擊屏幕底部即可調(diào)出鍵盤，與Siri打字交流。

內(nèi)容方面，新版Siri將能夠解答與蘋果產(chǎn)品相關(guān)的問(wèn)題，幫助用戶進(jìn)行故障排除。

另外，新的Siri還可以夠理解從一個(gè)查詢到下一個(gè)查詢的上下文，例如要求Siri創(chuàng)建日歷事件，然后請(qǐng)求創(chuàng)建提醒，而無(wú)需重述正在談?wù)摰膬?nèi)容。

不過(guò)，之前介紹的屏幕感知功能，并未包含在此次Siri 的更新當(dāng)中。

相冊(cè)的更新則讓用戶可以用自然語(yǔ)言搜索特定照片，甚至是視頻當(dāng)中的具體時(shí)刻。

以上就是本次開發(fā)者測(cè)試版本中有關(guān)AI的大致內(nèi)容，需要指出的是，這只是之前發(fā)布會(huì)上所展示的功能中的一部分，還有很多沒(méi)有上線。

特別地，之前提到過(guò)的ChatGPT集成，此次更新也暫未接入。

解密蘋果大模型

蘋果已經(jīng)說(shuō)過(guò)，ChatGPT在蘋果AI中不是必選項(xiàng)，主要功能是由自家的大模型驅(qū)動(dòng)。

而關(guān)于這個(gè)模型，蘋果也在上線的同時(shí)發(fā)布了全面的技術(shù)報(bào)告。

模型的名字簡(jiǎn)單粗暴，就叫蘋果基礎(chǔ)模型（Apple Foundation Model，簡(jiǎn)稱AFM），有端側(cè)（on-device）和云側(cè)（server）兩個(gè)版本。

端側(cè)模型的參數(shù)量在3B左右，云側(cè)則未具體透露，只說(shuō)是比端側(cè)更大，二者都有32k的上下文窗口。

訓(xùn)練過(guò)程英偉達(dá)含量為0

模型的訓(xùn)練通過(guò)自家基于JAX的AXLearn框架進(jìn)行，并采用了張量并行、流水并行等策略。

硬件則采用的是谷歌TPU，其中云側(cè)用了8192顆TPUv4芯片，端側(cè)用了2048顆TPUv5p芯片，總之英偉達(dá)含量為0。

數(shù)據(jù)則主要來(lái)源于通過(guò)Applebot爬取的網(wǎng)頁(yè)，以及有公共許可的代碼和數(shù)學(xué)數(shù)據(jù)集。

值得一提的是，蘋果選用的數(shù)據(jù)集中無(wú)一使用GPL，都是MIT、Apache、CC0這些開放程度更高的開源協(xié)議。

流程上，AFM的預(yù)訓(xùn)練過(guò)程共分三個(gè)階段——核心訓(xùn)練、繼續(xù)訓(xùn)練和上下文延長(zhǎng)。

在核心訓(xùn)練階段中，云側(cè)版本的數(shù)據(jù)量有6.3T tokens，窗口長(zhǎng)度為4096，端側(cè)版本則是在此基礎(chǔ)之上蒸餾得到。

繼續(xù)訓(xùn)練時(shí)，低質(zhì)量數(shù)據(jù)的權(quán)重會(huì)被降低，并使用數(shù)學(xué)、代碼以及獲得授權(quán)的高質(zhì)量數(shù)據(jù)，對(duì)模型能力進(jìn)行提升。

該過(guò)程使用了1T tokens的數(shù)據(jù)，窗口長(zhǎng)度也從4096變成了8192。

到了下一階段，窗口長(zhǎng)度被進(jìn)一步擴(kuò)充到32k，涉及長(zhǎng)序列文本和合成數(shù)據(jù)，總量為100B tokens。

獨(dú)創(chuàng)強(qiáng)化學(xué)習(xí)新算法

AFM的后訓(xùn)練則包括指導(dǎo)監(jiān)督微調(diào)（SFT）、人類反饋強(qiáng)化學(xué)習(xí)（RLHF）等工作。

其中SFT階段使用了合成數(shù)據(jù)與人類標(biāo)注數(shù)據(jù)，合成數(shù)據(jù)主要關(guān)于數(shù)學(xué)、工具使用和代碼。

而在RLHF階段，蘋果自創(chuàng)了iTeC和MDLOO兩種強(qiáng)化學(xué)習(xí)算法。

iTeC全稱Iterative Teaching Committee，可譯作“迭代教學(xué)委員會(huì)”，是一種用于強(qiáng)化學(xué)習(xí)后訓(xùn)練的算法，旨在通過(guò)多輪迭代優(yōu)化模型的性能。

其核心思想是結(jié)合不同的偏好優(yōu)化算法，包括拒絕采樣、直接偏好優(yōu)化（DPO），使得模型能夠從多種優(yōu)化策略中受益，從而提高其對(duì)特定任務(wù)的適應(yīng)性和性能。

在每次迭代中，iTeC會(huì)從最新的模型中選擇一組表現(xiàn)最好的模型，形成一個(gè)“模型委員會(huì)”。這些模型是經(jīng)過(guò)SFT、RS、DPO/IPO和RL等不同訓(xùn)練方法得到的。

通過(guò)收集人類對(duì)模型響應(yīng)的偏好反饋，iTeC不斷更新其獎(jiǎng)勵(lì)模型，并用于訓(xùn)練新的模型集合。

每收集一批人類偏好數(shù)據(jù)后，iTeC會(huì)刷新其獎(jiǎng)勵(lì)模型，并訓(xùn)練新的模型集合，以此循環(huán)進(jìn)行多輪迭代，逐步提升模型性能。

MDLOO則是一種在線強(qiáng)化學(xué)習(xí)算法，特別設(shè)計(jì)用于優(yōu)化模型的響應(yīng)質(zhì)量。

作為在線算法，它能在模型訓(xùn)練過(guò)程中實(shí)時(shí)解碼響應(yīng)，并應(yīng)用RL算法來(lái)最大化獎(jiǎng)勵(lì)。

也就是說(shuō)，這種方法使得模型能夠在訓(xùn)練過(guò)程中不斷學(xué)習(xí)和調(diào)整其策略，以生成更符合人類偏好的響應(yīng)。

具體實(shí)現(xiàn)上，它結(jié)合了留一法（Leave-One-Out，LOO）優(yōu)勢(shì)估計(jì)器和鏡像下降策略優(yōu)化（MDPO），以實(shí)現(xiàn)更穩(wěn)定和有效的策略更新。

端側(cè)混合精度量化

為了讓端側(cè)模型更高效運(yùn)行，同時(shí)避免占用過(guò)多內(nèi)存資源，蘋果對(duì)AFM的端側(cè)版本進(jìn)行了量化操作。

具體來(lái)說(shuō)，蘋果采用了混合精度的量化方式，針對(duì)不同環(huán)節(jié)采用了不同的量化精度。

蘋果采用的方式被稱為“調(diào)色板”策略，在調(diào)色板量化中，權(quán)重不是每個(gè)單獨(dú)量化，而是將它們分組，并讓組內(nèi)的權(quán)重共享相同的量化常數(shù)。

對(duì)于投影權(quán)重，每16列/行共享相同的量化常數(shù)，并且使用K-means算法進(jìn)行4位量化。

針對(duì)嵌入層，由于是輸入和輸出共享的，采用了8位整數(shù)進(jìn)行每通道量化，另外還有某些重要性相對(duì)較低的層被進(jìn)一步壓縮到2位量化。

為了恢復(fù)量化后損失的性能，以保持模型的輸出質(zhì)量和準(zhǔn)確性，蘋果還引入了準(zhǔn)確性恢復(fù)適配器（Accuracy-Recovery Adapters）。

該適配器是小型的神經(jīng)網(wǎng)絡(luò)模塊，可以插入到預(yù)訓(xùn)練模型的特定層中，在量化模型的基礎(chǔ)上進(jìn)行訓(xùn)練，通過(guò)微調(diào)來(lái)學(xué)習(xí)如何補(bǔ)償量化帶來(lái)的影響。

部分任務(wù)超越GPT-4

應(yīng)用了一系列優(yōu)化技術(shù)之后，也到了驗(yàn)收模型表現(xiàn)的時(shí)候了。

在這過(guò)程中，蘋果采用了人類評(píng)估與自動(dòng)化評(píng)估相結(jié)合的策略。

先說(shuō)人工評(píng)估，評(píng)估人員設(shè)計(jì)了涵蓋分析推理、頭腦風(fēng)暴、聊天機(jī)器人等方面的多類問(wèn)題，并讓模型生成相應(yīng)。

同時(shí)，問(wèn)題也會(huì)被提給用于對(duì)比的其他模型，然后由評(píng)估人員評(píng)判哪個(gè)模型的輸出更好。

結(jié)果，無(wú)論是云側(cè)還是端側(cè)模型，都有至少60%的概率不輸給Llama 3、GPT-4等對(duì)比模型。

其余的測(cè)試主要利用數(shù)據(jù)集實(shí)現(xiàn)。

在指令遵循能力上，蘋果進(jìn)行了IFEval測(cè)試，結(jié)果在指令和prompt兩個(gè)層次上，云側(cè)AFM都超過(guò)了GPT-4，成為了新的SOTA。

端側(cè)模型的表現(xiàn)，也超過(guò)了Llama 3-8B、Mistral-7B等近似規(guī)模的模型。

在AlpacaEval當(dāng)中，端側(cè)和云側(cè)AFM也都取得了第二名的成績(jī)。

再看具體任務(wù)上的表現(xiàn)，AFM在寫作類Benchmark當(dāng)中的總結(jié)任務(wù)上取得了SOTA，撰寫任務(wù)上也與第一名接近。

數(shù)學(xué)上，蘋果用GSM8K和MATH兩個(gè)數(shù)據(jù)集進(jìn)行了評(píng)估。

結(jié)果端側(cè)模型在GSM8K上不敵Llama 3-8B和微軟的Phi 3 mini，云側(cè)被GPT-4和Llama 3-70B超越，但優(yōu)于GPT-3.5。

MATH上的成績(jī)相對(duì)高些，端側(cè)版領(lǐng)先了同規(guī)模模型，云側(cè)版也超越了Llama 3-70B。

性能之外，安全性也十分重要，蘋果通過(guò)人工方式對(duì)AFM抵御對(duì)抗性攻擊的能力進(jìn)行了評(píng)估。

結(jié)果顯示，AFM在面對(duì)對(duì)抗性提示時(shí)，實(shí)現(xiàn)的違反率顯著低于其他開源和商業(yè)模型。

以上就是蘋果大模型技術(shù)報(bào)告中一些值得關(guān)注的內(nèi)容，更多詳情可參閱報(bào)告原文。

One More Thing

雖然Apple Intelligence已經(jīng)提供給開發(fā)者進(jìn)行測(cè)試，但彭博社爆料說(shuō)，正式版可能會(huì)延遲上線。

的確，按照蘋果此前的版本發(fā)布規(guī)律，18.1的版本號(hào)也意味著，這些功能不會(huì)隨著9月的新機(jī)發(fā)布一同上線。

對(duì)此分析師Gene Munster建議，蘋果應(yīng)該考慮推遲iPhone 16的發(fā)布日期，以與Apple Intelligence保持一致。

至于庫(kù)克會(huì)不會(huì)考慮這個(gè)建議，就拭目以待了。

報(bào)告地址：
https://machinelearning.apple.com/research/apple-intelligence-foundation-language-models
參考鏈接：
[1]https://x.com/reach_vb/status/1818014366555586611
[2]https://www.cnbc.com/2024/07/29/apple-releases-apple-intelligence-its-long-awaited-ai-features.html
[3]https://www.tomsguide.com/phones/iphones/ios-181-developer-beta-is-live-with-apple-intelligence-heres-all-the-new-iphone-ai-features
[4]https://www.businessinsider.com/apple-intelligence-delay-wont-hurt-new-iphone-sales-analysts-2024-7