蘋果一夜重塑iPhone！GPT-4o加持Siri，AI深入所有APP，庫克：開啟蘋果AI下一章

明敏 西風 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

千呼萬喚，蘋果如何用AI重塑iPhone，答案終于揭曉！

各種令人聞之激動的傳聞，通通都是真的——

確定和OpenAI達成合作，接入ChatGPT，使用GPT-4o模型。

Siri完成重生，iPhone人機交互模式重構，手機智能助手代勞一切近在咫尺。

Apple Intelligence，就此要成為AI的全新代名詞了。

發(fā)布一結束，WWDC 24立馬沖進熱搜前三。

網(wǎng)友們都在感慨蘋果這逆天的整合能力，各種AI新功能通通滿足大家想象力。

還有人說，這回罵早了……

簡單總結，這場發(fā)布的內容就是蘋果家族OS大更新。

尤其是iOS、iPadOS，在Apple Intelligence加持下，AI濃度飆升。

而且Apple Intelligence，免費提供！支持iPhone 15 Pro及以上設備，搭載M1及更高配置芯片的Mac。

內置的ChatGPT也無需注冊即可使用。

今年秋季，iOS 18、iPadOS 18、macOS Sequoia的測試版將以英文版發(fā)布。

具體帶來哪些新體驗？搶先來看。

Apple Intelligence+ChatGPT強強聯(lián)手

如何定義AI Phone？

蘋果選擇系統(tǒng)AI化+引入強大云端大模型。

也就是Apple Intelligence和ChatGPT聯(lián)手。

先來看Apple Intelligence（以下簡稱蘋果AI）。

它是iPhone、iPad及Mac具備強大生成式AI能力的關鍵。

它的基礎能力共分為四個方面：語言、圖像、行動和個性化。

語言方面，基于內置的大模型，蘋果AI能為iPhone通知設定優(yōu)先次序，把最要緊的事放最上面。

加強的全系統(tǒng)內的寫作工具（Keynotes以及第三方APP等）， 支持重寫、校對、提取摘要、創(chuàng)作評論等功能。

圖像方面，蘋果AI能分清楚相冊中不同的面孔，并基于他們生成圖像。

一共支持素描、插畫、動畫3種生成風格，可在信息、無邊記等各種APP中使用。

如果想不到提示詞，Image Playground還支持根據(jù)標簽生成圖像，模型在端側運行。

另一個重大的圖像生成能力是emoji都能自定義了！

Genmoji能根據(jù)提供的描述生成最符合你心意的emoji，還能根據(jù)相冊中的人物定制。

同時，蘋果AI還成支持清除照片中的干擾物：

使用自然語言搜索圖像視頻：

根據(jù)輸入的提示詞選擇出最佳相片一鍵剪輯：

行動力方面，主要是指蘋果AI可以在APP內或者跨APP執(zhí)行更多操作。

比如只需開口說，找到XX上周發(fā)的文件、找到和媽媽相關的照片等，系統(tǒng)就能代勞。

同時還能深刻理解個人情景。

不僅分析各種個人信息數(shù)據(jù)，還能讀懂屏幕。

舉個栗子，比如突然郵件通知了一個臨時會議，那么還能趕上接下來女兒的演出嗎？蘋果AI可以自動識別分析郵件中的會議時間、知道“女兒”是誰、找到女兒演出的時間地點日程、并從地圖中規(guī)劃路線，最后給出分析。

但如此深度的智能，個人信息隱私如何保障？

蘋果表示推出了專門的隱私架構，涉及到個人隱私的計算，能在端側就在端側進行。在這方面，他們對硬件進行深度整合，A17 Pro以上的芯片都支持。同時在云測，他們也推出了Private Cloud Compute，可以提供芯片級的信息保護。

在用戶發(fā)出指令后，蘋果AI會先分析請求是否能在端側利用大模型解決，如果不能再調用云端模型。

蘋果自信表示，這是為AI隱私保護設立了全新標準。

除此之外，蘋果AI還能對錄音內容自動生成摘要、總結電話錄音。

這些能力都是隨著iOS 18、iPadOS 18、macOS Sequoia免費提供的。

而對于需要更廣闊知識、專長特長的任務，蘋果搬出了ChatGPT。

比如想要為菜譜提供靈感，可以問問Siri，Siri推薦使用ChatGPT，如果接受這一建議，就能立馬獲得來自ChatGPT的答案。

多模態(tài)任務也支持，Siri會詢問是否可以查看照片、PDF等。

所有會分享給ChatGPT的信息，都會事先征求用戶意見。

想要免費使用ChatGPT也不用創(chuàng)建賬戶，所有請求都不會被記錄。ChatGPT的訂閱用戶能關聯(lián)自己賬戶，也能接入付費功能。

這個功能將在今年稍晚推出。蘋果表示，未來還將增加對其他AI模型的支持。

那么更具體的，蘋果AI還能做什么？

來看Siri的全新升級。

Siri新紀元的起點

蘋果表示，在Apple Intelligence加持下，Siri正式邁入新紀元。

接下來的Siri，更自然、更貼合語境、也更接近用戶。

從外觀來看，當和Siri對話時，屏幕邊緣會環(huán)繞一圈光暈。

從智能度來說，Siri現(xiàn)在可以理解更豐富的語言，就算說的不連貫，也OK：

并且Siri現(xiàn)在還可以聯(lián)系上下文信息。

即使停頓一下再讓它安排日程，它也能理解安排“那里”指的是哪里。

Siri現(xiàn)在還支持語音打字切換輸入，只需在屏幕下方快速輕點兩下就能召喚出鍵盤：

更重要的是，Siri已經(jīng)掌握了大量關于功能和設置的信息，能夠解答數(shù)千個關于操作的問題。

就算不知道某項具體功能是什么名字，只需要表述個大概，Siri就能懂你說的是哪個功能。

蘋果表示明年會推出更多功能。首先，Apple Intelligence將為Siri帶來屏幕內容感知功能。

Siri還將能夠理解用戶在APP中的更多操作，然后代勞用戶在數(shù)百種APP內以及APP之間操作，其中還會用到寫作和圖像生成功能。

比如讓它找到某張照片，然后一鍵修圖：

Siri還可以進行跨APP操作，將修好的圖自動添加到指定的備忘錄中：

據(jù)蘋果介紹，能夠做到這些，還得益于其對APP Intents框架的增強，能讓app定義Siri、快捷指令及其它系統(tǒng)體驗。

而這些增強功能并不局限于蘋果開發(fā)的APP，開發(fā)者可以借助APP Intents API定義他們開發(fā)的APP中的各種操作。

還沒完，Apple Intelligence所提供的個人情境的認知能力，讓Siri發(fā)現(xiàn)和理解的內容范圍遠超以往。

例如，直接詢問“媽媽的航班幾點到？”，Siri就能自主參考郵件中的航班詳情以及航班的實時動態(tài)，提供最新到達時間。

詢問“午飯怎么安排的？”，Siri就能追蹤信息閑聊里的內容，回答在哪里吃飯，吃什么。

緊接著還能給出機場到吃飯地點需要的時長。

一系列操作完全不需要用戶在幾個APP之間跳轉自己查詢，詢問Siri幾秒鐘就能搞定。

Siri的所有更新均同樣適用于iPad和Mac。

iOS 18更加個性化了

在Apple Intelligence以外，iOS 18也迎來重大更新。

全新iOS 18，主打“個性化”?，F(xiàn)在，iOS 18可以設置深色模式：

且所有APP小組件的主題色可自定義，iOS還能根據(jù)壁紙風格自動推薦色調：

控制中心現(xiàn)在也能自定義控制項了，開發(fā)者可把APP加進控制中心，長掃即可調出其它控制項：

布局和大小均可調整：

所有控制項還可以設置在鎖屏頁面，替代原來的手電筒和相機：

iOS 18在隱私安全方面也推出了個性化設置。

用戶現(xiàn)在可以為APP上鎖，需面部識別等進行身份驗證才能打開，且上鎖后APP的內部信息也不會出現(xiàn)在搜索、通知等手機系統(tǒng)的其它地方。

或者，還可以直接隱藏某個APP，將其放在一個帶鎖的隱藏文件夾中：

iOS 18加持下，眾多APP也一并大更新。

其中，圖庫（Photos）的新功能被官方稱作是“迄今為止最重磅的設計更新”。

現(xiàn)在圖庫布局上半部分延續(xù)之前的的網(wǎng)格視圖，適合瀏覽所有圖片；下半部分新增對圖片按時間、主題進行分類整理的“小相冊”。

每個小相冊的位置可以自定義，并支持一鍵導出分享。

在瀏覽所有圖片時，底部設有篩選按鈕，可以選擇一鍵過濾所有截圖等，縮小圖片查找范圍：

另一大APP——短信（Messages）也解鎖了新功能，不僅可以使用emoji、貼紙，還能更改文字格式，進行加粗、斜體、下劃線、刪除線等操作。

如果這些還不足以表達你的情緒，還可以給文字添加特殊效果：

而且現(xiàn)在短信還支持延遲發(fā)送了：

值得一提的是，iPhone14及后續(xù)機型還支持衛(wèi)星功能，無需聯(lián)網(wǎng)就能發(fā)信息。

除此之外，郵箱（Mail）增加郵件分類整理功能，可自動提取重要郵件，比如帶有時效性的信息的文件，還能一鍵提取“摘要”。

錢包、游戲等APP也有新功能推出，這里就不逐一細說了。

一張圖來看iOS 18推出的新功能：

iPad、Mac、Vision Pro系統(tǒng)迭代

除了iPhone，Apple其他智能硬件系統(tǒng)也都進行全新升級。

下面我們挑重點來看。

iPad終于有計算器啦

iPadOS 18絕對稱得上是重大更新……因為它終于引入計算器了！

而且針對iPad的手寫場景推出了“數(shù)學筆記”功能，支持識別手寫公式、自動求解、自動畫函數(shù)曲線等功能。

用Apple Pencil寫一個數(shù)學表達式，寫下等號的一瞬間，計算器就自動算出結果。

如果對表達式做出修改，結果也會實時更新。

除了基礎運算以外，計算器支持的所有運算都能如此實現(xiàn)。同時這些計算筆記也能被保存下來。

甚至還有更簡單的計算方式，畫個橫線。

比如正在計算項目預算，在一串開支數(shù)字下畫個橫線，答案就自動計算出來。非常自然，就像是在紙上手動計算一樣。

當然也支持更復雜的計算，比如正在算一個物理題，以不同角度和速度擊打乒乓球時，乒乓球能到達的最高高度。

只需在數(shù)學筆記中寫出各種變量的數(shù)字，然后就能讓計算器直接帶入數(shù)字在公式中計算。改變相應的變量，計算結果隨之變化。

寫成函數(shù)表達式，點擊等號，還能直接畫出函數(shù)曲線。調整變量，函數(shù)曲線隨之改變。

另一個重大改變也體現(xiàn)在手寫方面。

備忘錄中推出了Smartscript新功能，利用機器學習，它能模仿你的筆跡，讓書寫更加工程，還支持將鍵盤打出的內容一鍵生成手寫筆記、拼寫檢查、校對糾錯等。

如此看來，買一支Apple Pencil變得更加有必要了。

除此之外，iPad OS 18在更多細節(jié)上也做了提升。

VisionOS 2更3D

VisionOS 2同樣也提到了AI。

它能利用AI將普通2D照片“空間化”。

而且支持在照片應用中和好友沉浸式分享內容。

交互方面，VisionOS 2支持雙指輕點切換至主屏幕，翻轉手掌調出控制中心的通知、快捷方式等。

旅行模式中增加了對火車場景的支持。

蘋果表示，今年晚些時候將支持在Vision Pro上連接Mac上的內容。

開發(fā)者方面，新增了體積應用API，名為TabletopKit的游戲開發(fā)工具包以及企業(yè)應用API。

蘋果宣布，接下來將在中國、日本、新加坡、加拿大、法國、德國、英國八個國家發(fā)售Vision Pro。

中國、日本和新加坡的上市時間是6月28日，其他5個地方則要等到7月12日。

MacOS支持iPhone鏡像

MacOS方面，Sepuoia讓設備互聯(lián)更絲滑了。

現(xiàn)在，可以在Mac桌面上直接打開iPhone鏡像，并且操作iPhone，比如點個咖啡、添加備注。

iPhone的通知、音頻也都能在Mac上互通。但是iPhone本身會處于鎖屏模式，其他人動不了。

當然Mac的內容也能更方便地傳送到iPhone上，比如剪輯好的視頻，一鍵拖到鏡像內，便完成了傳輸。

另一個值得關注的是Safari中的Highlights功能。

它能利用機器學習將瀏覽頁面的重點內容突出顯示，能讓人更快了解內容。

同時在安全方面，最新版本的Safari不僅具備智能防追蹤功能，還能阻止網(wǎng)站窺探你在瀏覽時做了什么。

新出的Keychain則能將各種密碼安全管理好，Mac、iPad、iPhone等都適用。所有密碼都能安全同步于你的各個設備。

One More Thing

在發(fā)布結束后，庫克發(fā)布了一條推特，其中寫道：

Apple Intelligence是蘋果AI的下一篇章。

而在被機器學習、大語言模型、擴散模型等AI專業(yè)詞匯灌滿的發(fā)布會中，蘋果也多次提到“新紀元”、“just begining”這樣的字眼。

總之，AI Phone蘋果是終于出手了。

對于這場WWDC，你對哪部分最感興趣？

歡迎來嘮~