蘋果AI升級(jí)大泄露，Siri將在iOS18重生！庫(kù)克重新定義AI為Apple Intelligence

克雷西 2024-06-09 14:49:55 來(lái)源：量子位

克雷西 明敏 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

萬(wàn)眾期待的蘋果WWDC在即，有關(guān)AI的升級(jí)細(xì)節(jié)全泄露了！

知名網(wǎng)站Apple Insider稱收到了新功能的確切細(xì)節(jié)，并總結(jié)評(píng)價(jià)：Siri將在iOS18中重生。

從相機(jī)相冊(cè)、日歷備忘錄到瀏覽器電子郵件……幾乎系統(tǒng)中所有原生應(yīng)用都將被AI全面武裝。

不僅如此，彭博社爆料蘋果將推出針對(duì)iPhone、iPad、Mac的全生態(tài)AI能力，定名為Apple Intelligence：

將自動(dòng)選擇運(yùn)行本地AI或云端AI，蘋果技術(shù)側(cè)重于日常實(shí)用功能，把聊天機(jī)器人等花里胡哨的留給OpenAI。

有不少網(wǎng)友感嘆：Apple Intelligence是最聰明的營(yíng)銷手法，庫(kù)克直接把AI一詞中原本的Artificial（人工的）劫持替換了。

此外，從蘋果ML實(shí)驗(yàn)室公開(kāi)的論文中也能看到新功能的影子，如“一句話修圖”技術(shù)就有傳言將在此次更新中落地。

慣例先上總結(jié)，具體細(xì)節(jié)，后面挑重點(diǎn)展開(kāi)。

• 相機(jī)：拍特定模式的照片/視頻，一句話就能設(shè)定倒計(jì)時(shí)、切換前后鏡頭
• 照片：編輯修圖、整理相冊(cè)，甚至還能根據(jù)關(guān)鍵詞找出特定的人、寵物、風(fēng)景……
• 備忘錄：錄音轉(zhuǎn)文字、語(yǔ)音總結(jié)大意、公式識(shí)別，學(xué)習(xí)筆記全能王駕到
• 語(yǔ)音備忘錄：錄音、轉(zhuǎn)錄、存檔、整理文件夾，會(huì)議筆記更高效
• 提醒事項(xiàng)：新建購(gòu)物清單、差事待辦，還能加標(biāo)簽、整理歸類
• 郵件：寫郵件、存草稿、設(shè)置提醒，還能自動(dòng)歸類廣告垃圾郵件
• 圖書(shū)：導(dǎo)航到特定書(shū)籍、章節(jié)，一鍵翻頁(yè)、切換主題
• Safari：總結(jié)網(wǎng)頁(yè)摘要、整理標(biāo)簽頁(yè)
• Keynote：一句話插入音頻、視頻、圖片，自動(dòng)編輯幻燈片

更智能的相機(jī)和相冊(cè)

新版Siri將能夠直接控制攝像頭，用戶可以通過(guò)Siri完成相機(jī)模式設(shè)置等操作，具體包括：

• 切換到視頻錄制模式
• 將相機(jī)打開(kāi)到特定模式，如照片、肖像、視頻、慢動(dòng)作等
• 設(shè)置計(jì)時(shí)器
• 切換至前/后置攝像頭

除了相機(jī)之外，Siri也將給相冊(cè)應(yīng)用帶來(lái)顯著功能增強(qiáng)，用戶可以選擇通過(guò)Siri編輯、移動(dòng)和隱藏照片或相冊(cè)。

Siri還能夠通過(guò)Visual Look Up識(shí)別照片中的特定物體、風(fēng)景或人物，這意味著用戶可以要求查看某人或特定場(chǎng)景的照片。

用戶還可以選擇編輯照片、視頻、屏幕截圖等內(nèi)容——所有這些都可以通過(guò)蘋果的虛擬助手 Siri 進(jìn)行。

在相冊(cè)里，Siri將能夠：

• 搜索并打開(kāi)本地和網(wǎng)絡(luò)中包含特定對(duì)象的照片
• 旋轉(zhuǎn)、復(fù)制、移動(dòng)、隱藏、收藏照片
• 創(chuàng)建、打開(kāi)、重命名相冊(cè)，或向其中添加照片
• 創(chuàng)造新的回憶、專輯
• 打開(kāi)照片和視頻進(jìn)行編輯、對(duì)照片應(yīng)用濾鏡、增強(qiáng)照片
  此外，蘋果相冊(cè)還將進(jìn)行一些小的 UI 更改，加入新的AI編輯功能，還將推出Clean Up工具，支持從圖像中移除特點(diǎn)對(duì)象。

△粉絲自制概念圖，來(lái)源@oofus

用Siri管理備忘錄和錄音

蘋果在備忘錄中設(shè)置的Siri增強(qiáng)功能將使得瀏覽、標(biāo)記和移動(dòng)筆記變得更加容易。

在備忘錄中，搭載了Apple全新大模型支持的Siri將能夠：

• 創(chuàng)建、重命名和刪除注釋文件夾
• 為筆記添加或刪除標(biāo)簽，篩選、打開(kāi)、創(chuàng)建和刪除備忘錄中的特定標(biāo)簽
• 在備忘錄中打開(kāi)特定帳戶下的內(nèi)容（例如 iCloud、Outlook 等）
• 打開(kāi)、移動(dòng)、刪除或固定/取消固定特定筆記
• 在筆記視圖和文件夾視圖之間切換

△新版?zhèn)渫浉拍顖D，來(lái)源：Apple Insider

新版?zhèn)渫涱A(yù)計(jì)還將具有應(yīng)用程序內(nèi)錄音、音頻轉(zhuǎn)錄以及由大模型支持的摘要功能，這將允許用戶將錄音、摘要和轉(zhuǎn)錄與其他材料（例如文本或圖像）一起存儲(chǔ)在一張筆記中。
Math Notes是蘋果為備忘錄準(zhǔn)備的另一項(xiàng)升級(jí)，它將集成全新GreyParrot計(jì)算器的集成，幫助用戶將復(fù)雜的數(shù)學(xué)方程和圖表嵌入到個(gè)人筆記。

同樣在開(kāi)發(fā)中的鍵盤數(shù)學(xué)預(yù)測(cè)功能，將允許蘋果軟件將數(shù)學(xué)表達(dá)式識(shí)別為文本輸入的一部分，通過(guò)AI自動(dòng)補(bǔ)全數(shù)學(xué)方程。

除了備忘錄，語(yǔ)音備忘錄（錄音機(jī)）中也將有新功能上線。通過(guò) Siri，用戶將能夠創(chuàng)建、暫停、刪除和移動(dòng)單個(gè)錄音或錄音文件夾。

借助語(yǔ)音備忘錄應(yīng)用程序，Siri 將可以：

• 搜索、打開(kāi)個(gè)人語(yǔ)音備忘錄/錄音
• 創(chuàng)建或暫停新錄音
• 創(chuàng)建、打開(kāi)和刪除語(yǔ)音備忘錄中的文件夾
• 按名稱、創(chuàng)建日期和音頻內(nèi)容刪除特定錄音

△新版語(yǔ)音備忘錄概念圖，來(lái)源：Apple Insider

新的功能將使用戶能夠更輕松地找到他們可能正在尋找的特定文件，因?yàn)镾iri將能夠按名稱、日期或位置查找錄音，預(yù)計(jì)還將接收應(yīng)用程序內(nèi)的音頻轉(zhuǎn)錄。

處理郵件、做PPT，讓辦公更高效

除了備忘錄，蘋果的郵件應(yīng)用也將迎來(lái)重大變革，同樣將搭載AI功能，使其能夠根據(jù)文本內(nèi)容自動(dòng)對(duì)電子郵件進(jìn)行分類。

具體來(lái)說(shuō)，郵件應(yīng)用將能夠?qū)㈦娮余]件分為商業(yè)、新聞、社交等類別， Siri將能夠使用這些信息在應(yīng)用內(nèi)執(zhí)行不同的操作。

例如識(shí)別帶有促銷代碼的電子郵件或來(lái)自特定公司的電子郵件，并將其標(biāo)記為垃圾郵件。

在郵件應(yīng)用程序中，Siri將擁有的能力包括：

• 撰寫、發(fā)送/取消發(fā)送電子郵件，或設(shè)置定時(shí)發(fā)送
• 將電子郵件另存為草稿，或刪除草稿
• 將電子郵件標(biāo)記為垃圾郵件，或設(shè)置不提醒、阻止、刪除特定發(fā)件人/特定主題的郵件
• 回復(fù)電子郵件或其所有收件人，啟用基于AI的智能回復(fù)
• 將電子郵件標(biāo)記為“稍后閱讀”并設(shè)定具體日期，或取消設(shè)定
• 取消訂閱電子郵件，尤其是與營(yíng)銷相關(guān)的電子郵件
• 啟用來(lái)自特定發(fā)件人或有關(guān)特定主題的電子郵件的通知設(shè)置
• 總結(jié)電子郵件內(nèi)容，歸檔、移動(dòng)、轉(zhuǎn)發(fā)電子郵件
  蘋果的郵件應(yīng)用程序還將搭載一項(xiàng)名為“智能回復(fù)”的功能，通過(guò)該功能，用戶將能夠發(fā)送人工智能生成的電子郵件回復(fù)。

在辦公方面，不只是郵件，新版Keynote也將搭載AI相關(guān)功能——通過(guò)Siri，用戶將能夠輕松查看Keynote演示文稿，并自行進(jìn)行更改。

通過(guò)虛擬助手，用戶可以向Keynote中插入音頻、圖像和視頻，使PPT的創(chuàng)建、修改、演示變得更加容易：

• 向特定幻燈片中添加圖像、音視頻、文本框或注釋等內(nèi)容
• 創(chuàng)建新PPT或新頁(yè)面，顯示具體幻燈片
• 播放和停止主題演示文稿
• 顯示主題演講的活動(dòng)流，顯示更改內(nèi)容以及更改者
• 將網(wǎng)絡(luò)視頻從Safari添加到幻燈片
• 為特定幻燈片設(shè)置標(biāo)題、要點(diǎn)

用Siri創(chuàng)建提醒列表

Siri 的提醒功能將幫助用戶創(chuàng)建諸如家務(wù)、要閱讀的書(shū)籍、學(xué)習(xí)用品、旅行安排等列表，還可以在特定提醒中添加或刪除主題標(biāo)簽，并生成提醒概述。

△新版日歷和提醒概念圖，來(lái)源：Apple Insider

利用這一功能，企業(yè)用戶可以創(chuàng)建他們需要會(huì)面的人的提醒，而學(xué)生可以列出新學(xué)年所需的用品清單。
據(jù)Apple Insider透露，提醒事項(xiàng)預(yù)計(jì)還將與蘋果默認(rèn)的日歷應(yīng)用程序集成，這意味著用戶將能夠直接從內(nèi)置日歷應(yīng)用程序創(chuàng)建和編輯提醒，支持的操作包括：

• 創(chuàng)建新的提醒列表或其部分
• 從特定提醒中添加或刪除主題標(biāo)簽
• 顯示提醒列表/概述

Siri一鍵總結(jié)網(wǎng)頁(yè)

隨著Siri升級(jí)，Safari也被全面改進(jìn)。

爆料稱，Siri將引入新的智能瀏覽功能，該功能將增強(qiáng)搜索功能并提供文章摘要。

還有一項(xiàng)名為Web Eraser的功能，它是一個(gè)內(nèi)容攔截器。不過(guò)這個(gè)功能引發(fā)了爭(zhēng)議，英國(guó)新聞媒體協(xié)會(huì)和一些法國(guó)出版商都向蘋果公司投訴了該功能。消息稱該功能已經(jīng)構(gòu)建完善可用，但是在WWDC之前蘋果可能會(huì)刪除它避免爭(zhēng)議。

其他

Siri還可以打開(kāi)系統(tǒng)設(shè)置的不同區(qū)域，例如亮度設(shè)置、主屏幕和應(yīng)用程序庫(kù)設(shè)置，以及多任務(wù)處理和手勢(shì)設(shè)置。系統(tǒng)設(shè)置應(yīng)用程序預(yù)計(jì)也將在 iOS 18 和 macOS 15 中被重新布局。

同時(shí)Siri還能在“文件”應(yīng)用中掃描文檔、將特定文件移入垃圾箱。編輯通訊錄中聯(lián)系人的詳細(xì)信息。

在放大鏡功能里，Siri可以描述物體、識(shí)別視野中的人等，有點(diǎn)類似于Rabbit 1等產(chǎn)品的識(shí)別方式，同時(shí)利用蘋果現(xiàn)有的框架和 Visual Lookup 等功能。

此外，Siri 還能夠通過(guò)蘋果內(nèi)部的 Generative Playground 應(yīng)用程序生成各種不同的圖像，但目前尚不清楚最終用戶是否可以使用此功能。

“灰質(zhì)計(jì)劃”

值得一提的是，一些Siri新功能被放入“灰質(zhì)計(jì)劃”（Project Greymatter）中，包括生成文章、電子郵件等，以及對(duì)消息、通知等摘要。

一個(gè)名為Greymatter Catch-Up的功能將為用戶提供最新通知的回顧。

據(jù)了解，蘋果的人工智能軟件能夠生成不同級(jí)別的摘要，范圍從三個(gè)主題詞一直到三個(gè)句子。

并且，Siri、Spotlight 和Mail都將通過(guò)蘋果的人工智能軟件獲得先進(jìn)的搜索功能和更好的上下文理解。創(chuàng)建回復(fù)時(shí)，Siri 將能夠考慮不同的實(shí)體，例如人和公司、地點(diǎn)和日歷事件。

據(jù)知情人士透露，生成式人工智能軟件還將允許即時(shí)創(chuàng)建智能回復(fù)，該回復(fù)將在郵件、Siri和消息中提供。

最后爆料來(lái)源AppleInsider也強(qiáng)調(diào)，并非所有功能都會(huì)發(fā)布。

相關(guān)消息來(lái)自熟悉蘋果操作系統(tǒng)預(yù)發(fā)布版本和測(cè)試環(huán)境的人士，可能并不反映最終發(fā)布版本。

最后，再來(lái)欣賞一段果粉自制的iOS18概念視頻：

究竟實(shí)際情況如何，就等11號(hào)凌晨的WWDC大會(huì)上一一揭曉了。

你對(duì)蘋果AI還有什么期待，歡迎在評(píng)論區(qū)聊聊

參考鏈接：
https://appleinsider.com/articles/24/06/08/siri-is-reborn-in-ios-18—-everything-apples-voice-assistant-will-be-able-to-do