Apple Intelligence 為 iPhone、iPad 和 Mac 引入強大的生成式模型

供稿 / 2024-06-11 13:446002

加利福尼亞州，庫比提諾 Apple 今日發布面向 iPhone、iPad 和 Mac 的個人智能化系統 Apple Intelligence，基于個人場景發揮生成式模型的強大功用，結合用戶情況提供有助益且相關的智能化功能。Apple Intelligence 深度集成于 iOS 18、iPadOS 18 和 macOS Sequoia 中，充分運用 Apple 芯片對語言和圖像的理解與創作能力，可做出多種跨 app 操作，同時結合個人場景，為用戶簡化和加快日常任務流程。通過 Private Cloud Compute，Apple 為 AI 的隱私功能樹立了全新標準，并能在設備端進程和搭載 Apple 芯片的更大型、基于服務器的模型之間靈活配置和擴充計算資源。

“我們十分激動地向大家展示 Apple 創新的全新篇章。Apple Intelligence 將會徹底改變用戶使用我們產品的方式，以及我們的產品如何在用戶手中發揮功用。”Apple 首席執行官 Tim Cook 表示，“我們使用獨特的方式將生成式 AI 與個人使用場景相結合，實現真正有助益的智能化功能。而且它能以完全私密安全的方式調用此類信息，協助用戶完成最重要的任務。這就是 Apple 所開發出的獨一無二的 AI，我們迫不及待地想讓用戶體會它的強大之處。”

理解和創造語言的全新能力

Apple Intelligence 為用戶解鎖提高寫作和溝通的新方式。iOS 18、iPadOS 18 和 macOS Sequoia 內置可以全系統調用的新工具 Writing Tools，讓用戶能在幾乎任何場景下對文本進行改寫、校對和摘要，包括郵件、備忘錄、Pages 文稿和各類第三方 app。

無論是整理課堂筆記，檢查博客文章是否通順，亦或確保電子郵件行文得體，Writing Tools 能夠幫助用戶提升對于文字表達的信心。Apple Intelligence 的改寫工具可以讓用戶選擇不同的版本，根據受眾和文稿訴求調整文風。無論是對求職信進行潤色，還是為派對請柬添加幾分幽默和創意，改寫功能總能輔助用戶寫出最得體的文字。Proofread 工具能為用戶檢查語法、措辭和語句結構，還能同時給出修改建議，以及對修改建議的說明，方便用戶查看或快速采納。Summarize 工具可在用戶選中文本后，以易于理解的段落、要點羅列、表格或列表的形式對其進行歸納總結。

新建 DOCX 文檔 (4)1591.png

可以全系統調用的新工具 Writing Tools，讓用戶能在幾乎任何場景對文本進行改寫、校對和摘要。

新建 DOCX 文檔 (4)1831.png

最新的郵件 app 新增格外便利的電子郵件置頂功能。Priority Messages 功能會在收件箱的最上方單獨劃出一個區域，顯示最緊急的電子郵件，例如僅限當日有效的晚餐邀請或登機牌。此外，用戶在收件箱的界面上所能看到的，不再只是每封郵件第一行文字的預覽，而是郵件全文的摘要，完全無需打開郵件。對于已回復多次的郵件，用戶也只需輕點一下便可查看具體內容。Smart Reply 功能可為用戶生成快速答復文本建議，還能識別出郵件中提出的所有問題，確保用戶全部給予答復。

新建 DOCX 文檔 (4)2853.png

郵件 app 的 Priority Messages 功能會在收件箱的最上方單獨劃出一個區域，顯示最緊急的電子郵件。

新建 DOCX 文檔 (4)3109.png

新建 DOCX 文檔 (4)3302.png

對語言的深層次理解能力同樣被應用在通知功能中。Priority Notifications 會出現在分組通知的最上方，向用戶提示最為重要的事項，還有內容摘要幫助用戶快速瀏覽大量或已分組的通知，直接在鎖定屏幕上顯示詳細信息，例如一些格外活躍的群組聊天。而為了幫助用戶保持對當前任務的專注，全新專注模式“Reduce Interruptions”僅會顯示可能需要即刻被看到的通知，例如通知提前接孩子的短信等。

新建 DOCX 文檔 (4)4122.png

Priority Notifications 會向用戶提示最為重要的事項，還有內容摘要幫助用戶快速瀏覽大量或已分組的通知，直接在鎖定屏幕上顯示詳細信息。

新建 DOCX 文檔 (4)4396.png

最新的備忘錄 app 和電話 app 可讓用戶錄制音頻，將音頻轉寫成文本，以及生成內容摘要。在通話期間開啟錄制功能時，通話雙方均會自動收到提示。通話結束后，Apple Intelligence 會生成一份內容摘要，幫助用戶回顧通話要點。

新建 DOCX 文檔 (4)5117.png

最新的備忘錄 app 和電話 app 可讓用戶錄制音頻，還可將音頻轉寫成文本，為音頻生成內容摘要。

新建 DOCX 文檔 (4)5375.png

Image Playground 為交流和自我表達增添樂趣

Apple Intelligence 為用戶提供樂趣無窮的圖像創作功能，幫助用戶用全新方式進行交流和表達自我。借助于 Image Playground，用戶可在數秒間創作出有趣的圖像，且有動畫、插畫、手繪三種樣式可以選擇。Image Playground 使用簡單，并且直接內置在信息等多款 app 中。它也可作為一款單獨的 app 進行安裝和使用，非常適合試驗不同的創意和風格。所有圖像均在設備端創建生成，讓用戶可以不受圖像數量限制，盡情嘗試。

新建 DOCX 文檔 (4)5860.png

Image Playground 使用簡單，并且直接內置在信息等多款 app 中，可讓用戶在幾秒內創作出有趣的圖像。

使用 Image Playground 時，用戶可根據不同的分類從大量的創意中進行選擇，例如題材、扮裝、配飾、地點等，也可自行輸入對圖像的自定義描述，從照片圖庫中選取任意人物添加在圖像內，還可挑選喜愛的樣式。

暫停播放視頻使用 Image Playground 創作

使用 Image Playground 時，用戶可根據不同的分類從大量的創意中進行選擇，例如題材、扮裝、配飾、地點等。

在信息 app 中使用 Image Playground，可讓用戶快速創作出趣味圖像發送給朋友，甚至還會看到基于當前對話生成的個性化創意推薦。例如用戶正在群組聊天中討論有關徒步的話題，此時便會看到與自己朋友、目的地、活動相關的創意推薦，讓用戶能夠用更短時間創作出更應景的圖像。

新建 DOCX 文檔 (4)7082.png

用戶可在信息 app 中使用 Image Playground 快速創作出趣味圖像發送給朋友，還能看到基于當前對話生成的個性化創意推薦。

新建 DOCX 文檔 (4)7370.png

而在備忘錄 app 中，用戶則可通過 Apple Pencil 工具盤中新增的 Image Wand 工具調用 Image Playground，為筆記添加更多視覺表達上的趣味性。手繪的草圖可以轉化成精美的圖像，用戶還可選中其中的空白區域，利用基于周圍元素生成的場景信息生成新圖像。此外，諸如 Keynote 講演、無邊記、Pages 文稿等 app，以及各類已集成全新 Image Playground API 的第三方 app，皆可調用 Image Playground 的功能。

暫停播放視頻備忘錄 app 中的 Image Wand 工具

利用 Apple Pencil 工具盤中的 Image Wand 工具，用戶可選中圖像中的空白區域，利用基于周圍元素生成的場景信息生成新圖像。

創建應景的 Genmoji

表情符號全新進化，用戶現可創建原創 Genmoji 來表達自我。只需輸入描述文本，便可生成相應的 Genmoji，連同若干附加選項。甚至還可直接使用親朋好友的照片生成 Genmoji。同表情符號一樣，Genmoji 可直接用在任意消息文本內，也可作為貼紙或回復使用點回功能發送。

新建 DOCX 文檔 (4)9121.png

只需輸入描述文本，便可生成相應的 Genmoji，連同若干附加選項。

新建 DOCX 文檔 (4)9354.png

新建 DOCX 文檔 (4)9551.png

新建 DOCX 文檔 (4)9760.png

照片新功能讓用戶更得心應手

在 Apple Intelligence 的輔助下，查找照片和視頻變得更加便捷。用戶可直接使用日常語言查找特定的照片，例如“Maya 穿著一件扎染襯衫在玩滑板”，或者“Katie 臉上貼著貼紙”。能在視頻片段中查找特定情景，也讓現在的查找視頻功能變得格外好用，用戶將可以直接跳轉至視頻中的相關片段處。除此之外，新增的 Clean Up 工具還能夠識別并刪除照片背景中無關緊要的物體，但不會隨意影響主體。

暫停播放視頻照片 Clean Up 工具

照片 app 中新增的 Clean Up 工具能夠識別并刪除照片背景中無關緊要的物體，但不會隨意影響主體。

利用回憶功能，用戶只需輸入一段描述文本，便可快捷地創作出自己想要看到的故事。Apple Intelligence 將運用對語言和圖像的理解，根據描述文本挑選出最適合的照片和視頻，依據識別出的照片題材，設計出一段分為不同章節的劇情，然后將這些素材整理成一段敘事結構完整的影片。用戶甚至還能從 Apple Music 曲庫中獲得適合這段回憶的配曲推薦。而在使用以上各種 Apple Intelligence 功能時，用戶的照片和視頻將全程以私人文件的形式保存在設備端，不會共享給 Apple 或任何第三方。

新建 DOCX 文檔 (4)10704.png

使用回憶功能時，Apple Intelligence 會根據用戶提供的描述文本挑選出最適合的照片和視頻，設計劇情，然后將這些素材整理成一段敘事結構完整的影片。

Siri 邁入新時代

在 Apple Intelligence 的助力下，Siri 與系統體驗的結合更加渾然一體。更深層次的語言理解能力，讓 Siri 表現得更自然，更契合場景，更貼合用戶個人需求，還能簡化和加快日常任務流程。它能理解用戶的碎片化表述，還會為連續的請求沿用語境場景。用戶也可與 Siri 文字交流，在文本和語音之間任意切換，用最適合當時需要的方式與 Siri 溝通。Siri 還采用了全新設計，在已激活狀態下，會在顯示屏的外邊緣處亮起優美的柔光。

新建 DOCX 文檔 (4)11203.png

用戶現在可通過文字與 Siri 會話，在文本和語音之間任意切換，用最適合當時需要的方式與 Siri 溝通。

Siri 現可隨處隨地為用戶提供設備支持，回答數千個有關如何使用 iPhone、iPad 和 Mac 的問題。用戶可以向它了解各類知識，例如如何在郵件 app 中定時發送電子郵件，或者如何從淺色模式切換至深色模式。

新建 DOCX 文檔 (4)11552.png

Siri 現可隨處隨地為用戶提供設備支持，回答數千個有關如何使用 iPhone、iPad 和 Mac 的問題。

經過一段時間的積累后，具備屏幕感知能力的 Siri 將能夠理解用戶在更多 app 中的內容，并據其進行相應操作。例如，用戶在信息 app 中收到朋友發來的新地址時，只需說一句“把這個地址加到他的聯系人名片里”即可。

暫停播放視頻 Siri 向聯系人名片中添加地址

具備屏幕感知能力的 Siri 更容易根據屏幕上的信息做出相應操作，例如將信息 app 中收到的地址添加至朋友的聯系人名片中。?

配合 Apple Intelligence，Siri 還將有能力在各類 Apple 及第三方 app 中完成數百種新操作。例如，用戶只需說出“從我的閱讀列表里調出那篇關于蟬的文章”，或者“把周六那天的燒烤照片發給 Malia”，Siri 便會執行。

新建 DOCX 文檔 (4)12316.png

Siri 現可做出數百種跨 app 的新操作，包括為用戶找到朋友在信息 app 或郵件 app 里推薦的圖書。

Siri 將有能力實現完全基于用戶個人和設備端信息的智能化。例如，用戶只需說出“播放 Jamie 推薦的那條播客”，Siri 便會自行定位到相應的博客單集進行播放，完全不需要用戶自己回想這條播客是短信消息還是電子郵件里提到的。用戶也可以提問：“我媽媽的飛機幾點落地？”Siri 便會自行查詢航班詳情，然后與航班的實時執飛軌跡交叉對比，給出抵達時間。

暫停播放視頻基于設備端信息的 Siri 智能化

Siri 能夠做到基于用戶個人和設備端信息的智能化，例如查找后續航班的詳細信息，或者獲知晚餐的訂位情況。

AI 隱私功能的新標準

為了發揮實際功用，Apple Intelligence 在理解深層次個人場景的同時，也會做到對用戶隱私的保護。Apple Intelligence 的一條底層邏輯就是在設備端處理任務，所用到的模型也有很多全程僅在設備端運行。但在處理更加復雜、需求更多處理能力的請求時，Private Cloud Compute 會將 Apple 設備的隱私與安全性覆蓋至云端，進一步拓展智能化能力。

Private Cloud Compute 能夠幫助 Apple Intelligence 靈活配置和擴充計算資源，運用容量更大型的基于服務器的模型處理更復雜的請求。這些模型在采用 Apple 芯片的服務器上運行，為 Apple 確保數據永遠不會被保留或泄露提供了基礎。

獨立專家均可自行檢測 Apple 芯片服務器上運行的代碼，核驗隱私保護情況，Private Cloud Compute 則會通過加密手段確保 iPhone、iPad 和 Mac 設備不會與軟件沒有公開日志可查的服務器交換信息。通過 Private Cloud Compute，Apple Intelligence 為 AI 的隱私功能樹立了全新標準，向用戶提供可信任的智能化功能。

ChatGPT 整合至 Apple 全平臺

Apple 正在將 ChatGPT 整合至 iOS 18、iPadOS 18 和 macOS Sequoia 的操作體驗中，讓用戶能夠直接使用 ChatGPT 的特殊功能，包括它對圖像和文檔的理解能力，為用戶省去在不同工具間來回切換的麻煩。

Siri 可根據需要直接調用 ChatGPT 的特殊功能。它會在先行征得用戶同意后，才將用戶的問題發送至 ChatGPT，連同任何文檔或照片，最后直接答復用戶。

新建 DOCX 文檔 (4)14467.png