Gemini 的「螢幕自動化」功能可在 Android 裝置上為您下單、預訂行程

Google 正在推動讓 Gemini 能夠直接操作 Android 手機，如今也進一步揭露了這項被稱為「螢幕自動化」功能的運作細節。

關於 APK Insight：外媒會拆解 Google 上傳至 Play 商店的最新應用程式版本。透過反編譯這些檔案（在 Android 上稱為 APK），可以看到部分程式碼字串，從中推測可能正在開發中的未來功能。不過，這些功能未必一定會正式推出，相關解讀也可能存在誤差。外媒通常會嘗試啟用那些開發進度較高的功能，以展示其實際運作方式，前提是這些功能最終確實上線。

Google 應用程式 17.4 beta 版本中，出現了與「使用 Gemini 完成任務」(Get tasks done with Gemini)相關的字串。這項 Labs 功能的內部代號為「bonobo」，其說明指出，Gemini 可透過裝置上特定應用程式的螢幕自動化，協助完成任務，例如下訂單或預約搭乘服務。

<string name=”assistant_robin_bonobo_fre_title”>Get tasks done with Gemini</string>

此項控制方式也被稱為「螢幕自動化」，而 Android 16 QPR3 已為相關功能鋪路，未來將僅限於「特定應用程式」中使用。

Google 同時提醒，Gemini 可能會出現判斷錯誤，用戶需對其代為執行的行為負起責任，並應全程密切監督，在任何時候，用戶都可以中止代理操作，並手動接管任務。

關於隱私方面：

當 Gemini 與應用程式互動時，若已開啟活動紀錄，系統可能會由受過訓練的審查人員檢視螢幕截圖，並用於改善 Google 服務。
不要在 Gemini 對話中輸入登入或付款資訊，並避免在緊急狀況或涉及敏感資料的任務中使用螢幕自動化功能。

此外，此次 beta 版本中還出現了與「Likeness」相關的字串，其整合代號為「wasabi」。值得注意的是，Android XR 目前正以此名稱指稱用於 Google Meet 通話的 3D 虛擬分身，其中一段字串暗示，未來可能可在提示指令中直接存取該功能。

<string name=”assistant_robin_wasabi_ready”>Likeness ready</string>

<string name=”assistant_robin_wasabi_retake”>Retake</string>

<string name=”assistant_robin_wasabi_privacy_notice”>Your likeness can only be used by you</string>