[go: up one dir, main page]

JP7793706B2 - Multi-Participant Live Communication User Interface - Google Patents

Multi-Participant Live Communication User Interface

Info

Publication number
JP7793706B2
JP7793706B2 JP2024146741A JP2024146741A JP7793706B2 JP 7793706 B2 JP7793706 B2 JP 7793706B2 JP 2024146741 A JP2024146741 A JP 2024146741A JP 2024146741 A JP2024146741 A JP 2024146741A JP 7793706 B2 JP7793706 B2 JP 7793706B2
Authority
JP
Japan
Prior art keywords
participant
representation
communication session
user interface
live video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2024146741A
Other languages
Japanese (ja)
Other versions
JP2024170463A (en
Inventor
オーエス， マルセル ヴァン
リー ブロウトン，
ピート キャラウェイ，
パブロ エフ． カロ，
ジャエ ウー チャン，
アリソン ドライヤー，
アラン ダイ，
クレイグ フェデリギ，
ロバート ガルシア，
ニコラス ブイ． キング，
ステファン オー． レメイ，
ジョン ローチ，
ホアン ファム，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DKPA201870362A external-priority patent/DK180130B1/en
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2024170463A publication Critical patent/JP2024170463A/en
Application granted granted Critical
Publication of JP7793706B2 publication Critical patent/JP7793706B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/101—Collaborative creation, e.g. joint development of products or services
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/107—Computer-aided management of electronic mailing [e-mailing]
    • G06Q10/40—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1818—Conference organisation arrangements, e.g. handling schedules, setting up parameters needed by nodes to attend a conference, booking network resources, notifying involved parties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046—Interoperability with other network applications or services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/48—Message addressing, e.g. address format or anonymous messages, aliases
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/043—Real-time or near real-time messaging, e.g. instant messaging [IM] using or handling presence information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Multimedia (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)

Description

本出願は、「ＭＵＬＴＩ－ＰＡＲＴＩＣＩＰＡＮＴ ＬＩＶＥ ＣＯＭＭＵＮＩＣＡＴＩＯＮ ＵＳＥＲ ＩＮＴＥＲＦＡＣＥ」と題する、２０１８年５月７日に出願された米国仮特許出願第６２／６６８，２２９号に関し、その全体が参照により本明細書に組み込まれる。 This application is related to U.S. Provisional Patent Application No. 62/668,229, filed May 7, 2018, entitled "Multi-Participant Live Communication User Interface," which is hereby incorporated by reference in its entirety.

本開示は、概して、コンピュータユーザインターフェースに関し、より具体的には、複数の参加者が関与するライブ通信の技術に関する。 This disclosure relates generally to computer user interfaces, and more specifically to techniques for live communications involving multiple participants.

ユーザは、個人的及びビジネス上の理由で他人と仮想的に通信するために、電子デバイスをますます使用している。電子デバイスの大半が、ユーザ間及び複数の参加者間のライブ通信を提供することができる。例として、一部の電子デバイスは、ライブ通信を表示し制御する対話式インターフェースを提供する。 Users are increasingly using electronic devices to virtually communicate with others for personal and business reasons. Most electronic devices are capable of providing live communication between users and between multiple participants. For example, some electronic devices provide interactive interfaces for viewing and controlling live communications.

しかし、電子デバイスを使用する複数の参加者が関与するライブ通信のための一部の技術は、一般に煩雑で非効率である。例えば、一部の既存の技術では、複数回のキー押圧又は打鍵を含み得る、複雑で時間のかかるユーザインターフェースが使用される。既存の技術では、必要以上の時間を要し、ユーザの時間及びデバイスの電力が浪費される。この後者の問題は、バッテリ動作式デバイスにおいて特に重大である。 However, some techniques for live communication involving multiple participants using electronic devices are generally cumbersome and inefficient. For example, some existing techniques use complex and time-consuming user interfaces that may involve multiple key presses or keystrokes. Existing techniques take longer than necessary, wasting user time and device power. This latter problem is particularly acute in battery-operated devices.

したがって、本技術は、複数の参加者が関与するライブ通信のための、より速く、より効率的な方法及びインターフェースを伴う電子デバイスを提供する。そのような方法及びインターフェースは、任意選択的に、複数の参加者が関与するライブ通信のための他の方法を補完したり、置き換えたりする。そのような方法及びインターフェースは、ユーザの認知的負担を軽減し、より効率的なヒューマン－マシンインターフェースを実現する。バッテリ動作式コンピューティングデバイスの場合、そのような方法及びインターフェースにより、電力が節約され、バッテリ充電間隔が長くなる。 The present technology thus provides electronic devices with faster, more efficient methods and interfaces for live communication involving multiple participants. Such methods and interfaces optionally complement or replace other methods for live communication involving multiple participants. Such methods and interfaces reduce the cognitive burden on users and provide a more efficient human-machine interface. For battery-operated computing devices, such methods and interfaces conserve power and extend the time between battery charges.

一部の実施形態では、ディスプレイを備える電子デバイスにて方法が実行される。この方法は、メッセージングアプリケーションのメッセージングユーザインターフェースを表示することであって、メッセージングユーザインターフェースは３人以上の参加者間のメッセージ会話における複数のメッセージを含むメッセージ領域を含む、ことと、３人以上の参加者に利用可能なライブ通信セッションがアクティブであることを示す第１のデータを受信することと、３人以上の参加者間のライブ通信セッションがアクティブであることを示す第１のデータの受信に応じて、ライブ通信セッションがアクティブであることを示す通知を表示することと、ライブ通信セッションがアクティブであることを示す通知を表示している間に、３人以上の参加者間のライブ通信セッションがアクティブでなくなったことを示す第２のデータを受信することと、３人以上の参加者間のライブ通信セッションがアクティブでなくなったことを示す第２のデータの受信に応じて、通知の表示を中止するか、又はライブ通信セッションがアクティブでなくなったことを示すように通知を更新することと、を含むことができる。 In some embodiments, a method is performed on an electronic device having a display. The method may include displaying a messaging user interface of a messaging application, the messaging user interface including a message area including a plurality of messages in a message conversation between three or more participants; receiving first data indicating that a live communication session available to the three or more participants is active; in response to receiving the first data indicating that the live communication session between the three or more participants is active, displaying a notification indicating that the live communication session is active; receiving second data indicating that the live communication session between the three or more participants is no longer active while displaying the notification indicating that the live communication session is active; and in response to receiving the second data indicating that the live communication session between the three or more participants is no longer active, ceasing to display the notification or updating the notification to indicate that the live communication session is no longer active.

一部の実施形態では、非一時的コンピュータ可読記憶媒体が、ディスプレイを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する。１つ以上のプログラムは、３人以上の参加者間のメッセージ会話における複数のメッセージを含むメッセージ領域を含む、メッセージングアプリケーションのメッセージングユーザインターフェースを表示し、３人以上の参加者に利用可能なライブ通信セッションがアクティブであることを示す第１のデータを受信し、３人以上の参加者間のライブ通信セッションがアクティブであることを示す第１のデータの受信に応じて、ライブ通信セッションがアクティブであることを示す通知を表示し、ライブ通信セッションがアクティブであることを示す通知を表示している間に、３人以上の参加者間のライブ通信セッションがアクティブでなくなったことを示す第２のデータを受信し、３人以上の参加者間のライブ通信セッションがアクティブでなくなったことを示す第２のデータの受信に応じて、通知の表示を中止するか、又はライブ通信セッションがアクティブでなくなったことを示すように通知を更新する、ための命令を含む。 In some embodiments, a non-transitory computer-readable storage medium stores one or more programs configured to be executed by one or more processors of an electronic device having a display. The one or more programs include instructions for displaying a messaging user interface of a messaging application including a message area including a plurality of messages in a message conversation between three or more participants; receiving first data indicating that a live communication session available to the three or more participants is active; displaying a notification indicating that the live communication session is active in response to receiving the first data indicating that the live communication session between the three or more participants is active; receiving second data indicating that the live communication session between the three or more participants is no longer active while displaying the notification indicating that the live communication session is active; and ceasing to display the notification or updating the notification to indicate that the live communication session is no longer active in response to receiving the second data indicating that the live communication session between the three or more participants is no longer active.

一部の実施形態では、一時的コンピュータ可読記憶媒体が、ディスプレイを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する。１つ以上のプログラムは、３人以上の参加者間のメッセージ会話における複数のメッセージを含むメッセージ領域を含む、メッセージングアプリケーションのメッセージングユーザインターフェースを表示し、３人以上の参加者に利用可能なライブ通信セッションがアクティブであることを示す第１のデータを受信する、ための命令を含む。３人以上の参加者間のライブ通信セッションがアクティブであることを示す第１のデータの受信に応じて、ライブ通信セッションがアクティブであることを示す通知を表示し、ライブ通信セッションがアクティブであることを示す通知を表示している間に、３人以上の参加者間のライブ通信セッションがアクティブでなくなったことを示す第２のデータを受信することと、３人以上の参加者間のライブ通信セッションがアクティブでなくなったことを示す第２のデータの受信に応じて、通知の表示を中止するか、又はライブ通信セッションがアクティブでなくなったことを示すように通知を更新することと、を含むことができる。 In some embodiments, a temporary computer-readable storage medium stores one or more programs configured to be executed by one or more processors of an electronic device having a display. The one or more programs include instructions for displaying a messaging user interface of a messaging application including a message area including a plurality of messages in a message conversation between three or more participants, and receiving first data indicating that a live communication session available to the three or more participants is active. In response to receiving the first data indicating that the live communication session between the three or more participants is active, the method may include displaying a notification indicating that the live communication session is active; receiving second data indicating that the live communication session between the three or more participants is no longer active while displaying the notification indicating that the live communication session is active; and ceasing to display the notification or updating the notification to indicate that the live communication session is no longer active in response to receiving the second data indicating that the live communication session between the three or more participants is no longer active.

一部の実施形態では、電子デバイスは、ディスプレイと、１つ以上のプロセッサと、メモリと、を備える。メモリは、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する。１つ以上のプログラムは、３人以上の参加者間のメッセージ会話における複数のメッセージを含むメッセージ領域を含む、メッセージングアプリケーションのメッセージングユーザインターフェースを表示し、３人以上の参加者に利用可能なライブ通信セッションがアクティブであることを示す第１のデータを受信する、ための命令を含む。３人以上の参加者間のライブ通信セッションがアクティブであることを示す第１のデータの受信に応じて、ライブ通信セッションがアクティブであることを示す通知を表示し、ライブ通信セッションがアクティブであることを示す通知を表示している間に、３人以上の参加者間のライブ通信セッションがアクティブでなくなったことを示す第２のデータを受信することと、３人以上の参加者間のライブ通信セッションがアクティブでなくなったことを示す第２のデータの受信に応じて、通知の表示を中止するか、又はライブ通信セッションがアクティブでなくなったことを示すように通知を更新することと、を含むことができる。 In some embodiments, the electronic device includes a display, one or more processors, and a memory. The memory stores one or more programs configured to be executed by the one or more processors. The one or more programs include instructions for displaying a messaging user interface of a messaging application including a message area including a plurality of messages in a message conversation between three or more participants, and receiving first data indicating that a live communication session available to the three or more participants is active. In response to receiving the first data indicating that the live communication session between the three or more participants is active, the electronic device may include displaying a notification indicating that the live communication session is active; receiving second data indicating that the live communication session between the three or more participants is no longer active while displaying the notification indicating that the live communication session is active; and in response to receiving the second data indicating that the live communication session between the three or more participants is no longer active, ceasing to display the notification or updating the notification to indicate that the live communication session is no longer active.

一部の実施形態では、電子デバイスは、ディスプレイと、３人以上の参加者間のメッセージ会話における複数のメッセージを含むメッセージ領域を含む、メッセージングアプリケーションのメッセージングユーザインターフェースを表示する手段と、３人以上の参加者に利用可能なライブ通信セッションがアクティブであることを示す第１のデータを受信する手段と、３人以上の参加者間のライブ通信セッションがアクティブであることを示す第１のデータの受信に応じて、ライブ通信セッションがアクティブであることを示す通知を表示する手段と、ライブ通信セッションがアクティブであることを示す通知を表示している間に、３人以上の参加者間のライブ通信セッションがアクティブでなくなったことを示す第２のデータを受信する手段と、３人以上の参加者間のライブ通信セッションがアクティブでなくなったことを示す第２のデータの受信に応じて、通知の表示を中止するか、又はライブ通信セッションがアクティブでなくなったことを示すように通知を更新する手段と、を備える。 In some embodiments, the electronic device comprises: means for displaying a messaging user interface of a messaging application including a display and a message area containing a plurality of messages in a message conversation between three or more participants; means for receiving first data indicating that a live communication session available to the three or more participants is active; means for displaying a notification indicating that the live communication session is active in response to receiving the first data indicating that the live communication session between the three or more participants is active; means for receiving second data indicating that the live communication session between the three or more participants is no longer active while displaying the notification indicating that the live communication session is active; and means for ceasing display of the notification or updating the notification to indicate that the live communication session is no longer active in response to receiving the second data indicating that the live communication session between the three or more participants is no longer active.

一部の実施形態では、ディスプレイを備える電子デバイスにて方法が行われる。この方法は、２人以上の参加者間のライブ通信セッション用のユーザインターフェースを表示するための要求を受信することと、２人以上の参加者間のライブ通信セッション用のユーザインターフェースを表示するための要求を受信したことに応じて、ライブ通信セッションにおいて複数の参加者の表現を同時に表示することを含む、ライブ通信ユーザインターフェースを表示することと、を含み、ライブ通信セッションにおいて複数の参加者の表現を表示することは、ライブ通信セッションにおける参加者の数が参加者の閾数よりも多いとの判定を受けて、電子デバイスのユーザ以外の第１の複数の参加者の表現を、それぞれの閾値サイズよりも大きな１つ以上のサイズで同時に表示する一方、第１の複数の参加者に含まれない１人以上の参加者を含む第２の複数の参加者の表現をオーバーフロー領域に表示し、オーバーフロー領域に表示される１人以上の他の参加者の表現は、それぞれの閾値サイズよりも小さなサイズで表示される、ことと、ライブ通信セッションにおける参加者の数が参加者の閾数以下であるとの判定を受けて、電子デバイスのユーザ以外の参加者の表現を、それぞれの閾値サイズ以下の１つ以上のサイズで表示することなく、電子デバイスのユーザ以外の参加者の表現を、それぞれの閾値サイズよりも大きな１つ以上のサイズで表示することと、を含むことができる。 In some embodiments, a method is performed on an electronic device having a display. The method includes receiving a request to display a user interface for a live communication session between two or more participants; and, in response to receiving the request to display the user interface for the live communication session between the two or more participants, displaying a live communication user interface including simultaneously displaying representations of multiple participants in the live communication session. Displaying the representations of the multiple participants in the live communication session may include, in response to a determination that the number of participants in the live communication session is greater than a threshold number of participants, simultaneously displaying representations of a first plurality of participants other than the user of the electronic device at one or more sizes greater than a respective threshold size while displaying representations of a second plurality of participants including one or more participants not included in the first plurality in an overflow area, the representations of the one or more other participants displayed in the overflow area being displayed at sizes smaller than the respective threshold sizes. In response to a determination that the number of participants in the live communication session is equal to or less than the threshold number of participants, displaying representations of participants other than the user of the electronic device at one or more sizes greater than the respective threshold sizes without displaying representations of participants other than the user of the electronic device at one or more sizes less than the respective threshold sizes.

一部の実施形態では、非一時的コンピュータ可読記憶媒体が、ディスプレイを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する。１つ以上のプログラムは、２人以上の参加者間のライブ通信セッション用のユーザインターフェースを表示するための要求を受信し、２人以上の参加者間のライブ通信セッション用のユーザインターフェースを表示するための要求を受信したことに応じて、ライブ通信セッションにおいて複数の参加者の表現を同時に表示することを含む、ライブ通信ユーザインターフェースを表示する、ための命令を含み、ライブ通信セッションにおいて複数の参加者の表現を表示することは、ライブ通信セッションにおける参加者の数が参加者の閾数よりも多いとの判定を受けて、電子デバイスのユーザ以外の第１の複数の参加者の表現を、それぞれの閾値サイズよりも大きな１つ以上のサイズで同時に表示する一方、第１の複数の参加者に含まれない１人以上の参加者を含む第２の複数の参加者の表現をオーバーフロー領域に表示し、オーバーフロー領域に表示される１人以上の他の参加者の表現は、それぞれの閾値サイズよりも小さなサイズで表示される、ことと、ライブ通信セッションにおける参加者の数が参加者の閾数以下であるとの判定を受けて、電子デバイスのユーザ以外の参加者の表現を、それぞれの閾値サイズ以下の１つ以上のサイズで表示することなく、電子デバイスのユーザ以外の参加者の表現を、それぞれの閾値サイズよりも大きな１つ以上のサイズで表示することと、を含む。 In some embodiments, a non-transitory computer-readable storage medium stores one or more programs configured to be executed by one or more processors of an electronic device having a display. The one or more programs include instructions for receiving a request to display a user interface for a live communication session between two or more participants; and, in response to receiving the request to display the user interface for the live communication session between the two or more participants, displaying a live communication user interface including simultaneously displaying representations of a plurality of participants in the live communication session. Displaying the representations of the plurality of participants in the live communication session includes: in response to a determination that the number of participants in the live communication session is greater than a threshold number of participants, simultaneously displaying representations of a first plurality of participants other than the user of the electronic device at one or more sizes greater than a respective threshold size while displaying representations of a second plurality of participants including one or more participants not included in the first plurality in an overflow area, with representations of the one or more other participants displayed in the overflow area being displayed at sizes smaller than the respective threshold sizes; and in response to a determination that the number of participants in the live communication session is equal to or less than the threshold number of participants, displaying representations of participants other than the user of the electronic device at one or more sizes greater than the respective threshold sizes without displaying representations of participants other than the user of the electronic device at one or more sizes less than the respective threshold sizes.

一部の実施形態では、一時的コンピュータ可読記憶媒体が、ディスプレイを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する。１つ以上のプログラムは、２人以上の参加者間のライブ通信セッション用のユーザインターフェースを表示するための要求を受信し、２人以上の参加者間のライブ通信セッション用のユーザインターフェースを表示するための要求を受信したことに応じて、ライブ通信セッションにおいて複数の参加者の表現を同時に表示することを含む、ライブ通信ユーザインターフェースを表示する、ための命令含み、ライブ通信セッションにおいて複数の参加者の表現を表示することは、ライブ通信セッションにおける参加者の数が参加者の閾数よりも多いとの判定を受けて、電子デバイスのユーザ以外の第１の複数の参加者の表現を、それぞれの閾値サイズよりも大きな１つ以上のサイズで同時に表示する一方、第１の複数の参加者に含まれない１人以上の参加者を含む第２の複数の参加者の表現をオーバーフロー領域に表示し、オーバーフロー領域に表示される１人以上の他の参加者の表現は、それぞれの閾値サイズよりも小さなサイズで表示される、ことと、ライブ通信セッションにおける参加者の数が参加者の閾数以下であるとの判定を受けて、電子デバイスのユーザ以外の参加者の表現を、それぞれの閾値サイズ以下の１つ以上のサイズで表示することなく、電子デバイスのユーザ以外の参加者の表現を、それぞれの閾値サイズよりも大きな１つ以上のサイズで表示することと、を含む。 In some embodiments, a temporary computer-readable storage medium stores one or more programs configured to be executed by one or more processors of an electronic device having a display. The one or more programs include instructions for receiving a request to display a user interface for a live communication session between two or more participants; and, in response to receiving the request to display the user interface for the live communication session between two or more participants, displaying a live communication user interface including simultaneously displaying representations of a plurality of participants in the live communication session. Displaying the representations of the plurality of participants in the live communication session includes: in response to a determination that the number of participants in the live communication session is greater than a threshold number of participants, simultaneously displaying representations of a first plurality of participants other than the user of the electronic device at one or more sizes greater than a respective threshold size while displaying representations of a second plurality of participants including one or more participants not included in the first plurality in an overflow area, the representations of the one or more other participants displayed in the overflow area being displayed at sizes smaller than the respective threshold sizes; and in response to a determination that the number of participants in the live communication session is equal to or less than the threshold number of participants, displaying representations of participants other than the user of the electronic device at one or more sizes greater than the respective threshold sizes without displaying representations of participants other than the user of the electronic device at one or more sizes less than the respective threshold sizes.

一部の実施形態では、電子デバイスは、ディスプレイと、１つ以上のプロセッサと、メモリと、を備える。メモリは、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する。１つ以上のプログラムは、２人以上の参加者間のライブ通信セッション用のユーザインターフェースを表示するための要求を受信し、２人以上の参加者間のライブ通信セッション用のユーザインターフェースを表示するための要求を受信したことに応じて、ライブ通信セッションにおいて複数の参加者の表現を同時に表示することを含む、ライブ通信ユーザインターフェースを表示する、ための命令を含み、ライブ通信セッションにおいて複数の参加者の表現を表示することは、ライブ通信セッションにおける参加者の数が参加者の閾数よりも多いとの判定を受けて、電子デバイスのユーザ以外の第１の複数の参加者の表現を、それぞれの閾値サイズよりも大きな１つ以上のサイズで同時に表示する一方、第１の複数の参加者に含まれない１人以上の参加者を含む第２の複数の参加者の表現をオーバーフロー領域に表示し、オーバーフロー領域に表示される１人以上の他の参加者の表現は、それぞれの閾値サイズよりも小さなサイズで表示される、ことと、ライブ通信セッションにおける参加者の数が参加者の閾数以下であるとの判定を受けて、電子デバイスのユーザ以外の参加者の表現を、それぞれの閾値サイズ以下の１つ以上のサイズで表示することなく、電子デバイスのユーザ以外の参加者の表現を、それぞれの閾値サイズよりも大きな１つ以上のサイズで表示することと、を含む。 In some embodiments, the electronic device includes a display, one or more processors, and a memory. The memory stores one or more programs configured to be executed by the one or more processors. The one or more programs include instructions for receiving a request to display a user interface for a live communication session between two or more participants; and, in response to receiving the request to display the user interface for the live communication session between the two or more participants, displaying a live communication user interface including simultaneously displaying representations of a plurality of participants in the live communication session. Displaying the representations of the plurality of participants in the live communication session includes: in response to a determination that the number of participants in the live communication session is greater than a threshold number of participants, simultaneously displaying representations of a first plurality of participants other than the user of the electronic device at one or more sizes greater than a respective threshold size while displaying representations of a second plurality of participants including one or more participants not included in the first plurality in an overflow area, with representations of the one or more other participants displayed in the overflow area being displayed at sizes smaller than the respective threshold sizes; and in response to a determination that the number of participants in the live communication session is equal to or less than the threshold number of participants, displaying representations of participants other than the user of the electronic device at one or more sizes greater than the respective threshold sizes without displaying representations of participants other than the user of the electronic device at one or more sizes less than the respective threshold sizes.

一部の実施形態では、電子デバイスは、ディスプレイと、２人以上の参加者間のライブ通信セッション用のユーザインターフェースを表示するための要求を受信する手段と、２人以上の参加者間のライブ通信セッション用のユーザインターフェースを表示するための要求を受信したことに応じて、ライブ通信セッションにおいて複数の参加者の表現を同時に表示することを含む、ライブ通信ユーザインターフェースを表示する手段と、を備え、ライブ通信セッションにおいて複数の参加者の表現を表示することは、ライブ通信セッションにおける参加者の数が参加者の閾数よりも多いとの判定を受けて、電子デバイスのユーザ以外の第１の複数の参加者の表現を、それぞれの閾値サイズよりも大きな１つ以上のサイズで同時に表示する一方、第１の複数の参加者に含まれない１人以上の参加者を含む第２の複数の参加者の表現をオーバーフロー領域に表示し、オーバーフロー領域に表示される１人以上の他の参加者の表現は、それぞれの閾値サイズよりも小さなサイズで表示される、手段と、ライブ通信セッションにおける参加者の数が参加者の閾数以下であるとの判定を受けて、電子デバイスのユーザ以外の参加者の表現を、それぞれの閾値サイズ以下の１つ以上のサイズで表示することなく、電子デバイスのユーザ以外の参加者の表現を、それぞれの閾値サイズよりも大きな１つ以上のサイズで表示する、手段と、を備える。 In some embodiments, an electronic device comprises a display; means for receiving a request to display a user interface for a live communication session between two or more participants; and means for displaying a live communication user interface, in response to receiving the request to display the user interface for the live communication session between two or more participants, including simultaneously displaying representations of multiple participants in the live communication session, wherein the displaying of the representations of the multiple participants in the live communication session comprises: means for simultaneously displaying representations of a first plurality of participants other than the user of the electronic device at one or more sizes larger than their respective threshold sizes while displaying representations of a second plurality of participants including one or more participants not included in the first plurality in an overflow area, the representations of the one or more other participants displayed in the overflow area being displayed at sizes smaller than their respective threshold sizes, in response to a determination that the number of participants in the live communication session is equal to or less than the threshold number of participants; and means for displaying representations of participants other than the user of the electronic device at one or more sizes larger than their respective threshold sizes without displaying representations of participants other than the user of the electronic device at one or more sizes smaller than their respective threshold sizes while displaying representations of participants other than the user of the electronic device at one or more sizes larger than their respective threshold sizes without displaying representations of participants other than the user of the electronic device at one or more sizes smaller than their respective threshold sizes, in response to a determination that the number of participants in the live communication session is equal to or less than the threshold number of participants.

一部の実施形態では、ディスプレイを備える電子デバイスにて方法が行われる。方法は、ライブビデオ通信セッションにおける第１の参加者の表現と、ライブビデオ通信セッションにおける第２の参加者の表現と、ライブビデオ通信セッションにおける第３の参加者の表現とを同時に表示するライブビデオ通信ユーザインターフェースを表示することと、ライブビデオ通信ユーザインターフェースを表示している間に、ライブビデオ通信セッションにおける第２の参加者の活動レベルが、ライブビデオ通信セッションにおける第１の参加者の活動レベルを超えて上昇したことを示すデータを受信することと、ライブビデオ通信セッションにおける第２の参加者の活動レベルが、ライブビデオ通信セッションにおける第１の参加者の活動レベルを超えて上昇したことを示すデータの受信に応じて、ライブビデオ通信ユーザインターフェースにおいて第１の参加者の表現のサイズ及び／又は位置を変更することと、ライブビデオ通信ユーザインターフェースにおいて第２の参加者の表現のサイズ及び／又は位置を変更することと、ライブビデオ通信ユーザインターフェースにおいて第３の参加者の表現のサイズ及び／又は位置を変更することと、を含むことができる。 In some embodiments, a method is performed on an electronic device having a display. The method may include displaying a live video communication user interface simultaneously displaying a representation of a first participant in the live video communication session, a representation of a second participant in the live video communication session, and a representation of a third participant in the live video communication session; receiving, while displaying the live video communication user interface, data indicating that an activity level of the second participant in the live video communication session has increased beyond an activity level of the first participant in the live video communication session; and, in response to receiving the data indicating that the activity level of the second participant in the live video communication session has increased beyond an activity level of the first participant in the live video communication session, modifying a size and/or position of the representation of the first participant in the live video communication user interface, modifying a size and/or position of the representation of the second participant in the live video communication user interface, and modifying a size and/or position of the representation of the third participant in the live video communication user interface.

一部の実施形態では、非一時的コンピュータ可読記憶媒体が、ディスプレイを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する。１つ以上のプログラムは、ライブビデオ通信セッションにおける第１の参加者の表現と、ライブビデオ通信セッションにおける第２の参加者の表現と、ライブビデオ通信セッションにおける第３の参加者の表現とを同時に表示するライブビデオ通信ユーザインターフェースを表示し、ライブビデオ通信ユーザインターフェースを表示している間に、ライブビデオ通信セッションにおける第２の参加者の活動レベルが、ライブビデオ通信セッションにおける第１の参加者の活動レベルを超えて上昇したことを示すデータを受信し、ライブビデオ通信セッションにおける第２の参加者の活動レベルがライブビデオ通信セッションにおける第１の参加者の活動レベルを超えて上昇したことを示すデータの受信に応じて、ライブビデオ通信ユーザインターフェースにおいて第１の参加者の表現のサイズ及び／又は位置を変更し、ライブビデオ通信ユーザインターフェースにおいて第２の参加者の表現のサイズ及び／又は位置を変更し、ライブビデオ通信ユーザインターフェースにおいて第３の参加者の表現のサイズ及び／又は位置を変更する、ための命令を含む。 In some embodiments, a non-transitory computer-readable storage medium stores one or more programs configured to be executed by one or more processors of an electronic device having a display. The one or more programs include instructions for: displaying a live video communication user interface simultaneously displaying a representation of a first participant in the live video communication session, a representation of a second participant in the live video communication session, and a representation of a third participant in the live video communication session; receiving, while displaying the live video communication user interface, data indicating that an activity level of the second participant in the live video communication session has increased beyond the activity level of the first participant in the live video communication session; and, in response to receiving the data indicating that the activity level of the second participant in the live video communication session has increased beyond the activity level of the first participant in the live video communication session, modifying a size and/or position of the representation of the first participant in the live video communication user interface, modifying a size and/or position of the representation of the second participant in the live video communication user interface, and modifying a size and/or position of the representation of the third participant in the live video communication user interface.

一部の実施形態では、一時的コンピュータ可読記憶媒体が、ディスプレイを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する。１つ以上のプログラムは、ライブビデオ通信セッションにおける第１の参加者の表現と、ライブビデオ通信セッションにおける第２の参加者の表現と、ライブビデオ通信セッションにおける第３の参加者の表現とを同時に表示するライブビデオ通信ユーザインターフェースを表示し、ライブビデオ通信ユーザインターフェースを表示している間に、ライブビデオ通信セッションにおける第２の参加者の活動レベルが、ライブビデオ通信セッションにおける第１の参加者の活動レベルを超えて上昇したことを示すデータを受信し、ライブビデオ通信セッションにおける第２の参加者の活動レベルが、ライブビデオ通信セッションにおける第１の参加者の活動レベルを超えて上昇したことを示すデータの受信に応じて、ライブビデオ通信ユーザインターフェースにおいて第１の参加者の表現のサイズ及び／又は位置を変更し、ライブビデオ通信ユーザインターフェースにおいて第２の参加者の表現のサイズ及び／又は位置を変更し、ライブビデオ通信ユーザインターフェースにおいて第３の参加者の表現のサイズ及び／又は位置を変更する、ための命令を含む。 In some embodiments, a temporary computer-readable storage medium stores one or more programs configured to be executed by one or more processors of an electronic device having a display. The one or more programs include instructions for: displaying a live video communication user interface simultaneously displaying a representation of a first participant in the live video communication session, a representation of a second participant in the live video communication session, and a representation of a third participant in the live video communication session; receiving, while displaying the live video communication user interface, data indicating that an activity level of the second participant in the live video communication session has increased beyond an activity level of the first participant in the live video communication session; and, in response to receiving the data indicating that the activity level of the second participant in the live video communication session has increased beyond an activity level of the first participant in the live video communication session, modifying a size and/or position of the representation of the first participant in the live video communication user interface, modifying a size and/or position of the representation of the second participant in the live video communication user interface, and modifying a size and/or position of the representation of the third participant in the live video communication user interface.

一部の実施形態では、電子デバイスは、ディスプレイと、１つ以上のプロセッサと、メモリと、を備える。メモリは、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する。１つ以上のプログラムは、ライブビデオ通信セッションにおける第１の参加者の表現と、ライブビデオ通信セッションにおける第２の参加者の表現と、ライブビデオ通信セッションにおける第３の参加者の表現とを同時に表示するライブビデオ通信ユーザインターフェースを表示し、ライブビデオ通信ユーザインターフェースを表示している間に、ライブビデオ通信セッションにおける第２の参加者の活動レベルが、ライブビデオ通信セッションにおける第１の参加者の活動レベルを超えて上昇したことを示すデータを受信し、ライブビデオ通信セッションにおける第２の参加者の活動レベルが、ライブビデオ通信セッションにおける第１の参加者の活動レベルを超えて上昇したことを示すデータの受信に応じて、ライブビデオ通信ユーザインターフェースにおいて第１の参加者の表現のサイズ及び／又は位置を変更し、ライブビデオ通信ユーザインターフェースにおいて第２の参加者の表現のサイズ及び／又は位置を変更し、ライブビデオ通信ユーザインターフェースにおいて第３の参加者の表現のサイズ及び／又は位置を変更する、ための命令を含む。 In some embodiments, the electronic device comprises a display, one or more processors, and a memory. The memory stores one or more programs configured to be executed by the one or more processors. The one or more programs include instructions for: displaying a live video communication user interface simultaneously displaying a representation of a first participant in the live video communication session, a representation of a second participant in the live video communication session, and a representation of a third participant in the live video communication session; receiving, while displaying the live video communication user interface, data indicating that an activity level of the second participant in the live video communication session has increased beyond an activity level of the first participant in the live video communication session; and, in response to receiving the data indicating that the activity level of the second participant in the live video communication session has increased beyond an activity level of the first participant in the live video communication session, modifying a size and/or position of the representation of the first participant in the live video communication user interface, modifying a size and/or position of the representation of the second participant in the live video communication user interface, and modifying a size and/or position of the representation of the third participant in the live video communication user interface.

一部の実施形態では、電子デバイスは、ディスプレイと、ライブビデオ通信セッションにおける第１の参加者の表現と、ライブビデオ通信セッションにおける第２の参加者の表現と、ライブビデオ通信セッションにおける第３の参加者の表現とを同時に表示するライブビデオ通信ユーザインターフェースを表示する手段と、ライブビデオ通信ユーザインターフェースを表示している間に、ライブビデオ通信セッションにおける第２の参加者の活動レベルが、ライブビデオ通信セッションにおける第１の参加者の活動レベルを超えて上昇したことを示すデータを受信する手段と、ライブビデオ通信セッションにおける第２の参加者の活動レベルが、ライブビデオ通信セッションにおける第１の参加者の活動レベルを超えて上昇したことを示すデータの受信に応じて、ライブビデオ通信ユーザインターフェースにおいて第１の参加者の表現のサイズ及び／又は位置を変更し、ライブビデオ通信ユーザインターフェースにおいて第２の参加者の表現のサイズ及び／又は位置を変更し、ライブビデオ通信ユーザインターフェースにおいて第３の参加者の表現のサイズ及び／又は位置を変更する、手段と、を備える。 In some embodiments, the electronic device comprises a display; means for displaying a live video communication user interface simultaneously displaying a representation of a first participant in the live video communication session, a representation of a second participant in the live video communication session, and a representation of a third participant in the live video communication session; means for receiving, while displaying the live video communication user interface, data indicating that an activity level of the second participant in the live video communication session has increased beyond an activity level of the first participant in the live video communication session; and means for, in response to receiving the data indicating that the activity level of the second participant in the live video communication session has increased beyond an activity level of the first participant in the live video communication session, changing a size and/or position of the representation of the first participant in the live video communication user interface, changing a size and/or position of the representation of the second participant in the live video communication user interface, and changing a size and/or position of the representation of the third participant in the live video communication user interface.

一部の実施形態では、ディスプレイを備える電子デバイスにて方法が実行される。この方法は、メッセージングアプリケーションのメッセージングユーザインターフェースであって、３人以上の参加者を含むメッセージ会話における参加者間の複数のメッセージを含むメッセージ領域と、ライブビデオ通信アプリケーションにおいてライブビデオ通信セッションを開始するための、メッセージ領域とは別個のアフォーダンスと、を含む、メッセージングユーザインターフェースを表示することと、アフォーダンスの選択に対応する入力を検出することと、アフォーダンスの選択に対応する入力の検出に応じて、ライブビデオ通信アプリケーションにおいてライブビデオ通信セッションを開始する処理を開始することであって、ライブビデオ通信セッションは、メッセージ会話の参加者を含む、開始することと、を含むことができる。 In some embodiments, a method is performed on an electronic device having a display. The method may include displaying a messaging user interface of a messaging application, the messaging user interface including a message area including a plurality of messages between participants in a message conversation including three or more participants, and an affordance, separate from the message area, for initiating a live video communication session in a live video communication application; detecting an input corresponding to a selection of the affordance; and in response to detecting the input corresponding to the selection of the affordance, initiating a process to initiate a live video communication session in the live video communication application, the live video communication session including the participants in the message conversation.

一部の実施形態では、非一時的コンピュータ可読記憶媒体が、ディスプレイを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する。１つ以上のプログラムは、メッセージングアプリケーションのメッセージングユーザインターフェースであって、３人以上の参加者を含むメッセージ会話における参加者間の複数のメッセージを含むメッセージ領域と、ライブビデオ通信アプリケーションにおいてライブビデオ通信セッションを開始するための、メッセージ領域とは別個のアフォーダンスと、を含む、メッセージングユーザインターフェースを表示し、アフォーダンスの選択に対応する入力を検出し、アフォーダンスの選択に対応する入力の検出に応じて、ライブビデオ通信アプリケーションにおいて、メッセージ会話の参加者を含むライブビデオ通信セッションを開始する処理を開始する、ための命令を含む。 In some embodiments, a non-transitory computer-readable storage medium stores one or more programs configured to be executed by one or more processors of an electronic device having a display. The one or more programs include instructions for displaying a messaging user interface of a messaging application, the messaging user interface including a message area including a plurality of messages between participants in a message conversation including three or more participants, and an affordance, separate from the message area, for initiating a live video communication session in a live video communication application; detecting input corresponding to selection of the affordance; and, in response to detecting the input corresponding to selection of the affordance, initiating processing in the live video communication application to initiate a live video communication session including the participants in the message conversation.

一部の実施形態では、一時的コンピュータ可読記憶媒体が、ディスプレイを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する。１つ以上のプログラムは、メッセージングアプリケーションのメッセージングユーザインターフェースであって、３人以上の参加者を含むメッセージ会話における参加者間の複数のメッセージを含むメッセージ領域と、ライブビデオ通信アプリケーションにおいてライブビデオ通信セッションを開始するための、メッセージ領域とは別個のアフォーダンスと、を含む、メッセージングユーザインターフェースを表示し、表示し、アフォーダンスの選択に対応する入力を検出し、アフォーダンスの選択に対応する入力の検出に応じて、ライブビデオ通信アプリケーションにおいて、メッセージ会話の参加者を含むライブビデオ通信セッションを開始する処理を開始する、ための命令を含む。 In some embodiments, a temporary computer-readable storage medium stores one or more programs configured to be executed by one or more processors of an electronic device having a display. The one or more programs include instructions for displaying a messaging user interface of a messaging application, the messaging user interface including a message area including a plurality of messages between participants in a message conversation including three or more participants, and an affordance, separate from the message area, for initiating a live video communication session in a live video communication application; detecting an input corresponding to a selection of the affordance; and in response to detecting the input corresponding to the selection of the affordance, initiating a process in the live video communication application to initiate a live video communication session including the participants in the message conversation.

一部の実施形態では、電子デバイスは、ディスプレイと、１つ以上のプロセッサと、メモリと、を備える。メモリは、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する。１つ以上のプログラムは、メッセージングアプリケーションのメッセージングユーザインターフェースであって、３人以上の参加者を含むメッセージ会話における参加者間の複数のメッセージを含むメッセージ領域と、ライブビデオ通信アプリケーションにおいてライブビデオ通信セッションを開始するための、メッセージ領域とは別個のアフォーダンスと、を含む、メッセージングユーザインターフェースを表示し、アフォーダンスの選択に対応する入力を検出し、アフォーダンスの選択に対応する入力の検出に応じて、ライブビデオ通信アプリケーションにおいて、メッセージ会話の参加者を含むライブビデオ通信セッションを開始する処理を開始する、ための命令を含む。 In some embodiments, the electronic device includes a display, one or more processors, and a memory. The memory stores one or more programs configured to be executed by the one or more processors. The one or more programs include instructions for displaying a messaging user interface of a messaging application, the messaging user interface including a message area including a plurality of messages between participants in a message conversation including three or more participants, and an affordance, separate from the message area, for initiating a live video communication session in a live video communication application; detecting input corresponding to selection of the affordance; and in response to detecting the input corresponding to selection of the affordance, initiating processing in the live video communication application to initiate a live video communication session including the participants in the message conversation.

一部の実施形態では、電子デバイスは、ディスプレイと、メッセージングアプリケーションのメッセージングユーザインターフェースを表示する手段であって、メッセージングユーザインターフェースは、３人以上の参加者を含むメッセージ会話における参加者間の複数のメッセージを含むメッセージ領域と、ライブビデオ通信アプリケーションにおいてライブビデオ通信セッションを開始するための、メッセージ領域とは別個のアフォーダンスと、を含む、手段と、アフォーダンスの選択に対応する入力を検出する手段と、アフォーダンスの選択に対応する入力の検出に応じて、ライブビデオ通信アプリケーションにおいて、メッセージ会話の参加者を含むライブビデオ通信セッションを開始する処理を開始する手段と、を備える。 In some embodiments, the electronic device comprises a display; means for displaying a messaging user interface of a messaging application, the messaging user interface including a message area including a plurality of messages between participants in a message conversation including three or more participants, and an affordance, separate from the message area, for initiating a live video communication session in the live video communication application; means for detecting an input corresponding to a selection of the affordance; and means for initiating a process in the live video communication application to initiate a live video communication session including the participants in the message conversation in response to detecting the input corresponding to the selection of the affordance.

一部の実施形態では、ディスプレイを備える電子デバイスにて方法が実行される。この方法は、ライブビデオ通信アプリケーションのユーザインターフェースであって、３人以上の参加者グループに対応する第１の参加者アフォーダンスを含む、それぞれ１人以上の参加者に対応する複数の参加者アフォーダンスと、新規のライブビデオ通信セッションを開始するための新規セッションアフォーダンスと、を含む、ユーザインターフェースを表示することと、新規のライブビデオ通信セッションを開始する処理を開始するための要求に対応する入力を検出することと、入力の検出に応じて、入力が第１の参加者アフォーダンスの選択に対応することを受けて、３人以上の参加者グループを含む新規のライブビデオ通信セッションを開始する処理を開始することと、入力が新規セッションアフォーダンスの選択に対応することを受けて、２人以上の参加者を選択する処理を開始し、デバイスに関連する参加者と、２人以上の選択された参加者とを含む新規のライブビデオ通信セッションを開始することと、を含むことができる。 In some embodiments, a method is performed on an electronic device having a display. The method may include displaying a user interface of a live video communication application, the user interface including a plurality of participant affordances, each corresponding to one or more participants, including a first participant affordance corresponding to a group of three or more participants, and a new session affordance for starting a new live video communication session; detecting an input corresponding to a request to initiate a process to start the new live video communication session; in response to detecting the input, where the input corresponds to a selection of the first participant affordance, initiating a process to start the new live video communication session including the group of three or more participants; and in response to the input corresponding to a selection of the new session affordance, initiating a process to select two or more participants, and starting a new live video communication session including the participant associated with the device and the two or more selected participants.

一部の実施形態では、非一時的コンピュータ可読記憶媒体が、ディスプレイを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する。１つ以上のプログラムは、ライブビデオ通信アプリケーションのライブビデオ通信ユーザインターフェースであって、３人以上の参加者グループに対応する第１の参加者アフォーダンスを含む、それぞれ１人以上の参加者に対応する複数の参加者アフォーダンスと、新規のライブビデオ通信セッションを開始するための新規セッションアフォーダンスと、を含む、ライブビデオ通信ユーザインターフェースを表示し、新規のライブビデオ通信セッションを開始する処理を開始するための要求に対応する入力を検出し、入力の検出に応じて、入力が第１の参加者アフォーダンスの選択に対応することを受けて、３人以上の参加者グループを含む新規のライブビデオ通信セッションを開始する処理を開始し、入力が新規セッションアフォーダンスの選択に対応することを受けて、２人以上の参加者を選択する処理を開始し、デバイスに関連する参加者と、２人以上の選択された参加者とを含む新規のライブビデオ通信セッションを開始する、ための命令を含む。 In some embodiments, a non-transitory computer-readable storage medium stores one or more programs configured to be executed by one or more processors of an electronic device having a display. The one or more programs include instructions for displaying a live video communication user interface for a live video communication application, the live video communication user interface including a plurality of participant affordances, each corresponding to one or more participants, including a first participant affordance corresponding to a group of three or more participants, and a new session affordance for starting a new live video communication session; detecting an input corresponding to a request to initiate a process to start a new live video communication session; in response to detecting the input, initiating a process to start a new live video communication session including the group of three or more participants when the input corresponds to a selection of the first participant affordance; initiating a process to select two or more participants when the input corresponds to a selection of the new session affordance; and starting a new live video communication session including a participant associated with the device and the two or more selected participants.

一部の実施形態では、一時的コンピュータ可読記憶媒体が、ディスプレイを備える電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する。１つ以上のプログラムは、ライブビデオ通信アプリケーションのライブビデオ通信ユーザインターフェースであって、３人以上の参加者グループに対応する第１の参加者アフォーダンスを含む、それぞれ１人以上の参加者に対応する複数の参加者アフォーダンスと、新規のライブビデオ通信セッションを開始するための新規セッションアフォーダンスと、を含む、ライブビデオ通信ユーザインターフェースを表示し、新規のライブビデオ通信セッションを開始する処理を開始するための要求に対応する入力を検出し、入力の検出に応じて、入力が第１の参加者アフォーダンスの選択に対応することを受けて、３人以上の参加者グループを含む新規のライブビデオ通信セッションを開始する処理を開始し、入力が新規セッションアフォーダンスの選択に対応することを受けて、２人以上の参加者を選択する処理を開始し、デバイスに関連する参加者と、２人以上の選択された参加者とを含む新規のライブビデオ通信セッションを開始する、ための命令を含む。 In some embodiments, a temporary computer-readable storage medium stores one or more programs configured to be executed by one or more processors of an electronic device having a display. The one or more programs include instructions for displaying a live video communication user interface for a live video communication application, the live video communication user interface including a plurality of participant affordances, each corresponding to one or more participants, including a first participant affordance corresponding to a group of three or more participants, and a new session affordance for starting a new live video communication session; detecting an input corresponding to a request to initiate a process to start a new live video communication session; in response to detecting the input, initiating a process to start a new live video communication session including the group of three or more participants when the input corresponds to a selection of the first participant affordance; initiating a process to select two or more participants when the input corresponds to a selection of the new session affordance; and starting a new live video communication session including a participant associated with the device and the two or more selected participants.

一部の実施形態では、電子デバイスは、ディスプレイと、１つ以上のプロセッサと、メモリと、を備える。メモリは、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する。１つ以上のプログラムは、ライブビデオ通信アプリケーションのライブビデオ通信ユーザインターフェースであって、３人以上の参加者グループに対応する第１の参加者アフォーダンスを含む、それぞれ１人以上の参加者に対応する複数の参加者アフォーダンスと、新規のライブビデオ通信セッションを開始するための新規セッションアフォーダンスと、を含む、ライブビデオ通信ユーザインターフェースを表示し、新規のライブビデオ通信セッションを開始する処理を開始するための要求に対応する入力を検出し、入力の検出に応じて、入力が第１の参加者アフォーダンスの選択に対応することを受けて、３人以上の参加者グループを含む新規のライブビデオ通信セッションを開始する処理を開始し、入力が新規セッションアフォーダンスの選択に対応することを受けて、２人以上の参加者を選択する処理を開始し、デバイスに関連する参加者と、２人以上の選択された参加者とを含む新規のライブビデオ通信セッションを開始する、ための命令を含む。 In some embodiments, the electronic device includes a display, one or more processors, and a memory. The memory stores one or more programs configured to be executed by the one or more processors. The one or more programs include instructions for: displaying a live video communication user interface for a live video communication application, the live video communication user interface including a plurality of participant affordances, each corresponding to one or more participants, including a first participant affordance corresponding to a group of three or more participants, and a new session affordance for starting a new live video communication session; detecting an input corresponding to a request to initiate a process to start a new live video communication session; in response to detecting the input, initiating a process to start a new live video communication session including the group of three or more participants when the input corresponds to a selection of the first participant affordance; initiating a process to select two or more participants when the input corresponds to a selection of the new session affordance; and starting a new live video communication session including a participant associated with the device and the two or more selected participants.

一部の実施形態では、電子デバイスは、ディスプレイと、ライブビデオ通信アプリケーションのライブビデオ通信ユーザインターフェースを表示する手段であって、ライブビデオ通信ユーザインターフェースは、３人以上の参加者グループに対応する第１の参加者アフォーダンスを含む、それぞれ１人以上の参加者に対応する複数の参加者アフォーダンスと、新規のライブビデオ通信セッションを開始するための新規セッションアフォーダンスと、を含む、手段と、新規のライブビデオ通信セッションを開始する処理を開始するための要求に対応する入力を検出する手段と、入力の検出に応じて、入力が第１の参加者アフォーダンスの選択に対応することを受けて、３人以上の参加者グループを含む新規のライブビデオ通信セッションを開始する処理を開始し、入力が新規セッションアフォーダンスの選択に対応することによって、２人以上の参加者を選択する処理を開始し、デバイスに関連する参加者と、２人以上の選択された参加者とを含む新規のライブビデオ通信セッションを開始する手段と、を備える。 In some embodiments, the electronic device comprises: a display; means for displaying a live video communication user interface of a live video communication application, the live video communication user interface including a plurality of participant affordances, each corresponding to one or more participants, including a first participant affordance corresponding to a group of three or more participants, and a new session affordance for starting a new live video communication session; means for detecting an input corresponding to a request to initiate a process to start a new live video communication session; and means for, in response to detecting the input, initiating a process to start a new live video communication session including the group of three or more participants when the input corresponds to a selection of the first participant affordance, initiating a process to select two or more participants when the input corresponds to a selection of the new session affordance, and starting a new live video communication session including a participant associated with the device and the two or more selected participants.

これらの機能を実行する実行可能命令は、任意選択的に、非一時的コンピュータ可読記憶媒体又は１つ以上のプロセッサによって実行されるように構成された他のコンピュータプログラム製品に含まれる。これらの機能を実行する実行可能命令は、任意選択的に、一時的コンピュータ可読記憶媒体又は１つ以上のプロセッサによって実行されるように構成された他のコンピュータプログラム製品に含まれる。 Executable instructions to perform these functions are optionally included in a non-transitory computer-readable storage medium or other computer program product configured to be executed by one or more processors. Executable instructions to perform these functions are optionally included in a transitory computer-readable storage medium or other computer program product configured to be executed by one or more processors.

このため、電子デバイスは、複数の参加者が関与するライブ通信のための、より速く、より効率的な方法及びインターフェースが提供されることで、そのようなデバイスの有効性、効率性、及びユーザ満足度が高められる。そのような方法及びインターフェースは、複数の参加者が関与するライブ通信のための他の方法を補完したり、置き換えたりすることができる。 Thus, electronic devices are provided with faster, more efficient methods and interfaces for live communication involving multiple participants, thereby increasing the effectiveness, efficiency, and user satisfaction of such devices. Such methods and interfaces can complement or replace other methods for live communication involving multiple participants.

説明される様々な実施形態をより良く理解するため、以下の図面と併せて、以下の「発明を実施するための形態」が参照されるべきである。ここで、類似の参照番号は、それらの図の全てを通じて、対応する部分を指す。 For a better understanding of the various embodiments described, reference should be made to the following "Detailed Description" in conjunction with the following drawings, in which like reference numerals refer to corresponding parts throughout the drawings:

一部の実施形態による、タッチ感知ディスプレイを備えるポータブル多機能デバイスを示すブロック図である。1 is a block diagram illustrating a portable multifunction device with a touch-sensitive display according to some embodiments. 一部の実施形態による、イベント処理のための例示的な構成要素を示すブロック図である。FIG. 1 is a block diagram illustrating exemplary components for event processing, according to some embodiments. 一部の実施形態による、タッチスクリーンを有するポータブル多機能デバイスを示す図である。1 illustrates a portable multifunction device with a touch screen according to some embodiments. 一部の実施形態による、ディスプレイ及びタッチ感知面を備える例示的な多機能デバイスのブロック図である。FIG. 1 is a block diagram of an exemplary multifunction device with a display and a touch-sensitive surface in accordance with some embodiments. 一部の実施形態による、ポータブル多機能デバイス上のアプリケーションのメニュー用の例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface for a menu of applications on a portable multifunction device, in accordance with some embodiments. 一部の実施形態による、ディスプレイとは別個のタッチ感知面を備える多機能デバイスのための例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface for a multifunction device with a touch-sensitive surface that is separate from the display, in accordance with some embodiments. 一部の実施形態による、パーソナル電子デバイスを示す図である。FIG. 1 illustrates a personal electronic device according to some embodiments. 一部の実施形態による、パーソナル電子デバイスを示すブロック図である。FIG. 1 is a block diagram illustrating a personal electronic device, according to some embodiments. 一部の実施形態による、タッチ感知ディスプレイ及び強度センサを有するパーソナル電子デバイスの例示的な構成要素を示す図である。FIG. 1 illustrates exemplary components of a personal electronic device having a touch-sensitive display and intensity sensor, according to some embodiments. 一部の実施形態による、タッチ感知ディスプレイ及び強度センサを有するパーソナル電子デバイスの例示的な構成要素を示す図である。FIG. 1 illustrates exemplary components of a personal electronic device having a touch-sensitive display and intensity sensor, according to some embodiments. 一部の実施形態による、パーソナル電子デバイスの例示的な構成要素及びユーザインターフェースを示す図である。FIG. 1 illustrates exemplary components and a user interface of a personal electronic device, according to some embodiments. 一部の実施形態による、パーソナル電子デバイスの例示的な構成要素及びユーザインターフェースを示す図である。FIG. 1 illustrates exemplary components and a user interface of a personal electronic device, according to some embodiments. 一部の実施形態による、パーソナル電子デバイスの例示的な構成要素及びユーザインターフェースを示す図である。FIG. 1 illustrates exemplary components and a user interface of a personal electronic device, according to some embodiments. 一部の実施形態による、パーソナル電子デバイスの例示的な構成要素及びユーザインターフェースを示す図である。FIG. 1 illustrates exemplary components and a user interface of a personal electronic device, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的なユーザインターフェースを示す図である。FIG. 1 illustrates an exemplary user interface, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments. 一部の実施形態による、例示的な方法を示す図である。FIG. 1 illustrates an exemplary method, according to some embodiments.

以下の説明では、例示的な方法、パラメータなどが記載される。しかし、そのような説明の目的は、本開示の範囲を限定することではなく、例示的な実施形態の説明を提供することであることを理解されたい。 In the following description, example methods, parameters, and the like are described. However, it should be understood that the purpose of such description is not to limit the scope of the present disclosure, but rather to provide a description of example embodiments.

複数の参加者が関与するライブ通信のための効率的な方法及びインターフェースを提供する電子デバイスが必要とされている。そのような技術は、複数の参加者が関与するライブ通信に参加するユーザの認知的負担を軽減することができ、そのことで生産性を高めることができる。更に、そのような技術は、通常であれば冗長なユーザ入力のために浪費される、プロセッサ及びバッテリの電力を低減することができる。 There is a need for electronic devices that provide efficient methods and interfaces for live communications involving multiple participants. Such techniques can reduce the cognitive burden on users participating in live communications involving multiple participants, thereby increasing productivity. Furthermore, such techniques can reduce processor and battery power that would otherwise be wasted on redundant user input.

以下の図１Ａ及び図１Ｂ、図２、図３、図４Ａ及び図４Ｂ、並びに図５Ａ～図５Ｈは、複数の参加者間のライブ通信セッションの技術を行う例示的なデバイスの説明を提供する。図６Ａ～図６ＡＦは、イベント通知を管理する例示的なユーザインターフェースを示す。図７Ａ～図７Ｆは、一部の実施形態による、複数の参加者間のライブ通信セッションの方法を示すフロー図である。図６Ａ～図６ＡＦのユーザインターフェースは、図７Ａ～図７Ｆの処理を含む後述の処理を示すために使用される。 The following Figures 1A and 1B, 2, 3, 4A and 4B, and 5A-5H provide descriptions of exemplary devices for performing techniques for live communication sessions between multiple participants. Figures 6A-6AF illustrate exemplary user interfaces for managing event notifications. Figures 7A-7F are flow diagrams illustrating methods for live communication sessions between multiple participants, according to some embodiments. The user interfaces of Figures 6A-6AF are used to illustrate the processes described below, including the processes of Figures 7A-7F.

図８Ａ～図８ＢＫは、複数の参加者間のライブ通信セッション用の例示的なユーザインターフェースを示す。図９Ａ～図９Ｋは、一部の実施形態による、複数の参加者間のライブ通信セッションを行う方法を示すフロー図である。図８Ａ～図８ＢＫのユーザインターフェースは、図９Ａ～図９Ｋの処理を含む後述の処理を示すために使用される。 FIGS. 8A-8BK show exemplary user interfaces for a live communication session between multiple participants. FIGS. 9A-9K are flow diagrams illustrating a method for conducting a live communication session between multiple participants, according to some embodiments. The user interfaces of FIGS. 8A-8BK are used to illustrate the processes described below, including the processes of FIGS. 9A-9K.

図１０Ａ～図１０Ｓは、複数の参加者間のライブ通信セッション用の例示的なユーザインターフェースを示す。図１１Ａ～図１１Ｆは、一部の実施形態による、複数の参加者間のライブ通信セッションを行う方法を示すフロー図である。図１０Ａ～図１０Ｓのユーザインターフェースは、図１１Ａ～図１１Ｆの処理を含む後述の処理を示すために使用される。 FIGS. 10A-10S show exemplary user interfaces for a live communication session between multiple participants. FIGS. 11A-11F are flow diagrams illustrating a method for conducting a live communication session between multiple participants, according to some embodiments. The user interfaces of FIGS. 10A-10S are used to illustrate the processes described below, including the processes of FIGS. 11A-11F.

図１２Ａ～図１２Ｎは、複数の参加者間のライブ通信セッション用の例示的なユーザインターフェースを示す。図１３Ａ～図１３Ｄは、一部の実施形態による、複数の参加者間のライブ通信セッションを行う方法を示すフロー図である。図１２Ａ～図１２Ｎのユーザインターフェースは、図１３Ａ～図１３Ｄの処理を含む後述の処理を示すために使用される。 FIGS. 12A-12N illustrate exemplary user interfaces for a live communication session between multiple participants. FIGS. 13A-13D are flow diagrams illustrating a method for conducting a live communication session between multiple participants, according to some embodiments. The user interfaces of FIGS. 12A-12N are used to illustrate the processes described below, including the processes of FIGS. 13A-13D.

図１４Ａ～図１４Ｉは、複数の参加者間のライブ通信セッション用の例示的なユーザインターフェースを示す。図１５Ａ～図１５Ｃは、一部の実施形態による、複数の参加者間のライブ通信セッションを行う方法を示すフロー図である。図１４Ａ～図１４Ｉのユーザインターフェースは、図１５Ａ～図１５Ｃの処理を含む後述の処理を示すために使用される。 FIGS. 14A-14I illustrate exemplary user interfaces for a live communication session between multiple participants. FIGS. 15A-15C are flow diagrams illustrating a method for conducting a live communication session between multiple participants, according to some embodiments. The user interfaces of FIGS. 14A-14I are used to illustrate the processes described below, including the processes of FIGS. 15A-15C.

以下の説明では様々な要素を説明するために「第１」、「第２」などの用語が使用されるが、これらの要素はこれらの用語によって限定されるべきではない。これらの用語は、１つの要素を別の要素と区別するためにのみ使用される。例えば、説明されている様々な実施形態の範囲から逸脱することなく、第１のタッチを第２のタッチと称することができ、同様に、第２のタッチを第１のタッチと称することができる。第１のタッチ及び第２のタッチは共にタッチであるが、同じタッチではない。 In the following description, terms such as "first" and "second" are used to describe various elements, but these elements should not be limited by these terms. These terms are used only to distinguish one element from another. For example, a first touch can be referred to as a second touch, and similarly, a second touch can be referred to as a first touch, without departing from the scope of the various embodiments being described. A first touch and a second touch are both touches, but are not the same touch.

本明細書で説明される様々な実施形態の説明で使用される用語は、特定の実施形態を説明することのみを目的とするものであって、限定することを意図するものではない。説明される様々な実施形態の説明及び添付の特許請求の範囲で使用されるように、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈がそうではないことを明確に示さない限り、複数形もまた含むことが意図される。本明細書で使用されるように、用語「ａｎｄ／ｏｒ（及び／又は）」は、関連する列挙された項目のうちの１つ以上の任意かつ全ての可能な組み合わせを指し、かつこれを含むことも理解されたい。用語「ｉｎｃｌｕｄｅｓ（含む）」、「ｉｎｃｌｕｄｉｎｇ（含む）」、「ｃｏｍｐｒｉｓｅｓ（備える）」、及び／又は「ｃｏｍｐｒｉｓｉｎｇ（備える）」は、本明細書で使用されるとき、述べられた特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を指定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はそれらのグループの存在若しくは追加を除外しないことが更に理解されるであろう。 The terminology used in the description of the various embodiments set forth herein is for the purpose of describing particular embodiments only and is not intended to be limiting. As used in the description of the various embodiments set forth herein and in the appended claims, the singular forms "a," "an," and "the" are intended to include the plural forms as well, unless the context clearly dictates otherwise. As used herein, the term "and/or" should also be understood to refer to and include any and all possible combinations of one or more of the associated listed items. It will be further understood that the terms "includes," "including," "comprises," and/or "comprising," when used herein, specify the presence of stated features, integers, steps, operations, elements, and/or components, but do not exclude the presence or addition of one or more other features, integers, steps, operations, elements, components, and/or groups thereof.

任意選択的に、用語「ｉｆ（～場合に）」は、文脈に応じて「ｗｈｅｎ（～ときに）」、「ｕｐｏｎ（～すると）」、「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｒｍｉｎｉｎｇ（～との判定に応じて）」、又は「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｃｔｉｎｇ（～の検出に応じて）」を意味すると解釈される。同様に、語句「ｉｆ ｉｔ ｉｓ ｄｅｔｅｒｍｉｎｅｄ（～と判定される場合）」又は「ｉｆ［ａ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ］ｉｓ ｄｅｔｅｃｔｅｄ（［述べられる条件又はイベント］が検出される場合）」は、任意選択的に、文脈によって、「ｕｐｏｎ ｄｅｔｅｒｍｉｎｉｎｇ（～と決定すると）」、「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｒｍｉｎｉｎｇ（～との判定に応じて）」、「ｕｐｏｎ ｄｅｔｅｃｔｉｎｇ［ｔｈｅ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ］（［述べられる条件又はイベント］を検出すると）」、又は「ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ ｄｅｔｅｃｔｉｎｇ［ｔｈｅ ｓｔａｔｅｄ ｃｏｎｄｉｔｉｏｎ ｏｒ ｅｖｅｎｔ］（［述べられる条件又はイベント］の検出に応じて）」を意味するものと解釈される。 Optionally, the term "if" is interpreted to mean "when," "upon," "in response to determining," or "in response to detecting," depending on the context. Similarly, the phrases "if it is determined" or "if [a stated condition or event] is detected" are, optionally, depending on the context, interpreted to mean "upon determining," "in response to determining," "upon detecting [the stated condition or event]," or "in response to detecting [the stated condition or event]."

電子デバイス、そのようなデバイス用のユーザインターフェース、及びそのようなデバイスを使用するための関連する処理の実施形態が説明される。一部の実施形態では、デバイスは、ＰＤＡ機能及び／又は音楽プレーヤ機能などの他の機能も含む、モバイル電話機などのポータブル通信デバイスである。ポータブル多機能デバイスの例示的な実施形態には、Ｃａｌｉｆｏｒｎｉａ州ＣｕｐｅｒｔｉｎｏのＡｐｐｌｅ Ｉｎｃ．のｉＰｈｏｎｅ（登録商標）、ｉＰｏｄ Ｔｏｕｃｈ（登録商標）及びｉＰａｄ（登録商標）デバイスが挙げられるが、これらに限定されない。タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を備えるラップトップ又はタブレットコンピュータなどの他のポータブル電子デバイスは、任意選択的に、使用される。一部の実施形態では、デバイスがポータブル通信デバイスではなく、タッチ感知面（例えば、タッチスクリーンディスプレイ及び／又はタッチパッド）を備えるデスクトップコンピュータであることもまた、理解されたい。 Embodiments of electronic devices, user interfaces for such devices, and associated processes for using such devices are described. In some embodiments, the device is a portable communication device, such as a mobile telephone, that also includes other functions, such as PDA and/or music player functions. Exemplary embodiments of portable multifunction devices include, but are not limited to, the iPhone®, iPod Touch®, and iPad® devices from Apple Inc. of Cupertino, California. Other portable electronic devices, such as laptops or tablet computers with touch-sensitive surfaces (e.g., touchscreen displays and/or touchpads), are optionally used. It should also be understood that in some embodiments, the device is not a portable communication device, but rather a desktop computer with a touch-sensitive surface (e.g., touchscreen displays and/or touchpads).

以下の議論では、ディスプレイとタッチ感知面とを含む電子デバイスが説明される。しかし、電子デバイスは、物理的なキーボード、マウス及び／又はジョイスティックなどの、１つ以上の他の物理的なユーザインターフェースデバイスを任意選択的に含むことを理解されたい。 In the following discussion, electronic devices are described that include a display and a touch-sensitive surface. However, it should be understood that the electronic device optionally includes one or more other physical user interface devices, such as a physical keyboard, a mouse, and/or a joystick.

このデバイスは、一般的に、描画アプリケーション、プレゼンテーションアプリケーション、ワードプロセッシングアプリケーション、ウェブサイト作成アプリケーション、ディスクオーサリングアプリケーション、スプレッドシートアプリケーション、ゲームアプリケーション、電話アプリケーション、テレビ会議アプリケーション、電子メールアプリケーション、インスタントメッセージングアプリケーション、トレーニングサポートアプリケーション、写真管理アプリケーション、デジタルカメラアプリケーション、デジタルビデオカメラアプリケーション、ウェブブラウジングアプリケーション、デジタル音楽プレーヤアプリケーション、及び／又はデジタルビデオプレーヤアプリケーションのうちの１つ以上などの様々なアプリケーションをサポートする。 The device typically supports a variety of applications, such as one or more of a drawing application, a presentation application, a word processing application, a website creation application, a disc authoring application, a spreadsheet application, a gaming application, a telephone application, a video conferencing application, an email application, an instant messaging application, a training support application, a photo management application, a digital camera application, a digital video camera application, a web browsing application, a digital music player application, and/or a digital video player application.

デバイス上で実行される様々なアプリケーションは、タッチ感知面などの、少なくとも１つの共通の物理的なユーザインターフェースデバイスを、任意選択的に使用する。タッチ感知面の１つ以上の機能、並びにデバイス上に表示される対応する情報は、アプリケーションごとに、及び／又はそれぞれのアプリケーション内で、任意選択的に、調節及び／又は変更される。このように、デバイスの共通の（タッチ感知面などの）物理的なアーキテクチャは、ユーザにとって直感的かつ透過的なユーザインターフェースを備える様々なアプリケーションを、任意選択的にサポートする。 The various applications running on the device optionally use at least one common physical user interface device, such as a touch-sensitive surface. One or more features of the touch-sensitive surface and corresponding information displayed on the device are optionally adjusted and/or changed for each application and/or within each application. In this way, the common physical architecture (such as the touch-sensitive surface) of the device optionally supports various applications with user interfaces that are intuitive and transparent to the user.

ここで、タッチ感知ディスプレイを備えるポータブルデバイスの実施形態に注意を向ける。図１Ａは、一部の実施形態による、タッチ感知ディスプレイシステム１１２を備えるポータブル多機能デバイス１００を示すブロック図である。タッチ感知ディスプレイ１１２は、便宜上「タッチスクリーン」と呼ばれる場合があり、「タッチ感知ディスプレイシステム」として既知であるか又は呼ばれる場合もある。デバイス１００は、（１つ以上のコンピュータ可読記憶媒体を任意選択的に含む）メモリ１０２、メモリコントローラ１２２、１つ以上の処理ユニット（ＣＰＵ）１２０、周辺機器インターフェース１１８、ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、入出力（Ｉ／Ｏ）サブシステム１０６、他の入力制御デバイス１１６及び外部ポート１２４を含む。デバイス１００は、１つ以上の光センサ１６４を任意選択的に含む。デバイス１００は、デバイス１００（例えば、デバイス１００のタッチ感知ディスプレイシステム１１２などのタッチ感知面）上の接触の強度を検出するための、１つ以上の接触強度センサ１６５を任意選択的に含む。デバイス１００は、デバイス１００上に触知出力を生成する（例えば、デバイス１００のタッチ感知ディスプレイシステム１１２又はデバイス３００のタッチパッド３５５などの、タッチ感知面上に触知出力を生成する）ための、１つ以上の触知出力生成器１６７を、任意選択的に含む。これらの構成要素は、１つ以上の通信バス又は信号ライン１０３を介して任意選択的に通信する。 Attention is now directed to embodiments of portable devices with touch-sensitive displays. FIG. 1A is a block diagram illustrating a portable multifunction device 100 with a touch-sensitive display system 112, according to some embodiments. Touch-sensitive display 112 may conveniently be referred to as a "touch screen" and may also be known or referred to as a "touch-sensitive display system." Device 100 includes memory 102 (optionally including one or more computer-readable storage media), a memory controller 122, one or more processing units (CPUs) 120, a peripherals interface 118, RF circuitry 108, audio circuitry 110, a speaker 111, a microphone 113, an input/output (I/O) subsystem 106, other input control devices 116, and an external port 124. Device 100 optionally includes one or more light sensors 164. Device 100 optionally includes one or more contact intensity sensors 165 for detecting the intensity of a contact on device 100 (e.g., a touch-sensitive surface such as touch-sensitive display system 112 of device 100). Device 100 optionally includes one or more tactile output generators 167 for generating a tactile output on device 100 (e.g., generating a tactile output on a touch-sensitive surface such as touch-sensitive display system 112 of device 100 or touchpad 355 of device 300). These components optionally communicate via one or more communication buses or signal lines 103.

本明細書及び特許請求の範囲で使用されるとき、タッチ感知面上の接触の「強度」という用語は、タッチ感知面上の接触（例えば、指接触）の力若しくは圧力（単位面積あたりの力）、又はタッチ感知面上の接触の力若しくは圧力の代替（代用）を指す。接触の強度は、少なくとも４つの異なる値を含み、より典型的には、何百もの（例えば、少なくとも２５６個の）異なる値を含む値範囲を有する。接触の強度は、任意選択的に、様々な手法、及び様々なセンサ又はセンサの組み合わせを使用して決定（又は、測定）される。例えば、タッチ感知面の下にある又はこれに隣接する１つ以上の力センサは、任意選択的に、タッチ感知面上の様々な点における力を測定するために使用される。一部の実装形態では、複数の力センサからの力測定値は、接触の力の推定値を判定するために組み合わされる（例えば、加重平均）。同様に、スタイラスの感圧性先端部は、任意選択的に、タッチ感知面上のスタイラスの圧力を判定するために使用される。代わりに、タッチ感知面上で検出される接触領域のサイズ及び／若しくはその変化、接触に近接するタッチ感知面の電気容量及び／若しくはその変化、並びに／又は、接触に近接するタッチ感知面の抵抗及び／若しくはその変化が、タッチ感知面上の接触の力又は圧力の代替として、任意選択的に用いられる。一部の実装形態では、接触の力又は圧力に対する代替的測定値は、強度閾値を超えているかを判定するために直接使用される（例えば、強度閾値は、代替的測定値に対応する単位で説明される）。一部の実装形態では、接触の力又は圧力に対する代替的測定値は、推定される力又は圧力に変換され、推定される力又は圧力は、強度閾値を超えているかを判定するために使用される（例えば、強度閾値は、圧力の単位で測定された圧力閾値である）。接触の強度をユーザ入力の属性として使用することによって、アフォーダンスを表示するための（例えば、タッチ感知ディスプレイ上で）、及び／又はユーザ入力を受信するための（例えば、タッチ感知ディスプレイ、タッチ感知面、又はノブ若しくはボタンなどの物理的／機械的制御部を介して）面積が制限されている、低減されたサイズのデバイス上では別途ユーザによってアクセスすることができない可能性がある、追加的なデバイス機能に、ユーザがアクセスできるようになる。 As used herein and in the claims, the term "intensity" of a contact on a touch-sensitive surface refers to the force or pressure (force per unit area) of a contact (e.g., a finger contact) on the touch-sensitive surface, or a surrogate (proxy) for the force or pressure of a contact on the touch-sensitive surface. The intensity of a contact has a value range that includes at least four distinct values and more typically includes hundreds (e.g., at least 256) distinct values. The intensity of a contact is optionally determined (or measured) using various techniques and various sensors or combinations of sensors. For example, one or more force sensors beneath or adjacent to the touch-sensitive surface are optionally used to measure force at various points on the touch-sensitive surface. In some implementations, force measurements from multiple force sensors are combined (e.g., weighted average) to determine an estimate of the force of the contact. Similarly, a pressure-sensitive tip of a stylus is optionally used to determine the pressure of the stylus on the touch-sensitive surface. Instead, the size and/or change in the area of contact detected on the touch-sensitive surface, the capacitance and/or change in the capacitance of the touch-sensitive surface proximate the contact, and/or the resistance and/or change in the capacitance of the touch-sensitive surface proximate the contact are optionally used as proxies for the force or pressure of the contact on the touch-sensitive surface. In some implementations, the proxy measure for the force or pressure of the contact is used directly to determine whether an intensity threshold is exceeded (e.g., the intensity threshold is described in units corresponding to the proxy measure). In some implementations, the proxy measure for the force or pressure of the contact is converted to an estimated force or pressure, and the estimated force or pressure is used to determine whether an intensity threshold is exceeded (e.g., the intensity threshold is a pressure threshold measured in units of pressure). Using the intensity of the contact as an attribute of user input allows a user to access additional device functionality that may not otherwise be accessible by the user on a reduced-size device that has limited area for displaying affordances (e.g., on a touch-sensitive display) and/or receiving user input (e.g., via a touch-sensitive display, touch-sensitive surface, or physical/mechanical controls such as knobs or buttons).

本明細書及び特許請求の範囲で使用されるとき、用語「触知出力」は、ユーザの触覚でユーザによって検出されることになる、デバイスの従前の位置に対するデバイスの物理的変位、デバイスの構成要素（例えば、タッチ感知面）のデバイスの別の構成要素（例えば、筐体）に対する物理的変位、又はデバイスの質量中心に対する構成要素の変位を指す。例えば、デバイス又はデバイスの構成要素がタッチに敏感なユーザの表面（例えば、ユーザの指、手のひら、又は手の他の部分）に接触している状況において、物理的変位によって生成された触知出力は、デバイス又はデバイスの構成要素の物理的特性の認識された変化に相当する触知として、ユーザによって解釈される。例えば、タッチ感知面（例えば、タッチ感知ディスプレイ又はトラックパッド）の移動は、任意選択的に、ユーザによって、物理的なアクチュエータボタンの「ダウンクリック」又は「アップクリック」として解釈される。一部の場合、ユーザの動作により物理的に押された（例えば、変位された）タッチ感知面と関連付けられた物理的なアクチュエータボタンの移動がない時でさえ、ユーザは「ダウンクリック」又は「アップクリック」などの触知を感じるであろう。別の例として、タッチ感知面の移動は、タッチ感知面の平滑度に変化がない場合であっても、ユーザによって、そのタッチ感知面の「粗さ」として、任意選択的に解釈又は感知される。そのようなユーザによるタッチの解釈は、ユーザの個人的な感覚認知に左右されるが、大多数のユーザに共通する、多くのタッチの感覚認知が存在する。よって、触知出力が、ユーザの特定の感覚認知（例えば、「アップクリック」、「ダウンクリック」、「粗さ」）に対応するものとして説明されるとき、別途記載のない限り、生成された触知出力は、典型的な（又は、平均的な）ユーザの説明された感覚認知を生成するデバイス、又はデバイスの構成要素の物理的変位に対応する。 As used herein and in the claims, the term "tactile output" refers to a physical displacement of a device relative to its previous position, a physical displacement of a component of the device (e.g., a touch-sensitive surface) relative to another component of the device (e.g., a housing), or a displacement of a component relative to the center of mass of the device that is detected by the user's sense of touch. For example, in a situation where a device or a component of the device is in contact with a touch-sensitive user surface (e.g., a user's finger, palm, or other part of the hand), the tactile output generated by the physical displacement is interpreted by the user as a tactile sensation corresponding to a perceived change in a physical property of the device or a component of the device. For example, movement of the touch-sensitive surface (e.g., a touch-sensitive display or trackpad) is optionally interpreted by the user as a "downclick" or "upclick" of a physical actuator button. In some cases, a user may feel a tactile sensation such as a "downclick" or "upclick" even when the user's action physically presses (e.g., displaces) the touch-sensitive surface without movement of the physical actuator button associated with the touch-sensitive surface. As another example, movement of a touch-sensitive surface is optionally interpreted or perceived by a user as "roughness" of the touch-sensitive surface, even when there is no change in the smoothness of the touch-sensitive surface. While such user interpretation of touch depends on the user's personal sensory perception, there are many sensory perceptions of touch that are common to the majority of users. Thus, when a tactile output is described as corresponding to a particular sensory perception of a user (e.g., "upclick," "downclick," "roughness"), unless otherwise specified, the generated tactile output corresponds to a physical displacement of the device, or a component of the device, that produces the described sensory perception for a typical (or average) user.

デバイス１００は、ポータブル多機能デバイスの一例に過ぎず、デバイス１００は、示されているものよりも多くの構成要素又は少ない構成要素を任意選択的に有すること、２つ以上の構成要素を任意選択的に組み合わせること、又は構成要素の異なる構成若しくは配置を任意選択的に有することを理解されたい。図１Ａに示す様々な構成要素は、１つ以上の信号処理回路及び／又は特定用途向け集積回路を含む、ハードウェア、ソフトウェア又はハードウェア及びソフトウェアの双方の組み合わせで実装される。 It should be understood that device 100 is merely one example of a portable multifunction device, and that device 100 optionally has more or fewer components than those shown, optionally combines two or more components, or optionally has a different configuration or arrangement of components. The various components shown in FIG. 1A may be implemented in hardware, software, or a combination of both hardware and software, including one or more signal processing circuits and/or application-specific integrated circuits.

メモリ１０２は、高速ランダムアクセスメモリを任意選択的に含み、１つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス又は他の不揮発性ソリッドステートメモリデバイスなどの不揮発性メモリもまた、任意選択的に含む。メモリコントローラ１２２は、任意選択的に、デバイス１００の他の構成要素によるメモリ１０２へのアクセスを制御する。 Memory 102 optionally includes high-speed random access memory, and optionally also includes non-volatile memory, such as one or more magnetic disk storage devices, flash memory devices, or other non-volatile solid-state memory devices. Memory controller 122 optionally controls access to memory 102 by other components of device 100.

周辺機器インターフェース１１８を使用して、本デバイスの入力及び出力周辺機器を、ＣＰＵ１２０及びメモリ１０２に結合することができる。１つ以上のプロセッサ１２０は、デバイス１００のための様々な機能を実行するため並びにデータを処理するために、メモリ１０２に記憶された様々なソフトウェアプログラム及び／又は命令セットを動作させる、又は実行する。一部の実施形態では、周辺機器インターフェース１１８、ＣＰＵ１２０及びメモリコントローラ１２２は、チップ１０４などの単一チップ上に任意選択的に実装される。一部の他の実施形態では、それらは別々のチップ上に任意選択的に実装される。 A peripheral interface 118 can be used to couple input and output peripherals of the device to the CPU 120 and memory 102. The one or more processors 120 operate or execute various software programs and/or instruction sets stored in memory 102 to perform various functions for the device 100 and to process data. In some embodiments, the peripheral interface 118, CPU 120, and memory controller 122 are optionally implemented on a single chip, such as chip 104. In some other embodiments, they are optionally implemented on separate chips.

ＲＦ（radio frequency、無線周波数）回路１０８は、電磁信号とも呼ばれるＲＦ信号を送受信する。ＲＦ回路１０８は、電気信号を電磁信号に、又は電磁信号を電気信号に変換し、電磁信号を介して通信ネットワーク及び他の通信デバイスと通信する。ＲＦ回路１０８は、それらの機能を実行するための周知の回路を任意選択的に含み、アンテナシステム、ＲＦ送受信機、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、参加者識別モジュール（ＳＩＭ）カード、メモリなどが挙げられるが、これらに限定されない。ＲＦ回路１０８は任意選択的に、ワールドワイドウェブ（ＷＷＷ）とも称されるインターネット、イントラネット、並びに／又はセルラー電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）及び／若しくはメトロポリタンエリアネットワーク（ＭＡＮ）などの無線ネットワークなどのネットワーク、及び他のデバイスと無線通信によって通信する。ＲＦ回路１０８は、近距離通信無線などによる近距離通信（near field communication、ＮＦＣ）フィールドを検出するための周知の回路を任意選択的に含む。無線通信は、複数の通信規格、通信プロトコル、及び通信技術のうちの任意のものを任意選択的に使用し、それらの通信規格、通信プロトコル、及び通信技術としては、移動通信用のグローバルシステム（Global System for Mobile Communications、ＧＳＭ（登録商標））、拡張データＧＳＭ環境（Enhanced Data GSM Environment、ＥＤＧＥ）、高速ダウンリンクパケット接続（high-speed downlink packet access、ＨＳＤＰＡ）、高速アップリンクパケット接続（high-speed uplink packet access、ＨＳＵＰＡ）、Ｅｖｏｌｕｔｉｏｎ，Ｄａｔａ－Ｏｎｌｙ（ＥＶ－ＤＯ）、ＨＳＰＡ、ＨＳＰＡ＋、２重セルＨＳＰＡ（Dual-Cell HSPA、ＤＣ－ＨＳＰＤＡ）、ロングタームエボリューション（long term evolution、ＬＴＥ）、近距離無線通信（near field communication、ＮＦＣ）、広帯域符号分割多元接続（wideband code division multiple access、Ｗ－ＣＤＭＡ）、符号分割多元接続（code division multiple access、ＣＤＭＡ）、時分割多元接続（time division multiple access、ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ（ＢＴＬＥ）、Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ（Ｗｉ－Ｆｉ）（登録商標）（例えば、ＩＥＥＥ ８０２．１１ａ、ＩＥＥＥ ８０２．１１ｂ、ＩＥＥＥ ８０２．１１ｇ、ＩＥＥＥ ８０２．１１ｎ、及び／又はＩＥＥＥ ８０２．１１ａｃ）、ボイスオーバーインターネットプロトコル（voice over Internet Protocol、ＶｏＩＰ）、Ｗｉ－ＭＡＸ、電子メール用のプロトコル（例えば、インターネットメッセージアクセスプロトコル（Internet message access protocol、ＩＭＡＰ）及び／又はポストオフィスプロトコル（post office protocol、ＰＯＰ））、インスタントメッセージング（例えば、拡張可能メッセージング及びプレゼンスプロトコル（extensible messaging and presence protocol、ＸＭＰＰ）、インスタントメッセージング及びプレゼンス利用拡張向けセッション開始プロトコル（Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions、ＳＩＭＰＬＥ）、インスタントメッセージング及びプレゼンスサービス（Instant Messaging and Presence Service、ＩＭＰＳ））、及び／又はショートメッセージサービス（Short Message Service、ＳＭＳ）、あるいは本文書の出願日現在までにまだ開発されていない通信プロトコルを含めた任意の他の好適な通信プロトコルが挙げられるが、これらに限定されない。 The radio frequency (RF) circuitry 108 transmits and receives RF signals, also known as electromagnetic signals. The RF circuitry 108 converts electrical signals to electromagnetic signals and vice versa, and communicates with communication networks and other communication devices via electromagnetic signals. The RF circuitry 108 optionally includes well-known circuitry for performing these functions, including, but not limited to, an antenna system, an RF transceiver, one or more amplifiers, a tuner, one or more oscillators, a digital signal processor, a CODEC chipset, a Subscriber Identification Module (SIM) card, memory, and the like. The RF circuitry 108 optionally communicates wirelessly with networks, such as the Internet, also known as the World Wide Web (WWW), an intranet, and/or wireless networks, such as cellular telephone networks, wireless local area networks (LANs) and/or metropolitan area networks (MANs), and other devices. The RF circuitry 108 optionally includes well-known circuitry for detecting near field communication (NFC) fields, such as near field communication radio. The wireless communication optionally uses any of a plurality of communication standards, protocols, and technologies, including Global System for Mobile Communications (GSM), Enhanced Data GSM Environment (EDGE), high-speed downlink packet access (HSDPA), high-speed uplink packet access (HSUPA), Evolution, Data-Only (EV-DO), HSPA, HSPA+, Dual-Cell HSPA (DC-HSPDA), long term evolution (LTE), near field communication (NFC), wideband code division multiple access (W-CDMA), code division multiple access (CDMA), time division multiple access (T ... access (TDMA), Bluetooth, Bluetooth Low Energy (BTLE), Wireless Fidelity (Wi-Fi) (e.g., IEEE 802.11a, IEEE 802.11b, IEEE 802.11g, IEEE 802.11n, and/or IEEE 802.11ac), voice over Internet Protocol (VoIP), Wi-MAX, protocols for email (e.g., Internet message access protocol (IMAP) and/or post office protocol (POP)), instant messaging (e.g., extensible messaging and presence protocol (XMPP)), Session Initiation Protocol for Instant Messaging and Presence Extensions (SIP)), and Examples of suitable communication protocols include, but are not limited to, SIMPLE, Instant Messaging and Presence Leveraging Extensions (IMPLE), Instant Messaging and Presence Service (IMPS), and/or Short Message Service (SMS), or any other suitable communication protocol, including communication protocols not yet developed as of the filing date of this document.

オーディオ回路１１０、スピーカ１１１、及びマイクロフォン１１３は、ユーザとデバイス１００との間のオーディオインターフェースを提供する。オーディオ回路１１０は、周辺機器インターフェース１１８からオーディオデータを受信し、そのオーディオデータを電気信号に変換し、その電気信号をスピーカ１１１に送信する。スピーカ１１１は、電気信号を人間の可聴音波に変換する。オーディオ回路１１０はまた、マイクロフォン１１３により音波から変換された電気信号を受信する。オーディオ回路１１０は、電気信号をオーディオデータに変換し、オーディオデータを処理のために周辺機器インターフェース１１８に送信する。オーディオデータは任意選択的に、周辺機器インターフェース１１８によって、メモリ１０２及び／若しくはＲＦ回路１０８から取得され、並びに／又はメモリ１０２及び／若しくはＲＦ回路１０８へ送信される。一部の実施形態では、オーディオ回路１１０はヘッドセットジャック（例えば、図２の２１２）を更に備える。ヘッドセットジャックは、オーディオ回路１１０と、出力専用ヘッドホン又は出力（例えば、片耳又は両耳用のヘッドホン）及び入力（例えば、マイクロフォン）の双方を有するヘッドセットなどの、取り外し可能なオーディオ入出力周辺機器と、の間のインターフェースを提供する。 The audio circuit 110, speaker 111, and microphone 113 provide an audio interface between the user and device 100. The audio circuit 110 receives audio data from the peripherals interface 118, converts the audio data into electrical signals, and transmits the electrical signals to the speaker 111. The speaker 111 converts the electrical signals into sound waves audible to humans. The audio circuit 110 also receives electrical signals converted from sound waves by the microphone 113. The audio circuit 110 converts the electrical signals into audio data and transmits the audio data to the peripherals interface 118 for processing. The audio data is optionally retrieved from and/or transmitted to memory 102 and/or RF circuit 108 by the peripherals interface 118. In some embodiments, the audio circuit 110 further comprises a headset jack (e.g., 212 in FIG. 2 ). The headset jack provides an interface between the audio circuitry 110 and a detachable audio input/output peripheral, such as an output-only headphone or a headset with both an output (e.g., mono or binaural headphones) and an input (e.g., a microphone).

Ｉ／Ｏサブシステム１０６は、周辺機器インターフェース１１８に、タッチスクリーン１１２及び他の入力制御デバイス１１６などのデバイス１００の入出力周辺機器を結合する。Ｉ／Ｏサブシステム１０６は、任意選択的に、ディスプレイコントローラ１５６、光センサコントローラ１５８、深度カメラコントローラ１６９、強度センサコントローラ１５９、触覚フィードバックコントローラ１６１、及び他の入力若しくは制御デバイスのための１つ以上の入力コントローラ１６０を含む。１つ以上の入力コントローラ１６０は、電気信号を、他の入力制御デバイス１１６から受信／他の入力制御デバイス１１６に送信する。他の入力制御デバイス１１６は、物理的なボタン（例えば、プッシュボタン、ロッカボタンなど）、ダイアル、スライダスイッチ、ジョイスティック、クリックホイールなどを任意選択的に含む。一部の代替的実施形態では、入力コントローラ（単数又は複数）１６０は、任意選択的に、キーボード、赤外線ポート、ＵＳＢポート、及びマウスなどのポインタデバイスのうちのいずれかに結合される（又は、いずれにも結合されない）。１つ以上のボタン（例えば、図２の２０８）は、スピーカ１１１及び／又はマイクロフォン１１３の音量調節のためのアップ／ダウンボタンを任意選択的に含む。１つ以上のボタンは、プッシュボタン（例えば、図２の２０６）を任意選択的に含む。 The I/O subsystem 106 couples input/output peripherals of the device 100, such as the touchscreen 112 and other input control devices 116, to the peripheral interface 118. The I/O subsystem 106 optionally includes one or more input controllers 160 for a display controller 156, a light sensor controller 158, a depth camera controller 169, an intensity sensor controller 159, a haptic feedback controller 161, and other input or control devices. The one or more input controllers 160 receive/send electrical signals to/from the other input control devices 116. The other input control devices 116 optionally include physical buttons (e.g., push buttons, rocker buttons, etc.), dials, slider switches, joysticks, click wheels, etc. In some alternative embodiments, the input controller(s) 160 are optionally coupled to any (or none) of a keyboard, an infrared port, a USB port, and a pointer device such as a mouse. The one or more buttons (e.g., 208 in FIG. 2) optionally include up/down buttons for adjusting the volume of the speaker 111 and/or microphone 113. The one or more buttons optionally include a push button (e.g., 206 in FIG. 2).

２００５年１２月２３日に出願された、米国特許第７，６５７，８４９号である米国特許出願第１１／３２２，５４９号、「Ｕｎｌｏｃｋｉｎｇ ａ Ｄｅｖｉｃｅ ｂｙ Ｐｅｒｆｏｒｍｉｎｇ Ｇｅｓｔｕｒｅｓ ｏｎ ａｎ Ｕｎｌｏｃｋ Ｉｍａｇｅ」（この特許は、その全体が参照により本明細書に組み込まれる）に記載されているように、任意選択的に、プッシュボタンの素早い押圧により、タッチスクリーン１１２のロックが解除されるか、又はデバイスのロック解除にタッチスクリーン上のジェスチャを用いる処理が任意選択的に開始される。プッシュボタン（例えば、２０６）をより長く押圧することにより、任意選択的にデバイス１００の電源がオンオフされる。複数のボタンのうちの１つ以上の機能は、任意選択的に、ユーザカスタマイズ可能である。タッチスクリーン１１２は、仮想ボタン又はソフトボタン及び１つ以上のソフトキーボードを実装するために使用される。 Optionally, a quick press of a push button unlocks the touchscreen 112 or optionally initiates a process for using gestures on the touchscreen to unlock the device, as described in U.S. Patent Application No. 11/322,549, "Unlocking a Device by Performing Gestures on an Unlock Image," filed December 23, 2005, U.S. Patent No. 7,657,849 (which is incorporated herein by reference in its entirety). A longer press of a push button (e.g., 206) optionally powers the device 100 on or off. The functions of one or more of the buttons are optionally user-customizable. The touchscreen 112 is used to implement virtual or soft buttons and one or more soft keyboards.

タッチ感知ディスプレイ１１２は、デバイスとユーザとの間の入力インターフェース及び出力インターフェースを提供する。ディスプレイコントローラ１５６は、電気信号を、タッチスクリーン１１２から受信かつ／又はタッチスクリーン１１２に送信する。タッチスクリーン１１２は、ユーザに視覚的出力を表示する。視覚的出力は、グラフィック、テキスト、アイコン、ビデオ及びこれらの任意の組み合わせ（総称して「グラフィック」と称する）を任意選択的に含む。一部の実施形態では、任意選択的に、視覚的出力の一部又は全てはユーザインターフェースオブジェクトに対応する。 The touch-sensitive display 112 provides an input and output interface between the device and a user. The display controller 156 receives and/or transmits electrical signals to the touchscreen 112. The touchscreen 112 displays visual output to the user. The visual output optionally includes graphics, text, icons, video, and any combination thereof (collectively referred to as "graphics"). In some embodiments, optionally, some or all of the visual output corresponds to user interface objects.

タッチスクリーン１１２は、触覚及び／又は触知の接触に基づくユーザからの入力を受け付けるタッチ感知面、センサ、若しくはセンサのセットを有している。タッチスクリーン１１２及びディスプレイコントローラ１５６は（メモリ１０２内の任意の関連モジュール及び／又は命令セットと共に）、タッチスクリーン１１２上で接触（及び任意の接触の移動又は中止）を検出し、その検出された接触をタッチスクリーン１１２上に表示されたユーザインターフェースオブジェクト（例えば、１つ以上のソフトキー、アイコン、ウェブページ又は画像）との対話に変換する。例示的な実施形態では、タッチスクリーン１１２とユーザとの間の接触点は、ユーザの指に対応する。 Touchscreen 112 has a touch-sensitive surface, sensor, or set of sensors that accepts input from a user based on haptic and/or tactile contact. Touchscreen 112 and display controller 156 (along with any associated modules and/or instruction sets in memory 102) detects contacts (and any movement or cessation of contact) on touchscreen 112 and translates the detected contacts into interactions with user interface objects (e.g., one or more softkeys, icons, web pages, or images) displayed on touchscreen 112. In an exemplary embodiment, the point of contact between touchscreen 112 and the user corresponds to the user's finger.

タッチスクリーン１１２は任意選択的にＬＣＤ（液晶ディスプレイ）技術、ＬＰＤ（発光ポリマーディスプレイ）技術又はＬＥＤ（発光ダイオード）技術を使用するが、他の実施形態では、他のディスプレイ技術が使用される。タッチスクリーン１１２及びディスプレイコントローラ１５６は、静電容量技術、抵抗性技術、赤外線技術、及び表面超音波技術、並びに、タッチスクリーン１１２との１つ以上の接触点を決定するための他の近接センサアレイ又は他の要素を含むが、これらに限定されない、現在公知の若しくは後日に開発される複数のタッチ感知技術のうちのいずれかを使用して、接触及びその任意の移動又は中止を、任意選択的に検出する。例示的な実施形態では、Ｃａｌｉｆｏｒｎｉａ州ＣｕｐｅｒｔｉｎｏのＡｐｐｌｅ Ｉｎｃ．によるｉＰｈｏｎｅ（登録商標）及びｉＰｏｄ Ｔｏｕｃｈ（登録商標）において見られるような、投影型相互静電容量感知技術が使用されている。 Touchscreen 112 optionally uses LCD (liquid crystal display), LPD (light emitting polymer display), or LED (light emitting diode) technology, although other display technologies are used in other embodiments. Touchscreen 112 and display controller 156 optionally detect contact and any movement or cessation thereof using any of a number of now-known or later-developed touch sensing technologies, including, but not limited to, capacitive, resistive, infrared, and surface ultrasonic technologies, as well as other proximity sensor arrays or other elements for determining one or more points of contact with touchscreen 112. In an exemplary embodiment, projected mutual capacitance sensing technology is used, such as that found in the iPhone® and iPod Touch® by Apple Inc. of Cupertino, California.

タッチスクリーン１１２の一部の実施形態におけるタッチ感知ディスプレイは、任意選択的に、米国特許第６，３２３，８４６号（Ｗｅｓｔｅｒｍａｎら）、同第６，５７０，５５７号（Ｗｅｓｔｅｒｍａｎら）、及び／若しくは同第６，６７７，９３２号（Ｗｅｓｔｅｒｍａｎ）、並びに／又は米国特許出願公開第２００２／００１５０２４（Ａ１）号に記載されているマルチタッチ感知タッチパッドに類似する。これらの文献は、それらの全体が参照により本明細書に組み込まれる。しかし、タッチスクリーン１１２は、デバイス１００からの視覚的出力を表示するのに対して、タッチ感知タッチパッドは、視覚的出力を提供しない。 The touch-sensitive display in some embodiments of touchscreen 112 is optionally similar to the multi-touch-sensing touchpad described in U.S. Pat. Nos. 6,323,846 (Westerman et al.), 6,570,557 (Westerman et al.), and/or 6,677,932 (Westerman), and/or U.S. Patent Application Publication No. 2002/0015024 A1, which are incorporated by reference in their entireties. However, touchscreen 112 displays visual output from device 100, whereas touch-sensitive touchpads do not provide visual output.

タッチスクリーン１１２の一部の実施形態におけるタッチ感知ディスプレイは、以下の出願で説明されている。（１）２００６年５月２日出願の米国特許出願第１１／３８１，３１３号、「Ｍｕｌｔｉｐｏｉｎｔ Ｔｏｕｃｈ Ｓｕｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ」、（２）２００４年５月６日出願の同第１０／８４０，８６２号、「Ｍｕｌｔｉｐｏｉｎｔ Ｔｏｕｃｈｓｃｒｅｅｎ」、（３）２００４年７月３０日出願の同第１０／９０３，９６４号、「Ｇｅｓｔｕｒｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（４）２００５年１月３１日出願の同第１１／０４８，２６４号、「Ｇｅｓｔｕｒｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（５）２００５年１月１８日出願の同第１１／０３８，５９０号、「Ｍｏｄｅ－Ｂａｓｅｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅｓ Ｆｏｒ Ｔｏｕｃｈ Ｓｅｎｓｉｔｉｖｅ Ｉｎｐｕｔ Ｄｅｖｉｃｅｓ」、（６）２００５年９月１６日出願の同第１１／２２８，７５８号、「Ｖｉｒｔｕａｌ Ｉｎｐｕｔ Ｄｅｖｉｃｅ Ｐｌａｃｅｍｅｎｔ Ｏｎ Ａ Ｔｏｕｃｈ Ｓｃｒｅｅｎ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ」、（７）２００５年９月１６日出願の同第１１／２２８，７００号、「Ｏｐｅｒａｔｉｏｎ Ｏｆ Ａ Ｃｏｍｐｕｔｅｒ Ｗｉｔｈ Ａ Ｔｏｕｃｈ Ｓｃｒｅｅｎ Ｉｎｔｅｒｆａｃｅ」、（８）２００５年９月１６日出願の同第１１／２２８，７３７号、「Ａｃｔｉｖａｔｉｎｇ Ｖｉｒｔｕａｌ Ｋｅｙｓ Ｏｆ Ａ Ｔｏｕｃｈ－Ｓｃｒｅｅｎ Ｖｉｒｔｕａｌ Ｋｅｙｂｏａｒｄ」、及び（９）２００６年３月３日出願の同第１１／３６７，７４９号、「Ｍｕｌｔｉ－Ｆｕｎｃｔｉｏｎａｌ Ｈａｎｄ－Ｈｅｌｄ Ｄｅｖｉｃｅ」。これらの出願の全てにおいて、その全体が参照により本明細書に組み込まれる。 Touch-sensitive displays in some embodiments of touch screen 112 are described in the following applications: (1) U.S. Patent Application No. 11/381,313, filed May 2, 2006, entitled "Multipoint Touch Surface Controller," (2) U.S. Patent Application No. 10/840,862, filed May 6, 2004, entitled "Multipoint Touchscreen," (3) U.S. Patent Application No. 10/903,964, filed July 30, 2004, entitled "Gestures For Touch Sensitive Input Devices," (4) U.S. Patent Application No. 11/048,264, filed January 31, 2005, entitled "Gestures For Touch Sensitive Input Devices," (5) U.S. Patent No. 11/038,590, filed January 18, 2005, entitled "Mode-Based Graphical User Interfaces For Touch Sensitive Input Devices," (6) U.S. Patent No. 11/228,758, filed September 16, 2005, entitled "Virtual Input Device Placement On A Touch Screen User Interface," (7) U.S. Patent No. 11/228,700, filed September 16, 2005, entitled "Operation Of A Computer With A Touch Screen" (8) U.S. Patent No. 11/228,737, filed September 16, 2005, entitled "Activating Virtual Keys of a Touch-Screen Virtual Keyboard," and (9) U.S. Patent No. 11/367,749, filed March 3, 2006, entitled "Multi-Functional Hand-Held Device." All of these applications are incorporated herein by reference in their entirety.

タッチスクリーン１１２は、任意選択的に、１００ｄｐｉを超えるビデオ解像度を有する。一部の実施形態では、タッチスクリーンは約１６０ｄｐｉのビデオ解像度を有する。ユーザは、スタイラス、指などの任意の好適な物体又は付属器を使用して、タッチスクリーン１１２と任意選択的に接触する。一部の実施形態では、ユーザインターフェースは、主として指に基づく接触及びジェスチャによって機能するように設計され、タッチスクリーン上の指の接触面積が広いことにより、スタイラスに基づく入力よりも精度が低いことがある。一部の実施形態では、デバイスは、指に基づく粗い入力を、ユーザの望むアクションを行うために正確なポインタ／カーソル位置又はコマンドに変換する。 Touchscreen 112 optionally has a video resolution greater than 100 dpi. In some embodiments, the touchscreen has a video resolution of approximately 160 dpi. A user optionally contacts touchscreen 112 using any suitable object or appendage, such as a stylus, finger, or the like. In some embodiments, the user interface is designed to function primarily through finger-based contact and gestures, which may be less precise than stylus-based input due to the large contact area of a finger on the touchscreen. In some embodiments, the device translates coarse finger-based input into precise pointer/cursor positions or commands to perform the user's desired action.

一部の実施形態では、タッチスクリーンに加えて、デバイス１００は、特定の機能をアクティブ化又は非アクティブ化するためのタッチパッドを任意選択的に含む。一部の実施形態では、タッチパッドは、タッチスクリーンとは異なり、視覚的出力を表示しない、デバイスのタッチ感知エリアである。タッチパッドは、任意選択的に、タッチスクリーン１１２とは別個のタッチ感知面又はタッチスクリーンによって形成されたタッチ感知面の拡張部である。 In some embodiments, in addition to the touchscreen, device 100 optionally includes a touchpad for activating or deactivating certain functions. In some embodiments, the touchpad is a touch-sensitive area of the device that, unlike the touchscreen, does not display visual output. The touchpad is optionally a touch-sensitive surface separate from touchscreen 112 or an extension of the touch-sensitive surface formed by the touchscreen.

デバイス１００はまた、様々な構成要素に電力を供給するための電力システム１６２を含む。電力システム１６２は任意選択的に、電力管理システム、１つ以上の電源（例えば、バッテリ、交流（ＡＣ））、再充電システム、停電検出回路、電力コンバータ又はインバータ、電力状態インジケータ（例えば、発光ダイオード（ＬＥＤ））、並びにポータブルデバイス内での電力の生成、管理、及び分配と関連付けられた任意の他の構成要素を含む。 Device 100 also includes a power system 162 for providing power to the various components. Power system 162 optionally includes a power management system, one or more power sources (e.g., battery, alternating current (AC)), a recharging system, power failure detection circuitry, power converters or inverters, power status indicators (e.g., light emitting diodes (LEDs)), and any other components associated with generating, managing, and distributing power within a portable device.

デバイス１００はまた、任意選択的に、１つ以上の光センサ１６４を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の光センサコントローラ１５８に結合された光センサを示す。光センサ１６４は、電荷結合デバイス（ＣＣＤ）又は相補的金属酸化物半導体（ＣＭＯＳ）フォトトランジスタを、任意選択的に含む。光センサ１６４は、１つ以上のレンズを通して投影された、環境からの光を受光し、その光を、画像を表現するデータに変換する。撮像モジュール１４３（カメラモジュールとも称する）と連携して、光センサ１６４は、静止画像又はビデオを任意選択的にキャプチャする。一部の実施形態では、タッチスクリーンディスプレイを静止画像及び／又はビデオ画像取得のためのビューファインダとして有効化するように、光センサは、デバイスの前面にあるタッチスクリーンディスプレイ１１２とは反対側である、デバイス１００の背面に配置される。一部の実施形態では、ユーザが他のテレビ会議参加者をタッチスクリーンディスプレイ上で見ながらそのユーザの画像をテレビ会議のために任意選択的に得るように、デバイスの前面に光センサが配置される。一部の実施形態では、光センサ１６４の位置は、テレビ会議と、静止画像及び／又はビデオ画像の取得との双方のために、単一の光センサ１６４がタッチスクリーンディスプレイと共に使用されるように、ユーザによって（例えば、デバイス筐体内のレンズ及びセンサを回転させることによって）変更することができる。 Device 100 also optionally includes one or more light sensors 164. FIG. 1A shows a light sensor coupled to light sensor controller 158 in I/O subsystem 106. Light sensor 164 optionally includes a charge-coupled device (CCD) or a complementary metal-oxide semiconductor (CMOS) phototransistor. Light sensor 164 receives light from the environment projected through one or more lenses and converts the light into data representing an image. In conjunction with imaging module 143 (also referred to as a camera module), light sensor 164 optionally captures still images or video. In some embodiments, the light sensor is located on the back of device 100, opposite touchscreen display 112 on the front of the device, to enable the touchscreen display as a viewfinder for still and/or video image acquisition. In some embodiments, the light sensor is located on the front of the device to optionally obtain an image of the user for a videoconference while the user views other videoconference participants on the touchscreen display. In some embodiments, the position of the optical sensor 164 can be changed by the user (e.g., by rotating the lens and sensor within the device housing) so that a single optical sensor 164 is used with the touchscreen display for both video conferencing and capturing still and/or video images.

デバイス１００はまた、１つ以上の深度カメラセンサ１７５を任意選択的に含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の深度カメラコントローラ１６９に結合された深度カメラセンサを示す。深度カメラセンサ１７５は、ビューポイント（例えば、深度カメラセンサ）からのシーン中のオブジェクト（例えば、顔）の３次元モデルを作成するように環境からデータを受信する。一部の実施形態では、撮像モジュール１４３（カメラモジュールとも呼ばれる）と連携して、深度カメラセンサ１７５は、任意選択的に、撮像モジュール１４３によってキャプチャされる画像の異なる部分の深度マップを決定するように使用される。一部の実施形態では、ユーザが他のテレビ会議参加者をタッチスクリーンディスプレイ上で見ながら深度情報を伴うそのユーザの画像をテレビ会議のために任意選択的に得るように、及び深度マップデータを伴う自撮り画像をキャプチャするために、デバイス１００の前面に深度カメラセンサが配置される。一部の実施形態では、深度カメラセンサ１７５は、デバイスの背面、又はデバイス１００の背面及び前面に配置される。一部の実施形態では、テレビ会議と、静止画像及び／又はビデオ画像の取得との双方のために、単一の深度カメラセンサ１７５がタッチスクリーンディスプレイと共に使用されるように、深度カメラセンサ１７５の位置は、ユーザによって（例えば、デバイス筐体内のレンズ及びセンサを回転させることによって）変更することができる。 Device 100 also optionally includes one or more depth camera sensors 175. FIG. 1A shows a depth camera sensor coupled to depth camera controller 169 in I/O subsystem 106. Depth camera sensor 175 receives data from the environment to create a three-dimensional model of an object (e.g., a face) in a scene from a viewpoint (e.g., the depth camera sensor). In some embodiments, in conjunction with imaging module 143 (also referred to as a camera module), depth camera sensor 175 is optionally used to determine a depth map of different portions of an image captured by imaging module 143. In some embodiments, a depth camera sensor is located on the front of device 100 to optionally obtain an image of the user with depth information for videoconferences while the user views other videoconference participants on the touchscreen display, and to capture selfie images with depth map data. In some embodiments, depth camera sensor 175 is located on the back of the device, or on both the back and front of device 100. In some embodiments, the position of the depth camera sensor 175 can be changed by the user (e.g., by rotating the lens and sensor within the device housing) so that a single depth camera sensor 175 is used in conjunction with a touchscreen display for both video conferencing and capturing still and/or video images.

一部の実施形態では、深度マップ（例えば、深度マップ画像）は、ビューポイント（例えば、カメラ、光センサ、深度カメラセンサ）からのシーン中のオブジェクトの距離に関する情報（例えば、値）を含む。深度マップの一実施形態では、各深度ピクセルは、ビューポイントのＺ軸において対応する２次元ピクセルが配置される位置を定義する。一部の実施形態では、深度マップは、各ピクセルが値（例えば、０～２５５）によって定義されるピクセルで構成される。例えば、「０」値は、「３次元」シーン中の最も離れた位置に配置されるピクセルを表し、「２５５」値は、「３次元」シーン中のビューポイント（例えば、カメラ、光センサ、深度カメラセンサ）の最も近くに配置されるピクセルを表す。他の実施形態では、深度マップは、シーン中のオブジェクトとビューポイントの平面との間の距離を表す。一部の実施形態では、深度マップは、深度カメラからのビューにおける関心のあるオブジェクトの様々な特徴の相対深度（例えば、ユーザの顔の目、鼻、口、耳の相対深度）に関する情報を含む。一部の実施形態では、深度マップは、関心のあるオブジェクトのｚ方向の輪郭をデバイスが判定することを可能にする情報を含む。 In some embodiments, a depth map (e.g., a depth map image) contains information (e.g., values) about the distance of objects in a scene from a viewpoint (e.g., a camera, light sensor, depth camera sensor). In one embodiment of a depth map, each depth pixel defines where a corresponding two-dimensional pixel is located on the z-axis of the viewpoint. In some embodiments, a depth map is composed of pixels, each defined by a value (e.g., 0-255). For example, a value of "0" represents the pixel located furthest away in a "three-dimensional" scene, and a value of "255" represents the pixel located closest to the viewpoint (e.g., a camera, light sensor, depth camera sensor) in the "three-dimensional" scene. In other embodiments, a depth map represents the distance between an object in a scene and the plane of the viewpoint. In some embodiments, a depth map contains information about the relative depth of various features of an object of interest in the view from a depth camera (e.g., the relative depth of the eyes, nose, mouth, and ears on a user's face). In some embodiments, a depth map contains information that enables a device to determine the z-direction contour of an object of interest.

デバイス１００はまた、１つ以上の接触強度センサ１６５を任意選択的に含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の強度センサコントローラ１５９に結合された、接触強度センサを示す。接触強度センサ１６５は、１つ以上のピエゾ抵抗ひずみゲージ、電気容量式力センサ、電気力センサ、圧電力センサ、光学力センサ、容量式タッチ感知面又は他の強度センサ（例えば、タッチ感知面上の接触の力（又は圧力）を測定するために使用するセンサ）を、任意選択的に含む。接触強度センサ１６５は、周辺環境からの接触強度情報（例えば、圧力情報又は圧力情報の代用）を受信する。一部の実施形態では、少なくとも１つの接触強度センサが、タッチ感知面（例えば、タッチ感知ディスプレイシステム１１２）に配置されているか、又は、それに近接している。一部の実施形態では、少なくとも１つの接触強度センサが、デバイス１００の前面に配置されたタッチスクリーンディスプレイ１１２とは反対側である、デバイス１００の背面に配置されている。 Device 100 also optionally includes one or more contact intensity sensors 165. FIG. 1A shows a contact intensity sensor coupled to intensity sensor controller 159 in I/O subsystem 106. Contact intensity sensor 165 optionally includes one or more piezoresistive strain gauges, capacitive force sensors, electrical force sensors, piezoelectric force sensors, optical force sensors, capacitive touch-sensitive surfaces, or other intensity sensors (e.g., sensors used to measure the force (or pressure) of a contact on a touch-sensitive surface). Contact intensity sensor 165 receives contact intensity information (e.g., pressure information or a proxy for pressure information) from the surrounding environment. In some embodiments, at least one contact intensity sensor is located on or proximate to the touch-sensitive surface (e.g., touch-sensitive display system 112). In some embodiments, at least one contact intensity sensor is located on the back of device 100, opposite touchscreen display 112, which is located on the front of device 100.

デバイス１００はまた、１つ以上の近接センサ１６６を任意選択的に含む。図１Ａは、周辺機器インターフェース１１８と結合された近接センサ１６６を示す。あるいは、近接センサ１６６は、任意選択的に、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に結合される。近接センサ１６６は、本明細書に参照によって組み込まれる、米国特許出願第１１／２４１，８３９号、「Ｐｒｏｘｉｍｉｔｙ Ｄｅｔｅｃｔｏｒ Ｉｎ Ｈａｎｄｈｅｌｄ Ｄｅｖｉｃｅ」、同第１１／２４０，７８８号、「Ｐｒｏｘｉｍｉｔｙ Ｄｅｔｅｃｔｏｒ Ｉｎ Ｈａｎｄｈｅｌｄ Ｄｅｖｉｃｅ」、同第１１／６２０，７０２号、「Ｕｓｉｎｇ Ａｍｂｉｅｎｔ Ｌｉｇｈｔ Ｓｅｎｓｏｒ Ｔｏ Ａｕｇｍｅｎｔ Ｐｒｏｘｉｍｉｔｙ Ｓｅｎｓｏｒ Ｏｕｔｐｕｔ」、同第１１／５８６，８６２号、「Ａｕｔｏｍａｔｅｄ Ｒｅｓｐｏｎｓｅ Ｔｏ Ａｎｄ Ｓｅｎｓｉｎｇ Ｏｆ Ｕｓｅｒ Ａｃｔｉｖｉｔｙ Ｉｎ Ｐｏｒｔａｂｌｅ Ｄｅｖｉｃｅｓ」、及び同第１１／６３８，２５１号、「Ｍｅｔｈｏｄｓ Ａｎｄ Ｓｙｓｔｅｍｓ Ｆｏｒ Ａｕｔｏｍａｔｉｃ Ｃｏｎｆｉｇｕｒａｔｉｏｎ Ｏｆ Ｐｅｒｉｐｈｅｒａｌｓ」で説明されるように、任意選択的に機能する。一部の実施形態では、多機能デバイスがユーザの耳の近くに配置されている場合（例えば、ユーザが通話している場合）、近接センサは、タッチスクリーン１１２をオフにし無効にする。 Device 100 also optionally includes one or more proximity sensors 166. FIG. 1A shows proximity sensor 166 coupled to peripherals interface 118. Alternatively, proximity sensor 166 is optionally coupled to input controller 160 within I/O subsystem 106. The proximity sensor 166 may be a sensor or sensor system as described in U.S. patent application Ser. No. 11/241,839, entitled "Proximity Detector In Handheld Device," Ser. No. 11/240,788, entitled "Proximity Detector In Handheld Device," Ser. No. 11/620,702, entitled "Using Ambient Light Sensor To Augment Proximity Sensor Output," and Ser. No. 11/586,862, entitled "Automated Response To And Sensing Of User Activity In Portable Devices," all of which are incorporated herein by reference. The proximity sensor optionally functions as described in "Devices" and "Methods And Systems For Automatic Configuration Of Peripherals" in US Pat. No. 11/638,251. In some embodiments, the proximity sensor turns off and disables touchscreen 112 when the multifunction device is placed near the user's ear (e.g., when the user is making a phone call).

デバイス１００はまた、任意選択的に、１つ以上の触知出力生成器１６７を含む。図１Ａは、Ｉ／Ｏサブシステム１０６内の触覚フィードバックコントローラ１６１に結合された触知出力生成器を示す。触知出力生成器１６７は、スピーカ又は他のオーディオ構成要素などの１つ以上の電気音響デバイス、及び／又はモータ、ソレノイド、電気アクティブポリマー、圧電アクチュエータ、静電アクチュエータ若しくは他の触知出力生成構成要素（例えば、デバイス上で電気信号を触知出力に変換する構成要素）などの、エネルギを直線運動に変換する電気機械デバイスを、任意選択的に含む。接触強度センサ１６５は、触知フィードバックモジュール１３３から触覚フィードバック生成命令を受信し、デバイス１００のユーザが感知できる触知出力をデバイス１００上で生成する。一部の実施形態では、少なくとも１つの触知出力生成器が、タッチ感知面（例えば、タッチ感知ディスプレイシステム１１２）に配置されているか、又はそれに近接しており、任意選択的に、タッチ感知面を垂直方向（例えば、デバイス１００の表面の内／外）に、又は横方向（例えば、デバイス１００の表面と同じ平面内の前後）に動かすことによって、触知出力を生成する。一部の実施形態では、少なくとも１つの触知出力生成器センサが、デバイス１００の前面に配置されたタッチスクリーンディスプレイ１１２とは反対側である、デバイス１００の背面に配置されている。 Device 100 also optionally includes one or more tactile output generators 167. FIG. 1A shows a tactile output generator coupled to haptic feedback controller 161 in I/O subsystem 106. Tactile output generator 167 optionally includes one or more electroacoustic devices, such as speakers or other audio components, and/or electromechanical devices that convert energy into linear motion, such as motors, solenoids, electroactive polymers, piezoelectric actuators, electrostatic actuators, or other tactile output generating components (e.g., components that convert electrical signals into tactile output on the device). Contact intensity sensor 165 receives tactile feedback generation commands from tactile feedback module 133 and generates a tactile output on device 100 that can be sensed by a user of device 100. In some embodiments, at least one tactile output generator is disposed on or proximate to the touch-sensitive surface (e.g., touch-sensitive display system 112) and optionally generates a tactile output in response to moving the touch-sensitive surface vertically (e.g., in/out of the surface of device 100) or laterally (e.g., back and forth in the same plane as the surface of device 100). In some embodiments, at least one tactile output generator sensor is disposed on the back of device 100, opposite touchscreen display 112, which is disposed on the front of device 100.

デバイス１００はまた、１つ以上の加速度計１６８を任意選択的に含む。図１Ａは、周辺機器インターフェース１１８に結合された加速度計１６８を示す。あるいは、加速度計１６８は、Ｉ／Ｏサブシステム１０６内の入力コントローラ１６０に任意選択的に結合される。加速度計１６８は、任意選択的に、共にその全体が参照により本明細書に組み込まれる米国特許出願公開第２００５０１９００５９号、「Ａｃｃｅｌｅｒａｔｉｏｎ－ｂａｓｅｄ Ｔｈｅｆｔ Ｄｅｔｅｃｔｉｏｎ Ｓｙｓｔｅｍ ｆｏｒ Ｐｏｒｔａｂｌｅ Ｅｌｅｃｔｒｏｎｉｃ Ｄｅｖｉｃｅｓ」、及び同第２００６００１７６９２号、「Ｍｅｔｈｏｄｓ Ａｎｄ Ａｐｐａｒａｔｕｓｅｓ Ｆｏｒ Ｏｐｅｒａｔｉｎｇ Ａ Ｐｏｒｔａｂｌｅ Ｄｅｖｉｃｅ Ｂａｓｅｄ Ｏｎ Ａｎ Ａｃｃｅｌｅｒｏｍｅｔｅｒ」で説明されるように機能する。一部の実施形態では、情報は、１つ以上の加速度計から受信したデータの分析に基づいて、縦置き表示又は横置き表示でタッチスクリーンディスプレイ上に表示される。デバイス１００は、加速度計（単数又は複数）１６８に加えて、磁気計並びにデバイス１００の位置及び方位（例えば、縦置き又は横置き）に関する情報を取得するためのＧＰＳ（又はＧＬＯＮＡＳＳ若しくは他のグローバルナビゲーションシステム）受信機を任意選択的に含む。 Device 100 also optionally includes one or more accelerometers 168. FIG. 1A shows accelerometer 168 coupled to peripherals interface 118. Alternatively, accelerometer 168 is optionally coupled to input controller 160 within I/O subsystem 106. The accelerometer 168 optionally functions as described in U.S. Patent Application Publication Nos. 20050190059, "Acceleration-based Theft Detection System for Portable Electronic Devices," and 20060017692, "Methods And Apparatuses For Operating A Portable Device Based On An Accelerometer," both of which are incorporated by reference herein in their entireties. In some embodiments, information is displayed on the touchscreen display in portrait or landscape orientation based on analysis of data received from one or more accelerometers. In addition to accelerometer(s) 168, device 100 optionally includes a magnetometer and a GPS (or GLONASS or other global navigation system) receiver for obtaining information regarding the location and orientation (e.g., portrait or landscape orientation) of device 100.

一部の実施形態では、メモリ１０２に記憶されたソフトウェア構成要素は、オペレーティングシステム１２６、通信モジュール（又は命令セット）１２８、接触／動きモジュール（又は命令セット）１３０、グラフィックモジュール（又は命令セット）１３２、テキスト入力モジュール（又は命令セット）１３４、全地球測位システム（Global Positioning System、ＧＰＳ）モジュール（又は命令セット）１３５及びアプリケーション（又は命令セット）１３６を含む。更に、一部の実施形態では、図１Ａ及び図３に示すように、メモリ１０２（図１Ａ）又はメモリ３７０（図３）は、デバイス／グローバル内部状態１５７を記憶する。デバイス／グローバル内部状態１５７は、以下の、現在アクティブ状態のアプリケーションがある場合、どのアプリケーションがアクティブかを示す、アクティブアプリケーション状態、どのアプリケーション、ビュー又は他の情報がタッチスクリーンディスプレイ１１２の様々な領域を占めているかを示す、表示状態、デバイスの様々なセンサ及び入力制御デバイス１１６から取得される情報を含む、センサ状態、並びに、デバイスの位置及び／又は姿勢に関する位置情報、の１つ以上を含む。 In some embodiments, the software components stored in memory 102 include an operating system 126, a communications module (or instruction set) 128, a touch/motion module (or instruction set) 130, a graphics module (or instruction set) 132, a text input module (or instruction set) 134, a Global Positioning System (GPS) module (or instruction set) 135, and applications (or instruction sets) 136. Additionally, in some embodiments, as shown in FIGS. 1A and 3, memory 102 (FIG. 1A) or memory 370 (FIG. 3) stores device/global internal state 157. Device/global internal state 157 includes one or more of the following: an active application state, indicating which, if any, applications are currently active; a display state, indicating which applications, views, or other information occupy various regions of touchscreen display 112; a sensor state, including information obtained from the device's various sensors and input control devices 116; and location information regarding the device's position and/or orientation.

オペレーティングシステム１２６（例えば、Ｄａｒｗｉｎ（登録商標）、ＲＴＸＣ（登録商標）、ＬＩＮＵＸ（登録商標）、ＵＮＩＸ（登録商標）、ＯＳ Ｘ（登録商標）、ｉＯＳ（登録商標）、ＷＩＮＤＯＷＳ（登録商標）、又はＶｘＷｏｒｋｓ（登録商標）などの組み込みオペレーティングシステム）は、一般的なシステムタスク（例えば、メモリ管理、記憶デバイス制御、電力管理など）を制御及び管理するための様々なソフトウェア構成要素及び／又はドライバを含み、様々なハードウェア構成要素とソフトウェア構成要素との間の通信を容易にする。 Operating system 126 (e.g., an embedded operating system such as Darwin®, RTXC®, LINUX®, UNIX®, OS X®, iOS®, WINDOWS®, or VxWorks®) includes various software components and/or drivers for controlling and managing common system tasks (e.g., memory management, storage device control, power management, etc.) and facilitating communication between various hardware and software components.

通信モジュール１２８は、１つ以上の外部ポート１２４を介して他のデバイスとの通信を容易にし、ＲＦ回路１０８及び／又は外部ポート１２４が受信したデータを処理するための様々なソフトウェア構成要素も含む。外部ポート１２４（例えば、ユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）、ＦＩＲＥＷＩＲＥ（登録商標）など）は、直接的に、又はネットワーク（例えば、インターネット、無線ＬＡＮなど）を通して間接的に、他のデバイスに結合するように適応している。一部の実施形態では、外部ポートは、ｉＰｏｄ（登録商標）（Ａｐｐｌｅ Ｉｎｃ．の商標）デバイス上で使用される３０ピンコネクタと同じか、若しくは同様のマルチピン（例えば、３０ピン）コネクタ、及び／又は互換性のあるマルチピン（例えば、３０ピン）コネクタである。 The communications module 128 facilitates communication with other devices via one or more external ports 124 and also includes various software components for processing data received by the RF circuitry 108 and/or the external ports 124. The external ports 124 (e.g., Universal Serial Bus (USB), FIREWIRE®, etc.) are adapted to couple to other devices directly or indirectly through a network (e.g., the Internet, wireless LAN, etc.). In some embodiments, the external ports are multi-pin (e.g., 30-pin) connectors that are the same as or similar to the 30-pin connector used on iPod® (a trademark of Apple Inc.) devices, and/or are compatible multi-pin (e.g., 30-pin) connectors.

接触／動きモジュール１３０は、（ディスプレイコントローラ１５６と連携して）タッチスクリーン１１２及び他のタッチ感知デバイス（例えば、タッチパッド又は物理的なクリックホイール）との接触を任意選択的に検出する。接触／動きモジュール１３０は、接触が生じたかを判定すること（例えば、指を下ろすイベントを検出すること）、接触の強度（例えば、接触の力若しくは圧力、又は接触の力若しくは圧力の代替）を判定すること、接触の移動があるかを判定し、タッチ感知面に亘る移動を追跡すること（例えば、指をドラッグする１つ以上のイベントを検出すること）、及び接触が中止したかを判定すること（例えば、指を上げるイベント又は接触の中止を検出すること）などの、接触の検出に関する様々な動作を行うための、様々なソフトウェア構成要素を含む。接触／動きモジュール１３０は、タッチ感知面から接触データを受信する。一連の接触データにより表される接触点の移動を判定することは、任意選択的に、接触点の速さ（大きさ）、速度（大きさ及び方向）、並びに／又は加速度（大きさ及び／又は方向における変化）を判定することを含む。これらの動作は、任意選択的に、単一の接触（例えば、１本の指の接触）又は複数の同時接触（例えば、「マルチタッチ」／複数の指の接触）に適用される。一部の実施形態では、接触／動きモジュール１３０及びディスプレイコントローラ１５６は、タッチパッド上の接触を検出する。 Contact/motion module 130 (in cooperation with display controller 156) optionally detects contact with touch screen 112 and other touch-sensing devices (e.g., a touchpad or physical click wheel). Contact/motion module 130 includes various software components for performing various operations related to contact detection, such as determining whether contact has occurred (e.g., detecting a finger-down event), determining the intensity of the contact (e.g., the force or pressure of the contact, or a proxy for the force or pressure of the contact), determining whether there is contact movement and tracking the movement across the touch-sensitive surface (e.g., detecting one or more finger-drag events), and determining whether contact has ceased (e.g., detecting a finger-up event or cessation of contact). Contact/motion module 130 receives contact data from the touch-sensitive surface. Determining the movement of the contact point represented by the set of contact data optionally includes determining the speed (magnitude), velocity (magnitude and direction), and/or acceleration (change in magnitude and/or direction) of the contact point. These actions are optionally applied to a single contact (e.g., a single finger contact) or multiple simultaneous contacts (e.g., "multi-touch"/multiple finger contacts). In some embodiments, contact/motion module 130 and display controller 156 detect contacts on a touchpad.

一部の実施形態では、接触／動きモジュール１３０は、ユーザによって動作が行われたかを判定するための（例えば、ユーザがアイコン上で「クリック」したかを判定するための）、１つ以上の強度閾値のセットを使用する。一部の実施形態では、少なくとも強度閾値のサブセットが、ソフトウェアパラメータに従って決定される（例えば、強度閾値は、特定の物理的なアクチュエータのアクティブ化閾値によって決定されず、デバイス１００の物理的なハードウェアを変更することなく調整し得る）。例えば、トラックパッド又はタッチスクリーンディスプレイのマウス「クリック」閾値を、トラックパッド又はタッチスクリーンディスプレイのハードウェアを変更することなく、広範囲の所定の閾値のうちのいずれかに設定することができる。加えて、一部の実装形態では、デバイスのユーザには、強度閾値のセットのうちの１つ以上を調整するためのソフトウェア設定が提供される（例えば、個々の強度閾値を調整することによって、及び／又はシステムレベルのクリック「強度」パラメータで一度に複数の強度閾値を調整することによって）。 In some embodiments, the contact/motion module 130 uses a set of one or more intensity thresholds to determine whether an action has been taken by the user (e.g., whether the user has "clicked" on an icon). In some embodiments, at least a subset of the intensity thresholds are determined according to software parameters (e.g., the intensity thresholds are not determined by the activation threshold of a particular physical actuator and may be adjusted without modifying the physical hardware of the device 100). For example, the mouse "click" threshold of a trackpad or touchscreen display may be set to any of a wide range of predetermined thresholds without modifying the trackpad or touchscreen display hardware. Additionally, in some implementations, a device user is provided with a software setting to adjust one or more of the set of intensity thresholds (e.g., by adjusting individual intensity thresholds and/or by adjusting multiple intensity thresholds at once with a system-level click "intensity" parameter).

接触／動きモジュール１３０は、ユーザによるジェスチャ入力を任意選択的に検出する。タッチ感知面上の異なるジェスチャは、異なる接触パターン（例えば、検出される接触の異なる動き、タイミング、及び／又は強度）を有する。したがって、ジェスチャは、任意選択的に、特定の接触パターンの検出によって検出される。例えば、指のタップジェスチャを検出することは、（例えば、アイコンの位置での）指を下ろすイベントを検出し、続いてその指を下ろすイベントと同じ位置（又は、実質的に同じ位置）で指を上げる（リフトオフ）イベントを検出することを含む。別の例として、タッチ感知面上での指のスワイプジェスチャを検出することは、指を下ろすイベントを検出し、続いて、１つ以上の、指をドラッグするイベントを検出し、その後、続いて指を上げる（リフトオフ）イベントを検出することを含む。 Contact/motion module 130 optionally detects gesture input by a user. Different gestures on the touch-sensitive surface have different contact patterns (e.g., different movements, timing, and/or strength of the detected contact). Thus, gestures are optionally detected by detecting a particular contact pattern. For example, detecting a finger tap gesture includes detecting a finger down event (e.g., at the location of an icon), followed by detecting a finger lift (lift-off) event at the same location (or substantially the same location) as the finger down event. As another example, detecting a finger swipe gesture on the touch-sensitive surface includes detecting a finger down event, followed by detecting one or more finger drag events, followed by detecting a finger lift (lift-off) event.

グラフィックモジュール１３２は、表示されるグラフィックの視覚的効果（例えば、輝度、透明度、彩度、コントラスト、又は他の視覚特性）を変更するための構成要素を含む、タッチスクリーン１１２又は他のディスプレイ上にグラフィックをレンダリングして表示するための、様々な既知のソフトウェア構成要素を含む。本明細書で使用されるとき、用語「グラフィック」は、テキスト、ウェブページ、アイコン（ソフトキーを含むユーザインターフェースオブジェクトなど）、デジタル画像、ビデオ、及びアニメーションなどを含むがこれらに限定されない、ユーザに対して表示することができる任意のオブジェクトを含む。 The graphics module 132 includes various known software components for rendering and displaying graphics on the touchscreen 112 or other display, including components for modifying the visual effects (e.g., brightness, transparency, saturation, contrast, or other visual characteristics) of the displayed graphics. As used herein, the term "graphics" includes any object that can be displayed to a user, including, but not limited to, text, web pages, icons (e.g., user interface objects, including soft keys), digital images, video, and animation.

一部の実施形態では、グラフィックモジュール１３２は、使用されることとなるグラフィックを表すデータを記憶する。各グラフィックには、任意選択的に、対応するコードが割り当てられる。グラフィックモジュール１３２は、アプリケーションなどから、必要に応じて座標データ及び他のグラフィック特性データと共に、表示されることとなるグラフィックを指定する１つ以上のコードを受信し、その後に、ディスプレイコントローラ１５６に出力するスクリーンの画像データを生成する。 In some embodiments, graphics module 132 stores data representing the graphics to be used. Each graphic is optionally assigned a corresponding code. Graphics module 132 receives one or more codes specifying the graphics to be displayed, including coordinate data and other graphic characteristic data as needed, from an application or the like, and then generates screen image data to output to display controller 156.

触覚フィードバックモジュール１３３は、デバイス１００とのユーザ対話に応じてデバイス１００上の１つ以上の位置で触知出力を生成するために、触知出力生成器（単数又は複数）１６７によって使用される命令を生成するための様々なソフトウェア構成要素を含む。 The haptic feedback module 133 includes various software components for generating instructions used by the tactile output generator(s) 167 to generate tactile outputs at one or more locations on the device 100 in response to user interaction with the device 100.

テキスト入力モジュール１３４は、任意選択的に、グラフィックモジュール１３２の構成要素であり、様々なアプリケーション（例えば、連絡先１３７、電子メール１４０、ＩＭ１４１、ブラウザ１４７、及びテキスト入力を必要とする任意の他のアプリケーション）でテキストを入力するためのソフトキーボードを提供する。 Text input module 134 is optionally a component of graphics module 132 and provides a soft keyboard for entering text in various applications (e.g., contacts 137, email 140, IM 141, browser 147, and any other application requiring text input).

ＧＰＳモジュール１３５は、デバイスの位置を決定し、この情報を、様々なアプリケーションでの使用のために提供する（例えば、位置に基づく発信での使用のために電話１３８へ、写真／ビデオメタデータとしてカメラ１４３へ、並びに、天気ウィジェット、ローカルイエローページウィジェット及びマップ／ナビゲーションウィジェットなどの、位置に基づくサービスを提供するアプリケーションへ）。 The GPS module 135 determines the device's location and provides this information for use by various applications (e.g., to the phone 138 for use in location-based calling, to the camera 143 as photo/video metadata, and to applications that provide location-based services such as weather widgets, local yellow pages widgets, and maps/navigation widgets).

アプリケーション１３６は、以下のモジュール（若しくは命令セット）、又はそれらのサブセット若しくはスーパーセットを任意選択的に含む。
●連絡先モジュール１３７（場合により、アドレス帳又は連絡先リストとも呼ばれる）、
●電話モジュール１３８、
●テレビ会議モジュール１３９、
●電子メールクライアントモジュール１４０、
●インスタントメッセージング（ＩＭ）モジュール１４１、
●トレーニングサポートモジュール１４２、
●静止画像及び／又はビデオ画像用のカメラモジュール１４３、
●画像管理モジュール１４４、
●ビデオプレーヤモジュール、
●音楽プレーヤモジュール、
●ブラウザモジュール１４７、
●カレンダーモジュール１４８、
●天気ウィジェット１４９－１、株価ウィジェット１４９－２、計算機ウィジェット１４９－３、アラーム時計ウィジェット１４９－４、辞書ウィジェット１４９－５及びユーザによって取得された他のウィジェット、並びにユーザ作成ウィジェット１４９－６のうちの１つ以上を任意選択的に含む、ウィジェットモジュール１４９、
●ユーザ作成ウィジェット１４９－６を作成するためのウィジェット作成モジュール１５０、
●検索モジュール１５１、
●ビデオプレーヤモジュール及び音楽プレーヤモジュールを統合した、ビデオ及び音楽プレーヤモジュール１５２、
●メモモジュール１５３、
●マップモジュール１５４及び／又は
●オンラインビデオモジュール１５５。 Application 136 optionally includes the following modules (or sets of instructions), or a subset or superset thereof:
Contacts module 137 (sometimes referred to as an address book or contact list);
● Telephone module 138,
● videoconferencing module 139;
● email client module 140;
● Instant messaging (IM) module 141;
training support module 142;
camera module 143 for still and/or video images,
Image management module 144;
●Video player module,
●Music player module,
Browser module 147,
● Calendar module 148,
A widget module 149, optionally including one or more of a weather widget 149-1, a stock price widget 149-2, a calculator widget 149-3, an alarm clock widget 149-4, a dictionary widget 149-5 and other widgets obtained by the user, and user-created widgets 149-6;
• A widget creation module 150 for creating user-created widgets 149-6;
Search module 151;
A video and music player module 152 that integrates a video player module and a music player module;
Memo module 153,
• a map module 154 and/or • an online video module 155 .

任意選択的にメモリ１０２内に記憶される他のアプリケーション１３６の例としては、他のワードプロセッシングアプリケーション、他の画像編集アプリケーション、描画アプリケーション、プレゼンテーションアプリケーション、ＪＡＶＡ（登録商標）対応アプリケーション、暗号化、デジタル著作権管理、音声認識、及び音声複製が挙げられる。 Examples of other applications 136 that may optionally be stored in memory 102 include other word processing applications, other image editing applications, drawing applications, presentation applications, JAVA®-enabled applications, encryption, digital rights management, voice recognition, and voice duplication.

タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と共に、連絡先モジュール１３７は、（例えば、メモリ１０２又はメモリ３７０内の連絡先モジュール１３７のアプリケーション内部状態１９２に記憶される）アドレス帳又は連絡先リストを管理するために任意選択的に用いられ、それには、アドレス帳に名前（単数又は複数）を加えること、アドレス帳から名前（単数又は複数）を削除すること、電話番号（単数又は複数）、電子メールアドレス（単数又は複数）、住所（単数又は複数）、又は他の情報を名前と関連付けること、画像を名前と関連付けること、名前を分類かつ並べ替えること、電話番号若しくは電子メールアドレスを提供して、電話１３８、テレビ会議モジュール１３９、電子メール１４０、又はＩＭ１４１による通信を開始する及び／又は容易にすること、などが含まれる。 The contacts module 137, along with the touch screen 112, display controller 156, contact/motion module 130, graphics module 132, and text input module 134, is optionally used to manage an address book or contact list (e.g., stored in memory 102 or in the application internal state 192 of the contacts module 137 in memory 370), including adding a name(s) to the address book, deleting a name(s) from the address book, associating phone number(s), email address(es), address(es), or other information with a name, associating an image with a name, categorizing and sorting names, providing phone numbers or email addresses to initiate and/or facilitate communication via telephone 138, videoconferencing module 139, email 140, or IM 141, etc.

ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、電話モジュール１３８は、任意選択的に、電話番号に対応する一連の文字を入力し、連絡先モジュール１３７内の１つ以上の電話番号にアクセスし、入力された電話番号を修正し、対応する電話番号をダイアルし、会話を行い、そして、会話が完了したときに接続を切るか又は電話を切るために、使用される。前述のように、無線通信は、複数の通信規格、プロトコル、及び技術のうちの任意のものを任意選択的に使用する。 In conjunction with the RF circuitry 108, audio circuitry 110, speaker 111, microphone 113, touchscreen 112, display controller 156, contact/motion module 130, graphics module 132, and text input module 134, the telephone module 138 is optionally used to enter a series of characters corresponding to a telephone number, access one or more telephone numbers in the contacts module 137, modify an entered telephone number, dial the corresponding telephone number, conduct a conversation, and disconnect or hang up when the conversation is completed. As previously mentioned, the wireless communication optionally uses any of a number of communication standards, protocols, and technologies.

ＲＦ回路１０８、オーディオ回路１１０、スピーカ１１１、マイクロフォン１１３、タッチスクリーン１１２、ディスプレイコントローラ１５６、光センサ１６４、光センサコントローラ１５８、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、連絡先モジュール１３７、及び電話モジュール１３８と連携して、テレビ会議モジュール１３９は、ユーザの指示に従って、ユーザと１人以上の他の参加者との間のテレビ会議を開始し、遂行し、終了するための、実行可能な命令を含む。 In conjunction with the RF circuitry 108, audio circuitry 110, speaker 111, microphone 113, touch screen 112, display controller 156, light sensor 164, light sensor controller 158, contact/motion module 130, graphics module 132, text input module 134, contact module 137, and telephone module 138, the videoconferencing module 139 contains executable instructions for initiating, conducting, and terminating a videoconference between a user and one or more other participants in accordance with the user's instructions.

ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、電子メールクライアントモジュール１４０は、ユーザの指示に応じて、電子メールを作成し、送信し、受信し、管理するための、実行可能な命令を含む。画像管理モジュール１４４と連携して、電子メールクライアントモジュール１４０は、カメラモジュール１４３で撮影された静止画像又はビデオ画像を有する電子メールを作成及び送信することを非常に容易にする。 In conjunction with the RF circuitry 108, touch screen 112, display controller 156, contact/motion module 130, graphics module 132, and text input module 134, the email client module 140 contains executable instructions for creating, sending, receiving, and managing emails in response to user instructions. In conjunction with the image management module 144, the email client module 140 greatly facilitates creating and sending emails with still or video images captured by the camera module 143.

ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、インスタントメッセージングモジュール１４１は、インスタントメッセージに対応する文字列を入力したり、入力済の文字を修正したり、（例えば、電話ベースのインスタントメッセージのためのショートメッセージサービス（ＳＭＳ）若しくはマルチメディアメッセージサービス（ＭＭＳ）プロトコルを使用して、又はインターネットベースのインスタントメッセージのためのＸＭＰＰ、ＳＩＭＰＬＥ、若しくはＩＭＰＳを使用して）対応するインスタントメッセージを送信したり、インスタントメッセージを受信したり、受信したインスタントメッセージを閲覧したりするための、実行可能な命令を含む。一部の実施形態では、送信及び／又は受信されるインスタントメッセージは、任意選択的に、ＭＭＳ並びに／又は拡張メッセージングサービス（Enhanced Messaging Service、ＥＭＳ）でサポートされるような、グラフィック、写真、オーディオファイル、ビデオファイル、及び／若しくは他の添付ファイルを含む。本明細書において使用するとき、「インスタントメッセージング」とは、電話ベースのメッセージ（例えば、ＳＭＳ又はＭＭＳを使用して送信されるメッセージ）及びインターネットベースのメッセージ（例えば、ＸＭＰＰ、ＳＩＭＰＬＥ、又はＩＭＰＳを使用して送信されるメッセージ）の双方を指す。 In cooperation with the RF circuitry 108, touch screen 112, display controller 156, contact/motion module 130, graphics module 132, and text input module 134, instant messaging module 141 includes executable instructions for entering text corresponding to an instant message, modifying entered text, sending the corresponding instant message (e.g., using Short Message Service (SMS) or Multimedia Message Service (MMS) protocols for telephone-based instant messaging, or using XMPP, SIMPLE, or IMPS for Internet-based instant messaging), receiving instant messages, and viewing received instant messages. In some embodiments, sent and/or received instant messages optionally include graphics, photos, audio files, video files, and/or other attachments, such as those supported by MMS and/or Enhanced Messaging Service (EMS). As used herein, "instant messaging" refers to both telephone-based messages (e.g., messages sent using SMS or MMS) and internet-based messages (e.g., messages sent using XMPP, SIMPLE, or IMPS).

ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、マップモジュール１５４及び音楽プレーヤモジュールと連携して、トレーニングサポートモジュール１４２は、（例えば、時間、距離及び／又はカロリー消費目標を有する）トレーニングを作成する、トレーニングセンサ（スポーツデバイス）と通信する、トレーニングセンサデータを受信する、トレーニングをモニタするために使用されるセンサを較正する、トレーニングのための音楽を選択して再生する、及びトレーニングデータを表示し、記憶し、送信するための、実行可能な命令を含む。 In conjunction with the RF circuitry 108, touchscreen 112, display controller 156, contact/motion module 130, graphics module 132, text input module 134, GPS module 135, map module 154, and music player module, the training support module 142 includes executable instructions for creating workouts (e.g., with time, distance, and/or calorie burn goals), communicating with training sensors (sports devices), receiving training sensor data, calibrating sensors used to monitor workouts, selecting and playing music for workouts, and displaying, storing, and transmitting workout data.

タッチスクリーン１１２、ディスプレイコントローラ１５６、光センサ（単数又は複数）１６４、光センサコントローラ１５８、接触／動きモジュール１３０、グラフィックモジュール１３２、及び画像管理モジュール１４４と連携して、カメラモジュール１４３は、静止画像若しくは（ビデオストリームを含む）ビデオをキャプチャしてメモリ１０２にそれらを記憶する、静止画像若しくはビデオの特性を修正する、又はメモリ１０２から静止画像若しくはビデオを削除するための、実行可能な命令を含む。 In conjunction with the touch screen 112, display controller 156, light sensor(s) 164, light sensor controller 158, contact/motion module 130, graphics module 132, and image management module 144, the camera module 143 contains executable instructions for capturing still images or video (including video streams) and storing them in memory 102, modifying characteristics of the still images or video, or deleting the still images or video from memory 102.

タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４及びカメラモジュール１４３と連携して、画像管理モジュール１４４は、静止画像及び／又はビデオ画像を配置し、修正し（例えば、編集し）又は別の方法で操作し、ラベルを付け、削除し、（例えば、デジタルスライドショー又はアルバムにおいて）提示し、記憶するための、実行可能な命令を含む。 In conjunction with the touchscreen 112, display controller 156, contact/motion module 130, graphics module 132, text input module 134, and camera module 143, the image management module 144 includes executable instructions for arranging, modifying (e.g., editing) or otherwise manipulating, labeling, deleting, presenting (e.g., in a digital slideshow or album), and storing still and/or video images.

ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、ブラウザモジュール１４７は、ウェブページ又はそれらの一部、並びにウェブページにリンクされた添付及び他のファイルを検索し、リンク付けし、受信し、表示することを含むユーザの指示に従ってインターネットを閲覧するための実行可能な命令を含む。 In conjunction with the RF circuitry 108, touch screen 112, display controller 156, contact/motion module 130, graphics module 132, and text input module 134, the browser module 147 contains executable instructions for browsing the Internet according to user instructions, including retrieving, linking to, receiving, and displaying web pages or portions thereof, as well as attachments and other files linked to web pages.

ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０、及びブラウザモジュール１４７と連携して、カレンダーモジュール１４８は、ユーザの指示に従い、カレンダー及びカレンダーに関連付けられたデータ（例えば、カレンダー項目、ｔｏ ｄｏリストなど）を作成し、表示し、修正し、記憶するための実行可能な命令を含む。 In conjunction with the RF circuitry 108, touch screen 112, display controller 156, contact/motion module 130, graphics module 132, text input module 134, email client module 140, and browser module 147, the calendar module 148 contains executable instructions for creating, displaying, modifying, and storing calendars and data associated with the calendars (e.g., calendar entries, to-do lists, etc.) in accordance with user instructions.

ＲＦ回路１０８、タッチ画面１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７と連携して、ウィジェットモジュール１４９は、ユーザによって任意選択的にダウンロードされて使用されるミニアプリケーション（例えば、天気ウィジェット１４９－１、株価ウィジェット１４９－２、計算機ウィジェット１４９－３、アラーム時計ウィジェット１４９－４、及び辞書ウィジェット１４９－５）、又はユーザによって作成されるミニアプリケーション（例えば、ユーザ作成ウィジェット１４９－６）である。一部の実施形態では、ウィジェットは、ＨＴＭＬ（Hypertext Markup Language、ハイパーテキストマークアップ言語）ファイル、ＣＳＳ（Cascading Style Sheets、カスケーディングスタイルシート）ファイル及びＪａｖａＳｃｒｉｐｔファイルを含む。一部の実施形態では、ウィジェットは、ＸＭＬ（拡張可能マークアップ言語）ファイル及びＪａｖａＳｃｒｉｐｔファイル（例えば、Ｙａｈｏｏ！ウィジェット）を含む。 In conjunction with the RF circuitry 108, touch screen 112, display controller 156, contact/motion module 130, graphics module 132, text input module 134, and browser module 147, widget module 149 is a mini-application (e.g., weather widget 149-1, stock price widget 149-2, calculator widget 149-3, alarm clock widget 149-4, and dictionary widget 149-5) optionally downloaded and used by the user, or a mini-application (e.g., user-created widget 149-6) created by the user. In some embodiments, a widget includes an HTML (Hypertext Markup Language) file, a CSS (Cascading Style Sheets) file, and a JavaScript file. In some embodiments, a widget includes an XML (Extensible Markup Language) file and a JavaScript file (e.g., Yahoo! Widgets).

ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、及びブラウザモジュール１４７と連携して、ウィジェット作成モジュール１５０は、任意選択的に、ウィジェットを作成する（例えば、ウェブページのユーザ指定箇所をウィジェットに変える）ために、ユーザによって使用される。 In conjunction with the RF circuitry 108, touch screen 112, display controller 156, contact/motion module 130, graphics module 132, text input module 134, and browser module 147, the widget creation module 150 is optionally used by a user to create a widget (e.g., turn a user-specified portion of a web page into a widget).

タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、及びテキスト入力モジュール１３４と連携して、検索モジュール１５１は、ユーザの指示に従い、１つ以上の検索基準（例えば、１つ以上のユーザ指定の検索語句）と一致する、メモリ１０２内のテキスト、音楽、音、画像、ビデオ、及び／又は他のファイルを検索するための、実行可能な命令を含む。 In cooperation with the touch screen 112, display controller 156, contact/motion module 130, graphics module 132, and text input module 134, the search module 151 contains executable instructions for searching the memory 102 for text, music, sound, images, video, and/or other files that match one or more search criteria (e.g., one or more user-specified search terms) in accordance with user instructions.

タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、オーディオ回路１１０、スピーカ１１１、ＲＦ回路１０８及びブラウザモジュール１４７と連携して、ビデオ及び音楽プレーヤモジュール１５２は、ＭＰ３又はＡＡＣファイルなどの１つ以上のファイル形式で記憶された録音済みの音楽及び他のサウンドファイルをユーザがダウンロード及び再生できるようにする実行可能な命令、並びにビデオを（タッチスクリーン１１２上又は外部ポート１２４を介して接続された外部のディスプレイ上に）表示、提示又は別の方法で再生するための実行可能な命令を含む。一部の実施形態では、デバイス１００は、ｉＰｏｄ（Ａｐｐｌｅ Ｉｎｃ．の商標）などのＭＰ３プレーヤの機能を任意選択的に含む。 In conjunction with the touchscreen 112, display controller 156, contact/motion module 130, graphics module 132, audio circuitry 110, speaker 111, RF circuitry 108, and browser module 147, the video and music player module 152 includes executable instructions that enable a user to download and play pre-recorded music and other sound files stored in one or more file formats, such as MP3 or AAC files, as well as executable instructions for displaying, presenting, or otherwise playing videos (on the touchscreen 112 or on an external display connected via external port 124). In some embodiments, device 100 optionally includes the functionality of an MP3 player, such as an iPod (trademark of Apple Inc.).

タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２及びテキスト入力モジュール１３４と連携して、メモモジュール１５３は、ユーザの指示に従って、メモ、ｔｏ ｄｏリストなどを作成し、管理するための実行可能な命令を含む。 In conjunction with the touch screen 112, display controller 156, contact/motion module 130, graphics module 132, and text input module 134, the notes module 153 contains executable instructions for creating and managing notes, to-do lists, and the like, in accordance with user instructions.

ＲＦ回路１０８、タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、テキスト入力モジュール１３４、ＧＰＳモジュール１３５、及びブラウザモジュール１４７と連携して、マップモジュール１５４は、任意選択的に、ユーザの指示に従い、マップ及びマップに関連付けられたデータ（例えば、運転方向、特定の位置又はその近くの店舗及び他の見所のデータ、並びに他の位置ベースのデータ）を受信し、表示し、修正し、及び記憶するために、使用される。 In conjunction with the RF circuitry 108, touch screen 112, display controller 156, contact/motion module 130, graphics module 132, text input module 134, GPS module 135, and browser module 147, the map module 154 is used to receive, display, modify, and store maps and data associated with the maps (e.g., driving directions, data about businesses and other points of interest at or near a particular location, and other location-based data), optionally in accordance with user instructions.

タッチスクリーン１１２、ディスプレイコントローラ１５６、接触／動きモジュール１３０、グラフィックモジュール１３２、オーディオ回路１１０、スピーカ１１１、ＲＦ回路１０８、テキスト入力モジュール１３４、電子メールクライアントモジュール１４０及びブラウザモジュール１４７と連携して、オンラインビデオモジュール１５５は、ユーザに、Ｈ．２６４などの１つ以上のファイル形式のオンラインビデオにアクセスし、閲覧し、（例えば、ストリーミング及び／又はダウンロードにより）受信し、（例えば、タッチスクリーン上で又は外部ポート１２４を介して接続された外部のディスプレイ上で）再生し、特定のオンラインビデオへのリンクを含む電子メールを送信し、別の方法で管理させることを可能にする命令を含む。一部の実施形態では、特定のオンラインビデオへのリンクを送信するために、電子メールクライアントモジュール１４０ではなく、インスタントメッセージングモジュール１４１が使用される。オンラインビデオアプリケーションの追加の説明は、２００７年６月２０日に出願された米国特許仮出願第６０／９３６，５６２号、「Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｐｌａｙｉｎｇ Ｏｎｌｉｎｅ Ｖｉｄｅｏｓ」、及び２００７年１２月３１日に出願された米国特許出願第１１／９６８，０６７号、「Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｐｌａｙｉｎｇ Ｏｎｌｉｎｅ Ｖｉｄｅｏｓ」に見出すことができ、それらの内容の全体が参照により本明細書に組み込まれる。 In conjunction with the touchscreen 112, display controller 156, contact/motion module 130, graphics module 132, audio circuitry 110, speaker 111, RF circuitry 108, text input module 134, email client module 140, and browser module 147, online video module 155 contains instructions that enable a user to access, view, receive (e.g., by streaming and/or downloading), play (e.g., on the touchscreen or on an external display connected via external port 124), and send and otherwise manage emails containing links to particular online videos in one or more file formats, such as H.264. In some embodiments, instant messaging module 141 is used to send links to particular online videos, rather than email client module 140. Additional description of online video applications can be found in U.S. Provisional Patent Application No. 60/936,562, filed June 20, 2007, entitled "Portable Multifunction Device, Method, and Graphical User Interface for Playing Online Videos," and U.S. Patent Application No. 11/968,067, filed December 31, 2007, entitled "Portable Multifunction Device, Method, and Graphical User Interface for Playing Online Videos," the contents of which are incorporated herein by reference in their entireties.

上記で特定されたモジュール及びアプリケーションのそれぞれは、１つ以上の上記の機能を実行するための実行可能な命令セット及び本出願に記載の方法（例えば、コンピュータにより実装される方法及び本明細書に記載の他の情報処理方法）に対応する。これらのモジュール（例えば、命令セット）は、別個のソフトウェアプログラム手順、又はモジュールとして実装される必要はなく、それゆえ、様々な実施形態では、これらのモジュールの様々なサブセットは、任意選択的に組み合わされるか、又は他の方式で再編成される。例えば、ビデオプレーヤモジュールは、任意選択的に、音楽プレーヤモジュールと組み合わせて、単一のモジュールとなる（例えば、図１Ａのビデオ及び音楽プレーヤモジュール１５２）。一部の実施形態では、メモリ１０２は、上記で特定されたモジュール及びデータ構造のサブセットを任意選択的に記憶する。更に、メモリ１０２は、前述されていない追加のモジュール及びデータ構造を任意選択的に記憶する。 Each of the above-identified modules and applications corresponds to an executable instruction set and method described herein (e.g., computer-implemented methods and other information processing methods described herein) for performing one or more of the above-identified functions. These modules (e.g., instruction sets) need not be implemented as separate software program procedures or modules; thus, in various embodiments, various subsets of these modules are optionally combined or otherwise rearranged. For example, a video player module is optionally combined with a music player module into a single module (e.g., video and music player module 152 of FIG. 1A). In some embodiments, memory 102 optionally stores a subset of the above-identified modules and data structures. Additionally, memory 102 optionally stores additional modules and data structures not previously described.

一部の実施形態では、デバイス１００は、デバイス上の所定の機能のセットの動作がタッチスクリーン及び／又はタッチパッドを通じて排他的に行われるデバイスである。デバイス１００の動作のための主要な入力制御デバイスとしてタッチスクリーン及び／又はタッチパッドを使用することによって、デバイス１００上の物理的な入力制御デバイス（プッシュボタン、ダイアルなど）の数が任意選択的に削減される。 In some embodiments, device 100 is a device in which operation of a predetermined set of functions on the device is performed exclusively through a touchscreen and/or touchpad. By using the touchscreen and/or touchpad as the primary input control device for operation of device 100, the number of physical input control devices (push buttons, dials, etc.) on device 100 is optionally reduced.

タッチスクリーン及び／又はタッチパッドを通じて排他的に行われる所定の機能のセットは、任意選択的にユーザインターフェース間のナビゲーションを含む。一部の実施形態では、タッチパッドは、ユーザによってタッチされたとき、デバイス１００上で表示される任意のユーザインターフェースから、メインメニュー、ホームメニュー、又はルートメニューにデバイス１００をナビゲートする。そのような実施形態では、「メニューボタン」はタッチパッドを使用して実装される。一部の他の実施形態では、メニューボタンは、タッチパッドの代わりに、物理的なプッシュボタン又は他の物理的な入力制御デバイスである。 The predetermined set of functions performed exclusively through the touchscreen and/or touchpad optionally includes navigation between user interfaces. In some embodiments, the touchpad, when touched by a user, navigates device 100 to a main menu, home menu, or root menu from any user interface displayed on device 100. In such embodiments, a "menu button" is implemented using the touchpad. In some other embodiments, the menu button is a physical push button or other physical input control device instead of a touchpad.

図１Ｂは、一部の実施形態による、イベント処理のための例示的な構成要素を示すブロック図である。一部の実施形態では、メモリ１０２（図１Ａ）又はメモリ３７０（図３）は、イベントソータ１７０（例えば、オペレーティングシステム１２６内）及び対応するアプリケーション１３６－１（例えば、前述のアプリケーション１３７～１５１、１５５、３８０～３９０のうちのいずれか）を含む。 FIG. 1B is a block diagram illustrating exemplary components for event processing, according to some embodiments. In some embodiments, memory 102 (FIG. 1A) or memory 370 (FIG. 3) includes an event sorter 170 (e.g., within operating system 126) and a corresponding application 136-1 (e.g., any of applications 137-151, 155, 380-390 described above).

イベントソータ１７０は、イベント情報を受信し、イベント情報が配信されるアプリケーション１３６－１及びアプリケーション１３６－１のアプリケーションビュー１９１を決定する。イベントソータ１７０は、イベントモニタ１７１及びイベントディスパッチャモジュール１７４を含む。一部の実施形態では、アプリケーション１３６－１には、アプリケーションがアクティブ又は実行中のときに、タッチ感知ディスプレイ１１２上に表示される現在のアプリケーションビュー（単数又は複数）を示す、アプリケーション内部状態１９２が含まれる。一部の実施形態では、デバイス／グローバル内部状態１５７は、どのアプリケーションが現在アクティブであるかを判定するためにイベントソータ１７０によって使用され、アプリケーション内部状態１９２は、イベント情報の配信先となるアプリケーションビュー１９１を決定するために、イベントソータ１７０によって使用される。 Event sorter 170 receives the event information and determines application 136-1 and application view 191 of application 136-1 to which the event information should be delivered. Event sorter 170 includes event monitor 171 and event dispatcher module 174. In some embodiments, application 136-1 includes application internal state 192 that indicates the current application view(s) that are displayed on touch-sensitive display 112 when the application is active or running. In some embodiments, device/global internal state 157 is used by event sorter 170 to determine which application is currently active, and application internal state 192 is used by event sorter 170 to determine which application is currently active, and application internal state 192 is used by event sorter 170 to determine which application view 191 to deliver the event information to.

一部の実施形態では、アプリケーション内部状態１９２は、アプリケーション１３６－１が実行を再開するときに使用される再開情報、アプリケーション１３６－１によって表示されているか又は表示の準備がされている情報を示すユーザインターフェース状態情報、ユーザがアプリケーション１３６－１の前の状態又はビューに戻ることを可能にするための状態待ち行列、及びユーザが行った従前のアクションのリドゥ／アンドゥ待ち行列、のうちの１つ以上などの追加の情報を含む。 In some embodiments, application internal state 192 includes additional information, such as one or more of: resume information used when application 136-1 resumes execution; user interface state information indicating information being displayed or prepared for display by application 136-1; a state queue to allow the user to return to a previous state or view of application 136-1; and a redo/undo queue of previous actions taken by the user.

イベントモニタ１７１は、周辺機器インターフェース１１８からイベント情報を受信する。イベント情報は、サブイベント（例えば、マルチタッチジェスチャの一部としての、タッチ感知ディスプレイ１１２上のユーザタッチ）の情報を含む。周辺機器インターフェース１１８は、Ｉ／Ｏサブシステム１０６又は近接センサ１６６、加速度計（単数又は複数）１６８及び／若しくは（オーディオ回路１１０を通じて）マイクロフォン１１３などのセンサから受信する情報を送信する。周辺機器インターフェース１１８がＩ／Ｏサブシステム１０６から受信する情報は、タッチ感知ディスプレイ１１２又はタッチ感知面からの情報を含む。 Event monitor 171 receives event information from peripherals interface 118. The event information includes information about sub-events (e.g., a user touch on touch-sensitive display 112 as part of a multi-touch gesture). Peripherals interface 118 transmits information received from I/O subsystem 106 or sensors such as proximity sensor 166, accelerometer(s) 168, and/or microphone 113 (through audio circuitry 110). Information received by peripherals interface 118 from I/O subsystem 106 includes information from touch-sensitive display 112 or a touch-sensitive surface.

一部の実施形態では、イベントモニタ１７１は、所定の間隔で周辺機器インターフェース１１８に要求を送信する。それに応じて、周辺機器インターフェース１１８はイベント情報を送信する。他の実施形態では、周辺機器インターフェース１１８は、重要なイベント（例えば、所定のノイズ閾値を上回るかつ／又は所定の期間よりも長い入力を受信すること）があるときのみ、イベント情報を送信する。 In some embodiments, event monitor 171 sends requests to peripherals interface 118 at predetermined intervals. In response, peripherals interface 118 transmits event information. In other embodiments, peripherals interface 118 transmits event information only when there is a significant event (e.g., receiving an input that exceeds a predetermined noise threshold and/or is longer than a predetermined duration).

一部の実施形態では、イベントソータ１７０はまた、ヒットビュー判定モジュール１７２及び／又はアクティブイベント認識部判定モジュール１７３を含む。 In some embodiments, event sorter 170 also includes a hit view determination module 172 and/or an active event recognizer determination module 173.

ヒットビュー判定モジュール１７２は、タッチ感知ディスプレイ１１２が１つ以上のビューを表示したときに、１つ以上のビュー内のどこにおいてサブイベントが発生したかを判定するためのソフトウェア手順を提供する。ビューは、制御部及びユーザがディスプレイ上で見ることができる他の要素で構成される。 Hit view determination module 172 provides software procedures for determining where within one or more views a sub-event occurred when touch-sensitive display 112 displays one or more views. A view consists of controls and other elements that a user can see on the display.

アプリケーションに関連付けられたユーザインターフェースの別の態様は、本明細書においてアプリケーションビュー又はユーザインターフェースウィンドウと呼ばれる場合があるビューのセットであり、それらの中で情報が表示され、タッチに基づくジェスチャが生じる。タッチが検出される（それぞれのアプリケーションの）アプリケーションビューは、アプリケーションのプログラム階層又はビュー階層内のプログラムレベルに任意選択的に対応する。例えば、タッチが検出される最下位レベルのビューは任意選択的に、ヒットビューと呼ばれ、また、適切な入力として認識されるイベントのセットは任意選択的に、タッチに基づくジェスチャを開始する初期のタッチのヒットビューに少なくとも部分的に基づいて判定される。 Another aspect of a user interface associated with an application is a set of views, sometimes referred to herein as application views or user interface windows, in which information is displayed and touch-based gestures occur. The application view (of each application) in which a touch is detected optionally corresponds to a programmatic level within the application's programmatic or view hierarchy. For example, the lowest-level view in which a touch is detected is optionally referred to as a hit view, and the set of events that are recognized as appropriate inputs is optionally determined based at least in part on the hit view of the initial touch that initiates the touch-based gesture.

ヒットビュー判定モジュール１７２は、タッチに基づくジェスチャのサブイベントに関連する情報を受信する。アプリケーションが階層において編成された複数のビューを有するとき、ヒットビュー判定モジュール１７２は、サブイベントを処理するべき階層内の最下位のビューとしてヒットビューを特定する。ほとんどの状況では、ヒットビューは、最初のサブイベント（例えば、イベント又は潜在的なイベントを形成する一続きのサブイベントにおける最初のサブイベント）が発生する最下位レベルのビューである。ヒットビューがヒットビュー判定モジュール１７２によって特定されると、ヒットビューは典型的には、それがヒットビューとして特定された、同じタッチ又は入力ソースに関連する全てのサブイベントを受信する。 Hit view determination module 172 receives information related to sub-events of a touch-based gesture. When an application has multiple views organized in a hierarchy, hit view determination module 172 identifies the hit view as the lowest view in the hierarchy that should process the sub-events. In most situations, the hit view is the lowest-level view in which the first sub-event occurs (e.g., the first sub-event in a sequence of sub-events that form an event or potential event). Once a hit view is identified by hit view determination module 172, the hit view typically receives all sub-events related to the same touch or input source for which it was identified as the hit view.

アクティブイベント認識部判定モジュール１７３は、ビュー階層内のどのビュー（単数又は複数）がサブイベントの特定の一続きを受信すべきかを判定する。一部の実施形態では、アクティブイベント認識部判定モジュール１７３は、ヒットビューのみがサブイベントの特定の一続きを受信すべきであると判定する。他の実施形態では、アクティブイベント認識部判定モジュール１７３は、サブイベントの物理的な位置を含む全てのビューはアクティブに関与しているビューであると判定し、したがって、全てのアクティブに関与しているビューは、サブイベントの特定の一続きを受信すべきであると判定する。他の実施形態では、タッチサブイベントが１つの特定のビューに関連付けられた領域に完全に限定されたとしても、階層の上位のビューは、依然としてアクティブに関与しているビューであり続ける。 Active event recognizer determination module 173 determines which view(s) in the view hierarchy should receive a particular sequence of sub-events. In some embodiments, active event recognizer determination module 173 determines that only the hit view should receive a particular sequence of sub-events. In other embodiments, active event recognizer determination module 173 determines that all views containing the physical location of the sub-event are actively participating views, and therefore determines that all actively participating views should receive a particular sequence of sub-events. In other embodiments, even if a touch sub-event is completely confined to the region associated with one particular view, views higher in the hierarchy remain actively participating views.

イベントディスパッチャモジュール１７４は、イベント情報をイベント認識部（例えば、イベント認識部１８０）にディスパッチする。アクティブイベント認識部判定モジュール１７３を含む実施形態では、イベントディスパッチャモジュール１７４は、アクティブイベント認識部判定モジュール１７３により判定されたイベント認識部にイベント情報を配信する。一部の実施形態では、イベントディスパッチャモジュール１７４は、対応するイベント受信部１８２により取得されるイベント情報をイベント待ち行列に記憶する。 Event dispatcher module 174 dispatches event information to event recognizers (e.g., event recognizer 180). In embodiments that include active event recognizer determination module 173, event dispatcher module 174 delivers event information to the event recognizers determined by active event recognizer determination module 173. In some embodiments, event dispatcher module 174 stores event information retrieved by corresponding event receivers 182 in an event queue.

一部の実施形態では、オペレーティングシステム１２６は、イベントソータ１７０を含む。あるいは、アプリケーション１３６－１が、イベントソータ１７０を含む。更に他の実施形態では、イベントソータ１７０は、独立型のモジュール、又は接触／動きモジュール１３０などの、メモリ１０２に記憶された別のモジュールの一部である。 In some embodiments, operating system 126 includes event sorter 170. Alternatively, application 136-1 includes event sorter 170. In still other embodiments, event sorter 170 is a stand-alone module or part of another module stored in memory 102, such as contact/motion module 130.

一部の実施形態では、アプリケーション１３６－１は、それぞれがアプリケーションのユーザインターフェースの対応するビュー内で発生するタッチイベントを処理する命令を含む、複数のイベント処理部１９０及び１つ以上のアプリケーションビュー１９１を含む。アプリケーション１３６－１のそれぞれのアプリケーションビュー１９１は、１つ以上のイベント認識部１８０を含む。一般的には、対応するアプリケーションビュー１９１は、複数のイベント認識部１８０を含む。他の実施形態では、イベント認識部１８０のうちの１つ以上は、アプリケーション１３６－１が方法及び他の性質をそれから継承する、ユーザインターフェースキット又は上位レベルのオブジェクトなどの別個のモジュールの一部である。一部の実施形態では、対応するイベント処理部１９０は、データ更新部１７６、オブジェクト更新部１７７、ＧＵＩ更新部１７８及び／又はイベントソータ１７０から受信されたイベントデータ１７９、のうちの１つ以上を含む。イベント処理部１９０は、アプリケーション内部状態１９２を更新するために、データ更新部１７６、オブジェクト更新部１７７、又はＧＵＩ更新部１７８を任意選択的に利用若しくは呼び出す。あるいは代わりに、アプリケーションビュー１９１のうちの１つ以上は、１つ以上の対応するイベント処理部１９０を含む。また、一部の実施形態では、データ更新部１７６、オブジェクト更新部１７７及びＧＵＩ更新部１７８のうちの１つ以上は、対応するアプリケーションビュー１９１に含まれる。 In some embodiments, application 136-1 includes multiple event handlers 190 and one or more application views 191, each containing instructions for processing touch events that occur within a corresponding view of the application's user interface. Each application view 191 of application 136-1 includes one or more event recognizers 180. Typically, a corresponding application view 191 includes multiple event recognizers 180. In other embodiments, one or more of the event recognizers 180 are part of a separate module, such as a user interface kit or higher-level object, from which application 136-1 inherits methods and other properties. In some embodiments, the corresponding event handler 190 includes one or more of a data updater 176, an object updater 177, a GUI updater 178, and/or event data 179 received from event sorter 170. Event handler 190 optionally utilizes or invokes data updater 176, object updater 177, or GUI updater 178 to update application internal state 192. Alternatively, one or more of the application views 191 include one or more corresponding event handlers 190. Also, in some embodiments, one or more of the data updater 176, object updater 177, and GUI updater 178 are included in the corresponding application view 191.

対応するイベント認識部１８０は、イベントソータ１７０からイベント情報（例えば、イベントデータ１７９）を受信し、イベント情報からイベントを特定する。イベント認識部１８０は、イベント受信部１８２及びイベント比較部１８４を含む。一部の実施形態では、イベント認識部１８０はまた、メタデータ１８３及びイベント配信命令１８８（任意選択的にサブイベント配信命令を含む）の少なくともサブセットも含む。 A corresponding event recognizer 180 receives event information (e.g., event data 179) from event sorter 170 and identifies an event from the event information. Event recognizer 180 includes an event receiver 182 and an event comparator 184. In some embodiments, event recognizer 180 also includes at least a subset of metadata 183 and event delivery instructions 188 (optionally including sub-event delivery instructions).

イベント受信部１８２は、イベントソータ１７０からイベント情報を受信する。イベント情報は、サブイベント、例えば、タッチ又はタッチの動きに関する情報を含む。サブイベントに応じて、イベント情報はまた、サブイベントの位置などの追加の情報を含む。サブイベントがタッチの動きに関わるとき、イベント情報はまた任意選択的に、サブイベントの速さ及び方向を含む。一部の実施形態では、イベントは、１つの方位から別の方位への（例えば、縦置きから横置きへの、又はその逆の）デバイスの回転を含み、イベント情報は、デバイスの現在の方位（デバイスの姿勢とも呼ばれる）についての対応する情報を含む。 Event receiver 182 receives event information from event sorter 170. The event information includes information about a sub-event, e.g., a touch or touch movement. Depending on the sub-event, the event information also includes additional information, such as the location of the sub-event. When the sub-event involves touch movement, the event information also optionally includes the speed and direction of the sub-event. In some embodiments, the event includes a rotation of the device from one orientation to another (e.g., from portrait to landscape, or vice versa), and the event information includes corresponding information about the device's current orientation (also called the device's attitude).

イベント比較部１８４は、イベント情報を所定のイベント又はサブイベント定義と比較し、その比較に基づいて、イベント又はサブイベントを判定し、又はイベント若しくはサブイベントの状態を判定若しくは更新する。一部の実施形態では、イベント比較部１８４は、イベント定義１８６を含む。イベント定義１８６は、例えば、イベント１（１８７－１）、イベント２（１８７－２）などのイベントの定義（例えば、所定の一連のサブイベント）を含む。一部の実施形態では、イベント（１８７）におけるサブイベントは、例えば、タッチの始め、タッチの終わり、タッチの移動、タッチの停止及び複数のタッチを含む。一例では、イベント１（１８７－１）の定義は、表示されたオブジェクト上でのダブルタップである。ダブルタップは、例えば、所定の段階での表示されたオブジェクト上の第１のタッチ（タッチの開始）、所定の段階での第１のリフトオフ（タッチの終了）、所定の段階での表示オブジェクト上の第２のタッチ（タッチの開始）、及び所定の段階での第２のリフトオフ（タッチの終了）を含む。別の例では、イベント２（１８７－２）の定義は、表示されたオブジェクト上のドラッグ操作である。このドラッグ操作は、例えば、所定の段階での表示オブジェクト上のタッチ（又は、接触）、タッチ感知ディスプレイ１１２を横切るタッチの移動、及びタッチのリフトオフ（タッチの終了）を含む。一部の実施形態では、イベントはまた、１つ以上の関連付けられたイベント処理部１９０に関する情報も含む。 The event comparator 184 compares the event information with a predetermined event or sub-event definition and, based on the comparison, determines the event or sub-event, or determines or updates the state of the event or sub-event. In some embodiments, the event comparator 184 includes an event definition 186. The event definition 186 includes an event definition (e.g., a predetermined series of sub-events), such as Event 1 (187-1) and Event 2 (187-2). In some embodiments, the sub-events in Event 187 include, for example, the start of a touch, the end of a touch, the movement of a touch, the stop of a touch, and multiple touches. In one example, the definition of Event 1 (187-1) is a double tap on a displayed object. The double tap includes, for example, a first touch (start of touch) on a displayed object at a predetermined stage, a first lift-off (end of touch) at a predetermined stage, a second touch (start of touch) on a displayed object at a predetermined stage, and a second lift-off (end of touch) at a predetermined stage. In another example, the definition of Event 2 (187-2) is a drag operation on a displayed object. The drag operation includes, for example, a touch (or contact) on a display object at a predetermined stage, a movement of the touch across the touch-sensitive display 112, and a lift-off of the touch (end of the touch). In some embodiments, the event also includes information about one or more associated event handlers 190.

一部の実施形態では、イベント定義１８７は、それぞれのユーザインターフェースオブジェクトに対するイベントの定義を含む。一部の実施形態では、イベント比較部１８４は、サブイベントにどのユーザインターフェースオブジェクトが関連付けられているかを判定するヒットテストを行う。例えば、３つのユーザインターフェースオブジェクトがタッチ感知ディスプレイ１１２上に表示されるアプリケーションビューにおいて、タッチ感知ディスプレイ１１２上でタッチが検出されると、イベント比較部１８４は、３つのユーザインターフェースオブジェクトのうちどれがタッチ（サブイベント）に関連付けられているかを判定するためのヒットテストを行う。表示されたそれぞれのオブジェクトが、対応するイベント処理部１９０と関連付けられている場合、イベント比較部は、ヒットテストの結果を使用して、どのイベント処理部１９０がアクティブ化されるべきかを判定する。例えば、イベント比較部１８４は、オブジェクトと関連付けられたイベント処理部及びヒットテストをトリガするサブイベントを選択する。 In some embodiments, event definition 187 includes a definition of an event for each user interface object. In some embodiments, event comparator 184 performs a hit test to determine which user interface object is associated with a sub-event. For example, in an application view in which three user interface objects are displayed on touch-sensitive display 112, when a touch is detected on touch-sensitive display 112, event comparator 184 performs a hit test to determine which of the three user interface objects is associated with the touch (sub-event). If each displayed object is associated with a corresponding event handler 190, event comparator 184 uses the results of the hit test to determine which event handler 190 should be activated. For example, event comparator 184 selects an event handler associated with the object and a sub-event that triggers the hit test.

一部の実施形態では、対応するイベント（１８７）の定義はまた、一連のサブイベントがイベント認識部のイベント種類に対応するか否かが判定される後まで、イベント情報の配信を遅延させる遅延アクションを含む。 In some embodiments, the definition of the corresponding event (187) also includes a delay action that delays delivery of the event information until after it has been determined whether the set of sub-events corresponds to the event type of the event recognizer.

対応するイベント認識部１８０が、一連のサブイベントがイベント定義１８６のイベントのいずれとも一致しないと判定したとき、対応するイベント認識部１８０は、イベント不可能、イベント失敗又はイベント終了の状態に入り、その後は、続くタッチに基づくジェスチャのサブイベントを無視する。この状況では、ヒットビューについてアクティブのままである他のイベント認識部がもしあれば、そのイベント認識部が進行中のタッチに基づくジェスチャのサブイベントの追跡及び処理を続行する。 When the corresponding event recognizer 180 determines that the set of sub-events does not match any of the events in the event definition 186, the corresponding event recognizer 180 enters an event disabled, event failed, or event completed state, and subsequently ignores the sub-events of the subsequent touch-based gesture. In this situation, other event recognizers, if any, that remain active for the hit view continue to track and process the sub-events of the ongoing touch-based gesture.

一部の実施形態では、対応するイベント認識部１８０は、イベント配信システムがどのようにサブイベント配信を行うべきかをアクティブに関与しているイベント認識部に示す構成可能なプロパティ、フラグ及び／又はリストを有するメタデータ１８３を含む。一部の実施形態では、メタデータ１８３は、イベント認識部が相互にどのように対話するか、又は対話することが可能とされているかについて示す、構成可能なプロパティ、フラグ、及び／又はリストを含む。一部の実施形態では、メタデータ１８３は、サブイベントがビュー階層又はプログラム階層における多様なレベルに配信されるかを示す、構成可能なプロパティ、フラグ、及び／又はリストを含む。 In some embodiments, the corresponding event recognizer 180 includes metadata 183 with configurable properties, flags, and/or lists that indicate to actively participating event recognizers how the event delivery system should handle sub-event delivery. In some embodiments, metadata 183 includes configurable properties, flags, and/or lists that indicate how event recognizers interact or are enabled to interact with each other. In some embodiments, metadata 183 includes configurable properties, flags, and/or lists that indicate whether sub-events are delivered to various levels in the view or programmatic hierarchy.

一部の実施形態では、それぞれのイベント認識部１８０は、イベントの１つ以上の特定のサブイベントが認識されるときに、イベントと関連付けられたイベント処理部１９０をアクティブ化する。一部の実施形態では、それぞれのイベント認識部１８０は、イベントと関連付けられたイベント情報をイベント処理部１９０に配信する。イベント処理部１９０をアクティブ化することは、それぞれのヒットビューにサブイベントを送信する（及び、送信を延期する）こととは別個である。一部の実施形態では、イベント認識部１８０は、認識されたイベントと関連付けられたフラグを投入し、フラグと関連付けられたイベント処理部１９０は、フラグを捕らえ、所定の処理を行う。 In some embodiments, each event recognizer 180 activates an event handler 190 associated with an event when one or more specific sub-events of the event are recognized. In some embodiments, each event recognizer 180 delivers event information associated with the event to the event handler 190. Activating the event handler 190 is separate from sending (and postponing sending) the sub-events to the respective hit view. In some embodiments, the event recognizer 180 pops a flag associated with the recognized event, and the event handler 190 associated with the flag captures the flag and performs a predetermined action.

一部の実施形態では、イベント配信命令１８８は、イベント処理部をアクティブ化することなくサブイベントについてのイベント情報を配信するサブイベント配信命令を含む。代わりに、サブイベント配信命令は、一連のサブイベントと関連付けられたイベント処理部に、又はアクティブに関与しているビューに、イベント情報を配信する。一連のサブイベントと、又はアクティブに関与しているビューと関連付けられたイベント処理部は、イベント情報を受信し、所定の処理を行う。 In some embodiments, the event delivery instructions 188 include sub-event delivery instructions that deliver event information about a sub-event without activating an event handler. Instead, the sub-event delivery instructions deliver the event information to an event handler associated with the set of sub-events, or to an actively participating view. The event handler associated with the set of sub-events, or to an actively participating view, receives the event information and performs the appropriate processing.

一部の実施形態では、データ更新部１７６は、アプリケーション１３６－１で使用されるデータを作成及び更新する。例えば、データ更新部１７６は、連絡先モジュール１３７で使用される電話番号を更新する、又はビデオプレーヤモジュールで使用されるビデオファイルを記憶する。一部の実施形態では、オブジェクト更新部１７７は、アプリケーション１３６－１で使用されるオブジェクトを作成及び更新する。例えば、オブジェクト更新部１７７は、新規のユーザインターフェースオブジェクトを作成する、又はユーザインターフェースオブジェクトの位置を更新する。ＧＵＩ更新部１７８は、ＧＵＩを更新する。例えば、ＧＵＩ更新部１７８は、表示情報を準備し、タッチ感知ディスプレイ上に表示するために表示情報をグラフィックモジュール１３２に送る。 In some embodiments, data updater 176 creates and updates data used by application 136-1. For example, data updater 176 updates phone numbers used by contacts module 137 or stores video files used by a video player module. In some embodiments, object updater 177 creates and updates objects used by application 136-1. For example, object updater 177 creates new user interface objects or updates the positions of user interface objects. GUI updater 178 updates the GUI. For example, GUI updater 178 prepares display information and sends the display information to graphics module 132 for display on the touch-sensitive display.

一部の実施形態では、イベント処理部（単数又は複数）１９０は、データ更新部１７６、オブジェクト更新部１７７及びＧＵＩ更新部１７８を含むか又はそれらへのアクセスを有する。一部の実施形態では、データ更新部１７６、オブジェクト更新部１７７、及びＧＵＩ更新部１７８は、それぞれのアプリケーション１３６－１又はアプリケーションビュー１９１の単一モジュールに含まれる。他の実施形態では、それらは、２つ以上のソフトウェアモジュールに含まれる。 In some embodiments, the event handler(s) 190 include or have access to a data updater 176, an object updater 177, and a GUI updater 178. In some embodiments, the data updater 176, the object updater 177, and the GUI updater 178 are included in a single module of the respective application 136-1 or application view 191. In other embodiments, they are included in two or more software modules.

タッチ感知ディスプレイ上のユーザのタッチのイベント処理に関する前述の議論はまた、入力デバイスで多機能デバイス１００を動作させるための他の形態のユーザ入力にも適用され、その全てがタッチスクリーン上で開始されるわけではないことを理解されたい。例えば、任意選択的に単一若しくは複数のキーボードの押圧若しくは保持に適合されたマウスの移動及びマウスボタンの押圧、タッチパッド上でのタップ、ドラッグ、スクロールなどの接触移動、ペンスタイラス入力、デバイスの移動、口頭による指示、検出された眼球の動き、バイオメトリック入力、並びに／又はそれらのいずれかの組み合わせは、任意選択的に、認識されることになるイベントを定義するサブイベントに対応する入力として利用される。 It should be understood that the foregoing discussion regarding event processing of a user's touch on a touch-sensitive display also applies to other forms of user input for operating multifunction device 100 with an input device, not all of which are initiated on the touchscreen. For example, mouse movements and mouse button presses, optionally coupled with single or multiple keyboard presses or holds, touch movements such as tapping, dragging, scrolling, etc. on a touchpad, pen stylus input, device movements, verbal commands, detected eye movements, biometric input, and/or any combination thereof, are optionally utilized as inputs corresponding to sub-events that define the event to be recognized.

図２は、一部の実施形態による、タッチスクリーン１１２を有するポータブル多機能デバイス１００を示す。タッチスクリーンは、ユーザインターフェース（user interface、ＵＩ）２００内に１つ以上のグラフィックを任意選択的に表示する。本実施形態、並びに後述する他の実施形態では、ユーザは、例えば、１本以上の指２０２（図には、正確な縮尺率では描かれていない）又は１つ以上のスタイラス２０３（図には、正確な縮尺率では描かれていない）を用いて、グラフィック上でジェスチャを行うことにより、グラフィックのうちの１つ以上を選択することができる。一部の実施形態では、ユーザが１つ以上のグラフィックとの接触を断ったときに、その１つ以上のグラフィックの選択が生じる。一部の実施形態では、ジェスチャは、１回以上のタップ、１回以上のスワイプ（左から右へ、右から左へ、上方へ及び／又は下方へ）、並びに／又は、デバイス１００と接触した指のローリング（右から左へ、左から右へ、上方へ及び／若しくは下方へ）を、任意選択的に含む。一部の実装形態又は状況では、グラフィックとの不測の接触は、グラフィックを選択しない。例えば、選択に対応するジェスチャがタップであるとき、アプリケーションアイコンの上をスイープするスワイプジェスチャは任意選択的に、対応するアプリケーションを選択しない。 FIG. 2 illustrates portable multifunction device 100 having touchscreen 112, according to some embodiments. The touchscreen optionally displays one or more graphics within user interface (UI) 200. In this embodiment, as well as other embodiments described below, a user can select one or more of the graphics by making a gesture on the graphics, for example, with one or more fingers 202 (not drawn to scale) or one or more styluses 203 (not drawn to scale). In some embodiments, selection of one or more graphics occurs when the user loses contact with the one or more graphics. In some embodiments, the gesture optionally includes one or more taps, one or more swipes (left to right, right to left, upward and/or downward), and/or rolling of a finger in contact with device 100 (right to left, left to right, upward and/or downward). In some implementations or situations, accidental contact with a graphic does not select the graphic. For example, a swipe gesture sweeping over an application icon optionally does not select the corresponding application when the gesture corresponding to selection is a tap.

デバイス１００はまた、「ホーム」即ちメニューボタン２０４などの、１つ以上の物理的なボタンも任意選択的に含む。前述のように、メニューボタン２０４は、デバイス１００上で任意選択的に、実行するアプリケーションのセット内の任意のアプリケーション１３６へのナビゲーションに、任意選択的に、使用される。あるいは、一部の実施形態では、メニューボタンは、タッチスクリーン１１２に表示されたＧＵＩにおけるソフトキーとして実装されている。 Device 100 also optionally includes one or more physical buttons, such as a "home" or menu button 204. As previously mentioned, menu button 204 is optionally used for navigation to any application 136 within a set of applications optionally running on device 100. Alternatively, in some embodiments, the menu button is implemented as a soft key in a GUI displayed on touchscreen 112.

一部の実施形態では、デバイス１００は、タッチスクリーン１１２、メニューボタン２０４、デバイスへの電源をオン／オフし、またデバイスをロックするためのプッシュボタン２０６、音量調整ボタン（単数又は複数）２０８、加入者識別モジュール（ＳＩＭ）カードスロット２１０、ヘッドセットジャック２１２、及びドッキング／充電用外部ポート１２４を含む。プッシュボタン２０６は、任意選択的に、ボタンを押し下げて、所定の時間にわたってボタンを押し下げた状態で保持することによってデバイス上の電源をオン／オフし、ボタンを押し下げて、所定の時間が経過する前にボタンを解放することによってデバイスをロックする、及び／又は、デバイスのロックを解除する、若しくはロック解除処理を開始するように用いられる。代替実施形態では、デバイス１００はまた、マイクロフォン１１３を通して、一部の機能をアクティブ化又は非アクティブ化するための口頭入力を受け入れる。デバイス１００はまた、任意選択的に、タッチスクリーン１１２上の接触の強度を検出するための１つ以上の接触強度センサ１６５、及び／又は、デバイス１００のユーザに対する触知出力を生成するための１つ以上の触知出力生成器１６７も含む。 In some embodiments, device 100 includes a touchscreen 112, a menu button 204, a pushbutton 206 for turning power to and locking the device, volume control button(s) 208, a subscriber identity module (SIM) card slot 210, a headset jack 212, and a docking/charging external port 124. Pushbutton 206 is optionally used to turn power on and off on the device by pressing and holding the button down for a predetermined period of time, lock the device by pressing and releasing the button before the predetermined period of time has elapsed, and/or unlock the device or initiate an unlocking process. In an alternative embodiment, device 100 also accepts verbal input through microphone 113 to activate or deactivate certain functions. Device 100 also optionally includes one or more contact intensity sensors 165 for detecting the intensity of a contact on touchscreen 112 and/or one or more tactile output generators 167 for generating a tactile output for a user of device 100.

図３は、一部の実施形態による、ディスプレイ及びタッチ感知面を備える例示的な多機能デバイスのブロック図である。デバイス３００は、ポータブル型である必要はない。一部の実施形態では、デバイス３００は、ラップトップコンピュータ、デスクトップコンピュータ、タブレットコンピュータ、マルチメディアモジュールデバイス、ナビゲーションデバイス、教育的デバイス（子供の学習玩具など）、ゲームシステム、又は制御デバイス（例えば、家庭用又は業務用コントローラ）である。デバイス３００は、１つ以上の処理ユニット（ＣＰＵ）３１０、１つ以上のネットワーク若しくは他の通信インターフェース３６０、メモリ３７０、及びこれらの構成要素を相互接続するための１つ以上の通信バス３２０を一般的に含む。通信バス３２０は、システム構成要素間の通信を相互接続及び制御する回路（チップセットと呼ばれることがある）を、任意選択的に含む。デバイス３００は、一般的にはタッチスクリーンディスプレイであるディスプレイ３４０を含む、入出力（Ｉ／Ｏ）インターフェース３３０を含む。Ｉ／Ｏインターフェース３３０はまた、キーボード及び／又はマウス（又は他のポインティングデバイス）３５０並びにタッチパッド３５５、デバイス３００上に触知出力を生成するための（例えば、図１Ａを参照して前述された触知出力生成器（単数又は複数）１６７と同様の）触知出力生成器３５７、センサ３５９（例えば、光センサ、加速度センサ、近接センサ、タッチ感知センサ及び／又は図１Ａを参照して前述された接触強度センサ（単数又は複数）１６５と同様の接触強度センサ）を任意選択的に含む。メモリ３７０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含み、また、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス又は他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを任意選択的に含む。メモリ３７０は、ＣＰＵ（単数又は複数）３１０からリモートに配置される１つ以上の記憶デバイスを任意選択的に含む。一部の実施形態では、メモリ３７０は、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２に記憶されたプログラム、モジュール、及びデータ構造、又はそれらのサブセットに類似する、プログラム、モジュール、及びデータ構造を記憶する。更に、メモリ３７０は任意選択的に、ポータブル多機能デバイス１００のメモリ１０２に存在しない追加のプログラム、モジュール、及びデータ構造を記憶する。例えば、デバイス３００のメモリ３７０は、描画モジュール３８０、プレゼンテーションモジュール３８２、ワードプロセッシングモジュール３８４、ウェブサイト作成モジュール３８６、ディスクオーサリングモジュール３８８及び／又はスプレッドシートモジュール３９０を任意選択的に記憶するが、ポータブル多機能デバイス１００（図１Ａ）のメモリ１０２は、これらのモジュールを任意選択的に記憶しない。 FIG. 3 is a block diagram of an exemplary multifunction device with a display and a touch-sensitive surface, according to some embodiments. Device 300 need not be portable. In some embodiments, device 300 is a laptop computer, desktop computer, tablet computer, multimedia module device, navigation device, educational device (such as a child's learning toy), gaming system, or control device (e.g., a home or commercial controller). Device 300 typically includes one or more processing units (CPUs) 310, one or more network or other communication interfaces 360, memory 370, and one or more communication buses 320 for interconnecting these components. Communication bus 320 optionally includes circuitry (sometimes referred to as a chipset) that interconnects and controls communication between system components. Device 300 includes input/output (I/O) interfaces 330, including a display 340, which is typically a touchscreen display. I/O interface 330 also optionally includes a keyboard and/or mouse (or other pointing device) 350 and a touchpad 355, a tactile output generator 357 (e.g., similar to tactile output generator(s) 167 described above with reference to FIG. 1A ) for generating tactile output on device 300, sensors 359 (e.g., optical sensors, acceleration sensors, proximity sensors, touch-sensitive sensors, and/or contact intensity sensors similar to contact intensity sensor(s) 165 described above with reference to FIG. 1A ). Memory 370 includes high-speed random-access memory such as DRAM, SRAM, DDR RAM, or other random-access solid-state memory devices, and optionally includes non-volatile memory such as one or more magnetic disk storage devices, optical disk storage devices, flash memory devices, or other non-volatile solid-state storage devices. Memory 370 optionally includes one or more storage devices located remotely from CPU(s) 310. In some embodiments, memory 370 stores programs, modules, and data structures similar to, or a subset of, the programs, modules, and data structures stored in memory 102 of portable multifunction device 100 (FIG. 1A). Additionally, memory 370 optionally stores additional programs, modules, and data structures not present in memory 102 of portable multifunction device 100. For example, memory 370 of device 300 optionally stores drawing module 380, presentation module 382, word processing module 384, website creation module 386, disc authoring module 388, and/or spreadsheet module 390, while memory 102 of portable multifunction device 100 (FIG. 1A) optionally does not store these modules.

上記で特定された図３の要素のそれぞれは任意選択的に、前述のメモリデバイスのうちの１つ以上に記憶される。上記で特定されたモジュールのうちのそれぞれは、前述した機能を実行する命令セットに対応する。上記で特定されたモジュール又はプログラム（例えば、命令セット）は別個のソフトウェアプログラム、手順、又はモジュールとして実装される必要はなく、それゆえ、様々な実施形態では、これらのモジュールの様々なサブセットが組み合わされるか、又は他の方式で任意選択的に再編成される。一部の実施形態では、メモリ３７０は、上記で特定されたモジュール及びデータ構造のサブセットを任意選択的に記憶する。更に、メモリ３７０は、前述されていない追加のモジュール及びデータ構造を任意選択的に記憶する。 Each of the above-identified elements of FIG. 3 is optionally stored in one or more of the memory devices mentioned above. Each of the above-identified modules corresponds to an instruction set that performs the functions described above. The above-identified modules or programs (e.g., instruction sets) need not be implemented as separate software programs, procedures, or modules; thus, in various embodiments, various subsets of these modules are combined or optionally rearranged in other manners. In some embodiments, memory 370 optionally stores a subset of the above-identified modules and data structures. Additionally, memory 370 optionally stores additional modules and data structures not previously described.

次に、例えば、ポータブル多機能デバイス１００上に任意選択的に実装されるユーザインターフェースの実施形態に注目する。 We now turn our attention to embodiments of user interfaces that may be optionally implemented on portable multifunction device 100, for example.

図４Ａは、一部の実施形態による、ポータブル多機能デバイス１００上のアプリケーションのメニューに関する例示的なユーザインターフェースを示す。同様のユーザインターフェースが、デバイス３００上に任意選択的に実装される。一部の実施形態では、ユーザインターフェース４００は、以下の要素、又はそれらのサブセット若しくはスーパーセットを含む。
●セルラー及びＷｉ－Ｆｉ信号などの無線通信（単数又は複数）のための信号強度インジケータ（単数又は複数）４０２、
●時刻４０４、
●Ｂｌｕｅｔｏｏｔｈインジケータ４０５、
●バッテリ状態インジケータ４０６、
●下記などの、頻繁に利用されるアプリケーション用のアイコンを含むトレー４０８、
○不在着信又はオーディオメールメッセージの数のインジケータ４１４を任意選択的に含む、「電話」とラベル付けされた、電話モジュール１３８用のアイコン４１６、
○未読電子メールの数のインジケータ４１０を任意選択的に含む、「メール」とラベル付けされた、電子メールクライアントモジュール１４０用のアイコン４１８、
○「ブラウザ」とラベル付けされた、ブラウザモジュール１４７用のアイコン４２０、及び
○「ｉＰｏｄ」とラベル付けされた、ｉＰｏｄ（Ａｐｐｌｅ Ｉｎｃ．の商標）モジュール１５２とも称されるビデオ及び音楽プレーヤモジュール１５２用のアイコン４２２、及び
●下記などの他のアプリケーション用のアイコン、
○「メッセージ」とラベル付けされた、ＩＭモジュール１４１用のアイコン４２４、
○「カレンダー」とラベル付けされた、カレンダーモジュール１４８用のアイコン４２６、
○「写真」とラベル付けされた、画像管理モジュール１４４用のアイコン４２８、
○「カメラ」とラベル付けされた、カメラモジュール１４３用のアイコン４３０、
○「オンラインビデオ」とラベル付けされた、オンラインビデオモジュール１５５用のアイコン４３２、
○「株価」とラベル付けされた、株価ウィジェット１４９－２用のアイコン４３４、
○「マップ」とラベル付けされた、マップモジュール１５４用のアイコン４３６、
○「天気」とラベル付けされた、天気ウィジェット１４９－１用のアイコン４３８、
○「時計」とラベル付けされた、アラーム時計ウィジェット１４９－４用のアイコン４４０、
○「トレーニングサポート」とラベル付けされた、トレーニングサポートモジュール１４２用のアイコン４４２、
○「メモ」とラベル付けされた、メモモジュール１５３用のアイコン４４４、及び
○デバイス１００及びその様々なアプリケーション１３６に関する設定へのアクセスを提供する、「設定」とラベル付けされた、設定アプリケーション若しくはモジュール用のアイコン４４６。 4A shows an exemplary user interface for a menu of applications on portable multifunction device 100, according to some embodiments. A similar user interface is optionally implemented on device 300. In some embodiments, user interface 400 includes the following elements, or a subset or superset thereof:
signal strength indicator(s) 402 for wireless communication(s), such as cellular and Wi-Fi signals;
●Time 404,
Bluetooth indicator 405,
Battery status indicator 406;
A tray 408 containing icons for frequently used applications, such as:
an icon 416 for the phone module 138, labeled "Phone", optionally including an indicator 414 of the number of missed calls or audiomail messages;
An icon 418 for the email client module 140, labeled "Mail", optionally including an indicator 410 of the number of unread emails;
○ An icon 420 for the browser module 147, labeled "Browser", and ○ An icon 422 for the video and music player module 152, also referred to as the iPod (trademark of Apple Inc.) module 152, labeled "iPod", and ● Icons for other applications, such as:
○ An icon 424 for the IM module 141, labeled "Messages";
○ An icon 426 for the calendar module 148, labeled "Calendar";
○ An icon 428 for the Image Management module 144, labeled "Photos";
○ An icon 430 for the camera module 143, labeled "Camera",
○ An icon 432 for the online video module 155, labeled "Online Video";
○ An icon 434 labeled "Stock Prices" for stock price widget 149-2,
○ An icon 436 for the map module 154, labeled "Map";
○ An icon 438 for the weather widget 149-1, labeled "Weather";
○ An icon 440 labeled "Clock" for the alarm clock widget 149-4,
○ An icon 442 for the training support module 142, labeled "Training Support";
○ An icon 444 for the notes module 153, labeled "Notes," and ○ An icon 446 for the settings application or module, labeled "Settings," which provides access to settings related to the device 100 and its various applications 136.

図４Ａに示されるアイコンのラベルは、単なる例示であることに留意されたい。例えば、ビデオ及び音楽プレーヤモジュール１５２用のアイコン４２２は、「音楽」又は「音楽プレーヤ」とラベル付けされる。他のラベルが、様々なアプリケーションアイコンのために、任意選択的に使用される。一部の実施形態では、それぞれのアプリケーションアイコンのラベルは、それぞれのアプリケーションアイコンに対応するアプリケーションの名前を含む。一部の実施形態では、特定のアプリケーションアイコンのラベルは、特定のアプリケーションアイコンに対応するアプリケーションの名前とは異なる。 Note that the icon labels shown in FIG. 4A are merely exemplary. For example, icon 422 for video and music player module 152 is labeled "Music" or "Music Player." Other labels are optionally used for various application icons. In some embodiments, the label of each application icon includes the name of the application corresponding to the respective application icon. In some embodiments, the label of a particular application icon is different from the name of the application corresponding to the particular application icon.

図４Ｂは、ディスプレイ４５０（例えば、タッチスクリーンディスプレイ１１２）とは別個のタッチ感知面４５１（例えば、図３のタブレット又はタッチパッド３５５）を備えるデバイス（例えば、図３のデバイス３００）上の、例示的なユーザインターフェースを示す。デバイス３００はまた、タッチ感知面４５１上の接触の強度を検出するための１つ以上の接触強度センサ（例えば、センサ３５９のうちの１つ以上）及び／又はデバイス３００のユーザに対して触知出力を生成するための１つ以上の触知出力生成器３５７を任意選択的に含む。 FIG. 4B shows an exemplary user interface on a device (e.g., device 300 of FIG. 3) that includes a touch-sensitive surface 451 (e.g., tablet or touchpad 355 of FIG. 3) that is separate from display 450 (e.g., touchscreen display 112). Device 300 also optionally includes one or more contact intensity sensors (e.g., one or more of sensors 359) for detecting the intensity of a contact on touch-sensitive surface 451 and/or one or more tactile output generators 357 for generating a tactile output for a user of device 300.

以下の例のうちのいくつかはタッチスクリーンディスプレイ１１２上での入力（タッチ感知面とディスプレイとが組み合わされている場合）を参照して説明されるが、一部の実施形態では、デバイスは、図４Ｂに示されるように、ディスプレイとは別個のタッチ感知面上での入力を検出する。一部の実施形態では、このタッチ感知面（例えば、図４Ｂの４５１）は、ディスプレイ（例えば、４５０）上の主軸（例えば、図４Ｂの４５３）に対応する主軸（例えば、図４Ｂの４５２）を有する。これらの実施形態によれば、デバイスは、タッチ感知面４５１との接触（例えば、図４Ｂの４６０及び４６２）を、ディスプレイ上のそれぞれの位置に対応する位置にて検出する（例えば、図４Ｂでは、４６０は４６８に対応し、４６２は４７０に対応する）。このように、タッチ感知面がディスプレイとは別個のものである場合、タッチ感知面（例えば、図４Ｂの４５１）上でデバイスによって検出されるユーザ入力（例えば、接触４６０及び４６２、並びにそれらの移動）が、多機能デバイスのディスプレイ（例えば、図４Ｂでの４５０）上のユーザインターフェースを操作するために、デバイスによって使用される。同様の方法が、本明細書に記載の他のユーザインターフェースに任意選択的に使用されることを理解されたい。 Although some of the following examples are described with reference to input on touchscreen display 112 (where the touch-sensitive surface and display are combined), in some embodiments, the device detects input on a touch-sensitive surface that is separate from the display, as shown in FIG. 4B . In some embodiments, this touch-sensitive surface (e.g., 451 in FIG. 4B ) has a major axis (e.g., 452 in FIG. 4B ) that corresponds to a major axis (e.g., 453 in FIG. 4B ) on the display (e.g., 450). According to these embodiments, the device detects contact with touch-sensitive surface 451 (e.g., 460 and 462 in FIG. 4B ) at locations that correspond to respective locations on the display (e.g., in FIG. 4B , 460 corresponds to 468 and 462 corresponds to 470). In this manner, when the touch-sensitive surface is separate from the display, user input (e.g., contacts 460 and 462 and their movement) detected by the device on the touch-sensitive surface (e.g., 451 in FIG. 4B ) is used by the device to operate a user interface on the display (e.g., 450 in FIG. 4B ) of the multifunction device. It should be understood that similar methods are optionally used for the other user interfaces described herein.

更に加えて、以下の例は、主に指入力（例えば、指の接触、指のタップジェスチャ、指のスワイプジェスチャ）を参照して説明されるが、一部の実施形態では、それらの指入力のうちの１つ以上が、別の入力デバイスからの入力（例えば、マウスに基づく入力又はスタイラス入力）で置き換えられることを理解されたい。例えば、スワイプジェスチャは、（例えば、接触の代わりに）マウスクリックと任意選択的に置き換えられ、その後、スワイプの経路に沿って（例えば、接触の移動の代わりに）カーソルの移動が行われる。別の例として、タップジェスチャは任意選択的に、カーソルがタップジェスチャの位置の上に配置される間のマウスクリックに置き換えられる（例えば、接触の検出と、それに続く接触の検出の中止の代わりに）。同様に、複数のユーザ入力が同時に検出されるとき、複数のコンピュータマウスが任意選択的に同時に使用される、又はマウスと指の接触とが任意選択的に同時に使用されることを理解されたい。 Additionally, while the following examples are described primarily with reference to finger input (e.g., finger contacts, finger tap gestures, finger swipe gestures), it should be understood that in some embodiments, one or more of the finger inputs are replaced with input from another input device (e.g., mouse-based input or stylus input). For example, a swipe gesture is optionally replaced with a mouse click (e.g., instead of a contact), followed by cursor movement along the path of the swipe (e.g., instead of a contact movement). As another example, a tap gesture is optionally replaced with a mouse click while the cursor is positioned over the tap gesture location (e.g., instead of a contact detection followed by cessation of contact detection). Similarly, it should be understood that when multiple user inputs are detected simultaneously, multiple computer mice are optionally used simultaneously, or a mouse and finger contacts are optionally used simultaneously.

図５Ａは、例示的なパーソナル電子デバイス５００を示す。デバイス５００は、本体５０２を含む。一部の実施形態では、デバイス５００は、デバイス１００及び３００（例えば、図１Ａ～図４Ｂ）に関して記載した特徴の一部又は全てを含むことができる。一部の実施形態では、デバイス５００は、タッチ感知ディスプレイスクリーン５０４（以下では、タッチスクリーン５０４）を有する。タッチスクリーン５０４の代わりに、又はそれに追加して、デバイス５００は、ディスプレイ及びタッチ感知面を有する。デバイス１００及びデバイス３００と同様に、一部の実施形態では、タッチスクリーン５０４（又はタッチ感知面）は、任意選択的に、加えられている接触（例えば、タッチ）の強度を検出するための１つ以上の強度センサを有する。タッチスクリーン５０４（又は、タッチ感知面）の１つ以上の強度センサは、タッチの強度を表す出力データを提供することができる。デバイス５００のユーザインターフェースは、タッチの強度に基づいてタッチに応答することができ、これは、異なる強度のタッチが、デバイス５００上で異なるユーザインターフェース動作を呼び出すことができることを意味する。 FIG. 5A illustrates an exemplary personal electronic device 500. Device 500 includes a main body 502. In some embodiments, device 500 may include some or all of the features described with respect to devices 100 and 300 (e.g., FIGS. 1A-4B). In some embodiments, device 500 includes a touch-sensitive display screen 504 (hereinafter, touch screen 504). Instead of, or in addition to, touch screen 504, device 500 includes a display and a touch-sensitive surface. Similar to devices 100 and 300, in some embodiments, touch screen 504 (or the touch-sensitive surface) optionally includes one or more intensity sensors for detecting the intensity of an applied contact (e.g., a touch). The one or more intensity sensors of touch screen 504 (or the touch-sensitive surface) can provide output data representing the intensity of the touch. The user interface of device 500 can respond to a touch based on the intensity of the touch, meaning that touches of different intensities can invoke different user interface actions on device 500.

タッチ強度を検出して処理する例示的な技術は、例えば、関連出願である、２０１３年５月８日出願の「Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｄｉｓｐｌａｙｉｎｇ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ Ｏｂｊｅｃｔｓ Ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｔｏ ａｎ Ａｐｐｌｉｃａｔｉｏｎ」と題された国際特許出願第ＰＣＴ／ＵＳ２０１３／０４００６１号（国際公開第２０１３／１６９８４９号として公開）、及び２０１３年１１月１１日出願の「Ｄｅｖｉｃｅ，Ｍｅｔｈｏｄ，ａｎｄ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｔｒａｎｓｉｔｉｏｎｉｎｇ Ｂｅｔｗｅｅｎ Ｔｏｕｃｈ Ｉｎｐｕｔ ｔｏ Ｄｉｓｐｌａｙ Ｏｕｔｐｕｔ Ｒｅｌａｔｉｏｎｓｈｉｐｓ」と題された同第ＰＣＴ／ＵＳ２０１３／０６９４８３号（国際公開第２０１４／１０５２７６号として公開）にみられ、それらのそれぞれ全体が参照により本明細書に組み込まれる。 Exemplary techniques for detecting and processing touch intensity are described, for example, in related applications, International Patent Application No. PCT/US2013/040061 (published as WO 2013/169849), filed May 8, 2013, entitled "Device, Method, and Graphical User Interface for Displaying User Interface Objects Corresponding to an Application," and International Patent Application No. PCT/US2013/040061 (published as WO 2013/169849), filed November 11, 2013, entitled "Device, Method, and Graphical User Interface for Transitioning Between Touch Input to and PCT Application No. PCT/US2013/069483 (published as WO 2014/105276) entitled "Display Output Relationships," each of which is incorporated herein by reference in its entirety.

一部の実施形態では、デバイス５００は、１つ以上の入力機構５０６及び５０８を有する。入力機構５０６及び５０８は、含まれる場合には、物理的なものとすることができる。物理的な入力機構の例としては、プッシュボタン及び回転可能機構が挙げられる。一部の実施形態では、デバイス５００は、１つ以上のアタッチメント機構を有する。かかるアタッチメント機構は、含まれる場合には、例えば、デバイス５００を、帽子、アイウェア、イヤリング、ネックレス、シャツ、ジャケット、ブレスレット、腕時計バンド、チェーン、ズボン、ベルト、靴、財布、バックパックなどに、取り付けることを可能にする。これらのアタッチメント機構は、ユーザによってデバイス５００が着用されることを可能にする。 In some embodiments, device 500 has one or more input mechanisms 506 and 508. Input mechanisms 506 and 508, if included, can be physical. Examples of physical input mechanisms include push buttons and rotatable mechanisms. In some embodiments, device 500 has one or more attachment mechanisms. Such attachment mechanisms, if included, allow device 500 to be attached to, for example, hats, eyewear, earrings, necklaces, shirts, jackets, bracelets, watch bands, chains, pants, belts, shoes, wallets, backpacks, etc. These attachment mechanisms allow device 500 to be worn by a user.

図５Ｂは、例示的なパーソナル電子デバイス５００を示す。一部の実施形態では、デバイス５００は、図１Ａ、図１Ｂ及び図３に関して記載した構成要素の一部又は全てを含むことができる。デバイス５００は、Ｉ／Ｏ部５１４を１つ以上のコンピュータプロセッサ５１６及びメモリ５１８に動作可能に結合するバス５１２を有する。Ｉ／Ｏ部５１４は、ディスプレイ５０４に接続することができ、ディスプレイ５０４は、タッチ感知構成要素５２２と、任意選択的に、強度センサ５２４（例えば、接触強度センサ）と、を有し得る。更に、Ｉ／Ｏ部５１４は、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、近距離通信（ＮＦＣ）、セルラー及び／又は他の無線通信技術を使用して、アプリケーション及びオペレーティングシステムのデータを受信するための通信ユニット５３０に接続し得る。デバイス５００は、入力機構５０６及び／又は５０８を含むことができる。入力機構５０６は、任意選択的に、例えば、回転可能入力デバイス、又は押圧可能かつ回転可能な入力デバイスである。入力機構５０８は、任意選択的に、一部の例では、ボタンである。 FIG. 5B illustrates an exemplary personal electronic device 500. In some embodiments, device 500 may include some or all of the components described with respect to FIGS. 1A, 1B, and 3. Device 500 has a bus 512 operably coupling I/O unit 514 to one or more computer processors 516 and memory 518. I/O unit 514 may be connected to a display 504, which may have touch-sensing components 522 and, optionally, an intensity sensor 524 (e.g., a contact intensity sensor). Additionally, I/O unit 514 may connect to a communication unit 530 for receiving application and operating system data using Wi-Fi, Bluetooth, near-field communication (NFC), cellular, and/or other wireless communication technologies. Device 500 may include input mechanisms 506 and/or 508. Input mechanism 506 is optionally, for example, a rotatable input device or a depressible and rotatable input device. The input mechanism 508 is optionally, in some examples, a button.

入力機構５０８は、任意選択的に、一部の例では、マイクロフォンである。パーソナル電子デバイス５００は、任意選択的に、ＧＰＳセンサ５３２、加速度計５３４、方向センサ５４０（例えば、コンパス）、ジャイロスコープ５３６、動きセンサ５３８、及び／又はこれらの組み合わせなどの様々なセンサを含むものであり、それらの全てはＩ／Ｏ部５１４に動作可能に接続できる。 The input mechanism 508 is optionally, in some examples, a microphone. The personal electronic device 500 optionally includes various sensors, such as a GPS sensor 532, an accelerometer 534, an orientation sensor 540 (e.g., a compass), a gyroscope 536, a motion sensor 538, and/or combinations thereof, all of which may be operably connected to the I/O section 514.

パーソナル電子デバイス５００のメモリ５１８は、コンピュータ実行可能命令を記憶するための１つ以上の非一時的コンピュータ可読記憶媒体を含むことができ、それらの命令は、１つ以上のコンピュータプロセッサ５１６によって実行されると、例えば、コンピュータプロセッサに、処理７００、９００、１１００、１３００及び１５００（図７Ａ～図７Ｆ、図９Ａ～図９Ｋ、図１１Ａ～図１１Ｆ、図１３Ａ～図１３Ｄ、及び図１５Ａ～図１５Ｃ）を含む、以下に説明する技術を行わせることができる。コンピュータ可読記憶媒体は、命令実行システム、装置若しくはデバイスによって、又はこれらと関連して使用するためのコンピュータ実行可能命令を有形的に収容又は記憶することができる、任意の媒体とすることができる。一部の例では、記憶媒体は、一時的コンピュータ可読記憶媒体である。一部の例では、記憶媒体は、非一時的コンピュータ可読記憶媒体である。非一時的コンピュータ可読記憶媒体には、磁気的記憶装置、光学的記憶装置及び／又は半導体記憶装置を挙げることができるが、これらに限定されない。そのような記憶装置の例には、磁気ディスク、ＣＤ、ＤＶＤ又はＢｌｕ－ｒａｙ技術に基づく光ディスク、及び、フラッシュ、ソリッドステートドライブなどの永続的ソリッドステートメモリが挙げられる。パーソナル電子デバイス５００は、図５Ｂの構成要素及び構成に限定されるものではなく、他の構成要素又は追加的構成要素を、複数の構成で含み得る。 The memory 518 of the personal electronic device 500 may include one or more non-transitory computer-readable storage media for storing computer-executable instructions that, when executed by the one or more computer processors 516, may cause the computer processors to perform, for example, the techniques described below, including processes 700, 900, 1100, 1300, and 1500 (FIGS. 7A-7F, 9A-9K, 11A-11F, 13A-13D, and 15A-15C). A computer-readable storage medium may be any medium that can tangibly contain or store computer-executable instructions for use by or in connection with an instruction execution system, apparatus, or device. In some examples, the storage medium is a transient computer-readable storage medium. In some examples, the storage medium is a non-transitory computer-readable storage medium. Non-transitory computer-readable storage media may include, but are not limited to, magnetic, optical, and/or semiconductor storage devices. Examples of such storage devices include magnetic disks, optical disks based on CD, DVD, or Blu-ray technology, and persistent solid-state memory such as flash and solid-state drives. Personal electronic device 500 is not limited to the components and configuration of FIG. 5B and may include other or additional components in multiple configurations.

本明細書において使用するとき、用語「アフォーダンス」は、デバイス１００、３００及び／又は５００（図１、図３及び図５Ａ～図５Ｂ）のディスプレイ画面上に任意選択的に表示されるユーザ対話式のグラフィカルユーザインターフェースオブジェクトを指す。例えば、画像（例えば、アイコン）、ボタン及びテキスト（例えば、ハイパーリンク）はそれぞれ、任意選択的に、アフォーダンスを構成する。 As used herein, the term "affordance" refers to a user-interactive graphical user interface object that is optionally displayed on the display screen of device 100, 300, and/or 500 (FIGS. 1, 3, and 5A-5B). For example, images (e.g., icons), buttons, and text (e.g., hyperlinks) each optionally constitute an affordance.

本明細書において使用するとき、用語「フォーカスセレクタ」は、ユーザが対話しているユーザインターフェースの現在の部分を示す入力要素を指す。カーソル又は他の位置マーカを含む一部の実装例において、カーソルは「フォーカスセレクタ」として機能し、カーソルが特定のユーザインターフェース要素（例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインターフェース要素）の上にあるときにタッチ感知面（例えば、図３のタッチパッド３５５、又は図４Ｂのタッチ感知面４５１）上で入力（例えば、押圧入力）が検出されたとき、特定のユーザインターフェース要素は、検出された入力に従って調整される。タッチスクリーンディスプレイ上のユーザインターフェース要素との直接的な対話を可能にするタッチスクリーンディスプレイ（例えば、図１Ａでのタッチ感知ディスプレイシステム１１２、又は図４Ａでのタッチスクリーン１１２）を含む一部の実装例では、タッチスクリーン上で検出される接触が「フォーカスセレクタ」としての役割を果たすことにより、入力（例えば、接触による押圧入力）が、タッチスクリーンディスプレイ上の特定のユーザインターフェース要素（例えば、ボタン、ウィンドウ、スライダ、又は他のユーザインターフェース要素）の位置で検出されると、その特定のユーザインターフェース要素が、検出された入力に従って調節される。一部の実装形態では、タッチスクリーンディスプレイ上の対応するカーソルの移動又は接触の移動なしに（例えば、タブキー又は矢印キーを使用してフォーカスを１つのボタンから別のボタンに移動させることによって）ユーザインターフェースの１つの領域からユーザインターフェースの別の領域にフォーカスが移動され、それらの実装形態では、フォーカスセレクタは、ユーザインターフェースの異なる領域間のフォーカスの移動に従って移動する。フォーカスセレクタによってとられる具体的な形態とは関わりなく、フォーカスセレクタは、全般的に、ユーザの意図したユーザインターフェースとの対話を通信するために（例えば、ユーザが対話することを意図しているユーザインターフェースの要素をデバイスに示すことによって）、ユーザによって制御されるユーザインターフェース要素（又はタッチスクリーンディスプレイ上の接触）である。例えば、押圧入力がタッチ感知面（例えば、タッチパッド又はタッチスクリーン）上で検出されたときの、対応するボタンの上にあるフォーカスセレクタ（例えば、カーソル、接触又は選択ボックス）の位置は、（デバイスのディスプレイ上に示されている他のユーザインターフェース要素ではなく）対応するボタンをユーザがアクティブ化しようとしていることを示すものである。 As used herein, the term "focus selector" refers to an input element that indicates the current portion of a user interface with which a user is interacting. In some implementations involving a cursor or other position marker, the cursor acts as the "focus selector," and when input (e.g., a press input) is detected on a touch-sensitive surface (e.g., touchpad 355 in FIG. 3 or touch-sensitive surface 451 in FIG. 4B) while the cursor is over a particular user interface element (e.g., a button, window, slider, or other user interface element), the particular user interface element is adjusted according to the detected input. In some implementations involving a touchscreen display (e.g., touch-sensitive display system 112 in FIG. 1A or touchscreen 112 in FIG. 4A) that allows direct interaction with user interface elements on the touchscreen display, contact detected on the touchscreen acts as the "focus selector," such that when input (e.g., a press input) is detected at the location of a particular user interface element (e.g., a button, window, slider, or other user interface element) on the touchscreen display, the particular user interface element is adjusted according to the detected input. In some implementations, focus is moved from one region of the user interface to another region of the user interface (e.g., by using the tab key or arrow keys to move focus from one button to another) without corresponding cursor or contact movement on the touchscreen display; in these implementations, the focus selector moves to follow the movement of focus between different regions of the user interface. Regardless of the specific form taken by the focus selector, the focus selector is generally a user interface element (or contact on a touchscreen display) that is controlled by the user to communicate the user's intended interaction with the user interface (e.g., by indicating to the device which element of the user interface the user intends to interact with). For example, the position of the focus selector (e.g., cursor, contact, or selection box) over a corresponding button when a press input is detected on the touch-sensitive surface (e.g., a touchpad or touchscreen) indicates that the user intends to activate the corresponding button (rather than other user interface elements shown on the device's display).

本明細書及び特許請求の範囲において使用するとき、接触の「特性強度」という用語は、接触の１つ以上の強度に基づく接触の特性を指す。一部の実施形態では、特性強度は複数の強度サンプルに基づく。特性強度は、所定の数の強度サンプル、あるいは所定のイベントに対する（例えば、接触を検出した後、接触のリフトオフを検出する前、接触の移動の開始を検出する前若しくは後、接触の終了を検出する前、接触の強度の増加を検出する前若しくは後、及び／又は接触の強度の減少を検出する前若しくは後）所定の時間の間（例えば、０．０５、０．１、０．２、０．５、１、２、５、１０秒）に収集された強度サンプルのセットに任意選択的に基づく。接触の特性強度は、任意選択的に、接触の強度の最大値、接触の強度の平均値（mean value）、接触の強度の平均値（average value）、接触の強度の上位１０％の値、接触の強度の最大値の半分の値、接触の強度の最大値の９０％の値など、のうちの１つ以上に基づく。一部の実施形態では、（例えば、特性強度が経時的な接触の強度の平均であるときに）特性強度を判定するために、接触の持続期間が使用される。一部の実施形態では、操作がユーザによって行われたかを判定するために、特性強度を１つ以上の強度閾値のセットと比較する。例えば、１つ以上の強度閾値のセットは、任意選択的に、第１の強度閾値及び第２の強度閾値を含む。この例では、第１の閾値を超えない特性強度を有する接触の結果として第１の動作が行われ、第１の強度閾値を超えるが第２の強度閾値を超えない特性強度を有する接触の結果として第２の動作が行われ、第２の閾値を超える特性強度を有する接触の結果として第３の動作が行われる。一部の実施形態では、特性強度と１つ以上の閾値との間の比較が、第１の動作又は第２の動作のいずれを行うかを判定するために使用されるのではなく、１つ以上の動作を行うか否か（例えば、各動作を行うのか、又は各動作を行うことを見合わせるのか）を判定するために使用される。 As used herein and in the claims, the term "characteristic intensity" of a contact refers to a characteristic of the contact based on one or more intensities of the contact. In some embodiments, the characteristic intensity is based on a plurality of intensity samples. The characteristic intensity is optionally based on a predetermined number of intensity samples or a set of intensity samples collected during a predetermined time period (e.g., 0.05, 0.1, 0.2, 0.5, 1, 2, 5, 10 seconds) for a predetermined event (e.g., after detecting the contact, before detecting contact liftoff, before or after detecting the start of contact movement, before detecting the end of the contact, before or after detecting an increase in contact intensity, and/or before or after detecting a decrease in contact intensity). The characteristic intensity of the contact is optionally based on one or more of the maximum contact intensity, the mean value of the contact intensity, the average value of the contact intensity, the top 10% of the contact intensity values, half the maximum contact intensity value, 90% of the maximum contact intensity value, etc. In some embodiments, the duration of the contact is used to determine the characteristic intensity (e.g., when the characteristic intensity is an average of the intensity of the contact over time). In some embodiments, the characteristic intensity is compared to a set of one or more intensity thresholds to determine whether an operation was performed by the user. For example, the set of one or more intensity thresholds optionally includes a first intensity threshold and a second intensity threshold. In this example, a contact having a characteristic intensity that does not exceed the first threshold results in a first action, a contact having a characteristic intensity that exceeds the first intensity threshold but not the second intensity threshold results in a second action, and a contact having a characteristic intensity that exceeds the second threshold results in a third action. In some embodiments, the comparison between the characteristic intensity and the one or more thresholds is not used to determine whether to perform the first or second action, but rather to determine whether to perform one or more actions (e.g., whether to perform each action or to forgo performing each action).

図５Ｃは、複数の強度センサ５２４Ａ～５２４Ｄによる、タッチ感知ディスプレイ画面５０４上での複数の接触５５２Ａ～５５２Ｅの検出を示す。図５Ｃは、追加的に、強度単位に対する、強度センサ５２４Ａ～５２４Ｄの現在の強度測定値を示す強度図を含む。この例では、強度センサ５２４Ａ及び５２４Ｄの強度測定値は、それぞれ、９強度単位であり、強度センサ５２４Ｂ及び５２４Ｃの強度測定値は、それぞれ、７強度単位である。一部の実装例では、合計の強度は、複数の強度センサ５２４Ａ～５２４Ｄの強度測定値の和であり、この例では、３２強度単位である。一部の実施形態では、各接触には、合計の強度の一部分である、それぞれの強度が割り当てられる。図５Ｄは、力の中心５５４からの接触５５２Ａ～５５２Ｅの距離に基づく、接触５５２Ａ～５５２Ｅへの合計の強度の割り当てを示す。この例では、接触５５２Ａ、５５２Ｂ及び５５２Ｅのそれぞれに、合計の強度のうち８強度単位の接触の強度が割り当てられ、接触５５２Ｃ及び５５２Ｄのそれぞれに、合計の強度のうち４強度単位の接触の強度が割り当てられる。より一般的には、一部の実装例では、各接触ｊは、所定の数学関数Ｉｊ＝Ａ・（Ｄｊ／ΣＤｉ）に従って、合計の強度Ａの一部分である、それぞれの強度Ｉｊが割り当てられ、ここで、Ｄｊは、力の中心からそれぞれの接触ｊまでの距離であり、ΣＤｉは、力の中心から全てのそれぞれ接触（例えば、ｉ＝１から最後まで）までの距離の和である。図５Ｃ～図５Ｄを参照して説明した動作は、デバイス１００、３００又は５００と類似若しくは同一の電子デバイスを使用して行うことができる。一部の実施形態では、接触の特性強度は、接触の１つ以上の強度に基づく。一部の実施形態では、強度センサを使用して、単一の特性強度（例えば、単一の接触の単一の特性強度）を判定する。強度図は、表示されるユーザインターフェースの一部分ではないが、読み手のために、図５Ｃ～図５Ｄに含まれていることに留意されたい。 Figure 5C illustrates the detection of multiple contacts 552A-552E on the touch-sensitive display screen 504 by multiple intensity sensors 524A-524D. Figure 5C additionally includes an intensity diagram illustrating the current intensity measurements of intensity sensors 524A-524D relative to intensity units. In this example, the intensity measurements of intensity sensors 524A and 524D are each 9 intensity units, and the intensity measurements of intensity sensors 524B and 524C are each 7 intensity units. In some implementations, the total intensity is the sum of the intensity measurements of multiple intensity sensors 524A-524D, which in this example is 32 intensity units. In some embodiments, each contact is assigned a respective intensity that is a portion of the total intensity. Figure 5D illustrates the assignment of total intensity to contacts 552A-552E based on the distance of contacts 552A-552E from the center of force 554. In this example, contacts 552A, 552B, and 552E are each assigned a contact intensity of 8 intensity units of the total intensity, and contacts 552C and 552D are each assigned a contact intensity of 4 intensity units of the total intensity. More generally, in some implementations, each contact j is assigned a respective intensity Ij, which is a portion of the total intensity A, according to a predetermined mathematical function Ij = A · (Dj / ΣDi), where Dj is the distance from the center of force to the respective contact j, and ΣDi is the sum of the distances from the center of force to all respective contacts (e.g., from i = 1 to the end). The operations described with reference to Figures 5C-5D can be performed using electronic devices similar to or identical to device 100, 300, or 500. In some embodiments, the characteristic intensity of a contact is based on one or more intensities of the contact. In some embodiments, an intensity sensor is used to determine a single characteristic intensity (e.g., a single characteristic intensity of a single contact). Note that the intensity plots are not part of the displayed user interface, but are included in Figures 5C-5D for the reader's convenience.

一部の実施形態では、ジェスチャの一部は、特性強度を判定する目的で特定される。例えば、タッチ感知面は、任意選択的に、接触の強度が増加する、開始位置から遷移して終了位置まで達する連続的なスワイプ接触を受け取る。この例では、終了位置における接触の特性強度は、任意選択的に、連続的なスワイプ接触全体ではなく、そのスワイプ接触の一部分のみ（例えば、終了位置におけるスワイプ接触の部分のみ）に基づく。一部の実施形態では、任意選択的に、接触の特性強度を判定する前に、平滑化アルゴリズムをそのスワイプ接触の強度に適用する。例えば、平滑化アルゴリズムは任意選択的に、非加重移動平均平滑化アルゴリズム、三角平滑化アルゴリズム、中央値フィルタ平滑化アルゴリズム、及び／又は指数平滑化アルゴリズムのうちの１つ以上を含む。一部の状況では、それらの平滑化アルゴリズムは、特性強度を判定する目的で、スワイプ接触の強度の小幅な上昇又は低下を除去する。 In some embodiments, a portion of the gesture is identified for purposes of determining the characteristic intensity. For example, the touch-sensitive surface optionally receives successive swipe contacts that transition from a start position to an end position, where the intensity of the contact increases. In this example, the characteristic intensity of the contact at the end position is optionally based on only a portion of the swipe contacts (e.g., only the portion of the swipe contact at the end position) rather than the entire successive swipe contacts. In some embodiments, a smoothing algorithm is optionally applied to the intensity of the swipe contacts before determining the characteristic intensity of the contacts. For example, the smoothing algorithm optionally includes one or more of an unweighted moving average smoothing algorithm, a triangular smoothing algorithm, a median filter smoothing algorithm, and/or an exponential smoothing algorithm. In some situations, the smoothing algorithms remove small increases or decreases in the intensity of the swipe contacts for purposes of determining the characteristic intensity.

タッチ感知面上の接触の強度は、任意選択的に、接触検出強度閾値、軽い押圧強度閾値、深い押圧強度閾値、及び／又は１つ以上の他の強度閾値などの１つ以上の強度閾値に対して特徴付けする。一部の実施形態では、軽い押圧強度閾値は、物理的なマウスのボタン又はトラックパッドをクリックすることと一般的に関連付けられた操作をデバイスが行う強度に対応する。一部の実施形態では、深い押圧強度閾値は、物理的なマウスのボタン又はトラックパッドをクリックすることと典型的に関連付けられた操作とは異なる操作をデバイスが行う強度に対応する。一部の実施形態では、軽い押圧強度閾値を下回る（例えば、かつ、それを下回ると接触が検出されなくなるわずかな接触検出強度閾値を上回る）特性強度で接触が検出される場合、デバイスは、軽い押圧強度閾値又は深い押圧強度閾値に関連付けられた動作を行うことなく、タッチ感知面上の接触の移動に従って、フォーカスセレクタを移動させる。全般的には、特に明記しない限り、これらの強度閾値は、ユーザインターフェース図の異なるセット間でも一貫している。 The intensity of the contact on the touch-sensitive surface is optionally characterized relative to one or more intensity thresholds, such as a contact-detection intensity threshold, a light pressure intensity threshold, a deep pressure intensity threshold, and/or one or more other intensity thresholds. In some embodiments, the light pressure intensity threshold corresponds to an intensity at which the device performs an operation typically associated with clicking a physical mouse button or trackpad. In some embodiments, the deep pressure intensity threshold corresponds to an intensity at which the device performs an operation different from an operation typically associated with clicking a physical mouse button or trackpad. In some embodiments, if the contact is detected with a characteristic intensity below the light pressure intensity threshold (e.g., and above a slight contact-detection intensity threshold below which the contact is not detected), the device moves the focus selector in accordance with the movement of the contact on the touch-sensitive surface without performing any action associated with the light pressure intensity threshold or the deep pressure intensity threshold. Generally, unless otherwise specified, these intensity thresholds are consistent across different sets of user interface diagrams.

軽い押圧強度閾値を下回る強度から、軽い押圧強度閾値と深い押圧強度閾値との間の強度への接触の特性強度の増加は、「軽い押圧」入力と呼ばれる場合がある。深い押圧強度閾値を下回る強度から、深い押圧強度閾値を上回る強度への接触の特性強度の増加は、「深い押圧」入力と呼ばれる場合がある。接触検出強度閾値を下回る強度から、接触検出強度閾値と軽い押圧強度閾値との間の強度への接触の特性強度の増加は、タッチ面上の接触の検出と呼ばれる場合がある。接触検出強度閾値を上回る強度から、接触検出強度閾値を下回る強度への接触の特性強度の減少は、タッチ面からの接触のリフトオフの検出と呼ばれる場合がある。一部の実施形態では、接触検出強度閾値はゼロである。一部の実施形態では、接触検出強度閾値はゼロより大きい。 An increase in the characteristic intensity of a contact from an intensity below the light pressure intensity threshold to an intensity between the light pressure intensity threshold and the deep pressure intensity threshold may be referred to as a "light press" input. An increase in the characteristic intensity of a contact from an intensity below the deep pressure intensity threshold to an intensity above the deep pressure intensity threshold may be referred to as a "deep press" input. An increase in the characteristic intensity of a contact from an intensity below the contact detection intensity threshold to an intensity between the contact detection intensity threshold and the light pressure intensity threshold may be referred to as detecting a contact on the touch surface. A decrease in the characteristic intensity of a contact from an intensity above the contact detection intensity threshold to an intensity below the contact detection intensity threshold may be referred to as detecting a lift-off of the contact from the touch surface. In some embodiments, the contact detection intensity threshold is zero. In some embodiments, the contact detection intensity threshold is greater than zero.

本明細書で説明される一部の実施形態では、１つ以上の操作は、それぞれの押圧入力を含むジェスチャを検出したことに応じて、又はそれぞれの接触（又は、複数の接触）で行われるそれぞれの押圧入力を検出したことに応じて行われ、それぞれの押圧入力は、押圧入力強度閾値を上回る接触（又は、複数の接触）の強度の増加を検出したことに少なくとも部分的に基づいて検出される。一部の実施形態では、それぞれの動作は、押圧入力強度閾値を上回る、それぞれの接触の強度の増加（例えば、それぞれの押圧入力の「ダウンストローク」）の検出に応じて行われる。一部の実施形態では、押圧入力は、押圧入力強度閾値を上回るそれぞれの接触の強度の増加、及び後続の押圧入力強度閾値を下回る接触の強度の減少を含み、それぞれの動作は、後続の押圧入力閾値を下回るそれぞれの接触の強度の減少（例えば、それぞれの押圧入力の「アップストローク」）の検出に応じて行われる。 In some embodiments described herein, one or more operations are performed in response to detecting a gesture including the respective pressure input, or in response to detecting the respective pressure input made with the respective contact (or contacts), where the respective pressure input is detected based at least in part on detecting an increase in intensity of the contact (or contacts) above a pressure input intensity threshold. In some embodiments, the respective action is performed in response to detecting an increase in intensity of the respective contact (e.g., a "downstroke" of the respective pressure input) above the pressure input intensity threshold. In some embodiments, the pressure input includes an increase in intensity of the respective contact above the pressure input intensity threshold and a subsequent decrease in intensity of the contact below the pressure input intensity threshold, where the respective action is performed in response to detecting a subsequent decrease in intensity of the respective contact below the pressure input intensity threshold (e.g., an "upstroke" of the respective pressure input).

図５Ｅ～図５Ｈは、図５Ｅの軽い押圧強度閾値（例えば、「ＩＴＬ」）未満の強度から図５Ｈの深い押圧強度閾値（例えば、「ＩＴＤ」）を上回る強度に至る、接触５６２の強度の増加に対応する押圧入力を含む、ジェスチャの検出を示す。接触５６２によって行われたジェスチャは、所定の領域５７４に表示されたアプリケーションアイコン５７２Ａ～５７２Ｄを含む、表示されたユーザインターフェース５７０上において、カーソル５７６が、アプリ２に対応するアプリケーションアイコン５７２Ｂ上に表示されているときに、タッチ感知面５６０上で検出される。一部の実施形態では、ジェスチャは、タッチ感知ディスプレイ５０４上で検出される。強度センサは、タッチ感知面５６０上に接触の強度を検出する。デバイスは、接触５６２の強度が、深い押圧強度閾値（例えば、「ＩＴＤ」）を超えてピークに達したと判定する。接触５６２は、タッチ感知面５６０上で維持されている。ジェスチャの検出に応じて、かつジェスチャ中に深い押圧強度閾値（例えば、「ＩＴＤ」）を上回る強度を有する接触５６２に応じて、図５Ｆ～図５Ｈに示すように、アプリ２に関して最近開いた文書の縮小表現５７８Ａ～５７８Ｃ（例えば、サムネイル）を表示する。一部の実施形態では、１つ以上の強度閾値と比較される強度は、接触の特性強度である。接触５６２の強度図は、表示されるユーザインターフェースの一部分ではないが、読み手のために、図５Ｅ～図５Ｈに含まれていることに留意されたい。 5E-5H illustrate the detection of a gesture including a pressure input corresponding to an increase in the intensity of contact 562, from an intensity below a light pressure intensity threshold (e.g., "IT L ") in FIG. 5E to an intensity above a deep pressure intensity threshold (e.g., "IT D ") in FIG. 5H. The gesture made by contact 562 is detected on touch-sensitive surface 560 when cursor 576 is displayed over application icon 572B corresponding to app2 on displayed user interface 570, which includes application icons 572A-572D displayed in predetermined region 574. In some embodiments, the gesture is detected on touch-sensitive display 504. An intensity sensor detects the intensity of the contact on touch-sensitive surface 560. The device determines that the intensity of contact 562 peaks above the deep pressure intensity threshold (e.g., "IT D "). Contact 562 is maintained on touch-sensitive surface 560. In response to detecting the gesture, and in response to contact 562 having an intensity above a deep pressure intensity threshold (e.g., "IT D ") during the gesture, display reduced representations 578A-578C (e.g., thumbnails) of recently opened documents for app2, as shown in Figures 5F-5H. In some embodiments, the intensity that is compared to the one or more intensity thresholds is a characteristic intensity of the contact. Note that the intensity diagram of contact 562 is not part of the displayed user interface, but is included in Figures 5E-5H for the reader's benefit.

一部の実施形態では、表現５７８Ａ～５７８Ｃの表示には、アニメーションを含む。例えば、表現５７８Ａは、最初、図５Ｆに示すように、アプリケーションアイコン５７２Ｂの近くに表示されている。アニメーションが進行するにつれて、図５Ｇに示すように、表現５７８Ａは上方へ移動し、アプリケーションアイコン５７２Ｂの近くに表現５７８Ｂが表示される。次いで、図５Ｈに示すように、表現５７８Ａが上方へ移動し、表現５７８Ａに向けて表現５７８Ｂが上方へ移動し、アプリケーションアイコン５７２Ｂの近くに表現５７８Ｃが表示される。表現５７８Ａ～５７８Ｃは、アイコン５７２Ｂの上方にアレイを形成する。一部の実施形態では、アニメーションは、図５Ｆ～図５Ｇに示すように、接触５６２の強度に応じて進行し、ここで、接触５６２の強度が深い押圧強度閾値（例えば、「ＩＴＤ」）に向けて増加するにつれて、表現５７８Ａ～５７８Ｃが現れ、そして上方へ移動する。一部の実施形態では、アニメーションの進行が基づく強度は、接触の特性強度である。図５Ｅ～図５Ｈを参照して説明した動作は、デバイス１００、３００又は５００と類似する若しくは同一の電子デバイスを使用して行うことができる。 In some embodiments, the display of representations 578A-578C includes animation. For example, representation 578A is initially displayed near application icon 572B, as shown in FIG. 5F. As the animation progresses, representation 578A moves upward, and representation 578B is displayed near application icon 572B, as shown in FIG. 5G. Then, as shown in FIG. 5H, representation 578A moves upward, and representation 578B moves upward toward representation 578A, and representation 578C is displayed near application icon 572B. Representations 578A-578C form an array above icon 572B. In some embodiments, the animation progresses according to the intensity of contact 562, as shown in FIGS. 5F-5G, where representations 578A-578C appear and move upward as the intensity of contact 562 increases toward a deep pressure intensity threshold (e.g., "IT D "). In some embodiments, the intensity on which the animation progression is based is a characteristic intensity of the contact. The operations described with reference to FIGS. 5E-5H can be performed using electronic devices similar to or identical to devices 100, 300 or 500.

一部の実施形態では、デバイスは、「ジッタ」と呼ばれる場合がある不測の入力を回避するために、強度ヒステリシスを採用し、デバイスは、押圧入力強度閾値との所定の関連性を有するヒステリシス強度閾値を定義又は選択する（例えば、ヒステリシス強度閾値は、押圧入力強度閾値よりもＸ強度単位低いか、又は、ヒステリシス強度閾値は、押圧入力強度閾値の７５％、９０％若しくは何らかの妥当な比率である）。したがって、一部の実施形態では、押圧入力は、押圧入力強度閾値を上回る対応する接触の強度の増加、及び後続の、押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少を含み、対応する動作は、そのヒステリシス強度閾値を下回る、後続の対応する接触の強度の減少（例えば、対応する押圧入力の「アップストローク」）を検出したことに応じて、行われる。同様に、一部の実施形態では、押圧入力は、デバイスが、ヒステリシス強度閾値以下の強度から押圧入力強度閾値以上の強度への接触の強度の増加、及び任意選択的に、後続するヒステリシス強度以下の強度への接触の強度の減少を検出する場合にのみ検出され、対応する動作は、その押圧入力の検出（例えば、状況に応じて、接触の強度の増加、又は接触の強度の減少）に応じて、行われる。 In some embodiments, the device employs intensity hysteresis to avoid accidental inputs, sometimes referred to as "jitter," and the device defines or selects a hysteresis intensity threshold having a predetermined relationship to the pressure input intensity threshold (e.g., the hysteresis intensity threshold is X intensity units below the pressure input intensity threshold, or the hysteresis intensity threshold is 75%, 90%, or some reasonable percentage of the pressure input intensity threshold). Thus, in some embodiments, the pressure input includes a corresponding increase in the intensity of the contact above the pressure input intensity threshold and a subsequent decrease in the intensity of the contact below a hysteresis intensity threshold corresponding to the pressure input intensity threshold, and a corresponding action is taken in response to detecting a subsequent decrease in the intensity of the corresponding contact below the hysteresis intensity threshold (e.g., an "upstroke" of the corresponding pressure input). Similarly, in some embodiments, a pressure input is detected only when the device detects an increase in the intensity of the contact from an intensity below the hysteresis intensity threshold to an intensity above the pressure input intensity threshold, and optionally a subsequent decrease in the intensity of the contact to an intensity below the hysteresis intensity, and a corresponding action is taken in response to detecting the pressure input (e.g., an increase in the intensity of the contact or a decrease in the intensity of the contact, as the case may be).

説明を容易にするために、押圧入力強度閾値に関連付けられた押圧入力に応じて、又はその押圧入力を含むジェスチャに応じて行われる動作の説明は、押圧入力強度閾値を上回る接触の強度の増加、ヒステリシス強度閾値を下回る強度から押圧入力強度閾値を上回る強度への接触の強度の増加、押圧入力強度閾値を下回る接触の強度の減少、及び／又は押圧入力強度閾値に対応するヒステリシス強度閾値を下回る接触の強度の減少のいずれかを検出したことに応じて、任意選択的にトリガされる。加えて、押圧入力強度閾値を下回る接触の強度の減少を検出したことに応じて動作が行われるとして説明される例では、その動作は、押圧入力強度閾値に対応し、かつそれよりも低いヒステリシス強度閾値を下回る、接触の強度の減少を検出したことに応じて、任意選択的に行われる。 For ease of explanation, actions described as being performed in response to a pressure input associated with a pressure input intensity threshold or in response to a gesture including that pressure input are optionally triggered in response to detecting any of: an increase in the intensity of contact above the pressure input intensity threshold; an increase in the intensity of contact from an intensity below a hysteresis intensity threshold to an intensity above the pressure input intensity threshold; a decrease in the intensity of contact below the pressure input intensity threshold; and/or a decrease in the intensity of contact below a hysteresis intensity threshold corresponding to the pressure input intensity threshold. Additionally, in examples described as performing an action in response to detecting a decrease in the intensity of contact below a pressure input intensity threshold, the action is optionally performed in response to detecting a decrease in the intensity of contact below a hysteresis intensity threshold corresponding to and lower than the pressure input intensity threshold.

本明細書で使用するとき、「インストール済みアプリケーション」とは、電子デバイス（例えば、デバイス１００、３００、及び／又は５００）にダウンロードされており、かつ、そのデバイス上で起動される（例えば、開かれた状態になる）準備が整っているソフトウェアアプリケーションを指す。一部の実施形態では、ダウンロードされたアプリケーションは、ダウンロードされたパッケージからプログラム部分を抽出して、その抽出部分をコンピュータシステムのオペレーティングシステムと統合するインストールプログラムによって、インストール済みアプリケーションになる。 As used herein, an "installed application" refers to a software application that has been downloaded to an electronic device (e.g., device 100, 300, and/or 500) and is ready to be launched (e.g., opened) on that device. In some embodiments, a downloaded application becomes an installed application through an installation program that extracts program portions from a downloaded package and integrates the extracted portions with the computer system's operating system.

本明細書で使用するとき、用語「開いているアプリケーション」又は「実行中のアプリケーション」は、（例えば、デバイス／グローバル内部状態１５７及び／又はアプリケーション内部状態１９２の一部としての）状態情報が保持されている、ソフトウェアアプリケーションを指す。開いている又は実行中のアプリケーションは、任意選択的に、以下の種類のアプリケーションのうちいずれか１つである。
●そのアプリケーションが使用されているデバイスのディスプレイ画面上に、現時点で表示されている、アクティブなアプリケーション、
●現時点で表示されていないが、そのアプリケーションに関する１つ以上の処理が１つ以上のプロセッサによって処理されている、バックグラウンドアプリケーション（又はバックグラウンド処理）、及び
●稼働していないが、メモリ（それぞれ、揮発性及び／又は不揮発性）内に記憶された、そのアプリケーションの実行を再開するために使用することができる状態情報を有する、中止又は休止状態のアプリケーション。 As used herein, the terms "open application" or "running application" refer to a software application for which state information is maintained (e.g., as part of device/global internal state 157 and/or application internal state 192). An open or running application is, optionally, any one of the following types of application:
● The active application currently displayed on the display screen of the device on which the application is being used;
- Background applications (or background processes) that are not currently displayed but one or more processes related to the application are being processed by one or more processors, and - Suspended or hibernated applications that are not running but have state information stored in memory (respectively volatile and/or non-volatile) that can be used to resume execution of the application.

本明細書で使用するとき、用語「閉じているアプリケーション」は、状態情報が保持されていないソフトウェアアプリケーションを指す（例えば、閉じているアプリケーションに関する状態情報はデバイスのメモリに記憶されていない）。したがって、アプリケーションを閉じることは、そのアプリケーションに関するアプリケーション処理を停止及び／又は除去すること、並びに、そのアプリケーションに関する状態情報をデバイスのメモリから除去することを含む。一般的には、第１のアプリケーション中に第２のアプリケーションを開いても、第１のアプリケーションが閉じられることはない。第２のアプリケーションが表示され、第１のアプリケーションの表示が中止されると、第１のアプリケーションはバックグラウンドアプリケーションになる。 As used herein, the term "closed application" refers to a software application for which no state information is maintained (e.g., no state information for a closed application is stored in the device's memory). Thus, closing an application includes stopping and/or removing application processing for that application and removing state information for that application from the device's memory. Generally, opening a second application while a first application is running does not close the first application. Once the second application is displayed and the first application ceases to be displayed, the first application becomes a background application.

ここで、ポータブル多機能デバイス１００、デバイス３００又はデバイス５００などの電子デバイス上で実装されるユーザインターフェース（「ＵＩ」）及び関連処理の実施形態に着目する。 Attention is now directed to embodiments of user interfaces ("UIs") and associated processes implemented on electronic devices such as portable multifunction device 100, device 300, or device 500.

図６Ａ～図６ＡＦは、一部の実施形態による、（例えば、メッセージングアプリケーションから）ライブ通信セッションを開始し、セッションに参加するための例示的なユーザインターフェースを示す。これらの図のユーザインターフェースは、図７Ａ～図７Ｆの処理を含む後述する処理を示すために使用される。 Figures 6A-6AF show exemplary user interfaces for initiating and joining a live communication session (e.g., from a messaging application) according to some embodiments. The user interfaces in these figures are used to illustrate the processes described below, including the processes of Figures 7A-7F.

図６Ａは、タッチ感知ディスプレイ６０２を備えるデバイス６００を示す。一部の実施形態では、デバイス６００は、デバイス１００、３００、及び５００の１つ以上の特徴を含む。一部の実施形態では、デバイス６００は、カメラ６０３も含み、カメラは、少なくとも、光スペクトルの一部分（例えば、可視光、赤外光、又は紫外光）を表すデータをキャプチャできる画像センサを含む。一部の実施形態では、カメラ６０３は、複数の画像センサ及び／又は他の種類のセンサを含む。感知された光を表すデータをキャプチャするのに加えて、一部の実施形態では、カメラ６０３は、深度データなどの他の種類のデータをキャプチャすることができる。例えば、一部の実施形態では、カメラ６０３は、スペックル、飛行時間、視差又はフォーカスに基づく技術を用いて、深度データもキャプチャする。デバイス６００がカメラ６０３を使用してキャプチャする画像データは、カメラの視野内のシーンについての光スペクトルの一部分に対応するデータを含む。加えて、一部の実施形態では、キャプチャされる画像データは、光データについての深度データも含む。一部の他の実施形態では、キャプチャされる画像データは、光スペクトルの一部分のデータについての深度データを判定又は生成するのに十分なデータを含む。 6A illustrates device 600 with a touch-sensitive display 602. In some embodiments, device 600 includes one or more features of devices 100, 300, and 500. In some embodiments, device 600 also includes a camera 603, which includes an image sensor capable of capturing data representing at least a portion of the light spectrum (e.g., visible light, infrared light, or ultraviolet light). In some embodiments, camera 603 includes multiple image sensors and/or other types of sensors. In addition to capturing data representing sensed light, in some embodiments, camera 603 can capture other types of data, such as depth data. For example, in some embodiments, camera 603 also captures depth data using speckle, time-of-flight, parallax, or focus-based techniques. The image data that device 600 captures using camera 603 includes data corresponding to a portion of the light spectrum for a scene within the camera's field of view. In addition, in some embodiments, the captured image data also includes depth data for the light data. In some other embodiments, the captured image data includes sufficient data to determine or generate depth data for a portion of the light spectrum.

一部の例では、電子デバイス６００は、赤外線カメラ、サーモグラフィーカメラ、又はそれらの組み合わせなどの深度カメラを（例えば、カメラ６０３の一部として）含む。一部の例では、デバイスは、赤外線フラッドライト、構造化光プロジェクタ、又はそれらの組み合わせなどの発光装置（例えば、光プロジェクタ）を更に含む。発光装置は、任意選択的に、可視光カメラ及び深度カメラ（例えば、ＩＲカメラ）による画像のキャプチャ中に被写体を照明するために使用され、深度カメラ及び可視光カメラからの情報は、可視光カメラによってキャプチャされる被写体の異なる部分の深度マップを判定するために使用される。一部の実施形態では、深度マップ（例えば、深度マップ画像）は、ビューポイント（例えば、カメラ）からシーン中のオブジェクトまでの距離に関する情報（例えば、値）を含む。深度マップの一実施形態では、各深度ピクセルは、ビューポイントのＺ軸において対応する２次元ピクセルが配置される位置を定義する。一部の例では、深度マップはピクセルで構成され、各ピクセルは値（例えば、０～２５５）によって定義される。例えば、「０」値は、「３次元」シーンにおいて最も離れた位置に配置されるピクセルを表し、「２５５」値は、「３次元」シーンにおいてビューポイント（例えば、カメラ）の最も近くに配置されるピクセルを表す。他の例では、深度マップは、シーン中のオブジェクトとビューポイントの平面との間の距離を表す。）一部の実施形態では、深度マップは、深度カメラからのビューにおける関心のあるオブジェクトの様々な特徴の相対深度（例えば、ユーザの顔の目、鼻、口、耳の相対深度）に関する情報を含む。一部の実施形態では、深度マップは、関心のあるオブジェクトのｚ方向の輪郭をデバイスが判定することを可能にする情報を含む。一部の実施形態では、本明細書で説明する照明効果は、背面画像用の２つのカメラ（例えば、２つの可視光カメラ）からの視差情報と、前面画像（例えば、自撮り画像）用の可視光カメラからの画像データに合成された深度カメラからの深度情報と、を用いて表示される。一部の実施形態では、２つの可視光カメラを使用して深度情報を判定するときと、深度カメラを使用して深度情報を判定するときとで、同じユーザインターフェースが使用され、照明効果を生成するときに使用する情報を全く異なる技術を用いて判定するときでも、一貫したエクスペリエンスがユーザにもたらされる。一部の実施形態では、照明効果の１つを適用してカメラユーザインターフェースを表示している間に、デバイスは、カメラ切り替えアフォーダンスの選択を検出し、前面カメラ（例えば、深度カメラ及び可視光カメラ）から背面カメラ（例えば、互いに離間した２つの可視光カメラ）（又はその逆）に切り替える一方で、照明効果を適用するためのユーザインターフェースコントローラの表示を維持し、前面カメラの視野の表示を背面カメラの視野に置き換える（又はその逆）。 In some examples, electronic device 600 includes a depth camera (e.g., as part of camera 603), such as an infrared camera, a thermographic camera, or a combination thereof. In some examples, the device further includes a light emitting device (e.g., a light projector), such as an infrared floodlight, a structured light projector, or a combination thereof. The light emitting device is optionally used to illuminate the subject during image capture by the visible light camera and the depth camera (e.g., an IR camera), and information from the depth camera and the visible light camera is used to determine a depth map of different portions of the subject captured by the visible light camera. In some embodiments, the depth map (e.g., a depth map image) includes information (e.g., values) about the distance from the viewpoint (e.g., a camera) to objects in the scene. In one embodiment of the depth map, each depth pixel defines a location in the Z-axis of the viewpoint where a corresponding two-dimensional pixel is located. In some examples, the depth map is composed of pixels, each pixel defined by a value (e.g., 0 to 255). For example, a value of "0" represents a pixel located farthest in a "3D" scene, and a value of "255" represents a pixel located closest in a "3D" scene to the viewpoint (e.g., camera). In other examples, the depth map represents the distance between an object in a scene and the plane of the viewpoint.) In some embodiments, the depth map includes information about the relative depth of various features of an object of interest in the view from the depth camera (e.g., the relative depth of the eyes, nose, mouth, and ears on a user's face). In some embodiments, the depth map includes information that enables a device to determine the z-direction contour of the object of interest. In some embodiments, the lighting effects described herein are displayed using disparity information from two cameras (e.g., two visible light cameras) for the rear view and depth information from the depth camera combined with image data from the visible light camera for the front view (e.g., a selfie). In some embodiments, the same user interface is used when determining depth information using two visible-light cameras and when determining depth information using a depth camera, providing a consistent experience to the user even when entirely different techniques are used to determine the information used to generate lighting effects. In some embodiments, while applying one of the lighting effects and displaying the camera user interface, the device detects selection of a camera switch affordance and switches from the front camera (e.g., a depth camera and a visible-light camera) to the rear camera (e.g., two visible-light cameras spaced apart) (or vice versa), while maintaining display of the user interface controller for applying the lighting effects and replacing the display of the front camera's field of view with the rear camera's field of view (or vice versa).

図６Ａに示すように、デバイス６００は、メッセージングアプリケーションのメッセージングユーザインターフェース６０４を表示する。メッセージングユーザインターフェース６０４は、３人以上の参加者を含む参加者グループ（「Ｔｈｅ Ｄｒｅａｍ Ｔｅａｍ」）間のメッセージ会話におけるメッセージ６０８Ａ～６０８Ｄを含むメッセージ領域６０６を含む。 As shown in FIG. 6A, device 600 displays a messaging user interface 604 of a messaging application. Messaging user interface 604 includes a message area 606 that includes messages 608A-608D in a message conversation between a group of participants ("The Dream Team") that includes three or more participants.

メッセージングユーザインターフェース６０４を表示している間に、デバイス６００は、ライブ通信セッションがグループＴｈｅ Ｄｒｅａｍ Ｔｅａｍの参加者に利用可能であって、ライブ通信セッションがアクティブであることを示すデータ（例えば、ライブ通信セッションに参加するための招待）を受信する。一部の実施形態では、ライブ通信セッションは、オーディオ通信セッション又はオーディオ／ビデオ通信セッションである。 While displaying the messaging user interface 604, the device 600 receives data (e.g., an invitation to join the live communication session) indicating that a live communication session is available to participants in the group The Dream Team and that the live communication session is active. In some embodiments, the live communication session is an audio communication session or an audio/video communication session.

ライブ通信セッションがアクティブであることを示すデータの受信に応じて、デバイス６００は、ライブ通信セッションがアクティブであることを示す通知を表示する。図６Ｂに示すように、通知は、参加者Ｐａｂｌｏからのメッセージとして、Ｐａｂｌｏがライブ通信セッションを開始したことを示す通知６１４をメッセージ領域６０６に含む。通知６１４は、テキスト「ビデオ」及びビデオカメラアイコンによって、ライブ通信セッションの種類を示す。通知６１４はまた、ライブ通信セッションにおける現在アクティブな参加者の数（「１人アクティブ」）も示す。一部の実施形態では、通知６１４は、ライブ通信セッションにおいて現在アクティブな参加者の１人以上の名前を示す。通知６１４はライブ通信参加アフォーダンス６１４Ａをも含み、同アフォーダンスは、選択されると、通知６１４によって表されるライブ通信セッションに参加する処理をデバイス６００に開始させる。ライブ通信セッションに参加する技術については、以下でより詳細に説明する。 In response to receiving data indicating that a live communication session is active, device 600 displays a notification indicating that the live communication session is active. As shown in FIG. 6B , the notification includes notification 614 in message area 606 as a message from participant Pablo indicating that Pablo has started the live communication session. Notification 614 indicates the type of live communication session with the text "Video" and a video camera icon. Notification 614 also indicates the number of participants currently active in the live communication session ("1 active"). In some embodiments, notification 614 also indicates the names of one or more participants currently active in the live communication session. Notification 614 also includes live communication join affordance 614A, which, when selected, causes device 600 to begin processing to join the live communication session represented by notification 614. Techniques for joining a live communication session are described in more detail below.

任意選択的に、ライブ通信セッションがアクティブであることを示すデータの受信に応じて、デバイス６００は、ライブ通信セッションがアクティブであることを示すオーディオ出力を生成する。一部の実施形態では、オーディオ出力は、メッセージングアプリケーションに関連するオーディオ出力（例えば、受信メッセージ通知）、及び電話アプリケーションに関連するオーディオ出力（例えば、着信音）とは異なる。一部の実施形態では、オーディオ出力は、メッセージ通知に関連するオーディオと、着信通知に関連するオーディオとのハイブリッドである。一部の実施形態では、オーディオ出力は、通話及びメッセージ通知の両方のオーディオ出力とオーディオ特性（例えば、共通の音質、音色、リズム）を共有する。 Optionally, in response to receiving data indicating that a live communication session is active, device 600 generates audio output indicating that a live communication session is active. In some embodiments, the audio output is distinct from audio output associated with a messaging application (e.g., an incoming message notification) and audio output associated with a phone application (e.g., a ringtone). In some embodiments, the audio output is a hybrid of audio associated with a message notification and audio associated with an incoming call notification. In some embodiments, the audio output shares audio characteristics (e.g., common tone quality, timbre, rhythm) with the audio output of both a call and a message notification.

ライブ通信セッションがアクティブであることを示すデータの受信に応じて、デバイス６００は、ライブ通信アフォーダンス６１０をも表示する。一部の実施形態では、ライブ通信アフォーダンス６１０は、ライブ通信セッションが開始される前に、（例えば、グレーアウト状態で）表示され、ライブ通信セッションが開始されると、視覚的に強調（例えば、ハイライト）又は修正（例えば、非グレーアウト状態に）される。一部の実施形態では、ライブ通信アフォーダンス６１０又はオプションアフォーダンス６１２の選択によって、ライブ通信セッションに参加する処理が開始する。一部の実施形態では、通知６１４及び／又はライブ通信アフォーダンス６１０は、（例えば、ユーザが恐らく既に注目しているアクティブなメッセージ会話に表示されるので、）オーディオ及び／又は触覚出力（例えば、電話着信出力）を伴わずに表示される。 In response to receiving data indicating that a live communication session is active, device 600 also displays live communication affordance 610. In some embodiments, live communication affordance 610 is displayed (e.g., grayed out) before the live communication session begins and is visually emphasized (e.g., highlighted) or modified (e.g., ungrayed out) once the live communication session begins. In some embodiments, selection of live communication affordance 610 or option affordance 612 initiates the process of joining the live communication session. In some embodiments, notification 614 and/or live communication affordance 610 are displayed without accompanying audio and/or tactile output (e.g., an incoming phone call output) (e.g., because they are displayed in an active messaging conversation that the user is likely already focusing on).

図６Ｃに示すように、メッセージ領域６０６内のメッセージ会話に追加メッセージが加えられると、通知６１４は、メッセージ領域６０６の異なる位置へと上に移動する。一部の実施形態では、デバイス６００は、メッセージ領域外の位置に通知６１４を移動させる（例えば、通知６１４は、メッセージから、メッセージ領域６０６外の、ディスプレイ６０２の上部のバナーに移行する）。 As shown in FIG. 6C , as additional messages are added to a message conversation in the message area 606, the notification 614 moves up to a different location in the message area 606. In some embodiments, the device 600 moves the notification 614 to a location outside the message area (e.g., the notification 614 transitions from a message to a banner at the top of the display 602, outside the message area 606).

一部の実施形態では、デバイス６００は、通知再配置基準が満たされたことに応じて、通知６１４を移動させる。一部の実施形態では、通知再配置基準は、所定時間が経過すること（例えば、通知６１４が表示された後に経過すること）、メッセージングユーザインターフェース６０４の表示を中止すること、メッセージングアプリケーションが閉じられること、及び／又は、（例えば、新規の着信メッセージがメッセージ領域６０６を占めることによって）通知６１４の全体又は通知６１４の一部分がメッセージ領域６０６内で隠されること、からなる群から選択される１つ以上の基準を含む。一部の実施形態では、通知６１４は、ディスプレイ６０２の下部、右側、又は左側に移動される。一部の実施形態では、通知６１４は、ライブ通信セッションが利用可能であることを示すデータの受信に直接応じて、ディスプレイ６１２の上部付近に表示されるバナー通知である。 In some embodiments, device 600 moves notification 614 in response to notification relocation criteria being met. In some embodiments, the notification relocation criteria include one or more criteria selected from the group consisting of a predetermined amount of time passing (e.g., passing after notification 614 is displayed), ceasing to display messaging user interface 604, the messaging application being closed, and/or the entire notification 614 or a portion of notification 614 being obscured within message area 606 (e.g., by a new incoming message occupying message area 606). In some embodiments, notification 614 is moved to the bottom, right, or left side of display 602. In some embodiments, notification 614 is a banner notification that is displayed near the top of display 612 directly in response to receiving data indicating that a live communication session is available.

一部の実施形態では、デバイス６００は、ライブ通信セッションへの参加のリマインダを示すリマインダデータ（例えば、参加者によって会話中に又は所定時間後に送られるリマインダ）を受信する。図６Ｄに示すように、ライブ通信セッションへの参加のリマインダを示すデータの受信に応じて、デバイス６００は、全画面通知６１６を表示し、オーディオ出力６１８を出力する。一部の実施形態では、オーディオ出力６１８は、メッセージングアプリケーションに関連するオーディオ出力（例えば、受信メッセージ通知）、及び電話アプリケーションに関連するオーディオ出力（例えば、着信音）とは異なる。一部の実施形態では、オーディオ出力６１８は、メッセージ通知に関連するオーディオと、着信通知に関連するオーディオとのハイブリッドである。一部の実施形態では、オーディオ出力６１８は、電話アプリケーションに関連するオーディオ出力（例えば、着信音）よりも短く、メッセージングアプリケーションに関連するオーディオ出力（例えば、受信メッセージ通知）よりも長い。一部の実施形態では、着信音は、対応するオーディオ出力の複数回の再現を含み、オーディオ出力６１８は、対応するオーディオ出力の一回の再現である。一部の実施形態では、オーディオ出力６１８は、通話及びメッセージ通知の両方のオーディオ出力とオーディオ特性（例えば、共通の音質、音色、リズム）を共有する。一部の実施形態では、デバイス６００は、触覚出力を出力する。図６Ｄに示すように、全画面通知６１６は、グループの名称（「ＴＨＥ ＤＲＥＡＭ ＴＥＡＭ」）と、ライブ通信セッションにおける現在アクティブな参加者の名前（「ＰＡＢＬＯ、ＳＴＥＰＨＥＮ」）と、ライブ通信セッションを最初に開始した又はリマインダを発した参加者の名前（「ＰＡＢＬＯ」）と、を含む。一部の実施形態では、全画面通知６１６は、ライブ通信セッションに参加するように招待された参加者の名前を（例えば、グループに加わった順序に従って）含む。全画面通知６１６はまた、ライブ通信セッションに参加するための回答アフォーダンス６２０（例えば、ライブ通信セッションに直ちに参加する、又はライブ通信セッションに参加するためのオプションを含むメニューを表示する）と、全画面通知６１６を拒否するための「後で」アフォーダンス６２２と、メッセージングユーザインターフェース６０４に戻ったり、Ｄｒｅａｍ Ｔｅａｍグループにメッセージを送ったりするメッセージアフォーダンス６２４と、をも含む。全画面通知はまた、（例えば、ユーザが参加すると、ライブ通信セッションにおける他の参加者が見るであろうユーザの画像のプレビューとしての）画像（例えば、カメラ６０３からのデバイス６００のユーザのビデオ）をも含む。 In some embodiments, device 600 receives reminder data (e.g., a reminder sent by a participant during a conversation or after a predetermined time) indicating a reminder to join the live communication session. As shown in FIG. 6D , in response to receiving the data indicating the reminder to join the live communication session, device 600 displays a full-screen notification 616 and outputs audio output 618. In some embodiments, audio output 618 is distinct from audio output associated with a messaging application (e.g., an incoming message notification) and audio output associated with a telephony application (e.g., a ringtone). In some embodiments, audio output 618 is a hybrid of audio associated with a message notification and audio associated with an incoming call notification. In some embodiments, audio output 618 is shorter than audio output associated with a telephony application (e.g., a ringtone) and longer than audio output associated with a messaging application (e.g., an incoming message notification). In some embodiments, the ringtone includes multiple reproductions of the corresponding audio output, and audio output 618 is a single reproduction of the corresponding audio output. In some embodiments, the audio output 618 shares audio characteristics (e.g., common tone quality, timbre, rhythm) with the audio output of both the call and message notifications. In some embodiments, the device 600 outputs a haptic output. As shown in FIG. 6D , the full-screen notification 616 includes the name of the group ("THE DREAM TEAM"), the names of the currently active participants in the live communication session ("PABLO, STEPHEN"), and the name of the participant who originally initiated the live communication session or issued the reminder ("PABLO"). In some embodiments, the full-screen notification 616 includes the names of the participants invited to join the live communication session (e.g., in the order in which they joined the group). The fullscreen notification 616 also includes an answer affordance 620 to join the live communication session (e.g., join the live communication session immediately or display a menu with options for joining the live communication session), a "later" affordance 622 to decline the fullscreen notification 616, and a message affordance 624 to return to the messaging user interface 604 or send a message to the Dream Team group. The fullscreen notification also includes an image (e.g., video of the user of device 600 from camera 603) (e.g., as a preview of what the user's image will be seen by other participants in the live communication session once the user joins).

図６Ｄに示すように、デバイス６００は、「後で」アフォーダンス６２２の選択に対応するユーザ入力６５０Ａ（例えば、タップ）を受ける（例えば、検出する）。図６Ｅに示すように、ユーザ入力６５０Ａに応じて、デバイス６００は、全画面通知６１６の表示を中止し、メッセージングユーザインターフェース６０４に戻る。 As shown in FIG. 6D, the device 600 receives (e.g., detects) a user input 650A (e.g., a tap) corresponding to the selection of the "later" affordance 622. As shown in FIG. 6E, in response to the user input 650A, the device 600 ceases displaying the full-screen notification 616 and returns to the messaging user interface 604.

図６Ｅに示すように、デバイス６００は、オプションアフォーダンス６１２の選択に対応するユーザ入力６５０Ｂ（例えば、タップ）を受ける（例えば、検出する）。ユーザ入力６５０Ｂを受けたことに応じて、デバイス６００は、オーディオアフォーダンス６２６Ａ、ビデオ参加アフォーダンス６２６Ｂ、及びグループ詳細アフォーダンス６２６Ｃを含むようにメッセージングユーザインターフェース６０４のヘッダを拡張する。 As shown in FIG. 6E, the device 600 receives (e.g., detects) a user input 650B (e.g., a tap) corresponding to the selection of the option affordance 612. In response to receiving the user input 650B, the device 600 expands the header of the messaging user interface 604 to include an audio affordance 626A, a video join affordance 626B, and a group details affordance 626C.

図６Ｆに示すように、デバイス６００は、ビデオ参加アフォーダンス６２６Ｂの選択に対応するユーザ入力６５０Ｃ（例えば、タップ）を受ける（例えば、検出する）。一部の実施形態では、デバイス６００は、（例えば、追加入力を必要とせずに）ユーザ入力６５０Ｂを受けたことに直接応じて、ライブ通信セッションに参加する。一部の実施形態では、デバイス６００はライブ通信セッションに参加し、ビデオ及びオーディオの両方を送信する。一部の実施形態では、デバイス６００はライブ通信セッションに参加し、（ビデオを送信せずに）オーディオのみを送信する。一部の実施形態では、オーディオアフォーダンス６２６Ａの選択に応じて、デバイス６００は、オーディオのみでライブ通信セッションに参加するか、グループ参加者との別個の電話会議通話を開始する。 As shown in FIG. 6F, device 600 receives (e.g., detects) user input 650C (e.g., a tap) corresponding to selection of video join affordance 626B. In some embodiments, device 600 joins the live communication session directly in response to receiving user input 650B (e.g., without requiring additional input). In some embodiments, device 600 joins the live communication session and transmits both video and audio. In some embodiments, device 600 joins the live communication session and transmits only audio (without transmitting video). In some embodiments, in response to selection of audio affordance 626A, device 600 either joins the live communication session audio-only or initiates a separate conference call with the group participants.

図６Ｇに示すように、ユーザ入力６５０Ｃを受けたことに応じて、デバイス６００は、ライブ通信アプリケーションのライブ通信インターフェース６２８を表示する。ライブ通信インターフェース６２８は、グループの表示（「ＴＨＥ ＤＲＥＡＭ ＴＥＡＭ」）、画像（例えば、デバイス６００の前面のカメラ（例えば、カメラ６０３）からのデバイス６００のユーザのビデオ）、ライブ通信セッションで現在アクティブな参加者の表示（「ＰＡＢＬＯ、ＳＴＥＰＨＥＮ」）、ライブ通信セッションを開始した参加者の表示（「ＰＡＢＬＯからのビデオ通話」）、及び通話制御メニュー６３０を含む。通話コントロールメニュー６３０は、ハンドルアフォーダンス６３１、効果アフォーダンス６３２、通話アフォーダンス６３４、及びメニューアフォーダンス６３６、及びを含む。 As shown in FIG. 6G, in response to receiving user input 650C, device 600 displays a live communication interface 628 of a live communication application. Live communication interface 628 includes a representation of the group ("THE DREAM TEAM"), an image (e.g., video of the user of device 600 from a camera (e.g., camera 603) on the front of device 600), a representation of the currently active participant in the live communication session ("PABLO, STEPHEN"), a representation of the participant who initiated the live communication session ("Video call from PABLO"), and a call control menu 630. Call control menu 630 includes a handle affordance 631, an effect affordance 632, a call affordance 634, and a menu affordance 636.

図６Ｇに示すように、デバイス６００は、メニューアフォーダンス６３６上のユーザ入力６５０Ｄを受ける（例えば、検出する）。図６Ｈに示すように、ユーザ入力６５０Ｄに応じて、デバイス６００は、ライブ通信セッションに関する追加情報及びコントローラを表示するように通話コントロールメニュー６３０を拡張する。一部の実施形態では、デバイス６００は、ハンドルアフォーダンス６３１付近から始まる上方向スワイプに応じて、通話コントロールメニュー６３０を拡張する。通話コントロールメニュー６３０は、拡張されると、オーディオオン／オフアフォーダンス６３８、オーディオソースメニューアフォーダンス６４０、ビデオオン／オフアフォーダンス６４２、グループ名称６４４（グループ内の参加者の数の表示を伴う）、グループメッセージアフォーダンス６４６、グループ参加者に対応するアフォーダンス６４８Ａ～６４８Ｅを含むリスト６４８、及び参加者追加アフォーダンス６５２を更に含む。一部の実施形態では、グループメッセージアフォーダンス６４６の選択を受けたことに応じて、デバイス６００は、グループ参加者にメッセージを送るためのメッセージングユーザインターフェース６０４（例えば、図６Ｆ）を起動及び／又は表示する。 As shown in FIG. 6G, the device 600 receives (e.g., detects) a user input 650D on the menu affordance 636. As shown in FIG. 6H, in response to the user input 650D, the device 600 expands the call control menu 630 to display additional information and controls related to the live communication session. In some embodiments, the device 600 expands the call control menu 630 in response to an upward swipe beginning near the handle affordance 631. When expanded, the call control menu 630 further includes an audio on/off affordance 638, an audio source menu affordance 640, a video on/off affordance 642, a group name 644 (with an indication of the number of participants in the group), a group message affordance 646, a list 648 including affordances 648A-648E corresponding to group participants, and an add participant affordance 652. In some embodiments, in response to receiving a selection of the group message affordance 646, the device 600 launches and/or displays a messaging user interface 604 (e.g., FIG. 6F) for sending a message to group participants.

図６Ｈに示すように、リスト６４８の参加者のアフォーダンスは、ライブ通信セッションに関するそれぞれの参加者の通信状態の表示を含む。表現６４８Ａは、参加者Ｐａｂｌｏがライブ通信セッションに接続しており、ビデオデータ（例えば、ビデオ及びオーディオデータを含むライブメディアストリーム）を提供していることを示す。表現６４８Ｂは、参加者Ｓｔｅｐｈｅｎが接続しており、オーディオデータ（例えば、ビデオなし）を提供していることを示す。表現６４８Ｃ及び６４８Ｄは、参加者Ｍａｒｃｅｌ及びＡｌｌｉｓｏｎがそれぞれ、ライブ通信セッションに接続していない（例えば、ビデオ及びオーディオデータを提供していない）ことを示す。接続していない参加者は、ライブ通信セッションに一度も参加したことがないか、ライブ通信セッションに従前に参加していたがセッションから退出したかのいずれかである。例示的な参加者通信状態の種類としては、オーディオ専用（例えば、参加者はオーディオのみを用いた通信である）と、ビデオ（例えば、参加者は、ビデオとオーディオを用いて通話している）と、ビデオの一時停止（例えば、参加者のビデオは一時停止している）と、未復号ビデオ（例えば、遅延問題、ビデオストリームの形式の問題などのために、参加者のビデオストリームを処理することができない）と、退出（例えば、参加者は、ライブ通信セッションから退出した）と、参加待ち（例えば、参加者はライブ通信セッションに招待されたが、ライブ通信セッションに未だ参加していない）と、が挙げられる。 As shown in FIG. 6H, the affordances of the participants in list 648 include an indication of each participant's communication status with respect to the live communication session. Representation 648A indicates that participant Pablo is connected to the live communication session and is providing video data (e.g., a live media stream including video and audio data). Representation 648B indicates that participant Stephen is connected and is providing audio data (e.g., no video). Representations 648C and 648D indicate that participants Marcel and Allison, respectively, are not connected to the live communication session (e.g., are not providing video or audio data). Participants who are not connected have either never participated in the live communication session or previously participated in the live communication session but have left the session. Exemplary participant communication state types include audio-only (e.g., participant is communicating using audio only), video (e.g., participant is talking using video and audio), video paused (e.g., participant's video is paused), undecoded video (e.g., participant's video stream cannot be processed due to latency issues, video stream format issues, etc.), left (e.g., participant has left the live communication session), and waiting to join (e.g., participant has been invited to the live communication session but has not yet joined the live communication session).

一部の実施形態では、ライブビデオ通信の参加者は、通信セッションに現在接続しているグループ参加者と、ライブビデオ通信セッションに現在接続していないグループ参加者とを含む。つまり、接続状態にかかわらず、グループ参加者の全てが、ライブ通信セッションの参加者とされる。ライブ通信セッションがアクティブであると、参加者は、ライブ通信セッションに参加（接続）したり、セッションから退出（接続解除）したりすることができる。 In some embodiments, participants in a live video communication include group participants who are currently connected to the communication session and group participants who are not currently connected to the live video communication session. That is, all group participants, regardless of their connection status, are considered participants in the live communication session. When a live communication session is active, participants can join (connect) or leave (disconnect) the live communication session.

図６Ｉに示すように、デバイス６００は、ビデオオン／オフアフォーダンス６４２の選択に対応するユーザ入力６５０Ｅ（例えば、タップ）を受ける（例えば、検出する）。図６Ｊに示すように、ユーザ入力６５０Ｅを受けたことに応じて、デバイス６００は、ビデオオフ状態を示すようにビデオオン／オフアフォーダンス６４２を修正し、通話アフォーダンス６３４を修正して図６Ｉのビデオカメラの表現を図６Ｊの電話の表現に修正することで、オーディオのみの状態を示すようにする。オーディオ専用状態では、デバイス６００は、オーディオのみでライブ通信セッションに参加する（例えば、デバイス６００はビデオデータを提供しない）。 As shown in FIG. 6I, device 600 receives (e.g., detects) user input 650E (e.g., a tap) corresponding to selection of video on/off affordance 642. As shown in FIG. 6J, in response to receiving user input 650E, device 600 modifies video on/off affordance 642 to indicate a video off state and modifies call affordance 634 to indicate an audio-only state by modifying the representation of the video camera in FIG. 6I to the representation of a phone in FIG. 6J. In the audio-only state, device 600 participates in a live communication session audio-only (e.g., device 600 does not provide video data).

図６Ｊに示すように、デバイス６００は、通話アフォーダンス６３４の選択に対応するユーザ入力６５０Ｆ（例えば、タップ）を受ける（例えば、検出する）。図６Ｋに示すように、ユーザ入力６５０Ｆを受けたことに応じて、デバイス６００は、オーディオ専用モードでライブ通信セッションに参加するための接続を開始する。図６Ｋに示すように、デバイス６００は、拡張された通話コントロールメニュー６３０の表示を中止し（例えば、デバイス６００は通話コントロールメニュー６３０を縮小し）、接続画面６５４を表示する。一部の実施形態では、デバイス６００は、ビデオ参加アフォーダンス６２６Ｂ上のユーザ入力６５０Ｃに応じて、ライブ通信セッションに参加するための接続を開始し、接続画面６５４を表示する。一部の実施形態では、通知６１４は、アフォーダンスを含む（例えば、通知６１４上の「参加」アイコン又は通知６１４全体が選択可能となる）。一部の実施形態では、デバイス６００は、通知６１４の選択に応じて、ライブ通信セッションに参加するための接続を開始し、接続画面６５４を表示する。 As shown in FIG. 6J, device 600 receives (e.g., detects) user input 650F (e.g., a tap) corresponding to selection of call affordance 634. As shown in FIG. 6K, in response to receiving user input 650F, device 600 initiates a connection to join the live communication session in audio-only mode. As shown in FIG. 6K, device 600 ceases displaying expanded call control menu 630 (e.g., device 600 collapses call control menu 630) and displays connection screen 654. In some embodiments, device 600 initiates a connection to join the live communication session and displays connection screen 654 in response to user input 650C on video join affordance 626B. In some embodiments, notification 614 includes an affordance (e.g., a "join" icon on notification 614 or the entire notification 614 is selectable). In some embodiments, device 600 initiates a connection to join the live communication session and displays connection screen 654 in response to selection of notification 614.

図６Ｌに示すように、デバイス６００がライブ通信セッションに参加した後に、デバイス６００は、デバイス６００のユーザの表現６５８、参加者Ｐａｂｌｏ（例えば、ライブ通信セッションを開始した参加者）の表現６７０Ａ、及び参加者Ｓｔｅｐｈｅｎの表現６７０Ｂを含む、ライブ通信ユーザインターフェース６５６を表示する。リスト６４８に示される通信状態にしたがって、参加者Ｐａｂｌｏの表現６７０Ａは、ライブビデオストリームを含む。参加者Ｓｔｅｐｈｅｎはオーディオデータのみを提供しているので、参加者Ｐａｂｌｏの表現６７０Ｂはアバターを含む。一部の実施形態では、ライブ通信ユーザインターフェース６５６上の表現のレイアウトは、ライブ通信セッションに現在接続している参加者（例えば、２人の参加者及びデバイス６００のユーザ）の数に基づく。図６Ｌに示すレイアウトは、表現６７０Ａの位置に対応する第１の位置と、表現６７０Ｂの位置に対応する第２の位置とを有する、２対１のレイアウトとして呼ばれる。 As shown in FIG. 6L, after device 600 joins the live communication session, device 600 displays a live communication user interface 656 that includes a representation 658 of the user of device 600, a representation 670A of participant Pablo (e.g., the participant who initiated the live communication session), and a representation 670B of participant Stephen. In accordance with the communication status shown in list 648, participant Pablo's representation 670A includes a live video stream. Because participant Stephen is only providing audio data, participant Pablo's representation 670B includes an avatar. In some embodiments, the layout of the representations on live communication user interface 656 is based on the number of participants currently connected to the live communication session (e.g., two participants and the user of device 600). The layout shown in FIG. 6L is referred to as a two-to-one layout, with a first position corresponding to the position of representation 670A and a second position corresponding to the position of representation 670B.

一部の実施形態では、デバイス６００がライブ通信セッションに参加すると、デバイス６００は参加者の数（例えば、アクティブ又は完全（アクティブ及び招待されている）のいずれか）が所定の閾数を超えているかを判定する。参加者の数が閾値を超えているとの判定を受けて、デバイス６００は、以下でより詳細に説明するように、オーバーフロー表現（例えば、サムネイル）を伴うオーバーフロー領域を表示する。あるいは、参加者の数が閾値を超えていないとの判定を受けて、デバイス６００は、オーバーフロー表現を伴うオーバーフロー領域を表示しない。 In some embodiments, when device 600 joins a live communication session, device 600 determines whether the number of participants (e.g., active or full (active and invited)) exceeds a predetermined threshold number. Upon determining that the number of participants exceeds the threshold, device 600 displays an overflow area with an overflow representation (e.g., thumbnails), as described in more detail below. Alternatively, upon determining that the number of participants does not exceed the threshold, device 600 does not display an overflow area with an overflow representation.

デバイス６００がライブ通信セッションに参加すると、デバイス６００は、ライブメディアストリームを他の参加者（例えば、ライブ通信セッションに参加している参加者）に送信する。別のデバイスに関連する参加者がライブ通信セッションに参加しており、デバイス６００も参加すると、デバイス６００は、その参加者に対応するメディアストリームを受信する。 When device 600 participates in a live communication session, device 600 transmits live media streams to other participants (e.g., participants participating in the live communication session). When a participant associated with another device participates in the live communication session and device 600 also participates, device 600 receives the media stream corresponding to that participant.

図６Ｌに示すように、ライブ通信ユーザインターフェース６５６を表示している間に、デバイス６００は、ディスプレイ６０２上でユーザ入力６５０Ｇ（例えば、タップ）を受ける（例えば、検出する）。図６Ｍに示すように、ユーザ入力６５０Ｇを受けたことに応じて、デバイス６００は、通話コントロールメニュー６３０を表示する。表現６７０Ａ及び６７０Ｂは、サイズが小さくなり、表現６７０Ｂ及び６５８は、通話コントロールメニュー６３０が表現と重ならないように、ディスプレイ６０２上で上方に移動される。表現６７０Ａ及び６７０Ｂが上下に並べられて重なり合わない図６Ｌに示す構成とは対照的に、通話コントロールメニュー６３０が図６Ｍに表示されると、表現６７０Ａ及び６７０Ｂは、互いにオフセットとなって重なり合う。 As shown in FIG. 6L, while displaying live communication user interface 656, device 600 receives (e.g., detects) user input 650G (e.g., a tap) on display 602. As shown in FIG. 6M, in response to receiving user input 650G, device 600 displays call control menu 630. Representations 670A and 670B are reduced in size, and representations 670B and 658 are moved upward on display 602 so that call control menu 630 does not overlap them. In contrast to the configuration shown in FIG. 6L, in which representations 670A and 670B are stacked one above the other and do not overlap, when call control menu 630 is displayed in FIG. 6M, representations 670A and 670B are offset from one another and overlap.

図６Ｎに示すように、デバイス６００は、通話コントロールアフォーダンス６３０内のメニューアフォーダンス６３６上のユーザ入力６５０Ｈ（例えば、タップ）を受ける（例えば、検出する）。図６Ｏに示すように、ユーザ入力６５０Ｈを受けたことに応じて、デバイス６００は、（例えば、図６Ｈに関して記載したように、）通話コントロールメニュー６３０を拡張する。一部の実施形態では、デバイス６００は、通話コントロールメニュー６３０においてライブ通信セッションに接続していない参加者の表現にリマインダアフォーダンスを表示する。図６Ｏに示すように、リスト６４８は、参加者Ｍａｒｃｅｌ及びＡｌｌｉｓｏｎがライブ通信セッションに接続していないことを示す。参加者Ｍａｒｃｅｌ及びＡｌｌｉｓｏｎ（例えば、参加者Ｍａｒｃｅｌ及びＡｌｌｉｓｏｎに関連するデバイス）はライブ通信セッションに接続していないので、拡張された通話コントロールメニュー６３０は、リスト６４８内の、参加者Ｍａｒｃｅｌ及びＡｌｌｉｓｏｎの表現６４８Ｃ及び６４８Ｄのそれぞれにて発信アフォーダンス６６２、６６４を含む。発信アフォーダンス６６２又は６６４の選択に応じて、デバイス６００は、選択された発信アフォーダンスに対応する参加者に関連するデバイスで通知（例えば、通話又は発信などのオーディオ出力）を提供させる。一部の実施形態では、通知は、参加者に送られた従前の通知とは異なる新規の通知である。一部の実施形態では、新規の通知は、従前の通知よりも干渉的である（例えば、オーディオ又は触覚出力を伴わないバナー通知に比べて、オーディオ着信音、触覚出力、又は全画面通知などである）。このようにして、（例えば、図６Ｄに示した全画面通知によってデバイス６００のユーザがリマインドされる方法と同様に、）ライブ通信セッションがアクティブであり、参加者が参加できることを、ユーザが、ライブ通信セッションに参加していない参加者にリマインドすることができる。 As shown in FIG. 6N, device 600 receives (e.g., detects) user input 650H (e.g., a tap) on menu affordance 636 within call control affordance 630. As shown in FIG. 6O, in response to receiving user input 650H, device 600 expands call control menu 630 (e.g., as described with respect to FIG. 6H). In some embodiments, device 600 displays reminder affordances on representations of participants who are not connected to the live communication session in call control menu 630. As shown in FIG. 6O, list 648 indicates that participants Marcel and Allison are not connected to the live communication session. Because participants Marcel and Allison (e.g., devices associated with participants Marcel and Allison) are not connected to the live communication session, the expanded call control menu 630 includes place-call affordances 662, 664 on representations 648C and 648D of participants Marcel and Allison, respectively, in list 648. In response to selecting an originate affordance 662 or 664, device 600 causes a notification (e.g., an audio output, such as a call or a call) to be provided on a device associated with the participant corresponding to the selected originate affordance. In some embodiments, the notification is a new notification that is different from any previous notification sent to the participant. In some embodiments, the new notification is more intrusive than the previous notification (e.g., an audio ringtone, a haptic output, or a full-screen notification, as compared to a banner notification without audio or haptic output). In this way, a user can remind participants not participating in a live communication session that the live communication session is active and available for them to join (e.g., similar to how the full-screen notification shown in FIG. 6D reminds the user of device 600).

図６Ｏに示すように、デバイス６００は、ビデオオン／オフアフォーダンス６４２の選択に対応するユーザ入力６５０Ｉ（例えば、タップ）を受ける（例えば、検出する）。ユーザ入力６５０Ｉを受けたことに応じて、デバイス６００は、（例えば、デバイス６００上のカメラからの）ライブビデオストリームをライブ通信セッションに提供し、図６Ｐに示すように、ビデオがオンであることを示すようにビデオオン／オフアフォーダンス６４２を修正する。図６Ｑでは、デバイス６００は、通話コントロールメニュー６３０を縮小するためのユーザ入力６５０Ｊ（例えば、下方向スワイプ）をディスプレイ６０２上で受ける（例えば、検出する）。図６Ｒに示すように、通話コントロールメニュー６３０が縮小されると、デバイス６００のユーザに対応する表現６５８は、デバイス６００のカメラ６０３からのビデオを含む。 As shown in FIG. 6O, device 600 receives (e.g., detects) user input 650I (e.g., a tap) corresponding to selection of video on/off affordance 642. In response to receiving user input 650I, device 600 provides a live video stream (e.g., from a camera on device 600) to the live communication session and modifies video on/off affordance 642 to indicate that video is on, as shown in FIG. 6P. In FIG. 6Q, device 600 receives (e.g., detects) user input 650J (e.g., a downward swipe) on display 602 to collapse call control menu 630. As shown in FIG. 6R, when call control menu 630 is collapsed, a representation 658 corresponding to the user of device 600 includes video from camera 603 of device 600.

図６Ｓに示すように、デバイス６００は、通話アフォーダンス６３４の選択に対応するユーザ入力６５０Ｋ（例えば、タップ）を受ける（例えば、検出する）。ユーザ入力６５０Ｋに応じて、デバイス６００は、ライブ通信セッションから接続解除する。図６Ｔは、デバイス６００がライブ通信セッションから接続解除した後に表示されるメッセージングアプリケーションのメッセージングユーザインターフェース６０４の実施形態を示す。デバイス６００はライブ通信セッションから接続解除しているが、ライブ通信セッションはアクティブなままである。一部の実施形態では、ライブビデオ通信セッションを開始した参加者がセッションから退出した場合でも、ライブ通信セッションは、参加者の少なくとも１人が接続している限り、アクティブなままである。図６Ｔに示すように、デバイス６００は、通知６１４及びライブ通信アフォーダンス６１０の表示を維持し、ライブ通信セッションがアクティブであることを示す。通知６１４は、ライブ通信セッションの継続時間（例えば、ライブ通信セッションが開始されてからの時間に相当する３分４２秒）を示すように更新される。 As shown in FIG. 6S, the device 600 receives (e.g., detects) a user input 650K (e.g., a tap) corresponding to the selection of the call affordance 634. In response to the user input 650K, the device 600 disconnects from the live communication session. FIG. 6T illustrates an embodiment of a messaging user interface 604 of a messaging application that is displayed after the device 600 disconnects from the live communication session. Although the device 600 has disconnected from the live communication session, the live communication session remains active. In some embodiments, even if the participant who initiated the live video communication session leaves the session, the live communication session remains active as long as at least one of the participants remains connected. As shown in FIG. 6T, the device 600 continues to display the notification 614 and the live communication affordance 610 to indicate that the live communication session is active. The notification 614 is updated to indicate the duration of the live communication session (e.g., 3 minutes and 42 seconds, which corresponds to the time since the live communication session began).

ライブ通信セッションがアクティブであることを示す通知６１４を表示している間に、デバイス６００は、ライブ通信セッションがアクティブでなくなった（例えば、終了した）ことを示すデータを受信する。一部の実施形態では、ライブ通信セッションに参加者が接続していない（例えば、ライブ通信セッションを開始した、又はセッションに参加したいずれの参加者をも接続していない）と、ライブ通信セッションは終了する。ライブ通信セッションがアクティブでなくなったことを示すデータの受信に応じて、デバイス６００は、通知６１４の表示を中止するか、及び／又はライブ通信セッションがアクティブでなくなったことを示すように通知６１４を更新する。図６Ｕは、ライブ通信セッションが終了した後に（例えば、ライブ通信セッションがアクティブでなくなったことを示すデータの受信に応じて）表示されるメッセージングアプリケーションのメッセージングユーザインターフェース６０４の実施形態を示す。図６Ｕに示すように、通知６１４は、ライブ通信セッションがアクティブでなくなったことを示す表示（例えば、テキスト「通話終了」）を含むように更新され、ライブ通信アフォーダンス６１０は削除される。一部の実施形態では、ライブ通信アフォーダンス６１０及び／又は通知６１４は、ライブ通信セッションがアクティブでなくなったことを示すようにグレーアウトされる。一部の実施形態では、通知６１４は、ライブ通信セッションが終了した後には選択不能となる。一部の実施形態では、ライブ通信セッションが終了した後に、通知６１４は選択可能なままであり、グループとの新規のライブ通信セッションを開始するために選択することができる。一部の実施形態では、デバイス６００がライブ通信セッションに参加しなかった場合、デバイス６００はユーザがライブ通信セッションを見逃したことを示すように通知６１４を更新する（例えば「不在通話」）。 While displaying notification 614 indicating that the live communication session is active, device 600 receives data indicating that the live communication session is no longer active (e.g., has ended). In some embodiments, the live communication session ends when no participants are connected to the live communication session (e.g., no participants who started or joined the live communication session are connected). In response to receiving the data indicating that the live communication session is no longer active, device 600 ceases displaying notification 614 and/or updates notification 614 to indicate that the live communication session is no longer active. FIG. 6U illustrates an embodiment of a messaging user interface 604 of a messaging application that is displayed after the live communication session has ended (e.g., in response to receiving data indicating that the live communication session is no longer active). As shown in FIG. 6U, notification 614 is updated to include an indication that the live communication session is no longer active (e.g., the text "Call Ended"), and live communication affordance 610 is removed. In some embodiments, live communication affordance 610 and/or notification 614 are grayed out to indicate that the live communication session is no longer active. In some embodiments, notification 614 becomes non-selectable after a live communication session ends. In some embodiments, notification 614 remains selectable after a live communication session ends and can be selected to start a new live communication session with the group. In some embodiments, if device 600 did not participate in the live communication session, device 600 updates notification 614 to indicate that the user missed the live communication session (e.g., "Missed Call").

図６Ｕに示すように、デバイス６００は、戻るアフォーダンス６１１の選択に対応するユーザ入力６５０Ｌ（例えば、タップ）を受ける（例えば、検出する）。図６Ｖに示すように、ユーザ入力６５０Ｌを受けたことに応じて、デバイス６００は、メッセージングアプリケーションのユーザインターフェース６７１を表示し、同インターフェースは、それぞれのメッセージ会話にアクセスするためのアフォーダンス６７３Ａ～６７３Ｇのリスト６７３を含む。アフォーダンス６７３Ｄは、３人の参加者（Ｍａｔｔｈｅｗ、Ｄａｎｉｅｌｌｅ、及びデバイス６００のユーザ）のグループ間のメッセージ会話に対応する。アフォーダンス６７３Ｄは、ライブ通信インジケータ６７５を含み、同インジケータは、このグループに対してアクティブなライブ通信セッションがあることを示す。対照的に、Ｔｈｅ Ｄｒｅａｍ Ｔｅａｍに対してのライブ通信セッションがアクティブではないので、Ｔｈｅ Ｄｒｅａｍ Ｔｅａｍに対応するアフォーダンス６７３Ａは、ライブ通信インジケータ６７５を含まない。 As shown in FIG. 6U, device 600 receives (e.g., detects) user input 650L (e.g., a tap) corresponding to selection of back affordance 611. As shown in FIG. 6V, in response to receiving user input 650L, device 600 displays a messaging application user interface 671, which includes a list 673 of affordances 673A-673G for accessing respective message conversations. Affordance 673D corresponds to a message conversation between a group of three participants (Matthew, Danielle, and the user of device 600). Affordance 673D includes a live communication indicator 675, which indicates that there is an active live communication session for this group. In contrast, affordance 673A corresponding to The Dream Team does not include a live communication indicator 675 because no live communication session is active for The Dream Team.

図６Ｗに目を向けると、デバイス６００は、メッセージングユーザインターフェース６０４以外のインターフェースを表示するものとして示される。図６Ｗでは、デバイス６００は、デバイス６００がロック状態であることを示すロック画面６６８を表示している。ロック画面６６８は、通知６７７Ａ及び６７７Ｂを含む。通知６７７Ａは、ユーザＪｏｈｎ Ａｐｐｌｅｓｅｅｄからのメッセージが５分前に受信されたことを示している。通知６７７Ｂは、参加できなくなったライブ通信セッション（例えば、不在ビデオ通話）を表す。不在ビデオ通話の通知は、招待された参加者（Ｊｏｈｎ、Ａｍｙ、Ｒｏｄｒｉｇｏ）、ライブ通信セッションの状態（「不在」）、及びライブ通信セッションが開始された時間か終了された時間のいずれか（「１時間前」）の表示を含む。ロック状態では、デバイス６００は、アクティブなアプリケーションを表示しない。 Turning to FIG. 6W, device 600 is shown displaying an interface other than messaging user interface 604. In FIG. 6W, device 600 displays lock screen 668, which indicates that device 600 is in a locked state. Lock screen 668 includes notifications 677A and 677B. Notification 677A indicates that a message from user John Appleseed was received five minutes ago. Notification 677B represents a live communication session that can no longer be joined (e.g., a missed video call). The missed video call notification includes an indication of the invited participants (John, Amy, Rodrigo), the state of the live communication session ("Missed"), and either the time the live communication session started or ended ("1 hour ago"). In the locked state, device 600 does not display any active applications.

デバイス６００は、ロック状態である間に、参加できるライブ通信セッションがあることを示すデータを受信する。一部の実施形態では、参加できるライブ通信セッションがあることを示すデータを受信するデバイス６００の応答は、デバイス６００のコンテキスト、利用可能なライブ通信セッション、又は他の要因（単数又は複数）に依存する。一部の実施形態では、ライブ通信セッションが２人の参加者間で利用可能である（例えば、１対１の通信セッション）ことを受けて、デバイス６００は、第１の種類の通知を表示する。図６Ｘに示すように、第１の種類の通知は、全画面通知６７２及びオーディオ出力６７４を含む。一部の実施形態では、オーディオ出力６７４は、通話通知に関連するオーディオ出力及びメッセージ通知に関連するオーディオ出力とは異なる。一部の実施形態では、オーディオ出力６７４は、通話及びメッセージ通知の両方のオーディオ出力とオーディオ特性（例えば、共通の音質、音色、リズム）を共有する。あるいは、ライブ通信セッションが３人以上の参加者間で利用可能であること（例えば、グループライブ通信セッション）を受けて、デバイス６００は、第２の種類の通知を表示する。図６Ｙに示すように、第２の種類の通知は、バナー通知６７６（例えば、全画面ではない）及び触覚出力６７８（例えば、オーディオ出力なし）を含む。一部の実施形態では、ライブ通信セッションが３人以上の参加者間で利用可能であること（例えば、グループライブ通信セッション）を受けて、デバイス６００は、（例えば、図６Ｅに示す全画面通知６１６と同様の）全画面通知を最初に表示した後に、バナー通知６７６を表示する（例えば、バナー通知に移行する）。一部の実施形態では、通知６７６は、選択されると（例えば、図６Ｆ～図６Ｌを参照して前述したような）対応するライブ通信セッションに参加する処理を開始するアフォーダンスを含む。 While in the locked state, device 600 receives data indicating that a live communication session is available to join. In some embodiments, device 600's response to receiving the data indicating that a live communication session is available to join depends on the context of device 600, the available live communication sessions, or other factor(s). In some embodiments, in response to a live communication session being available between two participants (e.g., a one-to-one communication session), device 600 displays a first type of notification. As shown in FIG. 6X, the first type of notification includes a full-screen notification 672 and an audio output 674. In some embodiments, audio output 674 is distinct from the audio output associated with call notifications and the audio output associated with message notifications. In some embodiments, audio output 674 shares audio characteristics (e.g., common sound quality, timbre, rhythm) with the audio output of both call and message notifications. Alternatively, in response to a live communication session being available between three or more participants (e.g., a group live communication session), device 600 displays a second type of notification. As shown in FIG. 6Y, the second type of notification includes a banner notification 676 (e.g., not full screen) and a haptic output 678 (e.g., no audio output). In some embodiments, upon receipt of a live communication session being available between three or more participants (e.g., a group live communication session), the device 600 first displays a full screen notification (e.g., similar to the full screen notification 616 shown in FIG. 6E) and then displays (e.g., transitions to) the banner notification 676. In some embodiments, the notification 676 includes an affordance that, when selected, initiates a process to join the corresponding live communication session (e.g., as described above with reference to FIGS. 6F-6L).

不在ビデオ通話に対応する通知６７７Ｂとは対照的に、通知６７６は、アクティブなライブ通信セッションに対応する。通知６７６は、グループ（Ｔｈｅ Ｄｒｅａｍ Ｔｅａｍ）、通知の提示をトリガするアクションを行った参加者（Ｐａｂｌｏ）、及びライブ通信セッションが開始された時間（「今」）の表示を含む。一部の実施形態では、通知６７６は、ライブ通信セッションが開始された時間、及びライブ通信セッションの状態を正確に反映するように更新される。一部の実施形態では、通知６７６によって表されるライブ通信セッションが終了すると、通知６７６のテキストは、「ＰＡＢＬＯからのビデオ通話に参加」から「ＰＡＢＬＯからの不在ビデオ通話」に更新される。 In contrast to notification 677B, which corresponds to a missed video call, notification 676 corresponds to an active live communication session. Notification 676 includes an indication of the group (The Dream Team), the participant who took the action that triggered the presentation of the notification (Pablo), and the time the live communication session began ("Now"). In some embodiments, notification 676 is updated to accurately reflect the time the live communication session began and the state of the live communication session. In some embodiments, when the live communication session represented by notification 676 ends, the text of notification 676 is updated from "Joined video call from PABLO" to "Missed video call from PABLO."

一部の実施形態では、アクティブなアプリケーションが表示されていない（図６Ｗの場合のように）との判定を受けて、デバイス６００は、参加できるライブ通信セッションがあることを示すデータの受信に応じて全画面通知を表示する。一部の実施形態では、アクティブなアプリケーション（例えば、メッセージングアプリケーション）が表示されていないとの判定を受けて、デバイス６００は非全画面通知（例えば、バナー通知）を表示する。 In some embodiments, upon determining that no active application is displayed (as in FIG. 6W), device 600 displays a full-screen notification in response to receiving data indicating that there is a live communication session available to join. In some embodiments, upon determining that no active application (e.g., a messaging application) is displayed, device 600 displays a non-full-screen notification (e.g., a banner notification).

一部の実施形態では、デバイス６００のユーザにアラートを出すとの判定を受けて、デバイス６００は、アラート（例えば、通知又はオーディオ若しくは触覚出力）を出力し、ユーザのデバイス６００にアラートを出さないとの決定にしたがって、デバイス６００は、アラートの出力を控える。一部の実施形態では、ユーザにアラートを出すとの判定は、外乱基準（例えば、デバイスが、ロックされているかロック解除されているか）に基づく。一部の実施形態では、（例えば、図６Ｙに示すように）デバイス６００がロックされていることを受けて、デバイスは、アラート（例えば、触覚出力６７８）を出力し、（例えば、図６Ｚに示すように）デバイス６００がロック解除されていることによって、デバイス６００は、通知（例えば、バナー通知６７６を表示し、（例えば、触覚出力なし）アラートの提供を控える。 In some embodiments, in response to a determination to alert the user of device 600, device 600 outputs an alert (e.g., a notification or an audio or haptic output), and in response to a determination not to alert the user of device 600, device 600 refrains from outputting the alert. In some embodiments, the determination to alert the user is based on disturbance criteria (e.g., whether the device is locked or unlocked). In some embodiments, in response to device 600 being locked (e.g., as shown in FIG. 6Y), the device outputs an alert (e.g., haptic output 678), and in response to device 600 being unlocked (e.g., as shown in FIG. 6Z), the device 600 displays a notification (e.g., banner notification 676) and refrains from providing an alert (e.g., no haptic output).

一部の実施形態では、外乱基準は、（例えば、デバイス６００の前面のセンサからのデータに基づいて）ユーザがデバイス６００を見ているか否かを示す。図６ＡＡは、デバイス６００を保持しているユーザ６８４を示す。ユーザの視線６８０は、デバイス６００に向いていない。デバイス６００は、ユーザ６８４がデバイス６００を見ていないかを判定し、ユーザ６８４がデバイス６００を見ていないとの判定を受けて、デバイス６００は、非視覚的通知６８２（例えば、触覚又はオーディオ出力）を提供する。図６ＡＢに示すように、ユーザの視線６８０は、デバイス６００に向いている。ユーザ６８４がデバイス６００を見ているとの判定を受けて、デバイス６００は、非視覚的通知の提供を控える（例えば、デバイス６００は、触覚又はオーディオ出力を伴わずにバナー通知を表示する）。一部の実施形態では、デバイス６００は、ユーザの顔を識別するように構成された画像センサを用いて、ユーザがデバイス６００を見ているかを判定する。 In some embodiments, the disturbance criteria indicates whether the user is looking at the device 600 (e.g., based on data from a sensor on the front of the device 600). FIG. 6AA shows a user 684 holding the device 600. The user's line of sight 680 is not directed toward the device 600. The device 600 determines whether the user 684 is not looking at the device 600, and upon determining that the user 684 is not looking at the device 600, the device 600 provides a non-visual notification 682 (e.g., a haptic or audio output). As shown in FIG. 6AB, the user's line of sight 680 is directed toward the device 600. Upon determining that the user 684 is looking at the device 600, the device 600 refrains from providing a non-visual notification (e.g., the device 600 displays a banner notification without a haptic or audio output). In some embodiments, the device 600 determines whether the user is looking at the device 600 using an image sensor configured to identify the user's face.

図６ＡＣ～図６ＡＦに目を向けると、デバイス６００Ａは、ディスプレイ６０２Ａ（例えば、タッチ感知ディスプレイ）、回転可能な入力機構６０１Ａ、及び機械式ボタン６０１Ｂを含む。一部の実施形態では、デバイス６００Ａは、デバイス１００、３００、５００、及び６００の特徴を含む。一部の実施形態では、デバイス６００Ａは、（例えば、双方向無線通信によって）デバイス６００と通信する。一部の実施形態では、デバイス６００Ａは、デバイス６００とペアリング関係にある。 Turning to Figures 6AC-6AF, device 600A includes a display 602A (e.g., a touch-sensitive display), a rotatable input mechanism 601A, and a mechanical button 601B. In some embodiments, device 600A includes features of devices 100, 300, 500, and 600. In some embodiments, device 600A communicates with device 600 (e.g., via two-way wireless communication). In some embodiments, device 600A is paired with device 600.

一部の実施形態では、デバイス６００Ａは、その３人以上の参加者に利用可能なライブ通信セッションがアクティブであることを示すデータを（例えば、デバイス６００から）受信する。図６ＡＣに示すように、ライブ通信セッションがアクティブであることを示すデータの受信に応じて、デバイス６００Ａはユーザインターフェース６０４Ａを表示し、同インターフェースは、通知６０５、ライブ通信参加アフォーダンス６０７、及び拒否アフォーダンス６０９を含む。一部の実施形態では、通知６０５は、前述した通知６１４の特徴（例えば、参加者の名前、参加者の数、通知をトリガした参加者の名前）を含む。一部の実施形態では、デバイス６００Ａは、ライブ通信セッションがアクティブであることを示すデータの受信に応じて、オーディオ及び／又は触覚出力を生成する。一部の実施形態では、デバイス６００Ａは、ライブ通信セッションがアクティブであることを示すデータの受信に応じて、デバイス６００によって生成されるオーディオ及び／又は触覚出力とは異なるオーディオ及び／又は触覚出力を生成する。一部の実施形態では、ライブ通信セッションがアクティブであることを示す初期データの受信に応じて、ライブ通信セッションがアクティブであることを示す通知（例えば、表示、オーディオ及び／又は触覚出力）が（例えば、デバイス６００Ａではなく）デバイス６００にて提供され、ライブ通信セッションがアクティブであるとのリマインダを示すリマインダデータの受信に応じて、通知がデバイス６００とデバイス６００Ａの両方にて提供される。一部の実施形態では、ライブ通信セッションがアクティブであることを示す初期データの受信に応じて、ライブ通信セッションがアクティブであることを示す通知（例えば、表示、オーディオ及び／又は触覚出力）がデバイス６００とデバイス６００Ａの両方にて提供され、ライブ通信セッションがアクティブであるとのリマインダを示すリマインダデータの受信に応じて、通知が（例えば、デバイス６００Ａではなく）デバイス６００にて提供される。 In some embodiments, device 600A receives data (e.g., from device 600) indicating that a live communication session available to its three or more participants is active. As shown in FIG. 6AC, in response to receiving the data indicating that the live communication session is active, device 600A displays user interface 604A, which includes notification 605, live communication join affordance 607, and decline affordance 609. In some embodiments, notification 605 includes the features of notification 614 described above (e.g., participant name, number of participants, name of the participant who triggered the notification). In some embodiments, device 600A generates an audio and/or haptic output in response to receiving the data indicating that the live communication session is active. In some embodiments, device 600A generates an audio and/or haptic output that is different from the audio and/or haptic output generated by device 600 in response to receiving the data indicating that the live communication session is active. In some embodiments, in response to receiving initial data indicating that a live communication session is active, a notification (e.g., a visual, audio, and/or tactile output) indicating that the live communication session is active is provided at device 600 (e.g., rather than device 600A), and in response to receiving reminder data indicating a reminder that the live communication session is active, a notification is provided at both device 600 and device 600A. In some embodiments, in response to receiving initial data indicating that a live communication session is active, a notification (e.g., a visual, audio, and/or tactile output) indicating that the live communication session is active is provided at both device 600 and device 600A, and in response to receiving reminder data indicating a reminder that the live communication session is active, a notification is provided at device 600 (e.g., rather than device 600A).

一部の実施形態では、デバイス６００Ａは、ライブ通信参加アフォーダンス６０７の選択に対応するユーザ入力（例えば、ライブ通信アフォーダンス６１７上のタップ）を受ける。ライブ通信参加アフォーダンス６０７の選択を受けたことに応じて、デバイス６００Ａは、デバイス６００及び／又はデバイス６００Ａに、ライブ通信セッションに参加させるか、ライブ通信セッションに参加する処理を開始させる。一部の実施形態では、ライブ通信アフォーダンス６０７の選択を受けたことに応じて、デバイス６００Ａは、ライブ通信ユーザインターフェース６２８（図６Ｇ）、６５４（図６Ｋ）、又は６５６（図６Ｌ）をデバイス６００に表示させる。 In some embodiments, device 600A receives user input (e.g., a tap on live communication affordance 617) corresponding to a selection of live communication join affordance 607. In response to receiving the selection of live communication join affordance 607, device 600A causes device 600 and/or device 600A to join a live communication session or initiate a process to join a live communication session. In some embodiments, in response to receiving the selection of live communication affordance 607, device 600A causes live communication user interface 628 (FIG. 6G), 654 (FIG. 6K), or 656 (FIG. 6L) to be displayed on device 600.

図６ＡＤは、ライブ通信セッションに参加した後にデバイス６００Ａに表示されたユーザインターフェース６０４Ａを示す。一部の実施形態では、デバイス６００Ａは、ユーザがデバイス６００Ａを介してライブ通信セッションにオーディオ入力を提供するためのマイクロフォンを含む。図６ＡＤでは、ユーザインターフェース６０４Ａは、音量コントローラ６１１、ライブ通信セッションの参加者の表示６１３（「ＰＡＢＬＯ他２人」）及び継続時間（「９分４５秒」）、通話終了アフォーダンス６１５、オーディオオン／オフアフォーダンス６１７、及びメニューアフォーダンス６１９を含む。 FIG. 6AD shows a user interface 604A displayed on device 600A after joining a live communication session. In some embodiments, device 600A includes a microphone for a user to provide audio input to the live communication session via device 600A. In FIG. 6AD, user interface 604A includes a volume control 611, an indication 613 of the participants in the live communication session ("PABLO and 2 others") and duration ("9 minutes 45 seconds"), an end call affordance 615, an audio on/off affordance 617, and a menu affordance 619.

図６ＡＥでは、デバイス６００Ａは、ユーザ入力６５０Ｍ（例えば、メニューアフォーダンス６１９又はその付近で始まる上方向スワイプジェスチャ）を受ける（例えば、検出する）。図６ＡＦに示すように、ユーザ入力６５０Ｍを受けたことに応じて、デバイス６００Ａは、表示６１３（「４人のパーティ」）を修正し、キーパッドアフォーダンス６２１、（例えば、デバイス６００を使用してライブ通信セッションに参加するための）オーディオソースアフォーダンス６２３、及びライブ通信セッションの参加者（例えば、参加した及び／又は招待した参加者）のリスト６２５を表示する。一部の実施形態では、デバイス６０４Ａは、（例えば、ライブ通信セッションに参加するのに先立って）図６ＡＣのユーザインターフェース６０４上でユーザ入力６５０Ｍを受けたことに応じて、リスト６２５を表示する。一部の実施形態では、リスト６２５は、参加者の通信状態の表示を含む。一部の実施形態では、リスト６２５は、ライブ通信セッションに参加していない参加者にリマインダ通知を送るために選択できるリマインダアフォーダンスを含む。 6AE, device 600A receives (e.g., detects) user input 650M (e.g., an upward swipe gesture initiated at or near menu affordance 619). As shown in FIG. 6AF, in response to receiving user input 650M, device 600A modifies display 613 ("Party of 4") and displays keypad affordance 621, audio source affordance 623 (e.g., for joining a live communication session using device 600), and list 625 of participants in the live communication session (e.g., joined and/or invited participants). In some embodiments, device 604A displays list 625 in response to receiving user input 650M on user interface 604 of FIG. 6AC (e.g., prior to joining the live communication session). In some embodiments, list 625 includes an indication of the communication status of participants. In some embodiments, list 625 includes a reminder affordance that can be selected to send reminder notifications to participants not participating in the live communication session.

図７Ａ～図７Ｆは、一部の実施形態による方法を示すフロー図である。方法７００は、ディスプレイを備えるデバイス（例えば、１００、３００、５００又は６００）にて行われる。方法７００の一部の動作は任意選択的に組み合わされ、一部の動作の順序は任意選択的に変更され、一部の動作は任意選択的に省略される。 Figures 7A-7F are flow diagrams illustrating a method according to some embodiments. Method 700 is performed on a device (e.g., 100, 300, 500, or 600) that includes a display. Some operations of method 700 are optionally combined, the order of some operations is optionally changed, and some operations are optionally omitted.

後述するように、方法７００はとりわけ、複数の参加者間のライブ通信セッション用の対話式通知（例えば、６１４、６７２、６７６）を提供する直感的な方法を提供する。この方法は、複数の参加者間のライブ通信セッションの通知を提供する革新的な技術を使用するユーザの認知的負担を軽減することで、より効率的なヒューマン－マシンインターフェースを作り出す。バッテリ動作式コンピューティングデバイスの場合、ユーザが複数の参加者間のライブ通信セッションの通知と迅速に対話できることは、より速く、より効率的であり、よって、電力を節約し、バッテリ充電間隔を長くする。 As described below, method 700 provides, among other things, an intuitive way to provide interactive notifications (e.g., 614, 672, 676) for live communication sessions between multiple participants. This method creates a more efficient human-machine interface by reducing the cognitive burden on users using innovative techniques to provide notifications of live communication sessions between multiple participants. For battery-operated computing devices, being able to quickly interact with notifications of live communication sessions between multiple participants is faster and more efficient, thereby conserving power and extending the time between battery charges.

ブロック７０２では、デバイスは、メッセージングアプリケーションのメッセージングユーザインターフェース（例えば、６０４）を表示する。メッセージングユーザインターフェース（例えば、６０４）は、メッセージ領域（例えば、６０６）を含む。メッセージ領域は、３人以上の参加者間のメッセージ会話における複数のメッセージ（例えば、６０８Ａ～６０８Ｄ）を含む。 In block 702, the device displays a messaging user interface (e.g., 604) of a messaging application. The messaging user interface (e.g., 604) includes a message area (e.g., 606). The message area includes multiple messages (e.g., 608A-608D) in a message conversation between three or more participants.

ブロック７０４では、デバイスは、その３人以上の参加者に利用可能なライブ通信セッション（例えば、オーディオ通信セッション又はオーディオ／ビデオ通信セッション）がアクティブであることを示す第１のデータを受信する。一部の実施形態では、ライブ通信セッションの参加者は、「現在参加済」（例えば、ライブメディアストリームを他の参加者に提供しており、「接続済」又は「アクティブ」とも呼ばれる）、又は「現在未参加」（例えば、セッションに参加したことがない参加者、又はセッションに従前に参加していたが、セッションから退出した参加者であり、「未接続」又は「招待済」とも呼ばれる）の状態を有する。一部の実施形態では、ライブ通信セッションの参加者は、ライブ通信セッションに現在参加している参加者と、ライブ通信セッションに現在参加していない参加者と（例えば、６４８Ａ～６４８Ｄ）を含む。ライブ通信セッションがアクティブであると、参加者は、ライブ通信セッションに参加する（接続する）又はライブ通信セッションから退出する（から接続解除する）。別のデバイスに関連する参加者がライブ通信セッションに参加すると、デバイスは、その参加者に対応するメディアストリームを受信する。デバイスのユーザがライブ通信セッションに参加すると、デバイスは、ライブメディアストリームを他の参加者（例えば、ライブ通信セッションに参加している参加者）に送信する。一部の実施形態では、（例えば、ライブ通信セッションを開始した参加者がセッションから退出した場合でも、）ライブ通信セッションは、参加者の少なくとも１人が接続されている限り、アクティブなままである。 In block 704, the device receives first data indicating that a live communication session (e.g., an audio communication session or an audio/video communication session) available to the three or more participants is active. In some embodiments, participants in the live communication session have a state of "currently participating" (e.g., providing a live media stream to other participants, also referred to as "connected" or "active") or "currently not participating" (e.g., a participant who has never joined the session, or a participant who previously joined the session but has left the session, also referred to as "not connected" or "invited"). In some embodiments, participants in the live communication session include participants who are currently participating in the live communication session and participants who are not currently participating in the live communication session (e.g., 648A-648D). When a live communication session is active, participants join (connect) or leave (disconnect) the live communication session. When a participant associated with another device joins the live communication session, the device receives a media stream corresponding to that participant. When a user of a device joins a live communication session, the device transmits the live media stream to other participants (e.g., participants participating in the live communication session). In some embodiments, the live communication session remains active as long as at least one of the participants remains connected (e.g., even if the participant who initiated the live communication session leaves the session).

ブロック７０６では、３人以上の参加者間のライブ通信セッションがアクティブであることを示す第１のデータの受信に応じて、デバイスは、ライブ通信セッションがアクティブであることを示す通知（例えば、６１４）を表示する。一部の実施形態では、ライブ通信セッションがアクティブであることを示す通知は、ライブ通信参加アフォーダンス（例えば、６１４Ａ）を含む。一部の実施形態では、通知は、ライブ通信セッションにおける参加者の数（例えば、セッションにおけるアクティブな参加者の数、セッションに招待された参加者の数）の表示を含む。一部の実施形態では、通知は、通知の提示をトリガするアクションをディスプレイ上で行った参加者（例えば、ライブ通信セッションを開始した参加者、又は、ライブ通信セッションへの参加をデバイスのユーザにリマインドするための「再発信」ボタンなどを選択した参加者）の表示（例えば、名前、イニシャル、写真、又はアバター）を含む。一部の実施形態では、３人以上の参加者間のライブ通信セッションがアクティブであることを示す第１のデータの受信に応じて、デバイスは、デバイスの１つ以上のオーディオ出力装置によって、ライブ通信セッションがアクティブであることを示すオーディオ出力（例えば、６１８）を生成し、ライブ通信セッションがアクティブであることを示すオーディオ出力は、着信通知に関連するオーディオ出力及びメッセージ通知に関連するオーディオ出力とは異なる。一部の実施形態では、ライブ通信セッションがアクティブであることを示すオーディオ出力は、着信及びメッセージ通知の両方のオーディオ出力とオーディオ特性（例えば、共通の音質、音色、リズム）を共有する。ライブ通信セッションがアクティブであることを示す通知（例えば、６１４）を表示すること及び／又はオーディオ出力（例えば、６１８）を生成することにより、ユーザにライブ通信セッションの現在の状態に関するフィードバックが提供され、（例えば、通知が参加アフォーダンスを含むときに）ユーザが通知をアクティブ化する場合に、通知及び／又はライブ通信セッションに関連する特定の動作が行われることを示す視覚的フィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 At block 706, in response to receiving first data indicating that a live communication session between three or more participants is active, the device displays a notification (e.g., 614) indicating that the live communication session is active. In some embodiments, the notification indicating that the live communication session is active includes a live communication join affordance (e.g., 614A). In some embodiments, the notification includes an indication of the number of participants in the live communication session (e.g., the number of active participants in the session, the number of participants invited to the session). In some embodiments, the notification includes an indication (e.g., name, initials, photo, or avatar) of a participant who took an action on the display that triggered the presentation of the notification (e.g., a participant who initiated the live communication session or a participant who selected a "call again" button, etc., to remind the device user to join the live communication session). In some embodiments, in response to receiving first data indicating that a live communication session between three or more participants is active, the device generates, via one or more audio output devices of the device, an audio output (e.g., 618) indicating that the live communication session is active, wherein the audio output indicating that the live communication session is active is distinct from the audio output associated with the incoming call notification and the audio output associated with the message notification. In some embodiments, the audio output indicating that the live communication session is active shares audio characteristics (e.g., common tone quality, timbre, rhythm) with the audio output of both the incoming call and the message notification. Displaying the notification (e.g., 614) and/or generating the audio output (e.g., 618) indicating that the live communication session is active provides the user with feedback regarding the current state of the live communication session, and provides the user with visual feedback indicating that a particular action related to the notification and/or the live communication session will occur if the user activates the notification (e.g., when the notification includes a join affordance). Providing improved visual feedback to the user enhances the usability of the device, makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and also reduces the device's power usage and improves battery life by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック７０４では、デバイスは、ライブ通信セッションがアクティブであることを示す通知をメッセージ領域（例えば、６０６）の第１の位置に表示する。一部の実施形態では、ライブ通信セッションがアクティブであることを示す通知（例えば、６１４）は、ライブ通信参加アフォーダンス（例えば、６１４Ａ）を含む。 Optionally, at block 704, the device displays a notification in a first position of the message area (e.g., 606) indicating that the live communication session is active. In some embodiments, the notification (e.g., 614) indicating that the live communication session is active includes a live communication join affordance (e.g., 614A).

ブロック７１０では、ライブ通信セッションがアクティブであることを示す通知（例えば、６１４）を表示している間に、デバイスは、３人以上の参加者間のライブ通信セッションがアクティブでなくなったことを示す第２のデータを受信する。 In block 710, while displaying a notification (e.g., 614) indicating that the live communication session is active, the device receives second data indicating that the live communication session between the three or more participants is no longer active.

任意選択的に、ブロック７１２では、デバイスは、ライブ通信セッションがアクティブであることを示す通知を、第１の位置（例えば、メッセージ領域６０６の下部）から第２の位置（例えば、メッセージ領域６０６の中央若しくは上部、又はディスプレイ（６０２）の上部、下部、右側、及び／又は左側）に移動させる。一部の実施形態では、通知再配置基準が満たされたことに応じて、通知（例えば、６１４）の移動が起きる。一部の実施形態では、通知再配置基準は、所定時間が経過すること（例えば、通知が表示された後に経過すること）、メッセージングユーザインターフェース（例えば、６０４）の表示を中止すること、メッセージングアプリケーションが閉じられること、又は、新規の着信メッセージがメッセージ領域（例えば、６０６）を占めることによって、通知（例えば、６１４）の全体又は通知（例えば、６１４）の一部分がメッセージ領域（例えば、６０６）内で隠されること、などの１つ以上の基準を含む。ライブ通信セッションがアクティブであることを示す通知を移動することにより、ライブ通信セッションの現在の状態に関するフィードバックがユーザに提供され、選択された場合に、通知及び／又はライブ通信セッションに関連する特定の動作が行われることを示す視覚的フィードバックがユーザに提供され、操作を行うために必要な入力の数が減る。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。加えて、操作を行うために必要な入力の数が減ることにより、デバイスの操作性が更に高められ、ユーザ－デバイスインターフェースを（例えば、よりアクセス可能な入力をユーザにもたらし、入力の数が減ることで）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at block 712, the device moves a notification indicating that a live communication session is active from a first position (e.g., the bottom of the message area 606) to a second position (e.g., the center or top of the message area 606, or the top, bottom, right, and/or left side of the display (602)). In some embodiments, the movement of the notification (e.g., 614) occurs in response to notification relocation criteria being met. In some embodiments, the notification relocation criteria include one or more criteria such as a predetermined time elapses (e.g., elapses after the notification is displayed), the messaging user interface (e.g., 604) ceasing to display, the messaging application being closed, or a new incoming message occupying the message area (e.g., 606) such that the entire notification (e.g., 614) or a portion of the notification (e.g., 614) is obscured within the message area (e.g., 606). Moving the notification indicating that a live communication session is active provides the user with feedback regarding the current state of the live communication session, provides the user with visual feedback indicating that a particular action related to the notification and/or the live communication session will occur if selected, and reduces the number of inputs required to perform the action. Providing the user with improved visual feedback enhances device usability and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as allowing the user to use the device more quickly and efficiently, thereby reducing device power usage and improving battery life. Additionally, reducing the number of inputs required to perform the action further enhances device usability and makes the user-device interface more efficient (e.g., by providing the user with more accessible inputs and reducing the number of inputs), as well as allowing the user to use the device more quickly and efficiently, thereby reducing device power usage and improving battery life.

任意選択的に、ブロック７１４及び７１６では、デバイスは、ライブ通信参加アフォーダンス（例えば、６１４Ａ又は６２６Ｂ）の選択に対応する第１のユーザ入力（例えば、６５０Ｃ）を受ける。ライブ通信参加アフォーダンスの選択に対応する第１のユーザ入力を受けたことに応じて、デバイスは、ライブ通信セッションに参加する（例えば、ライブ通信セッションに参加し、電子デバイスからビデオとオーディオの両方を送信する、及び／又はライブ通信セッションに参加し、電子デバイスから（ビデオを送信せずに）オーディオのみを送信する）。通知に含まれるライブ通信参加アフォーダンスの選択を受けたことに応じてライブ通信に参加することにより、ライブ通信セッションに参加する操作を行うために必要な入力の数が減る。操作を行うために必要な入力の数が減ることにより、デバイスの操作性が更に高められ、ユーザ－デバイスインターフェースを（例えば、よりアクセス可能な入力をユーザにもたらし、ライブ通信セッションに参加するのに必要な入力の数が減ることで）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at blocks 714 and 716, the device receives a first user input (e.g., 650C) corresponding to a selection of a join live communication affordance (e.g., 614A or 626B). In response to receiving the first user input corresponding to a selection of the join live communication affordance, the device joins the live communication session (e.g., joins the live communication session and transmits both video and audio from the electronic device, and/or joins the live communication session and transmits only audio (without transmitting video) from the electronic device). Joining the live communication in response to receiving a selection of the join live communication affordance included in the notification reduces the number of inputs required to perform the operation of joining the live communication session. Reducing the number of inputs required to perform the operation further enhances device usability and makes the user-device interface more efficient (e.g., by providing the user with more accessible inputs and reducing the number of inputs required to join the live communication session), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック７１８及び７２０では、デバイスは、ライブ通信セッションへの参加のリマインダを示すリマインダデータ（例えば、図６Ｄ）（例えば、会話中に参加者によって又は所定時間後に送られるリマインダ）を受信する。ライブ通信への参加のリマインダ（例えば、リマインダは会話中の参加者によって送られる）を示すリマインダデータの受信に応じて、デバイスは、デバイスの１つ以上のオーディオ出力装置によって、ライブ通信セッションがアクティブであることを示すオーディオ出力（例えば、６１８）（例えば、着信音出力）を生成する。一部の実施形態では、オーディオ出力（例えば、６１８）は、通知（例えば、６１６）の再表示に連携して生成される。一部の実施形態では、通知の表示は、リマインダデータが受信される時に進行中である。一部の実施形態では、ライブ通信セッションがアクティブであることを示すオーディオ出力は、電話着信通知に関連するオーディオ出力及びメッセージ通知に関連するオーディオ出力とは異なる。一部の実施形態では、ライブ通信セッションがアクティブであることを示すオーディオ出力は、電話着信及びメッセージ通知の両方のオーディオ出力とオーディオ特性（例えば、共通の音質、音色、リズム）を共有する。一部の実施形態では、ライブ通信セッションがアクティブであることを示す初期オーディオ出力は、ライブ通信セッションがアクティブであることを示すリマインダオーディオ出力（例えば、参加者が「発信」アフォーダンスを選択していることに基づいて生成されるオーディオ出力）とは異なる（例えば、より短い、より静かである、又はより弱い）。一部の実施形態では、ライブ通信セッションがアクティブであることを示す初期オーディオ出力は、電話着信に使用される繰り返されるオーディオ出力の一回の繰り返しであり、ライブ通信セッションがアクティブであることを示すリマインダオーディオ出力は、電話着信に使用される繰り返されるオーディオ出力の複数回の繰り返しである、又は電話着信に使用されるオーディオ出力と同じである。一部の実施形態では、ライブ通信への参加のリマインダを示すリマインダデータの受信に応じて、デバイスは、リマインダを開始したライブ通信セッションにおける参加者の表示（例えば、名前、イニシャル、写真、又はアバター）を表示する。所定条件が満たされるときにオーディオ出力を含むリマインダを生成することにより、視覚的通知（例えば、６１４）を見逃した場合にユーザはライブ通信セッションが利用可能であることを迅速に認識することができるようになる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at blocks 718 and 720, the device receives reminder data (e.g., FIG. 6D ) indicating a reminder to join the live communication session (e.g., a reminder sent by a participant during the conversation or after a predetermined time). In response to receiving the reminder data indicating a reminder to join the live communication session (e.g., a reminder sent by a participant in the conversation), the device generates, via one or more audio output devices of the device, an audio output (e.g., 618) (e.g., a ringtone output) indicating that the live communication session is active. In some embodiments, the audio output (e.g., 618) is generated in coordination with the re-display of a notification (e.g., 616). In some embodiments, the display of the notification is in progress when the reminder data is received. In some embodiments, the audio output indicating that the live communication session is active is different from the audio output associated with an incoming call notification and the audio output associated with a message notification. In some embodiments, the audio output indicating that the live communication session is active shares audio characteristics (e.g., a common tone quality, timbre, rhythm) with the audio output of both the incoming call notification and the message notification. In some embodiments, the initial audio output indicating that a live communication session is active is different (e.g., shorter, quieter, or weaker) from the reminder audio output indicating that a live communication session is active (e.g., audio output generated based on a participant selecting the “Call Call” affordance). In some embodiments, the initial audio output indicating that a live communication session is active is a single repetition of the repeated audio output used for incoming phone calls, and the reminder audio output indicating that a live communication session is active is multiple repetitions of the repeated audio output used for incoming phone calls, or is the same as the audio output used for incoming phone calls. In some embodiments, in response to receiving reminder data indicating a reminder to join a live communication session, the device displays a representation (e.g., name, initials, photo, or avatar) of a participant in the live communication session that initiated the reminder. Generating a reminder that includes an audio output when a predetermined condition is met allows a user to quickly recognize that a live communication session is available if they miss the visual notification (e.g., 614). By performing optimized operations without requiring further user input when a set of conditions are met, the device's usability is enhanced, the user-device interface is made more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and the device's power usage is reduced and battery life is improved by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック７２２及び７２４では、通知がメニューアクセスアフォーダンス（例えば、６２６Ｂ）を含む実施形態では、デバイスは、メニューアクセスアフォーダンスの選択に対応する第２のユーザ入力（例えば、６５０Ｃ）を受ける。デバイスは、メニューアクセスアフォーダンスの選択に対応する第２のユーザ入力を受けたことに応じて、ビデオ参加オプション（例えば、６３４）（例えば、アフォーダンス、ドロップダウンメニュー、チェックボックス）、及びオーディオ専用オプション（例えば、６４２）（例えば、アフォーダンス、ドロップダウン、チェックボックス）を含むメニュー（例えば、６３０）を表示する。メニューアクセスアフォーダンスの選択を受けたことに応じて、ライブ通信セッションに参加するための異なるオプションを含むメニューを表示することより、表示される追加コントローラによってＵＩを雑然とさせることなく、追加制御オプションが提供される。表示される追加コントローラによってＵＩを雑然とさせることなく、追加制御オプションを提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at blocks 722 and 724, in embodiments in which the notification includes a menu access affordance (e.g., 626B), the device receives a second user input (e.g., 650C) corresponding to a selection of the menu access affordance. In response to receiving the second user input corresponding to a selection of the menu access affordance, the device displays a menu (e.g., 630) including a video join option (e.g., 634) (e.g., affordance, drop-down menu, check box) and an audio-only option (e.g., 642) (e.g., affordance, drop-down, check box). Displaying a menu including different options for joining the live communication session in response to receiving a selection of the menu access affordance provides additional control options without cluttering the UI with additional displayed controllers. Providing additional control options without cluttering the UI with additional displayed controllers enhances the usability of the device, makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and also reduces the device's power usage and improves battery life by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック７２６及び７２８では、デバイスは、メニュー（例えば、６３０）を表示している間に、第３のユーザ入力を受ける。ビデオ参加オプション（例えば、６３４）の選択に対応する第３のユーザ入力（例えば、６５０Ｆ）を受けて、デバイスは、電子デバイスから送信されるオーディオ及びビデオを用いるライブ通信セッションに参加する。一部の実施形態では、デバイスは、オーディオ専用及び／又はビデオ専用で参加したいかを確認するようにユーザを促す（例えば、「ビデオで参加したいですか？」）。所定条件が満たされるときに（例えば、ビデオ参加オプションが選択されることに応じて）、電子デバイスから送信されるオーディオ及びビデオを用いるライブ通信セッションに参加することにより、ユーザは、ユーザがデバイスの追加入出力を選択又は修正する（例えば、カメラをオンにする、及び／又はマイクロフォンをオンにする）必要なしに、オーディオ及びビデオを用いるライブ通信セッションに参加することができる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at blocks 726 and 728, the device receives a third user input while displaying the menu (e.g., 630). Upon receiving the third user input (e.g., 650F) corresponding to the selection of the join video option (e.g., 634), the device joins the live communication session using audio and video transmitted from the electronic device. In some embodiments, the device prompts the user to confirm whether they want to join audio-only and/or video-only (e.g., "Do you want to join with video?"). By joining the live communication session using audio and video transmitted from the electronic device when a predetermined condition is met (e.g., in response to the join video option being selected), the user can join the live communication session using audio and video without the user having to select or modify additional inputs and outputs of the device (e.g., turning on the camera and/or the microphone). By performing optimized operations without requiring further user input when a set of conditions are met, the device's usability is enhanced, the user-device interface is made more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and the device's power usage is reduced and battery life is improved by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック７３０では、第３のユーザ入力がオーディオ専用参加オプション（例えば、６４２）の選択に対応することを受けて、デバイスは、電子デバイスからビデオデータを送信することなく、電子デバイスから送信されるオーディオ（例えば、デバイスの１つ以上のマイクロフォンによって録音されるオーディオ）を用いてライブ通信セッションに参加する。一部の実施形態では、デバイスは、ユーザがオーディオのみを用いてライブ通信に参加したことを示すインジケータ（例えば、図６Ｌの６５８）を表示する。このことは、ビデオが共有されていないという安心感をユーザに与える）。所定条件が満たされるときに、電子デバイスから送信されるオーディオを用いてライブ通信セッションに参加することにより、ユーザは、ユーザがデバイスの追加入出力を選択又は修正する（例えば、カメラをオフにする、及び／又は、マイクロフォンをオンにする）必要なく、オーディオのみを用いてライブ通信セッションに参加することができる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at block 730, in response to a third user input corresponding to a selection of an audio-only join option (e.g., 642), the device joins the live communication session using audio transmitted from the electronic device (e.g., audio recorded by one or more microphones on the device) without transmitting video data from the electronic device. In some embodiments, the device displays an indicator (e.g., 658 in FIG. 6L) indicating that the user has joined the live communication using audio only, which provides the user with peace of mind that video is not being shared.) By joining the live communication session using audio transmitted from the electronic device when predetermined conditions are met, the user can join the live communication session using audio only without the user having to select or modify additional inputs and outputs of the device (e.g., turning off the camera and/or turning on the microphone). By performing optimized operations without requiring further user input when a set of conditions are met, the device's usability is enhanced, the user-device interface is made more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and the device's power usage is reduced and battery life is improved by allowing the user to use the device more quickly and efficiently.

ブロック７３２では、３人以上の参加者間のライブ通信セッションがアクティブでなくなったことを示す第２のデータの受信に応じて、デバイスは、通知（例えば、６１４）の表示を中止するか、又はライブ通信セッションがアクティブでなくなったことを示すように通知を更新する。一部の実施形態では、ライブ通信セッションがアクティブである間、通知は、ライブ通信セッションの現在の継続時間を示すように更新される。一部の実施形態では、ライブ通信セッションがアクティブではなくなると、通知はセッションの継続時間の表示を中止し、セッションが終了したとの通知（例えば、「通話終了」）を表示する。ライブ通信セッションがアクティブでなくなったことを示すデータの受信に応じて通知の表示を中止することにより、通知及び／又はライブ通信セッションに関連する特定の動作が利用可能でなくなったことを示す視覚的フィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。加えて、ライブ通信セッションがアクティブでなくなったことを示すデータの受信に応じて通知の表示を中止することにより、条件のセットが満たされたときに、更なるユーザ入力なしに、動作が自動的に行われる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、ユーザインターフェース上の不要な要素を減らし、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 At block 732, in response to receiving second data indicating that the live communication session between the three or more participants is no longer active, the device either ceases displaying the notification (e.g., 614) or updates the notification to indicate that the live communication session is no longer active. In some embodiments, while the live communication session is active, the notification is updated to indicate the current duration of the live communication session. In some embodiments, when the live communication session is no longer active, the notification ceases displaying the session duration and displays a notification that the session has ended (e.g., "call ended"). By ceasing to display the notification in response to receiving data indicating that the live communication session is no longer active, visual feedback is provided to the user indicating that the notification and/or certain actions related to the live communication session are no longer available. Providing improved visual feedback to the user enhances device usability and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently. Additionally, by ceasing to display the notification in response to receiving data indicating that the live communication session is no longer active, an action is taken automatically without further user input when a set of conditions are met. Taking an optimized action without requiring further user input when a set of conditions are met enhances device usability and makes the user-device interface more efficient (e.g., by reducing unnecessary elements on the user interface, assisting the user in providing appropriate inputs when operating/interacting with the device, and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック７３６、７３８、及び７４０では、デバイスは、２人以上の参加者間で第２のライブ通信セッションが利用可能であることを示す第３のデータを受信する。第２のライブ通信セッションが２人の参加者間で利用可能であることを受けて、デバイスは、第２のライブ通信がアクティブであることを示す第１の種類の通知（例えば、６７２）（例えば、全画面通知）を表示する。一部の実施形態では、第１の種類の通知（例えば、６７２）は、ビデオ（例えば、６３４）、オーディオ専用（例えば、６４３）及び／又は辞退（例えば、６２２）のオプションを伴うメニュー（例えば、６３０）を含む。第２のライブ通信セッションが３人以上の参加者間で利用可能であることを受けて、デバイスは、第２のライブ通信がアクティブであることを示す、第１の種類の通知とは異なる第２の種類の通知（例えば、６７６）を表示する。一部の実施形態では、第２の種類の通知は、全画面ではない、又は持続的な全画面ではない、バナー通知（例えば、６７６）である。任意選択的に、ブロック７４２では、デバイスは、第２の種類の通知を第１の状態（例えば、全画面状態６７２）で最初に表示する。任意選択的に、ステップ７４４では、デバイスは、第２の種類の通知（例えば、６７２）を第２の状態（例えば、６７６）（例えば、持続性の全画面ではない状態（例えば、ディスプレイの上縁に配置される持続性バナー）に移行させる。所定条件が満たされるときに基づいて、ライブ通信セッションがアクティブであるとの特定の種類の通知を表示することにより、所定条件に基づいてユーザにもたらす注意散漫の減少をより多く及び／又はより少なくもたらす一方で、ユーザにライブ通信セッションが利用可能であることを迅速に認識させることを可能にする（例えば、２人の参加者間で利用可能なライブ通信セッションがあるときに全画面通知を表示し、２人の参加者間で利用可能なライブ通信セッションがあるときにバナーを表示する）。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at blocks 736, 738, and 740, the device receives third data indicating that a second live communication session is available between two or more participants. In response to the second live communication session being available between the two participants, the device displays a first type of notification (e.g., 672) (e.g., a full-screen notification) indicating that the second live communication is active. In some embodiments, the first type of notification (e.g., 672) includes a menu (e.g., 630) with video (e.g., 634), audio-only (e.g., 643), and/or decline (e.g., 622) options. In response to the second live communication session being available between three or more participants, the device displays a second type of notification (e.g., 676) different from the first type of notification indicating that the second live communication is active. In some embodiments, the second type of notification is a banner notification (e.g., 676) that is not full-screen or is not persistent full-screen. Optionally, at block 742, the device initially displays the second type of notification in a first state (eg, full-screen state 672). Optionally, in step 744, the device transitions the second type of notification (e.g., 672) to a second state (e.g., 676) (e.g., a persistent, non-full-screen state (e.g., a persistent banner located at the top edge of the display). Displaying a particular type of notification that a live communication session is active based on when a predetermined condition is met allows the user to quickly recognize that a live communication session is available (e.g., displaying a full-screen notification when there is a live communication session available between two participants, and displaying a banner when there is a live communication session available between two participants) while providing more and/or less distraction to the user based on the predetermined condition. Performing an optimized operation without requiring further user input when a set of conditions is met enhances device usability and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック７４６、７４８、７５０、及び７５２では、デバイスは、第３のライブ通信セッションが利用可能であることを示す第４のデータを受信する。第３のライブ通信セッションが利用可能であることを示す第４のデータの受信に応じて、アクティブなアプリケーション（例えば、メッセージングアプリケーション、又はオペレーティングシステムの開発者以外のアプリケーション開発者によって提供された第三者アプリケーションなどの、（例えば、デバイスのロック画面（例えば、６６８）又はホーム画面（例えば、１４００）の代わりの）アプリケーション）が表示されているとの判定を受けてに、デバイスは、第３のライブ通信セッションが利用可能であることを示す第３の種類（例えば、非全画面状態（例えば、ディスプレイの上縁に配置されるバナー））の通知（例えば、６１４又は６７６）を表示する。第３のライブ通信セッションが利用可能であることを示す第４のデータの受信に応じて、アクティブなアプリケーションが表示されていない（例えば、図６Ｗ）との判定を受けて、デバイスは、第３のライブ通信セッションが利用可能であることを示す第４の種類の通知（例えば、６７８又は全画面通知（例えば、６１６））を提供する。所定条件が満たされるときに基づいた、ライブ通信セッションの特定の種類の通知を表示することにより、所定条件に基づいてユーザに対する精査の減少をより多く及び／又はより少なくもたらす（例えば、デバイスがアプリケーションを表示しているときに全画面通知を表示し、デバイスがアプリケーションを表示していないときにバナーを表示する）一方で、ユーザにライブ通信セッションが利用可能であることを迅速に認識させることを可能にする。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at blocks 746, 748, 750, and 752, the device receives fourth data indicating that a third live communication session is available. In response to receiving the fourth data indicating that a third live communication session is available, and upon determining that an active application (e.g., an application in place of the device's lock screen (e.g., 668) or home screen (e.g., 1400)), such as a messaging application or a third-party application provided by an application developer other than the operating system developer) is displayed, the device displays a third type of notification (e.g., 614 or 676) indicating that the third live communication session is available (e.g., a non-full screen state (e.g., a banner located at the top edge of the display)). In response to receiving the fourth data indicating that a third live communication session is available, and upon determining that an active application is not displayed (e.g., FIG. 6W), the device provides a fourth type of notification (e.g., 678 or a full screen notification (e.g., 616)) indicating that the third live communication session is available. Displaying a specific type of notification of a live communication session based on when a predetermined condition is met allows the user to quickly become aware that a live communication session is available while providing more and/or less scrutiny to the user based on the predetermined condition (e.g., displaying a full-screen notification when the device is displaying an application and displaying a banner when the device is not displaying an application). Taking optimized action without requiring further user input when a set of conditions is met enhances device usability, makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and also reduces device power usage and improves battery life by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック７５４、７５６、７５８、及び７６０では、デバイスは、第４のライブ通信セッションが利用可能であることを示す第５のデータを受信する。第４のライブ通信セッションが利用可能であることを示す第５のデータの受信に応じて、電子デバイスの現在の状況（例えば、デバイスの現在の動作モード（例えば、デバイスがおやすみ（do-not-disturb、ＤＮＤ）モードであるか、特定のアプリケーション又はハードウェアが操作上アクティブであるか、デバイスがロックされている、又はロック解除されているか、ユーザがディスプレイを見ていることをデバイスの１つ以上のセンサが検出するか）がアラート報知基準を満たすとの判定を受けて、デバイスは、第４のライブ通信セッションが利用可能であるとの非視覚的通知（例えば、６７８）（例えば、オーディオ又は触覚出力）を提供している間に、第４のライブ通信セッションが利用可能であるとの通知（例えば、６７６）を表示する。一部の実施形態では、出力又はアラートは、通知（例えば、６１４）に対応する。第４のライブ通信セッションが利用可能であることを示す第５のデータの受信に応じて、かつ電子デバイスの現在の状況がアラート報知基準を満たさないとの判定を受けて、デバイスは、第４のライブ通信セッションが利用可能であるとの非視覚的通知（例えば、６７８）を提供せずに、第４のライブ通信セッションが利用可能であるとの通知（例えば、６１４）を表示する。一部の実施形態では、第１の種類のアラートが報知されない一方、第２の種類のアラート（例えば、バナー通知（例えば、６７６）などの視覚的アラート）が報知される。一部の実施形態では、デバイスの関連する状況は、デバイスがロック状態にあるかロック解除状態にあるかである。一部の実施形態では、デバイスがロックされていると、第１の種類のアラート（例えば、オーディオ又は触覚出力）が報知され、デバイスがロックされていないと（例えば、ユーザが能動的にデバイスを操作している／デバイスと対話していると）、アラートが報知されない（例えば、抑制される）。一部の実施形態では、デバイスの関連する状況は、ユーザがディスプレイを見ていることを（例えば、１つ以上のセンサ（例えば、カメラ、赤外線センサ）によって）デバイスが検出するか否かである。一部の実施形態では、デバイスがロックされていると、第１の種類のアラート（例えば、オーディオ又は触覚出力）が報知される。一部の実施形態では、ユーザがディスプレイを見ていないこと（例えば、図６ＡＡ）をデバイスが検出すると、第１の種類のアラート（例えば、６８２）が生成される。一部の実施形態では、ユーザが能動的にデバイスを操作している／デバイスと対話している（例えば、図６ＡＢ）と、第１の種類のアラートは生成されない（例えば、抑制される）。 Optionally, at blocks 754, 756, 758, and 760, the device receives fifth data indicating that a fourth live communication session is available. In response to receiving the fifth data indicating that a fourth live communication session is available, and upon determining that a current state of the electronic device (e.g., a current operating mode of the device (e.g., whether the device is in do-not-disturb (DND) mode, whether a particular application or hardware is operationally active, whether the device is locked or unlocked, whether one or more sensors on the device detect that the user is looking at the display) meets an alerting criteria, the device may provide a non-visual notification (e.g., 678) that a fourth live communication session is available (e.g., In some embodiments, the output or alert corresponds to the notification (e.g., 614). In response to receiving the fifth data indicating that the fourth live communication session is available, and upon determining that the current status of the electronic device does not meet the alert criteria, the device displays the notification (e.g., 614) that the fourth live communication session is available without providing a non-visual notification (e.g., 678) that the fourth live communication session is available. ... One type of alert is not raised, while a second type of alert (e.g., a visual alert such as a banner notification (e.g., 676) is raised. In some embodiments, the relevant status of the device is whether the device is in a locked or unlocked state. In some embodiments, when the device is locked, a first type of alert (e.g., an audio or haptic output) is raised, and when the device is unlocked (e.g., the user is actively operating/interacting with the device), the alert is not raised (e.g., suppressed). In some embodiments, the relevant status of the device is whether the user is in a locked or unlocked state. Whether the device detects (e.g., via one or more sensors (e.g., camera, infrared sensor)) that the user is looking at the display. In some embodiments, a first type of alert (e.g., audio or haptic output) is issued when the device is locked. In some embodiments, a first type of alert (e.g., 682) is generated when the device detects that the user is not looking at the display (e.g., FIG. 6AA). In some embodiments, a first type of alert is not generated (e.g., suppressed) when the user is actively operating/interacting with the device (e.g., FIG. 6AB).

一部の実施形態では、アラート報知基準は、アラート報知基準が満たされるためにはデバイスがロックされているという要件を含む。一部の実施形態では、アラート報知基準は、アラート報知基準が満たされるためにデバイスがデバイスに関するユーザの注目を検出しないという要件を含む。（例えば、電子デバイスの入力装置によって検出されるユーザ入力に基づいて、視線追跡、顔追跡などによって検出されたユーザの視線（例えば、６８０）に基づいて）。所定条件が満たされるときに基づいて、通知（例えば、６１４）を表示し、非視覚的通知を提供するかを判定することにより、所定に基づいてより多くの及び／又はより少ない割り込みをもたらす一方、ユーザにライブ通信が利用可能であることを迅速に認識させることを可能にする。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 In some embodiments, the alert notification criteria include a requirement that the device be locked for the alert notification criteria to be met. In some embodiments, the alert notification criteria include a requirement that the device not detect user attention on the device for the alert notification criteria to be met (e.g., based on user input detected by an input device of the electronic device, based on the user's gaze (e.g., 680) detected by eye tracking, face tracking, etc.). Determining whether to display a notification (e.g., 614) and provide a non-visual notification based on when a predetermined condition is met allows the user to quickly recognize that a live communication is available while providing more and/or less interruption based on the predetermined condition. Taking optimized action without requiring further user input when a set of conditions is met enhances device usability and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently.

なお、方法７００に関して前述した処理（例えば、図７Ａ～図７Ｆ）の詳細はまた、後述する方法にも、類似の方式で適用可能であることに留意されたい。例えば、方法７００は、任意選択的に、方法９００、１１００、１３００、及び１５００に関して後述する様々な方法の特性の１つ以上を含む。例えば、方法７００は、方法１３００及び１５００を使用してライブ通信セッションを起動し、ライブ通信セッションの開始及び実行は、方法９００及び１１００を含むことができる。簡潔にするために、これらの詳細は、以下では繰り返さない。 It should be noted that the details of the processes described above with respect to method 700 (e.g., FIGS. 7A-7F) are also applicable in an analogous manner to the methods described below. For example, method 700 optionally includes one or more of the features of the various methods described below with respect to methods 900, 1100, 1300, and 1500. For example, method 700 may launch a live communication session using methods 1300 and 1500, and the initiation and execution of the live communication session may include methods 900 and 1100. For the sake of brevity, these details will not be repeated below.

図８Ａ～図８ＢＫは、一部の実施形態による、ライブ通信セッション用の例示的なユーザインターフェースを示す。これらの図のユーザインターフェースは、図９Ａ～図９Ｋの処理を含む後述する処理を示すために使用される。 Figures 8A-8K show exemplary user interfaces for a live communication session, according to some embodiments. The user interfaces in these figures are used to illustrate the processes described below, including the processes in Figures 9A-9K.

図８Ａは、グループＴｈｅ Ｄｒｅａｍ Ｔｅａｍ間のメッセージ会話用のメッセージングユーザインターフェース６０４を表示しているデバイス６００を示す。（例えば、ライブ通信アフォーダンス６１０がないことによって示されるように、）グループ参加者間のライブ通信セッションはアクティブではない。図８Ａに示すように、メッセージングユーザインターフェース６０４のヘッダは、（前述したように）ビデオ参加アフォーダンス６２６Ｂを示すように拡張される。図８Ａに示すように、デバイス６００は、参加者グループＴｈｅ Ｄｒｅａｍ Ｔｅａｍの参加者間のライブ通信セッション用のユーザインターフェースを表示するための要求に対応するユーザ入力８５０Ａ（例えば、ビデオ参加アフォーダンス６２６Ｂ上のタップ）を受ける。図８Ａに示すように、要求は、新規のライブビデオ通信セッションを開始するための要求を含む。一部の実施形態では、要求は、（例えば、図６Ｆに関して前述したような）既存のライブ通信セッションに参加するための要求を含む。 8A illustrates a device 600 displaying a messaging user interface 604 for a message conversation between group The Dream Team. No live communication session between group participants is active (e.g., as indicated by the absence of live communication affordance 610). As illustrated in FIG. 8A, the header of messaging user interface 604 is expanded to show video join affordance 626B (as described above). As illustrated in FIG. 8A, device 600 receives user input 850A (e.g., a tap on video join affordance 626B) corresponding to a request to display a user interface for a live communication session between participants in participant group The Dream Team. As illustrated in FIG. 8A, the request includes a request to start a new live video communication session. In some embodiments, the request includes a request to join an existing live communication session (e.g., as described above with respect to FIG. 6F).

ユーザ入力６５０Ａに応じて、デバイス６００は、メッセージ領域６０６内のメッセージ８００と、ライブ通信セッションが開始されていることを示す表示８０２とを表示する。一部の実施形態では、メッセージ８００は、通知６１４の前述した特性の一部を含む。ライブ通信セッションが開始されると、デバイス６００は、ライブ通信ユーザインターフェース８０４を表示し、同インターフェースは、ライブ通信セッションにおける複数の参加者の表現を同時に含む。 In response to user input 650A, device 600 displays a message 800 in message area 606 and an indication 802 that a live communication session has begun. In some embodiments, message 800 includes some of the aforementioned characteristics of notification 614. Once the live communication session has begun, device 600 displays a live communication user interface 804, which simultaneously includes representations of multiple participants in the live communication session.

ライブ通信セッションにおける参加者の数が参加者の閾数よりも多い（例えば、デバイス６００のユーザを含めて５人よりも多い参加者）との判定を受けて、デバイス６００は、デバイス６００のユーザ以外の第１の複数の参加者の表現を、それぞれの閾値サイズよりも大きな１つ以上のサイズ（例えば、異なる３つのサイズ）で同時に表示する一方、第１の複数の参加者に含まれない１人以上の参加者を含む第２の複数の参加者の表現をオーバーフロー領域に表示し、オーバーフロー領域に表示される１人以上の他の参加者の表現は、それぞれの閾値サイズよりも小さなサイズで表示される。 Upon determining that the number of participants in the live communication session is greater than a threshold number of participants (e.g., greater than five participants including the user of device 600), device 600 simultaneously displays representations of a first plurality of participants other than the user of device 600 at one or more sizes (e.g., three different sizes) greater than their respective threshold sizes, while displaying representations of a second plurality of participants in an overflow area, including one or more participants not included in the first plurality, and the representations of the one or more other participants displayed in the overflow area at sizes smaller than their respective threshold sizes.

図８Ａ～図８ＢＫに示す実施形態では、参加者の閾数は、（デバイス６００のユーザを含む）５人の参加者である。グループＴｈｅ Ｄｒｅａｍ Ｔｅａｍが１５人の参加者を含むので、デバイス６００は、ライブ通信セッションにおける参加者の数が、参加者の閾数よりも多いと判定する。図８Ｃに示すように、この判定を受けて、ライブ通信ユーザインターフェース８０４は、キャンバス領域８１１に表示される、デバイス６００のユーザ以外の４人のそれぞれの参加者の４つの主要表現８１０Ａ～８１０Ｄ（集合的に８１０）の４対１のレイアウトと、デバイス６００のカメラのビューのユーザ表現８０６（デバイス６００のユーザに対応する）と、デバイス６００のユーザ及びキャンバス領域８１１に表される参加者以外の、ライブ通信セッションの参加者に対応するオーバーフロー表現８２２Ａ～８２２Ｊ（集合的に８２２）を伴うオーバーフロー領域８２０とを含み、それらのサブセット（例えば、８２２Ａ～８２２Ｄ）は常に表示されている。一部の実施形態では、レイアウトは、ユーザインターフェース８０４の異なる位置に参加者の表現が固定される、複数の所定レイアウトのうちの１つである。図８ＡＷは、ユーザインターフェース８０４の別の実施形態を示す。図８ＡＷに示す実施形態では、オーバーフロー領域８２０は、ライブ通信セッションにおけるデバイス６００のユーザ以外の参加者全てのオーバーフロー表現を含み、キャンバス領域８１１に表される参加者もオーバーフロー領域８２０に表される。 In the embodiment shown in FIGS. 8A-8BK, the threshold number of participants is five participants (including the user of device 600). Because the group The Dream Team includes 15 participants, device 600 determines that the number of participants in the live communication session is greater than the threshold number of participants. As shown in FIG. 8C, in response to this determination, live communication user interface 804 includes a four-to-one layout of four primary representations 810A-810D (collectively 810) of four participants other than the user of device 600 displayed in canvas area 811, a user representation 806 of the view of device 600's camera (corresponding to the user of device 600), and an overflow area 820 with overflow representations 822A-822J (collectively 822) corresponding to participants in the live communication session other than the user of device 600 and the participants represented in canvas area 811, a subset of which (e.g., 822A-822D) is always displayed. In some embodiments, the layout is one of a number of predefined layouts in which representations of participants are anchored to different locations on the user interface 804. FIG. 8AW illustrates another embodiment of the user interface 804. In the embodiment illustrated in FIG. 8AW, an overflow area 820 includes overflow representations of all participants in the live communication session other than the user of the device 600, and participants represented in the canvas area 811 are also represented in the overflow area 820.

グループ参加者の数が５人以下である場合、ライブ通信セッションにおける参加者の数が５人以下であるとの判定を受けて、デバイス６００は、オーバーフロー領域にオーバーフロー表現を表示することなく、参加者の主要表現及びデバイス６００のユーザの表現を表示する。 If the number of group participants is five or less, upon determining that the number of participants in the live communication session is five or less, device 600 displays the primary representations of the participants and a representation of the user of device 600 without displaying overflow representations in the overflow area.

主要表現８１０はそれぞれ、所定の３つの表現サイズ（小、中、及び大）のうちの１つで表示される。主要表現８１０Ａは小サイズで表示され、主要表現８１０Ｂは大サイズで表示され、主要表現８１０Ｃ及び主要表現８１０Ｄは中サイズで表示される。図８Ｃでは、主要表現８１０はそれぞれ、少なくとも１つの他の主要表現と重なる。オーバーフロー表現８２２は全て、主要表現８１０に関連する小さな表現サイズよりも小さな同じサイズで表示される。図示の実施形態では、上述したそれぞれの閾値サイズは、オーバーフロー表現８２２のサイズよりも大きく、主要表現８１０の小さな表現サイズよりも小さい。ユーザ表現８０６は、オーバーフロー表現８２２と同じサイズであり、オーバーフロー領域８２０と並べられたり、同領域内に表示されたりする。 Each primary representation 810 is displayed in one of three predetermined representation sizes (small, medium, and large). Primary representation 810A is displayed in a small size, primary representation 810B is displayed in a large size, and primary representations 810C and 810D are displayed in a medium size. In FIG. 8C , each primary representation 810 overlaps at least one other primary representation. All overflow representations 822 are displayed in the same size, which is smaller than the small representation size associated with primary representation 810. In the illustrated embodiment, each of the aforementioned threshold sizes is larger than the size of overflow representation 822 and smaller than the small representation size of primary representation 810. User representation 806 is the same size as overflow representation 822 and is aligned with or displayed within overflow region 820.

図８Ｃに示すように、ライブ通信セッションユーザインターフェース８０４は、３つの全体オーバーフロー表現と、１つの部分オーバーフロー表現とを一度に表示する。残りのオーバーフロー表現は隠されており、（例えば、ユーザ入力、又は話したり若しくは動いたりすることによって参加者が能動的に参加するなどの検出イベントのいずれかに応じて）オーバーフロー領域８２０をスクロールすることによって表示することができる。図８Ｃでは、オーバーフロー表現８２０Ｄは、より多くのオーバーフロー表現が存在すること、及び／又はオーバーフロー領域８２０をスクロールできることを示すように部分的に網掛けされている。一部の実施形態では、オーバーフロー領域８２０内のオーバーフロー表現８２２の順序は、参加者がライブ通信セッションに参加する順序に依存する。一部の実施形態では、オーバーフロー領域８２０内のオーバーフロー表現８２２の順序は、時間とともに（例えば、ライブ通信セッションに対して参加者が参加したり退出したりするときに、又は、詳細については後述するように、例えば、オーバーフロー表現のユーザの選択若しくはオーバーフロー領域に表される参加者による能動的な参加によって、キャンバス領域８１１に参加者が出入りするときに、）変化する。一部の実施形態では、オーバーフロー領域８２０内のオーバーフロー表現の順序は固定されている（例えば、オーバーフロー表現が表示される順序は、時間と共に変化しない）。一部の実施形態では、オーバーフロー表現の順序は、グループに関連するリストの順序（例えば、グループが作成されたときに、参加者がグループに追加された順序）に基づく。一部の実施形態では、主要表現８１０の表示（例えば、ライブビデオフィード）は、オーバーフロー表現８２２の表示よりも高いレートで更新される。 As shown in FIG. 8C , the live communication session user interface 804 displays three full overflow representations and one partial overflow representation at a time. The remaining overflow representations are hidden and can be displayed by scrolling the overflow region 820 (e.g., in response to either user input or a detected event, such as a participant actively joining by speaking or moving). In FIG. 8C , the overflow representation 820D is partially shaded to indicate that more overflow representations exist and/or that the overflow region 820 can be scrolled. In some embodiments, the order of the overflow representations 822 in the overflow region 820 depends on the order in which participants join the live communication session. In some embodiments, the order of the overflow representations 822 in the overflow region 820 changes over time (e.g., as participants join or leave the live communication session, or as participants enter and leave the canvas region 811, e.g., due to user selection of an overflow representation or active participation by a participant represented in the overflow region, as described in more detail below). In some embodiments, the order of the overflow representations in the overflow area 820 is fixed (e.g., the order in which the overflow representations are displayed does not change over time). In some embodiments, the order of the overflow representations is based on the order of the list associated with the group (e.g., the order in which participants were added to the group when the group was created). In some embodiments, the display of the main representation 810 (e.g., a live video feed) is updated at a higher rate than the display of the overflow representation 822.

図８Ｃは、ライブ通信セッションを開始した直後、及び（デバイス６００に関連する参加者以外の）参加者のいずれかがライブ通信セッションに参加する前の、ライブ通信セッションインターフェース８０４を示す。図８Ｃに示すように、主要表現８１０及びオーバーフロー表現８２２は、ライブ通信セッションに接続されていない参加者用のプレースホルダを含む。図８Ｃに示すように、プレースホルダは、参加者の名前（例えば、名前、又は名前と名字とのイニシャル）の表示及び色付きオブジェクトを伴う表現を含む。一部の実施形態では、色付きオブジェクトそれぞれの色及び／又はパターンは異なるか、所定の色及び／又はパターンのセットから選択される。任意選択的に、プレースホルダは、参加者がライブ通信セッションへの接続を待っていることを示す状態インジケータと、ライブ通信セッションが利用可能であるとのリマインダを対応する参加者に送るためのリマインダアフォーダンス（「発信」）とを含む。一部の実施形態では、リマインダアフォーダンスは、最初はプレースホルダに含まれず、所定時間後に対応する参加者がライブ通信セッションに参加していないとの判定を受けて表示される。 8C illustrates the live communication session interface 804 immediately after starting the live communication session and before any participants (other than the participant associated with device 600) have joined the live communication session. As shown in FIG. 8C, the main representation 810 and the overflow representation 822 include placeholders for participants who are not connected to the live communication session. As shown in FIG. 8C, the placeholders include a representation with a representation of the participant's name (e.g., first name, or first and last initial) and a colored object. In some embodiments, the color and/or pattern of each of the colored objects is different or selected from a set of predetermined colors and/or patterns. Optionally, the placeholders include a status indicator indicating that the participant is waiting to connect to the live communication session and a reminder affordance ("Call Out") for sending a reminder to the corresponding participant that the live communication session is available. In some embodiments, the reminder affordance is not initially included in the placeholder and is displayed after a predetermined time following a determination that the corresponding participant is not participating in the live communication session.

図８Ｃに示すように、デバイス６００は、主要表現８１０Ｃの選択に対応するユーザ入力８５０Ａ（例えば、タップ）を受ける（例えば、検出する）。図８Ｄに示すように、ユーザ入力８５０Ａを受けたことに応じて、デバイス６００は、追加識別情報（例えば、参加者の名前、Ｍａｒｃｅｌ）と、ライブ通信セッションが利用可能であるとのリマインダを対応する参加者に送るためのリマインダアフォーダンス８０８Ａとを含むように、主要表現８１０Ｃを修正する。 As shown in FIG. 8C, device 600 receives (e.g., detects) user input 850A (e.g., a tap) corresponding to selection of primary representation 810C. As shown in FIG. 8D, in response to receiving user input 850A, device 600 modifies primary representation 810C to include additional identifying information (e.g., the participant's name, Marcel) and a reminder affordance 808A for sending a reminder to the corresponding participant that a live communication session is available.

図８Ｄは、主要表現８１０Ｂに対応する参加者がライブ通信セッションに参加することも示している。一部の実施形態では、デバイス６００は、主要表現８２２Ｂに対応する参加者がライブ通信セッションに参加したことを示すデータを受信する。図８Ｄに示すように、主要表現８２２Ｂに対応する参加者がライブ通信セッションに参加したことに応じて、デバイス６００は、主要表現８２２Ｂのプレースホルダを、対応する参加者からのライブビデオデータに置き換える。一部の実施形態（例えば、図８ＡＸ）では、デバイス６００は、参加者に対応するオーバーフロー表現８２２Ｂを参加者からのライブビデオデータに置き換える。本明細書で使用する場合、「参加者からのライブビデオデータ」（又はその等価物）との文言は、参加者に関連するデバイス（例えば、スマートフォン、ラップトップコンピュータ、デスクトップコンピュータ若しくはタブレットコンピュータ）又は参加者に関連するアカウント（例えば、電子メールアカウント若しくはクラウドストレージアカウント）に関連するデバイスによって送信されるライブビデオデータを含む。 FIG. 8D also illustrates that the participant corresponding to primary representation 810B joins the live communication session. In some embodiments, device 600 receives data indicating that the participant corresponding to primary representation 822B has joined the live communication session. As shown in FIG. 8D, in response to the participant corresponding to primary representation 822B joining the live communication session, device 600 replaces a placeholder in primary representation 822B with live video data from the corresponding participant. In some embodiments (e.g., FIG. 8AX), device 600 replaces overflow representation 822B corresponding to the participant with live video data from the participant. As used herein, the phrase "live video data from a participant" (or its equivalent) includes live video data transmitted by a device associated with the participant (e.g., a smartphone, laptop computer, desktop computer, or tablet computer) or a device associated with an account (e.g., an email account or a cloud storage account) associated with the participant.

図８Ｄに示すように、デバイス６００は、リマインダアフォーダンス８０８の選択に対応するユーザ入力８５０Ｂ（例えば、タップ）を受ける（例えば、検出する）。入力８５０Ｂに応じて、デバイス６００は、ライブ通信セッションが利用可能であることを示す新規の通知（例えば、通話、着信音など）を対応する参加者に関連するデバイスにて生じさせる命令を送り、ここで、新規の通知は、参加者に送られた従前の通知とは異なる。一部の実施形態では、新規の通知は、従前の通知よりも干渉的である（例えば、オーディオ又は触覚出力を伴わないバナー通知に比べて、オーディオ発信、触覚出力、又は全画面通知などである）。図８Ｄでは、デバイス６００はまた、（例えば、主要表現８１０Ｂによって表される参加者など、ライブ通信セッションに現在接続されている別の参加者から送られるリマインダ、又はデバイス６００のユーザによって従前に送られたリマインダなどによって、）ライブ通信セッションが利用可能であることを、主要表現８１０Ｄに対応する参加者が現在リマインドされていることを示すように、主要表現８１０Ｄ上にリマインダアフォーダンス８０８Ｂをも表示する。デバイス６００はまた、（例えば、図８Ｅに示すように、「発信」を「発信中」に置き換えることによって、）対応する参加者が通知されていることを示すように、リマインダアフォーダンス８０８Ａを修正する。 8D, device 600 receives (e.g., detects) user input 850B (e.g., a tap) corresponding to selection of reminder affordance 808. In response to input 850B, device 600 sends instructions to cause a new notification (e.g., a phone call, a ringtone, etc.) to occur at a device associated with the corresponding participant indicating that a live communication session is available, where the new notification is different from any previous notification sent to the participant. In some embodiments, the new notification is more intrusive than the previous notification (e.g., an audio call, a haptic output, or a full-screen notification, etc., compared to a banner notification without audio or haptic output). In FIG. 8D, device 600 also displays reminder affordance 808B on primary representation 810D to indicate that the participant corresponding to primary representation 810D is currently reminded that a live communication session is available (e.g., by a reminder sent by another participant currently connected to the live communication session, such as the participant represented by primary representation 810B, or by a reminder previously sent by the user of device 600). Device 600 also modifies reminder affordance 808A to indicate that the corresponding participant has been notified (e.g., by replacing "Calling" with "Calling," as shown in FIG. 8E).

図８Ｅに示すように、ライブ通信セッションが開始してから所定時間が経過したとの判定を受けて、デバイス６００は、オーバーフロー表現８２２の表示を中止し、ユーザ表現８０６のサイズを大きくする。一部の実施形態では、主要表現８１０は、オーバーフロー表現８２２が削除されると、サイズ変更及び／又は移動される。図示の実施形態では、主要表現８１０Ｄは下に移動される。一部の実施形態では、デバイス６００は、ライブ通信セッションに現在参加している参加者の数が、参加者の閾数（例えば、デバイス６００のユーザを含めて５人の参加者）以下であるとの判定を受けて、オーバーフロー表現８２２の表示を中止する。 As shown in FIG. 8E, upon determining that a predetermined amount of time has elapsed since the live communication session began, device 600 ceases displaying overflow representation 822 and increases the size of user representation 806. In some embodiments, main representation 810 is resized and/or moved when overflow representation 822 is removed. In the illustrated embodiment, main representation 810D is moved down. In some embodiments, device 600 ceases displaying overflow representation 822 upon determining that the number of participants currently participating in the live communication session is less than or equal to a threshold number of participants (e.g., five participants including the user of device 600).

図８Ｅに対応する時点で、ライブ通信セッションに２人の参加者が参加している。一部の実施形態では、更なる時間の後に、デバイス６００は、主要表現８１０の１つの表示を中止し、ライブ通信ユーザインターフェース８０４のレイアウトを３対１のレイアウトに変更する。一部の実施形態では、４対１のレイアウト及び３対１のレイアウトは、主要表現８１０の相対的な配置が類似する所定レイアウトのセットに含まれる。一部の実施形態では、主要表現の相対的に類似する配置を有することにより、セット内のレイアウト間で移行があるときに、ユーザディスプレイ６０２上の類似の位置に主要表現が留まる配置が含まれる（例えば、１つのレイアウト中の表現の位置が、同じセットの別のレイアウト中の表現の位置と重なる）。 At a time corresponding to FIG. 8E, two participants have joined the live communication session. In some embodiments, after a further time, the device 600 ceases displaying one of the primary representations 810 and changes the layout of the live communication user interface 804 to a 3:1 layout. In some embodiments, the 4:1 layout and the 3:1 layout are included in a set of predetermined layouts that have similar relative placements of the primary representations 810. In some embodiments, having relatively similar placements of the primary representations includes layouts in which the primary representations remain in similar positions on the user display 602 when there is a transition between layouts in the set (e.g., the position of a representation in one layout overlaps the position of a representation in another layout of the same set).

一部の実施形態では、デバイス６００は、対応する参加者がライブ通信セッションに参加しているか（例えば、対応する参加者が参加している場合には、表現が削除されない）、参加者がリマインドされているか（例えば、リマインドされている参加者の表現は、対応するリマインダアフォーダンスを選択した後の所定時間の間は削除されない）、参加者リスト中の参加者の配置（例えば、リスト内の前の参加者の表現は、リスト内の後の参加者の表現よりも先に削除される）、及びライブ通信ユーザインターフェース８０４上の表現の配置（例えば、ディスプレイ６０２の上部により近い表現が、ディスプレイ６０２上のより下方の表現よりも先に削除される）に基づいて、どの主要表現を削除するかを判定する。図８Ｆに示すように、デバイス６００は、主要表現８１０Ａの表示を中止し、（例えば、表現８１０Ｂと表現８１０Ｃとの重なりを小さくするように）主要表現８１０Ｂを上に移動させる一方、残りの表現の相対的な上下順序を維持する（例えば、表現８１０Ｂは、表現８１０Ｃよりも大きく、表現８１０Ｃの上方にあり、表現８１０Ｃは、表現８１０Ｄの上方にあり、表現８１０Ｄと同じサイズである）。図８Ｆはまた、リマインダアフォーダンス８０８Ａが「再発信」に修正されることも示し、同アフォーダンスは、対応する参加者が、少なくとも１度リマインドされ、現在はリマインドされていないことを示す。リマインダアフォーダンス８０８Ｂもまた、対応する参加者が、デバイス６００のユーザによってではないが、従前にリマインドされたことを示すように、（例えば、「発信中」から「発信」に、及び異なる色に）修正される。 In some embodiments, the device 600 determines which primary representation to remove based on whether the corresponding participant is participating in the live communication session (e.g., the representation is not removed if the corresponding participant is participating), whether the participant is being reminded (e.g., the representation of a reminded participant is not removed for a predetermined time after selecting the corresponding reminder affordance), the placement of the participant in the participant list (e.g., representations of participants earlier in the list are removed before representations of participants later in the list), and the placement of the representations on the live communication user interface 804 (e.g., representations closer to the top of the display 602 are removed before representations lower on the display 602). As shown in FIG. 8F , device 600 ceases displaying primary representation 810A and moves primary representation 810B up (e.g., to reduce the overlap between representation 810B and representation 810C) while maintaining the relative vertical order of the remaining representations (e.g., representation 810B is larger than and above representation 810C, which is above and the same size as representation 810D). FIG. 8F also shows reminder affordance 808A being modified to "Resend," indicating that the corresponding participant has been reminded at least once and is not currently being reminded. Reminder affordance 808B is also modified (e.g., from "Calling" to "Calling," and a different color) to indicate that the corresponding participant has been previously reminded, but not by the user of device 600.

図８Ｆに対応する時点で、ライブ通信セッションには、依然として２人の参加者のみが参加している。一部の実施形態では、更なる時間の後に、デバイス６００は、別の主要表現８１０の表示を中止し、ライブ通信ユーザインターフェース８０４のレイアウトを（例えば、図８Ｅ～図８Ｆに示す、４対１及び３対１のレイアウトと同じ所定レイアウトのセットにおける）２対１のレイアウトに変更する。図８Ｇに示すように、デバイス６００は、主要表現８１０Ｄの表示を中止し、主要表現８１０Ｂ及び８１０Ｃを拡大する。図８Ｇは、デバイス６００のユーザ以外の２人の参加者の主要表現が等しいサイズで上下に並んでいる、３人の参加者（例えば、２対１）のレイアウトを示す。主要表現８１０Ｂ及び８１０Ｃの上下順序は、主要表現８１０Ｂが主要表現８１０Ｃの上方にある状態で維持される。図８Ｆのレイアウトでは、主要表現間の重なり合いはなく、ユーザ表現８０６は主要表現８１０Ｃに重なっている。 At the time corresponding to FIG. 8F, only two participants remain in the live communication session. In some embodiments, after a further time, the device 600 ceases displaying the alternative primary representation 810 and changes the layout of the live communication user interface 804 to a 2:1 layout (e.g., in the same set of predetermined layouts as the 4:1 and 3:1 layouts shown in FIGS. 8E-8F). As shown in FIG. 8G, the device 600 ceases displaying primary representation 810D and enlarges primary representations 810B and 810C. FIG. 8G illustrates a three-participant (e.g., 2:1) layout in which the primary representations of two participants other than the user of the device 600 are equally sized and arranged one above the other. The vertical order of primary representations 810B and 810C is maintained, with primary representation 810B above primary representation 810C. In the layout of FIG. 8F, there is no overlap between the primary representations, and the user representation 806 overlaps primary representation 810C.

図８Ｇに対応する時点で、ライブ通信セッションには、依然として２人の参加者のみが参加している。一部の実施形態では、更なる時間の後に、デバイス６００は、別の主要表現の表示を中止し、ライブ通信ユーザインターフェース８０４のレイアウトを１対１のレイアウトに変更する。図８Ｈに示すように、デバイス６００は、主要表現８１０Ｃの表示を中止し、主要表現８１０Ｂを全画面サイズに拡大する。一部の実施形態では、デバイス６００は、リマインダアフォーダンス８０８Ａの選択後の所定時間で図８Ｇのレイアウトから図８Ｈのレイアウトに変更する。図８Ｈは、残りの主要表現８１０Ｂが全画面で表示され、ユーザ表現８０６が重なっている、２人の参加者の（例えば、１対１の）レイアウトである。図８Ｈに示すように、残りの主要表現８１０Ｂ及びユーザ表現８０６は、図８Ｅ～図８Ｇにそれぞれ示す４対１、３対１、２対１のレイアウトにおける正方形状の主要表現８１０及びユーザ表現８０６と比べて、（例えば、プロフィールの向きの）縦長の矩形である。 At the time corresponding to FIG. 8G, only two participants remain in the live communication session. In some embodiments, after a further time, the device 600 stops displaying the other primary representation and changes the layout of the live communication user interface 804 to a one-to-one layout. As shown in FIG. 8H, the device 600 stops displaying primary representation 810C and expands primary representation 810B to full screen size. In some embodiments, the device 600 changes from the layout of FIG. 8G to the layout of FIG. 8H a predetermined time after selection of the reminder affordance 808A. FIG. 8H is a two-participant (e.g., one-to-one) layout in which the remaining primary representation 810B is displayed full screen and is overlaid by the user representation 806. As shown in Figure 8H, the remaining primary representation 810B and user representation 806 are vertically rectangular (e.g., in profile orientation) compared to the square-shaped primary representation 810 and user representation 806 in the 4:1, 3:1, and 2:1 layouts shown in Figures 8E-8G, respectively.

図８Ｉに目を向けると、第３の参加者Ｓｔｅｐｈｅｎがライブ通信セッションに参加している。図８Ｉに示すように、参加者Ｓｔｅｐｈｅｎがライブ通信セッションに参加したことに応じて、デバイス６００は、図８Ｈの１対１のレイアウトの表示から、直近で参加した参加者の主要表現８１０Ｅが（デバイス６００のユーザ以外の）既存の参加者の表現８１０Ｂの参加者の上方にある２対１のレイアウトに移行する。一部の実施形態では、デバイス６００は、図８Ｉに示すように、参加者がライブ通信セッションに参加したことを示す通知８１２を表示する、及び／又はオーディオ若しくは触覚出力を生成する。一部の実施形態では、参加者Ｓｔｅｐｈｅｎがライブ通信セッションに参加したときに新規の主要表現が表示されるので、デバイス６００は、参加者がライブ通信セッションに参加したことを示す表示の役割を主要表現８１０Ｅが果たすために、通知８１２の表示又はオーディオ若しくは触覚出力の生成を控える。 Turning to FIG. 8I, a third participant, Stephen, joins the live communication session. As shown in FIG. 8I, in response to participant Stephen joining the live communication session, device 600 transitions from the display of the one-to-one layout of FIG. 8H to a two-to-one layout in which a primary representation 810E of the most recently joined participant is above participants in representations 810B of existing participants (other than the user of device 600). In some embodiments, device 600 displays a notification 812 and/or generates an audio or haptic output indicating that the participant has joined the live communication session, as shown in FIG. 8I. In some embodiments, because a new primary representation is displayed when participant Stephen joins the live communication session, device 600 refrains from displaying notification 812 or generating an audio or haptic output so that primary representation 810E serves as an indication that a participant has joined the live communication session.

参加者Ｓｔｅｐｈｅｎは、オーディオ専用モードでライブ通信セッションに参加し、ビデオなしのライブオーディオデータを提供する。参加者Ｓｔｅｐｈｅｎのオーディオ専用通信状態は、主要表現８１０Ｅ及び通知８１２によって示される。主要表現８１０Ｅは、参加者の名前及び参加者に関連するアバターの表示によって、オーディオ専用通信状態を示す。通知８１２は、テキスト（「この通話にオーディオで参加した」）で通信状態を示す。図８Ｊに示すように、デバイス６００は、（例えば、参加者Ｓｔｅｐｈｅｎがライブ通信セッションに参加してから所定時間後に）通知８１２の表示を中止する。 Participant Stephen joins the live communication session in audio-only mode, providing live audio data without video. Participant Stephen's audio-only communication status is indicated by main representation 810E and notification 812. Main representation 810E indicates the audio-only communication status by displaying the participant's name and an avatar associated with the participant. Notification 812 indicates the communication status with text ("Joined this call with audio"). As shown in FIG. 8J, device 600 ceases displaying notification 812 (e.g., a predetermined time after participant Stephen joins the live communication session).

一部の実施形態では、オーディオのみで参加した参加者が能動的に参加している（例えば、発話している）ことを示すデータの受信に応じて、デバイス６００は、発話している参加者の表現に視覚的表示を表示する。図８Ｊでは、参加者Ｓｔｅｐｈｅｎが発話していることを示すように、主要表現８１０Ｅ内の代表画像（例えば、アバター）が（例えば「ボイスサークル」で）アニメーション表示される。 In some embodiments, in response to receiving data indicating that an audio-only participant is actively participating (e.g., speaking), device 600 displays a visual indication on the representation of the speaking participant. In FIG. 8J, a representative image (e.g., an avatar) in primary representation 810E is animated (e.g., in a "voice circle") to indicate that participant Stephen is speaking.

図８Ｋに目を向けると、第４の参加者Ｍａｒｃｅｌがライブ通信セッションに参加している。図８Ｋに示すように、第４の参加者がライブ通信セッションに参加したことに応じて、デバイス６００は、２対１のレイアウトの表示から、直近で参加した参加者の主要表現８１０Ｆが（デバイス６００のユーザ以外の）既存の参加者の主要表現８１０Ｂ及び８１０Ｅの上方にある、（例えば、図８Ｆに示すような）３対１のレイアウトに移行する。 Turning to FIG. 8K, a fourth participant, Marcel, joins the live communication session. As shown in FIG. 8K, in response to the fourth participant joining the live communication session, the device 600 transitions from displaying a 2:1 layout to a 3:1 layout (e.g., as shown in FIG. 8F) in which the primary representation 810F of the most recently joined participant is above the primary representations 810B and 810E of existing participants (other than the user of the device 600).

参加者Ｍａｒｃｅｌは、ビデオモードでライブ通信セッションに参加し、ライブビデオ及びオーディオデータを提供する。参加者Ｍａｒｃｅｌのビデオ通信状態は、主要表現８１０Ｆによって示される。主要表現８１０Ｆは、ライブビデオストリームの表示によってビデオ通信状態を示す。図８Ｋに示すように、デバイス６００は、参加者Ｍａｒｃｅｌがライブ通信セッションに参加したことを示す通知を直ちに表示しない。 Participant Marcel joins the live communication session in video mode and provides live video and audio data. Participant Marcel's video communication status is indicated by main representation 810F. Main representation 810F indicates the video communication status by displaying a live video stream. As shown in FIG. 8K, device 600 does not immediately display a notification that participant Marcel has joined the live communication session.

図８Ｌに目を向けると、第５の参加者Ｈｏａｎがライブ通信セッションに参加している。図８Ｌに示すように、参加者Ｈｏａｎがライブ通信セッションに参加したことに応じて、デバイス６００は、３対１のレイアウトから、直近で参加した参加者の主要表現８１０Ｇが、最小の主要表現であって主要表現８１０Ｆの上方及び右に配置される、４対１のレイアウトに移行する。一部の実施形態では、参加者Ｍａｒｃｅｌ及びＨｏａｎの両方が、所定猶予時間内にライブ通信セッションに参加したとの判定を受けて、デバイス６００は、図８Ｌに示すように、参加者Ｍａｒｃｅｌ及びＨｏａｎがライブ通信セッションに参加したことを示す組み合わせ通知８１６を表示する。一部の実施形態では、組み合わせ通知８１６は、参加者が同じ通信状態（例えば、ビデオ）で参加したとの判定を受けて表示される。 Turning to FIG. 8L, a fifth participant, Hoan, joins the live communication session. As shown in FIG. 8L, in response to participant Hoan joining the live communication session, device 600 transitions from a 3:1 layout to a 4:1 layout in which the primary representation 810G of the most recently joined participant is the smallest primary representation and is positioned above and to the right of primary representation 810F. In some embodiments, upon determining that participants Marcel and Hoan have both joined the live communication session within a predetermined grace period, device 600 displays a combined notification 816 indicating that participants Marcel and Hoan have joined the live communication session, as shown in FIG. 8L. In some embodiments, combined notification 816 is displayed upon determining that the participants joined with the same communication status (e.g., video).

主要表現８１０Ｇに表示されるライブビデオストリーム及び通知８１６におけるビデオカメラの表現８１６Ａによって示すように、参加者Ｈｏａｎは、参加者Ｈｏａｎに関連するライブビデオ及びオーディオデータをデバイス６００が受信するように、ビデオモードでライブ通信セッションに参加する。 As indicated by the live video stream displayed in main representation 810G and the video camera representation 816A in notification 816, participant Hoan participates in the live communication session in video mode such that device 600 receives live video and audio data associated with participant Hoan.

図８Ｌに示すように、デバイス６００は、ディスプレイ６０２上の主要表現８１０Ｆの位置でユーザ入力８５０Ｃ（例えば、ダブルタップ）を受ける（例えば、検出する）。一部の実施形態では、図８Ｍに示すように、ユーザ入力８５０Ｃを受けたことに応じて、デバイス６００は、（４対１のレイアウトを維持しながら、）主要表現８１０Ｆを最大の表現サイズに拡大し、主要表現８１０Ｅを中サイズに縮小する。図８Ｍに示すように、デバイス６００は、（例えば、参加者Ｈｏａｎがライブ通信セッションに参加してから所定時間後に）通知８１６の表示を中止する。 As shown in FIG. 8L, device 600 receives (e.g., detects) user input 850C (e.g., a double tap) at the location of primary representation 810F on display 602. In some embodiments, as shown in FIG. 8M, in response to receiving user input 850C, device 600 expands primary representation 810F to its largest representation size and reduces primary representation 810E to a medium size (while maintaining the 4:1 layout). As shown in FIG. 8M, device 600 ceases displaying notification 816 (e.g., a predetermined time after participant Hoan joins the live communication session).

一部の実施形態では、レイアウトの構成は、参加者がライブ通信セッションに能動的に参加していることを示すデータの受信に応じて動的に変更される。図８Ｍでは、デバイス６００は、主要表現８１０Ｇに対応する参加者Ｈｏａｎが能動的に参加していることを示すデータを受信する。図８Ｍに示すように、主要表現８１０Ｇに対応する参加者Ｈｏａｎが能動的に参加していることを示すデータの受信に応じて、デバイス６００は、主要表現８１０Ｇを小さな表現サイズから中位の表現サイズに拡大し、主要表現８１０Ｂを中位の表現サイズから小の表現サイズに縮小する。このようにして、４対１のレイアウトは、１つの小サイズの表現、２つの中サイズの表現、及び１つの大サイズの表現を維持する。 In some embodiments, the configuration of the layout is dynamically changed in response to receiving data indicating that participants are actively participating in the live communication session. In FIG. 8M, device 600 receives data indicating that participant Hoan, corresponding to primary representation 810G, is actively participating. As shown in FIG. 8M, in response to receiving data indicating that participant Hoan, corresponding to primary representation 810G, is actively participating, device 600 enlarges primary representation 810G from a small representation size to a medium representation size and reduces primary representation 810B from a medium representation size to a small representation size. In this manner, the 4:1 layout maintains one small representation, two medium representations, and one large representation.

図８Ｍに示すように、デバイス６００は、ディスプレイ６０２上の主要表現８１０Ｇの位置でユーザ入力８５０Ｄ（例えば、ダブルタップ）を受ける（例えば、検出する）。一部の実施形態では、図８Ｎに示すように、ユーザ入力８５０Ｄを受けたことに応じて、デバイス６００は、主要表現８１０Ｇを拡大し、表示される他の主要表現の前方の最前面に主要表現８１０Ｇを押し出す。拡大された主要表現８１０Ｇの後方の背景は、ユーザ表現８０６を除いてグレーアウト表示される。 As shown in FIG. 8M, device 600 receives (e.g., detects) user input 850D (e.g., a double tap) at the location of primary representation 810G on display 602. In some embodiments, as shown in FIG. 8N, in response to receiving user input 850D, device 600 enlarges primary representation 810G, pushing primary representation 810G in front of other displayed primary representations. The background behind enlarged primary representation 810G is grayed out, except for user representation 806.

図８Ｏに示すように、デバイス６００は、キャンセルアフォーダンス８１８上のユーザ入力８５０Ｅ（例えば、タップ）を受ける（例えば、検出する）。図８Ｐに示すように、ユーザ入力８５０Ｅを受けたことに応じて、デバイス６００は、主要表現８１０Ｇのサイズを小さくし、中の表現サイズに縮小された主要表現８０１Ｆの代わりに主要表現８１０Ｇが大サイズの主要表現を占める点を除いて、ユーザ入力８５０Ｄに先立って表示された４対１のレイアウトに表示を戻す。 As shown in FIG. 8O, device 600 receives (e.g., detects) user input 850E (e.g., a tap) on cancel affordance 818. As shown in FIG. 8P, in response to receiving user input 850E, device 600 reduces the size of primary representation 810G and returns the display to the 4:1 layout displayed prior to user input 850D, except that primary representation 810G occupies the large primary representation instead of primary representation 801F, which has been reduced to a medium representation size.

図８Ｑに目を向けると、第６の参加者がライブ通信セッションに参加する。図８Ｑに示すように、第６の参加者がライブ通信セッションに参加したことに応じて、かつ接続している参加者の数が所定の閾値である５人の参加者を超えたことを受けて、デバイス６００は、第６の参加者のオーバーフロー表現８２２Ａをオーバーフロー領域８２０に表示し、ユーザ表現８０６を、オーバーフロー表現８２２Ａがユーザ表現８０６の左となるようにオーバーフロー領域８２０に移動させる。図８Ｑに示すように、オーバーフロー表現８２２Ａ及びユーザ表現８０６は、オーバーフロー領域８２０の中央に並べられる。一部の実施形態では、デバイス６００は、最小の主要表現（例えば、８１０Ｂ）を、新規に参加した参加者（例えば、第６の参加者）の表現に置き換え、置き換えられた参加者のオーバーフロー表現をオーバーフロー領域８２０に表示する（例えば、表現８１０Ｂは、サイズが縮小され、オーバーフロー領域８２０内のオーバーフロー表現８２２Ａの位置に移動される）。一部の実施形態では、第６の参加者がライブ通信セッションに参加したことに応じて、かつ接続している参加者の数が所定の閾値である５人の参加者を超えたことを受けて、デバイス６００は、例えば図８ＡＹに示すように、現在参加している参加者又は参加者全て（現在参加している参加者及び招待されている参加者）のオーバーフロー表現をオーバーフロー領域に表示する。 Turning to FIG. 8Q, a sixth participant joins the live communication session. As shown in FIG. 8Q, in response to the sixth participant joining the live communication session and in response to the number of connected participants exceeding the predetermined threshold of five participants, device 600 displays an overflow representation 822A of the sixth participant in overflow area 820 and moves user representation 806 into overflow area 820 so that overflow representation 822A is to the left of user representation 806. As shown in FIG. 8Q, overflow representation 822A and user representation 806 are aligned in the center of overflow area 820. In some embodiments, device 600 replaces the smallest primary representation (e.g., 810B) with the representation of the newly joined participant (e.g., the sixth participant) and displays the replaced participant's overflow representation in overflow area 820 (e.g., representation 810B is reduced in size and moved to the position of overflow representation 822A in overflow area 820). In some embodiments, in response to a sixth participant joining the live communication session, and in response to the number of connected participants exceeding a predetermined threshold of five participants, the device 600 displays an overflow representation of the currently joined participants or all participants (currently joined participants and invited participants) in the overflow area, as shown, for example, in FIG. 8AY.

図８Ｑに示すように、オーバーフロー領域８２０及び主要表現８１０は重なり合わない。一部の実施形態では、オーバーフロー領域のための空間を作るために、デバイス６００は、主要表現の１つ以上のサイズを小さくする、及び／又は上下に平行移動させる。一部の実施形態では、デバイス６００は、中サイズの主要表現のサイズを小さくし、小及び大サイズの主要表現のサイズを維持する。一部の実施形態では、デバイス６００は、主要表現間の上下のへだたりを小さくする、及び／又は上下の重なりを大きくする。 As shown in FIG. 8Q, overflow region 820 and primary representation 810 do not overlap. In some embodiments, to make room for the overflow region, device 600 reduces the size and/or translates vertically one or more of the primary representations. In some embodiments, device 600 reduces the size of the medium-sized primary representation and maintains the size of the small and large primary representations. In some embodiments, device 600 reduces the vertical gap between the primary representations and/or increases the vertical overlap.

図８Ｒに目を向けると、第７の参加者がライブ通信セッションに参加している。第７の参加者がライブ通信セッションに参加したことに応じて、デバイス６００は、第７の参加者のオーバーフロー表現８２２Ｂをオーバーフロー領域８２０内のオーバーフロー表現８２２Ａの左に追加する。図８Ｒに示すように、オーバーフロー表現８２２Ａ及びユーザ表現８０６は、オーバーフロー表現８２２Ａ及び８２２Ｂ並びにユーザ表現８０６がオーバーフロー領域８２０の中央に並べられるように、（図８Ｑと比べて）右に移動される。一部の実施形態では、第７の参加者のオーバーフロー表現８２２Ｂは、オーバーフロー表現８２２Ａの右側の、オーバーフロー表現８２２Ａとユーザ表現８０６との間に追加される。図８ＡＺに示す実施形態では、第７の参加者がライブ通信セッションに参加したことに応じて、デバイス６００は、最小の主要表現（例えば、図８ＡＹの８１０Ｈ）を主要表現８１０Ｉに置き換え、参加者Ｐａｂｌｏに対応するオーバーフロー表現８２２Ｆをプレースホルダからライブビデオストリームに変更する。 Turning to FIG. 8R, a seventh participant joins the live communication session. In response to the seventh participant joining the live communication session, device 600 adds overflow representation 822B of the seventh participant to the left of overflow representation 822A in overflow area 820. As shown in FIG. 8R, overflow representation 822A and user representation 806 are moved to the right (relative to FIG. 8Q) so that overflow representations 822A and 822B and user representation 806 are aligned in the center of overflow area 820. In some embodiments, overflow representation 822B of the seventh participant is added to the right of overflow representation 822A, between overflow representation 822A and user representation 806. In the embodiment shown in FIG. 8AZ, in response to a seventh participant joining the live communication session, device 600 replaces the smallest primary representation (e.g., 810H in FIG. 8AY) with primary representation 810I and changes overflow representation 822F corresponding to participant Pablo from a placeholder to a live video stream.

図８Ｓに示すように、第８の参加者がライブ通信セッションに参加している。第８の参加者がライブ通信セッションに参加したことに応じて、デバイス６００は、第８の参加者のオーバーフロー表現８２２Ｃをオーバーフロー領域８２０内のオーバーフロー表現８２２Ｂの左に追加する。図８Ｓに示すように、オーバーフロー表現８２２Ａ及び８２２Ｂ並びにユーザ表現８０６は、オーバーフロー表現８２２Ａ、８２２Ｂ及び８２２Ｃ並びにユーザ表現８０６がオーバーフロー領域８２０の中央に並べられるように、（図８Ｑと比べて）右に移動される。 As shown in FIG. 8S, an eighth participant joins the live communication session. In response to the eighth participant joining the live communication session, device 600 adds overflow representation 822C of the eighth participant to the left of overflow representation 822B in overflow area 820. As shown in FIG. 8S, overflow representations 822A and 822B and user representation 806 are shifted to the right (relative to FIG. 8Q) such that overflow representations 822A, 822B, and 822C and user representation 806 are aligned with the center of overflow area 820.

図８Ｔに目を向けると、第９の参加者がライブ通信セッションに参加している。第９の参加者がライブ通信セッションに参加したことに応じて、デバイス６００は、第９の参加者のオーバーフロー表現８２２Ｄをオーバーフロー領域８２０内のオーバーフロー表現８２２Ｃの左に追加する。図８Ｔに示すように、オーバーフロー表現８２２Ｄ、８２２Ｃ、及び８２２Ｂ並びにユーザ表現８０６は、完全に表示される。オーバーフロー表現８２２Ａは、部分的に表示され、右側部分にユーザ表現８０６が重なる。オーバーフロー表現８２２Ａは、オーバーフロー表現８２２Ａがユーザ表現８０６に出会う位置で（例えば、陰影効果によって）網掛けされる。図示の実施形態では、オーバーフロー表現８２２及びユーザ表現８０６のサイズは、第７、第８、及び第９の参加者がライブ通信セッションに参加したときと同じままである。図８Ｔは、（オーバーフロー表現８２２Ａ、８２２Ｂ、８２２Ｃ及び８２２Ｄによってそれぞれ表される）参加者Ｍａｒｙ、Ｍｉｃｋ、Ｊｏｈｎ、及びＴｏｍがライブ通信に参加したことを示す組み合わせ通知８２４をデバイス６００が表示することを示す。一部の実施形態では、（例えば、第９の参加者を超える）追加の参加者がライブ通信セッションに参加するときに、既存のオーバーフロー表現がオーバーフロー領域８２０内で右にシフトして新規のオーバーフロー表現のための空間を作り、ユーザ表現８０６はオーバーフロー領域８２０の右側に完全に表示されたままで、新規に参加した参加者のオーバーフロー表現が既存のオーバーフロー表現の左端に追加される（例えば、既存のオーバーフロー表現は、右に、ユーザ表現８０６の「下」へとスクロールされる）。一部の実施形態では、新規に参加した参加者のオーバーフロー表現は、ユーザ表現８０６がオーバーフロー領域８２０の右側に完全に表示されたままで、既存のオーバーフロー表現の右端に追加される。一部の実施形態では、オーバーフロー領域が完全に占められている場合、既存のオーバーフロー表現の右端に追加される新規に参加した参加者の表現は直ちに表示されない（例えば、新規のオーバーフロー表現は、オーバーフロー表現を左にスクロールすることに応じて表示される）。 Turning to FIG. 8T, a ninth participant joins the live communication session. In response to the ninth participant joining the live communication session, device 600 adds overflow representation 822D of the ninth participant to the left of overflow representation 822C in overflow area 820. As shown in FIG. 8T, overflow representations 822D, 822C, and 822B and user representation 806 are fully displayed. Overflow representation 822A is partially displayed, with user representation 806 overlapping its right-hand portion. Overflow representation 822A is shaded (e.g., by a shading effect) where overflow representation 822A meets user representation 806. In the illustrated embodiment, the sizes of overflow representation 822 and user representation 806 remain the same as when the seventh, eighth, and ninth participants joined the live communication session. 8T shows that device 600 displays a combined notification 824 indicating that participants Mary, Mick, John, and Tom (represented by overflow representations 822A, 822B, 822C, and 822D, respectively) have joined the live communication. In some embodiments, as additional participants (e.g., beyond the ninth participant) join the live communication session, the existing overflow representations shift to the right within overflow region 820 to make room for the new overflow representations, with user representation 806 remaining fully displayed on the right side of overflow region 820, and the overflow representation of the newly joined participant being added to the left end of the existing overflow representations (e.g., the existing overflow representations are scrolled to the right, "below" user representation 806). In some embodiments, the overflow representation of the newly joined participant is added to the right end of the existing overflow representations, with user representation 806 remaining fully displayed on the right side of overflow region 820. In some embodiments, if the overflow area is fully occupied, a representation of a newly joined participant that is added to the right edge of an existing overflow representation will not be immediately displayed (e.g., the new overflow representation will be displayed in response to scrolling the overflow representation to the left).

図８Ｕに目を向けると、デバイス６００は、オーバーフロー表現８２２Ｂに対応する参加者がライブ通信セッションに能動的に参加していることを示すデータを受信する。一部の実施形態では、デバイス６００は、能動的に参加している参加者の活動レベルが、主要表現によって表される参加者の活動レベルを超えて上昇したとの判定に応じて、主要表現を能動的に参加している参加者の表現に置き換える。図示の実施形態では、オーバーフロー表現８２２Ｂに対応する参加者がライブ通信セッションに能動的に参加していることを示すデータの受信に応じて、デバイス６００は、最小の主要表現を、能動的に参加している参加者の表現に置き換え、置き換えられた主要表現に対応する参加者のオーバーフロー表現を表示する。図８Ｕに示すように、主要表現８１０Ｂ（最小の主要表現）は網掛けされるかフェードし始め、能動的に参加している参加者のオーバーフロー表現８２２Ｂは網掛けされるかフェードアウトし始めてサイズを縮小され、主要表現８１０Ｂ（置き換えられる主要表現）の参加者に対応する新規のオーバーフロー表現８２２Ｅがディスプレイ６０２の左縁からオーバーフロー表現８２２Ｄの左へとオーバーフロー領域８２０に入るときに、オーバーフロー表現８２２Ｃ及び８２２Ｄは右にシフトされる。一部の実施形態では、主要表現８１０Ｂは、（例えば、置き換えられることを強調するように）僅かに拡大される。図８Ｖ～図８Ｗに示すように、主要表現８１０Ｂは、能動的に参加している参加者の主要表現８１０Ｈに置き換えられ、オーバーフロー表現８２２Ｂは削除されるまで収縮し続け、オーバーフロー表現８２２Ｅが完全に表示され、削除されたオーバーフロー表現８２２Ｂによって従前に占められていたオーバーフロー領域８２０の位置をオーバーフロー表現８２２Ｃが占めるまで、オーバーフロー表現８２２Ｃ及び８２２Ｄは右にシフトし続ける。図８Ｕ～図８Ｗでは、オーバーフロー表現８２２Ａ及びユーザ表現８０６は同じ位置のままである。 8U, device 600 receives data indicating that a participant corresponding to overflow representation 822B is actively participating in the live communication session. In some embodiments, device 600 replaces the primary representation with a representation of the actively participating participant in response to determining that the activity level of the actively participating participant has risen above the activity level of the participant represented by the primary representation. In the illustrated embodiment, in response to receiving data indicating that a participant corresponding to overflow representation 822B is actively participating in the live communication session, device 600 replaces the smallest primary representation with a representation of the actively participating participant and displays an overflow representation of the participant corresponding to the replaced primary representation. 8U, primary representation 810B (the smallest primary representation) becomes shaded or begins to fade, overflow representations 822B of actively participating participants become shaded or begin to fade out and are reduced in size, and overflow representations 822C and 822D are shifted to the right as a new overflow representation 822E corresponding to the participant in primary representation 810B (the replacing primary representation) enters overflow region 820 from the left edge of display 602 to the left of overflow representation 822D. In some embodiments, primary representation 810B is enlarged slightly (e.g., to emphasize that it is being replaced). As shown in Figures 8V-8W, main representation 810B is replaced by the actively participating participant's main representation 810H, overflow representation 822B continues to shrink until it is deleted, and overflow representations 822C and 822D continue to shift to the right until overflow representation 822E is fully displayed and overflow representation 822C occupies the position in overflow region 820 previously occupied by deleted overflow representation 822B. In Figures 8U-8W, overflow representation 822A and user representation 806 remain in the same positions.

一部の実施形態では、デバイス６００のユーザが能動的に参加することに応じて、デバイス６００はユーザ表現８０６を視覚的に区別する。図ＡＺに示す実施形態では、デバイス６００は、ユーザ表現８０６の周囲に太い境界を表示し、ユーザ表現８０６の下でイニシャルバーを強調する。 In some embodiments, device 600 visually distinguishes user representation 806 in response to the active participation of the user of device 600. In the embodiment shown in Figures AZ, device 600 displays a thick border around user representation 806 and highlights an initial bar below user representation 806.

図８Ｘに目を向けると、デバイス６００は、縦置き（垂直）の向きから横置き（水平）の向きに回転される。図８Ｘに示すように、デバイス６００が回転されるのに応じて、デバイス６００は、デバイス６００の回転に先立って占められていたディスプレイ６０２のそれぞれの領域内の表現を維持する（例えば、ユーザ表現並びに各主要表現及びオーバーフロー表現は、デバイス６００の回転の前後でディスプレイ６０２上の同じ領域を占める）。表現内の画像は、参加者が横置きの向きに対して直立となるように回転される。一部の実施形態では、デバイス６００は、主要表現又は主要表現内の画像のアニメーション化された回転（例えば、デバイス６００の回転方向とは反対に９０度）を表示する。オーバーフロー表現が正方形ではない一部の実施形態では、デバイス６００が回転されると、参加者のビデオデータは、それぞれのオーバーフロー表現にユーザの顔を含む（例えば、センタリングする）ようにトリミング及び／又は平行移動される。主要表現が正方形ではない一部の実施形態では、デバイス６００が回転されると、参加者のビデオデータは、それぞれの主要表現にユーザの顔をセンタリングするようにトリミング及び／又は平行移動される。一部の実施形態では、参加者のビデオデータは、（例えば、受信されたビデオデータが、表示される表現とは異なるアスペクト比又は形式を有するときなど、デバイス６００が回転されるか否かにかかわらず）ユーザの顔を含むようにトリミングされる。 8X, device 600 is rotated from a portrait (vertical) orientation to a landscape (horizontal) orientation. As shown in FIG. 8X, as device 600 is rotated, device 600 maintains the representations in their respective areas of display 602 that were occupied prior to device 600 rotation (e.g., the user representation and each of the main and overflow representations occupy the same area on display 602 before and after device 600 rotation). The images in the representations are rotated so that the participant is upright relative to the landscape orientation. In some embodiments, device 600 displays an animated rotation of the main representation or an image in the main representation (e.g., 90 degrees opposite the direction of device 600 rotation). In some embodiments in which the overflow representations are not square, as device 600 is rotated, the participant's video data is cropped and/or translated to include (e.g., center) the user's face in each overflow representation. In some embodiments where the primary representations are not square, when device 600 is rotated, the participants' video data is cropped and/or translated to center the user's face in their respective primary representations. In some embodiments, the participants' video data is cropped to include the user's face (whether or not device 600 is rotated, e.g., when the received video data has a different aspect ratio or format than the displayed representation).

図８Ｘに示すように、主要表現８１０Ｈに対応する参加者は、能動的に参加し始める。これに応じて、デバイス６００は、図８Ｙに示すように、主要表現８１０Ｈを拡大し、主要表現８１０Ｅのサイズを小さくする。図８ＢＡ～図８ＢＢに示す実施形態では、デバイス６００は、アクティブな参加者に対応するオーバーフロー表現８２２Ｆを視覚的に区別する（例えば、強調されたイニシャルバー）。 As shown in FIG. 8X, the participant corresponding to primary representation 810H begins actively participating. In response, device 600 enlarges primary representation 810H and reduces the size of primary representation 810E, as shown in FIG. 8Y. In the embodiment shown in FIGS. 8BA-8BB, device 600 visually distinguishes overflow representation 822F corresponding to the active participant (e.g., a highlighted initial bar).

一部の実施形態では、参加者がライブ通信セッションに参加したことに応じて、デバイス６００は、既存の主要表現を新規に参加した参加者の主要表現に置き換え、置き換えられた参加者をオーバーフロー領域８２０に移動する。図８Ｚに目を向けると、参加者Ｐａｂｌｏがライブ通信セッションに参加している。これに応じて、デバイス６００は、最小の主要表現８１０Ｅ（Ｓｔｅｐｈｅｎ）を、新規に参加した参加者Ｐａｂｌｏの主要表現８１０Ｉに置き換え、オーバーフロー表現８２２Ｆ（Ｓｔｅｐｈｅｎ）をオーバーフロー領域８２０に表示する。オーバーフロー表現８２２Ｆのための場所を作るために、オーバーフロー表現８２２Ａ、８２２Ｃ、８２２Ｄ、及び８２２Ｅは、（例えば、図８Ｚに示すデバイス６００の向きに応じて上方に）スクロールされる。図８Ｚに示すように、オーバーフロー表現８２２Ａは見ることができなくなり、オーバーフロー表現８２２Ｃはユーザ表現８０６によって部分的に隠される。 In some embodiments, in response to a participant joining the live communication session, the device 600 replaces the existing primary representation with the primary representation of the newly joined participant and moves the replaced participant to the overflow area 820. Turning to FIG. 8Z, participant Pablo joins the live communication session. In response, the device 600 replaces the minimal primary representation 810E (Stephen) with the primary representation 810I of the newly joined participant Pablo and displays overflow representation 822F (Stephen) in the overflow area 820. To make room for overflow representation 822F, overflow representations 822A, 822C, 822D, and 822E are scrolled (e.g., upwards, depending on the orientation of the device 600 shown in FIG. 8Z). As shown in FIG. 8Z, overflow representation 822A is no longer visible and overflow representation 822C is partially obscured by the user representation 806.

図８ＡＡに目を向けると、デバイス６００は、横置き（水平）の向きから縦置き（垂直）の向きに回転される。これに応じて、デバイス６００は、表現内の参加者の画像を回転させる一方で、各表現によって占められるディスプレイ上の領域を維持する（例えば、デバイス６００は、デバイスが縦置きの向きから横置きの向きに回転されることに応じて行われた回転を反転させる）。 Turning to FIG. 8AA, device 600 is rotated from a landscape (horizontal) orientation to a portrait (vertical) orientation. In response, device 600 rotates the images of the participants in the representations while preserving the area on the display occupied by each representation (e.g., device 600 reverses the rotation that occurred in response to the device being rotated from portrait to landscape orientation).

図８ＡＢでは、主要表現８１０Ｇに対応する参加者は、ライブ通信セッションを退出（接続解除）している。任意選択的に、図８ＢＣに示す実施形態に示すように、これに応じて、デバイス６００は、参加者がライブ通信セッションから退出したことを示す通知８２８を表示する。参加者の数が５人よりも多いままであるので、デバイス６００は、オーバーフロー領域８２０の表示を伴う４対１のレイアウトを維持する。図８ＡＣに示すように、主要表現８１０Ｇは、活動レベルが次に最も高い参加者Ｓｔｅｐｈｅｎの主要表現８１０Ｊに置き換えられ、参加者Ｓｔｅｐｈｅｎに対応するオーバーフロー表現８２２Ｆは、オーバーフロー領域８２０から削除される。オーバーフロー表現８２２Ｆが削除されると、残りのオーバーフロー表現８２２Ａ、８２２Ｃ、８２２Ｄ、８２２Ｅは、左にスクロールされる。図８ＢＤに示す実施形態では、参加者Ｈｏａｎのオーバーフロー表現８２２Ｄは、参加者Ｈｏａｎが接続していないことを示すプレースホルダと、参加者Ｈｏａｎに再参加を要求するためのリマインダアフォーダンスとを表示するように更新される。 In FIG. 8AB, the participant corresponding to primary representation 810G has left (disconnected) the live communication session. Optionally, as shown in the embodiment illustrated in FIG. 8BC, in response, device 600 displays a notification 828 indicating that the participant has left the live communication session. Because the number of participants remains greater than five, device 600 maintains the 4:1 layout with the display of overflow area 820. As shown in FIG. 8AC, primary representation 810G is replaced with primary representation 810J of participant Stephen, who has the next highest activity level, and overflow representation 822F corresponding to participant Stephen is removed from overflow area 820. Once overflow representation 822F is removed, the remaining overflow representations 822A, 822C, 822D, and 822E are scrolled to the left. In the embodiment shown in FIG. 8BD, participant Hoan's overflow representation 822D is updated to display a placeholder indicating that participant Hoan is not connected and a reminder affordance to request participant Hoan to rejoin.

一部の実施形態では、ライブ通信セッションから参加者が退出するときに、ライブ通信の参加者の数が６人から５人に減ると、デバイス６００はオーバーフロー領域８２０の表示を中止し、任意選択的に、主要表現の１つ以上のサイズ及び／又は上下間隔を大きくする。 In some embodiments, when a participant leaves the live communication session, if the number of participants in the live communication drops from six to five, the device 600 ceases displaying the overflow region 820 and, optionally, increases the size and/or vertical spacing of one or more of the primary representations.

図８ＡＣでは、デバイス６００は、参加者Ａｌｌｉｓｏｎのオーバーフロー表現８２２Ｅの選択に対応するユーザ入力８５０Ｆ（例えば、ダブルタップ）を受ける（例えば、検出する）。図８ＡＤに示すように、ユーザ入力８５０Ｆを受けたことに応じて、デバイス６００は、現在表示されている主要表現８１０の４対１のレイアウトの前方に参加者Ａｌｌｉｓｏｎの拡大表現８３０を表示する。拡大表現８３０の表示は、拡大表現８３０が４対１のレイアウトの主要表現から前に押し出されない点を除いて、図８Ｎの拡大表現８１０Ｇの表示と同様である。 In FIG. 8AC, device 600 receives (e.g., detects) user input 850F (e.g., a double tap) corresponding to selection of participant Allison's overflow representation 822E. As shown in FIG. 8AD, in response to receiving user input 850F, device 600 displays participant Allison's enlarged representation 830 in front of the currently displayed primary representation 810 in a 4:1 layout. The display of enlarged representation 830 is similar to the display of enlarged representation 810G in FIG. 8N, except that enlarged representation 830 is not pushed forward from the primary representation in the 4:1 layout.

図８ＡＤに示すように、デバイス６００は、閉じるアフォーダンス８１８の選択に対応するユーザ入力８５０Ｇ（例えば、タップ）を受ける（例えば、検出する）。図８ＡＥ～図８ＡＦに示すように、ユーザ入力８５０Ｆを受けたことに応じて、デバイス６００は、参加者Ｓｔｅｐｈｅｎ（例えば、現在の主要表現を伴う参加者のうちの活動状態が最も低い参加者）の主要表現８１０Ｊの代わりに、参加者Ａｌｌｉｓｏｎの主要表現８１０Ｋを表示する。主要表現８１０Ｋ（少なくとも最初に）は、縁の下部分に沿ってリボン（又は帯）８４２Ａを含み、それは、参加者の名前と、（例えば、図８ＡＤに示すように）表現を拡大するためのアフォーダンスとを含む。図８ＡＥ～図８ＡＦは、主要表現８１０Ｊを主要表現８１０Ｋに置き換える例示的なアニメーションを示す。主要表現８１０Ｋは、最初に（図８ＡＣの主要表現８１０Ｊと同じように）小さな表現サイズで表示され、その後に中の表現サイズに拡大される一方、主要表現８１０Ｈは、中から小に縮小される。参加者Ａｌｌｉｓｏｎに対応するオーバーフロー表現８２２Ｅは、サイズが小さくなる、及び／又はフェードアウトする一方、置き換えられた参加者のオーバーフロー表現８２２Ｆは、オーバーフロー領域８２０内に平行移動する。一部の実施形態では、主要表現８１０Ｊの表示を中止し、主要表現８１０Ｋを表示することは、主要表現８１０Ｊから主要表現８１０Ｋへのクロスフェード、及び／又は「フラッシュ」効果を生じる色合を含む。図８ＢＥ～図８ＢＨは、主要表現８１０Ｊがフラッシュ効果を伴って削除される実施形態を示す。 As shown in FIG. 8AD, device 600 receives (e.g., detects) user input 850G (e.g., a tap) corresponding to selection of close affordance 818. As shown in FIGS. 8AE-8AF, in response to receiving user input 850F, device 600 displays primary representation 810K of participant Allison in place of primary representation 810J of participant Stephen (e.g., the least active participant with a current primary representation). Primary representation 810K (at least initially) includes a ribbon (or band) 842A along a lower portion of its border, which includes the participant's name and an affordance for expanding the representation (e.g., as shown in FIG. 8AD). FIGS. 8AE-8AF show an example animation of primary representation 810J being replaced with primary representation 810K. Primary representation 810K is initially displayed at a small representation size (similar to primary representation 810J in FIG. 8AC) and then enlarges to a medium representation size, while primary representation 810H is reduced from medium to small. Overflow representation 822E corresponding to participant Allison decreases in size and/or fades out, while overflow representation 822F of the replaced participant translates into overflow region 820. In some embodiments, ceasing to display primary representation 810J and displaying primary representation 810K includes a cross-fade from primary representation 810J to primary representation 810K and/or a color hue that creates a "flash" effect. FIGS. 8BE-8BH show embodiments in which primary representation 810J is removed with a flash effect.

一部の実施形態では、オーバーフロー領域８２０は、スクロール可能である。図８ＢＨ～図ＢＩに示す実施形態を参照すると、デバイス６００は、対応するオーバーフロー表現が現在表示されていない又は完全には表示されていない参加者による能動的な参加に応じて、オーバーフロー領域８２０内でオーバーフロー表現８２２をスクロールする。図８ＢＨに示すように、（主要表現８１０Ｉに対応する）参加者のオーバーフロー表現８２２Ｆは、オーバーフロー領域８２０内で部分的に隠される。図８ＢＨでは、主要表現８１０Ｉに対応する参加者は、ライブ通信セッションに能動的に参加する。図８ＢＩに示すように、主要表現８１０Ｉに対応する参加者が能動的に参加していることを示すデータの受信に応じて、デバイス６００は主要表現８１０Ｉを拡大し、（例えば、オーバーフロー領域８２０の表示部分の中央付近に）オーバーフロー表現８２２Ｆが完全に表示されるようにオーバーフロー表現８２２をスクロールし、オーバーフロー表現８２２Ｆの下部分にあるイニシャルバーを強調することによってオーバーフロー表現８２２Ｆを視覚的に示す。 In some embodiments, the overflow region 820 is scrollable. Referring to the embodiment shown in FIGS. 8BH-8BI, the device 600 scrolls the overflow representation 822 within the overflow region 820 in response to active participation by a participant whose corresponding overflow representation is not currently displayed or is not fully displayed. As shown in FIG. 8BH, the overflow representation 822F of a participant (corresponding to the primary representation 810I) is partially obscured within the overflow region 820. In FIG. 8BH, the participant corresponding to the primary representation 810I actively participates in the live communication session. As shown in FIG. 8BI, in response to receiving data indicating that the participant corresponding to the primary representation 810I is actively participating, the device 600 expands the primary representation 810I, scrolls the overflow representation 822F so that the overflow representation 822F is fully displayed (e.g., near the center of the displayed portion of the overflow region 820), and visually indicates the overflow representation 822F by highlighting the initial bar at the bottom of the overflow representation 822F.

図８ＡＧに目を向けると、デバイス６００は、ディスプレイ６０２と接触したままで、オーバーフロー領域８２０上で右から左に水平に移動される接触８５０Ｈを検出する。図８ＡＨに示すように、接触８５０Ｈを受けたことに応じて、デバイス６００は、オーバーフロー表現８２２Ｆがディスプレイ６０２の左縁から部分的に外れ、ユーザ表現８０６がオーバーフロー表現８２２Ａに重ならなくなるように、オーバーフロー表現８２２をディスプレイ６０２上で左にスクロールする。ＩＳＥ、接触８５０Ｈ及びオーバーフロー表現８２２は、同じだけ水平に移動する。 Turning to FIG. 8AG, device 600 detects contact 850H, which remains in contact with display 602 and is moved horizontally from right to left across overflow region 820. As shown in FIG. 8AH, in response to receiving contact 850H, device 600 scrolls overflow representation 822 to the left on display 602 so that overflow representation 822F is partially off the left edge of display 602 and user representation 806 no longer overlaps overflow representation 822A. ISE, contact 850H, and overflow representation 822 move horizontally by the same amount.

オーバーフロー領域８２０をスクロールしている間、主要表現８１０は変化しないままである。また、ユーザ表現８０６は、オーバーフロー領域８２０内に留まる。 While scrolling the overflow region 820, the main representation 810 remains unchanged, and the user representation 806 remains within the overflow region 820.

図８ＢＪ～図８ＢＫに示す実施形態では、接触８５０Ｈは、オーバーフロー領域８２０の左側で始まり、水平に右に移動される。これに応じて、デバイス６００は、オーバーフロー表現８２２をディスプレイ６０２上で右にスクロールする。図８ＢＪ～図８ＢＫでは、デバイス６００は、表現がユーザ表現８０６に達すると、同表現をディスプレイ６０２から削除する（例えば、表示しなくなる）。 In the embodiment shown in FIGS. 8BJ-8BK, contact 850H begins on the left side of overflow region 820 and is moved horizontally to the right. In response, device 600 scrolls overflow representation 822 to the right on display 602. In FIGS. 8BJ-8BK, device 600 removes (e.g., no longer displays) the representation from display 602 when it reaches user representation 806.

図８ＡＨに目を向けると、デバイス６００は、主要表現８１０が表示されていないディスプレイ６０２上の位置でユーザ入力８５０Ｉ（例えば、タップ）を受ける（例えば、検出する）。図８ＡＩに示すように、ユーザ入力８５０Ｉを受けたことに応じて、デバイス６００は、（例えば、ライブ通信セッションから退出するための）通話アフォーダンス８３４、効果アフォーダンス８３６、メニューアフォーダンス８３８、及びハンドルアフォーダンス８４０を含む通話コントロールメニュー８３２を表示する。 8AH, device 600 receives (e.g., detects) user input 850I (e.g., a tap) at a location on display 602 where primary representation 810 is not displayed. As shown in FIG. 8AI, in response to receiving user input 850I, device 600 displays call control menu 832 including call affordance 834 (e.g., for exiting the live communication session), effect affordance 836, menu affordance 838, and handle affordance 840.

図８ＡＩに示すように、通話コントロールメニュー８３２は、オーバーフロー領域８２０及び主要表現８１０とは重ならない。通話コントロールメニュー８３２のための場所を作るために、デバイス６００は、主要表現８１０の１つ以上のサイズを小さくする、及び／又は上下に平行移動させ（例えば、キャンバス領域８１１のサイズを小さくする）、オーバーフロー領域８２０をディスプレイ６０２上で上方に移動させる。一部の実施形態では、デバイス６００は、中サイズの主要表現のサイズを小さくし、小及び大サイズの主要表現のサイズを維持する。一部の実施形態では、デバイス６００は、主要表現間の上下のへだたりを小さくする、及び／又は上下の重なりを大きくする。 As shown in FIG. 8AI, the call control menu 832 does not overlap the overflow area 820 and the primary representation 810. To make room for the call control menu 832, the device 600 reduces the size and/or translates vertically one or more of the primary representations 810 (e.g., reduces the size of the canvas area 811) and moves the overflow area 820 up on the display 602. In some embodiments, the device 600 reduces the size of the medium-sized primary representation and maintains the size of the small and large primary representations. In some embodiments, the device 600 reduces the vertical gap and/or increases the vertical overlap between the primary representations.

ユーザ入力８５０Ｉを受けたことに応じて、デバイス６００は、主要表現のそれぞれにリボン８４２Ａ～８４２Ｄをも表示する。リボン８４２Ａ～８４２Ｄは、対応する参加者の名前と、（例えば、図８Ｏに示すように）表現を拡大するためのアフォーダンスとを含む。一部の実施形態では、リボン８４２Ａ～８４２Ｄの上下高さは、主要表現間の上下の重なり量と同じである。 In response to receiving user input 850I, device 600 also displays ribbons 842A-842D for each of the primary representations. Ribbons 842A-842D include the name of the corresponding participant and an affordance for expanding the representation (e.g., as shown in FIG. 8O). In some embodiments, the vertical height of ribbons 842A-842D is the same as the vertical overlap between the primary representations.

図８ＡＪに示すように、デバイス６００は、メニューアフォーダンス８３８の選択に対応するユーザ入力８５０Ｊ（例えば、タップ）を受ける（例えば、検出する）。一部の実施形態では、ユーザ入力８５０Ｊは、（例えば、ハンドルアフォーダンス８４０上で）通話コントロールメニュー８３２から開始する上方向スワイプを含む。図８ＡＫに示すように、ユーザ入力８５０Ｊに応じて、デバイス６００は、図６Ｈの通話コントロールメニュー６３０に関して説明した追加情報及びコントローラに類似する、ライブ通信セッションに関する追加情報及びコントローラを表示するように、通話コントロールメニュー８３２を拡張する。 As shown in FIG. 8AJ, device 600 receives (e.g., detects) user input 850J (e.g., a tap) corresponding to selection of menu affordance 838. In some embodiments, user input 850J includes an upward swipe starting from call control menu 832 (e.g., on handle affordance 840). As shown in FIG. 8AK, in response to user input 850J, device 600 expands call control menu 832 to display additional information and controls related to the live communication session, similar to the additional information and controls described with respect to call control menu 630 of FIG. 6H.

図８ＡＬに示すように、デバイス６００は、効果アフォーダンス８３６の選択に対応するユーザ入力８５０Ｋ（例えば、タップ）を受ける（例えば、検出する）。図８ＡＭに示すように、ユーザ入力８５０Ｋを受けたことに応じて、デバイス６００は、デバイス６００のユーザの、カメラ６０３からの拡大画像８４３を表示し、通話コントロールメニュー８３２を修正する。修正された通話コントロールメニュー８３２では、効果アフォーダンス８３６は強調され、効果オプションアフォーダンス８４４Ａ～８４４Ｅが表示される。図８ＡＮでは、デバイス６００は、効果オプションアフォーダンス８４４Ａの選択に対応するユーザ入力８５０Ｌ（例えば、タップ）を受ける（例えば、検出する）。図８ＡＯに示すように、ユーザ入力８５０Ｌを受けたことに応じて、デバイス６００は、アバターオプションアフォーダンス８４６Ａ～８４６Ｃを含むように通話コントロールメニュー８３２を修正する。図８ＡＯでは、デバイス６００は、アバターアフォーダンス８４６Ｃの選択に対応するユーザ入力８５０Ｍ（例えば、タップ）を受ける（例えば、検出する）。図８ＡＰに示すように、ユーザ入力８５０Ｍを受けたことに応じて、デバイス６００は、画像８４３中のユーザの顔の上に効果８４３Ａを表示し、通話コントロールメニュー８３２をスクロールして現在選択されているアバターのアフォーダンス８４６Ｃを通話コントロールメニュー８３２の中心に配置する。図８ＡＰでは、デバイス６００は、キャンセルアフォーダンス８４８上でユーザ入力８５０Ｎ（例えば、タップ）を受ける（例えば、検出する）。図８ＡＱに示すように、ユーザ入力８５０Ｎを受けたことに応じて、デバイス６００は、通話コントロールメニュー８３２を図８ＡＮの構成に戻し、拡大画像８４３上の効果８４３Ａの表示を維持する。図８ＡＱでは、デバイス６００は、ディスプレイ６０２上で拡大画像８４３及び通話コントロールメニュー８３２の外側でユーザ入力８５０Ｏ（例えば、タップ）を受ける（例えば、検出する）。図８ＡＲに示すように、ユーザ入力８５０Ｏを受けたことに応じて、デバイス６００は、拡大画像８４３の表示を中止し、主要表現８０６におけるユーザの画像上に効果８４３Ａを表示する。効果８４３Ａがアクティブ化されると、図８ＡＲのように、デバイス６００のユーザのライブビデオストリームは効果８４３Ａを含む。 As shown in FIG. 8AL, device 600 receives (e.g., detects) user input 850K (e.g., a tap) corresponding to selection of effect affordance 836. As shown in FIG. 8AM, in response to receiving user input 850K, device 600 displays a magnified image 843 from camera 603 of the user of device 600 and modifies call control menu 832. In the modified call control menu 832, effect affordance 836 is highlighted and effect option affordances 844A-844E are displayed. In FIG. 8AN, device 600 receives (e.g., detects) user input 850L (e.g., a tap) corresponding to selection of effect option affordance 844A. As shown in FIG. 8AO, in response to receiving user input 850L, device 600 modifies call control menu 832 to include avatar option affordances 846A-846C. In Figure 8AO, device 600 receives (e.g., detects) user input 850M (e.g., a tap) corresponding to selection of avatar affordance 846C. As shown in Figure 8AP, in response to receiving user input 850M, device 600 displays effect 843A over the user's face in image 843 and scrolls call control menu 832 to position affordance 846C of the currently selected avatar at the center of call control menu 832. In Figure 8AP, device 600 receives (e.g., detects) user input 850N (e.g., a tap) on cancel affordance 848. As shown in Figure 8AQ, in response to receiving user input 850N, device 600 returns call control menu 832 to the configuration of Figure 8AN and maintains the display of effect 843A on enlarged image 843. In FIG. 8AQ, device 600 receives (e.g., detects) user input 850O (e.g., a tap) on display 602 outside of enlarged image 843 and call control menu 832. As shown in FIG. 8AR, in response to receiving user input 850O, device 600 ceases displaying enlarged image 843 and displays effect 843A over the image of the user in main representation 806. When effect 843A is activated, as in FIG. 8AR, the user's live video stream of device 600 includes effect 843A.

図８ＡＲに示すように、通話コントロールメニュー８３２は、メディアアフォーダンス８４４Ｅを含む。デバイス６００は、メディアアフォーダンス８４４Ｅの選択に対応するユーザ入力８５０Ｐ（例えば、タップ）を受ける（例えば、検出する）。図８ＡＳに示すように、ユーザ入力８５０Ｐを受けたことに応じて、デバイス６００は、メディアオプションアフォーダンス８５２Ａ～８５２Ｄを含むように通話コントロールメニュー８３２を修正する。図８ＡＳでは、デバイス６００は、メディアオプションアフォーダンス８５２Ａ（スケッチ）の選択に対応するユーザ入力８５０Ｑ（例えば、タップ）を受ける（例えば、検出する）。ユーザ入力８５０Ｑを受けたことに応じて、デバイス６００は、メディアオプションアフォーダンス８５２Ａに関連するメディアコンテンツの表現をキャンバス領域８１１に表示する。 As shown in FIG. 8AR, call control menu 832 includes media affordance 844E. Device 600 receives (e.g., detects) user input 850P (e.g., a tap) corresponding to selection of media affordance 844E. As shown in FIG. 8AS, in response to receiving user input 850P, device 600 modifies call control menu 832 to include media option affordances 852A-852D. In FIG. 8AS, device 600 receives (e.g., detects) user input 850Q (e.g., a tap) corresponding to selection of media option affordance 852A (sketch). In response to receiving user input 850Q, device 600 displays a representation of media content associated with media option affordance 852A in canvas area 811.

図８ＡＴに示すように、ユーザ入力８５０Ｑを受けたことに応じて、デバイス６００は、主要表現８１０Ｋ（例えば、最小の主要表現）を、選択されたメディアアイテムの表現８１０Ｌに置き換える。図８ＡＴでは、デバイス６００は、通話コントロールメニュー８３２をしまう要求に対応するユーザ入力８５０Ｒ（例えば、通話コントロールメニュー８３２上での下方向スワイプ）を受ける（例えば、検出する）。図８ＡＵに示すように、ユーザ入力８５０Ｒを受けたことに応じて、デバイス６００は、コール制御メニュー８３２の表示を中止する。 As shown in FIG. 8AT, in response to receiving user input 850Q, device 600 replaces primary representation 810K (e.g., a minimal primary representation) with representation 810L of the selected media item. In FIG. 8AT, device 600 receives (e.g., detects) user input 850R (e.g., a downward swipe on call control menu 832) corresponding to a request to dismiss call control menu 832. As shown in FIG. 8AU, in response to receiving user input 850R, device 600 ceases displaying call control menu 832.

一部の実施形態では、メディアオプションアフォーダンス８５２Ａの選択によって、関連するメディアコンテンツがライブ通信セッションの他の参加者と共有される（例えば、別の参加者のデバイスのディスプレイ上のキャンバス領域に表示される）。一部の実施形態では、ライブ通信セッションの参加者は、（例えば、ライブ通信アプリケーションのユーザインターフェースにおける一続きの１つ以上の入力によって）共有メディアコンテンツと相互作用することができる。図８ＡＶは、表現８１０Ｌのメディアコンテンツに追加特徴８１０Ｌ－１が追加された実施形態を示す。一部の実施形態では、表現８０１Ｌに関連するメディアコンテンツとの参加者の対話に応じて、デバイス６００は、（例えば、主要表現が拡大された後に選択されたり、表現に対応する参加者が能動的に参加したりする方法と同様に）表現８０１Ｌを拡大する。図８ＡＶに示すように、表現８１０Ｌは、（図８ＡＴと比べて）関連するメディアコンテンツとの参加者の対話に応じて拡大される。図８ＡＶはまた、ライブ通信セッションで共有される他のコンテンツ（例えば、２人の参加者間のゲーム）の表現８１０Ｍをも示す。 In some embodiments, selection of media option affordance 852A causes the associated media content to be shared with other participants in the live communication session (e.g., displayed in a canvas area on the display of another participant's device). In some embodiments, participants in the live communication session can interact with the shared media content (e.g., through a series of one or more inputs in a user interface of the live communication application). FIG. 8AV illustrates an embodiment in which additional feature 810L-1 has been added to the media content of representation 810L. In some embodiments, in response to a participant's interaction with the media content associated with representation 801L, device 600 expands representation 801L (e.g., similar to how a main representation is expanded and then selected, or how the participant corresponding to the representation actively participates). As shown in FIG. 8AV, representation 810L expands in response to the participant's interaction with the associated media content (as compared to FIG. 8AT). FIG. 8AV also illustrates representation 810M of other content (e.g., a game between two participants) being shared in the live communication session.

図９Ａ～図９Ｋは、一部の実施形態による方法を示すフロー図である。方法９００は、ディスプレイを備えるデバイス（例えば、１００、３００、５００又は６００）にて行われる。方法９００の一部の動作は任意選択的に組み合わされ、一部の動作の順序は任意選択的に変更され、一部の動作は任意選択的に省略される。 Figures 9A-9K are flow diagrams illustrating a method according to some embodiments. Method 900 is performed on a device (e.g., 100, 300, 500, or 600) that includes a display. Some operations of method 900 are optionally combined, the order of some operations is optionally changed, and some operations are optionally omitted.

後述するように、方法９００は、とりわけ、適応的かつインテリジェントなライブ通信ユーザインターフェースを提供する直感的な方法を提供する。加えて、とりわけ、方法９００は、ユーザがライブ通信ユーザインターフェースと対話するための直感的な方法を提供する。この方法は、ライブ通信における参加者の数に基づく適応的かつインテリジェントなライブ通信インターフェースを提供することによりユーザの認知的負担を軽減することで、より効率的なヒューマン－マシンインターフェースを作り出す。バッテリ動作式コンピューティングデバイスの場合、ユーザが、ライブ通信における所定数の参加者に基づいてライブ通信ユーザインターフェースを見ることができるようになることにより、より速くなり、より効率的に電力が節約され、バッテリ充電間隔が長くなる。 As described below, method 900 provides, among other things, an intuitive way to provide an adaptive and intelligent live communications user interface. Additionally, among other things, method 900 provides an intuitive way for a user to interact with the live communications user interface. This method reduces the cognitive burden on the user by providing an adaptive and intelligent live communications interface based on the number of participants in the live communications, thereby creating a more efficient human-machine interface. For battery-operated computing devices, allowing a user to view a live communications user interface based on a predetermined number of participants in the live communications is faster, more efficient, conserves power, and extends the time between battery charges.

ブロック９０１では、デバイスは、２人以上の参加者間のライブ通信セッション用のユーザインターフェースを表示するための要求（例えば、８５０Ａ）を受ける。 In block 901, a device receives a request (e.g., 850A) to display a user interface for a live communication session between two or more participants.

ブロック９０２では、２人以上の参加者間のライブ通信セッション用のユーザインターフェースを表示するための要求を受けたことに応じて、デバイスは、ライブ通信セッションに複数の参加者の表現（例えば、８１０Ａ～８１０Ｄ）を同時に表示することを含め、ライブ通信ユーザインターフェース（例えば、８０４）を表示し、ライブ通信セッションにおいて複数の参加者の表現を表示することは、ブロック９０２及び９０３を含む。一部の実施形態では、ライブ通信セッションユーザインターフェースは、ライブ通信セッションに招待されたがライブ通信セッションにまだ参加していない第１の参加者（例えば、電子デバイスのユーザ以外の参加者であって、通信セッションにまだ参加しておらず、通信セッションに参加するための招待が送られた参加者））に関連するプレースホルダ（例えば、図８Ｃの８１０Ａ）（例えば、グラフィックのプレースホルダ（例えば、画像又は仮想アバター）、テキストのプレースホルダ（例えば、名前又はイニシャル））を含む。一部の実施形態では、ライブビデオストリームを含むライブメディアストリームを参加者が共有している場合、表現は、ライブビデオストリームの画像（例えば、図８Ｄの８１０Ｂ）を含む。一部の実施形態では、オーディオのみのライブビデオストリームを参加者が共有している場合、表現は、それぞれの参加者のアバターを含む（例えば、図８Ｉの８１０Ｂ）。一部の実施形態では、ライブ通信セッションにおける複数の参加者の表現は、オーディオ専用状態（例えば、参加者がオーディオのみを用いて通信している）、ビデオ状態（例えば、参加者がビデオ及びオーディオを用いて発話している）、ビデオ一時停止状態（例えば、参加者のビデオが一時停止されている）、ビデオ未復号状態（例えば、遅延の問題、ビデオストリームの形式の問題などのために、参加者のビデオストリームを処理できない）、退出状態（例えば、参加者がライブ通信セッションから退出している）、及び参加待ち状態（例えば、参加者がライブ通信セッションに招待されたが、ライブ通信にまだ参加していない）からなるグループから選択される、ユーザ通信状態を含む。 In block 902, in response to receiving a request to display a user interface for a live communication session between two or more participants, the device displays a live communication user interface (e.g., 804), including simultaneously displaying representations (e.g., 810A-810D) of the multiple participants in the live communication session, and displaying representations of the multiple participants in the live communication session includes blocks 902 and 903. In some embodiments, the live communication session user interface includes a placeholder (e.g., 810A in FIG. 8C) (e.g., a graphic placeholder (e.g., an image or virtual avatar), a text placeholder (e.g., a name or initials)) associated with a first participant invited to the live communication session but not yet joined the live communication session (e.g., a participant other than the user of the electronic device who has not yet joined the communication session and to whom an invitation to join the communication session has been sent). In some embodiments, if a participant is sharing a live media stream that includes a live video stream, the representation includes an image of the live video stream (e.g., 810B in FIG. 8D). In some embodiments, if a participant is sharing an audio-only live video stream, the representation includes an avatar for each participant (e.g., 810B in FIG. 8I). In some embodiments, the representation of multiple participants in a live communication session includes a user communication state selected from the group consisting of an audio-only state (e.g., a participant is communicating using audio only), a video state (e.g., a participant is speaking using video and audio), a video-paused state (e.g., a participant's video is paused), a video-not-decoded state (e.g., a participant's video stream cannot be processed due to latency issues, video stream format issues, etc.), a left state (e.g., a participant has left the live communication session), and a waiting-to-join state (e.g., a participant has been invited to the live communication session but has not yet joined the live communication).

ブロック９０３では、ライブ通信セッションにおける参加者の数が参加者の閾数よりも多いとの判定を受けて、デバイスは、電子デバイスのユーザ以外の第１の複数の参加者の表現（例えば、８１０Ａ～８１０Ｄ）を、それぞれの閾値サイズよりも大きな１つ以上のサイズで同時に表示する一方、第２の複数の参加者の表現（例えば、８２２）をオーバーフロー領域（例えば、８２０）に表示し、第２の複数の参加者は、第１の複数の参加者に含まれない１人以上の参加者を含み、オーバーフロー領域に表示される１人以上の他の参加者の表現は、それぞれの閾値サイズよりも小さなサイズで表示される。一部の実施形態では、現在アクティブな参加者（例えば、図８Ｊの８１０Ｅ）（例えば、最もアクティブな参加者、アクティブな参加者の基準セットを満たすように発話している又は移動している参加者）が、第１の複数の参加者の一部として表示される。一部の実施形態では、現在アクティブな参加者は、ユーザインターフェースのメイン領域（例えば、８１１）（例えば、第１の複数の参加者が表示される領域）に表示される。一部の実施形態では、メイン領域に現在表示されていない参加者（例えば、図８Ｕの８２２Ｂに対応する参加者）が現在アクティブな参加者になった場合、その参加者の表現（例えば、図８Ｖの８１０Ｈ）は、メイン領域に表示される。一部の実施形態では、第１の複数の参加者の表現（例えば、８１０）は２つ以上の異なるサイズで表示され（例えば、よりアクティブな参加者又はより最近にアクティブな参加者が、よりアクティブではない参加者又はより最近にアクティブではない参加者よりも大きなサイズで表示され）、オーバーフロー領域内の第２の複数の参加者の表現（例えば、８２２）は同じサイズで表示される。 In block 903, upon determining that the number of participants in the live communication session is greater than the threshold number of participants, the device simultaneously displays representations of a first plurality of participants (e.g., 810A-810D) other than the user of the electronic device at one or more sizes greater than their respective threshold sizes, while displaying representations of a second plurality of participants (e.g., 822) in an overflow area (e.g., 820), the second plurality including one or more participants not included in the first plurality, with representations of one or more other participants displayed in the overflow area displayed at sizes smaller than their respective threshold sizes. In some embodiments, a currently active participant (e.g., 810E in FIG. 8J) (e.g., the most active participant, the participant speaking or moving to meet a set of active participant criteria) is displayed as part of the first plurality of participants. In some embodiments, the currently active participant is displayed in a main area (e.g., 811) of the user interface (e.g., the area where the first plurality of participants is displayed). In some embodiments, if a participant not currently displayed in the main area (e.g., the participant corresponding to 822B in FIG. 8U) becomes the currently active participant, a representation of that participant (e.g., 810H in FIG. 8V) is displayed in the main area. In some embodiments, the representations of the first plurality of participants (e.g., 810) are displayed in two or more different sizes (e.g., more active or more recently active participants are displayed in a larger size than less active or less recently active participants), and the representations of the second plurality of participants in the overflow area (e.g., 822) are displayed in the same size.

一部の実施形態では、オーバーフロー領域（例えば、８２０）は、第１の複数の参加者の表現（例えば、８１０Ａ～８１０Ｄ）を更に含む（例えば、ユーザインターフェースのメイン領域に表示される参加者の表現もオーバーフロー領域に表示される）（例えば、図８ＡＸ）。一部の実施形態では、オーバーフロー領域（例えば、８２０）は、ライブ通信セッションに現在接続されていない、ライブ通信セッションの招待者用のプレースホルダ表現（例えば、図８ＡＷの８２２Ａ）（例えば、アバター、名前、イニシャル）を更に含む。所定の条件が満たされるかに基づいて（例えば、ライブ通信セッションがある数の参加者よりも多いかに基づいて）参加者の表現を異なるように表示することにより、ライブ通信セッションにおける参加者の表現をより容易に又はより効率的に見ることをユーザに可能にさせる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 In some embodiments, the overflow area (e.g., 820) further includes representations (e.g., 810A-810D) of a first plurality of participants (e.g., representations of participants displayed in the main area of the user interface are also displayed in the overflow area) (e.g., FIG. 8AX). In some embodiments, the overflow area (e.g., 820) further includes placeholder representations (e.g., 822A in FIG. 8AW) (e.g., avatars, names, initials) for invitees to the live communication session who are not currently connected to the live communication session. Displaying the participant representations differently based on whether a predetermined condition is met (e.g., based on whether the live communication session has more than a certain number of participants) allows a user to more easily or efficiently view the representations of participants in the live communication session. By performing optimized operations without requiring further user input when a set of conditions are met, the device's usability is enhanced, the user-device interface is made more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and the device's power usage is reduced and battery life is improved by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック９０４及び９０５では、デバイスは、第１の複数の参加者の表現（例えば、８１０Ａ～８１０Ｄ）の表示（例えば、表現の配置、複数の位置、サイズ、位置、視覚的表示、視覚コンテンツ、及び／又はビデオフィード）を第１のレートで更新し（例えば、第１の複数の参加者の表現は、毎秒２４、３０、若しくは６０フレームなどの典型的なビデオリフレッシュレート又はそれよりも高いフレームレートで更新されるライブビデオフィードである）、オーバーフロー領域内の第２の複数の参加者（例えば、８２２）の表現の表示（例えば、表現の配置、複数の位置、サイズ、位置、表現の視覚的表示、表現の視覚的コンテンツ、及び／又はビデオフィード）を第２のレートで更新し、第２のレートは第１のレートよりも低い。）（例えば、オーバーフロー領域内のサムネイルは時間とともに更新されるが、毎秒１、５、又は１０フレームなど、キャンバス領域８１１内の複数の参加者の表現のビデオリフレッシュレートよりも低いレートで更新される）。表現のセットの表示を異なるレートで更新することにより、デバイスに、表現のセットを表現の他のセットよりも速いレートで提供するように処理パワーを節約しながらライブ通信における表現の現在の状態に関するフィードバックをユーザに提供することを可能にさせ、そのことによって、優先度がより高い表現のセットをより高いレートで見る能力をユーザに証明する。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, in blocks 904 and 905, the device updates a display (e.g., representation placement, multiple positions, size, location, visual display, visual content, and/or video feed) of a first plurality of participants' representations (e.g., 810A-810D) at a first rate (e.g., the representations of the first plurality of participants are live video feeds updated at a typical video refresh rate or a higher frame rate, such as 24, 30, or 60 frames per second), and updates a display (e.g., representation placement, multiple positions, size, location, visual display, visual content, and/or video feed) of a second plurality of participants' representations (e.g., 822) in the overflow area at a second rate, the second rate being lower than the first rate (e.g., thumbnails in the overflow area are updated over time but at a rate lower than the video refresh rate of the representations of the multiple participants in the canvas area 811, such as 1, 5, or 10 frames per second). Updating the display of sets of representations at different rates allows the device to provide feedback to the user regarding the current state of the representations in the live communication while conserving processing power by providing sets of representations at a faster rate than other sets of representations, thereby demonstrating to the user the ability to view higher priority sets of representations at a higher rate. Providing improved visual feedback to the user enhances device usability and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック９０６では、デバイスは、第２の複数の参加者の表現（例えば、８２２）をオーバーフロー領域（例えば、８２０）に表示しながら、電子デバイスのカメラのビュー（例えば、自己ビューカメラのビュー）の表現（例えば、８０６）をオーバーフロー領域に表示する。電子デバイスのカメラのビューの表現を表示することにより、ユーザカメラのビューの現在の状態に関する視覚的フィードバック（例えば、ユーザがライブ通信セッションにおける他の参加者に示しているもの）がユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at block 906, the device displays a representation (e.g., 806) of the electronic device's camera view (e.g., self-view camera view) in the overflow area while displaying representations (e.g., 822) of a second plurality of participants in the overflow area (e.g., 820). Displaying the representation of the electronic device's camera view provides the user with visual feedback regarding the current state of the user's camera view (e.g., what the user is showing to other participants in the live communication session). Providing the user with improved visual feedback enhances device usability and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック９０７、９０８、９０９、及び９１０では、デバイスは、オーバーフロー領域に対応する入力（例えば、８５０Ｈ）（例えば、水平の指ドラッグ）を検出する。オーバーフロー領域に対応する入力の検出に応じて、デバイスは、第２の複数の参加者の表現のサブセット（例えば、図８ＢＪ～図８ＢＫの８２２Ｇ及び８２２Ｈ）の表示を中止するため（例えば、隠すため）に、オーバーフロー領域をスクロールする（例えば、入力を受けて第２の複数の参加者の表現を第１の方向にスクロールする）。オーバーフロー領域をスクロールしている間に、デバイスは、電子デバイスのカメラのビューの表現（例えば、８０６）をオーバーフロー領域内に維持する（例えば、図８ＢＪ～図ＢＫ）。一部の実施形態では、オーバーフロー領域をスクロールすることは、デバイスのカメラのビューの表現の下にスクロールするように見える、第２の複数の参加者の１つ以上の表現のアニメーションを表示することを含む。オーバーフロー領域をスクロールしている間に電子デバイスのカメラのビューの表現の表示を維持することにより、ユーザにオーバーフロー領域内の参加者の表現をスクロールする能力を許容しながら、電子デバイスのカメラのビューの現在の状態に関する連続的なフィードバック（例えば、ユーザがライブ通信セッションにおける他の参加者に示しているもの）がユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, in blocks 907, 908, 909, and 910, the device detects an input (e.g., 850H) (e.g., a horizontal finger drag) corresponding to the overflow region. In response to detecting the input corresponding to the overflow region, the device scrolls the overflow region (e.g., receives the input and scrolls the representations of the second plurality of participants in a first direction) to cease displaying (e.g., to hide) a subset of the representations of the second plurality of participants (e.g., 822G and 822H in FIGS. 8BJ-8BK). While scrolling the overflow region, the device maintains a representation of the view of the camera of the electronic device (e.g., 806) within the overflow region (e.g., FIGS. 8BJ-8BK). In some embodiments, scrolling the overflow region includes displaying an animation of one or more representations of the second plurality of participants that appear to scroll below the representation of the view of the camera of the device. Maintaining the display of a representation of the electronic device's camera view while scrolling the overflow region provides the user with continuous feedback regarding the current state of the electronic device's camera view (e.g., what the user is showing other participants in a live communication session) while allowing the user the ability to scroll through the participant representations in the overflow region. Providing the user with improved visual feedback enhances device usability and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック９１１、９１２、及び９１３では、オーバーフロー領域内の第２の複数の参加者の表現のうちのある表現（例えば、図８ＡＣの８２２Ｅ）の選択に対応する入力（例えば、８５０Ｆ）（例えば、オーバーフロー領域８２０内の表現に対応するタップジェスチャ、又はオーバーフロー領域８２０内の表現に対応する強度閾値を超える特性強度を有するジェスチャ）を検出する。オーバーフロー領域内の第２の複数の参加者の表現のうちのある表現の選択に対応する入力の検出に応じて、デバイスは、第１の複数の参加者の表現のうちのある表現（例えば、図８ＡＣの８１０Ｊ）の表示を、オーバーフロー領域内の選択された表現に対応する参加者の表現（例えば、図８ＡＥの８１０Ｋ）に置き換える（例えば、メイン表示における最近最もアクティブではない参加者を置き換える）。一部の実施形態では、第１の複数の参加者の表現のうちのある表現の表示を、オーバーフロー領域内の選択された表現に対応する参加者の表現に置き換えることは、オーバーフロー領域内の第２の複数の参加者の表現のうちの選択された表現の表示を中止することを含む。一部の実施形態では、オーバーフロー領域内の選択された表現の表示を中止することは、選択された表現が収縮するアニメーションを含む。一部の実施形態では、オーバーフロー領域内の他の表現は、選択された表現が表示されていた隙間を埋めるように平行移動される。一部の実施形態では、第１の複数の参加者の表現のうちのある表現の表示を、オーバーフロー領域内の選択された表現に対応する参加者の表現に置き換えることは、選択された表現に対応する参加者の表現を第１のサイズで表示した後に、選択された表現に対応する参加者の表現を、第１のサイズよりも大きな第２のサイズに拡大することを含む。一部の実施形態では、選択された参加者の表現は、キャンバス領域内の（キャンバス領域内で活動レベルが最も低い参加者に対応する）最小の表現を置き換えた後に、サイズが（例えば、中の表現サイズに）自動的に大きくなる一方、（キャンバス領域内で活動レベルが次に低い参加者に対応する）他の表現は、サイズが（例えば、小の表現サイズに）小さくなる。 Optionally, blocks 911, 912, and 913 detect an input (e.g., 850F) corresponding to a selection of a representation (e.g., 822E of FIG. 8AC) of the second plurality of participant representations in the overflow area (e.g., a tap gesture corresponding to the representation in the overflow area or a gesture having a characteristic intensity exceeding an intensity threshold corresponding to the representation in the overflow area). In response to detecting the input corresponding to a selection of a representation of the second plurality of participant representations in the overflow area, the device replaces the display of a representation (e.g., 810J of FIG. 8AC) of the first plurality of participant representations with a representation of the participant (e.g., 810K of FIG. 8AE) corresponding to the selected representation in the overflow area (e.g., replacing the least recently active participant in the main display). In some embodiments, replacing the display of a representation of the first plurality of participant representations with a representation of the participant corresponding to the selected representation in the overflow area includes ceasing display of the selected representation of the second plurality of participant representations in the overflow area. In some embodiments, ceasing to display the selected representation in the overflow area includes animating the selected representation to shrink. In some embodiments, other representations in the overflow area are translated to fill the gap where the selected representation was displayed. In some embodiments, replacing the display of a representation of the first plurality of participant representations with a representation of the participant corresponding to the selected representation in the overflow area includes displaying the representation of the participant corresponding to the selected representation at a first size and then enlarging the representation of the participant corresponding to the selected representation to a second size larger than the first size. In some embodiments, the representation of the selected participant automatically increases in size (e.g., to a medium representation size) after replacing the smallest representation in the canvas area (corresponding to the participant with the lowest activity level in the canvas area), while other representations (corresponding to participants with the next lowest activity level in the canvas area) decrease in size (e.g., to a small representation size).

オーバーフロー領域内の選択された表現に対応する表現の表示を置き換えること、及び／又はオーバーフロー領域内の選択された表現の表示を中止することにより、ＵＩを雑然とさせることなく追加制御オプションを提供し、表現をユーザの選択された表現にユーザが迅速に置き換えることを支援することによって、ユーザはデバイス及び表現の表示をよりコントロールすることができるようになる。表示される追加コントローラによってＵＩを雑然とさせることなく、追加制御できるようにすることにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Replacing the display of a representation corresponding to the selected representation in the overflow region and/or ceasing to display the selected representation in the overflow region provides additional control options without cluttering the UI and allows the user to have more control over the display of the device and representations by assisting the user in quickly replacing the representation with the user's selected representation. Providing additional control without cluttering the UI with additional displayed controls enhances usability of the device and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック９１４では、デバイスは、第１の複数の参加者の表現のうちのある表現に影響を与える第１のアニメーション効果を表示する（例えば、図８ＡＡ～図８ＡＣ）（例えば、表現は、任意選択的に「フラッシュ」効果を生じさせるクロスフェード及び色合を伴って、より大きくなった後に小さくなる）。任意選択的に、ブロック９１５では、デバイスは、第１のアニメーション効果とアニメーション特性を共有する、第２の複数の参加者の表現のうちの選択された表現に影響を与える第２のアニメーション効果を表示する（例えば、図８ＢＦ～図８ＢＨ）（例えば、メイン表示からのフェーディング／収縮のレートは、オーバーフロー表示の点滅レートに対応することができる）。第１のアニメーションに対応する第２のアニメーションを表示することにより、どの表現が切り替えられる及び／又は置き換えられるかを迅速に識別するための視覚的フィードバックが提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at block 914, the device displays a first animation effect affecting a representation of the first plurality of participants (e.g., FIGS. 8AA-8AC) (e.g., the representation gets larger and then smaller, optionally with a cross-fade and color shift to create a "flash" effect). Optionally, at block 915, the device displays a second animation effect affecting a selected representation of the second plurality of participants (e.g., FIGS. 8BF-8BH) that shares animation characteristics with the first animation effect (e.g., the rate of fading/shrinking from the main display may correspond to the blinking rate of the overflow display). Displaying a second animation corresponding to the first animation provides visual feedback to quickly identify which representation is being switched and/or replaced. Providing improved visual feedback to the user enhances the usability of the device, makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and also reduces the device's power usage and improves battery life by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック９１６では更に、オーバーフロー領域に対応する入力（例えば、８５０Ｈ）の検出に応じて、デバイスは、第２の複数の参加者の新規の（例えば、従前に隠れていた）表現（例えば、図８ＡＧ～図８ＡＨの８２２Ａ）をオーバーフロー領域に表示する。入力に応じて参加者の新規の表現をオーバーフロー領域に表示することにより、表示される表現のアクセス可能性を高めることによって、ユーザはより容易かつより効率的に表現を見ることができるようになる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, block 916 further includes, in response to detecting an input (e.g., 850H) corresponding to the overflow region, the device displays new (e.g., previously hidden) representations of the second plurality of participants in the overflow region (e.g., 822A in FIGS. 8AG-8AH). Displaying new representations of participants in the overflow region in response to the input increases the accessibility of the displayed representations, allowing the user to view the representations more easily and efficiently. Optimized operation without requiring further user input when a set of conditions is met enhances device usability and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック９１７では、新規の参加者がライブ通信セッションに参加した又は追加されたことを示すデータの受信に応じて、デバイスは、オーバーフロー領域内の第２の複数の参加者の一続きの表現の最後にて、新規の参加者の表現（例えば、図８Ｒの８２２Ｂ）をオーバーフロー領域に表示する。 Optionally, at block 917, in response to receiving data indicating that a new participant has joined or been added to the live communication session, the device displays a representation of the new participant (e.g., 822B in FIG. 8R) in the overflow area at the end of the series of representations of the second plurality of participants in the overflow area.

任意選択的に、ブロック９１８、９１９、９２０、及び９２１では、デバイスは、第２の複数の参加者における第１の参加者の活動（例えば、発話、移動）レベルに関する第２のデータを受信する。第２のデータの受信に応じて、デバイスは、第２の複数の参加者における第１の参加者の活動レベルが上昇することによって、オーバーフロー領域内の第２の複数の参加者の表現における第１の参加者の表現に対応する表現（例えば、図８Ｕの８２２Ｂ）の視覚特性（例えば、サイズ、ハイライト表現（例えば、表示境界）、アニメーション（例えば、脈動するアバター）、画像を前面に押し出す）を強調する（例えば、増加又は開始する）。第２のデータの受信に応じて、デバイスは、第２の複数の参加者における第１の参加者の活動レベルが低下することによって、オーバーフロー領域内の第２の複数の参加者の表現における第１の参加者に対応する表現の視覚特性（例えば、サイズ、ハイライト表現（例えば、表示境界）、アニメーション（例えば、脈動するアバター）が画像を前面に押し出す）の強調を抑える（例えば、増加又は開始する）。所定条件が満たされるときに視覚的表示を強調する及び／又は強調を抑えることにより、ユーザは、最もアクティブである及び／又は最もアクティブではない参加者を含む参加者の活動レベルを迅速に認識することができる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。加えて、所定条件が満たされるときに強調する及び／又は強調を抑えることにより、各参加者の活動レベルを示す視覚的フィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at blocks 918, 919, 920, and 921, the device receives second data regarding an activity (e.g., speaking, movement) level of a first participant in the second plurality of participants. In response to receiving the second data, the device enhances (e.g., increases or initiates) a visual characteristic (e.g., size, highlighted representation (e.g., display border), animation (e.g., pulsating avatar), image foreground) of a representation (e.g., 822B of FIG. 8U) corresponding to the first participant's representation in the representations of the second plurality of participants in the overflow area due to an increase in the activity level of the first participant in the second plurality of participants. In response to receiving the second data, the device de-emphasizes (e.g., increases or initiates) a visual characteristic (e.g., size, highlighted representation (e.g., display border), animation (e.g., pulsating avatar), image foreground) of a representation (e.g., 822B of FIG. 8U) corresponding to the first participant in the representations of the second plurality of participants in the overflow area due to a decrease in the activity level of the first participant in the second plurality of participants. By enhancing and/or de-emphasizing the visual indication when predetermined conditions are met, a user can quickly recognize the activity levels of participants, including the most and/or least active participants. Performing optimized operation without requiring further user input when a set of conditions is met enhances device usability, makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and also reduces device power usage and improves battery life by allowing users to use the device more quickly and efficiently. Additionally, by enhancing and/or de-emphasizing when predetermined conditions are met, visual feedback indicating each participant's activity level is provided to the user. Providing improved visual feedback to the user enhances device usability, makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and also reduces device power usage and improves battery life by allowing users to use the device more quickly and efficiently.

任意選択的に、ブロック９２２及び９２３では、ライブ通信ユーザインターフェースを表示している間に、デバイスは、第２の複数の参加者のうちの現在アクティブな参加者となる第２の参加者（例えば、最もアクティブな参加者、アクティブな参加者の基準のセットを満たすように発話している又は移動している参加者）を検出する。第２の複数の参加者のうちの現在アクティブな参加者となる第２の参加者を検出したことに応じて、かつ第２の複数の参加者のうちの第２の参加者の表現がオーバーフロー領域に現在表示されていないとの判定を受けて、デバイスは、第２の複数の参加者のうちの第２の参加者の表現（例えば、図８ＢＨ～図８ＢＩの８２２Ｆ）をオーバーフロー領域に表示するように、オーバーフロー領域をスクロールする。オーバーフロー領域にアクティブな参加者を表示するようにオーバーフロー領域を動的にスクロールすることにより、いかなる追加入力をも選択せずに、オーバーフロー領域においてアクティブな参加者の表現を見ることが可能になる。操作を行うために必要な入力の数が減ることにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, in blocks 922 and 923, while displaying the live communication user interface, the device detects a second participant from the second plurality of participants to be the currently active participant (e.g., the most active participant, the participant speaking or moving so as to meet a set of criteria for an active participant). In response to detecting the second participant from the second plurality of participants to be the currently active participant, and upon determining that a representation of the second participant from the second plurality of participants is not currently displayed in the overflow area, the device scrolls the overflow area to display a representation of the second participant from the second plurality of participants (e.g., 822F in Figures 8BH-8BI) in the overflow area. Dynamically scrolling the overflow area to display the active participants in the overflow area enables viewing of the representation of the active participant in the overflow area without selecting any additional input. Reducing the number of inputs required to perform an operation increases the usability of the device, makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and also reduces the device's power usage and improves battery life by allowing the user to use the device more quickly and efficiently.

ブロック９２４では、ライブ通信セッションが、参加者の閾数以下の参加者の数を含むとの判定を受けて、デバイスは、電子デバイスのユーザ以外の参加者の表現を、それぞれの閾値サイズ以下の１つ以上のサイズで表示することなく、それぞれの閾値サイズよりも大きな１つ以上のサイズで表示する（例えば、図８Ｐ）。一部の実施形態では、電子デバイスは、（例えば、ライブ通信セッション用のユーザインターフェースを表示するに先立って）ライブビデオ通信セッションの複数の参加者のそれぞれの参加者に関連する複数のライブメディアストリームを受信する。一部の実施形態では、受信したライブメディアストリームの数は、ライブビデオ通信セッションに現在参加している参加者の数に対応し、デバイスを使用している参加者を含まない。所定の条件が満たされるかに基づいて参加者の表現を異なるように表示する（例えば、ライブ通信セッションが参加者の数以下であるか否かに基づいて、オーバーフロー領域を伴わずに表現を表示する）ことにより、ユーザはライブ通信セッションにおける参加者の表現をより容易に又はより効率的に見ることができる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 At block 924, upon determining that the live communication session includes a number of participants equal to or less than the threshold number of participants, the device displays representations of participants other than the user of the electronic device at one or more sizes greater than the respective threshold sizes without displaying them at one or more sizes less than the respective threshold sizes (e.g., FIG. 8P). In some embodiments, the electronic device receives (e.g., prior to displaying a user interface for the live communication session) multiple live media streams associated with each of the multiple participants in the live video communication session. In some embodiments, the number of received live media streams corresponds to the number of participants currently participating in the live video communication session, not including the participant using the device. By displaying the representations of participants differently based on whether a predetermined condition is met (e.g., displaying a representation without an overflow area based on whether the live communication session is equal to or less than the number of participants), a user may more easily or more efficiently view the representations of participants in the live communication session. By performing optimized operations without requiring further user input when a set of conditions are met, the device's usability is enhanced, the user-device interface is made more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and the device's power usage is reduced and battery life is improved by allowing the user to use the device more quickly and efficiently.

一部の実施形態では、ライブ通信セッションにおける参加者の数が参加者の第２の閾数よりも少ないとの判定を受けて、リモート参加者（例えば、ユーザ以外の参加者）の複数の表現は、いずれも互いに重なり合わない（例えば、図８Ｊ）。一部の実施形態では、ライブ通信セッションにおける参加者の数が参加者の第２の閾数以上であるとの判定を受けて、リモート参加者（例えば、ユーザ以外の参加者）の複数の表現の少なくとも一部は、互いに重なり合う（例えば、図８Ｋ）。 In some embodiments, upon determining that the number of participants in the live communication session is less than a second threshold number of participants, none of the multiple representations of the remote participants (e.g., participants other than the user) overlap with one another (e.g., FIG. 8J). In some embodiments, upon determining that the number of participants in the live communication session is greater than or equal to the second threshold number of participants, at least some of the multiple representations of the remote participants (e.g., participants other than the user) overlap with one another (e.g., FIG. 8K).

任意選択的に、ブロック９２５及び９２６では、ライブ通信セッションにおける参加者の数が参加者の第２の閾数よりも少ない（例えば、電子デバイスのユーザを含む２人の参加者（例えば、他の１人の参加者））との判定を受けて、デバイスは、デバイスのユーザ以外の参加者の表現の少なくとも１つを第１のアスペクト比（例えば、図８Ｈの８１０Ｂ）（例えば、長方形のアスペクト比）で表示する。ライブ通信セッションにおける参加者の数が参加者の第２の閾数よりも多い（例えば、３人以上の参加者）との判定を受けて、デバイスは、デバイスのユーザ以外の参加者の表現の少なくとも１つを、第１のアスペクト比とは異なる第２のアスペクト比（例えば、正方形のアスペクト比）で表示する（例えば、図８Ｉの８１０Ｂ）。所定の条件が満たされることに基づき、ライブ通信セッションにおける参加者の数に基づいて異なるアスペクト比で参加者の表現を表示することにより、デバイスは表現及び／又は表現の編成のサイズを最大化することで参加者の数に基づいてより良好なユーザエクスペリエンスを提供することができ、インテリジェントなライブ通信ユーザインターフェースを提供することができるようになり、このことでユーザはデバイス上の表現をより容易かつより効率的に見ることができる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at blocks 925 and 926, upon determining that the number of participants in the live communication session is less than a second threshold number of participants (e.g., two participants including the user of the electronic device (e.g., one other participant)), the device displays at least one of the representations of participants other than the user of the device in a first aspect ratio (e.g., 810B of FIG. 8H) (e.g., a rectangular aspect ratio). Upon determining that the number of participants in the live communication session is greater than a second threshold number of participants (e.g., three or more participants), the device displays at least one of the representations of participants other than the user of the device in a second aspect ratio (e.g., a square aspect ratio) different from the first aspect ratio (e.g., 810B of FIG. 8I). By displaying representations of participants in different aspect ratios based on the number of participants in a live communication session based on the satisfaction of predetermined conditions, the device can provide a better user experience based on the number of participants by maximizing the size of the representations and/or the organization of representations, and can provide an intelligent live communication user interface, allowing users to view the representations on the device more easily and efficiently. Performing optimized operation without requiring further user input when a set of conditions is met enhances device usability and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing users to use the device more quickly and efficiently.

任意選択的に、ブロック９２７及び９２８では、ライブ通信セッションにおける参加者の数が参加者の第２の閾数よりも少ない（例えば、２人の参加者）との判定を受けて、デバイスは、デバイスのカメラのビュー（例えば、デバイスのカメラからのセルフビュー）の表現を第３のアスペクト比（例えば、長方形のアスペクト比）で表示する（例えば、図８Ｈの８０６）。ライブ通信セッションにおける参加者の数が参加者の第２の閾数以上である（例えば、３人以上の参加者）との判定を受けて、デバイスは、デバイスのカメラのビュー（例えば、デバイスのカメラからのセルフビュー）の表現を、第３のアスペクト比とは異なる第４のアスペクト比（例えば、正方形のアスペクト比）で表示する（例えば、図８Ｊの８０６）。所定の条件が満たされることに基づき、ライブ通信セッションにおける参加者の数に基づいて異なるアスペクト比でデバイスのカメラのビューの表現を表示することにより、デバイスは、ユーザに対するカメラのビューの表現のサイズを最大化し、ユーザがデバイス上の表現をより容易かつより効率的に見ることができるようにすることによって、インテリジェントなライブ通信ユーザインターフェースを提供することができる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at blocks 927 and 928, upon determining that the number of participants in the live communication session is less than a second threshold number of participants (e.g., two participants), the device displays a representation of the device's camera view (e.g., a self-view from the device's camera) in a third aspect ratio (e.g., a rectangular aspect ratio) (e.g., 806 in FIG. 8H). Upon determining that the number of participants in the live communication session is equal to or greater than the second threshold number of participants (e.g., three or more participants), the device displays a representation of the device's camera view (e.g., a self-view from the device's camera) in a fourth aspect ratio (e.g., a square aspect ratio) that is different from the third aspect ratio (e.g., 806 in FIG. 8J). By displaying the representation of the device's camera view in different aspect ratios based on the number of participants in the live communication session based on a predetermined condition being met, the device can provide an intelligent live communication user interface by maximizing the size of the representation of the camera view to the user, allowing the user to view the representation on the device more easily and efficiently. By performing optimized operations without requiring further user input when a set of conditions are met, the device's usability is enhanced, the user-device interface is made more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and the device's power usage is reduced and battery life is improved by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック９２９及び９３０では、ライブ通信セッションにおける参加者の数が第１の数の参加者となることを受けて、デバイスは、参加者の表現を第１のレイアウト（例えば、配置又はパターン）で表示する（例えば、図８Ｊ）。一部の実施形態では、第１のレイアウトは、ユーザの表現がユーザインターフェースの様々な位置に固定される、複数の所定レイアウトのうちの１つ（例えば、ランダムに選択されるレイアウト）である。一部の実施形態では、（例えば、デバイスのユーザ以外の）第１の複数の参加者の表現のレイアウト（例えば、配置）は、ライブ通信セッションにおける参加者の数に基づいて決定される。ライブ通信セッションにおける参加者の数が第２の数の参加者となることを受けて、デバイスは、参加者の表現を、第２のレイアウトとは異なる第２のレイアウトで表示する（例えば、図８Ｋ）（例えば、参加者がライブ通信セッションに参加する／から退出すると、レイアウトが変更される）。一部の実施形態では、第１のレイアウト及び第２のレイアウトは、ユーザの表現の類似する相対配置を有する所定レイアウトのファミリーに含まれる。（例えば、所定レイアウトのファミリーは、一緒にうまく機能するレイアウトを含む）。一部の実施形態では、所定レイアウトのファミリーは、複数の可能な参加者数用のレイアウト要素（例えば、デバイスのユーザ以外の１人の参加者用の第１の要素（例えば、１アップレイアウト）、デバイスのユーザ以外の２人の参加者用の第２の要素（例えば、２アップレイアウト）などを含む。一部の実施形態では、電子デバイスは、所定レイアウトの複数のファミリーを含み、各ファミリーの要素は、共通の特性を共有する。ユーザの数に基づいてユーザの表現の類似する相対配置を有する異なるレイアウトで表現を表示することにより、ユーザは、高い視認性で、より容易かつより効率的に表現を見ることができる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at blocks 929 and 930, in response to the number of participants in the live communication session reaching a first number of participants, the device displays representations of the participants in a first layout (e.g., arrangement or pattern) (e.g., FIG. 8J). In some embodiments, the first layout is one of a plurality of predefined layouts (e.g., a randomly selected layout) in which user representations are fixed at various positions on the user interface. In some embodiments, the layout (e.g., arrangement) of the representations of the first plurality of participants (e.g., other than the user of the device) is determined based on the number of participants in the live communication session. In response to the number of participants in the live communication session reaching a second number of participants, the device displays representations of the participants in a second layout (e.g., FIG. 8K) that is different from the second layout (e.g., the layout changes as participants join/leave the live communication session). In some embodiments, the first layout and the second layout are included in a family of predefined layouts having similar relative arrangements of user representations (e.g., a family of predefined layouts includes layouts that work well together). In some embodiments, a family of predefined layouts includes layout elements for multiple possible numbers of participants (e.g., a first element for one participant other than the user of the device (e.g., a 1-up layout), a second element for two participants other than the user of the device (e.g., a 2-up layout), etc.). In some embodiments, an electronic device includes multiple families of predefined layouts, with the elements of each family sharing a common characteristic. By displaying representations in different layouts with similar relative placement of users' representations based on the number of users, users can view the representations more easily and efficiently with high visibility. By performing optimized operation without requiring further user input when a set of conditions is met, the device's usability is enhanced and the user-device interface is made more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing users to use the device more quickly and efficiently.

任意選択的に、ブロック９３１、９３２、９２３及び９３４では、デバイスのユーザ以外の参加者の表現を表示している間に、デバイスは、ライブ通信セッションにおける参加者の数が増えたことを示すデータを受信する。ライブ通信セッションにおける参加者の数が増えたことを示すデータの受信に応じて、デバイスは、デバイスのユーザ以外の参加者の表現の１つ以上のサイズを小さくする（例えば、図８Ｊ～図８Ｋ）。ライブ通信セッションにおける参加者の数が増えたことを示すデータの受信に応じて、デバイスは、ライブ通信セッションにおける新規の参加者（例えば、元の表示よりも前に、最近グループに参加したばかりの参加者）の１人以上の表現を表示する（例えば、図８Ｊ～図８Ｋ）。 Optionally, at blocks 931, 932, 923, and 934, while displaying representations of participants other than the device user, the device receives data indicating that the number of participants in the live communication session has increased. In response to receiving the data indicating that the number of participants in the live communication session has increased, the device reduces the size of one or more of the representations of participants other than the device user (e.g., FIGS. 8J-8K). In response to receiving the data indicating that the number of participants in the live communication session has increased, the device displays one or more representations of new participants in the live communication session (e.g., participants who recently joined the group prior to the original display) (e.g., FIGS. 8J-8K).

１つ以上の表現のサイズを小さくし、新規の表現を表示することにより、ライブ通信セッションの現在の状態に関するフィードバックがユーザに提供され、新規の参加者がライブ通信に参加したことを示す視覚的フィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Reducing the size of one or more representations and displaying new representations provides the user with feedback regarding the current state of the live communication session and provides the user with visual feedback indicating that a new participant has joined the live communication. Providing the user with improved visual feedback enhances usability of the device and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック９３５及び９３６では、デバイスは、第１のリマインダアフォーダンス（例えば、８０８）の選択に対応する入力（例えば、８５０Ｂ）を受ける。第１のリマインダアフォーダンスの選択に対応する入力を受けたことに応じて、デバイスは、第１の参加者に送られた従前の通知とは異なる新規の通知（例えば、通話、着信音など）を第１の参加者に送る（例えば、第２の通知は、第１の通知よりも干渉性が高い）。リマインダアフォーダンスの選択に対応する入力を受けたことに応じて、その参加者に送られた従前の通知とは異なる通知を第１の参加者に送ることにより、操作を行うために必要な入力の数が減る。操作を行うために必要な入力の数（例えば、ユーザが参加者にリマインドするのに必要なオプションの数）を減らすことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。加えて、更なるユーザ入力を伴わずに、第１の通知とは異なる通知を送るなどの動作を自動的に行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, in blocks 935 and 936, the device receives input (e.g., 850B) corresponding to selection of a first reminder affordance (e.g., 808). In response to receiving the input corresponding to selection of the first reminder affordance, the device sends a new notification (e.g., a phone call, a ringtone, etc.) to the first participant that differs from a previous notification sent to the first participant (e.g., the second notification is more intrusive than the first notification). By sending a notification to the first participant that differs from a previous notification sent to the participant in response to receiving the input corresponding to selection of the reminder affordance, the number of inputs required to perform an operation is reduced. Reducing the number of inputs required to perform an operation (e.g., the number of options a user needs to remind a participant) enhances device usability and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing users to use the device more quickly and efficiently. Additionally, automatically performing an action such as sending a different notification from the first notification without further user input enhances the usability of the device, making the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and also reducing power usage and improving battery life of the device by allowing the user to use the device more quickly and efficiently.

プレースホルダと第１の複数の参加者の表現とが第１のレイアウトで配置される実施形態では、任意選択的に、ブロック９３７、９３８及び９３９では、デバイスは、第１の参加者がライブ通信セッションに所定時間の間に参加しなかった（例えば、所定時間後にライブ通信に参加していない）との判定を受けて、プレースホルダの表示を中止する（図８Ｅ及び図８Ｆ）。更に、第１の参加者がライブ通信セッションに所定時間の間に参加しなかったとの判定を受けて、デバイスは、第１の複数の参加者の表現の配置を、第１のレイアウトとは異なる第２のレイアウトに変更する（例えば、参加者の表現の１つ以上を拡大及び／又は移動することを含む（例えば、第１の参加者がレイアウトに含まれないレイアウトを表示する）。一部の実施形態では、デバイスは、第１の参加者がライブ通信セッションに所定時間の間に参加しなかったとの判定を行うために、サーバ又は他の装置からデータを受信する。一部の実施形態では、デバイスは、ユーザのいかなる表現をも表示しなかったことを理由に、第１の参加者がライブ通信セッションに所定時間の間に参加しなかったとの判定を行うことができる。所定条件が満たされるときに、プレースホルダの表示を中止し、表現の配置を変更することにより、ユーザは、表示されている参加者及び／又はプレースホルダの視認性を最大化しながら、他のユーザが通話に参加するとき又は参加しないときを迅速に認識することができる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。加えて、プレースホルダの表示を中止し、表示の配置を変更することにより、ライブ通信セッションの現在の状態に関するフィードバックがユーザに提供され、通知及び／又はライブ通信セッションに関連する特定の動作が行われることを示す視覚的フィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 In an embodiment in which the placeholders and representations of the first plurality of participants are arranged in a first layout, optionally, in blocks 937, 938, and 939, the device ceases displaying the placeholders upon determining that the first participant has not joined the live communication session for a predetermined time (e.g., has not joined the live communication after a predetermined time) (Figures 8E and 8F). Further, upon determining that the first participant has not joined the live communication session for a predetermined time, the device changes the arrangement of the representations of the first of the plurality of participants to a second layout different from the first layout (e.g., including enlarging and/or moving one or more of the participant representations (e.g., displaying a layout in which the first participant is not included in the layout)). In some embodiments, the device receives data from a server or other device to make the determination that the first participant has not joined the live communication session for a predetermined time. In some embodiments, the device may make the determination that the first participant has not joined the live communication session for a predetermined time because it has not displayed any representations of the user. By ceasing to display placeholders and changing the arrangement of representations when predetermined conditions are met, a user can quickly recognize when other users are joining or not joining the call while maximizing the visibility of displayed participants and/or placeholders. By performing an optimized operation when a set of conditions is met without requiring further user input, the device The device's usability is enhanced, the user-device interface is made more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and by allowing the user to use the device more quickly and efficiently, the device's power usage is reduced and battery life is improved. Additionally, by ceasing the display of placeholders and rearranging the display, feedback is provided to the user regarding the current state of the live communication session, and notifications and/or visual feedback is provided to the user indicating that a specific action related to the live communication session will be performed. Providing the user with improved visual feedback enhances the device's usability and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and by allowing the user to use the device more quickly and efficiently, the device's power usage is reduced and battery life is improved.

任意選択的に、ブロック９４０では、第１の参加者がライブ通信セッションに参加したとの判定を受けて、デバイスは、第１の参加者の表現を伴う第１のプレースホルダの表示を修正する（例えば、図８Ｃ～図８Ｄの８１０Ｂ）（例えば、プレースホルダは参加者の名前を伴うことができる）。一部の実施形態では、デバイスは、この判定を行うためのデータをサーバ又は他の装置から受信することができる。一部の実施形態では、デバイスは、ユーザのいかなる表現も表示していないために、この判定を行うことができる。一部の実施形態では、アニメーションが生じる。参加者の表現を伴う第１のプレースホルダの表示を修正することにより、ユーザはどのユーザが通話に参加したかを迅速に認識することができ、ライブ通信セッションの現在の状態に関するフィードバックがユーザに提供され、通知及び／又はライブ通信セッションに関連する特定の動作が行われることを示す視覚的フィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at block 940, upon determining that a first participant has joined the live communication session, the device modifies the display of a first placeholder (e.g., 810B in FIGS. 8C-8D) with a representation of the first participant (e.g., the placeholder may be accompanied by the participant's name). In some embodiments, the device may receive data from a server or other device to make this determination. In some embodiments, the device may make this determination because it is not displaying any representation of the user. In some embodiments, animation occurs. Modifying the display of the first placeholder with the representation of the participants allows the user to quickly recognize which users have joined the call, provides the user with feedback regarding the current state of the live communication session, and provides the user with notifications and/or visual feedback indicating that a specific action related to the live communication session will be taken. Providing improved visual feedback to the user enhances the usability of the device, makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and also reduces the device's power usage and improves battery life by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック９４１及び９４２では、ライブ通信セッションにおける複数の参加者の表現を表示している間に、デバイスは、ライブ通信セッションにおける参加者の数の変化を検出する。ライブ通信セッションにおける参加者の数の変化の検出に応じて、ライブ通信セッションにおける参加者の数が変化したことを示す通知（例えば、８１２）を表示する。一部の実施形態では、参加者がライブ通信セッションから退出するときの通知は、退出する参加者の表現がプレースホルダのグラフィック（例えば、参加者の名前又はイニシャルを含むグラフィック）に置き換えられ、その後（例えば、所定時間後）に消える、アニメーションである。一部の実施形態では、新規の参加者がライブ通信セッションに参加するときの通知は、後に（例えば、所定時間後に）新規の参加者の表現（例えば、新規の参加者のデバイスから送信されるビデオデータに基づく表現）に置き換えられる、新規の参加者用のプレースホルダ（例えば、参加者の名前又はイニシャルを含むグラフィック）の表示である。一部の実施形態では、ライブ通信セッションにおける参加者の数が変化したことを示す通知は、ライブ通信セッションに参加している参加者の数が参加者の閾数を超えているとの判定を受けて表示される（例えば、オーバーフロー領域が、表現の所定の最大数（例えば、電子デバイスのユーザ以外に３つ又は４つの表現よりも多くを含むとき）。一部の実施形態では、デバイスは、ライブ通信セッションにおける参加者の数が変化したとの通知を表示しないで済ます（例えば、通知は、新規に参加した参加者の表現の表示、又はセッションから退出した参加者の表現の表示の削除など、参加者がライブ通信セッションに参加した又はセッションから退出したとの別の可視表示があるときには表示されない）。一部の実施形態では、デバイスは、通知を表示せずに（例えば、参加者がライブ通信セッションに参加した又はセッションから退出したとの可視表示がないときに）、ライブ通信セッションにおける参加者の数が変化したことを示すオーディオ出力を提供する。一部の実施形態では、通知は、ライブ通信セッションに参加した又はセッションから退出した参加者の表示（例えば、名前）を含む。一部の実施形態では、閾値時間内に複数の参加者がライブ通信セッションに参加した及び／又はセッションから退出した場合、デバイスは、閾値時間内にライブ通信セッションに参加した及び／又はセッションから退出した参加者の数を示す単一の通知を生成する。一部の実施形態では、ライブ通信セッションに参加する参加者及びライブ通信セッションから退出する参加者は、別々の通知にグループ化される。一部の実施形態では、参加者がライブ通信セッションから退出する又はセッションに参加するときに、デバイスは、ライブ通信セッションに参加する及び／又はセッションから退出する追加参加者に関する情報を通知が含むべきかを判定するために、閾値時間が経過するまで通知の表示を遅らせる。ライブ通信セッションにおける参加者の数が変化したことを示す通知を表示することにより、ライブ通信セッションにおける参加者の数の現在の状態に関するフィードバックがユーザに提供され、ライブ通信セッションにおける参加者の数に変化が生じたことを示す視覚的フィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, in blocks 941 and 942, while displaying representations of multiple participants in the live communication session, the device detects a change in the number of participants in the live communication session. In response to detecting a change in the number of participants in the live communication session, a notification (e.g., 812) is displayed indicating that the number of participants in the live communication session has changed. In some embodiments, the notification when a participant leaves the live communication session is an animation in which the representation of the leaving participant is replaced with a placeholder graphic (e.g., a graphic including the participant's name or initials) that then disappears (e.g., after a predetermined time). In some embodiments, the notification when a new participant joins the live communication session is the display of a placeholder for the new participant (e.g., a graphic including the participant's name or initials) that is later (e.g., after a predetermined time) replaced with a representation of the new participant (e.g., a representation based on video data transmitted from the new participant's device). In some embodiments, a notification indicating that the number of participants in the live communication session has changed is displayed upon determining that the number of participants participating in the live communication session exceeds a threshold number of participants (e.g., when the overflow area includes more than a predetermined maximum number of representations (e.g., three or four representations other than the user of the electronic device)). In some embodiments, the device may refrain from displaying a notification that the number of participants in the live communication session has changed (e.g., the notification is not displayed when there is another visual indication that a participant has joined or left the live communication session, such as displaying a representation of a newly joined participant or removing a representation of a participant who has left the session). In some embodiments, the device provides an audio output indicating that the number of participants in the live communication session has changed without displaying a notification (e.g., when there is no visual indication that a participant has joined or left the live communication session). In some embodiments, the notification includes an indication (e.g., name) of the participants who have joined or left the live communication session. In some embodiments, if multiple participants have joined and/or left the live communication session within the threshold time, the device may select a participant who has joined the live communication session within the threshold time. In some embodiments, participants joining and participants leaving the live communication session are grouped into separate notifications. In some embodiments, when a participant leaves or joins the live communication session, the device delays displaying the notification until a threshold time has elapsed to determine whether the notification should include information about additional participants joining and/or leaving the live communication session. Displaying a notification indicating that the number of participants in the live communication session has changed provides the user with feedback regarding the current state of the number of participants in the live communication session and provides the user with visual feedback indicating that a change has occurred in the number of participants in the live communication session. Providing the user with improved visual feedback enhances device usability and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック９４３、９４４、９４５及び９４６では、デバイスは、ライブ通信セッションにおける複数の参加者の表現の一部として、デバイスのカメラのビュー（例えば、セルフビュー）の表現を第１のサイズで表示する（例えば、図８ＡＨの８０６）。ライブ通信セッションにおける複数の参加者の表現を表示している間に、デバイスは、第１のメニュー（例えば、８３２）を表示するための選択に対応する第１の入力（例えば、８５０Ｉ）（例えば、背景上の単一のタップ又は上方向スワイプに基づいてトリガされる）を受ける。第１のメニューを表示するための選択に対応する入力を受けたことに応じて、デバイスは、ライブ通信ユーザインターフェース（例えば、８０４）に第１のメニュー（例えば、通話コントロールメニュー８３２）を表示し、第１のメニューは、ライブ通信セッションにおける参加者の表現上に視覚的効果（例えば、創作カメラ）を表示するためのオプション（例えば、８３６）を含む。一部の実施形態では、メニューは、（例えば、前面カメラから背面カメラへの）通話切替カメラを終了するためなどの他のオプションを含む。視覚的効果（例えば、８４２）を表示するためのオプションの選択に対応する第２の入力（例えば、８５０Ｋ）を受けたことに応じて、デバイスは、デバイスのカメラのビューの表現（例えば、８４２）を、第１のサイズよりも大きい第２のサイズで（例えば、参加者の表現上にオーバーレイするように）表示する。 Optionally, at blocks 943, 944, 945, and 946, the device displays a representation of the device's camera view (e.g., self-view) at a first size as part of the representations of the participants in the live communication session (e.g., 806 in FIG. 8AH). While displaying the representations of the participants in the live communication session, the device receives a first input (e.g., 850I) (e.g., triggered based on a single tap or an upward swipe on the background) corresponding to a selection to display a first menu (e.g., 832). In response to receiving the input corresponding to a selection to display the first menu, the device displays a first menu (e.g., call control menu 832) in the live communication user interface (e.g., 804), the first menu including an option (e.g., 836) for displaying a visual effect (e.g., a creative camera) on the representations of the participants in the live communication session. In some embodiments, the menu includes other options, such as for terminating the mid-call camera (e.g., from the front-facing camera to the back-facing camera). In response to receiving a second input (e.g., 850K) corresponding to a selection of an option to display a visual effect (e.g., 842), the device displays a representation of the device's camera's view (e.g., 842) at a second size larger than the first size (e.g., overlaid on a representation of a participant).

任意選択的に、ブロック９４７、９４８及び９４９では、デバイスは、ライブ通信セッションにおける複数の参加者の表現のうちの第１の表現（例えば、図８Ｌの８１０Ｆ）を拡大するための選択に対応する第３の入力（例えば、８５０Ｃ）（例えば、メイン領域内の表現上のダブルタップ、又は強度閾値を超える特性強度を有する入力）を受ける。ライブ通信セッションにおける複数の参加者の表現のうちの第１の表現を拡大するための選択に対応する第３の入力を受けたことに応じて、デバイスは、第１の表現を拡大する（例えば、図８Ｍの８１０Ｆ）。デバイスは、ライブ通信ユーザインターフェースにおいて複数の参加者の表現のうちの第１の表現とは異なる少なくとも１つの表現（例えば、図８Ｌ～図８Ｍの８１０Ｅ）のサイズを小さくする。表示される表現のセットにおける１つ以上の表現のサイズを動的に小さくし、選択された表現を拡大することにより、ユーザが、縮小される表現を最小限にしながら、拡大された表現に着目し、同表現を容易に見ることができる、改善されたフィードバックが提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at blocks 947, 948, and 949, the device receives a third input (e.g., 850C) (e.g., a double tap on the representation in the main area or an input having a characteristic intensity above an intensity threshold) corresponding to a selection to enlarge a first one of the representations of the multiple participants in the live communication session (e.g., 810F in FIG. 8L). In response to receiving the third input corresponding to a selection to enlarge a first one of the representations of the multiple participants in the live communication session, the device enlarges the first representation (e.g., 810F in FIG. 8M). The device reduces the size of at least one representation (e.g., 810E in FIGS. 8L-8M) in the live communication user interface that is different from the first one of the representations of the multiple participants. Dynamically reducing the size of one or more representations in the set of displayed representations and enlarging the selected representation provides improved feedback that allows the user to focus on and easily view the enlarged representation while minimizing the representations that are reduced in size. Providing improved visual feedback to the user enhances the usability of the device, makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and also reduces the device's power usage and improves battery life by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック９５０、９５１、９５２及び９５３では、デバイスは、電子デバイスの向きの変化（例えば、第１の方向へ（例えば、時計回りで９０度の変化））を示すデータを受信する。電子デバイスの向きの変化を示すデータの受信に応じて、デバイスは、（例えば、第２の方向へ（例えば、画像を直立に維持するように、第１の方向とは反対方向へ））ライブ通信セッションにおける複数の参加者の表現の表示を回転させる（例えば、図８Ｗ～図８Ｘ）。デバイスは、表示を回転させる間、ライブ通信セッションにおける複数の参加者の表現の従前の表示の相対的な特性（例えば、他の表示の、ユーザインターフェースオブジェクト（例えば、表現）のサイズ、位置、配置等）を維持する。特定の条件（例えば、ユーザがデバイスを回転していることを示すデータ）が満たされるときに、デバイスを自動的に回転させ、従前に表示された表現の相対的な特性を維持することにより、ユーザは、表現の配置、サイズ、又は位置の変化を伴わずに、視覚的錯乱を最小限にして、回転された表現を従前と同じ表示位置で見ることができる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, in blocks 950, 951, 952, and 953, the device receives data indicating a change in orientation of the electronic device (e.g., in a first direction (e.g., a 90-degree clockwise change)). In response to receiving the data indicating a change in orientation of the electronic device, the device rotates a display of representations of multiple participants in the live communication session (e.g., in a second direction (e.g., opposite the first direction so as to maintain the images upright)) (e.g., Figures 8W-8X). While rotating the display, the device maintains the relative characteristics of previous displays of the representations of the multiple participants in the live communication session (e.g., the size, position, arrangement, etc., of user interface objects (e.g., representations) of other displays). By automatically rotating the device and maintaining the relative characteristics of the previously displayed representations when certain conditions are met (e.g., data indicating that the user is rotating the device), the user can view the rotated representations in the same display position as before, with minimal visual clutter, and without any change in the arrangement, size, or position of the representations. By performing optimized operations without requiring further user input when a set of conditions are met, the device's usability is enhanced, the user-device interface is made more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and the device's power usage is reduced and battery life is improved by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック９５４では、電子デバイスの向きの変化（例えば、縦置きの向きから横置きの向きへ）を示す第１のデータの受信に応じて、デバイスは、ライブ通信セッションにおける複数の参加者の表現のうちの第１の表現の表示を、第１の表現内の顔の位置に基づいて変更する（例えば、図８ＡＺ～図８ＢＡの８２２Ｃ）（例えば、表現が正方形ではない場合、縦置きの表現（参加者の顔は、表現の上部に偏ることがある）から横置きの表現に移るときに、参加者の顔が表現の中心となるように表示を調整する）。 Optionally, at block 954, in response to receiving first data indicating a change in orientation of the electronic device (e.g., from portrait orientation to landscape orientation), the device modifies the display of a first representation of a plurality of participant representations in the live communication session based on the position of the face within the first representation (e.g., 822C in Figures 8AZ-8BA) (e.g., adjusting the display so that the participant's face is centered in the representation when moving from a portrait representation (where the participant's face may be biased toward the top of the representation) to a landscape representation if the representation is not square).

任意選択的に、ブロック９５５及び９５６では、複数の参加者の表現のうちの第２の表現を表示している間に、デバイスは、ライブ通信セッションにおける複数の参加者の表現のうちの少なくとも１つの表現のアスペクト比を変更するための要求を受ける。ライブ通信セッションにおける複数の参加者の表現のうちの少なくとも１つの表現のアスペクト比を変更するための要求を受けたことに応じて、デバイスは、第２の表現のアスペクト比を第６のアスペクト比から第７のアスペクト比（例えば、正方形又は円形のアスペクト比）に変更するが、第２の表現は、第７のアスペクト比である間は、電子デバイスにより受信されるライブメディアストリームの第２の部分（例えば、第１の部分よりも少ない部分、トリミングされた部分）を含み、第２の部分は、ライブメディアストリーム中で検出される顔を含むように選択される（例えば、図８ＡＺ～図８ＢＡの８２２Ｃ）。一部の実施形態では、電子デバイスは、ライブビデオフィードに基づいて表現のアスペクト比を変更し、検出される顔が表現からトリミングされて失われないように、ライブビデオフィードのうちの検出される顔を含む部分を選択することによって、ライブビデオフィードの一部分をトリミングする。参加者の表現内に顔のビューを維持することにより、アスペクト比を変更するときにユーザに他の参加者の顔を見ることを可能にさせるフィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at blocks 955 and 956, while displaying a second representation of the representations of the plurality of participants, the device receives a request to change the aspect ratio of at least one representation of the representations of the plurality of participants in the live communication session. In response to receiving the request to change the aspect ratio of at least one representation of the representations of the plurality of participants in the live communication session, the device changes the aspect ratio of the second representation from the sixth aspect ratio to a seventh aspect ratio (e.g., a square or circular aspect ratio), while the second representation, while in the seventh aspect ratio, includes a second portion (e.g., a smaller portion than the first portion, a cropped portion) of the live media stream received by the electronic device, the second portion being selected to include a face detected in the live media stream (e.g., 822C in FIGS. 8AZ-8BA). In some embodiments, the electronic device crops a portion of the live video feed by changing the aspect ratio of the representation based on the live video feed and selecting a portion of the live video feed that includes the detected face so that the detected face is not cropped out of the representation. Maintaining a view of the face within the participant's representation provides feedback to the user that allows the user to see the faces of other participants when changing the aspect ratio. Providing improved visual feedback to the user enhances device usability and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック９５７、９５８、９５９、９６０、及び９６１では、ライブ通信セッションにおける複数の参加者の表現を表示している間に、デバイスは、メニュー（例えば、８３２）を表示するための要求に対応する第４の入力（例えば、８５０Ｉ）（例えば、背景上の単一のタップ又は上方向スワイプに基づいてトリガされる）を受ける。第４の入力を受けたことに応じて、デバイスは、ライブ通信セッション用のユーザインターフェースにメニュー（例えば、８３２）を表示する。デバイスは、（例えば、メニューを収容するために、メニューとの重なりを避けるために、）ライブ通信セッションにおける複数の参加者の表現のうちの少なくとも第３の表現（例えば、図８ＡＩの８１０Ｈ）を移動させる。デバイスは、（例えば、メニューを収容するために、メニューとの重なりを避けるために、）ライブ通信セッションにおける複数の参加者の表現のうちの少なくとも第４の表現（例えば、図８ＡＩの８１０Ｆ）（例えば、第３の表現と同じ表現、第３の表現とは異なる表現）のサイズを変更する。一部の実施形態では、表現は、画面の下部にメニューが表示されるときに上に移動され、サイズ変更される。一部の実施形態では、メニューを表示するときに、複数の表現のうちの少なくとも１つの表現がサイズ変更されない。一部の実施形態では、表現は、３つの所定の画像サイズを（例えば、「小」を１つ、「中」を２つ、及び「大」を１つ）有する表現であり、１つのサイズの表現（例えば、「中」画像（単数又は複数））のみがサイズ変更され、「小」及び「大」の表現は同じサイズに維持される。メニューを表示しているときに、１つ以上の表現を移動させ、ライブ通信セッションにおける１つ以上の表現のサイズを変更することにより、ライブ通信ユーザインターフェース内の表現の視認性を維持しながら追加制御オプションが提供される。表示される追加コントローラによってライブ通信ユーザインターフェースを雑然とさせることなく、追加制御オプションを提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, in blocks 957, 958, 959, 960, and 961, while displaying representations of the multiple participants in the live communication session, the device receives a fourth input (e.g., 850I) (e.g., triggered based on a single tap or an upward swipe on the background) corresponding to a request to display a menu (e.g., 832). In response to receiving the fourth input, the device displays the menu (e.g., 832) in a user interface for the live communication session. The device moves at least a third representation (e.g., 810H in FIG. 8AI) of the representations of the multiple participants in the live communication session (e.g., to accommodate the menu, to avoid overlap with the menu). The device resizes at least a fourth representation (e.g., 810F in FIG. 8AI) of the representations of the multiple participants in the live communication session (e.g., the same representation as the third representation, a different representation from the third representation) (e.g., to accommodate the menu, to avoid overlap with the menu). In some embodiments, the representations are moved up and resized when a menu is displayed at the bottom of the screen. In some embodiments, at least one of the representations is not resized when displaying a menu. In some embodiments, the representations have three predetermined image sizes (e.g., one "small," two "medium," and one "large"), and only one size of representation (e.g., the "medium" image(s)) is resized, while the "small" and "large" representations remain the same size. Moving one or more representations and resizing one or more representations in a live communication session when displaying a menu provides additional control options while maintaining visibility of the representations within the live communication user interface. Providing additional control options without cluttering the live communication user interface with additional displayed controls enhances device usability and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently.

一部の実施形態では、デバイスは、オーバーフロー領域に表される第２の複数の参加者における第１の参加者の活動レベルが、第１の複数の参加者の表現のうちの第１の表現に対応する参加者の活動レベルを超えて上昇する（例えば、オーバーフロー領域に表される参加者が、キャンバス領域に表される参加者のうちの１人の活動レベルを超えて活動レベルが上昇するように通話し始める）ことを示すデータを受信し、それに応じて、第１の複数の参加者の表現のうちの第１の表現の表示を、第２の複数の参加者における第１の参加者の表現に置き換え（例えば、キャンバス領域内で活動レベルが最も低い参加者を発話している参加者の表現に置き換え）、オーバーフロー領域内の第１の参加者の表現の表示を中止する。一部の実施形態では、オーバーフロー領域内の第１の参加者の表現の表示を中止することは、表現が収縮するアニメーションを含む。一部の実施形態では、オーバーフロー領域内の他の表現は、表現が表示されていた隙間を埋めるように平行移動される。一部の実施形態では、第１の複数の参加者の表現のうちの第１の表現の表示を置き換えることは、置き換えられた第１の表現に対応する参加者の表現をオーバーフロー領域に表示することを含む。 In some embodiments, the device receives data indicating that the activity level of a first participant in the second plurality of participants represented in the overflow area rises above the activity level of a participant corresponding to a first representation in the representations of the first plurality of participants (e.g., a participant represented in the overflow area begins speaking such that the activity level rises above the activity level of one of the participants represented in the canvas area), and in response, replaces the display of the first representation in the representations of the first plurality of participants with a representation of the first participant in the second plurality of participants (e.g., replaces the participant with the least active level in the canvas area with a representation of the speaking participant) and ceases displaying the representation of the first participant in the overflow area. In some embodiments, ceasing to display the representation of the first participant in the overflow area includes an animation of the representation shrinking. In some embodiments, other representations in the overflow area are translated to fill the gap where the representation was previously displayed. In some embodiments, replacing the display of the first representation in the representations of the first plurality of participants includes displaying a representation of the participant corresponding to the replaced first representation in the overflow area.

一部の実施形態では、ライブ通信セッションにおける複数の参加者の表現を表示している間に、デバイスは、メニューを表示するための要求に対応する入力を受ける。メニューを表示するための要求に対応する入力を受けたことに応じて、デバイスは、ライブ通信ユーザインターフェースにメニューを表示する。メニューは、コンテンツアイテム（例えば、ゲーム、ビデオ、スケッチ）を選択するためのオプションを含む。一部の実施形態では、デバイスは、コンテンツアイテムの選択に対応する入力を受け、コンテンツアイテムの選択に対応する入力を受けたことに応じて、デバイスは、それぞれの閾値サイズよりも大きなサイズで表示される参加者の表現（例えば、キャンバス領域内の参加者の表現）を、それぞれの閾値サイズよりも大きなサイズのコンテンツアイテムの表現に置き換える（例えば、コンテンツアイテムは、キャンバス領域内の位置のうちの１つに表示される）。 In some embodiments, while displaying representations of multiple participants in a live communication session, the device receives input corresponding to a request to display a menu. In response to receiving the input corresponding to the request to display the menu, the device displays a menu in the live communication user interface. The menu includes options for selecting a content item (e.g., a game, a video, a sketch). In some embodiments, the device receives input corresponding to the selection of the content item, and in response to receiving the input corresponding to the selection of the content item, the device replaces representations of participants displayed at a size larger than their respective threshold size (e.g., representations of participants in the canvas area) with representations of the content item at a size larger than their respective threshold size (e.g., the content item is displayed in one of the positions in the canvas area).

一部の実施形態では、第２の複数の参加者の表現をオーバーフロー領域に表示することは、第１の数の参加者（例えば、合計６人の参加者）がライブ通信セッションに参加しているとの判定を受けて、表現の第１のセット（例えば、最もアクティブではない参加者の表現と、デバイスのカメラのビューの表現とを含む、２つの表現）をオーバーフロー領域に表示し、第１の数の参加者とは異なる第２の数の参加者（例えば、合計７人の参加者）がライブ通信セッションに参加しているとの判定を受けて、表現の第１のセットとは異なる表現の第２のセット（例えば、最もアクティブではない２人の参加者の表現と、デバイスのカメラのビューの表現とを含む、３つの表現）をオーバーフロー領域に表示し、表現の第２のセットは、表現の第１のセットとは異なる数の表現を含む。 In some embodiments, displaying representations of a second plurality of participants in the overflow area includes: displaying a first set of representations (e.g., two representations including a representation of the least active participant and a representation of the device's camera view) in the overflow area in response to a determination that a first number of participants (e.g., a total of six participants) are participating in the live communication session; and displaying a second set of representations (e.g., three representations including a representation of the two least active participants and a representation of the device's camera view) in the overflow area in response to a determination that a second number of participants different from the first number of participants (e.g., a total of seven participants) are participating in the live communication session, the second set of representations including a different number of representations than the first set of representations.

なお、方法９００に関して前述した処理（例えば、図９Ａ～図９Ｋ）の詳細はまた、後述する／前述した方法にも、類似の方式で適用可能であることに留意されたい。例えば、方法９００は、任意選択的に、方法７００、１１００、１３００、及び１５００に関して前述した様々な方法の特性の１つ以上を含む。 Note that the details of the processes described above with respect to method 900 (e.g., FIGS. 9A-9K) are also applicable in a similar manner to the methods described below/above. For example, method 900 optionally includes one or more of the characteristics of the various methods described above with respect to methods 700, 1100, 1300, and 1500.

図１０Ａ～図１０Ｓは、一部の実施形態による、特に、ライブ通信セッションのユーザインターフェースを動的に調整する、例示的な技術を示す。これらの図のユーザインターフェースは、図１１Ａ～図１１Ｆの処理を含む後述する処理を示すために使用される。 Figures 10A-10S illustrate exemplary techniques, in particular for dynamically adjusting a user interface for a live communication session, according to some embodiments. The user interfaces in these figures are used to illustrate the processes described below, including the processes of Figures 11A-11F.

図１０Ａは、アクティブなライブ通信セッションのユーザインターフェース１０００を表示しているデバイス６００を示す。ユーザインターフェース１０００は、キャンバス領域１００１に表示されるライブ通信セッションの５人の参加者の表現を含む。表現１０１０Ａは、ライブ通信セッションに接続していない参加者用のプレースホルダを含む。表現１０１０Ｂは、オーディオデータのみを提供している参加者の代表画像を含む。表現１０１０Ｃ及び１０１０Ｄは、それぞれ２人の参加者からのライブビデオフィードを含む。表現１００２は、デバイス６００のカメラ６０３からのビューを含む。 FIG. 10A shows device 600 displaying user interface 1000 of an active live communication session. User interface 1000 includes representations of five participants in the live communication session displayed in canvas area 1001. Representation 1010A includes placeholders for participants not connected to the live communication session. Representation 1010B includes representative images of participants who are providing only audio data. Representations 1010C and 1010D each include live video feeds from two participants. Representation 1002 includes a view from camera 603 of device 600.

各参加者は、ユーザインターフェース１０００のレイアウトを決定するために使用される活動レベルを有する。一部の実施形態では、参加者の活動レベルは、参加者のデバイスから受信されるオーディオ及び／又はビデオフィード（例えば、ビデオフィード中の動き又は音）に基づく。一部の実施形態では、参加者の活動レベルは、参加者のデバイスから受信されるオーディオフィードからフィルタリングされたオーディオ（例えば、バックグラウンドノイズをフィルタリングしたオーディオ又は発話オーディオを分離／増幅するようにフィルタリングされたオーディオ）に基づく。一部の実施形態では、参加者の活動レベルは、参加者のデバイスから受信されるビデオフィードにおいて識別される、移動基準のセットを満たす移動（例えば、特定の種類の移動（手の移動、頭／顔の移動、背景の移動（例えば、参加者以外の移動）ではない移動）に基づく。 Each participant has an activity level that is used to determine the layout of the user interface 1000. In some embodiments, a participant's activity level is based on audio and/or video feeds received from the participant's device (e.g., movement or sounds in the video feed). In some embodiments, a participant's activity level is based on audio filtered from the audio feed received from the participant's device (e.g., audio filtered to remove background noise or audio filtered to isolate/amplify speech audio). In some embodiments, a participant's activity level is based on movements identified in the video feed received from the participant's device that meet a set of movement criteria (e.g., certain types of movements (hand movements, head/face movements, movements that are not background movements (e.g., movements of non-participants))).

一部の実施形態では、参加者の活動レベルは、第１の参加者のデバイスにて検出される活動を示すデータ（例えば、第１の参加者が、参加者のデバイスにてユーザインターフェースアクション（例えば、注目アフォーダンス又は視覚的効果アフォーダンスの選択）を行ったことを示すデータ）に基づく。一部の実施形態では、活動レベルは、外部の電子装置（例えば、サーバ）で決定された後にデバイス６００に送信される。 In some embodiments, the participant activity level is based on data indicative of activity detected at the first participant's device (e.g., data indicating that the first participant performed a user interface action (e.g., selecting an attention affordance or a visual effect affordance) at the participant's device). In some embodiments, the activity level is determined by an external electronic device (e.g., a server) and then transmitted to device 600.

図１０Ａに示すように、ライブ通信セッションの参加者の活動レベルは、表現で、最高から最低まで、表現１０１０Ｃ、表現１０１０Ｄ、表現１０１０Ｂ、及び表現１０１０Ａの順序となる。図１０Ａ～図１０Ｏの右側に示す表は参加者を最高から最低まで活動レベルの降順にリスト化しており、キャンバス領域１００１に表される参加者のうち、リストの先頭の参加者（１）が最も高い活動レベルを有し、リストの末尾の人（４）は最も低い活動レベルを有している。図１０Ａ～図１０Ｏでは、活動レベルが最も高い参加者に対応する表現は、キャンバス領域１００１内の最も大きな表現であり、キャンバス領域１００１に表される参加者のうちの活動レベルが最も低い参加者に対応する表現は、最も小さい。図１０Ａ～図１０Ｏでは、活動レベルが２番目に高い参加者及び３番目に高い参加者に対応する表現は、キャンバス領域１００１に表される参加者のうちの活動レベルが最も高い参加者の表現のサイズと、活動レベルが最も低い参加者の表現のサイズとの間のサイズである。 As shown in FIG. 10A, the activity levels of participants in a live communication session are represented by representations 1010C, 1010D, 1010B, and 1010A, ordered from highest to lowest. The table on the right side of FIGS. 10A-10O lists the participants in descending order of activity level, from highest to lowest, with the participant at the top of the list (1) having the highest activity level and the participant at the bottom of the list (4) having the lowest activity level among the participants represented in canvas area 1001. In FIGS. 10A-10O, the representation corresponding to the participant with the highest activity level is the largest representation in canvas area 1001, and the representation corresponding to the participant with the least activity level among the participants represented in canvas area 1001 is the smallest. In FIGS. 10A-10O, the representations corresponding to the second-highest and third-highest activity participants are sized between the representations of the participants with the highest and least activity levels represented in canvas area 1001.

一部の実施形態では、参加者の活動レベルは、他の参加者に対して変化する。ユーザインターフェース１０００を表示している間に、デバイス６００は、表現１０１０Ｂに対応する参加者Ｓｔｅｐｈｅｎの活動レベルが、表現１０１０Ｄに対応する参加者Ｎｉｃｈｏｌａｓの活動レベルを超えて上昇したことを示すデータを受信する。図１０Ｂに示すように、表現１０１０Ｂの活動レベルは、表現１０１０Ｄの活動レベルを超えて上昇するが、２番目に高い活動レベルを有するので、サイズが変化しない。図１０Ｂでは、参加者Ｓｔｅｐｈｅｎは発話し続け、活動レベルが最も高い参加者になる。これに応じて、図１０Ｃに示すように、表現１０１０Ｂのサイズは大きくなり、表現１０１０Ｃのサイズは小さくなり、表現１０１０Ａは（例えば、表現１００２Ｂのサイズの増加による表現１０１０Ｂとの過度な重なりを避けるように）右にシフトする。一部の実施形態では、デバイス６００は、ユーザインターフェース１０００上の３つ以上の表現のサイズ及び／又は位置を変更する。 In some embodiments, a participant's activity level changes relative to other participants. While displaying user interface 1000, device 600 receives data indicating that the activity level of participant Stephen, corresponding to representation 1010B, has increased above the activity level of participant Nicholas, corresponding to representation 1010D. As shown in FIG. 10B, the activity level of representation 1010B increases above the activity level of representation 1010D, but because it has the second-highest activity level, it does not change size. In FIG. 10B, participant Stephen continues to speak and becomes the participant with the highest activity level. In response, as shown in FIG. 10C, representation 1010B increases in size, representation 1010C decreases in size, and representation 1010A shifts to the right (e.g., to avoid excessive overlap with representation 1010B due to the increased size of representation 1010B). In some embodiments, device 600 changes the size and/or position of three or more representations on user interface 1000.

図１０Ｃに示すように、表現１０１０Ａ～１０１０Ｄは、互いに重なり合う。一部の実施形態では、１つ以上の表現１０１０Ａ～１０１０Ｄは、表現のサイズが大きくなるときに、参加者の顔を邪魔することを避ける、及び／又は所定の最大重なりを超える重なりが生じることを避けるために、サイズが縮小され、及び／又は移動される。一部の実施形態では、表現１０１０Ａ～１０１０Ｄの前後（別名、「ｚオーダー」）は、表現のサイズが大きくなるとき（例えば、参加者がアクティブに参加しているとき）に変化しない。一部の実施形態では、表現１０１０は、（例えば、対応する参加者による能動的な参加、又は表現を選択するデバイス６００でのユーザ入力（例えば、前述した図８Ｍのユーザ入力８５０Ｃに応じて））サイズを変更するときに１つ以上の表現の順序を変更する（例えば、後から前又は前から後に移動する）。例えば、一部の実施形態では、表現１０１０Ｂは、図１０Ｂ～図１０Ｃにおいてサイズが大きくなるときに、表現１０１０Ｃ及び／又は表現１０１０Ａの前に移動する。 As shown in FIG. 10C, representations 1010A-1010D overlap one another. In some embodiments, one or more of representations 1010A-1010D are reduced in size and/or moved to avoid obscuring participants' faces and/or to avoid overlapping beyond a predetermined maximum amount as the representations increase in size. In some embodiments, the front-to-back (a.k.a., "z-order") of representations 1010A-1010D does not change as the representations increase in size (e.g., when participants are actively participating). In some embodiments, representation 1010 changes the order of one or more representations (e.g., moves from back to front or front to back) as it resizes (e.g., in response to active participation by the corresponding participant or user input at device 600 selecting a representation (e.g., user input 850C of FIG. 8M described above)). For example, in some embodiments, representation 1010B moves in front of representation 1010C and/or representation 1010A as it increases in size in FIGS. 10B-10C.

一部の実施形態では、参加者の表現は、サイズ／又は位置を変更するときに、ディスプレイ６０２上のほぼ同じ領域に留まる。図１０Ａ～図１０Ｃに示すように、表現１０１０Ａ～１０１０Ｄがサイズ及び／又は位置を変更した後に、各表現は、サイズ及び／又は位置を変更するに先立って占めていた領域の少なくとも一部を占める。 In some embodiments, the representations of the participants remain in approximately the same area on the display 602 when they change size and/or position. As shown in FIGS. 10A-10C, after representations 1010A-1010D change size and/or position, each representation occupies at least a portion of the area it occupied prior to changing size and/or position.

図１０Ｄに目を向けると、表現１０１０Ｂの参加者Ｓｔｅｐｈｅｎは通話を止め始め、図１０Ｅに示すように、表現１０１０Ａのライブビデオフィード中の参加者が物理的に移動し始める。参加者の動きが、ライブビデオフィード中で検出される。一部の実施形態では、参加者のライブビデオフィード内で検出された動き（例えば、参加者の物理的移動を示す動き）に基づいて、参加者がライブ通信セッションに能動的に参加していると判定される。一部の実施形態では、参加者の移動は、参加者の活動レベルの上昇をもたらす。一部の実施形態では、動きが１つ以上の基準（例えば、継続時間、大きさ、方向、又は所定のジェスチャ）を満たすことによって、参加者が能動的に参加していると判定される。 Turning to FIG. 10D, participant Stephen in representation 1010B begins to hang up, and as shown in FIG. 10E, participants in the live video feed of representation 1010A begin to physically move. The participant's movements are detected in the live video feed. In some embodiments, a participant is determined to be actively participating in the live communication session based on movements detected in the participant's live video feed (e.g., movements indicative of the participant's physical movement). In some embodiments, the participant's movements result in an increase in the participant's activity level. In some embodiments, a participant is determined to be actively participating because the movements meet one or more criteria (e.g., duration, magnitude, direction, or a predetermined gesture).

図１０Ｆに示すように、表現１０１０Ａの参加者が能動的に参加していることを示すデータの受信に応じて、デバイス６００は、表現１０１０Ａのサイズを大きくし、表現１０１０Ｄのサイズを小さくする。表現１０１０Ｂは、同じ大きさのまま、下方に移動される。このようにして、表現１０１０Ａは最小の表現から中サイズの表現に移行し、表現１０１０Ｄは最小の表現に移行する。 As shown in FIG. 10F, in response to receiving data indicating that the participant in representation 1010A is actively participating, device 600 increases the size of representation 1010A and decreases the size of representation 1010D. Representation 1010B remains the same size but is moved downward. In this manner, representation 1010A transitions from a smallest representation to a medium-sized representation, and representation 1010D transitions to a smallest representation.

一部の実施形態では、表現１０１０Ａの参加者（例えば、活動レベルが最も低い参加者）が能動的に参加していることを示すデータの受信に応じて、デバイス６００は、表現１０１０Ａのサイズを最小の表現から最大の表現に大きくし、表現１０１０Ｂのサイズを小さくする。一部の実施形態では、表現１０１０Ａは、表現１０１０Ａに対応する参加者が、能動的に参加している直近の参加者になることによって、最小の表現から最大の表現に大きくなる。例えば、一部の実施形態では、表現１０１０Ａに対応する参加者が、能動的に参加する直近の参加者になることによって、デバイス６００は、図１０Ｅに示すレイアウト及び相対的な表現サイズから、図１０Ｇに示すレイアウト及び相対的な表現サイズに移行する（以下に記載する）。 In some embodiments, in response to receiving data indicating that the participant in representation 1010A (e.g., the participant with the lowest activity level) is actively participating, device 600 increases the size of representation 1010A from the smallest representation to the largest representation and decreases the size of representation 1010B. In some embodiments, representation 1010A increases from the smallest representation to the largest representation upon the participant corresponding to representation 1010A becoming the most recently actively participating participant. For example, in some embodiments, upon the participant corresponding to representation 1010A becoming the most recently actively participating participant, device 600 transitions from the layout and relative representation sizes shown in FIG. 10E to the layout and relative representation sizes shown in FIG. 10G (described below).

一部の実施形態では、参加者は、ライブ通信セッションに提供されるライブビデオフィードに視覚的効果を適用することによって、ライブ通信セッションに能動的に参加する。一部の実施形態では、参加者は、参加者のデバイスのユーザインターフェースによって、視覚的効果を適用する。一部の実施形態では、参加者は、参加者のライブメディアフィードに含まれる視覚的効果に基づいて、ライブ通信セッションに能動的に参加していると判定される。図１０Ｆに示すように、表現１０１０Ａのライブビデオフィードに、視覚的効果（ロボットの顔）が適用される。結果として、表現１０１０Ａの参加者は能動的に参加していると判定され、参加者の活動レベルが上昇する。図１０Ｆ～図１０Ｈに示すように、表現１０１０Ａの参加者が能動的に参加しているとの判定を受けて、デバイス６００は、表現１０１０Ａのサイズを最大の表現サイズに大きくし、表現１０１０Ｂのサイズを中の表現サイズに小さくする。表現１０１０Ａに関連する参加者の活動レベルが上昇することにより、表現１０１０Ａと表現１０１Ｂの相対的なｚオーダーも変化し、表現１０１０Ｂの前に表現１０１０Ａが移動する。 In some embodiments, a participant actively participates in a live communication session by applying visual effects to a live video feed provided to the live communication session. In some embodiments, a participant applies visual effects through a user interface on the participant's device. In some embodiments, a participant is determined to be actively participating in a live communication session based on visual effects included in the participant's live media feed. As shown in FIG. 10F, a visual effect (a robotic face) is applied to the live video feed of representation 1010A. As a result, the participant in representation 1010A is determined to be actively participating, and the participant's activity level increases. As shown in FIGS. 10F-10H, upon determining that the participant in representation 1010A is actively participating, device 600 increases the size of representation 1010A to a maximum representation size and decreases the size of representation 1010B to a medium representation size. The increased activity level of the participant associated with representation 1010A also changes the relative z-order of representation 1010A and representation 1010B, moving representation 1010A in front of representation 1010B.

図１０Ｈでは、デバイス６００は、表現１０１０Ｃ上でユーザ入力１０５０Ａ（例えば、タップ）を受ける（例えば、検出する）。図１０Ｉ～図１０Ｊに示すように、ユーザ入力１０５０Ａに応じて、デバイス６００は、表現１０１０Ｃのサイズを最大の表現サイズに大きくする。加えて、表現１０１０Ｄに対応する参加者が能動的に参加（例えば、発話）し始めたことで、表現１０１０Ｄが中サイズに大きくなり、表現１０１０Ｂが小サイズに縮小する。 In FIG. 10H, device 600 receives (e.g., detects) user input 1050A (e.g., a tap) on representation 1010C. As shown in FIGS. 10I-10J, in response to user input 1050A, device 600 increases the size of representation 1010C to its maximum representation size. Additionally, the participant corresponding to representation 1010D begins to actively participate (e.g., speak), causing representation 1010D to grow to a medium size and representation 1010B to shrink to a small size.

図１０Ｊでは、デバイス６００は、参加者の表現が表示されていないディスプレイ６０２上の位置でユーザ入力１０５０Ｂ（例えば、タップ）を受ける（例えば、検出する）。図１０Ｋに示すように、ユーザ入力１０５０Ｂに応じて、デバイス６００は、前述した通話コントロールメニュー６３０に類似する通話コントロールメニュー１００４を表示する。 In FIG. 10J, the device 600 receives (e.g., detects) a user input 1050B (e.g., a tap) at a location on the display 602 where no participant representations are displayed. As shown in FIG. 10K, in response to the user input 1050B, the device 600 displays a call control menu 1004 similar to the call control menu 630 described above.

図１０Ｋに示すように、キャンバス領域１００１のサイズは、通話コントロールメニュー１００４が表示されるときに、通話コントロールメニュー１００４が表現１０１０に重ならないように縮小される。通話コントロールメニュー１００４のための場所を作るために、デバイス６００は、表現の１つ以上のサイズを小さくする、及び／又は上方に平行移動させることによって、表現１０１０のレイアウトを修正する。一部の実施形態では、デバイス６００は、中サイズの表現１０１０Ａ及び１０１０Ｄのサイズを小さくし、小及び大の主要表現、それぞれ１０１０Ｂ及び１０１０Ｃのサイズを維持する。一部の実施形態では、デバイス６００は、表現間（例えば、表現１０１０Ａと表現１０１０Ｃとの間）の上下のへだたりを小さくする。 As shown in FIG. 10K, the size of canvas area 1001 is reduced so that call control menu 1004 does not overlap representation 1010 when it is displayed. To make room for call control menu 1004, device 600 modifies the layout of representation 1010 by reducing the size and/or translating upward one or more of the representations. In some embodiments, device 600 reduces the size of medium-sized representations 1010A and 1010D while maintaining the size of small and large primary representations 1010B and 1010C, respectively. In some embodiments, device 600 reduces the vertical gap between representations (e.g., between representation 1010A and representation 1010C).

ユーザ入力１０５０Ｂを受けたことに応じて、デバイス６００はまた、デバイス６００のユーザの表現１００２を除く各表現上にリボン１０１２Ａ～１０１２Ｄをも表示する。各リボンは、対応する参加者の名前と、表現を拡大するためのアフォーダンスとを含む。 In response to receiving user input 1050B, device 600 also displays ribbons 1012A-1012D on each representation of device 600, except for representation 1002, of the user. Each ribbon includes the name of the corresponding participant and an affordance for enlarging the representation.

図１０Ｌに目を向けると、デバイス６００は横置き（水平）の向きで示されている。参加者の相対的な活動レベルは、図１０Ｊにあるのと同じである。図１０Ｊの縦置き（垂直）の向きと比べて、表現は、縦置き（垂直）の向きの場合と同じ、ディスプレイ６０２のそれぞれのエリアを占めており、表現内の画像は、参加者が直立に見えるように回転される。一部の実施形態では、図１０Ｊの縦置きの向きから図１０Ｌの横置きの向きへのデバイス６００の回転に応じて、デバイス６００は、表現又は表現内の画像のアニメーション化された回転（例えば、デバイス６００の回転方向とは反対に９０度）を表示する。 Turning to FIG. 10L, device 600 is shown in a landscape (horizontal) orientation. The participants' relative activity levels are the same as in FIG. 10J. Compared to the portrait (vertical) orientation of FIG. 10J, the representations occupy the same respective areas of display 602 as in the portrait (vertical) orientation, and the images within the representations are rotated so that the participants appear upright. In some embodiments, in response to rotating device 600 from the portrait orientation of FIG. 10J to the landscape orientation of FIG. 10L, device 600 displays an animated rotation of the representations or images within the representations (e.g., 90 degrees opposite the direction of rotation of device 600).

図１０Ｍに目を向けると、図１０Ｊに示すレイアウト及び活動レベルから始まり、第６の参加者Ｐａｂｌｏがライブ通信セッションに参加する。図１０Ｍに示すように、第６の参加者がライブ通信セッションに参加したことに応じて、かつライブ通信セッションの接続参加者の数が、接続参加者の所定の閾値である５人の接続参加者よりも多いと判定されたことを受けて、デバイス６００は、活動レベルが最も低い参加者に対応する表現１０１０Ｂの画像を新規の接続参加者の画像に置き換える。デバイス６００は、任意選択的に、新規の接続参加者がライブ通信セッションに参加したとの通知を提供し、新規の接続参加者のオーバーフロー表現１０２２Ａをオーバーフロー領域１０２０に表示する。図１０Ｍ～図１０Ｏに示すように、オーバーフロー領域１０２０が表示されるときに、キャンバス領域１００１のサイズは縮小される。少なくとも一部の表現１０１０Ａ～１０１０Ｄのサイズが小さくなり、及び／又はディスプレイ６０２上で移動する。 Turning to FIG. 10M, starting with the layout and activity level shown in FIG. 10J, a sixth participant, Pablo, joins the live communication session. As shown in FIG. 10M, in response to the sixth participant joining the live communication session, and in response to determining that the number of connected participants in the live communication session is greater than a predetermined threshold of five connected participants, the device 600 replaces the image of the representation 1010B corresponding to the participant with the lowest activity level with an image of the new connected participant. The device 600 optionally provides notification that a new connected participant has joined the live communication session and displays an overflow representation 1022A of the new connected participant in the overflow area 1020. As shown in FIGS. 10M-10O, when the overflow area 1020 is displayed, the canvas area 1001 is reduced in size. At least some of the representations 1010A-1010D decrease in size and/or move on the display 602.

図１０Ｎに示すように、オーバーフロー表現１０１０Ａは、主要表現（例えば、図１０Ｎのオーバーフロー領域１０２０の上方の表現）によって表されていない参加者に対応する。図１０Ｎでは、デバイス６００は、オーバーフロー表現１０２２Ａ上でユーザ入力１０５０Ｃ（例えば、タップ）を受ける（例えば、検出する）。図１０Ｏに示すように、ユーザ入力１０５０Ｃに応じて、デバイス６００は、表現１０１０Ａ内の画像を、選択されたオーバーフロー表現１０２２Ａに対応する参加者の画像に置き換え、置き換えられた参加者（Ｈｏａｎ）に対応するオーバーフロー表現１０２２Ｂを表示する。 As shown in FIG. 10N, overflow representation 1010A corresponds to a participant not represented by a primary representation (e.g., the representation above overflow region 1020 in FIG. 10N). In FIG. 10N, device 600 receives (e.g., detects) user input 1050C (e.g., a tap) on overflow representation 1022A. As shown in FIG. 10O, in response to user input 1050C, device 600 replaces the image in representation 1010A with the image of the participant corresponding to the selected overflow representation 1022A and displays overflow representation 1022B corresponding to the replaced participant (Hoan).

一部の実施形態では、デバイス６００は、（例えば、ユーザ入力１０５０Ｃに応じる代わりに）オーバーフロー表現１０２２Ａに対応する参加者による能動的な参加に応じて、図１０Ｎの表現１０１０Ａ内の画像をオーバーフロー表現１０２２Ａに対応する参加者の画像に置き換える。一部の実施形態では、デバイス６００は、オーバーフロー表現１０２２Ａに対応する参加者の活動レベルが、図１０Ｎの表現１０１０Ａに対応する参加者の活動レベルを超えて上昇したとの判定に応じて、図１０Ｎの表現１０１０Ａ内の画像をオーバーフロー表現１０２２Ａに対応する参加者の画像に置き換える。 In some embodiments, device 600 replaces the image in representation 1010A of FIG. 10N with the image of the participant corresponding to overflow representation 1022A in response to active participation by the participant corresponding to overflow representation 1022A (e.g., instead of in response to user input 1050C). In some embodiments, device 600 replaces the image in representation 1010A of FIG. 10N with the image of the participant corresponding to overflow representation 1022A in response to determining that the activity level of the participant corresponding to overflow representation 1022A has increased above the activity level of the participant corresponding to representation 1010A of FIG. 10N.

図１０Ｐに目を向けると、ディスプレイ１０１４を備えるデバイス１００８が示されている。一部の実施形態では、ディスプレイ１０１４は、デバイス６００のディスプレイ６０２とは異なる特性（例えば、サイズ及び／又はアスペクト比）を有する。デバイス１００８は、部分１０１６Ａ（例えば、キャンバス領域）と部分１０１６Ｂとの２つの部分に分割されたユーザインターフェース１０１６を表示する。部分１０１６Ａは、デバイス６００のディスプレイ６０２とほぼ同じアスペクト比を有する。部分１０１６Ａのアスペクト比によって、部分１０１６Ａは、図１０Ｏの表現１０１０Ａ～１０１０Ｄの参加者に対応する表現１０３０Ａ～１０３０Ｄを含む。図１０Ｐに示すように、表現１０３０Ａ～１０３０Ｄのレイアウト（例えば、相対的なサイズ、位置、間隔、及び重なり）は、図１０Ｏの表現１０１０Ａ～１０１０Ｄのレイアウトと同様である。 10P, a device 1008 is shown having a display 1014. In some embodiments, the display 1014 has different characteristics (e.g., size and/or aspect ratio) than the display 602 of the device 600. The device 1008 displays a user interface 1016 that is divided into two portions: a portion 1016A (e.g., a canvas area) and a portion 1016B. The portion 1016A has approximately the same aspect ratio as the display 602 of the device 600. Due to the aspect ratio of the portion 1016A, the portion 1016A includes representations 1030A-1030D that correspond to the participants in the representations 1010A-1010D of FIG. 10O. As shown in FIG. 10P, the layout (e.g., relative size, position, spacing, and overlap) of the representations 1030A-1030D is similar to the layout of the representations 1010A-1010D of FIG. 10O.

図１０Ｐに示すように、デバイス１００８は、仕切り１０１８を右に移動させるためのユーザ入力１０５０Ｄ（例えば、右方向スワイプ）を受ける（例えば、検出する）。これに応じて、デバイス１００８は、部分１０１６Ｂのサイズを小さくし、部分１０１６Ａのサイズを大きくする。図１０Ｐ～図１０Ｓに示すように、表現１０３０は拡大され、表現１０３０間の水平間隔は大きくなる。図１０Ｓに示すように、デバイス１００８は、（前述した効果アフォーダンス６３２、通話アフォーダンス６３４、及びメニューアフォーダンス６３６と類似する）効果アフォーダンス１０２６、通話アフォーダンス１０２８、及びメニューアフォーダンス１０３４を伴うメニュー１０２４を表示する。 As shown in FIG. 10P, device 1008 receives (e.g., detects) user input 1050D to move divider 1018 to the right (e.g., a right swipe). In response, device 1008 decreases the size of portion 1016B and increases the size of portion 1016A. As shown in FIGS. 10P-10S, representations 1030 are enlarged and the horizontal spacing between representations 1030 increases. As shown in FIG. 10S, device 1008 displays menu 1024 with effect affordance 1026, call affordance 1028, and menu affordance 1034 (similar to effect affordance 632, call affordance 634, and menu affordance 636 described above).

図１１Ａ～図１１Ｆは、一部の実施形態による方法を示すフロー図である。方法１１００は、ディスプレイを備えるデバイス（例えば、１００、３００、５００又は６００）にて実行される。方法１１００の一部の動作は、任意選択的に、組み合わされ、一部の動作の順序は、任意選択的に、変更され、一部の動作は、任意選択的に、省略される。 FIGS. 11A-11F are flow diagrams illustrating a method according to some embodiments. Method 1100 is performed on a device (e.g., 100, 300, 500, or 600) that includes a display. Some operations of method 1100 are optionally combined, the order of some operations is optionally changed, and some operations are optionally omitted.

後述するように、方法１１００は、ライブ通信セッションにおける１人以上のアクティブな参加者を強調する、適応的かつインテリジェントなライブ通信ユーザインターフェースを提供する直感的な方法を提供する。この方法は、ライブ通信セッションにおけるアクティブな参加者を見るためのユーザの認知的負担を軽減することで、より効率的なヒューマンーマシンインターフェースを作り出す。バッテリ動作式コンピューティングデバイスの場合、ユーザがアクティブな参加者をより速く、より効率的に見ることができることにより、電力が節約され、バッテリ充電間隔が長くなる。 As described below, method 1100 provides an intuitive way to provide an adaptive and intelligent live communication user interface that highlights one or more active participants in a live communication session. This method reduces the cognitive burden on a user to view the active participants in a live communication session, creating a more efficient human-machine interface. For battery-operated computing devices, allowing a user to view the active participants more quickly and efficiently conserves power and extends the time between battery charges.

ブロック１１０２では、デバイスは、ライブビデオ通信セッションにおける第１の参加者の表現（例えば、１０１０Ｃ）と、ライブビデオ通信セッションにおける第２の参加者の表現（例えば、１０１０Ｂ）と、ライブビデオ通信セッションにおける第３の参加者の表現（例えば、１０１０Ｄ）とを同時に表示するライブビデオ通信ユーザインターフェース（例えば、１０００）を表示する。一部の実施形態では、参加者がライブビデオストリームを含むライブメディアストリームを共有している場合、表現は、ライブビデオストリームの画像を含む（例えば、１０１０Ｃ）。一部の実施形態では、参加者がオーディオのみのライブビデオストリームを共有している場合、表現は、それぞれの参加者のアバターを含む（例えば、１０１０Ｂ）。一部の実施形態では、参加者がライブビデオ通信セッションに現在参加していない場合、表現は、プレースホルダ画像（例えば、アバター）を含む（例えば、１０１０Ａ）。一部の実施形態では、ライブ通信インターフェースは、キャンバス領域を含む（例えば、１００１）（例えば、キャンバス領域（例えば、メイン領域）は、オーバーフロー領域とは異なる）。一部の実施形態では、キャンバス領域は、オーバーフロー領域の隣にある。一部の実施形態では、ライブ通信セッションにおける第１の参加者の表現と、ライブ通信セッションにおける第２の参加者の表現と、ライブ通信セッションにおける第３の参加者の表現とが、キャンバス領域に表示される（例えば、図１０Ａ）。 In block 1102, the device displays a live video communication user interface (e.g., 1000) simultaneously displaying a representation of a first participant in the live video communication session (e.g., 1010C), a representation of a second participant in the live video communication session (e.g., 1010B), and a representation of a third participant in the live video communication session (e.g., 1010D). In some embodiments, if the participants are sharing a live media stream that includes a live video stream, the representation includes an image of the live video stream (e.g., 1010C). In some embodiments, if the participants are sharing an audio-only live video stream, the representation includes an avatar of the respective participant (e.g., 1010B). In some embodiments, if the participant is not currently participating in the live video communication session, the representation includes a placeholder image (e.g., avatar) (e.g., 1010A). In some embodiments, the live communication interface includes a canvas area (e.g., 1001) (e.g., the canvas area (e.g., main area) is different from the overflow area). In some embodiments, the canvas area is adjacent to the overflow area. In some embodiments, a representation of a first participant in the live communication session, a representation of a second participant in the live communication session, and a representation of a third participant in the live communication session are displayed in the canvas area (e.g., FIG. 10A).

ブロック１１０４では、ライブビデオ通信ユーザインターフェースを表示している間に、デバイスは、ライブビデオ通信セッションにおける第２の参加者（例えば、１０１０Ｂ）の活動レベルが、ライブビデオ通信セッションにおける第１の参加者（例えば、１０１０Ｃ）の活動レベルを超えて上昇したことを示すデータを受信する。一部の実施形態では、第１の参加者が能動的に参加していることを示すデータが、外部ソース（例えば、サーバ）から受信される。一部の実施形態では、デバイスは、受信されるデータ（例えば、第１の参加者に関連するライブメディアフィードによるライブビデオ又はライブオーディオ）に基づいて、第１の参加者が能動的に参加していると判定する。一部の実施形態では、ライブビデオ通信セッションにおける第２の参加者の活動レベルが、ライブビデオ通信セッションにおける第１の参加者の活動レベルを超えて上昇したことを示すデータを受信するに先立ち、第１の参加者、第２の参加者、及び第３の参加者の表現のうちの１つ以上は、参加者の少なくとも１つの他の表現と重なる（例えば、図１０Ａの１０１０Ｂ、１０１０Ｃ、及び１０１０Ｄ）。 In block 1104, while displaying the live video communication user interface, the device receives data indicating that the activity level of a second participant (e.g., 1010B) in the live video communication session has increased beyond the activity level of a first participant (e.g., 1010C) in the live video communication session. In some embodiments, the data indicating that the first participant is actively participating is received from an external source (e.g., a server). In some embodiments, the device determines that the first participant is actively participating based on the received data (e.g., live video or live audio from a live media feed associated with the first participant). In some embodiments, prior to receiving the data indicating that the activity level of the second participant in the live video communication session has increased beyond the activity level of the first participant in the live video communication session, one or more of the representations of the first participant, second participant, and third participant overlap with at least one other representation of the participants (e.g., 1010B, 1010C, and 1010D of FIG. 10A ).

一部の実施形態では、少なくとも第１の参加者の活動レベルは、第１の参加者のデバイスから受信されるオーディオ及び／又はビデオフィード（例えば、ビデオフィード中の動き又はオーディオ）（の関数）、及び／又は第１の参加者のデバイスにて検出される活動を示すデータ（例えば、第１の参加者が第１の参加者のデバイスでユーザインターフェースアクション（例えば、注目アフォーダンスの選択）を行ったことを示すデータ）に基づく。一部の実施形態では、活動レベルは、外部の電子装置（例えば、サーバ）で判定された後に電子デバイスに送信される。一部の実施形態では、少なくとも第１の参加者の活動レベルは、第１の参加者のデバイスから受信されるオーディオフィードからフィルタリングされたオーディオ（例えば、バックグラウンドノイズをフィルタリングしたオーディオ又は発話オーディオを分離／増幅するようにフィルタリングされたオーディオ）に基づく。一部の実施形態では、少なくとも第１の参加者の活動レベルは、第１の参加者のデバイスから受信されたビデオフィードにおいて識別される（例えば、サーバで識別される、電子デバイスにて識別される）、移動基準のセットを満たす移動（特定の種類の移動（例えば、手の移動、頭／顔の移動、背景の移動（例えば、参加者以外の移動）ではない移動）に基づく（例えば、図１０Ｅの１０１０Ａ）。 In some embodiments, the activity level of at least the first participant is based on (a function of) the audio and/or video feed (e.g., movement or audio in the video feed) received from the first participant's device and/or data indicative of activity detected at the first participant's device (e.g., data indicating that the first participant has performed a user interface action (e.g., selecting an attention affordance) on the first participant's device). In some embodiments, the activity level is determined by an external electronic device (e.g., a server) and then transmitted to the electronic device. In some embodiments, the activity level of at least the first participant is based on filtered audio (e.g., audio with background noise filtered or audio filtered to isolate/amplify speech audio) from the audio feed received from the first participant's device. In some embodiments, the activity level of at least a first participant is identified in a video feed received from the first participant's device (e.g., identified at a server, identified at an electronic device) based on movements that meet a set of movement criteria (e.g., certain types of movements (e.g., hand movements, head/face movements, movements that are not background movements (e.g., movements of non-participants))) (e.g., 1010A in FIG. 10E).

ブロック１１０６では、ライブビデオ通信セッションにおける第２の参加者（例えば、図１０Ａの１０１０Ｂ）の活動レベルが、ライブビデオ通信セッションにおける第１の参加者（例えば、図１０Ａの１０１０Ｃ）の活動レベルを超えて上昇したことを示すデータの受信に応じて、デバイスは、（ブロック１１０８で）ライブビデオ通信ユーザインターフェースにおいて第１の参加者の表現のサイズ及び／又は位置を変更し、（ブロック１１１０で）ライブビデオ通信ユーザインターフェースにおいて第２の参加者の表現のサイズ及び／又は位置を変更し、（ブロック１１１２で）ライブビデオ通信ユーザインターフェースにおいて第３の参加者の表現（例えば、１０１０Ｄ）のサイズ及び／又は位置を変更する。所定条件が満たされるときに表現のサイズ及び／又は位置を変更することにより、ユーザは最もアクティブである及び／又は最もアクティブではない参加者を含む参加者の活動レベルを迅速に認識することができる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。加えて、所定条件が満たされるときにのみ表現のサイズ及び／又は位置を変更することにより、ユーザがアクティブな参加者を判定したりアクティブな参加者に注目したりするために必要な入力の数が減る。入力の数が更に減ることにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 At block 1106, in response to receiving data indicating that the activity level of a second participant in the live video communication session (e.g., 1010B of FIG. 10A ) has risen above the activity level of a first participant in the live video communication session (e.g., 1010C of FIG. 10A ), the device resizes and/or positions a representation of the first participant in the live video communication user interface (at block 1108), resizes and/or positions a representation of the second participant in the live video communication user interface (at block 1110), and resizes and/or positions a representation of a third participant (e.g., 1010D) in the live video communication user interface (at block 1112). By resizing and/or positioning the representations when predetermined conditions are met, a user can quickly recognize the activity levels of participants, including the most and/or least active participants. By performing an optimized operation without requiring further user input when a set of conditions is met, the device's usability is enhanced, the user-device interface is made more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and by allowing the user to use the device more quickly and efficiently, the device's power usage is reduced and battery life is improved. Additionally, by changing the size and/or position of the representation only when predetermined conditions are met, the number of inputs required by the user to determine and focus on active participants is reduced. This further reduction in the number of inputs enhances the device's usability and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and by allowing the user to use the device more quickly and efficiently, the device's power usage is reduced and battery life is improved.

一部の実施形態では、ライブビデオ通信セッションにおける第２の参加者の活動レベルが、ライブビデオ通信セッションにおける第１の参加者の活動レベルを超えて上昇したことを示すデータの受信に応じて、ライブビデオ通信ユーザインターフェースにおける第１の参加者の表現（例えば、図１０Ａの１０１０Ｃ）のサイズが変更され、ライブビデオ通信ユーザインターフェースにおける第２の参加者の表現（例えば、図１０Ａの１０１０Ｂ）のサイズが変更され、ライブビデオ通信ユーザインターフェースにおける第３の参加者の表現（例えば、図１０Ａの１０１０Ｄ）のサイズが変更される。一部の実施形態では、（例えば、活動スコアに基づいて）最もアクティブではない参加者が最もアクティブな参加者になった場合、デバイスは、最もアクティブな参加者の表現のサイズを大きくし、他の全ての表現のサイズを小さくする（例えば、図１０Ｅ～図１０Ｆ）。一部の実施形態では、（例えば、活動スコアに基づいて）最もアクティブな参加者が最もアクティブではない参加者になった場合、デバイスは、最もアクティブではない参加者の表現のサイズを小さくし、他の全ての表現のサイズを大きくする。一部の実施形態では、ライブビデオ通信セッションにおける第２の参加者の活動レベルが、ライブビデオ通信セッションにおける第１の参加者の活動レベルを超えて上昇したことを示すデータの受信に応じて、ライブ通信ユーザインターフェースにおける第１の参加者の表現の位置が変更され、ライブ通信ユーザインターフェースにおける第２の参加者の表現の位置が変更され、ライブ通信ユーザインターフェースにおける第３の参加者の表現の位置が変更される。一部の実施形態では、（例えば、活動スコアに基づいて）最もアクティブではない参加者が最もアクティブな参加者になる場合、全ての位置を交換する（例えば、最もアクティブな参加者の表現が上に又は被さるように移動し、他が下に又は被さるように移動する）。一部の実施形態では、（例えば、活動スコアに基づいて）最もアクティブな参加者が最もアクティブではない参加者になった場合、最もアクティブではない参加者の表現が下に及び／又は被さるように移動し、他の表現が上に又は被さるように移動する。 In some embodiments, in response to receiving data indicating that the activity level of a second participant in the live video communication session has increased above the activity level of a first participant in the live video communication session, the device resizes the representation of the first participant in the live video communication user interface (e.g., 1010C of FIG. 10A ), resizes the representation of the second participant in the live video communication user interface (e.g., 1010B of FIG. 10A ), and resizes the representation of the third participant in the live video communication user interface (e.g., 1010D of FIG. 10A ). In some embodiments, if the least active participant (e.g., based on activity scores) becomes the most active participant, the device increases the size of the representation of the most active participant and decreases the size of all other representations (e.g., FIGS. 10E-10F ). In some embodiments, if the most active participant (e.g., based on activity scores) becomes the least active participant, the device decreases the size of the representation of the least active participant and increases the size of all other representations. In some embodiments, in response to receiving data indicating that the activity level of a second participant in the live video communication session has increased above the activity level of a first participant in the live video communication session, the position of the representation of the first participant in the live communication user interface is changed, the position of the representation of the second participant in the live communication user interface is changed, and the position of the representation of the third participant in the live communication user interface is changed. In some embodiments, if the least active participant (e.g., based on activity scores) becomes the most active participant, all positions are swapped (e.g., the most active participant's representation moves up or overlays, and the others move down or overlays). In some embodiments, if the most active participant (e.g., based on activity scores) becomes the least active participant, the least active participant's representation moves down and/or overlays, and the others move up or overlays.

一部の実施形態では、第１、第２及び第３の参加者のうち、活動レベルが（現在）最も高い参加者の表現（例えば、図１０Ａの１０１０Ｃ）の一部分に、ライブ通信ユーザインターフェースにおける第１、第２及び第３の参加者のうちの別の参加者の表現の一部分が重なる（例えば、最もアクティブな表現の一部分が他の表現の下にある）。一部の実施形態では、活動レベルが最も低い参加者の表現は、他のいずれの参加者の表現も重ならずに表示される（これは、例えば、活動レベルが最も低い参加者の表現が参加者の表現のうち最小の表現であるので、活動レベルが最も低い参加者の表現が不明瞭になりすぎることを避けるように他の参加者の表現の上に保たれるためである）。一部の実施形態では、活動レベルが最も低い参加者の表現（例えば、図１０Ｉの１０１０Ｂ）は、活動レベルが最も高い参加者の表現（例えば、図１０Ｉの１０１０Ａ）の少なくとも一部分に重なるように表示される。一部の実施形態では、第１、第２及び第３の参加者のうち、活動レベルが（現時点で）最も低い参加者の表現（例えば、図１０Ｈの１０１０Ｄ）の一部分が、ライブ通信ユーザインターフェースにおいて第１、第２及び第３の参加者のうちの別の参加者の表現（例えば、図１０Ｈの１０１０Ｃ）の一部分と重なる（例えば、最もアクティブではない表現の一部分が他の表現の下にある）。 In some embodiments, a portion of the representation of the (currently) most active participant among the first, second, and third participants (e.g., 1010C in FIG. 10A ) overlaps a portion of the representation of another of the first, second, and third participants in the live communication user interface (e.g., a portion of the most active representation is below the other representations). In some embodiments, the representation of the least active participant is displayed without overlapping any of the other participant's representations (e.g., because the least active participant's representation is the smallest of the participant's representations and is therefore kept above the other participants' representations to avoid overly obscuring the least active participant's representation). In some embodiments, the representation of the least active participant (e.g., 1010B in FIG. 10I ) is displayed overlapping at least a portion of the representation of the most active participant (e.g., 1010A in FIG. 10I ). In some embodiments, a portion of the representation of the first, second, and third participant with the (currently) lowest activity level (e.g., 1010D in FIG. 10H) overlaps a portion of the representation of another of the first, second, and third participants (e.g., 1010C in FIG. 10H) in the live communication user interface (e.g., a portion of the least active representation is below the other representation).

任意選択的に、ブロック１１１４では、デバイスは、第２の参加者のビデオフィード（及び／又は第３の参加者のビデオフィード）から得られる（例えば、解析により得られる）顔認識データに基づいて、第１の参加者の表現のサイズ及び／又は位置を変更し、第１の参加者の表現のサイズ及び／又は位置を変更することは、第２の参加者の顔を不明瞭にする（及び／又は第３の参加者の顔を不明瞭にする）ことをもたらさない。ライブ通信セッションにおける参加者の表現のサイズ及び／又は位置を、別の参加者の顔を不明瞭にせずに変更することにより、ライブ通信セッションにおける他の参加者の顔を隠さずに参加者の現在の活動レベルに関するフィードバックがユーザに提供されることで、ユーザは活動レベルが変化した参加者のサイズ又は位置を変更するときに他の参加者の顔を見ることができる。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, in block 1114, the device resizes and/or positions the representation of the first participant based on facial recognition data obtained (e.g., obtained by analysis) from the second participant's video feed (and/or the third participant's video feed), where resizing and/or positioning the representation of the first participant does not obscure the face of the second participant (and/or the third participant). Changing the size and/or position of a participant's representation in the live communication session without obscuring the faces of other participants in the live communication session provides the user with feedback regarding the participant's current activity level without obscuring the faces of the other participants, allowing the user to view the faces of the other participants when resizing or positioning a participant whose activity level has changed. Providing the user with improved visual feedback enhances device usability and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as allowing the user to use the device more quickly and efficiently, thereby reducing device power usage and improving battery life.

任意選択的に、ブロック１１１６では、デバイスが第１の参加者の表現（例えば、図１０Ａ～図１０Ｃの１０１０Ｂ）のサイズ及び／又は位置を変更することは、表現のサイズを第１のサイズから第２のサイズに徐々に（例えば、ある時間にわたって徐々に）大きくすることを含む。表現のサイズ及び／又は位置を変更することにより、ユーザインターフェースの変更を最小限にしながら、参加者の現在の活動レベルに関するフィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。表現のサイズを徐々に大きくすることにより、参加者の活動レベルが変化するときに、サイズの急激な変化がユーザにもたらす錯乱を最小限にしながら、活動レベルが変化していることを示す視覚的フィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, in block 1116, the device changing the size and/or position of the representation of the first participant (e.g., 1010B in FIGS. 10A-10C) includes gradually (e.g., gradually over a period of time) increasing the size of the representation from a first size to a second size. Changing the size and/or position of the representation provides feedback to the user regarding the participant's current activity level while minimizing changes to the user interface. Providing improved visual feedback to the user enhances device usability and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently. Gradually increasing the size of the representation provides visual feedback to the user indicating that the activity level is changing as the participant's activity level changes, while minimizing the distraction caused to the user by sudden changes in size. Providing improved visual feedback to the user enhances the usability of the device, makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and also reduces the device's power usage and improves battery life by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック１１１８では、デバイスは、キャンバスサイズ変更イベント（例えば、１０５０Ｂ、図１０Ｊ～図１０Ｋ）（例えば、デバイスの回転、ライブビデオ通信ユーザインターフェースへの追加要素の導入（例えば、参加者に連絡するための１つ以上の通話アフォーダンス、キャンバス領域外に表示される参加者の表現の追加）、キャンバス領域のサイズを変更するための要求に対応するユーザ入力）を検出する。任意選択的に、ブロック１１２０では、デバイスは、キャンバスサイズ変更イベントの検出に応じて、（任意選択的に、ブロック１１２４で）キャンバス領域（例えば、１００１）のサイズを変更する。キャンバスサイズ変更イベントの検出に応じて、デバイスは、第１、第２及び第３の参加者の表現（例えば、図１０Ｋの１０１０Ｂ、１０１０Ｃ及び１０１０Ｄ）のレイアウトを修正する。一部の実施形態では、表現のレイアウトは、（例えば、キャンバス領域のサイズが縮小されるときに表現間の間隔が小さくなるように）表現の位置をシフトする及び／又は表現のサイズを変更することによって修正される。キャンバス領域のサイズ変更に基づいてレイアウトをインテリジェントに修正することにより、キャンバスサイズを変更するときに、表示される表現の変更を最小限にして、ユーザの表現を見ることをユーザに可能にさせることで、表示されたプレゼンテーションをユーザに見せる間のユーザにもたらす錯乱を小さくする。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at block 1118, the device detects a canvas resize event (e.g., 1050B, FIGS. 10J-10K) (e.g., user input corresponding to device rotation, introduction of additional elements to the live video communication user interface (e.g., one or more call affordances for contacting participants, addition of a participant representation displayed outside the canvas area), or a request to resize the canvas area). Optionally, at block 1120, the device resizes the canvas area (e.g., 1001) in response to detecting the canvas resize event (optionally at block 1124). In response to detecting the canvas resize event, the device modifies the layout of the representations of the first, second, and third participants (e.g., 1010B, 1010C, and 1010D in FIG. 10K). In some embodiments, the layout of the representations is modified by shifting the positions of the representations and/or resizing the representations (e.g., so that the spacing between the representations is reduced when the size of the canvas area is reduced). By intelligently modifying the layout based on resizing of the canvas area, changes to the displayed representation are minimized when the canvas size is changed, allowing the user to view the representation, thereby reducing user distraction while showing the displayed presentation to the user. By performing optimized operations without requiring further user input when a set of conditions are met, the device's usability is enhanced, the user-device interface is made more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and by allowing the user to use the device more quickly and efficiently, the device's power usage is reduced and battery life is improved.

任意選択的に、ブロック１１２６では、デバイスは更に、キャンバスサイズ変更イベントの検出に応じて、第１、第２及び第３の参加者の表現（例えば、図１０Ｋの１０１０Ｂ、１０１０Ｃ、１０１０Ｄ）の１つ以上のサイズを変更する。一部の実施形態では、ライブビデオ通信セッションにおける第２の参加者の活動レベルが、ライブビデオ通信セッションにおける第１の参加者の活動レベルを超えて上昇したことを示すデータの受信に先立って、ライブ通信ユーザインターフェースにおける第１、第２、及び第３の参加者の表現は、ｚオーダー（例えば、画面から出る軸線）によって表示される（例えば、図１０Ｋの１０１０Ｂ、１０１０Ｃ、及び１０１０Ｄ）（例えば、「ｚオーダー」は、ディスプレイの面と垂直な仮想軸線に関する参加者の表現の順序を指す）（例えば、２つの表現の位置が重なり合うとき、表現のｚオーダーは、どのオブジェクトが他のオブジェクトの前に表示されるかを決定する）。ブロック１１２８では、デバイスは、第１、第２及び第３の参加者の表現（例えば、図１０Ｋの１０１０Ｂ、１０１０Ｃ及び１０１０Ｄ）のｚオーダーを維持する。 Optionally, at block 1126, the device further resizes one or more of the representations of the first, second, and third participants (e.g., 1010B, 1010C, 1010D of FIG. 10K) in response to detecting a canvas resize event. In some embodiments, prior to receiving data indicating that the activity level of the second participant in the live video communication session has increased above the activity level of the first participant in the live video communication session, the representations of the first, second, and third participants in the live communication user interface are displayed in z-order (e.g., an axis extending out from the screen) (e.g., 1010B, 1010C, and 1010D of FIG. 10K) (e.g., "z-order" refers to the ordering of the representations of the participants with respect to an imaginary axis perpendicular to the plane of the display) (e.g., when the positions of two representations overlap, the z-order of the representations determines which objects are displayed in front of each other). In block 1128, the device maintains the z-order of the representations of the first, second, and third participants (e.g., 1010B, 1010C, and 1010D in FIG. 10K).

一部の実施形態では、ライブ通信ユーザインターフェースにおける第１の参加者の表現（例えば、図１０Ｂの１０１０Ｂ）のサイズ及び／又は位置を変更した後に、第１の参加者の変更された表現は、第１の参加者の表現のサイズ又は位置の少なくとも一方を変更する前にライブ通信ユーザインターフェースにおいて第１の参加者の表現が占めていた領域（例えば、ディスプレイ上の全体エリア、位置、ピクセルなど）の少なくとも一部分を占める。一部の実施形態では、サイズを変更した後に、参加者は、参加者が従前に表示されていたのと同じディスプレイ上の領域に表示される（例えば、表現の少なくとも一部分（例えば、一部、ピクセル、位置など）が、変更する前に接触していたディスプレイ上の従前の位置に接触し続ける）。一部の実施形態では、表現は、アクティブな参加者を強調する一方、表現の配置／全体的な位置を維持する（例えば、表現は、サイズが大きく／小さくなるにつれてシフトするが、他の画像に対する位置は維持する）。一部の実施形態では、ライブ通信ユーザインターフェースにおける第２の参加者の表現（例えば、図１０Ｂの１０１０Ｃ）のサイズ及び／又は位置を変更した後に、第２の参加者の変更された表現は、第２の参加者の表現のサイズ又は位置の少なくとも一方を変更する前にライブ通信ユーザインターフェースにおいて第２の参加者の表現が占めていた領域（例えば、ディスプレイ上の全体エリア、位置、ピクセルなど）の少なくとも一部分を占める。一部の実施形態では、サイズを変更した後に、参加者は、参加者が従前に表示されていたのと同じディスプレイ上の領域に表示される（例えば、表現の少なくとも一部分（例えば、一部、ピクセル、位置など）が、変更する前に従前に接触していたディスプレイ上の位置に接触し続ける）。一部の実施形態では、表現は、アクティブな参加者を強調する一方、表現の配置／全体的な位置を維持する（例えば、表現は、サイズが大きく／小さくなるにつれてシフトするが、他の画像に対する位置は維持する）。一部の実施形態では、ライブ通信ユーザインターフェースにおける第３の参加者の表現（例えば、図１０Ｂの１０１０Ｄ）のサイズ及び／又は位置を変更した後に、第３の参加者の変更された表現は、第３の参加者の表現のサイズ又は位置の少なくとも一方を変更する前にライブ通信ユーザインターフェースにおいて第３の参加者の表現が（例えば、変更の前に）占めていた領域（例えば、ディスプレイ上の全体エリア、位置、ピクセルなど）の少なくとも一部分を占める。一部の実施形態では、サイズを変更した後に、参加者は、参加者が従前に表示されていたのと同じディスプレイ上の領域に表示される（例えば、表現の少なくとも一部分（例えば、一部、ピクセル、位置など）が、変更する前に従前に接触していたディスプレイ上の位置に接触し続ける）。一部の実施形態では、表現は、アクティブな参加者を強調する一方、配置及び／又は全体的な位置を維持する（例えば、表現は、サイズが大きく／小さくなるにつれてシフトが、他の画像に対する位置は維持する）。 In some embodiments, after changing the size and/or position of the representation of the first participant (e.g., 1010B in FIG. 10B) in the live communication user interface, the changed representation of the first participant occupies at least a portion of the area (e.g., overall area, position, pixels, etc. on the display) that the representation of the first participant occupied in the live communication user interface before changing at least one of the size or position of the representation of the first participant. In some embodiments, after changing the size, the participant is displayed in the same area on the display in which the participant was previously displayed (e.g., at least a portion (e.g., part, pixel, position, etc.) of the representation continues to contact the previous position on the display that it was contacting before the change). In some embodiments, the representation emphasizes the active participant while maintaining the placement/overall position of the representation (e.g., the representation shifts as it gets larger/smaller in size, but maintains its position relative to other images). In some embodiments, after changing the size and/or position of the representation of the second participant (e.g., 1010C in FIG. 10B ) in the live communication user interface, the changed representation of the second participant occupies at least a portion of the area (e.g., overall area, position, pixels, etc. on the display) that the representation of the second participant occupied in the live communication user interface before changing at least one of the size or position of the representation of the second participant. In some embodiments, after changing the size, the participant is displayed in the same area on the display in which the participant was previously displayed (e.g., at least a portion (e.g., part, pixel, position, etc.) of the representation continues to touch the location on the display that it was previously touching before the change). In some embodiments, the representation emphasizes the active participant while maintaining the placement/overall position of the representation (e.g., the representation shifts as it gets larger/smaller in size, but maintains its position relative to other images). In some embodiments, after resizing and/or repositioning a representation of a third participant (e.g., 1010D in FIG. 10B ) in the live communication user interface, the modified representation of the third participant occupies at least a portion of the area (e.g., overall area, position, pixels, etc. on the display) that the representation of the third participant occupied in the live communication user interface before resizing at least one of the size and position of the third participant's representation (e.g., before the modification). In some embodiments, after the modification, the participant is displayed in the same area on the display in which the participant was previously displayed (e.g., at least a portion (e.g., part, pixel, position, etc.) of the representation continues to touch the location on the display that it previously touched before the modification). In some embodiments, the representation maintains its placement and/or overall position while emphasizing the active participant (e.g., the representation shifts as it gets larger/smaller in size but maintains its position relative to other images).

表現のサイズ及び／又は位置を変更した後に、表現が従前に占めていた領域の少なくとも一部分を占める表現を表示することにより、ユーザインターフェースへの変更を最小限にして、ユーザは参加者の活動レベルを認識することができ、そのことでライブ通信セッションにおける参加者の表現に注目するユーザの能力が高められる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 By displaying a representation occupying at least a portion of the area previously occupied by the representation after changing its size and/or position, the user can recognize the activity level of participants with minimal changes to the user interface, thereby enhancing the user's ability to focus on participants' expressions in a live communication session. Performing optimized operations without requiring further user input when a set of conditions is met enhances device usability and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック１１３０では、デバイスは、ライブ通信ユーザインターフェースにおいて第４の参加者の表現（例えば、図１０Ｅの１０１０Ｄ）を表示する。任意選択的に、ライブビデオ通信セッションにおける第２の参加者の活動レベルが、ライブビデオ通信セッションにおける第１の参加者の活動レベルを超えて上昇したことを示すデータの受信に応じて、デバイスは、（ブロック１１３２で）ライブ通信ユーザインターフェースにおける第４の参加者の表現のサイズ及び／又は位置を変更する。一部の実施形態では、第４の表現は、他の全てがサイズ又は位置を変更するときに、サイズ及び／又は位置を変更する。一部の実施形態では、（例えば、ライブビデオ通信セッションにおける第２の参加者の活動レベルが、ライブビデオ通信セッションにおける第１の参加者の活動レベルを超えて上昇したことを示す第１のデータの受信に応じて）第４の表現が変化する。一部の実施形態では、第４の表現などの一部の表現は、他の表現が変化しているときでも、それらサイズ及び位置を維持することができる。 Optionally, at block 1130, the device displays a representation of a fourth participant (e.g., 1010D of FIG. 10E) in the live communication user interface. Optionally, in response to receiving data indicating that the activity level of a second participant in the live video communication session has risen above the activity level of a first participant in the live video communication session, the device changes (at block 1132) the size and/or position of the representation of the fourth participant in the live communication user interface. In some embodiments, the fourth representation changes size and/or position when all others change size or position. In some embodiments, the fourth representation changes (e.g., in response to receiving first data indicating that the activity level of a second participant in the live video communication session has risen above the activity level of a first participant in the live video communication session). In some embodiments, some representations, such as the fourth representation, may maintain their size and position even when other representations are changing.

任意選択的に、ブロック１１３４、１１３６、１１３８、１１４０、及び１１４２では、ライブビデオ通信ユーザインターフェースにおける第１の参加者の表現のサイズ及び／又は位置を変更した後に、デバイスは、ライブビデオ通信セッションにおける第１の参加者の活動レベルが、ライブビデオ通信セッションにおける第２の参加者の活動レベルを超えて上昇したことを示す第２のデータを受信する。ライブビデオ通信セッションにおける第１の参加者の活動レベルが、ライブビデオ通信セッションにおける第２の参加者の活動レベルを超えて上昇したことを示す第２のデータの受信に応じて、デバイスは、ライブビデオ通信ユーザインターフェースにおいて第１の参加者の表現のサイズ及び／又は位置を変更する。デバイスは、ライブビデオ通信ユーザインターフェースにおいて第２の参加者の表現のサイズ及び／又は位置を変更する。デバイスは、ライブビデオ通信セッションにおける第３の参加者の表現のサイズ及び位置を維持する。一部の実施形態では、参加者の活動レベルの変化に応じて、キャンバス（例えば、メイン領域）に表示されている表現のうちの一部の表現は維持されるが、他の表現は、サイズ又は位置が変化する（例えば、２つの表現が判定に基づいて位置を交換してもよく、他の表現はサイズ又は位置を交換してもよい）。一部の実施形態では、維持される表現は、変更される表現に対応する参加者の活動レベルよりも活動レベルが低い参加者に対応する。所定条件が満たされるときに、一部の表現のサイズ及び／又は位置を維持する一方で、他の表現のサイズ及び／又は表現を変更することにより、ユーザは、ユーザインターフェースの変更を最小限にして、参加者の活動レベルを認識することができ、そのことで、ライブ通信セッションにおける参加者の表現に注目するユーザの能力が高められる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at blocks 1134, 1136, 1138, 1140, and 1142, after changing the size and/or position of the representation of the first participant in the live video communication user interface, the device receives second data indicating that the activity level of the first participant in the live video communication session has increased beyond the activity level of a second participant in the live video communication session. In response to receiving the second data indicating that the activity level of the first participant in the live video communication session has increased beyond the activity level of a second participant in the live video communication session, the device changes the size and/or position of the representation of the first participant in the live video communication user interface. The device changes the size and/or position of the representation of the second participant in the live video communication user interface. The device maintains the size and position of the representation of a third participant in the live video communication session. In some embodiments, some representations displayed on the canvas (e.g., the main area) are maintained while other representations change size or position (e.g., two representations may swap positions based on a determination, or other representations may swap size or position) in response to changes in participant activity levels. In some embodiments, the maintained representation corresponds to a participant with a lower activity level than the participant whose representation is being changed. By maintaining the size and/or position of some representations while changing the size and/or representation of others when a predetermined condition is met, a user can recognize a participant's activity level with minimal changes to the user interface, thereby enhancing the user's ability to focus on the participant's representations in a live communication session. By performing optimized operations without requiring further user input when a set of conditions is met, the device's usability is enhanced, the user-device interface is made more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and by allowing users to use the device more quickly and efficiently, the device's power usage is reduced and battery life is improved.

任意選択的に、ブロック１１４４及び１１４６では、デバイスは、ライブ通信セッションにおける第２の参加者の活動レベルが、ライブ通信セッションにおける第１の参加者の活動レベルを超えて上昇したことを示す第１のデータの受信に応じて、（例えば、現在、第２の参加者がよりアクティブであるときに）ライブ通信ユーザインターフェースにおける第２の参加者の表現の視覚的表示（例えば、ハイライト表現（例えば、表示境界）、アニメーション（例えば、アバターの脈動）、前面に画像を押し出す、サイズを大きくする）を強調する（例えば、増加又は開始する）。ライブ通信セッションにおける第２の参加者の活動レベルが、ライブ通信セッションにおける第１の参加者の活動レベルを超えて上昇したことを示す第１のデータの受信に応じて、デバイスは、（例えば、現在、第１の参加者がよりアクティブでないときに）ライブ通信ユーザインターフェースにおける第１の参加者の表現の視覚的表示（例えば、ハイライト表現（例えば、表示境界）、アニメーション（例えば、アバターの脈動）、後ろに画像を引っ込める、サイズを小さくする）の強調を抑える（例えば、減少又は中止する）。所定条件が満たされるときに視覚的表示を強調する及び／又は強調を抑えることにより、ユーザは最もアクティブである及び／又は最もアクティブではない参加者を含む参加者の活動レベルを迅速に認識することができる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。加えて、所定条件が満たされるときに強調する及び／又は強調を抑えることにより、各参加者の活動レベルを示す視覚的フィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at blocks 1144 and 1146, in response to receiving first data indicating that the activity level of a second participant in the live communication session has risen above the activity level of a first participant in the live communication session, the device enhances (e.g., increases or initiates) a visual display (e.g., highlighting a representation (e.g., display border), animation (e.g., pulsating avatar), pushing an image to the forefront, increasing size) of the second participant's representation in the live communication user interface (e.g., when the second participant is now more active). In response to receiving first data indicating that the activity level of a second participant in the live communication session has risen above the activity level of a first participant in the live communication session, the device de-emphasizes (e.g., decreases or ceases) a visual display (e.g., highlighting a representation (e.g., display border), animation (e.g., pulsating avatar), pushing an image to the back, decreasing size) of the first participant's representation in the live communication user interface (e.g., when the first participant is now less active). By highlighting and/or de-highlighting the visual indication when predetermined conditions are met, a user can quickly recognize the activity levels of participants, including the most and/or least active participants. By performing optimized operation without requiring further user input when a set of conditions is met, the device's usability is enhanced, the user-device interface is made more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and by allowing users to use the device more quickly and efficiently, the device's power usage is reduced and battery life is improved. Additionally, by highlighting and/or de-highlighting when predetermined conditions are met, visual feedback indicating each participant's activity level is provided to the user. By providing the user with improved visual feedback, the device's usability is enhanced, the user-device interface is made more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and by allowing users to use the device more quickly and efficiently, the device's power usage is reduced and battery life is improved.

一部の実施形態では、ライブビデオ通信セッションにおける第２の参加者の活動レベルが、ライブビデオ通信セッションにおける第１の参加者の活動レベルを超えて上昇したことを示すデータの受信に先立ち（受信の前に）、第１の参加者の表現は、第１のサイズ（例えば、３つ以上の所定のサイズのセットにおける中サイズ、セットの最大サイズ）で表示され、第２の参加者の表現は、第１のサイズよりも小さな第２のサイズ（例えば、３つ以上の所定のサイズのセットにおける最小サイズ、セットの中サイズ）（例えば、小さな表現）で表示される。任意選択的に、ブロック１１４８では、デバイスは、第２の参加者の表現のサイズを第２のサイズから第１のサイズに大きくする。表現のサイズ及び／又は位置をより小さなサイズからより大きなサイズに大きくすることにより、参加者の活動レベルが変化するときに、活動レベルが変化していること示す視覚的フィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 In some embodiments, prior to receiving data indicating that the activity level of a second participant in the live video communication session has increased above the activity level of a first participant in the live video communication session, a representation of the first participant is displayed at a first size (e.g., a medium size in a set of three or more predetermined sizes, a largest size of the set) and a representation of the second participant is displayed at a second size (e.g., a small representation) smaller than the first size (e.g., a smallest size in a set of three or more predetermined sizes, a medium size of the set). Optionally, at block 1148, the device increases the size of the representation of the second participant from the second size to the first size. Increasing the size and/or position of the representation from a smaller size to a larger size provides visual feedback to the user as the participant's activity level changes, indicating that the activity level is changing. Providing improved visual feedback to the user enhances the usability of the device, makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and also reduces the device's power usage and improves battery life by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック１１５０及び１１５２では、ライブビデオ通信セッションにおける第２の参加者の活動レベルが、ライブビデオ通信セッションにおける第１の参加者の活動レベルを超えて上昇したことを示すデータの受信の後に、デバイスは、第１の参加者の表現に対応する入力（例えば、８５０Ｃ）（例えば、表現上のタップ）を検出する。第１の参加者の表現に対応する入力の検出に応じて（例えば、ユーザは、ライブ通信ユーザインターフェース上（例えば、オーバーフロー領域、キャンバス領域など）に表示されるいずれかの表現のサイズを変更することができる）、デバイスは、第１の参加者（例えば、図８Ｌ～図８Ｍの８１０Ｆ）の活動レベルを上昇させる（例えば、活動レベルの値を増加させる）。 Optionally, at blocks 1150 and 1152, after receiving data indicating that the activity level of a second participant in the live video communication session has increased above the activity level of a first participant in the live video communication session, the device detects an input (e.g., 850C) corresponding to a representation of the first participant (e.g., a tap on the representation). In response to detecting the input corresponding to the first participant's representation (e.g., a user may resize any representation displayed on the live communication user interface (e.g., in an overflow area, a canvas area, etc.)), the device increases the activity level (e.g., increases the activity level value) of the first participant (e.g., 810F in FIGS. 8L-8M).

ブロック１１５４及び１１５６では、デバイスは、ライブ通信セッションにおける第４の参加者が、第１、第２及び第３の参加者のうちの活動レベルが最も低い参加者よりもアクティブであることを示すデータを受信する。ライブ通信セッションにおける第４の参加者が、第１、第２及び第３の参加者のうちの活動レベルが最も低い参加者よりもアクティブであることを示すデータの受信に応じて、第１、第２及び第３の参加者のうちの活動レベルが最も低い参加者の表現（例えば、図１０Ｎの１０１０Ａ）の表示を、第４の参加者の表現（例えば、図１０Ｏの１０１０Ａ）の表示に置き換える。一部の実施形態では、ブロック１１５８では、デバイスは、第４の参加者の表現を、第１、第２及び第３の参加者のうちの活動レベルが最も低い参加者の表現のサイズよりも大きなサイズで表示する。所定条件が満たされるときに、活動レベルが最も低い参加者の表現の表示を、表現の第１のセットに表示されていない参加者に置き換えることにより、表示されていないユーザが、表現の第１のセットに表示されているユーザよりもアクティブであるときに、ユーザに、ライブ通信セッションにおける最もアクティブではない参加者へのユーザの注目を減少させる一方、ライブ通信セッションにおける最もアクティブな参加者の表現に注目させることができる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。新規に表示される参加者のサイズを大きくすることにより、ユーザインターフェースへの変更を最小限にしながら、新規の参加者に対する、表示される他の参加者（例えば、表現の第１のサブセット）の現在の活動レベルに関するフィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 At blocks 1154 and 1156, the device receives data indicating that a fourth participant in the live communication session is more active than the least active participant among the first, second, and third participants. In response to receiving the data indicating that the fourth participant in the live communication session is more active than the least active participant among the first, second, and third participants, the device replaces the display of a representation of the least active participant among the first, second, and third participants (e.g., 1010A in FIG. 10N) with a display of a representation of the fourth participant (e.g., 1010A in FIG. 10O). In some embodiments, at block 1158, the device displays the representation of the fourth participant at a size larger than the size of the representation of the least active participant among the first, second, and third participants. By replacing the display of the representation of the least active participant with a participant not displayed in the first set of representations when a predetermined condition is met, when the not-displayed user is more active than the user displayed in the first set of representations, the user can be directed to the representation of the most active participant in the live communication session while reducing the user's attention to the least active participant in the live communication session. By performing optimized operation without requiring further user input when a set of conditions is met, the device's usability is enhanced, the user-device interface is made more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and in addition, the device's power usage is reduced and battery life is improved by allowing the user to use the device more quickly and efficiently. By increasing the size of the newly displayed participant, the user is provided with feedback to the user regarding the current activity level of the other displayed participants (e.g., the first subset of representations) relative to the new participant while minimizing changes to the user interface. Providing improved visual feedback to the user enhances the usability of the device, makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and also reduces the device's power usage and improves battery life by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック１１６０では、デバイスは、（例えば、ライブ通信セッションユーザインターフェース内の（例えば、セルフビュー）電子デバイスのカメラのビューの表現（例えば、１００２）を表示する。任意選択的に、ブロック１１６２では、デバイスは、ライブ通信セッションにおける第２の参加者の活動レベルが、ライブ通信セッションにおける第１の参加者の活動レベルを超えて上昇したことを示す第１のデータの受信に更に応じて、任意選択的に、ブロック１１６４で、ライブ通信セッションユーザインターフェースにおいて電子デバイスのカメラのビューの表現（例えば、１００２）のサイズを維持する。一部の実施形態では、セルフビューは、他の参加者の活動レベルの変化に基づいて変化しない）。条件のセットが満たされたときに、他の表現が変化してもよい一方で、デバイスのカメラのビューの表現のサイズを維持することにより、ユーザは、レイアウトの変更を引き続き最小限にしながら、表現を見ることができる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at block 1160, the device displays a representation (e.g., 1002) of the electronic device's camera view (e.g., self-view) within a live communication session user interface. Optionally, at block 1162, the device further responsive to receiving first data indicating that the activity level of a second participant in the live communication session has increased above the activity level of a first participant in the live communication session, optionally, at block 1164, maintains the size of the representation (e.g., 1002) of the electronic device's camera view in the live communication session user interface. In some embodiments, the self-view does not change based on changes in the activity levels of other participants.) Maintaining the size of the representation of the device's camera view while other representations may change when a set of conditions is met allows the user to view the representation while still minimizing layout changes. By performing optimized operations without requiring further user input when a set of conditions are met, the device's usability is enhanced, the user-device interface is made more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and the device's power usage is reduced and battery life is improved by allowing the user to use the device more quickly and efficiently.

なお、方法１１００に関して前述した処理（例えば、図１１Ａ～図１１Ｆ）の詳細はまた、後述する／前述した方法にも、類似の方式で適用可能であることに留意されたい。例えば、方法１１００は、任意選択的に、方法７００、９００、１３００、又は１５００に関して前述した様々な方法の特性の１つ以上を含む。 Note that the details of the processing described above with respect to method 1100 (e.g., FIGS. 11A-11F) are also applicable in a similar manner to the methods described below/above. For example, method 1100 optionally includes one or more of the characteristics of the various methods described above with respect to methods 700, 900, 1300, or 1500.

図１２Ａ～図１２Ｎは、一部の実施形態による、特に、メッセージングアプリケーションからライブ通信セッションを開始するための例示的なユーザインターフェースを示す。これらの図にあるユーザインターフェースは、図１３Ａ～図１３Ｄの処理を含む後述する処理を示すために使用される。 Figures 12A-12N illustrate exemplary user interfaces for initiating a live communication session, particularly from a messaging application, according to some embodiments. The user interfaces in these figures are used to illustrate the processes described below, including the processes of Figures 13A-13D.

図１２Ａは、メッセージングアプリケーションのメッセージングユーザインターフェース１２００を表示している（前述したような）デバイス６００を示す。メッセージングユーザインターフェース１２００は、メッセージ会話に関与する参加者１５人のグループ（「Ｔｈｅ Ｄｒｅａｍ Ｔｅａｍ」）内の参加者間のメッセージをメッセージ領域１２０２に含む。メッセージングユーザインターフェース１２００は、メッセージ会話の参加者全て（例えば、Ｔｈｅ Ｄｒｅａｍ Ｔｅａｍグループの参加者全て）とのライブ通信セッションを開始するための全通話アフォーダンス１２０６と、Ｔｈｅ Ｄｒｅａｍ Ｔｅａｍグループに関する追加情報にアクセスするためのグループ連絡先情報アフォーダンス１２０８とを含む。 12A shows device 600 (as described above) displaying a messaging user interface 1200 of a messaging application. Messaging user interface 1200 includes messages in message area 1202 between participants in a group of 15 participants ("The Dream Team") involved in a messaging conversation. Messaging user interface 1200 includes an all-call affordance 1206 for initiating a live communication session with all participants in the messaging conversation (e.g., all participants in The Dream Team group) and a group contact information affordance 1208 for accessing additional information about The Dream Team group.

図１２Ａに示すように、デバイス６００は、全通話アフォーダンス１２０６の選択に対応するユーザ入力１２５０Ａ（例えば、タップ）を受ける（例えば、検出する）。ユーザ入力１２５０Ａを受けたことに応じて、デバイス６００は、ライブ通信セッションに参加者として含まれる、メッセージ会話の参加者全てとのライブ通信セッションを開始する。一部の実施形態では、ユーザ入力１２５０Ａを受けたことに応じて、デバイス６００は、ライブ通信セッションがアクティブであるとの通知をグループのメンバーに関連するデバイスに表示させる命令を送る。このようにして、全通話アフォーダンス１２０６は、メッセージ会話グループの参加者全てとのライブ通信セッションを直ちに開始する。 As shown in FIG. 12A , device 600 receives (e.g., detects) user input 1250A (e.g., a tap) corresponding to selection of all-call affordance 1206. In response to receiving user input 1250A, device 600 initiates a live communication session with all participants in the message conversation who are included as participants in the live communication session. In some embodiments, in response to receiving user input 1250A, device 600 sends instructions that cause devices associated with members of the group to display a notification that a live communication session is active. In this manner, all-call affordance 1206 immediately initiates a live communication session with all participants in the message conversation group.

図１２Ｂは、ライブ通信セッションが開始されている間のメッセージングアプリケーションのメッセージングユーザインターフェース１２００を示す。メッセージングユーザインターフェース１２００は、メッセージ領域１２０２にあるメッセージ１２１２と、ライブ通信セッションがアクティブであることを示す、ディスプレイ６０２の上部にある視覚インジケータ１２１４とを含む。 FIG. 12B shows a messaging user interface 1200 of a messaging application while a live communication session is initiated. The messaging user interface 1200 includes a message 1212 in a message area 1202 and a visual indicator 1214 at the top of the display 602 that indicates that a live communication session is active.

一部の実施形態では、ユーザ入力１２５０Ａを受けたことに応じて、デバイス６００は、ライブ通信アプリケーションを起動する。図１２Ｃに示すように、ライブ通信セッションが始まった後に、デバイス６００は、ライブ通信アプリケーションのライブ通信ユーザインターフェース１２１６を表示する。ライブ通信ユーザインターフェース１２１６は、グループＴｈｅ Ｄｒｅａｍ Ｔｅａｍによって開始されたライブ通信セッションに対応する。 In some embodiments, in response to receiving user input 1250A, device 600 launches a live communication application. As shown in FIG. 12C, after the live communication session begins, device 600 displays a live communication user interface 1216 of the live communication application. Live communication user interface 1216 corresponds to the live communication session initiated by group The Dream Team.

図１２Ｃに示すように、ライブ通信ユーザインターフェース１２１６は、対応する４人の参加者（例えば、グループＴｈｅ Ｄｒｅａｍ Ｔｅａｍの参加者リスト中の最初の４人の参加者）の主要表現１２１０Ａ～１２１０Ｄ（集合的に１２１０）と、デバイス６００のユーザのユーザ表現１２１８とを含む。ライブ通信ユーザインターフェース１２１６は、ライブ通信セッションの参加者（例えば、Ｔｈｅ Ｄｒｅａｍ Ｔｅａｍグループの各メンバー）に対応するオーバーフロー表現１２２２を伴うオーバーフロー領域１２２０も含む。主要表現１２１０Ｂは、ビデオデータを伴うライブ通信セッションにＡｌｌｉｓｏｎが参加したことを示す、参加者Ａｌｌｉｓｏｎからのライブビデオを含む。 As shown in FIG. 12C, the live communication user interface 1216 includes main representations 1210A-1210D (collectively 1210) of four corresponding participants (e.g., the first four participants in the participant list for the group The Dream Team) and a user representation 1218 of the user of the device 600. The live communication user interface 1216 also includes an overflow area 1220 with overflow representations 1222 corresponding to the participants in the live communication session (e.g., each member of the group The Dream Team). The main representation 1210B includes live video from participant Allison, indicating that Allison has joined the live communication session with video data.

主要表現１２０１Ａ、１２１０Ｃ、及び１２１０Ｄは、対応する参加者がライブ通信セッションに参加していない（例えば、接続されていない）ことを示すプレースホルダを含む。プレースホルダは、参加者の名前（例えば、名前、又は名前と名字のイニシャル）のテキスト表現を含む。任意選択的に、プレースホルダは、参加者がライブ通信セッションへの接続を待っていることを示す状態インジケータと、ライブ通信セッションが利用可能であるとのリマインダを対応する参加者に送るためのリマインダアフォーダンス（例えば、「発信」８０８Ａ）とを含む。一部の実施形態では、リマインダアフォーダンスは、プレースホルダに最初は含まれず、所定時間後に対応する参加者がライブ通信セッションに参加していないとの判定を受けて表示される。 Primary representations 1201A, 1210C, and 1210D include placeholders indicating that the corresponding participants are not participating in (e.g., not connected to) the live communication session. The placeholders include a text representation of the participant's name (e.g., first name, or first and last initial). Optionally, the placeholders include a status indicator indicating that the participant is waiting to connect to the live communication session and a reminder affordance (e.g., "Call" 808A) for sending the corresponding participant a reminder that the live communication session is available. In some embodiments, the reminder affordance is not initially included in the placeholder and is displayed after a predetermined time following a determination that the corresponding participant is not participating in the live communication session.

一部の実施形態では、デバイス６００は、リマインダアフォーダンスの選択に対応する入力（例えば、リマインダアフォーダンス上のタップ）を検出し、これに応じて、ライブ通信セッションが利用可能であることを示す新規の通知（例えば、通話、着信音など）を対応する参加者に関連するデバイスにて生じさせる命令を送り、新規の通知は、参加者に送られた従前の通知とは異なる。一部の実施形態では、新規の通知は、従前の通知よりも干渉的である（例えば、オーディオ又は触覚出力を伴わないバナー通知に比べて、オーディオ発信、触覚出力、又は全画面通知などである）。一部の実施形態では、リマインダアフォーダンスは、（例えば、主要表現内にリマインダアフォーダンスを表示するために使用される同一の基準にしたがって）オーバーフロー表現１２２２内に表示される。一部の実施形態では、オーバーフロー表現上でのリマインダアフォーダンスの選択により、主要表現上に表示されるリマインダアフォーダンスに関して前述したのと同じ応答（例えば、対応する参加者へのより干渉的な新規の通知）がもたらされる。 In some embodiments, the device 600 detects an input corresponding to selection of the reminder affordance (e.g., a tap on the reminder affordance) and, in response, sends an instruction to cause a new notification (e.g., a phone call, a ringtone, etc.) to occur at a device associated with the corresponding participant indicating that a live communication session is available, where the new notification is different from a previous notification sent to the participant. In some embodiments, the new notification is more intrusive than the previous notification (e.g., an audio call, a haptic output, or a full-screen notification, etc., compared to a banner notification without audio or haptic output). In some embodiments, the reminder affordance is displayed in the overflow representation 1222 (e.g., according to the same criteria used to display the reminder affordance in the main representation). In some embodiments, selection of the reminder affordance on the overflow representation results in the same response (e.g., a new, more intrusive notification to the corresponding participant) as described above for a reminder affordance displayed on the main representation.

一部の実施形態では、プレースホルダによって表される参加者の１人がライブ通信セッションに参加したとの判定に応じて、デバイス６００は、ユーザに関連する表現を修正する（例えば、プレースホルダをライブビデオに置き換える、例えば、図８Ｃ～図８Ｄを参照）。一部の実施形態では、表現の修正はアニメーションを含む。一部の実施形態では、デバイス６００は、参加者がセッションに参加したかを判定するためのデータをサーバ又は他の装置から受信する。一部の実施形態では、デバイス６００は、参加者に関連するライブメディアデータの受信に基づいて、参加者がセッションに参加したと判定する。 In some embodiments, in response to determining that one of the participants represented by the placeholder has joined the live communication session, device 600 modifies a representation associated with the user (e.g., replaces the placeholder with live video, see e.g., FIGS. 8C-8D). In some embodiments, the modified representation includes animation. In some embodiments, device 600 receives data from a server or other device to determine whether a participant has joined the session. In some embodiments, device 600 determines that a participant has joined the session based on receiving live media data associated with the participant.

一部の実施形態では、プレースホルダによって表される参加者の１人が、所定時間の間にライブ通信セッションに参加しなかったとの判定を受けて、デバイス６００は、ライブ通信セッションユーザインターフェース１２１６に表示される表現のレイアウトを変更する（例えば、デバイス６００は、所定時間の間にライブ通信セッションに参加しなかった参加者に対応する表現の表示を中止し、より少ない主要表現を有するレイアウトを表示したり、参加者の表現を別の参加者の表現に置き換えたりする。例えば、図８Ｅ～図８Ｆを参照）。一部の実施形態では、デバイス６００は、参加者が所定時間の間にライブ通信セッションに参加しなかったかを判定するためのデータをサーバ又は他の装置から受信する。一部の実施形態では、デバイス６００は、参加者に関連するライブメディアデータを受信していないことに基づいて、参加者が所定時間の間にライブ通信セッションに参加しなかったかを判定する。 In some embodiments, upon determining that one of the participants represented by a placeholder has not participated in the live communication session for a predetermined time, device 600 alters the layout of representations displayed in live communication session user interface 1216 (e.g., device 600 ceases displaying representations corresponding to the participant who has not participated in the live communication session for a predetermined time and displays a layout having fewer prominent representations or replaces the participant's representation with a representation of another participant; see, e.g., FIGS. 8E-8F). In some embodiments, device 600 receives data from a server or other device to determine whether the participant has not participated in the live communication session for a predetermined time. In some embodiments, device 600 determines whether the participant has not participated in the live communication session for a predetermined time based on not receiving live media data associated with the participant.

図１２Ｄは、グループＴｈｅ Ｄｒｅａｍ Ｔｅａｍとのライブ通信セッション中である後の時間のライブ通信ユーザインターフェース１２１６を示す。図１２Ｄに示すように、ライブ通信ユーザインターフェース１２１６は、前述した通話コントロールメニュー６３０に類似する通話コントロールメニュー１２２４を含む。前述したように、一部の実施形態では、通話コントロールメニュー１２２４は、ユーザ入力（例えば、ディスプレイ６０２上のタップ又はスワイプアップ）に応じて表示される。図１２Ｄに示すように、デバイス６００は、通話コントロールメニュー１２２４を拡張するための要求に対応するユーザ入力１２５０Ｂ（例えば、スワイプアップ）を受ける（例えば、検出する）。図１２Ｅに示すように、ユーザ入力１２５０Ｂに応じて、デバイス６００は、通話コントロールメニュー１２２４を拡張する。拡張された通話コントロールメニュー１２２４は、図６Ｉ～図６Ｋに関して説明した拡張された通話コントロールメニュー６３０と類似する。図１２Ｅに示すように、通話コントロールメニュー１２２４は、参加者Ｈｏａｎに関連するリマインダアフォーダンス１２２６を含む。一部の実施形態では、デバイス６００は、リマインダアフォーダンス１２２６の選択に対応する入力（例えば、リマインダアフォーダンス１２２６上のタップ）を検出し、これに応じて、ライブ通信セッションが利用可能であることを示す新規の通知（例えば、通話、着信音など）を参加者Ｈｏａｎに関連するデバイスにて生じさせる命令を送り、新規の通知は、参加者Ｈｏａｎに送られた従前の通知とは異なる。一部の実施形態では、新規の通知は、従前の通知よりも干渉的である（例えば、オーディオ又は触覚出力を伴わないバナー通知に比べて、オーディオ発信、触覚出力、又は全画面通知などである）。 FIG. 12D illustrates the live communication user interface 1216 at a later time during a live communication session with the group The Dream Team. As shown in FIG. 12D, the live communication user interface 1216 includes a call control menu 1224 that is similar to the call control menu 630 described above. As previously described, in some embodiments, the call control menu 1224 is displayed in response to a user input (e.g., a tap or swipe up on the display 602). As shown in FIG. 12D, the device 600 receives (e.g., detects) a user input 1250B (e.g., a swipe up) corresponding to a request to expand the call control menu 1224. As shown in FIG. 12E, in response to the user input 1250B, the device 600 expands the call control menu 1224. The expanded call control menu 1224 is similar to the expanded call control menu 630 described with respect to FIGS. 6I-6K. As shown in FIG. 12E , the call control menu 1224 includes a reminder affordance 1226 associated with participant Hoan. In some embodiments, the device 600 detects input corresponding to the selection of the reminder affordance 1226 (e.g., a tap on the reminder affordance 1226) and, in response, sends an instruction to cause a new notification (e.g., a phone call, a ringtone, etc.) to occur at a device associated with participant Hoan indicating that a live communication session is available, the new notification being different from a previous notification sent to participant Hoan. In some embodiments, the new notification is more intrusive than the previous notification (e.g., an audio call, a haptic output, or a full-screen notification, etc., compared to a banner notification without audio or haptic output).

図１２Ｆは、メッセージグループＴｈｅ Ｄｒｅａｍ Ｔｅａｍとのライブ通信セッションの開始前のライブ通信ユーザインターフェース１２１６を再び示す。図１２Ｆに示すように、デバイス６００は、グループ連絡先アフォーダンス１２０８の選択に対応するユーザ入力１２５０Ｃ（例えば、タップ）を受ける（例えば、検出する）。図１２Ｇに示すように、ユーザ入力１２５０Ｃを受けたことに応じて、デバイス６００は、グループ連絡先ユーザインターフェース１２２８を表示し、同インターフェースは、ライブ通信セッションアフォーダンス１２３０と、グループ参加者リスト１２３２とを含む、Ｔｈｅ Ｄｒｅａｍ Ｔｅａｍグループに関する追加情報を示す。グループ連絡先ユーザインターフェース１２２８は、連絡先追加アフォーダンス１２３４も含む。一部の実施形態では、連絡先追加アフォーダンス１２３４の選択に対応する入力（例えば、タップ）の検出に応じて、デバイス６００は、（例えば、キーボードを用いて参加者の名前を入力するためのテキスト入力欄を有するユーザインターフェース、及び／又は連絡先リストなどのメニューから参加者を選択するための参加者追加アフォーダンスを表示することによって（例えば、図１４Ｆを参照して後述するような））ライブ通信セッションに新規連絡先を追加する処理を開始する。 12F again shows the live communication user interface 1216 prior to the initiation of a live communication session with the message group The Dream Team. As shown in FIG. 12F, the device 600 receives (e.g., detects) a user input 1250C (e.g., a tap) corresponding to the selection of the group contacts affordance 1208. As shown in FIG. 12G, in response to receiving the user input 1250C, the device 600 displays a group contacts user interface 1228, which shows additional information about the The Dream Team group, including a live communication session affordance 1230 and a group participant list 1232. The group contacts user interface 1228 also includes an add contact affordance 1234. In some embodiments, in response to detecting an input (e.g., a tap) corresponding to selecting the add contact affordance 1234, the device 600 begins the process of adding a new contact to the live communication session (e.g., by displaying a user interface having a text entry field for entering the participant's name using a keyboard and/or an add participant affordance for selecting the participant from a menu such as a contact list (e.g., as described below with reference to FIG. 14F )).

図１２Ｈに示すように、デバイス６００は、ライブ通信セッションアフォーダンス１２３０の選択に対応するユーザ入力１２５０Ｄ（例えば、タップ）を受ける（例えば、検出する）。ユーザ入力１２５０Ｄを受けたことに応じて、デバイス６００は、ライブ通信アプリケーションを起動し、グループＴｈｅ Ｄｒｅａｍ Ｔｅａｍの参加者とのライブ通信セッションを開始する（例えば、図１２Ｃに示すように）。 As shown in FIG. 12H, device 600 receives (e.g., detects) user input 1250D (e.g., a tap) corresponding to selection of live communication session affordance 1230. In response to receiving user input 1250D, device 600 launches a live communication application and initiates a live communication session with participants in group The Dream Team (e.g., as shown in FIG. 12C).

ユーザはまた、グループ連絡先ユーザインターフェース１２２８上のグループ参加者の表現を選択して、対応する参加者に関する追加情報及びオプションにアクセスすることもできる。図１２Ｉに示すように、デバイス６００は、参加者Ａｌｌｉｓｏｎのリストアイテム１２３２Ｂの選択に対応するユーザ入力１２５０Ｅ（例えば、タップ）を受ける（例えば、検出する）。ユーザ入力１２５０Ｅに応じて、デバイス６００は、選択された参加者に関連する追加情報と、様々な通信モードによって参加者と個人的に通信するためのオプション１２３８Ａ～１２３８Ｅとを有する、個人連絡先ユーザインターフェース１２３６を表示する。図１２Ｊに示すように、個人連絡先ユーザインターフェース１２３６は、特に、個人的なメッセージ会話、個人的な電話通話、及び参加者Ａｌｌｉｓｏｎとの個人的なライブ通信セッション（例えば、ビデオ通信）をそれぞれ開始するためのアフォーダンス１２３８Ａ、１２３８Ｂ及び１２３８Ｃを含む。 A user can also select a representation of a group participant on the group contacts user interface 1228 to access additional information and options regarding the corresponding participant. As shown in FIG. 12I, the device 600 receives (e.g., detects) a user input 1250E (e.g., a tap) corresponding to the selection of participant Allison's list item 1232B. In response to the user input 1250E, the device 600 displays a personal contacts user interface 1236 with additional information related to the selected participant and options 1238A-1238E for privately communicating with the participant via various communication modes. As shown in FIG. 12J, the personal contacts user interface 1236 includes affordances 1238A, 1238B, and 1238C for, among other things, initiating a private messaging conversation, a private phone call, and a private live communication session (e.g., video communication) with participant Allison, respectively.

一部の実施形態では、デバイス６００は、ユーザ入力１２５０Ｅの特性強度が閾値強度を超えるかを判定する。図１２Ｋに示すように、ユーザ入力１２５０Ｅの特性強度が閾値強度を超えるとの判定を受けて、デバイス６００は、参加者Ａｌｌｉｓｏｎとの個人通信用の様々な通信モードに対応するオプション１２４２Ａ～１２４２Ｅを伴って、グループ連絡先ユーザインターフェース１２２８の上にメニュー１２４０を表示する。 In some embodiments, the device 600 determines whether the characteristic intensity of the user input 1250E exceeds a threshold intensity. As shown in FIG. 12K, upon determining that the characteristic intensity of the user input 1250E exceeds the threshold intensity, the device 600 displays a menu 1240 above the group contacts user interface 1228 with options 1242A-1242E corresponding to various communication modes for personal communication with participant Allison.

図１２Ｌ～図１２Ｎはそれぞれ、例示的な４対１、３対１、及び２対１のレイアウトを示す。一部の実施形態では、ライブ通信セッションが５人の参加者（デバイス６００のユーザを含む）を含むことを受けて、デバイス６００は、図１２Ｌに示す初期レイアウトのうちの１つを表示する。一部の実施形態では、ライブ通信セッションが４人の参加者（デバイス６００のユーザを含む）を含むことを受けて、デバイス６００は、図１２Ｍに示す初期レイアウトのうちの１つを表示する。一部の実施形態では、ライブ通信セッションが３人の参加者（デバイス６００のユーザを含む）を含むことを受けて、デバイス６００は、図１２Ｎに示す初期レイアウトのうちの１つを表示する。一部の実施形態では、デバイス６００は、招待及び／又は接続された参加者の数に基づいて、ライブ通信セッションを開始するときの初期レイアウトとして（例えば、図１２Ｃに示すレイアウトの代わりに）、図１２Ｌ～図１２Ｎに示すレイアウトのうちの１つに参加者の表現を表示する。例えば、一部の実施形態では、デバイス６００は、ライブ通信セッションが合計４人の参加者を含むことを受けて、図１２Ｍに示すレイアウトのうちの１つに従って参加者の表現を表示する。 12L-12N illustrate exemplary 4-to-1, 3-to-1, and 2-to-1 layouts, respectively. In some embodiments, in response to a live communication session including five participants (including the user of device 600), device 600 displays one of the initial layouts shown in FIG. 12L. In some embodiments, in response to a live communication session including four participants (including the user of device 600), device 600 displays one of the initial layouts shown in FIG. 12M. In some embodiments, in response to a live communication session including three participants (including the user of device 600), device 600 displays one of the initial layouts shown in FIG. 12N. In some embodiments, device 600 displays representations of participants in one of the layouts shown in FIG. 12L-12N as the initial layout when initiating a live communication session (e.g., instead of the layout shown in FIG. 12C) based on the number of invited and/or connected participants. For example, in some embodiments, device 600 displays representations of participants according to one of the layouts shown in FIG. 12M in response to a live communication session including a total of four participants.

図１３Ａ～図１３Ｄは、一部の実施形態による方法を示すフロー図である。方法１３００は、ディスプレイを備えるデバイス（例えば、１００、３００、５００又は６００）にて実行される。方法１３００の一部の動作は、任意選択的に、組み合わされ、一部の動作の順序は、任意選択的に、変更され、一部の動作は、任意選択的に、省略される。 Figures 13A-13D are flow diagrams illustrating a method according to some embodiments. Method 1300 is performed on a device (e.g., 100, 300, 500, or 600) that includes a display. Some operations of method 1300 are optionally combined, the order of some operations is optionally changed, and some operations are optionally omitted.

後述するように、方法１３００は、複数の参加者間のライブ通信セッションを開始し、セッションと対話するための直感的な方法を提供する。この方法は、複数の参加者間のライブ通信セッションのインテリジェントな開始及びセッションとの対話を提供することにより、ユーザの認知的負担を軽減することで、より効率的なヒューマン－マシンインターフェースを作り出す。バッテリ動作式の電子デバイスの場合、ユーザがライブ通信セッションと、より速くかつ効率的に対話し、セッションを開始することができることにより、電力が節約され、電池の充電間隔が長くなる。 As described below, method 1300 provides an intuitive way to initiate and interact with live communication sessions between multiple participants. By providing intelligent initiation of and interaction with live communication sessions between multiple participants, the method reduces the cognitive burden on the user, creating a more efficient human-machine interface. For battery-operated electronic devices, the ability for users to more quickly and efficiently interact with and initiate live communication sessions conserves power and extends the time between battery charges.

ブロック１３０２では、デバイスは、メッセージングアプリケーションのメッセージングユーザインターフェース（例えば、１２００）を表示する。メッセージングユーザインターフェースは、３人以上の参加者を含むメッセージ会話における参加者間の複数のメッセージを含むメッセージ領域（例えば、１２０２）を含む。メッセージングユーザインターフェースは、メッセージ領域（例えば、１２０２）とは別個の、ライブビデオ通信アプリケーションにおいてライブビデオ通信セッションを開始するためのアフォーダンス（例えば、１２０６）（例えば、メッセージ詳細アフォーダンス又はライブビデオ通信アプリケーションのグラフィック表示を伴うアフォーダンス）を含む。一部の実施形態では、アフォーダンスは、メッセージングアプリケーションにおける参加者全てとライブ通信セッションを直ちに開始する全通話アフォーダンス（例えば、１２０６）である。一部の実施形態では、アフォーダンスは、ライブ通信セッションに参加者を招待するためのグループ連絡先ユーザインターフェースを表示するグループ連絡先アフォーダンス（例えば、１２０８）である。 In block 1302, the device displays a messaging user interface (e.g., 1200) of a messaging application. The messaging user interface includes a message area (e.g., 1202) containing multiple messages between participants in a message conversation involving three or more participants. The messaging user interface includes an affordance (e.g., 1206) for initiating a live video communication session in a live video communication application (e.g., a message details affordance or an affordance with a graphical representation of the live video communication application) separate from the message area (e.g., 1202). In some embodiments, the affordance is an all-call affordance (e.g., 1206) that immediately initiates a live communication session with all participants in the messaging application. In some embodiments, the affordance is a group contacts affordance (e.g., 1208) that displays a group contacts user interface for inviting participants to the live communication session.

ブロック１３４０では、デバイスは、アフォーダンス（例えば、１２０６）の選択に対応する入力（例えば、１２５０Ａ）を検出する。ブロック１３０６では、デバイスは、アフォーダンスの選択に対応する入力の検出に応じて、ライブビデオ通信アプリケーションにおいてライブビデオ通信セッションを開始する処理を開始し、ライブビデオ通信セッションは、メッセージ会話の参加者を含む。一部の実施形態では、ライブビデオ通信アプリケーションは起動され（例えば、１２１６）、新規のライブビデオ通信セッションは、アフォーダンスの選択に応じて直接開始される。一部の実施形態では、アフォーダンスの選択に応じてメッセージングアプリケーションのメニュー（例えば、１２２８）が表示され、ライブビデオ通信アプリケーションを起動し、新規のライブビデオ通信セッションを開始するように、メニューオプション（例えば、１２３０）が選択される。（例えば、入力の検出によって）所定条件が満たされるときに、ライブビデオ通信アプリケーションにおいてライブビデオ通信セッションを開始する処理を自動的に開始することにより、ユーザはライブ通信セッションを開始することができる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。加えて、表示される追加コントローラ（例えば、グループチャットＵＩ）によってＵＩを雑然とさせることなく、ライブ通信を開始する処理を開始するための追加コントローラ（例えば、アフォーダンス）を提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 At block 1340, the device detects an input (e.g., 1250A) corresponding to the selection of an affordance (e.g., 1206). At block 1306, the device, in response to detecting the input corresponding to the selection of the affordance, initiates processing to initiate a live video communication session in a live video communication application, the live video communication session including participants in the message conversation. In some embodiments, the live video communication application is launched (e.g., 1216) and a new live video communication session is initiated directly in response to selecting the affordance. In some embodiments, in response to selecting the affordance, a menu (e.g., 1228) of the messaging application is displayed, and a menu option (e.g., 1230) is selected to launch the live video communication application and initiate a new live video communication session. A user can initiate a live communication session by automatically initiating processing to initiate a live video communication session in the live video communication application when a predetermined condition is met (e.g., by detecting the input). By performing an optimized operation without requiring further user input when a set of conditions is met, the device's usability is enhanced, the user-device interface is made more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and the device's power usage is reduced and battery life is improved by allowing the user to use the device more quickly and efficiently. Additionally, by providing an additional control (e.g., an affordance) for initiating the process of starting a live communication without cluttering the UI with additional controls (e.g., a group chat UI), the device's usability is enhanced, the user-device interface is made more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and the device's power usage is reduced and battery life is improved by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック１３０８では、デバイスは、メッセージングユーザインターフェース（例えば、１２００）からライブ通信アプリケーションのユーザインターフェース（例えば、１２１６）に移行する（例えば、ユーザ入力の検出に応じて直ちに移行する）。任意選択的に、ブロック１３１０では、デバイスは、ライブ通信セッションを開始する。任意選択的に、ブロック１３１２では、デバイスは、グループ連絡先ユーザインターフェース（例えば、１２２８）を表示し、グループ連絡先ユーザインターフェース（例えば、メッセージングユーザインターフェースの少なくとも一部分を表示し続けている間に表示されるインターフェース、又はメッセージングユーザインターフェースに置き換わる別個のインターフェース）は、ライブ通信セッションを開始するためのグループ連絡先アフォーダンス（例えば、１２３０）を含む。（例えば、入力の検出によって）所定条件が満たされるときに、自動的にメッセージングユーザインターフェースから移行し、ライブビデオ通信アプリケーションにおいてライブビデオ通信セッションを開始することにより、ユーザはライブ通信セッションを直ちに開始することができる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。加えて、所定条件が満たされるときに、メッセージングユーザインターフェースから移行し、ライブビデオ通信アプリケーションにおいてライブビデオ通信セッションを開始することにより、操作を行うために必要な入力の数が減る。操作を行うために必要な入力の数が減ることにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at block 1308, the device transitions (e.g., immediately upon detecting user input) from a messaging user interface (e.g., 1200) to a user interface (e.g., 1216) of the live communication application. Optionally, at block 1310, the device initiates the live communication session. Optionally, at block 1312, the device displays a group contacts user interface (e.g., 1228), where the group contacts user interface (e.g., an interface displayed while continuing to display at least a portion of the messaging user interface, or a separate interface that replaces the messaging user interface) includes a group contacts affordance (e.g., 1230) for initiating the live communication session. A user can immediately initiate a live communication session by automatically transitioning from the messaging user interface and initiating a live video communication session in the live video communication application when a predetermined condition is met (e.g., by detecting input). By performing an optimized operation without requiring further user input when a set of conditions are met, the device's usability is enhanced, the user-device interface is made more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and the device's power usage is reduced and battery life is improved by allowing the user to use the device more quickly and efficiently. Additionally, by transitioning from a messaging user interface and initiating a live video communication session in a live video communication application when a predetermined condition is met, the number of inputs required to perform the operation is reduced. By reducing the number of inputs required to perform the operation, the device's usability is enhanced, the user-device interface is made more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and the device's power usage is reduced and battery life is improved by allowing the user to use the device more quickly and efficiently.

一部の実施形態では、グループ連絡先ユーザインターフェースは、メッセージ会話の参加者（例えば、個人参加者リスト）のうちの第１の参加者に関連する第１の参加者アフォーダンス（例えば、１２３２Ｂ）を含む複数の参加者アフォーダンス（例えば、１２３２）を更に含む。一部の実施形態では、グループ連絡先ユーザインターフェースは、新規連絡先アフォーダンス（例えば、１２３４）を更に含む。任意選択的に、ブロック１３１４では、デバイスは、ライブ通信アプリケーションにおいてライブ通信セッションを開始する。追加コントローラが必要とされるときに、表示される追加コントローラによってＵＩを雑然とさせることなく、追加制御オプション（例えば、アフォーダンス）を提供するグループ連絡先ユーザインターフェースを表示することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 In some embodiments, the group contacts user interface further includes multiple participant affordances (e.g., 1232), including a first participant affordance (e.g., 1232B) associated with a first one of the participants in the message conversation (e.g., the individual participant list). In some embodiments, the group contacts user interface further includes a new contact affordance (e.g., 1234). Optionally, at block 1314, the device initiates a live communication session in the live communication application. Displaying a group contacts user interface that provides additional control options (e.g., affordances) without cluttering the UI with additional controllers displayed when needed enhances device usability and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック１３１６では、デバイスは、ライブ通信セッション参加者のうちの第１の参加者（例えば、電子デバイスのユーザ以外の参加者、通信セッションに参加しておらず、通信セッションに参加するための招待を送られた参加者）に関連するプレースホルダ（例えば、図１２Ｃの１２１０Ａ）（例えば、グラフィックプレースホルダ（例えば、画像又は仮想アバター）、テキストプレースホルダ（例えば、名前又はイニシャル）を含む（例えば、最初に含む）ライブ通信セッションユーザインターフェース（例えば、１２１６）（例えば、ライブ通信プレースホルダ用のインターフェース）を表示する。一部の実施形態では、ライブ通信セッションユーザインターフェースは、第２の参加者に関連する第２のプレースホルダを更に含む。一部の実施形態では、第１のプレースホルダは、ライブ通信セッション参加者のうちの第１の参加者用の第１のリマインダアフォーダンス（例えば、発信ボタン）を含む（例えば、図１２Ｃ）。一部の実施形態では、ライブ通信セッションユーザインターフェースは、第２の参加者に関連する第２のプレースホルダを更に含む（例えば、１２１０Ｃ）。一部の実施形態では、第１のプレースホルダ及び第２のプレースホルダは、第１のレイアウトに従って配置される。ライブ通信が開始されるときにライブ通信セッションユーザインターフェースを表示することにより、ライブ通信セッションの現在の状態に関するフィードバックがユーザに提供され、ライブ通信インターフェースに関連する操作が行われ得ることを示す視覚的フィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, in block 1316, the device displays a live communication session user interface (e.g., 1216) (e.g., an interface for the live communication placeholder) that includes (e.g., initially includes) a placeholder (e.g., 1210A of FIG. 12C) (e.g., a graphic placeholder (e.g., an image or virtual avatar), a text placeholder (e.g., a name or initials)) associated with a first one of the live communication session participants (e.g., a participant other than the user of the electronic device, a participant not participating in the communication session and sent an invitation to join the communication session). In some embodiments, the live communication session user interface further includes a second placeholder associated with a second participant. In some embodiments, the first placeholder includes a first reminder affordance (e.g., a call button) for the ... The session user interface further includes a second placeholder associated with the second participant (e.g., 1210C). In some embodiments, the first placeholder and the second placeholder are arranged according to the first layout. Displaying the live communication session user interface when live communication is initiated provides the user with feedback regarding the current state of the live communication session and provides the user with visual feedback indicating that actions related to the live communication interface may be performed. Providing the user with improved visual feedback enhances device usability and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック１３１８では、第１の参加者がライブ通信セッションに参加したとの判定を受けて、デバイスは、第１のプレースホルダ（例えば、図１２Ｃの１２１０Ａ）の表示を第１の参加者の表現（例えば、図１２Ｄの１２１０Ａ）に置き換える（例えば、プレースホルダが参加者の名前を伴うことができる）。一部の実施形態では、アニメーションが生じる（例えば、図８Ｔ～図８Ｗ）。一部の実施形態では、デバイスは、この判定を行うためのデータをサーバ又は他の装置から受信する。一部の実施形態では、デバイスは、ユーザのいかなる表現をも表示していないために、この判定を行う。参加者の表現を伴う第１のプレースホルダの表示を修正することにより、ユーザはどのユーザが通話に参加したかを迅速に認識することができ、ライブ通信セッションの現在の状態に関するフィードバックがユーザに提供され、通知及び／又はライブ通信セッションに関連する特定の動作が行われることを示す視覚的フィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at block 1318, upon determining that a first participant has joined the live communication session, the device replaces the display of the first placeholder (e.g., 1210A of FIG. 12C ) with a representation of the first participant (e.g., 1210A of FIG. 12D ) (e.g., the placeholder may be accompanied by the participant's name). In some embodiments, animation occurs (e.g., FIGS. 8T-8W ). In some embodiments, the device receives data from a server or other device to make this determination. In some embodiments, the device makes this determination because it is not displaying any representation of the user. Modifying the display of the first placeholder with the participant's representation allows the user to quickly recognize which users have joined the call, provides the user with feedback regarding the current state of the live communication session, and provides the user with visual feedback indicating that a notification and/or a specific action related to the live communication session will be taken. Providing improved visual feedback to the user enhances the usability of the device, makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and also reduces the device's power usage and improves battery life by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック１３２０では、第１の参加者がライブ通信セッションに所定時間の間に参加しなかった（例えば、所定時間後にライブ通信に参加していない）との判定を受けて、デバイスは、（任意選択的にブロック１３２２で）第１のプレースホルダの表示を中止し、任意選択的にブロック１３２４で、デバイスは、第２のプレースホルダの配置を、第１のレイアウトとは異なる第２のレイアウトに変更する（例えば、第１の参加者がレイアウトに含まれないレイアウトを表示する）。一部の実施形態では、デバイスは、この判定を行うためのデータをサーバ又は他の装置から受信することができる。一部の実施形態では、デバイスは、ユーザのいかなる表現をも表示していないために、この判定を行うことができる。所定条件が満たされるときに、プレースホルダの表示を中止し、表示の配置を変更することにより、ユーザは、表示される参加者及び／又はプレースホルダの視認性を最大化しながら、他のユーザが通話に参加しているとき又は参加していないときを迅速に認識することができる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。加えて、プレースホルダの表示を中止し、表示の配置を変更することにより、ライブ通信セッションの現在の状態に関するフィードバックがユーザに提供され、通知及び／又はライブ通信セッションに関連する特定の動作が行われることを示す視覚的フィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at block 1320, upon determining that the first participant has not joined the live communication session for a predetermined time (e.g., has not joined the live communication after a predetermined time), the device (optionally at block 1322) ceases displaying the first placeholder, and optionally at block 1324, the device changes the arrangement of the second placeholder to a second layout different from the first layout (e.g., displays a layout in which the first participant is not included in the layout). In some embodiments, the device may receive data from a server or other device to make this determination. In some embodiments, the device may make this determination because it is not displaying any representation of the user. By ceasing to display the placeholder and changing the arrangement of the display when predetermined conditions are met, the user may quickly recognize when other users are participating or not participating in the call while maximizing visibility of the displayed participants and/or placeholders. By performing an optimized operation without requiring further user input when a set of conditions is met, the device's usability is enhanced, the user-device interface is made more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and the device's power usage is reduced and battery life is improved by allowing the user to use the device more quickly and efficiently. Additionally, by ceasing the display of placeholders and rearranging the display, feedback is provided to the user regarding the current state of the live communication session, and notifications and/or visual feedback is provided to the user indicating that a specific action related to the live communication session will be performed. Providing the user with improved visual feedback enhances the device's usability and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and the device's power usage is reduced and battery life is improved by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック１３２６及び１３２８では、デバイスは、第１のリマインダアフォーダンス（例えば、８０８）の選択に対応する入力（例えば、８５０Ｂ）を受ける。第１のリマインダアフォーダンスの選択に対応する入力を受けたことに応じて、デバイスは、第１の参加者に送られた従前の通知とは異なる新規の通知（例えば、通話、着信音など）を第１の参加者に送る（例えば、第２の通知は、第１の通知よりも干渉性が高い）。リマインダアフォーダンスの選択に対応する入力を受けたことに応じて、その参加者に送られた従前の通知とは異なる通知を第１の参加者に送ることにより、操作を行うために必要な入力の数が減る。操作を行うために必要な入力の数（例えば、ユーザが参加者を呼ぶのに必要なオプションの数）が減ることにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。加えて、更なるユーザ入力を伴わずに、第１の通知とは異なる通知を送るなどの動作を自動的に行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at blocks 1326 and 1328, the device receives input (e.g., 850B) corresponding to selection of a first reminder affordance (e.g., 808). In response to receiving the input corresponding to selection of the first reminder affordance, the device sends a new notification (e.g., a call, a ringtone, etc.) to the first participant that differs from a previous notification sent to the first participant (e.g., the second notification is more intrusive than the first notification). Sending a notification to the first participant that differs from a previous notification sent to the participant in response to receiving the input corresponding to selection of the reminder affordance reduces the number of inputs required to perform an action. Reducing the number of inputs required to perform an action (e.g., the number of options a user needs to call a participant) enhances device usability and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing users to use the device more quickly and efficiently. Additionally, automatically performing an action such as sending a different notification from the first notification without further user input enhances the usability of the device, making the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and also reducing power usage and improving battery life of the device by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック１３３０及び１３３２では、デバイスは、ライブ通信セッションを開始するためのグループ連絡先アフォーダンス（例えば、１２０８）の選択に対応する入力（例えば、１２５０Ｃ）を受ける。ライブ通信セッションを開始するためのグループ連絡先アフォーダンスの選択に対応する入力の検出に応じて、デバイスは、ライブ通信アプリケーションにおいてライブ通信セッションを開始する。（例えば、ライブ通信アプリケーションのユーザインターフェースに移行する）。一部の実施形態では、グループ連絡先ユーザインターフェースは、ライブ通信セッション用の参加者リスト（例えば、１２３２）を含む。一部の実施形態では、参加者リストは、所与の参加者とのビデオ又はオーディオ会議に個人的に参加する若しくは同会議を開始するためのオプション及び／又はアフォーダンスの提供を伴わずに提供される。一部の実施形態では、メッセージングユーザインターフェースは、ライブビデオ通信アプリケーションにおいてライブビデオ通信セッションを開始するための２つのアフォーダンス、つまり、選択されると、グループ連絡先ユーザインターフェースの表示をもたらす第１のアフォーダンスと、選択されると、ライブ通信アプリケーションのユーザインターフェースへの移行及びその開始（例えば、ライブ通信セッションを直ちに開始する）をもたらす第２のアフォーダンスとを含む）。追加コントローラが必要とされるときに、表示される追加コントローラによってＵＩを雑然とさせることなく、追加制御オプション（例えば、アフォーダンス）を提供するグループ連絡先アフォーダンスの選択に応じてライブ通信アプリケーションにおいてライブ通信セッションを開始することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。加えて、グループ連絡先アフォーダンスの選択に応じてライブ通信アプリケーションにおいてライブ通信セッションを開始することにより、操作を行うために必要な入力の数を減らすことができる。操作を行うために必要な入力の数が減ることにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at blocks 1330 and 1332, the device receives input (e.g., 1250C) corresponding to selection of a group contacts affordance (e.g., 1208) to initiate a live communication session. In response to detecting input corresponding to selection of the group contacts affordance to initiate a live communication session, the device initiates the live communication session in the live communication application (e.g., transitions to a user interface of the live communication application). In some embodiments, the group contacts user interface includes a participant list (e.g., 1232) for the live communication session. In some embodiments, the participant list is provided without providing options and/or affordances for personally joining or initiating a video or audio conference with a given participant. In some embodiments, the messaging user interface includes two affordances for initiating a live video communication session in the live video communication application: a first affordance that, when selected, results in display of the group contacts user interface, and a second affordance that, when selected, results in transition to and initiation of the user interface of the live communication application (e.g., immediately starting the live communication session). Initiating a live communication session in a live communication application in response to selection of a group contact affordance that provides additional control options (e.g., affordances) without cluttering the UI with additional controllers that are displayed when the additional controllers are needed enhances device usability, makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and also reduces device power usage and improves battery life by allowing the user to use the device more quickly and efficiently. Additionally, initiating a live communication session in a live communication application in response to selection of a group contact affordance can reduce the number of inputs required to perform an operation. Reducing the number of inputs required to perform an operation enhances device usability, makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and also reduces device power usage and improves battery life by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック１３３４、１３３６、１３３８、及び１３４０では、デバイスは、通信を開始した後に、第１の参加者がライブ通信セッションに所定時間の間に参加しなかったとの判定に応じて、第１の参加者に関連するリマインダオプションを表示する。一部の実施形態では、リマインダオプションは、グループ連絡先ユーザインターフェースの第１の参加者アフォーダンスの上又は付近に表示される。所定条件が満たされるときに、参加者に関連するリマインダオプションを表示することにより、ユーザは通話に参加していないユーザを迅速に認識し、それらの特定のユーザを呼ぶことができる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。第１の参加者に関連するリマインダオプションを表示している間に、デバイスは、リマインダオプションの選択に対応する入力を受ける。リマインダオプションの選択に対応する入力を受けることに応じて、デバイスは、そこで、ライブ通信セッションが第１の参加者に利用可能であることを示す通知（例えば、第１の参加者のデバイスに（例えば、可聴、可視、触覚）通知を出力させる通知）を送る。その参加者に関連するリマインダオプションの選択に対応する入力を受けたことに応じて、第１の参加者に通知を送ることにより、操作を行うために必要な入力の数が減る。操作を行うために必要な入力の数（例えば、ユーザが参加者を呼ぶのに必要なオプションの数）が減ることにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at blocks 1334, 1336, 1338, and 1340, the device displays a reminder option associated with the first participant in response to determining that the first participant has not joined the live communication session within a predetermined time period after initiating communication. In some embodiments, the reminder option is displayed above or near the first participant affordance in the group contacts user interface. By displaying the reminder option associated with the participant when a predetermined condition is met, a user can quickly identify users who are not participating in the call and call those specific users. Performing optimized operation without requiring further user input when a set of conditions is met enhances device usability, makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and, by allowing the user to use the device more quickly and efficiently, reduces device power usage and improves battery life. While displaying the reminder option associated with the first participant, the device receives input corresponding to selection of the reminder option. In response to receiving input corresponding to the selection of the reminder option, the device then sends a notification (e.g., a notification that causes the first participant's device to output a notification (e.g., an audible, visual, tactile)) indicating that a live communication session is available to the first participant. Sending a notification to the first participant in response to receiving input corresponding to the selection of a reminder option associated with that participant reduces the number of inputs required to perform an action. Reducing the number of inputs required to perform an action (e.g., the number of options a user needs to call a participant) enhances device usability and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック１３４２及び１３４４では、デバイスは、メッセージ会話の第１の参加者に関連する第１の参加者アフォーダンス（例えば、１２３２Ｂ）の選択に対応する入力（例えば、１２５０Ｅ）を検出する。一部の実施形態では、これらの参加者は、ライブ通信セッションの参加者である（例えば、ライブ通信セッションの参加者は、メッセージ会話からのユーザとは異なる１人以上のユーザを含むことができ、メッセージ会話からの参加者を含まないこともできる）。メッセージ会話の第１の参加者に関連する第１の参加者アフォーダンスの選択に対応する入力の検出に応じて、デバイスは、第１の参加者の特性を含む個人参加者ユーザインターフェース（例えば、１２３６）を表示する（例えば、個人参加者ユーザインターフェースは、個人ユーザに関する詳細（例えば、名前、イニシャルなどのユーザ識別子、ユーザ連絡先情報、ユーザに連絡するための通信モード）を有する）。追加コントローラが必要とされるときに、表示される追加コントローラによってＵＩ（例えば、グループコンタクトＵＩ）を雑然とさせることなく、入力の検出に応じて個人参加者ユーザインターフェース（例えば、グループ連絡先ＵＩ上の各個人参加者用の参加者アフォーダンス）を表示することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at blocks 1342 and 1344, the device detects input (e.g., 1250E) corresponding to selection of a first participant affordance (e.g., 1232B) associated with a first participant in the message conversation. In some embodiments, these participants are participants in a live communication session (e.g., participants in a live communication session may include one or more users different from users from the message conversation, and may not include participants from the message conversation). In response to detecting input corresponding to selection of the first participant affordance associated with the first participant in the message conversation, the device displays an individual participant user interface (e.g., 1236) including characteristics of the first participant (e.g., the individual participant user interface having details about the individual user (e.g., a user identifier such as name, initials, etc., user contact information, communication mode for contacting the user)). Displaying an individual participant user interface (e.g., a participant affordance for each individual participant on a group contact UI) in response to input detection, without cluttering the UI (e.g., a group contact UI) with additional controllers that are displayed when needed, enhances device usability, makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and additionally reduces device power usage and improves battery life by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック１３４６及び１３４８では、デバイスは、通信モードを選択するためのオプションの選択に対応する入力（例えば、強度閾値を超える特性強度を有する入力）を検出する（例えば、１２３８Ａ～１２３８Ｃ）。通信モードオプションの選択に対応する入力の検出に応じて、デバイスは、第１の参加者用の通勤モードを選択する処理を開始する。一部の実施形態では、処理の開始は、複数の通信オプションアフォーダンス（例えば、メールアフォーダンス、通話アフォーダンス、メッセージングアフォーダンス）の表示を含む。 Optionally, at blocks 1346 and 1348, the device detects input corresponding to selection of an option for selecting a communication mode (e.g., an input having a characteristic intensity above an intensity threshold) (e.g., 1238A-1238C). In response to detecting the input corresponding to selection of the communication mode option, the device initiates a process to select a commute mode for the first participant. In some embodiments, the initiation of the process includes displaying multiple communication option affordances (e.g., an email affordance, a call affordance, a messaging affordance).

任意選択的に、ブロック１３５０及び１３５２では、デバイスは、新規の連絡先アフォーダンス（例えば、１２３４）の選択に対応する入力を検出する。新規の連絡先アフォーダンスの選択に対応する入力の検出に応じて、デバイスは、ライブ通信セッションに新規の連絡先を追加する処理を開始する（例えば、追加する新規の連絡先を選択するためのユーザインターフェースを表示する）。ライブ通信セッションに新規の連絡先を追加する処理を開始することにより、ユーザはどのユーザが通話に追加されるかを迅速に認識することができ、ライブ通信セッションの現在の状態に関するフィードバックがユーザに提供され、通知及び／又はライブ通信セッションに関連する特定の動作が行われることを示す視覚的フィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at blocks 1350 and 1352, the device detects input corresponding to selection of a new contact affordance (e.g., 1234). In response to detecting input corresponding to selection of the new contact affordance, the device initiates a process to add a new contact to the live communication session (e.g., displays a user interface for selecting a new contact to add). Initiating the process to add a new contact to the live communication session allows the user to quickly recognize which user is being added to the call, provides the user with feedback regarding the current state of the live communication session, and provides the user with notifications and/or visual feedback indicating that a specific action related to the live communication session will occur. Providing the user with improved visual feedback enhances device usability and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently.

なお、方法１３００に関して前述した処理（例えば、図１３Ａ～図１３Ｄ）の詳細はまた、後述する／前述した方法にも、類似の方式で適用可能であることに留意されたい。例えば、方法１３００は、任意選択的に、方法７００、９００、１１００、又は１５００に関して説明した様々な方法の特性の１つ以上を含む。 Note that details of the processing described above with respect to method 1300 (e.g., FIGS. 13A-13D) are also applicable in a similar manner to the methods described below/above. For example, method 1300 optionally includes one or more features of the various methods described with respect to methods 700, 900, 1100, or 1500.

図１４Ａ～図１４Ｉは、一部の実施形態による、特に、ライブ通信アプリケーションからライブ通信セッションを開始するための例示的なユーザインターフェースを示す。これらの図にあるユーザインターフェースは、図１５Ａ～図１５Ｃにおける処理を含む後述する処理を示すために使用される。 Figures 14A-14I illustrate exemplary user interfaces, according to some embodiments, specifically for initiating a live communication session from a live communication application. The user interfaces in these figures are used to illustrate the processes described below, including the processes in Figures 15A-15C.

図１４Ａは、アプリケーションを起動するためのアフォーダンスを伴うユーザインターフェース１４００（例えば、ホーム画面又はスプリングボード）を表示している（前述したような）デバイス６００を示す。図１４Ａに示すように、デバイス６００は、ライブ通信アプリケーションアフォーダンス１４０２の選択に対応するユーザ入力１４５０Ａ（例えば、タップ）を受ける（例えば、検出する）。 FIG. 14A illustrates a device 600 (as previously described) displaying a user interface 1400 (e.g., a home screen or springboard) with an affordance for launching an application. As shown in FIG. 14A, the device 600 receives (e.g., detects) a user input 1450A (e.g., a tap) corresponding to selection of a live communications application affordance 1402.

図１４Ｂに示すように、ユーザ入力１４５０Ａを受けたことに応じて、デバイス６００は、ライブビデオ通信アプリケーションを起動し、ライブビデオ通信アプリケーションのライブビデオ通信ユーザインターフェース１４０４を表示する。ライブビデオ通信ユーザインターフェースは、それぞれの参加者又は参加者グループに対応する参加者アフォーダンス１４０８Ａ～１４０８Ｋのリスト１４０８を含む。一部の実施形態では、ライブ通信アプリケーションにおいてそれぞれの参加者又は参加者グループ（例えば、デバイス６００のユーザ以外の２人以上の参加者）との従前（例えば、最近）のライブ通信セッションに基づいて、参加者アフォーダンスがリスト１４０８に含まれる。一部の実施形態では、従前のライブ通信セッションは、デバイス６００のユーザ又は別の参加者のいずれかによって、成功裏に接続され試みられた通信を含む。ライブビデオ通信ユーザインターフェース１４０４は、新規のライブ通信セッションの参加者を選択するための新規セッションアフォーダンス１４０６を含む。 As shown in FIG. 14B , in response to receiving user input 1450A, device 600 launches a live video communication application and displays a live video communication user interface 1404 of the live video communication application. The live video communication user interface includes a list 1408 of participant affordances 1408A-1408K corresponding to each participant or participant group. In some embodiments, the participant affordances are included in list 1408 based on a previous (e.g., recent) live communication session with the respective participant or participant group (e.g., two or more participants other than the user of device 600) in the live communication application. In some embodiments, the previous live communication session includes a successfully connected and attempted communication by either the user of device 600 or another participant. The live video communication user interface 1404 includes a new session affordance 1406 for selecting participants for a new live communication session.

一部の実施形態では、別のアプリケーション（例えば、メッセージアプリケーション（アフォーダンス１４０８Ａ、例えば、グループチャット参加者リスト）、電話アプリケーション（アフォーダンス１４０８Ｃ、例えば、会議通話の参加者）、カレンダーアプリケーション（アフォーダンス１４０８Ｂ、例えば、カレンダーイベントの出席者）、又は電子メールアプリケーション（アフォーダンス１４０８Ｄ、例えば、電子メールの受信者リスト））に関連する参加者グループに基づいて、参加者アフォーダンスがリスト１４０８に含まれる。例えば、参加者アフォーダンス１４０８Ａは、従前又は既存のグループメッセージ会話（例えば、テキスト又はインスタントメッセージ）の参加者グループに対応しており、リスト１４０８に提案として表示される（例えば、ユーザは、参加者グループを手動で作成する必要がない）。一部の実施形態では、参加者アフォーダンスは、電話アプリケーションに関連する電話会議通話の参加者グループに対応する。参加者アフォーダンス１４０８Ａ～１４０８Ｋは、参加者又は参加者グループの表示、状態インジケータ、詳細アフォーダンス、及び、任意選択的に、関連する日付を含む。図１４Ｂに示すように、状態インジケータは、参加者又はグループのソース（例えば、「メッセージより」、「電話より」、「カレンダーより」、「メールより」）、又は関連する通信の通信状態（例えば、ビデオ、オーディオ、不在など）を識別する。一部の実施形態では、参加者又はグループのソースは、グラフィック又はテキスト表示、特定のアプリケーションに関連する色、又はアプリケーションに関するロゴ（例えば、電話アイコン、ビデオカメラアイコン、又は吹き出しアイコン）によって示される。 In some embodiments, participant affordances are included in list 1408 based on participant groups associated with another application (e.g., a messaging application (affordance 1408A, e.g., a group chat participant list), a phone application (affordance 1408C, e.g., participants in a conference call), a calendar application (affordance 1408B, e.g., attendees of a calendar event), or an email application (affordance 1408D, e.g., a list of email recipients)). For example, participant affordance 1408A corresponds to a participant group of a previous or existing group messaging conversation (e.g., text or instant message) and is displayed as a suggestion in list 1408 (e.g., the user does not have to manually create the participant group). In some embodiments, the participant affordance corresponds to a participant group of a conference call associated with the phone application. Participant affordances 1408A-1408K include an indication of the participant or participant group, a status indicator, a details affordance, and, optionally, an associated date. As shown in FIG. 14B, the status indicator identifies the source of the participant or group (e.g., "From Message," "From Phone," "From Calendar," "From Mail") or the communication state of the associated communication (e.g., video, audio, absent, etc.). In some embodiments, the source of the participant or group is indicated by a graphic or textual display, a color associated with a particular application, or a logo associated with the application (e.g., a phone icon, a video camera icon, or a speech bubble icon).

一部の実施形態では、デバイス６００は、アクティブなライブ通信セッションが存在するグループに関連する参加者アフォーダンスを視覚的に区別する。図１４Ｂでは、参加者アフォーダンス１４０８Ｅは、ライブ通信セッションが現在アクティブであるグループに関連する。アクティブなライブ通信セッションは、他の参加者アフォーダンスに表示される非太字表記のテキスト及びコンタクト詳細アイコン（例えば、１４０８Ａ－１）と比べて、参加者アフォーダンス１４０８Ｅにおける太字表記テキストによる参加者の名前、ビデオカメラアイコン１４０８Ｅ－１、及び「参加するためにタップ」メッセージによって示される。 In some embodiments, device 600 visually distinguishes participant affordances associated with groups with active live communication sessions. In FIG. 14B, participant affordance 1408E is associated with a group in which a live communication session is currently active. The active live communication session is indicated by the participant's name in bold text, video camera icon 1408E-1, and "Tap to join" message in participant affordance 1408E, compared to non-bolded text and contact details icons (e.g., 1408A-1) displayed in other participant affordances.

一部の実施形態では、従前のライブ通信セッションに関連する参加者アフォーダンスの外観は、対応するライブ通信セッションにデバイスのユーザが参加したか否かに基づく。図１４Ｂでは、参加者アフォーダンス１４０８Ｈは、デバイス６００のユーザが参加しなかった従前のライブ通信セッションに関連する。結果として、参加者アフォーダンス１４０８Ｈは、デバイス６００のユーザが参加した従前のライブ通信セッションに関連する他の参加者アフォーダンス（例えば、１４０８Ｆ）の非イタリック表記のテキストと区画して、イタリック表記のテキストを含む。 In some embodiments, the appearance of a participant affordance associated with a previous live communication session is based on whether the user of the device participated in the corresponding live communication session. In FIG. 14B, participant affordance 1408H is associated with a previous live communication session in which the user of device 600 did not participate. As a result, participant affordance 1408H includes italicized text in contrast to the non-italicized text of other participant affordances (e.g., 1408F) associated with a previous live communication session in which the user of device 600 participated.

図１４Ｃに示すように、デバイス６００は、１５人の参加者を含む前述した参加者グループＴｈｅ Ｄｒｅａｍ Ｔｅａｍ用の参加者アフォーダンス１４０８Ａの選択に対応するユーザ入力１４５０Ｂ（例えば、タップ）を受ける（例えば、検出する）。 As shown in FIG. 14C, the device 600 receives (e.g., detects) a user input 1450B (e.g., a tap) corresponding to the selection of the participant affordance 1408A for the aforementioned participant group The Dream Team, which includes 15 participants.

ユーザ入力１４５０Ｂを受けたことに応じて、デバイス６００は、選択された参加者アフォーダンス１４０８Ａ（Ｔｈｅ Ｄｒｅａｍ Ｔｅａｍ）に対応する参加者との新規のライブビデオ通信セッションを開始する処理を開始する。一部の実施形態では、新規のライブビデオ通信セッションは、参加者アフォーダンス１４０８Ａの選択に応じて直ちに開始される。例えば、図１４Ｄに示すように、ユーザ入力１４５０Ｂを受けたことに応じて、デバイス６００は、ライブ通信ユーザインターフェース１４１０を表示し、更なるユーザ入力を伴わずにグループＴｈｅ Ｄｒｅａｍ Ｔｅａｍとのライブ通信セッションを開始する。ライブ通信ユーザインターフェース１４１０は、デバイス６００のユーザの表現（例えば、デバイス６００の前面にあるカメラからのビデオ）と、議論した通話コントロールメニュー６３０に類似する通話コントロールメニュー１４１２とを含む。 In response to receiving user input 1450B, device 600 begins processing to initiate a new live video communication session with the participant corresponding to the selected participant affordance 1408A (The Dream Team). In some embodiments, the new live video communication session is initiated immediately in response to the selection of participant affordance 1408A. For example, as shown in FIG. 14D , in response to receiving user input 1450B, device 600 displays live communication user interface 1410 and initiates a live communication session with group The Dream Team without further user input. Live communication user interface 1410 includes a representation of the user of device 600 (e.g., video from a camera on the front of device 600) and a call control menu 1412 similar to call control menu 630 discussed above.

一部の実施形態では、参加者アフォーダンス１４０８Ａの選択に応じて、ライブビデオ通信アプリケーションのメニューが表示され、新規のライブビデオ通信セッションを開始するようにメニューオプションが選択される。例えば、一部の実施形態では、デバイス６００は、ライブ通信セッションを開始せずに、（図１４Ｄに示すように）ライブ通信ユーザインターフェース１４１０を表示する。代わりに、ライブ通信ユーザインターフェース１４１０を表示している間に、デバイス６００は、通話コントロールメニュー１４１２上の通話アフォーダンス１４１４の選択に対応するユーザ入力（例えば、タップ）を受け（例えば、検出し）、ライブ通信開始アフォーダンス１４１４の選択に応じて、グループＴｈｅ Ｄｒｅａｍ Ｔｅａｍとのライブ通信セッションを開始する。 In some embodiments, in response to selection of participant affordance 1408A, a menu of a live video communication application is displayed and a menu option is selected to start a new live video communication session. For example, in some embodiments, device 600 displays live communication user interface 1410 (as shown in FIG. 14D ) without starting a live communication session. Instead, while displaying live communication user interface 1410, device 600 receives (e.g., detects) user input (e.g., a tap) corresponding to selection of call affordance 1414 on call control menu 1412, and in response to selection of start live communication affordance 1414, starts a live communication session with group The Dream Team.

図１４Ｅはまた、ライブ通信ユーザインターフェース１４０４をも示す。（図１４Ｃに示すような）リスト１４０８中の参加者アフォーダンスの選択を受ける代わりに、デバイス６００は、新規セッションアフォーダンス１４０６の選択に対応するユーザ入力１４５０Ｃ（例えば、タップ）を受ける（例えば、検出する）。ユーザ入力１４５０Ｃに応じて、かつユーザ入力１４５０Ｃが新規セッションアフォーダンス１４０６の選択に対応することを受けて、デバイス６００は、参加者を選択し、選択された参加者とデバイス６００のユーザとの新規のライブビデオ通信セッションを開始する処理を開始する。図１４Ｆに示すように、ライブ通信ユーザインターフェース１４０４は、ユーザインターフェース１４１６に置き換えられ、同ユーザインターフェースは、キーボード１４２０を用いて参加者の名前を入力するためのテキスト入力欄１４１８と、メニュー（例えば、連絡先リスト）から参加者を選択するための参加者追加アフォーダンス１４２２と、オーディオ専用アフォーダンス１４２４と、ビデオアフォーダンス１４２６とを含む。 FIG. 14E also shows live communication user interface 1404. Instead of receiving a selection of a participant affordance in list 1408 (as shown in FIG. 14C), device 600 receives (e.g., detects) user input 1450C (e.g., a tap) corresponding to selection of new session affordance 1406. In response to user input 1450C, and in response to user input 1450C corresponding to selection of new session affordance 1406, device 600 begins processing to select a participant and initiate a new live video communication session between the selected participant and the user of device 600. As shown in FIG. 14F, live communication user interface 1404 is replaced with user interface 1416, which includes a text entry field 1418 for entering a participant's name using keyboard 1420, an add participant affordance 1422 for selecting a participant from a menu (e.g., a contact list), an audio-only affordance 1424, and a video affordance 1426.

図１４Ｆでは、テキスト入力欄１４１８へのテキスト「ＪＯＥ」の入力に応じて、デバイス６００は、連絡先「ＪＯＥ ＳＭＩＴＨ」について２つの通信オプション１４１７Ａ及び１４１７Ｂを表示する。一部の実施形態では、デバイス６００は、ライブ通信セッションに参加できるデバイスに関連する通信オプションを視覚的に区別する。図１４Ｆでは、通信オプション１４１７Ｂによって表される通信モード（例えば、電子メール）は、太字表記のテキストによって示されるように、ライブ通信セッションに参加できるデバイスに関連する。対照的に、通信オプション１４１７Ａによって表される通信モード（例えば、家庭電話）は、ライブ通信セッションに参加できるデバイスに通信モードが関連していないことを示すように、通常（非太字表記）テキストで表示される。 14F, in response to entering the text "JOE" into text entry field 1418, device 600 displays two communication options 1417A and 1417B for contact "JOE SMITH." In some embodiments, device 600 visually distinguishes communication options associated with devices that can participate in the live communication session. In FIG. 14F, the communication mode represented by communication option 1417B (e.g., email) is associated with devices that can participate in the live communication session, as indicated by the bolded text. In contrast, the communication mode represented by communication option 1417A (e.g., home phone) is displayed in regular (non-bolded) text to indicate that the communication mode is not associated with devices that can participate in the live communication session.

図１４Ｇに示すように、Ｊｏｅ、Ａｓｈｌｅｙ、及びＳａｍという名前の参加者が選択されている。デバイス６００は、ビデオアフォーダンス１４２６の選択に対応するユーザ入力１４５０Ｄ（例えば、タップ）を受ける（例えば、検出する）。 As shown in FIG. 14G, participants named Joe, Ashley, and Sam are selected. Device 600 receives (e.g., detects) user input 1450D (e.g., a tap) corresponding to the selection of video affordance 1426.

ユーザ入力１４５０Ｄを受けたことに応じて、デバイス６００は、（図１４Ｈに示すように）選択された参加者との新規のライブ通信セッションを開始し、ビデオ及びオーディオデータを含むライブメディアストリームを提供する。一部の実施形態では、オーディオ専用アフォーダンス１４２４の選択に対応するユーザ入力を受けたことに応じて、デバイス６００は、選択された参加者との新規のライブ通信セッションを開始し、ビデオデータを伴わずオーディオデータを含むライブメディアストリームを提供する。 In response to receiving user input 1450D, device 600 initiates a new live communication session with the selected participants (as shown in FIG. 14H) and provides a live media stream including video and audio data. In some embodiments, in response to receiving user input corresponding to selection of audio-only affordance 1424, device 600 initiates a new live communication session with the selected participants and provides a live media stream including audio data without accompanying video data.

一部の実施形態では、新規のライブ通信セッションが開始された後に、デバイス６００は、ライブ通信アプリケーション以外のアプリケーションにおいて、新規のライブ通信セッションの表現を表示する。参加者Ｊｏｅ、Ａｓｈｌｅｙ、及びＳａｍとのライブ通信セッションを開始した後に、デバイス６００のユーザは、メッセージングアプリケーションにナビゲートする。図１４Ｉに示すように、ライブ通信セッションを開始した後に、デバイス６００は、メッセージングアプリケーションのメッセージングインターフェース１４２８を表示する。メッセージングユーザインターフェース１４２８は、ライブ通信セッションの参加者を含むグループメッセージ会話を表示し、ライブ通信セッションが開始したことを示すメッセージ１４３０がメッセージ領域１４３２に表示される。一部の実施形態では、ライブ通信セッションを開始した後に、デバイス６００は、ライブ通信セッションの参加者を含むグループを、メッセージングアプリケーションにおけるメッセージ会話のリストに表示する。一部の実施形態では、デバイス６００は、メッセージ会話のリスト中のグループの選択に応じて、（前述した）メッセージングユーザインターフェース１４２８を表示する。 In some embodiments, after a new live communication session is initiated, device 600 displays a representation of the new live communication session in an application other than the live communication application. After initiating a live communication session with participants Joe, Ashley, and Sam, a user of device 600 navigates to a messaging application. As shown in FIG. 14I, after initiating the live communication session, device 600 displays messaging interface 1428 of the messaging application. Messaging user interface 1428 displays a group message conversation including the participants of the live communication session, and a message 1430 indicating that a live communication session has started is displayed in message area 1432. In some embodiments, after initiating the live communication session, device 600 displays a group including the participants of the live communication session in a list of message conversations in the messaging application. In some embodiments, device 600 displays messaging user interface 1428 (described above) in response to selecting a group in the list of message conversations.

図１５Ａ～図１５Ｃは、一部の実施形態による方法を示すフロー図である。方法１５００は、ディスプレイを備えるデバイス（例えば、１００、３００、５００又は６００）にて行われる。方法１５００の一部の動作は、任意選択的に、組み合わされ、一部の動作の順序は、任意選択的に、変更され、一部の動作は、任意選択的に、省略される。 Figures 15A-15C are flow diagrams illustrating a method according to some embodiments. Method 1500 is performed on a device (e.g., 100, 300, 500, or 600) that includes a display. Some operations of method 1500 are optionally combined, the order of some operations is optionally changed, and some operations are optionally omitted.

後述するように、方法１５００は、複数の参加者間のライブ通信セッションを開始し、セッションと対話する直感的な方法を提供する。この方法は、複数の参加者間のライブ通信セッションのインテリジェントな開始及びセッションとの対話を提供するための、ユーザの認知的負担を軽減することで、より効率的なヒューマン－マシンインターフェースを作り出す。バッテリ動作式の電子デバイスの場合、ユーザがライブ通信セッションと、より速くかつ効率的に対話し、セッションを開始することができることにより、電力が節約され、電池の充電間隔が長くなる。 As described below, method 1500 provides an intuitive way to initiate and interact with live communication sessions between multiple participants. This method reduces the cognitive burden on the user to provide intelligent initiation of and interaction with live communication sessions between multiple participants, creating a more efficient human-machine interface. For battery-operated electronic devices, the ability for users to more quickly and efficiently interact with and initiate live communication sessions conserves power and extends the time between battery charges.

ブロック１５０２では、デバイスは、ライブビデオ通信アプリケーションのライブビデオ通信ユーザインターフェース（例えば、１４０４）を表示する。ブロック１５０４では、ライブビデオ通信ユーザインターフェースは、それぞれ１人以上の参加者に対応する複数の参加者アフォーダンス（例えば、１４０８Ａ～１４０８Ｋ）を含み、複数の参加者アフォーダンスは、３人以上の参加者グループに対応する第１の参加者アフォーダンス（例えば、１４０８Ａ）を含む。ブロック１５０６では、ライブビデオ通信ユーザインターフェースは、新規のライブビデオ通信セッションを開始するための新規セッションアフォーダンス（例えば、１４０６）を含む。一部の実施形態では、参加者アフォーダンスは、従前（例えば、最近）のビデオ通信（例えば、（デバイスを使用している参加者又は外部デバイスに関連する参加者によって）成功裏に接続された又は試みられた）に対応し、ビデオ通信の参加者（単数又は複数）の表示（例えば、１４０８Ｆ）を含む。一部の実施形態では、参加者アフォーダンスは、別の通信アプリケーション（例えば、メッセージングアプリケーション又は電話アプリケーション（例えば、最近の会議通話））に関連するグループを表す。一部の実施形態では、ライブ通信ユーザインターフェースは、最近のライブ通信セッションのリスト（例えば、最近のビデオチャットのリストは、個人及び／又はグループのチャットであることができる）を含む。最近のライブ通信セッションのリストを含むライブ通信ユーザインターフェースを表示することにより、ユーザは、ユーザ又はデバイスが関与した（例えば、招待された、参加した、通信したなど）最近のライブ通信セッションに迅速にアクセス及びセッションを実現することができ、ライブ通信セッションの現在の状態に関するフィードバックがユーザに提供され、通知及び／又はライブ通信セッションに関連する特定の動作が行われることを示す視覚的フィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 At block 1502, the device displays a live video communication user interface (e.g., 1404) of a live video communication application. At block 1504, the live video communication user interface includes a plurality of participant affordances (e.g., 1408A-1408K), each corresponding to one or more participants, where the plurality of participant affordances includes a first participant affordance (e.g., 1408A) corresponding to a group of three or more participants. At block 1506, the live video communication user interface includes a new session affordance (e.g., 1406) for initiating a new live video communication session. In some embodiments, the participant affordance corresponds to a previous (e.g., recent) video communication (e.g., successfully connected or attempted (by a participant using the device or a participant associated with an external device)) and includes an indication (e.g., 1408F) of the participant(s) of the video communication. In some embodiments, the participant affordance represents a group associated with another communication application (e.g., a messaging application or a telephony application (e.g., a recent conference call)). In some embodiments, the live communication user interface includes a list of recent live communication sessions (e.g., a list of recent video chats, which can be individual and/or group chats). Displaying a live communication user interface that includes a list of recent live communication sessions allows a user to quickly access and engage in recent live communication sessions in which the user or device has been involved (e.g., invited, joined, communicated, etc.), provides the user with feedback regarding the current state of the live communication sessions, and provides the user with notifications and/or visual feedback indicating the taking of specific actions related to the live communication sessions. Providing the user with improved visual feedback enhances device usability and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently.

一部の実施形態では、複数の参加者アフォーダンスは、ライブビデオ通信アプリケーションとは異なる第２のアプリケーション（例えば、電話アプリケーション、メッセージングアプリケーション）からのデータ（例えば、利用データ）に基づいて判定される、提案される参加者グループ（例えば、ユーザによって手動で選択／作成されなかった提案される参加者グループ）に対応する第２の参加者アフォーダンス（例えば、１４０８Ｂ）を含む。 In some embodiments, the plurality of participant affordances includes a second participant affordance (e.g., 1408B) corresponding to a suggested participant group (e.g., a suggested participant group not manually selected/created by the user) determined based on data (e.g., usage data) from a second application (e.g., a telephony application, a messaging application) different from the live video communication application.

一部の実施形態では、提案される参加者グループは、第２のアプリケーションにおいて行われたグループ会話（例えば、グループメッセージングセッション、グループ会議通話）の参加者（例えば、１４０８Ａ）又は第２のアプリケーションにおいて行われた会議通話の参加者（例えば、１４０８Ｃ）に対応する。提案される参加者グループに対応するアフォーダンスを含むライブ通信ユーザインターフェースを表示することにより、ユーザは提案されるグループとのライブ通信に迅速にアクセスし、通信を開始することができ、選択されたグループの各メンバーを含むライブ通信セッションの設定に関連する操作を行うために必要な入力の数が減る。操作を行うために必要な入力の数が減ることにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。加えて、提案されるグループに対応するアフォーダンスを表示することにより、表示される追加コントローラによってＵＩを雑然とさせることなく、追加制御操作が提供される。表示される追加コントローラによってＵＩを雑然とさせることなく追加制御操作を提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 In some embodiments, the suggested participant group corresponds to participants (e.g., 1408A) of a group conversation (e.g., a group messaging session, a group conference call) conducted in the second application or participants (e.g., 1408C) of a conference call conducted in the second application. Displaying a live communication user interface including affordances corresponding to the suggested participant group allows a user to quickly access and initiate live communication with the suggested group and reduces the number of inputs required to perform operations related to setting up a live communication session including each member of the selected group. Reducing the number of inputs required to perform operations enhances device usability and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently. Additionally, displaying affordances corresponding to the suggested group provides additional control operations without cluttering the UI with additional displayed controllers. Providing additional control operations without cluttering the UI with additional displayed controllers enhances the usability of the device, makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and also reduces the device's power usage and improves battery life by allowing the user to use the device more quickly and efficiently.

一部の実施形態では、第２の参加者アフォーダンスは、第２のアプリケーション（例えば、提案のためのソースアプリケーション）の表示（例えば、グラフィック又はテキスト表示（例えば、「メッセージから提案される」）、特定のアプリケーションに関する色、又はアプリケーションに関するロゴ）を含む。ライブ通信アプリケーションとは異なるアプリケーションにおけるグループ会話の参加者に対応する、提案される参加者グループに対応するアフォーダンスを更に含むライブ通信ユーザインターフェースを表示することにより、ユーザは提案されるグループとのライブ通信に迅速にアクセスし、通信を開始することができ、選択されたグループの各メンバーを含むライブ通信セッションの設定に関連する操作（例えば、異なるアプリケーションをナビゲートするなど）を行うために必要な入力の数が減る。操作を行うために必要な入力の数が減ることにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。一部の実施形態では、複数の参加者アフォーダンスは、ライブビデオ通信アプリケーションとは異なり、第２のアプリケーションとも異なる、第３のアプリケーション（例えば、電話アプリケーション、メッセージングアプリケーション、電子メールアプリケーション、カレンダーアプリケーション）からのデータ（例えば、利用データ）に基づいて決定される第２の提案される参加者グループ（例えば、ユーザによって手動で選択／作成されなかった提案される参加者グループ）（最近のカレンダーイベントからのグループ又は最近のメールイベントからのグループ）に対応する第３の参加者アフォーダンスを含む。提案されるグループが由来するアプリケーションの表示を含む第２の参加者アフォーダンスを表示することにより、ライブ通信セッションの現在の状態に関するフィードバックがユーザに提供され、第２のアプリケーションに関連する特定の動作を示す視覚的フィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。一部の実施形態では、ライブ通信ユーザインターフェースは、参加者選択アフォーダンス（例えば、「＋」）を更に含む。 In some embodiments, the second participant affordance includes an indication of the second application (e.g., the source application for the suggestion) (e.g., a graphical or textual indication (e.g., "Suggested from message"), a color associated with the particular application, or a logo associated with the application). Displaying a live communication user interface that further includes affordances corresponding to suggested participant groups corresponding to participants in the group conversation in an application different from the live communication application allows a user to quickly access and initiate live communication with the suggested group and reduces the number of inputs required to perform operations associated with setting up a live communication session with each member of the selected group (e.g., navigating different applications). Reducing the number of inputs required to perform operations enhances device usability and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing users to use the device more quickly and efficiently. In some embodiments, the plurality of participant affordances includes a third participant affordance corresponding to a second suggested participant group (e.g., a suggested participant group not manually selected/created by the user) (e.g., a group from recent calendar events or a group from recent mail events) determined based on data (e.g., usage data) from a third application (e.g., a phone application, a messaging application, an email application, a calendar application) that is distinct from the live video communication application and distinct from the second application. Displaying the second participant affordance, which includes an indication of the application from which the suggested group originates, provides the user with feedback regarding the current state of the live communication session and provides the user with visual feedback indicating specific actions related to the second application. Providing the user with improved visual feedback enhances device usability and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently. In some embodiments, the live communication user interface further includes a participant selection affordance (e.g., "+").

ブロック１５０８では、デバイスは、新規のライブビデオ通信セッションを開始する処理を開始するための要求に対応する入力（例えば、１４５０Ｂ）を検出する。ブロック１５１０、１５１２、及び１５１４では、デバイスは、入力の検出に応じて、入力が第１の参加者アフォーダンス（例えば、１４０８Ａ）の選択に対応することを受けて、３人以上の参加者グループを含む新規のライブビデオ通信セッションを開始する処理を開始する。一部の実施形態では、新規のライブビデオ通信セッションは、第１の参加者アフォーダンスの選択に応じて直ちに開始される（例えば、図１４Ｄ）。一部の実施形態では、第１の参加者アフォーダンスの選択に応じて、ライブビデオ通信アプリケーションのメニュー（例えば、１４１６）が表示され、新規のライブビデオ通信セッションを開始するようにメニューオプションが選択される。入力の検出に応じて、デバイスは、入力が新規セッションアフォーダンスの選択に対応することを受けて、２人以上の参加者を選択する処理を開始し、デバイスに関連する参加者と、２人以上の選択された参加者とを含む新規のライブビデオ通信セッションを開始する（例えば、図１４Ｆ）。一部の実施形態では、ユーザインターフェースは、参加者を選択するための第１のアフォーダンス（例えば、１４２２）と、ライブビデオ通信セッションを開始する（例えば、第２のアフォーダンスの選択に応じて、ライブビデオ通信セッション直ちに開始する）ための第２のアフォーダンス（例えば、１４２４及び１４２６）とを含む別のユーザインターフェースに置き換えられる。一部の実施形態では、連絡先情報をテキスト欄（例えば、１４１８）に入力する、又は連絡先のリストから連絡先を選択することによって、参加者は選択される。一部の実施形態では、新規のライブビデオ通信セッションは、アフォーダンス（例えば、１４０８Ａ）の選択に応じて直ちに開始される。所定条件が満たされるときに、新規のライブ通信を開始する処理を開始することにより、デバイスは、選択された参加者の数に基づいて異なるライブビデオ通信セッションをユーザに提供することができる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。加えて、所定条件が満たされるときに、新規のライブ通信を開始する異なる処理を開始することにより、操作を行うために必要な入力の数が減る。操作を行うために必要な入力の数が減ることにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 At block 1508, the device detects an input (e.g., 1450B) corresponding to a request to begin processing to start a new live video communication session. At blocks 1510, 1512, and 1514, in response to detecting the input, the device begins processing to start a new live video communication session including a group of three or more participants in response to the input corresponding to selection of a first participant affordance (e.g., 1408A). In some embodiments, the new live video communication session is started immediately in response to selection of the first participant affordance (e.g., FIG. 14D). In some embodiments, in response to selection of the first participant affordance, a menu (e.g., 1416) of the live video communication application is displayed, and a menu option is selected to start a new live video communication session. In response to detecting the input, the device begins processing to select two or more participants in response to the input corresponding to selection of a new session affordance, and starts a new live video communication session including the participant associated with the device and the two or more selected participants (e.g., FIG. 14F). In some embodiments, the user interface is replaced with another user interface that includes a first affordance (e.g., 1422) for selecting participants and a second affordance (e.g., 1424 and 1426) for initiating a live video communication session (e.g., immediately starting the live video communication session in response to selection of the second affordance). In some embodiments, participants are selected by entering contact information into a text field (e.g., 1418) or by selecting a contact from a list of contacts. In some embodiments, a new live video communication session is initiated immediately in response to selection of an affordance (e.g., 1408A). By initiating a process to initiate a new live communication when a predetermined condition is met, the device can provide the user with different live video communication sessions based on the number of selected participants. By performing an optimized operation without requiring further user input when a set of conditions is met, the device's usability is enhanced, the user-device interface is made more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and by allowing the user to use the device more quickly and efficiently, the device's power usage is reduced and battery life is improved. Additionally, by initiating a different process that initiates a new live communication when a predetermined condition is met, the number of inputs required to perform the operation is reduced. By reducing the number of inputs required to perform the operation, the device's usability is enhanced, the user-device interface is made more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and by allowing the user to use the device more quickly and efficiently, the device's power usage is reduced and battery life is improved.

任意選択的に、ブロック１５１６、１５１８、１５２０、１５２２、１５２４、及び１５２６では、デバイスは、参加者選択アフォーダンスの選択に対応する第２の入力を受ける。参加者選択アフォーダンスの選択に対応する第２のユーザ入力を受けたことに応じて、デバイスは、１人以上の参加者を識別するためのテキスト入力欄（例えば、１４１８）（例えば、宛先：欄）、キーボード（例えば、１４２０）、オーディオ専用アフォーダンス（例えば、１４２４）、ビデオアフォーダンス（例えば、１４２６）を含むグループ選択ユーザインターフェース（例えば、１４１６）を表示する。グループ選択ユーザインターフェースを表示している間に、デバイスは、第３のユーザ入力選択を受ける。第３のユーザ入力を受けたことに応じて、デバイスは、第３のユーザ入力がオーディオ専用アフォーダンスの選択に対応することを受けて、電子デバイスからビデオデータを送信せずに、電子デバイスから送信されるオーディオ（例えば、デバイスの１つ以上のマイクロフォンによって録音されるオーディオ）を用いて新規のライブ通信セッションを開始する。所定条件が満たされるときに（例えば、オーディオ専用アフォーダンスの選択に応じて）、電子デバイスから送信されるオーディオを用いて新規のライブ通信セッションを開始することにより、ユーザは、ユーザがデバイスの追加入出力（例えば、カメラをオフにする、及び／又は、マイクロフォンをオンにする）を選択又は修正する必要なしに、オーディオを用いるライブ通信セッションに参加することができる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。一部の実施形態では、システムは、オーディオのみを用いてライブ通信にユーザが参加したことを示すインジケータを表示する。一部の実施形態では、デバイスは、ユーザがオーディオのみ、又はビデオ及びオーディオを使用したいかを判定するために、「ビデオを用いて接続したいですか」などのフレーズをユーザディスプレイに表示する。このことは、ユーザに、ビデオが共有されていないという安心感を与えることができる）。第３のユーザ入力を受けたことに応じて、かつ第３のユーザ入力がビデオアフォーダンスの選択に対応していることを受けて、デバイスは、電子デバイスから送信されるオーディオ及びビデオを用いて新規のライブ通信セッションを開始する。所定条件が満たされるときに（例えば、ビデオアフォーダンスオプションが選択されることに応じて）、電子デバイスから送信されるオーディオ及びビデオを用いるライブ通信セッションを開始することにより、ユーザは、ユーザがデバイスの追加入出力（例えば、カメラをオンにする、及び／又は、マイクロフォンをオンにする）を選択又は修正する必要なしに、オーディオ及びビデオを用いるライブ通信セッションに参加することができる。条件のセットが満たされたときに、更なるユーザ入力を必要とせずに、最適化された動作を行うことにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at blocks 1516, 1518, 1520, 1522, 1524, and 1526, the device receives a second input corresponding to a selection of a participant selection affordance. In response to receiving the second user input corresponding to a selection of the participant selection affordance, the device displays a group selection user interface (e.g., 1416) including a text entry field (e.g., 1418) for identifying one or more participants (e.g., a To: field), a keyboard (e.g., 1420), an audio-only affordance (e.g., 1424), and a video affordance (e.g., 1426). While displaying the group selection user interface, the device receives a third user input selection. In response to receiving the third user input, the device initiates a new live communication session using audio transmitted from the electronic device (e.g., audio recorded by one or more microphones of the device) without transmitting video data from the electronic device, since the third user input corresponds to a selection of the audio-only affordance. By initiating a new live communication session using audio transmitted from the electronic device when a predetermined condition is met (e.g., in response to selection of an audio-only affordance), a user can participate in a live communication session using audio without the user having to select or modify additional device inputs and outputs (e.g., turning off the camera and/or turning on the microphone). Optimizing operation without requiring further user input when a set of conditions is met enhances device usability, makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), and also reduces device power usage and improves battery life by allowing the user to use the device more quickly and efficiently. In some embodiments, the system displays an indicator that the user has joined a live communication using audio only. In some embodiments, the device displays a phrase such as "Do you want to connect using video?" on the user display to determine whether the user wants to use audio only or video and audio. This can reassure the user that video is not being shared. In response to receiving a third user input, and in response to the third user input corresponding to the selection of the video affordance, the device initiates a new live communication session using audio and video transmitted from the electronic device. By initiating a live communication session using audio and video transmitted from the electronic device when a predetermined condition is met (e.g., in response to the selection of the video affordance option), a user can participate in the live communication session using audio and video without the user having to select or modify additional inputs and outputs of the device (e.g., turning on a camera and/or turning on a microphone). Performing optimized operation without requiring further user input when a set of conditions is met enhances device usability and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently.

任意選択的に、ブロック１５２８及び１５３０では、デバイスは、新規のライブ通信セッションを開始する。新規のライブ通信セッションを開始した後に、デバイスは、ライブ通信セッションとは異なる第４のアプリケーション（例えば、メッセージ又は電話アプリケーション）において新規のライブ通信セッションの表現を表示する。一部の実施形態では、ライブ通信参加者は、メッセージングアプリケーションにおいてメッセージ会話のリスト中のグループメッセージのグループ参加者として表示される。一部の実施形態では、メッセージ会話のリスト中のグループメッセージは、グループ参加者を含むアクティブなライブ通信セッションがあるかの表示を含む（例えば、１４０８Ｅ）。一部の実施形態では、ライブ通信参加者は、電話アプリケーション又は通話アプリケーションにおける最近の通話のリスト中のグループ通話のグループ参加者として表示される。一部の実施形態では、ライブ通信参加者は、カレンダーアプリケーションにおいてカレンダーイベントの招待者として表示される。ライブ通信セッションとは異なるアプリケーションにおいてライブ通信セッションの表現を表示することにより、複数のアプリケーションにおいてライブ通信セッションの現在の状態に関するフィードバックがユーザに提供され、ユーザが単に、一部の実施形態で、表現を一度にアクティブ化する（例えば、ライブ通信セッションにおけるその別の新規のライブ通信セッションを、従前のライブ通信セッションにいた同じ参加者と別のアプリケーションから後で開始する）場合に、通知及び／又はライブ通信セッションに関連する特定の動作が行われることを示す視覚的フィードバックがユーザに提供される。改善された視覚的フィードバックをユーザに提供することにより、デバイスの操作性が高められ、ユーザ－デバイスインターフェースを（例えば、デバイスを操作する／デバイスと対話するときに適切な入力をもたらすようにユーザを支援し、ユーザの誤りを減らすことによって）より効率的にし、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、デバイスの電力使用が抑えられ、バッテリ寿命が改善される。 Optionally, at blocks 1528 and 1530, the device initiates a new live communication session. After initiating the new live communication session, the device displays a representation of the new live communication session in a fourth application (e.g., a messaging or phone application) that is different from the live communication session. In some embodiments, the live communication participants are displayed as group participants of a group message in a list of message conversations in the messaging application. In some embodiments, the group message in the list of message conversations includes an indication of whether there is an active live communication session including the group participants (e.g., 1408E). In some embodiments, the live communication participants are displayed as group participants of a group call in a list of recent calls in a phone application or a calling application. In some embodiments, the live communication participants are displayed as invitees to a calendar event in a calendar application. Displaying a representation of the live communication session in a different application from the live communication session provides the user with feedback regarding the current state of the live communication session in multiple applications, and in some embodiments, provides the user with visual feedback indicating that notifications and/or specific actions related to the live communication session will occur if the user simply activates the representation at once (e.g., later starts another new live communication session in the live communication session from a different application with the same participants who were in the previous live communication session). Providing the user with improved visual feedback enhances device usability and makes the user-device interface more efficient (e.g., by assisting the user in providing appropriate inputs when operating/interacting with the device and reducing user errors), as well as reducing device power usage and improving battery life by allowing the user to use the device more quickly and efficiently.

一部の実施形態では、複数の参加者アフォーダンス（例えば、１４０８）は、３人以上の参加者グループに対応する第４の参加者アフォーダンス（例えば、１４０８Ａ、１４０８Ｅ）を含む。一部の実施形態では、第４の参加者アフォーダンスがアクティブなライブ通信セッションに対応するとの判定を受けて（例えば、１４０８Ｅ）、第４の参加者アフォーダンスは、第１の視覚的外観（例えば、第１の視覚的外観は、参加者アフォーダンスのフォント色若しくはフォントスタイル、又は参加者アフォーダンス若しくはその付近に表示されるアイコン若しくはグリフである）を伴って表示され、第４の参加者アフォーダンスがアクティブではないライブ通信セッションに対応するとの判定を受けて（例えば、１４０８Ａ）、第４の参加者アフォーダンスは、第１の視覚的外観とは異なる第２の視覚的外観（例えば、第２の視覚的外観は、第１の視覚的外観とは異なるフォント色若しくはフォントスタイルであり、又は第２の視覚的外観は、潜在的な参加者の表現の付近に表示されるアイコン若しくはグリフを含まず、若しくは第１の視覚的外観とは異なるアイコン若しくはグリフを含む）を伴って表示される。一部の実施形態では、従前のライブ通信セッションに関連する参加者アフォーダンスの外観は、デバイスのユーザが対応するライブ通信セッションに参加したか否かに基づく（例えば、見逃したライブ通信セッションの参加者アフォーダンス（例えば、１４０８Ｈ）は、デバイス６００のユーザが参加したライブ通信セッションの参加者アフォーダンス（例えば、１４０８Ｆ）におけるのとは異なるか又は同アフォーダンスには含まれないフォント色、フォントスタイル、アイコン、グリフなどを含み、参加者アフォーダンスは、デバイスのユーザがセッションに参加した場合には１色のテキストを含み、セッションが終了する前にデバイスのユーザがセッションに参加しなかった場合には異なる色のテキストを含む）。一部の実施形態では、アクティブなライブ通信セッションに関連する参加者アフォーダンスの外観は、セッションがアクティブではなくなると、（例えば、太字表記のテキスト及びビデオカメラアイコンから、ビデオカメラアイコンを伴わない非太字表記のテキストに）変化する。 In some embodiments, the plurality of participant affordances (e.g., 1408) includes a fourth participant affordance (e.g., 1408A, 1408E) corresponding to a group of three or more participants. In some embodiments, upon a determination that the fourth participant affordance corresponds to an active live communication session (e.g., 1408E), the fourth participant affordance is displayed with a first visual appearance (e.g., the first visual appearance is a font color or font style of the participant affordance, or an icon or glyph displayed at or near the participant affordance), and upon a determination that the fourth participant affordance corresponds to an inactive live communication session (e.g., 1408A), the fourth participant affordance is displayed with a second visual appearance that is different from the first visual appearance (e.g., the second visual appearance is a font color or font style different from the first visual appearance, or the second visual appearance does not include an icon or glyph displayed near a representation of a potential participant, or includes an icon or glyph different from the first visual appearance). In some embodiments, the appearance of a participant affordance associated with a previous live communication session is based on whether the device user participated in the corresponding live communication session (e.g., the participant affordance (e.g., 1408H) for a missed live communication session may include font colors, font styles, icons, glyphs, etc. that are different from or not included in the participant affordance (e.g., 1408F) for a live communication session in which the device user participated; the participant affordance may include text of one color if the device user joined the session and text of a different color if the device user did not join the session before it ended). In some embodiments, the appearance of a participant affordance associated with an active live communication session changes (e.g., from bolded text and a video camera icon to non-bolded text without the video camera icon) when the session becomes inactive.

一部の実施形態では、２人以上の参加者を選択する処理を開始することは、潜在的な参加者（例えば、連絡先リスト中の連絡先）の表現（例えば、１４１７Ａ、１４１７Ｂ）を表示することを含む。一部の実施形態では、潜在的な参加者がライブ通信セッションに参加できるデバイスに関連するとの判定を受けて、潜在的な参加者の表現は、第１の視覚的外観（例えば、第１の視覚的外観は、潜在的な参加者の表現のフォント色若しくはフォントスタイル、又は潜在的な参加者の表現の付近に表示されるアイコン若しくはグリフである）を伴って表示され、参加者がライブ通信セッションに参加できるデバイスに関連しないとの判定を受けて、潜在的な参加者の表現は、第１の視覚的外観とは異なる第２の視覚的外観（例えば、第２の視覚的外観は、第１の視覚的外観のフォント色若しくはフォントスタイルとは異なるフォント色若しくはフォントスタイルであり、又は第２の視覚的外観は、潜在的な参加者の表現の付近に表示されるアイコン若しくはグリフを含まない、若しくは第１の視覚的外観とは異なるアイコン若しくはグリフを含む）を伴って表示される。 In some embodiments, initiating the process of selecting two or more participants includes displaying representations (e.g., 1417A, 1417B) of potential participants (e.g., contacts in a contact list). In some embodiments, upon a determination that the potential participant is associated with a device capable of joining the live communication session, the representation of the potential participant is displayed with a first visual appearance (e.g., the first visual appearance is a font color or font style of the representation of the potential participant, or an icon or glyph displayed near the representation of the potential participant), and upon a determination that the participant is not associated with a device capable of joining the live communication session, the representation of the potential participant is displayed with a second visual appearance that is different from the first visual appearance (e.g., the second visual appearance is a font color or font style that is different from the font color or font style of the first visual appearance, or the second visual appearance does not include an icon or glyph displayed near the representation of the potential participant, or includes an icon or glyph that is different from the first visual appearance).

なお、方法１５００に関して前述した処理（例えば、図１５Ａ～図１５Ｃ）の詳細はまた、前述した方法にも、類似の方式で適用可能であることに留意されたい。例えば、方法１５００は、任意選択的に、方法７００、９００、１１００、又は１３００に関して前述した様々な方法の特性の１つ以上を含む。 Note that the details of the processes (e.g., FIGS. 15A-15C) described above with respect to method 1500 are also applicable in a similar manner to the methods described above. For example, method 1500 optionally includes one or more of the characteristics of the various methods described above with respect to methods 700, 900, 1100, or 1300.

説明を目的とした上述した説明は、特定の実施形態を参照して説明されてきた。しかしながら、上記例示的な議論は、包括的であることを意図しておらず、又は発明を開示された厳密な形式に限定することを意図していない。上記教示を考慮して多くの修正及び変形が可能である。技術の原理及びそれらの実際の適用を最良に説明するために実施形態が選択及び説明されてきた。それによって、他の当業者は、考えられる特定の使用に適切な様々な修正で、技術及び様々な実施形態を最良に利用することが可能である。 The foregoing description, for purposes of illustration, has been described with reference to specific embodiments. However, the illustrative discussion above is not intended to be exhaustive or to limit the invention to the precise form disclosed. Many modifications and variations are possible in light of the above teachings. The embodiments have been chosen and described to best explain the principles of the technology and their practical application so that others skilled in the art can best utilize the technology and various embodiments with various modifications appropriate to the particular use contemplated.

開示及び例が添付図面を参照して完全に説明されてきたが、様々な変更及び修正が当業者にとって明らかであることに留意されたい。そのような変更及び修正は、特許請求の範囲によって定義されるように、開示及び例の範囲内に含まれるものとして理解されることになる。 Although the disclosure and examples have been fully described with reference to the accompanying drawings, it should be noted that various changes and modifications will be apparent to those skilled in the art. Such changes and modifications are to be understood as being included within the scope of the disclosure and examples, as defined by the claims.

上述のように、本技術の一態様は、マルチメディア通信を向上させるために、様々なソースから入手可能なデータを収集及び使用することである。本開示は、場合によっては、この収集されたデータは、特定の人を一意的に特定するか、又はその人に連絡するか、若しくはその人の位置を特定するために用いることができる個人情報データを含み得ることを企図している。そのような個人情報データは、人口統計データ、位置ベースのデータ、電話番号、電子メールアドレス、ツイッターＩＤ、住所、ユーザの健康又はフィットネスレベル（例えば、バイタルサイン測定、服薬情報、運動情報）に関するデータ若しくは記録、誕生日、又は任意の他の識別情報若しくは個人情報を含むことができる。 As noted above, one aspect of the present technology is the collection and use of data available from various sources to enhance multimedia communications. The present disclosure contemplates that, in some cases, this collected data may include personal information data that uniquely identifies a particular person or that can be used to contact or locate that person. Such personal information data may include demographic data, location-based data, phone numbers, email addresses, Twitter IDs, addresses, data or records regarding a user's health or fitness level (e.g., vital sign measurements, medication information, exercise information), birth date, or any other identifying or personal information.

本開示は、この技術のそのような個人情報データの使用は、ユーザの利益のために使用できることを理解する。例えば、個人情報データは、ユーザ間のマルチメディア通信を容易にするために使用することができる。これにより、そのような個人情報データの使用は、そのような通信を向上させることをユーザに可能にさせる。更に、ユーザに利益のある個人情報データの他の使用もまた、本開示により意図されている。例えば、健康データ及びフィットネスデータは、ユーザの全般的なウェルネスついての洞察を提供するために使用されてもよく、あるいはウェルネスの目標を追求するために技術を使用する個人に有益なフィードバックとして使用されてもよい。 This disclosure recognizes that the technology's use of such personal information data can be used to the benefit of users. For example, personal information data can be used to facilitate multimedia communications between users, thereby enabling users to enhance such communications. Additionally, other uses of personal information data that benefit users are also contemplated by this disclosure. For example, health and fitness data may be used to provide insight into a user's overall wellness, or may be used as useful feedback to individuals using the technology to pursue wellness goals.

本開示は、そのような個人情報データの収集、分析、開示、伝送、記憶又は他の使用の責任を担うエンティティが、確固たるプライバシーポリシー及び／又はプライバシー慣行を遵守することを企画する。具体的には、そのようなエンティティは、個人情報データを秘密として厳重に保守するための業界又は政府の要件を満たすか又は上回るものとして一般に認識されている、プライバシーのポリシー及び慣行を実施し常に使用すべきである。そのようなポリシーは、ユーザは容易にアクセスすることができ、データの収集及び／又は使用が変化するにつれて更新されるべきである。ユーザからの個人情報は、そのエンティティの合法的かつ正当な使用のために収集されるべきであり、それらの合法的使用を除いて、共有又は販売されるべきではない。更に、そのような収集／共有は、ユーザに告知して同意を得た後にのみ実施すべきである。加えて、そのようなエンティティは、そのような個人情報データへのアクセスを保護して安全化し、その個人情報データへのアクセスを有する他者が、それらのプライバシーポリシー及び手順を遵守することを保証するための、あらゆる必要な措置を講じるべきである。更には、そのようなエンティティは、広く受け入れられているプライバシーのポリシー及び慣行に対する自身の遵守を証明するために、第三者による評価を自らが受けることができる。加えて、ポリシー及び慣行は、収集かつ／又はアクセスされる特定の種類の個人情報データに適合され、また、管轄権特有の考慮を含む、適用可能な法令及び規格に適合されるべきである。例えば、アメリカ合衆国において、ある健康データの収集又はアクセスは、例えば、Ｈｅａｌｔｈ Ｉｎｓｕｒａｎｃｅ Ｐｏｒｔａｂｉｌｉｔｙ ａｎｄ Ａｃｃｏｕｎｔａｂｉｌｉｔｙ Ａｃｔ（ＨＩＰＡＡ）などの、連邦法及び／又は州法によって管理されてもよく、他の国における健康データは、他の規制及び政策の影響下にあってもよく、それに従って対処されるべきである。したがって、異なるプライバシー慣行を、各国の異なる個人データの種類に対して保つべきである。 This disclosure contemplates that entities responsible for the collection, analysis, disclosure, transmission, storage, or other use of such personal information data adhere to robust privacy policies and/or privacy practices. Specifically, such entities should implement and consistently use privacy policies and practices that are generally recognized as meeting or exceeding industry or government requirements for maintaining the strict confidentiality of personal information data. Such policies should be easily accessible to users and updated as data collection and/or use changes. Personal information from users should be collected for the entity's lawful and legitimate use and should not be shared or sold except for those lawful uses. Furthermore, such collection/sharing should only occur after the user's informed consent is obtained. In addition, such entities should take all necessary measures to protect and secure access to such personal information data and to ensure that others with access to that personal information data comply with their privacy policies and procedures. Furthermore, such entities may elect to undergo third-party assessments to attest to their adherence to widely accepted privacy policies and practices. Additionally, policies and practices should be tailored to the specific types of personal information data collected and/or accessed and should comply with applicable laws and standards, including jurisdiction-specific considerations. For example, in the United States, the collection of or access to certain health data may be governed by federal and/or state laws, such as the Health Insurance Portability and Accountability Act (HIPAA), while health data in other countries may be subject to other regulations and policies and should be addressed accordingly. Therefore, different privacy practices should be maintained for different types of personal data in each country.

前述のことがらにもかかわらず、本開示はまた、ユーザが、個人情報データの使用又は個人情報データへのアクセスを選択的に阻止する実施形態も企図している。すなわち、本開示は、そのような個人情報データへのアクセスを防止又は阻止するために、ハードウェア要素及び／又はソフトウェア要素を提供することができると想到する。例えば、マルチメディア通信の場合、本技術は、ユーザが、サービスの登録中又はその後のいつでも、個人情報データの収集への参加の「オプトイン」又は「オプトアウト」を選択することができるように構成することができる。別の例では、ユーザは、位置データ及び／又は利用可能性を提供しないことを選択することができる。更に別の例では、ユーザは、通信セッションの記録時間の長さが維持されるように制限すること、又はそのようなデータの保持を完全に禁じることを選択することができる。「オプトイン」及び「オプトアウト」オプションを提供することに加えて、本開示は、個人情報のアクセス又は使用に関する通知を提供することを企画している。例えば、アプリのダウンロード時に、ユーザの個人情報データがアクセスされることがユーザに通知され、その後、個人情報データがアプリによってアクセスされる直前に再びユーザに注意してもよい。 Notwithstanding the foregoing, the present disclosure also contemplates embodiments in which a user selectively prevents use of or access to personal information data. That is, the present disclosure contemplates that hardware and/or software elements may be provided to prevent or block access to such personal information data. For example, in the case of multimedia communications, the present technology may be configured to allow a user to "opt in" or "opt out" of participating in the collection of personal information data during service registration or at any time thereafter. In another example, a user may choose not to provide location data and/or availability. In yet another example, a user may choose to limit the length of recordings of communication sessions to be maintained or to prohibit retention of such data entirely. In addition to providing "opt-in" and "opt-out" options, the present disclosure contemplates providing notice regarding access or use of personal information. For example, a user may be notified that their personal information data will be accessed upon downloading an app, and then again immediately before their personal information data is accessed by the app.

更に、本開示の意図は、個人情報データを、意図しない又は不正なアクセス若しくは使用の危険性を最小にする方法で管理かつ取り扱うべきであることである。リスクは、データの収集を制限し、データが必要ではなくなった時点でデータを削除することによって、最小化することができる。加えて、及び適用可能な場合には、ある健康関連アプリケーションにおいても、データ非特定化を、ユーザのプライバシーを保護するために使用することができる。非特定化は、適切な場合には、特定の識別子（例えば、生年月日など）を除去すること、記憶されたデータの量又は特異性を制御すること（例えば、位置データを住所レベルよりも都市レベルで収集すること）、データがどのように記憶されるかを制御すること（例えば、データをユーザ全体にわたって情報集約すること）及び／又は他の方法によって、容易にすることができる。 Furthermore, it is the intent of this disclosure that personal information data should be managed and handled in a manner that minimizes the risk of unintended or unauthorized access or use. Risk can be minimized by limiting data collection and deleting data when it is no longer needed. Additionally, and where applicable, data de-identification can be used to protect user privacy in certain health-related applications. De-identification can be facilitated, where appropriate, by removing certain identifiers (e.g., date of birth, etc.), controlling the amount or specificity of data stored (e.g., collecting location data at the city level rather than the address level), controlling how data is stored (e.g., aggregating data across users), and/or other methods.

したがって、本開示は、１つ以上の様々な開示された実施形態を実施するために個人情報データの使用を広範に網羅しているが、本開示は、それらの様々な実施形態がまた、そのような個人情報データにアクセスすることを必要とせずに実施されることも可能であることも企図している。すなわち、本技術の様々な実施形態は、そのような個人情報データの全て又は一部分の欠如により、実施不可能となるものではない。例えば、ユーザに関連付けられたデバイスにより要求されたコンテンツ、通信サービスプロバイダで使用可能な他の非個人情報、若しくは公的に使用可能な情報などの、非個人情報データ又は個人情報の最小限の量のみに基づいて、通信セッションを確立することができる。 Thus, while this disclosure broadly encompasses the use of personal information data to implement one or more various disclosed embodiments, this disclosure also contemplates that the various embodiments may also be implemented without requiring access to such personal information data. That is, various embodiments of the present technology are not rendered inoperable by the absence of all or a portion of such personal information data. For example, a communication session may be established based only on a minimal amount of non-personal information or personal information, such as content requested by a device associated with a user, other non-personal information available to a communications service provider, or publicly available information.

Claims (20)

ディスプレイを備える電子デバイスにおいて、
ライブビデオ通信セッションにおける第１参加者の表現と、前記ライブビデオ通信セッションにおける第２参加者の表現と、前記ライブビデオ通信セッションにおける第３参加者の表現と、を同時に表示することを含むライブビデオ通信ユーザインターフェースを表示することと、
前記ライブビデオ通信ユーザインターフェースを表示している間、かつ、前記ライブビデオ通信セッションにおける前記第１参加者の活動レベルが前記第２参加者の活動レベル及び前記第３参加者の活動レベルより高い間に、前記ライブビデオ通信セッションにおける前記第２参加者の前記活動レベルが上昇したことを示す第１データを受信することと、
前記ライブビデオ通信セッションにおける前記第２参加者の前記活動レベルが上昇したことを示す前記第１データを受信したことに応じて、
前記第２参加者の前記活動レベルが前記ライブビデオ通信セッションにおける前記第１参加者の前記活動レベルを超えて上昇したことを前記第１データが示すと判定したことであって、ここで、少なくとも前記第１参加者の前記活動レベルは、前記第１参加者のデバイスから受信されるオーディオフィードからのオーディオと、前記第１参加者の前記デバイスから受信されるビデオフィードにおいて識別される、動き基準のセットを満たす動きとの内の少なくとも１つに基づく前記判定したことに従って、
前記ライブビデオ通信ユーザインターフェースにおける前記第１参加者の前記表現のサイズを減少させることを含む、前記ライブビデオ通信ユーザインターフェースにおける前記第１参加者の前記表現のサイズ及び位置を変更することと、
前記ライブビデオ通信ユーザインターフェースにおける前記第２参加者の前記表現のサイズを増加させることを含む、前記ライブビデオ通信ユーザインターフェースにおける前記第２参加者の前記表現のサイズ及び位置を変更することと、
前記ライブビデオ通信ユーザインターフェースにおける前記第３参加者の前記表現のサイズ及び位置を変更することであって、
前記ライブビデオ通信ユーザインターフェースにおける前記第１参加者の前記表現の前記サイズ及び位置を変更した後に、前記第１参加者の変更された前記表現は、前記第１参加者の前記表現の前記サイズ及び位置を変更する前に前記ライブビデオ通信ユーザインターフェースにおいて前記第１参加者の前記表現が占めていた領域の少なくとも一部分を占め、
前記ライブビデオ通信ユーザインターフェースにおける前記第２参加者の前記表現の前記サイズ及び位置を変更した後に、前記第２参加者の変更された前記表現は、前記第２参加者の前記表現の前記サイズ及び位置を変更する前に前記ライブビデオ通信ユーザインターフェースにおいて前記第２参加者の前記表現が占めていた領域の少なくとも一部分を占め、
前記ライブビデオ通信ユーザインターフェースにおける前記第３参加者の前記表現の前記サイズ及び位置を変更した後に、前記第３参加者の変更された前記表現は、前記第３参加者の前記表現の前記サイズ及び位置を変更する前に前記ライブビデオ通信ユーザインターフェースにおいて前記第３参加者の前記表現が占めていた領域の少なくとも一部分を占める、ことと、
前記ライブビデオ通信セッションにおける前記第２参加者の前記活動レベルが前記ライブビデオ通信セッションにおける前記第１参加者の前記活動レベルを超えて上昇したことを前記第１データが示さないと判定したことに従って、
前記ライブビデオ通信ユーザインターフェースにおける前記第１参加者の前記表現の前記サイズ及び位置を変更せず、
前記ライブビデオ通信ユーザインターフェースにおける前記第２参加者の前記表現の前記サイズ及び位置を変更せず、
前記ライブビデオ通信ユーザインターフェースにおける前記第３参加者の前記表現の前記サイズ及び位置を変更しないことと、
を含む、方法。 In an electronic device having a display,
displaying a live video communication user interface including simultaneously displaying a representation of a first participant in the live video communication session, a representation of a second participant in the live video communication session, and a representation of a third participant in the live video communication session;
receiving first data indicating an increased activity level of the second participant in the live video communication session while displaying the live video communication user interface and while the activity level of the first participant in the live video communication session is higher than an activity level of the second participant and an activity level of the third participant;
in response to receiving the first data indicating an increased activity level of the second participant in the live video communication session;
determining that the first data indicates that the activity level of the second participant has increased above the activity level of the first participant in the live video communication session, wherein the activity level of at least the first participant is based on at least one of audio from an audio feed received from a device of the first participant and movements identified in a video feed received from the device of the first participant that meet a set of movement criteria;
changing a size and position of the representation of the first participant in the live video communication user interface, including decreasing a size of the representation of the first participant in the live video communication user interface;
changing a size and position of the representation of the second participant in the live video communication user interface, including increasing a size of the representation of the second participant in the live video communication user interface;
changing the size and position of the representation of the third participant in the live video communication user interface;
after modifying the size and position of the representation of the first participant in the live video communication user interface, the modified representation of the first participant occupies at least a portion of the area that the representation of the first participant occupied in the live video communication user interface before modifying the size and position of the representation of the first participant;
after modifying the size and position of the representation of the second participant in the live video communication user interface, the modified representation of the second participant occupies at least a portion of the area that the representation of the second participant occupied in the live video communication user interface prior to modifying the size and position of the representation of the second participant;
after modifying the size and position of the representation of the third participant in the live video communication user interface, the modified representation of the third participant occupies at least a portion of the area that the representation of the third participant occupied in the live video communication user interface prior to modifying the size and position of the representation of the third participant;
in response to determining that the first data does not indicate that the activity level of the second participant in the live video communication session has increased above the activity level of the first participant in the live video communication session;
not changing the size and position of the representation of the first participant in the live video communication user interface;
not changing the size and position of the representation of the second participant in the live video communication user interface;
not changing the size and position of the representation of the third participant in the live video communication user interface;
A method comprising: 前記ライブビデオ通信ユーザインターフェースにおける前記第１参加者の前記表現の前記サイズ及び位置を変更した後に、前記ライブビデオ通信セッションにおける前記第１参加者の活動レベルが、前記ライブビデオ通信セッションにおける前記第２参加者の前記活動レベルを超えて上昇したことを示す第２データを受信することと、
前記ライブビデオ通信セッションにおける前記第１参加者の活動レベルが、前記ライブビデオ通信セッションにおける前記第２参加者の前記活動レベルを超えて上昇したことを示す前記第２データの受信に応じて、
前記ライブビデオ通信ユーザインターフェースにおける前記第１参加者の前記表現の前記サイズ及び位置を変更することと、
前記ライブビデオ通信ユーザインターフェースにおける前記第２参加者の前記表現の前記サイズ及び位置を変更することと、
前記ライブビデオ通信セッションにおける前記第３参加者の前記表現の前記サイズ及び位置を維持することと、
を更に含む、請求項１に記載の方法。 receiving second data indicating that an activity level of the first participant in the live video communication session has increased beyond the activity level of the second participant in the live video communication session after changing the size and position of the representation of the first participant in the live video communication user interface;
in response to receiving the second data indicating that an activity level of the first participant in the live video communication session has increased above the activity level of the second participant in the live video communication session;
changing the size and position of the representation of the first participant in the live video communication user interface;
changing the size and position of the representation of the second participant in the live video communication user interface;
maintaining the size and position of the representation of the third participant in the live video communication session;
The method of claim 1 further comprising: 前記ライブビデオ通信セッションにおける前記第２参加者の前記活動レベルが、前記ライブビデオ通信セッションにおける前記第１参加者の前記活動レベルを超えて上昇したことを前記第１データが示すと判定したことに更に従って、
前記ライブビデオ通信ユーザインターフェースにおける前記第２参加者の前記表現の視覚的表示を強調することと、
前記ライブビデオ通信ユーザインターフェースにおける前記第１参加者の前記表現の視覚的表示の強調を抑えることと、
を更に含む、請求項１又は２に記載の方法。 Further in accordance with determining that the first data indicates that the activity level of the second participant in the live video communication session has increased above the activity level of the first participant in the live video communication session,
enhancing a visual display of the expression of the second participant in the live video communication user interface;
de-emphasizing a visual display of the expression of the first participant in the live video communication user interface;
The method of claim 1 or 2, further comprising: 前記ライブビデオ通信セッションにおける前記第２参加者の前記活動レベルが上昇したことを示す前記第１データの受信に先立って、
前記第１参加者の前記表現は、第１サイズで表示され、
前記第２参加者の前記表現は、前記第１サイズよりも小さな第２サイズで表示され、
前記第２参加者の前記表現の前記サイズ及び位置を変更することは、前記第２参加者の前記表現の前記サイズを前記第２サイズから前記第１サイズに増加させることを含む、請求項１から３のいずれか１項に記載の方法。 prior to receiving the first data indicating an increase in the activity level of the second participant in the live video communication session;
the representation of the first participant is displayed at a first size;
the representation of the second participant is displayed at a second size smaller than the first size;
4. The method of claim 1, wherein changing the size and position of the representation of the second participant comprises increasing the size of the representation of the second participant from the second size to the first size. 前記第１参加者の前記表現の前記サイズ及び位置を変更することは、
前記第２参加者のビデオフィードから得られる顔認識データに基づいて、前記第１参加者の前記表現の前記サイズ及び位置を変更することを含み、前記第１参加者の前記表現の前記サイズ及び位置を変更することは、前記第２参加者の顔を不明瞭にすることをもたらさない、請求項１から４のいずれか１項に記載の方法。 Modifying the size and position of the representation of the first participant includes:
5. The method of claim 1, further comprising altering the size and position of the representation of the first participant based on facial recognition data obtained from the video feed of the second participant, wherein altering the size and position of the representation of the first participant does not result in obscuring the face of the second participant. 前記ライブビデオ通信セッションにおける前記第２参加者の前記活動レベルが上昇したことを示す前記第１データの受信に先立って、前記第１参加者、前記第２参加者、及び前記第３参加者の表現のうちの１つ以上が、参加者の少なくとも１つの他の表現と重なる、請求項１から５のいずれか１項に記載の方法。 The method of any one of claims 1 to 5, wherein, prior to receiving the first data indicating an increased activity level of the second participant in the live video communication session, one or more of the representations of the first participant, the second participant, and the third participant overlap with at least one other representation of a participant. 前記ライブビデオ通信セッションにおける前記第２参加者の前記活動レベルが上昇したことを示す前記第１データの受信に先立って、前記ライブビデオ通信ユーザインターフェースにおける前記第１参加者、前記第２参加者、及び前記第３参加者の前記表現は、ｚオーダーに従って表示され、
前記ライブビデオ通信ユーザインターフェースにおける前記第１参加者、前記第２参加者、及び前記第３参加者の前記表現の前記サイズ及び位置を変更することは、前記第１参加者、前記第２参加者、及び前記第３参加者の前記表現の前記ｚオーダーを維持することを含む、請求項６に記載の方法。 prior to receiving the first data indicating an increased activity level of the second participant in the live video communication session, the representations of the first participant, the second participant, and the third participant in the live video communication user interface are displayed according to a z-order;
7. The method of claim 6, wherein changing the size and position of the representations of the first participant, the second participant, and the third participant in the live video communication user interface includes maintaining the z-order of the representations of the first participant, the second participant, and the third participant. 前記第１参加者、前記第２参加者、及び前記第３参加者のうちの活動レベルが最も高い参加者の前記表現の一部分は、前記ライブビデオ通信ユーザインターフェースにおける前記第１参加者、前記第２参加者、及び前記第３参加者のうちの別の参加者の前記表現の一部分と重なっている、請求項１から７のいずれか１項に記載の方法。 The method of any one of claims 1 to 7, wherein a portion of the representation of a participant having a highest activity level among the first participant, the second participant, and the third participant overlaps a portion of the representation of another participant among the first participant, the second participant, and the third participant in the live video communication user interface. 前記第１参加者、前記第２参加者、及び前記第３参加者のうちの活動レベルが最も低い参加者の前記表現の一部分は、前記ライブビデオ通信ユーザインターフェースにおける前記第１参加者、前記第２参加者、及び前記第３参加者のうちの別の参加者の前記表現の一部分と重なっている、請求項１から８のいずれか１項に記載の方法。 The method of any one of claims 1 to 8, wherein a portion of the representation of a participant having a lowest activity level among the first participant, the second participant, and the third participant overlaps a portion of the representation of another participant among the first participant, the second participant, and the third participant in the live video communication user interface. 前記ライブビデオ通信セッションにおける前記第２参加者の前記活動レベルが上昇したことを示す前記第１データの受信後に、前記第１参加者の前記表現に対応する入力を検出することと、
前記第１参加者の前記表現に対応する前記入力の検出に応じて、前記第１参加者の前記活動レベルを上昇させることと、
を更に含む、請求項１から９のいずれか１項に記載の方法。 detecting an input corresponding to the expression of the first participant after receiving the first data indicating an increased activity level of the second participant in the live video communication session;
increasing the activity level of the first participant in response to detecting the input corresponding to the expression of the first participant;
10. The method of claim 1, further comprising: 前記ライブビデオ通信セッションにおける第４参加者が、前記第１参加者、前記第２参加者、及び前記第３参加者のうちの活動レベルが最も低い参加者よりもアクティブであることを示すデータを受信することと、
前記ライブビデオ通信セッションにおける前記第４参加者が、前記第１参加者、前記第２参加者、及び前記第３参加者のうちの活動レベルが最も低い参加者よりもアクティブであることを示す前記データの受信に応じて、前記第１参加者、前記第２参加者、及び前記第３参加者のうちの活動レベルが最も低い前記参加者の前記表現の前記表示を、前記第４参加者の表現の表示に置き換えることと、
を更に含む、請求項１から１０のいずれか１項に記載の方法。 receiving data indicating that a fourth participant in the live video communication session is more active than a least active participant among the first participant, the second participant, and the third participant;
responsive to receiving the data indicating that the fourth participant in the live video communication session is more active than a least active participant among the first participant, the second participant, and the third participant, replacing the display of the representation of the least active participant among the first participant, the second participant, and the third participant with a display of a representation of the fourth participant;
The method of any one of claims 1 to 10, further comprising: 前記第１参加者、前記第２参加者、及び前記第３参加者のうちの活動レベルが最も低い前記参加者の前記表現の前記表示を、前記第４参加者の表現の表示に置き換えることは、
前記第１参加者、前記第２参加者、及び前記第３参加者のうちの活動レベルが最も低い前記参加者の前記表現の前記サイズよりも大きなサイズで前記第４参加者の前記表現を表示することを含む、請求項１１に記載の方法。 Replacing the display of the representation of the participant having the lowest activity level among the first participant, the second participant, and the third participant with the display of the representation of the fourth participant includes:
12. The method of claim 11, comprising displaying the representation of the fourth participant at a size larger than the size of the representation of the participant having the lowest activity level among the first participant, the second participant, and the third participant. 前記第２参加者の前記表現の前記サイズ及び位置を変更することは、前記表現の前記サイズを第２サイズから第１サイズに徐々に増加させることを含む、請求項１から１２のいずれか１項に記載の方法。 13. The method of claim 1, wherein changing the size and position of the representation of the second participant comprises gradually increasing the size of the representation from a second size to a first size. 前記ライブビデオ通信ユーザインターフェースはキャンバス領域を含み、前記ライブビデオ通信セッションにおける前記第１参加者の前記表現、前記ライブビデオ通信セッションにおける前記第２参加者の前記表現、及び前記ライブビデオ通信セッションにおける前記第３参加者の前記表現は、前記キャンバス領域に表示される、請求項１から１３のいずれか１項に記載の方法。 The method of any one of claims 1 to 13, wherein the live video communication user interface includes a canvas area, and the representation of the first participant in the live video communication session, the representation of the second participant in the live video communication session, and the representation of the third participant in the live video communication session are displayed in the canvas area. キャンバスサイズ変更イベントを検出することと、
前記キャンバスサイズ変更イベントの検出に応じて、
前記キャンバス領域のサイズを変更することと、
前記第１参加者、前記第２参加者、及び前記第３参加者の前記表現のレイアウトを修正することと、
を更に含む、請求項１４に記載の方法。 Detecting canvas resize events,
In response to detecting the canvas resize event,
Resizing the canvas area;
modifying the layout of the representations of the first participant, the second participant, and the third participant;
The method of claim 14 further comprising: 前記キャンバスサイズ変更イベントの検出に更に応じて、前記第１参加者、前記第２参加者、及び前記第３参加者の前記表現のうちの１つ以上の前記サイズを変更することを更に含む、請求項１５に記載の方法。 The method of claim 15, further comprising: resizing one or more of the representations of the first participant, the second participant, and the third participant in response to detecting the canvas resize event. 前記ライブビデオ通信ユーザインターフェースにおいて前記電子デバイスのカメラのビューの表現を表示することと、
前記ライブビデオ通信セッションにおける前記第２参加者の前記活動レベルが上昇したことを示す前記第１データの受信に更に応じて、
前記ライブビデオ通信ユーザインターフェースにおける前記電子デバイスの前記カメラのビューの前記表現のサイズを維持することと、
を更に含む、請求項１から１６のいずれか１項に記載の方法。 displaying a representation of a view of a camera of the electronic device in the live video communication user interface;
further in response to receiving the first data indicating an increased activity level of the second participant in the live video communication session;
maintaining a size of the representation of the view of the camera of the electronic device in the live video communication user interface;
17. The method of any one of claims 1 to 16, further comprising: 請求項１から１７のいずれか１項に記載の方法をコンピュータに実行させるコンピュータプログラム。 A computer program causing a computer to execute the method of any one of claims 1 to 17. 請求項１８に記載のコンピュータプログラムを格納するメモリと、
前記メモリに格納された前記コンピュータプログラムを実行可能な１つ以上のプロセッサと、
を備えている、電子デバイス。 a memory for storing the computer program of claim 18;
one or more processors capable of executing the computer programs stored in the memory;
An electronic device comprising: 請求項１から１７のいずれか１項に記載の方法を行う手段を備えている、電子デバイス。 An electronic device comprising means for performing the method of any one of claims 1 to 17.
JP2024146741A 2018-05-07 2024-08-28 Multi-Participant Live Communication User Interface Active JP7793706B2 (en)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
US201862668229P 2018-05-07 2018-05-07
US62/668,229 2018-05-07
US201862679925P 2018-06-03 2018-06-03
US62/679,925 2018-06-03
DKPA201870362A DK180130B1 (en) 2018-05-07 2018-06-12 MULTI-PARTICIPANT LIVE COMMUNICATION USER INTERFACE
DKPA201870364 2018-06-12
DKPA201870362 2018-06-12
DKPA201870363 2018-06-12
DKPA201870364A DK201870364A1 (en) 2018-05-07 2018-06-12 MULTI-PARTICIPANT LIVE COMMUNICATION USER INTERFACE
DKPA201870363 2018-06-12
JP2019194597A JP6998353B2 (en) 2018-05-07 2019-10-25 Multi-participant live communication user interface
JP2021206121A JP7297044B2 (en) 2018-05-07 2021-12-20 Multi-participant live communication user interface
JP2023097196A JP7547560B2 (en) 2018-05-07 2023-06-13 Multi-Participant Live Communication User Interface

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2023097196A Division JP7547560B2 (en) 2018-05-07 2023-06-13 Multi-Participant Live Communication User Interface

Publications (2)

Publication Number Publication Date
JP2024170463A JP2024170463A (en) 2024-12-10
JP7793706B2 true JP7793706B2 (en) 2026-01-05

Family

ID=68466048

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2018183504A Active JP6609361B2 (en) 2018-05-07 2018-09-28 Multi-participant live communication user interface
JP2019194597A Active JP6998353B2 (en) 2018-05-07 2019-10-25 Multi-participant live communication user interface
JP2021206121A Active JP7297044B2 (en) 2018-05-07 2021-12-20 Multi-participant live communication user interface
JP2023097196A Active JP7547560B2 (en) 2018-05-07 2023-06-13 Multi-Participant Live Communication User Interface
JP2024146741A Active JP7793706B2 (en) 2018-05-07 2024-08-28 Multi-Participant Live Communication User Interface

Family Applications Before (4)

Application Number Title Priority Date Filing Date
JP2018183504A Active JP6609361B2 (en) 2018-05-07 2018-09-28 Multi-participant live communication user interface
JP2019194597A Active JP6998353B2 (en) 2018-05-07 2019-10-25 Multi-participant live communication user interface
JP2021206121A Active JP7297044B2 (en) 2018-05-07 2021-12-20 Multi-participant live communication user interface
JP2023097196A Active JP7547560B2 (en) 2018-05-07 2023-06-13 Multi-Participant Live Communication User Interface

Country Status (3)

Country Link
JP (5) JP6609361B2 (en)
CN (6) CN110457104B (en)
WO (1) WO2019217477A1 (en)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8502856B2 (en) 2010-04-07 2013-08-06 Apple Inc. In conference display adjustments
KR102373510B1 (en) * 2017-08-11 2022-03-11 삼성전자주식회사 Display device for visualizing contents as the display is rotated and control method thereof
DK201870364A1 (en) 2018-05-07 2019-12-03 Apple Inc. MULTI-PARTICIPANT LIVE COMMUNICATION USER INTERFACE
JP6946499B2 (en) * 2020-03-06 2021-10-06 株式会社日立製作所 Speech support device, speech support method, and speech support program
US11580984B2 (en) * 2020-03-20 2023-02-14 At&T Intellectual Property I, L.P. Virtual assistant-initiated conversations
US11079913B1 (en) 2020-05-11 2021-08-03 Apple Inc. User interface for status indicators
US11153235B1 (en) 2020-06-09 2021-10-19 Apple Inc. User interfaces for messages
WO2022035931A1 (en) * 2020-08-12 2022-02-17 DTEN, Inc. Mode control and content sharing
KR102819104B1 (en) * 2020-08-19 2025-06-12 구글 엘엘씨 Visual status notifications on the edge of the display
JP6886750B1 (en) * 2020-10-29 2021-06-16 株式会社パルケ Online meeting support device, online meeting support program, and online meeting support system
JP7043110B1 (en) * 2020-10-29 2022-03-29 株式会社パルケ Online conferencing support equipment, online conferencing support programs, and online conferencing support systems
CN112288996B (en) * 2020-11-13 2022-08-09 中铁广州工程局集团深圳工程有限公司 High-voltage offline early warning protection method and system, computer equipment and storage medium thereof
JPWO2022118746A1 (en) * 2020-12-04 2022-06-09
JP7199791B2 (en) * 2020-12-18 2023-01-06 グリー株式会社 Information processing system, information processing method and computer program
JP6883140B1 (en) 2020-12-18 2021-06-09 グリー株式会社 Information processing system, information processing method and computer program
US11909921B1 (en) * 2020-12-21 2024-02-20 Meta Platforms, Inc. Persistent digital video streaming
US12301979B2 (en) 2021-01-31 2025-05-13 Apple Inc. User interfaces for wide angle video conference
US11943072B2 (en) * 2021-03-30 2024-03-26 Snap Inc. Providing a room preview within a virtual conferencing system
US11822761B2 (en) 2021-05-15 2023-11-21 Apple Inc. Shared-content session user interfaces
US11907605B2 (en) 2021-05-15 2024-02-20 Apple Inc. Shared-content session user interfaces
CN120881039A (en) 2021-05-15 2025-10-31 苹果公司 Real-time communication user interface
JP7607151B2 (en) * 2021-05-17 2024-12-26 アップル インコーポレイテッド DEVICE, METHOD, AND GRAPHICAL USER INTERFACE FOR AUTOMATICALLY PROVIDING SHARED CONTENT TO AN APPLICATION - Patent application
US12449961B2 (en) 2021-05-18 2025-10-21 Apple Inc. Adaptive video conference user interfaces
EP4324192A1 (en) * 2021-05-18 2024-02-21 Apple Inc. Adaptive video conference user interfaces
CN115221160A (en) * 2021-06-29 2022-10-21 达闼科技（北京）有限公司 Information synchronization method, device, storage medium and electronic device for terminal equipment
CN113873192B (en) * 2021-09-14 2024-04-30 北京达佳互联信息技术有限公司 Session display method, device, computer equipment and medium
CN115857736A (en) * 2021-09-23 2023-03-28 北京字跳网络技术有限公司 Interaction method, interaction device, electronic equipment and medium
US12267622B2 (en) 2021-09-24 2025-04-01 Apple Inc. Wide angle video conference
US12368946B2 (en) 2021-09-24 2025-07-22 Apple Inc. Wide angle video conference
CN115914162B (en) * 2021-09-30 2024-10-29 上海掌门科技有限公司 A method, device, medium and program product for providing group status
US11770422B2 (en) * 2021-12-18 2023-09-26 Zoom Video Communications, Inc. Real-time engagement analytics for communication sessions
AU2022420984A1 (en) * 2021-12-23 2024-07-11 8Seats Group Pty Ltd A method and electronic device for messaging
CN115396716B (en) * 2022-08-23 2024-01-26 北京字跳网络技术有限公司 A live video processing method, device, equipment and medium
CN115529485B (en) * 2022-09-14 2024-06-18 北京字跳网络技术有限公司 Live video processing method, device, equipment and medium
CN115578349A (en) * 2022-10-14 2023-01-06 苏州睿仟科技有限公司 Medical video acquisition method and device, medical imaging system and medium

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003101981A (en) 2001-09-21 2003-04-04 Hitachi Software Eng Co Ltd Electronic cooperative work system and program for cooperative work system
JP2005303736A (en) 2004-04-13 2005-10-27 Ntt Communications Kk Video display method in video conference system, user terminal used in video conference system, and program for user terminal used in video conference system
JP2007150917A (en) 2005-11-29 2007-06-14 Kyocera Corp Communication terminal and display method thereof
JP2007150877A (en) 2005-11-29 2007-06-14 Kyocera Corp Communication terminal and display method thereof
JP2010541398A (en) 2007-09-24 2010-12-24 ジェスチャー テック，インコーポレイテッド Enhanced interface for voice and video communication
JP2016024557A (en) 2014-07-17 2016-02-08 本田技研工業株式会社 Program and method for exchanging messages, and electronic apparatus
US20170353508A1 (en) 2016-06-03 2017-12-07 Avaya Inc. Queue organized interactive participation
JP2017229060A (en) 2016-06-22 2017-12-28 富士ゼロックス株式会社 Method, program, and apparatus for expressing conference content

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3859005A (en) 1973-08-13 1975-01-07 Albert L Huebner Erosion reduction in wet turbines
US4826405A (en) 1985-10-15 1989-05-02 Aeroquip Corporation Fan blade fabrication system
JPH06282405A (en) * 1993-03-29 1994-10-07 Nippon Telegr & Teleph Corp <Ntt> Participant video display window control method
US7185054B1 (en) * 1993-10-01 2007-02-27 Collaboration Properties, Inc. Participant display and selection in video conference calls
JPH09265457A (en) * 1996-03-29 1997-10-07 Hitachi Ltd Online conversation system
KR100595924B1 (en) 1998-01-26 2006-07-05 웨인 웨스터만 Method and apparatus for integrating manual input
US7688306B2 (en) 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
US7218226B2 (en) 2004-03-01 2007-05-15 Apple Inc. Acceleration-based theft detection system for portable electronic devices
US6677932B1 (en) 2001-01-28 2004-01-13 Finger Works, Inc. System and method for recognizing touch typing under limited tactile feedback conditions
US6570557B1 (en) 2001-02-10 2003-05-27 Finger Works, Inc. Multi-touch system and method for emulating modifier keys via fingertip chords
JP4352381B2 (en) * 2003-09-19 2009-10-28 日本ビクター株式会社 Video phone equipment
US20050099492A1 (en) * 2003-10-30 2005-05-12 Ati Technologies Inc. Activity controlled multimedia conferencing
US7685530B2 (en) 2005-06-10 2010-03-23 T-Mobile Usa, Inc. Preferred contact group centric interface
JP4994646B2 (en) * 2005-11-29 2012-08-08 京セラ株式会社 Communication terminal, communication system, and communication terminal display method
US7657849B2 (en) 2005-12-23 2010-02-02 Apple Inc. Unlocking a device by performing gestures on an unlock image
US8818175B2 (en) * 2010-03-08 2014-08-26 Vumanity Media, Inc. Generation of composited video programming
US8725880B2 (en) 2010-04-07 2014-05-13 Apple, Inc. Establishing online communication sessions between client computing devices
GB201017382D0 (en) 2010-10-14 2010-11-24 Skype Ltd Auto focus
JP6109820B2 (en) * 2011-05-26 2017-04-05 グーグル インコーポレイテッド Provide contextual information about conversation participants and enable group communication
CN103384235B (en) * 2012-05-04 2017-09-29 腾讯科技（深圳）有限公司 Data are presented during multi-conference method, server and system
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
CN103458215B (en) * 2012-05-29 2016-11-23 国基电子（上海）有限公司 System, mobile phone, electronic installation and the changing method of Switch Video call
EP3435220B1 (en) 2012-12-29 2020-09-16 Apple Inc. Device, method and graphical user interface for transitioning between touch input to display output relationships
US8848026B2 (en) * 2013-02-01 2014-09-30 Maitland M. DeLand Video conference call conversation topic sharing system
WO2014168616A1 (en) 2013-04-10 2014-10-16 Thomson Licensing Tiering and manipulation of peer's heads in a telepresence system
JP6111898B2 (en) * 2013-06-28 2017-04-12 富士電機株式会社 Image display device, monitoring system, and image display program
CN104869046A (en) * 2014-02-20 2015-08-26 陈时军 Information exchange method and information exchange device
CN104010158A (en) * 2014-03-11 2014-08-27 宇龙计算机通信科技(深圳)有限公司 Mobile terminal and implementation method of multi-party video call
US20160014059A1 (en) * 2015-09-30 2016-01-14 Yogesh Chunilal Rathod Presenting one or more types of interface(s) or media to calling and/or called user while acceptance of call
US20150350141A1 (en) * 2014-05-31 2015-12-03 Apple Inc. Message user interfaces for capture and transmittal of media and location content
US9971500B2 (en) * 2014-06-01 2018-05-15 Apple Inc. Displaying options, assigning notification, ignoring messages, and simultaneous user interface displays in a messaging application
US9615058B2 (en) 2014-06-05 2017-04-04 Reel, Inc. Apparatus and method for sharing content items among a plurality of mobile devices
JP2016001446A (en) * 2014-06-12 2016-01-07 モイ株式会社 Conversion image providing device, conversion image providing method, and program
CN104331246A (en) 2014-11-19 2015-02-04 广州三星通信技术研究有限公司 Device and method for split screen display in terminal
KR20160092820A (en) * 2015-01-28 2016-08-05 엘지전자 주식회사 Mobile terminal and method for controlling the same
US9380264B1 (en) * 2015-02-16 2016-06-28 Siva Prasad Vakalapudi System and method for video communication
KR101678657B1 (en) 2015-03-06 2016-11-22 라인 가부시키가이샤 Method and computer program for providing conference service
JP6172610B2 (en) * 2015-03-17 2017-08-02 パナソニックＩｐマネジメント株式会社 Video conferencing system
US10061467B2 (en) * 2015-04-16 2018-08-28 Microsoft Technology Licensing, Llc Presenting a message in a communication session
US20160308920A1 (en) * 2015-04-16 2016-10-20 Microsoft Technology Licensing, Llc Visual Configuration for Communication Session Participants
CN105094957A (en) * 2015-06-10 2015-11-25 小米科技有限责任公司 Video conversation window control method and apparatus
CN104980578B (en) * 2015-06-11 2018-01-23 广东欧珀移动通信有限公司 A kind of event-prompting method and mobile terminal
CN105204846B (en) * 2015-08-26 2019-07-09 小米科技有限责任公司 Display methods, device and the terminal device of video pictures in more people's videos
CN105554429A (en) * 2015-11-19 2016-05-04 掌赢信息科技（上海）有限公司 Video conversation display method and video conversation equipment
US10609093B2 (en) * 2016-05-06 2020-03-31 Facebook, Inc. Instantaneous call sessions over a communications application
WO2017218153A1 (en) * 2016-06-12 2017-12-21 Apple Inc. Devices and methods for accessing prevalent device functions
JP6634965B2 (en) * 2016-06-20 2020-01-22 株式会社リコー Communication terminal, communication system, communication control method, and program
JP6179834B1 (en) * 2016-09-27 2017-08-16 パナソニックＩｐマネジメント株式会社 Video conferencing equipment
US20180123986A1 (en) * 2016-11-01 2018-05-03 Microsoft Technology Licensing, Llc Notification of a Communication Session in a Different User Experience
CN107728876B (en) * 2017-09-20 2019-08-09 深圳市金立通信设备有限公司 A kind of method of split screen display available, terminal and computer readable storage medium
CN107704177B (en) * 2017-11-07 2020-04-21 Oppo广东移动通信有限公司 Interface display method and device and terminal
CN107992248B (en) * 2017-11-27 2020-09-29 北京小米移动软件有限公司 Message display method and device

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003101981A (en) 2001-09-21 2003-04-04 Hitachi Software Eng Co Ltd Electronic cooperative work system and program for cooperative work system
JP2005303736A (en) 2004-04-13 2005-10-27 Ntt Communications Kk Video display method in video conference system, user terminal used in video conference system, and program for user terminal used in video conference system
JP2007150917A (en) 2005-11-29 2007-06-14 Kyocera Corp Communication terminal and display method thereof
JP2007150877A (en) 2005-11-29 2007-06-14 Kyocera Corp Communication terminal and display method thereof
JP2010541398A (en) 2007-09-24 2010-12-24 ジェスチャー テック，インコーポレイテッド Enhanced interface for voice and video communication
JP2016024557A (en) 2014-07-17 2016-02-08 本田技研工業株式会社 Program and method for exchanging messages, and electronic apparatus
US20170353508A1 (en) 2016-06-03 2017-12-07 Avaya Inc. Queue organized interactive participation
JP2017229060A (en) 2016-06-22 2017-12-28 富士ゼロックス株式会社 Method, program, and apparatus for expressing conference content

Also Published As

Publication number Publication date
JP6609361B2 (en) 2019-11-20
CN110457091A (en) 2019-11-15
JP2019197520A (en) 2019-11-14
JP2022043185A (en) 2022-03-15
CN110457095A (en) 2019-11-15
CN110457096A (en) 2019-11-15
JP2024170463A (en) 2024-12-10
JP2020039139A (en) 2020-03-12
CN110457104B (en) 2024-12-06
JP2023120280A (en) 2023-08-29
CN110457104A (en) 2019-11-15
CN111367603A (en) 2020-07-03
CN110457096B (en) 2021-01-01
CN110457095B (en) 2022-12-27
WO2019217477A1 (en) 2019-11-14
CN112214275A (en) 2021-01-12
CN112214275B (en) 2021-10-29
JP6998353B2 (en) 2022-01-18
JP7547560B2 (en) 2024-09-09
JP7297044B2 (en) 2023-06-23

Similar Documents

Publication Publication Date Title
JP7793706B2 (en) Multi-Participant Live Communication User Interface
DK180130B1 (en) MULTI-PARTICIPANT LIVE COMMUNICATION USER INTERFACE
AU2024202768B2 (en) Multi-participant live communication user interface
AU2021203903B2 (en) Multi-participant live communication user interface

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240903

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240903

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20240903

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20241125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250430

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250825

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250919

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20251125

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20251217

R150 Certificate of patent or registration of utility model

Ref document number: 7793706

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150