JP2021533510A - 相互作用の方法及び装置 - Google Patents
相互作用の方法及び装置 Download PDFInfo
- Publication number
- JP2021533510A JP2021533510A JP2021525345A JP2021525345A JP2021533510A JP 2021533510 A JP2021533510 A JP 2021533510A JP 2021525345 A JP2021525345 A JP 2021525345A JP 2021525345 A JP2021525345 A JP 2021525345A JP 2021533510 A JP2021533510 A JP 2021533510A
- Authority
- JP
- Japan
- Prior art keywords
- user
- detection area
- users
- interaction
- event
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【選択図】図2
Description
本出願は、「INTERACTION METHOD AND DEVICE」という名称の、且つ、2018年7月20日付で出願された、中国特許出願第201810806493.6号の優先権を主張するものであり、この特許文献の内容は、引用により、そのすべてが本明細書に包含される。
検知エリア内において配置された1人又は複数のユーザーを検出するステップと、
相互作用コンテンツを検知エリア内の1人又は複数のユーザーに提供するステップと、
相互作用コンテンツのターゲット相互作用オブジェクトが、検知エリア内の1人又は複数のユーザーの一部分である際に、ターゲット相互作用オブジェクトに関する情報を検知エリア内の1人又は複数のユーザーに表示するステップと、
を含む。
検知エリア内において配置された1人又は複数のユーザーを検出するように構成された検出ユニットと、
相互作用コンテンツを検知エリア内の1人又は複数のユーザーに提供するように構成された提供ユニットと、
相互作用コンテンツのターゲット相互作用オブジェクトが、検知エリア内の1人又は複数のユーザーの一部分である際に、ターゲット相互作用オブジェクトに関する情報を検知エリア内の1人又は複数のユーザーに表示するように構成された表示ユニットと、
を含む。
検知エリア内において配置された1人又は複数のユーザーを検出するように構成された検出ユニット2001と、
相互作用コンテンツを検知エリア内の1人又は複数のユーザーに提供するように構成された提供ユニット2002と、
相互作用コンテンツのターゲット相互作用オブジェクトが検知エリア内の1人又は複数のユーザーの一部分である際に、ターゲット相互作用オブジェクトに関する情報を検知エリア内の1人又は複数のユーザーに表示するように構成された第1表示ユニット2003と、
を含みうる。
ターゲット相互作用オブジェクトとして機能するユーザーのアイデンティティ情報をターゲット相互作用オブジェクトに関する情報として判定し、且つ、
アイデンティティ情報を検知エリア内の1人又は複数のユーザーに表示する、
ように構成されている。
検知エリア内に配置された1人又は複数のユーザーを識別するように構成された識別ユニット2004を更に含み、この場合に、
ターゲット相互作用オブジェクトとして機能している第1ユーザーのアイデンティティが成功裏に識別された際に、第1ユーザーのアイデンティティ情報は、第1ユーザーの名称を含み、且つ、ターゲット相互作用オブジェクトとして機能している第2ユーザーのアイデンティティが成功裏に識別されない際には、第2ユーザーのアイデンティティ情報は、第2ユーザーに関する視覚的特徴記述情報を含む。
検知エリア内の1人又は複数のユーザーに対応するユーザー基準情報を表示するように構成された第2表示ユニット2005を更に含み、この場合に、
第1表示ユニット2003は、ターゲット相互作用オブジェクトに関する情報としてターゲット相互作用オブジェクトとして機能しているユーザーに対応するユーザー基準情報を判定し、且つ、判定されたユーザー基準情報を検知エリア内の1人又は複数のユーザーに目立つように表示するように構成されている。
検知エリア内の1人又は複数のユーザーに対して画像取得を実行し、且つ、ユーザー基準情報として1つ又は複数の取得されたユーザー画像を表示するように構成されている。
相互作用コンテンツのターゲット相互作用オブジェクトが、検知エリア内の1人又は複数のユーザーの一部分から、すべての1人又は複数のユーザーに変化した際に、ターゲット相互作用オブジェクトに関する情報を検知エリア内の1人又は複数のユーザーに表示するステップを一時停止するように構成された管理ユニット2006、
を更に含む。
検知エリア内のユーザーによって送信されたイベント支援要求を取得するように構成された要求取得ユニット2007と
イベント支援要求に応答して、対応するイベントの完了を支援するように構成された支援ユニット2008と、
を更に含む。
相互作用コンテンツに応答して検知エリア内のユーザーによって返された応答情報を受け取るように構成されており、この場合に、応答情報は、イベント支援要求を含む。
検知エリア内に複数のユーザーが存在している際に、予め設定された順番に従って、支援されるオブジェクトとしてユーザーを選択し、且つ、
対応するイベント支援要求を送信するように、選択されたユーザーに順番に要求する、
ように構成されている。
イベント支援要求を取得するべく、取得されたユーザー音声に対してセマンティック認識を実行し、且つ、
ユーザー音声のソースユーザーを判定するべく、ユーザー音声に対してサウンド特徴認識を実行する、
ように構成されている。
検知エリア内のユーザーが、グループの内部者である際に、イベント支援要求に応答して、対応するグループ管理イベントの完了を支援し、
検知エリア内のユーザーが、グループの外部者である際に、アラートメッセージをグループの関連する内部者に送信し、グループの関連する内部者との間の通信の確立においてグループの外部者を支援し、或いは、イベント支援要求に応答して、グループの外部者を訪問イベントの処理場所までガイドし、且つ、
検知エリア内のユーザーがアドミニストレータである際に、イベント支援要求に応答して、対応する装置管理イベントの完了を支援する、
ように構成されている。
相互作用コンテンツを近距離検知エリア内のユーザーに提供し、且つ、
遠距離検知エリアから近距離検知エリアに進入するように、ユーザーをガイドするべく、遠距離検知エリア内のユーザーにガイダンス情報を送信する、
ように構成されている。
検知エリア内の1人又は複数のユーザーの関連するイベントを取得するように構成されたイベント取得ユニット2009を更に含み、この場合に、
提供ユニット2002は、相互作用コンテンツが関連するイベントに関係付けられている際に、関連するイベントの状態情報に従って、検知エリア内の1人又は複数のユーザーに提供される相互作用コンテンツを調節するように構成されている。
検知エリア内の1人又は複数のユーザーのアイデンティティタイプを判定するように構成された判定ユニット2010を更に含み、この場合に、
提供ユニット2002は、アイデンティティタイプに従って、検知エリア内の1人又は複数のユーザーに提供される相互作用コンテンツを調節するように構成されている。
検知エリア内のユーザーによって送信されたユーザー音声を受け取るように構成された音声受信ユニット2011と、
ユーザー音声に応答するように構成された応答ユニット2012と、
を更に含む。
セマンティック認識をユーザー音声に対して実行し、
複数のセマンティック認識結果のコンフィデンスレベルが、予め設定された値に到達した際に、複数の対応するセマンティック認識結果選択肢を検知エリア内のユーザーに表示し、
選択されたセマンティック認識結果選択肢に対応するセマンティック認識結果に従って、ユーザー音声に応答する、
ように構成されている。
ユーザー音声のソース方向を判定し、且つ、
ユーザー音声のソース方向において配置されているユーザーに応答する、
ように構成されている。
マイクロフォンアレイを使用することにより、ユーザー音声を受け取るステップであって、マイクロフォンアレイは、相対的に左側に配設された第1マイクロフォンと、相対的に右側に配設された第2マイクロフォンと、を含む、ステップと、
第1マイクロフォン及び第2マイクロフォンがユーザー音声を受け取る時点の間の差に従って、ユーザー音声のソース方向を判定するステップと、
という方式により、ユーザー音声のソース方向を判定している。
ユーザー音声のソース方向において配置されている複数のユーザーが存在している際に、複数のユーザーのそれぞれのものの顔面動作に従って、ユーザー音声のソースユーザーを判定するステップと、
ソースユーザーに応答するステップと、
という方式により、ユーザー音声のソース方向において配置されているユーザーに応答している。
マイクロフォンアレイを使用することにより、オーディオメッセージを受け取るように構成されたオーディオ受信ユニット2013であって、マイクロフォンアレイは、相対的に検知エリアに近接して配設された第3マイクロフォンと、検知エリアから相対的に離れて配設された第4マイクロフォンと、を含む、オーディオ受信ユニットと、
第3マイクロフォン及び第4マイクロフォンがオーディオメッセージ内の高周波数部分を受け取る量に従って、オーディオメッセージのソース方向を判定するように構成された方向判定ユニット2014と、
ソース方向が検知エリアに相対的に近接した側であり、且つ、検知エリア内にユーザーが存在している際に、オーディオメッセージが検知エリア内のユーザーによって送信されたユーザー音声であると判定するように構成されたソース判定ユニット2015と、
を更に有する。
検知エリア内に複数のユーザーが存在している際に、それぞれ、ユーザーに対応するプロファイル画像を表示するように構成されたプロファイル画像表示ユニット2016と、
その他のユーザーのプロファイル画像とは別個に、ユーザー音声のソースユーザーのプロファイル画像を表示するように構成された別個表示ユニット2017と、
を更に含む。
Claims (42)
- 相互作用の方法であって、
検知エリア内において配置された1人又は複数のユーザーを検出するステップと、
相互作用コンテンツを前記検知エリア内の前記1人又は複数のユーザーに提供するステップと、
前記相互作用コンテンツのターゲット相互作用オブジェクトが前記検知エリア内の前記1人又は複数のユーザーの一部分である際に、前記ターゲット相互作用オブジェクトに関する情報を前記検知エリア内の前記1人又は複数のユーザーに表示するステップと、
を有する方法。 - 前記ターゲット相互作用オブジェクトに関する情報を前記検知エリア内の前記1人又は複数のユーザーに表示する前記ステップは、
前記ターゲット相互作用オブジェクトとして機能しているユーザーのアイデンティティ情報を前記ターゲット相互作用オブジェクトに関する前記情報として判定するステップと、
前記アイデンティティ情報を前記検知エリア内の前記1人又は複数のユーザーに表示するステップと、
を有する請求項1に記載の方法。 - 前記検知エリア内において配置されている前記1人又は複数のユーザーを識別するステップを更に有し、
前記ターゲット相互作用オブジェクトとして機能している第1ユーザーのアイデンティティが成功裏に識別された際に、前記第1ユーザーのアイデンティティ情報は、前記第1ユーザーの名称を有し、且つ、前記ターゲット相互作用オブジェクトとして機能している第2ユーザーのアイデンティティが成功裏に識別されない際に、前記第2ユーザーのアイデンティティ情報は、前記第2ユーザーに関する視覚的特徴記述情報を有する請求項2に記載の方法。 - 前記検知エリア内の前記1人又は複数のユーザーに対応するユーザー基準情報を表示するステップを更に有し、
前記ターゲット相互作用オブジェクトに関する情報を前記検知エリア内の前記1人又は複数のユーザーに表示する前記ステップは、前記ターゲット相互作用オブジェクトとして機能しているユーザーに対応するユーザー基準情報を前記ターゲット相互作用オブジェクトに関する前記情報として判定するステップと、前記判定されたユーザー基準情報を前記検知エリア内の前記1人又は複数のユーザーに目立つように表示するステップと、を有する請求項1に記載の方法。 - 前記検知エリア内の前記1人又は複数のユーザーに対応するユーザー基準情報を表示する前記ステップは、
画像取得を前記検知エリア内の前記1人又は複数のユーザーに対して実行するステップと、1つ又は複数の取得されたユーザー画像を前記ユーザー基準情報として表示するステップと、を有する請求項4に記載の方法。 - 前記相互作用コンテンツの前記ターゲット相互作用オブジェクトが、前記検知エリア内の前記1人又は複数のユーザーの前記一部分から、前記1人又は複数のユーザーのすべてに、変化した際に、前記ターゲット相互作用オブジェクトに関する前記情報を前記検知エリア内の前記1人又は複数のユーザーに表示するステップを一時停止するステップを更に有する請求項1に記載の方法。
- 前記検知エリア内のユーザーによって送信されたイベント支援要求を取得するステップと、
前記イベント支援要求に応答して、対応するイベントの完了を支援するステップと、
を更に有する請求項1に記載の方法。 - 前記検知エリア内のユーザーによって送信されたイベント支援要求を取得する前記ステップは、
前記相互作用コンテンツに応答して前記検知エリア内の前記ユーザーによって返された応答情報を受け取るステップであって、前記応答情報は、前記イベント支援要求を有する、ステップ、
を有する請求項7に記載の方法。 - 前記検知エリア内のユーザーによって送信されたイベント支援要求を取得する前記ステップは、
前記検知エリア内に複数のユーザーが存在している際に、予め設定された順序に従って、支援されるオブジェクトとしてユーザーを選択するステップと、
対応するイベント支援要求を送信するように、前記選択されたユーザーに順番に要求するステップと、
を有する請求項7に記載の方法。 - 前記検知エリア内のユーザーによって送信されたイベント支援要求を取得する前記ステップは、
前記イベント支援要求を取得するべく、セマンティック認識を取得されたユーザー音声に対して実行するステップと、
前記ユーザー音声のソースユーザーを判定するべく、サウンド特徴認識を前記ユーザー音声に対して実行するステップと、
を有する請求項7に記載の方法。 - 前記イベント支援要求に応答して対応するイベントの完了を支援する前記ステップは、
前記検知エリア内の前記ユーザーがグループの内部者である際に、前記イベント支援要求に応答して対応するグループ管理イベントの完了を支援するステップと、
前記検知エリア内の前記ユーザーが前記グループの外部者である際に、アラートメッセージを前記グループの関連する内部者に送信し、前記グループの前記関連する内部者との間の通信の確立において前記グループの前記外部者を支援し、或いは、前記イベント支援要求に応答して前記グループの前記外部者を訪問イベントの処理場所までガイドするステップと、
前記検知エリア内の前記ユーザーがアドミニストレータである際に、前記イベント支援要求に応答して対応する装置管理イベントの完了を支援するステップと、
を有する請求項7に記載の方法。 - 前記検知エリアは、近距離検知エリアと、遠距離検知エリアと、を有し、且つ、相互作用コンテンツを前記検知エリア内の前記1人又は複数のユーザーに提供する前記ステップは、
相互作用コンテンツを前記近距離検知エリア内のユーザーに提供するステップと、
前記遠距離検知エリアから前記近距離検知エリアに進入するように、前記ユーザーをガイドするべく、ガイダンス情報を前記遠距離検知エリア内のユーザーに送信するステップと、
を有する請求項1に記載の方法。 - 前記検知エリア内の前記1人又は複数のユーザーの関連するイベントを取得するステップを更に有し、
相互作用コンテンツを前記検知エリア内の前記1人又は複数のユーザーに提供する前記ステップは、前記相互作用コンテンツが前記関連するイベントに関係付けられている際に、前記関連するイベントの状態情報に従って、前記検知エリア内の前記1人又は複数のユーザーに提供される前記相互作用コンテンツを調節するステップを有する請求項1に記載の方法。 - 前記検知エリア内の前記1人又は複数のユーザーのアイデンティティタイプを判定するステップを更に有し、
相互作用コンテンツを前記検知エリア内の前記1人又は複数のユーザーに提供する前記ステップは、前記アイデンティティタイプに従って、前記検知エリア内の前記1人又は複数のユーザーに提供される前記相互作用コンテンツを調節するステップを有する請求項1に記載の方法。 - 前記検知エリア内のユーザーによって送信されたユーザー音声を受け取るステップと、
前記ユーザー音声に応答するステップと、
を更に有する請求項1に記載の方法。 - 前記ユーザー音声に応答する前記ステップは、
セマンティック認識を前記ユーザー音声に対して実行するステップと、
複数のセマンティック認識結果のコンフィデンスレベルが、予め設定された値に到達した際に、複数の対応するセマンティック認識結果選択肢を前記検知エリア内の前記ユーザーに表示するステップと、
選択されたセマンティック認識結果選択肢に対応するセマンティック認識結果に従って、前記ユーザー音声に応答するステップと、
を有する請求項15に記載の方法。 - 前記ユーザー音声に対して応答する前記ステップは、
前記ユーザー音声のソース方向を判定するステップと、
前記ユーザー音声の前記ソース方向において配置されているユーザーに応答するステップと、
を有する請求項15に記載の方法。 - 前記ユーザー音声のソース方向を判定する前記ステップは、
マイクロフォンアレイを使用することにより、前記ユーザー音声を受け取るステップであって、前記マイクロフォンアレイは、相対的に左側に配設された第1マイクロフォンと、相対的に右側に配設された第2マイクロフォンと、を有する、ステップと、
前記第1マイクロフォン及び前記第2マイクロフォンが前記ユーザー音声を受け取る時点の間の差に従って、前記ユーザー音声の前記ソース方向を判定するステップと、
を有する請求項17に記載の方法。 - 前記ユーザー音声の前記ソース方向において配置されているユーザーに応答する前記ステップは、
前記ユーザー音声の前記ソース方向において配置されている複数のユーザーが存在している際に、前記複数のユーザーのそれぞれのものの顔面動作に従って、前記ユーザー音声のソースユーザーを判定するステップと、
前記ソースユーザーに応答するステップと、
を有する請求項17に記載の方法。 - マイクロフォンアレイを使用することにより、オーディオメッセージを受け取るステップであって、前記マイクロフォンアレイは、前記検知エリアに相対的に近接して配設されている第3マイクロフォンと、前記検知エリアから相対的に離れて配設されている第4マイクロフォンと、を有する、ステップと、
前記第3マイクロフォン及び前記第4マイクロフォンが前記オーディオメッセージ内の高周波数部分を受け取る量に従って、前記オーディオメッセージのソース方向を判定するステップと、
前記ソース方向が、前記検知エリアに相対的に近接した側部であり、且つ、前記検知エリア内においてユーザーが存在している際に、前記オーディオメッセージが、前記検知エリア内の前記ユーザーによって送信されたユーザー音声であると判定するステップと、
を更に有する請求項15に記載の方法。 - 前記検知エリア内に複数のユーザーが存在している際に、それぞれ、前記ユーザーに対応するプロファイル画像を表示するステップと
その他のユーザーのプロファイル画像とは別個に、前記ユーザー音声のソースユーザーのプロファイル画像を表示するステップと、
を更に有する請求項15に記載の方法。 - 相互作用の装置であって、
検知エリア内において配置されている1人又は複数のユーザーを検出するように構成された検出ユニットと、
相互作用コンテンツを前記検知エリア内の前記1人又は複数のユーザーに提供するように構成された提供ユニットと、
前記相互作用コンテンツのターゲット相互作用オブジェクトが前記検知エリア内の前記1人又は複数のユーザーの一部分である際に、前記ターゲット相互作用オブジェクトに関する情報を前記検知エリア内の前記1人又は複数のユーザーに表示するように構成された第1表示ユニットと、
を有する装置。 - 前記第1表示ユニットは、
前記ターゲット相互作用オブジェクトとして機能しているユーザーのアイデンティティ情報を前記ターゲット相互作用オブジェクトに関する前記情報として判定し、且つ、
前記アイデンティティ情報を前記検知エリア内の前記1人又は複数のユーザーに表示する、
ように構成されている請求項22に記載の装置。 - 前記検知エリア内において配置されている前記1人又は複数のユーザーを識別するように構成された識別ユニットを更に有し、
前記ターゲット相互作用オブジェクトとして機能している第1ユーザーのアイデンティティが成功裏に識別された際に、前記第1ユーザーのアイデンティティ情報は、前記第1ユーザーの名称を有し、且つ、前記ターゲット相互作用オブジェクトとして機能している第2ユーザーのアイデンティティが成功裏に識別されない際に、前記第2ユーザーのアイデンティティ情報は、前記第2ユーザーに関する視覚的特徴記述情報を有する請求項23に記載の装置。 - 前記検知エリア内の前記1人又は複数のユーザーに対応するユーザー基準情報を表示するように構成された第2表示ユニットを更に有し、
前記第1表示ユニットは、前記ターゲット相互作用オブジェクトとして機能しているユーザーに対応するユーザー基準情報を前記ターゲット相互作用オブジェクトに関する前記情報として判定し、且つ、前記判定されたユーザー基準情報を前記検知エリア内の前記1人又は複数のユーザーに目立つように表示するように構成されている請求項22に記載の装置。 - 前記第2表示ユニットは、
画像取得を前記検知エリア内の前記1人又は複数のユーザーに対して実行し、且つ、1つ又は複数の取得されたユーザー画像を前記ユーザー基準情報として表示する、
ように構成されている請求項25に記載の装置。 - 前記相互作用コンテンツの前記ターゲット相互作用オブジェクトが、前記検知エリア内の前記1人又は複数のユーザーの前記一部分から、前記1人又は複数のユーザーのすべてに変化した際に、前記ターゲット相互作用オブジェクトに関する前記情報を前記検知エリア内の前記1人又は複数のユーザーに表示するステップを一時停止するように構成された管理ユニットを更に有する請求項22に記載の装置。
- 前記検知エリア内のユーザーによって送信されたイベント支援要求を取得するように構成された要求取得ユニットと、
前記イベント支援要求に応答して対応するイベントの完了を支援するように構成された支援ユニットと、
を更に有する請求項22に記載の装置。 - 前記要求取得ユニットは、
前記相互作用コンテンツに応答して前記検知エリア内の前記ユーザーによって返された応答情報を受け取るように構成されており、前記応答情報は、前記イベント支援要求を有する請求項28に記載の装置。 - 前記要求取得ユニットは、
前記検知エリア内において複数のユーザーが存在している際に、予め設定されたシーケンスに従って支援されたオブジェクトとしてユーザーを選択し、且つ、
対応するイベント支援要求を送信するように、前記選択されたユーザーに順番に要求する、
ように構成されている請求項28に記載の装置。 - 前記要求取得ユニットは、
前記イベント支援要求を取得するべく、セマンティック認識を取得されたユーザー音声に対して実行し、且つ、
前記ユーザー音声のソースユーザーを判定するべく、サウンド特徴認識を前記ユーザー音声に対して実行する、
ように構成されている請求項28に記載の装置。 - 前記支援ユニットは、
前記検知エリア内の前記ユーザーがグループの内部者である際に、前記イベント支援要求に応答して対応するグループ管理イベントの完了を支援し、
前記検知エリア内の前記ユーザーが前記グループの外部者である際に、アラートメッセージを前記グループの関連する内部者に送信し、前記グループの前記関連する内部者との間の通信の確立において前記グループの前記外部者を支援し、或いは、前記イベント支援要求に応答して、前記グループの前記外部者を訪問イベントの処理場所までガイドし、且つ、
前記検知エリア内の前記ユーザーがアドミニストレータである際に、前記イベント支援要求に応答して対応する装置管理イベントの完了を支援する、
ように構成されている請求項28に記載の装置。 - 前記検知エリアは、近距離検知エリアと、遠距離検知エリアと、を有し、且つ、前記提供ユニットは、
相互作用コンテンツを前記近距離検知エリア内のユーザーに提供し、且つ、
前記遠距離検知エリアから前記近距離検知エリアに進入するように、前記ユーザーをガイドするべく、ガイダンス情報を前記遠距離検知エリア内のユーザーに送信する、
ように構成されている請求項22に記載の装置。 - 前記検知エリア内の前記1人又は複数のユーザーの関連するイベントを取得するように構成されたイベント取得ユニットを更に有し、
前記提供ユニットは、前記相互作用コンテンツが前記関連するイベントに関係付けられている際に、前記関連するイベントの状態情報に従って前記検知エリア内の前記1人又は複数のユーザーに提供される前記相互作用コンテンツを調節するように構成されている請求項22記載の装置。 - 前記検知エリア内の前記1人又は複数のユーザーのアイデンティティタイプを判定するように構成された判定ユニットを更に有し、
前記提供ユニットは、前記アイデンティティタイプに従って前記検知エリア内の前記1人又は複数のユーザーに提供される前記相互作用コンテンツを調節するように構成されている請求項22に記載の装置。 - 前記検知エリア内のユーザーによって送信されたユーザー音声を受け取るように構成された音声受信ユニットと、
前記ユーザー音声に応答するように構成された応答ユニットと、
を更に有する請求項22に記載の装置。 - 前記応答ユニットは、
セマンティック認識を前記ユーザー音声に対して実行し、
複数のセマンティック認識結果のコンフィデンスレベルが、予め設定された値に到達した際に、複数の対応するセマンティック認識結果選択肢を前記検知エリア内の前記ユーザーに表示し、且つ、
前記選択されたセマンティック認識結果選択肢に対応するセマンティック認識結果に従って前記ユーザー音声に応答する、
ように構成されている請求項36に記載の装置。 - 前記応答ユニットは、
前記ユーザー音声のソース方向を判定し、且つ、
前記ユーザー音声の前記ソース方向において配置されたユーザーに応答する、
ように構成されている請求項36に記載の装置。 - 前記応答ユニットは、
マイクロフォンアレイを使用することにより、前記ユーザー音声を受け取るステップであって、前記マイクロフォンアレイは、相対的に左側に配設された第1マイクロフォンと、相対的に右側に配設された第2マイクロフォンと、を有する、ステップと、
前記第1マイクロフォン及び前記第2マイクロフォンが前記ユーザー音声を受け取る時点の間の差に従って前記ユーザー音声の前記ソース方向を判定するステップと、
という方式により、前記ユーザー音声の前記ソース方向を判定している請求項38に記載の装置。 - 前記応答ユニットは、
前記ユーザー音声の前記ソース方向において配置されている複数のユーザーが存在している際に、前記複数のユーザーのそれぞれのものの顔面動作に従って前記ユーザー音声のソースユーザーを判定するステップと、
前記ソースユーザーに応答するステップと、
という方式により、前記ユーザー音声の前記ソース方向において配置されている前記ユーザーに応答している請求項38に記載の装置。 - マイクロフォンアレイを使用することにより、オーディオメッセージを受け取るように構成されたオーディオ受信ユニットであって、前記マイクロフォンアレイは、前記検知エリアに相対的に近接して配設された第3マイクロフォンと、前記検知エリアから相対的に離れて配設された第4マイクロフォンと、を有する、オーディオ受信ユニットと、
前記第3マイクロフォン及び前記第4マイクロフォンが前記オーディオメッセージ内の高周波数部分を受け取る量に従って前記オーディオメッセージのソース方向を判定するように構成された方向判定ユニットと、
前記ソース方向が前記検知エリアに相対的に近接した側部であり、且つ、前記検知エリア内にユーザーが存在している際に、前記オーディオメッセージが、前記検知エリア内の前記ユーザーによって送信されたユーザー音声であると判定するように構成されたソース判定ユニットと、
を更に有する請求項36に記載の装置。 - 前記検知エリア内に複数のユーザーが存在している際に、それぞれ、前記ユーザーに対応するプロファイル画像を表示するように構成されたプロファイル画像表示ユニットと、
その他のユーザーのプロファイル画像とは別個に、前記ユーザー音声のソースユーザーのプロファイル画像を表示するように構成された別個の表示ユニットと、
を更に有する請求項36に記載の装置。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810089149 | 2018-01-30 | ||
CN201810806493.6 | 2018-07-20 | ||
CN201810806493.6A CN110096251B (zh) | 2018-01-30 | 2018-07-20 | 交互方法及装置 |
PCT/CN2019/090504 WO2020015473A1 (zh) | 2018-01-30 | 2019-06-10 | 交互方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021533510A true JP2021533510A (ja) | 2021-12-02 |
Family
ID=67443561
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021525345A Pending JP2021533510A (ja) | 2018-01-30 | 2019-06-10 | 相互作用の方法及び装置 |
Country Status (5)
Country | Link |
---|---|
JP (1) | JP2021533510A (ja) |
CN (1) | CN110096251B (ja) |
SG (1) | SG11202100352YA (ja) |
TW (1) | TW202008115A (ja) |
WO (1) | WO2020015473A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111078010B (zh) * | 2019-12-06 | 2023-03-14 | 智语科技(江门)有限公司 | 一种人机交互方法、装置、终端设备及可读存储介质 |
CN111416871A (zh) * | 2020-03-27 | 2020-07-14 | 乌鲁木齐明华智能电子科技有限公司 | 一种多方智能远程应答机制方法 |
CN111986678B (zh) * | 2020-09-03 | 2023-12-29 | 杭州蓦然认知科技有限公司 | 一种多路语音识别的语音采集方法、装置 |
CN112767931A (zh) * | 2020-12-10 | 2021-05-07 | 广东美的白色家电技术创新中心有限公司 | 语音交互方法及装置 |
CN113851124A (zh) * | 2021-09-09 | 2021-12-28 | 青岛海尔空调器有限总公司 | 用于控制家电设备的方法及装置、存储介质 |
CN114509953A (zh) * | 2022-02-18 | 2022-05-17 | 美的集团(上海)有限公司 | 设备控制方法、计算机程序产品、控制设备和存储介质 |
CN115101048B (zh) * | 2022-08-24 | 2022-11-11 | 深圳市人马互动科技有限公司 | 科普信息交互方法、装置、系统、交互设备和存储介质 |
CN117826666A (zh) * | 2022-11-29 | 2024-04-05 | 看见未来科技发展(深圳)有限公司 | 一种智能马桶及其交互方法 |
CN116222573A (zh) * | 2023-02-22 | 2023-06-06 | 钉钉(中国)信息技术有限公司 | 一种考勤引导方法及装置 |
WO2025072001A1 (en) * | 2023-09-28 | 2025-04-03 | Apple Inc. | Systems and methods for notification of an ongoing or upcoming sensing operation |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004312513A (ja) * | 2003-04-09 | 2004-11-04 | Casio Comput Co Ltd | 入場管理システムおよびプログラム |
JP2012147420A (ja) * | 2010-12-22 | 2012-08-02 | Ricoh Co Ltd | 画像処理装置、及び画像処理システム |
JP2012533120A (ja) * | 2009-07-09 | 2012-12-20 | マイクロソフト コーポレーション | プレーヤーの表現に基づく視覚表示の表現方法及びシステム |
WO2016157662A1 (ja) * | 2015-03-31 | 2016-10-06 | ソニー株式会社 | 情報処理装置、制御方法、およびプログラム |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013080015A (ja) * | 2011-09-30 | 2013-05-02 | Toshiba Corp | 音声認識装置および音声認識方法 |
CN103095907B (zh) * | 2012-09-14 | 2015-06-03 | 中兴通讯股份有限公司 | 一种移动终端中通过短信改变联系人状态的方法和装置 |
CN103500473A (zh) * | 2013-09-04 | 2014-01-08 | 苏州荣越网络技术有限公司 | 一种手机打卡系统 |
US9542544B2 (en) * | 2013-11-08 | 2017-01-10 | Microsoft Technology Licensing, Llc | Correlated display of biometric identity, feedback and user interaction state |
CN105590128A (zh) * | 2016-03-01 | 2016-05-18 | 成都怡康科技有限公司 | 用于校园智能管理评价的智能卡/智能手环 |
CN105872685A (zh) * | 2016-03-24 | 2016-08-17 | 深圳市国华识别科技开发有限公司 | 智能终端控制方法和系统、智能终端 |
CN105856257B (zh) * | 2016-06-08 | 2018-09-11 | 以恒激光科技(北京)有限公司 | 适用于前台接待的智能机器人 |
CN106161155A (zh) * | 2016-06-30 | 2016-11-23 | 联想(北京)有限公司 | 一种信息处理方法及主终端 |
CN106357871A (zh) * | 2016-09-29 | 2017-01-25 | 维沃移动通信有限公司 | 一种扩音方法及移动终端 |
CN106910259A (zh) * | 2017-03-03 | 2017-06-30 | 泸州市众信信息技术有限公司 | 一种可多途径打卡的考勤设备 |
CN107451544B (zh) * | 2017-07-14 | 2018-12-11 | 深圳云天励飞技术有限公司 | 信息显示方法、装置、设备及监控系统 |
CN107483493A (zh) * | 2017-09-18 | 2017-12-15 | 广东美的制冷设备有限公司 | 交互式日程提醒方法、装置、存储介质及智能家居系统 |
CN108037699B (zh) * | 2017-12-12 | 2020-04-07 | 深圳市天颐健康科技有限公司 | 机器人、机器人的控制方法和计算机可读存储介质 |
-
2018
- 2018-07-20 CN CN201810806493.6A patent/CN110096251B/zh active Active
-
2019
- 2019-06-10 SG SG11202100352YA patent/SG11202100352YA/en unknown
- 2019-06-10 JP JP2021525345A patent/JP2021533510A/ja active Pending
- 2019-06-10 WO PCT/CN2019/090504 patent/WO2020015473A1/zh active Application Filing
- 2019-06-13 TW TW108120453A patent/TW202008115A/zh unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004312513A (ja) * | 2003-04-09 | 2004-11-04 | Casio Comput Co Ltd | 入場管理システムおよびプログラム |
JP2012533120A (ja) * | 2009-07-09 | 2012-12-20 | マイクロソフト コーポレーション | プレーヤーの表現に基づく視覚表示の表現方法及びシステム |
JP2012147420A (ja) * | 2010-12-22 | 2012-08-02 | Ricoh Co Ltd | 画像処理装置、及び画像処理システム |
WO2016157662A1 (ja) * | 2015-03-31 | 2016-10-06 | ソニー株式会社 | 情報処理装置、制御方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
CN110096251B (zh) | 2024-02-27 |
TW202008115A (zh) | 2020-02-16 |
SG11202100352YA (en) | 2021-02-25 |
WO2020015473A1 (zh) | 2020-01-23 |
CN110096251A (zh) | 2019-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2021533510A (ja) | 相互作用の方法及び装置 | |
US12253620B2 (en) | Multi-user intelligent assistance | |
US11749285B2 (en) | Speech transcription using multiple data sources | |
US20190237076A1 (en) | Augmentation of key phrase user recognition | |
US20230274740A1 (en) | Arbitrating between multiple potentially-responsive electronic devices | |
US20180032304A1 (en) | Methods and devices for identifying object in virtual reality communication, and virtual reality equipment | |
KR20160127117A (ko) | 개인 존재와 연관된 동작 수행 | |
US10244013B2 (en) | Managing drop-ins on focal points of activities | |
WO2019026617A1 (ja) | 情報処理装置、及び情報処理方法 | |
JP2007272534A (ja) | 省略語補完装置、省略語補完方法、及びプログラム | |
EP3412036B1 (fr) | Procédé d'aide au suivi d'une conversation pour personne malentendante | |
KR20070029794A (ko) | 유저와 시스템 사이에 통신을 하기 위한 방법 및 시스템 | |
US12271658B2 (en) | Digital assistant interactions in copresence sessions | |
JP2023180943A (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP4585380B2 (ja) | 次発言者検出方法、装置、およびプログラム | |
HK40012129A (en) | Interaction method and device | |
US20250225995A1 (en) | Audio-visual speech recognition control for wearable devices | |
US12260863B1 (en) | Method and system for providing assistance for cognitively impaired users by utilizing artifical intelligence | |
US20240402794A1 (en) | Method and apparatus for initiating an action | |
CN110047494B (zh) | 设备响应方法、设备及存储介质 | |
JP2025075999A (ja) | コミュニケーション支援方法、コミュニケーション支援装置、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210311 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210311 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210604 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211015 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220309 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220510 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20221206 |