JP7448664B2 - メディアコンテンツを検索およびインデックス付けするための埋め込みを共有するためのプライバシー制御 - Google Patents

Description

本出願は、メディアコンテンツを検索およびインデックス付けするための埋め込みを共有するためのプライバシー制御に関する。

深層学習モデルは、所与のユーザの顔の複数の入力画像などの、異なるタイプの入力に関する埋め込みを生成することができる。埋め込みは、画像を表すn次元ベクトルであり、人の複数の画像に基づいて前記人の視覚的外観を表すために、機械学習技法によって使用することができる。埋め込みは、画像、ビデオ、オーディオコンテンツなどのメディアコンテンツ内の人を識別するために使用可能なモデルを作成するために、様々な異なる用途において使用することができる。用途に応じて、埋め込みは、例えば、ユーザの顔、ユーザの身体、ユーザの指紋、またはさらにはユーザの声をキャプチャするために使用することができる。これらの埋め込みは、強力なツールであるが、それらは、ユーザの機密データを識別する可能性がある。

この文書は、メディアコンテンツを検索およびインデックス付けするための埋め込みを共有するためのプライバシー制御を可能にする技法およびシステムについて説明する。本明細書で説明する技法は、ユーザが、ユーザの顔の埋め込みに基づく検索およびインデックス付け機能へのアクセスを、限定されたホワイトリストに登録されたユーザのセットに与え、その後、それらのユーザのうちの1人または複数からのアクセスを取り消すことを可能にする。

技法およびシステムは、メディアコンテンツを検索およびインデックス付けするための埋め込みを共有するためのプライバシーを制御する方法を含む。方法は、第1のユーザの顔の画像のセットを取得するステップと、第1のユーザのための顔埋め込みのユーザ固有のデータセットを生成するために、機械学習モデルを画像のセットに適用するステップとを含む。次いで、メディアストレージ内に記憶されたメディアコンテンツは、メディアコンテンツ内に表示された1つまたは複数の顔を識別するインデックス付けされた情報を提供するために、ユーザ固有のデータセットに基づいてインデックス付けされる。第1のユーザを描写する画像またはビデオについてメディアコンテンツに問い合わせる第2のユーザによるインデックス付けされた情報へのアクセスは、第1のユーザによって第2のユーザと共有されたデジタルキーに基づいて制御され、デジタルキーは、ユーザ固有のデータセットに関連付けられ、ユーザ固有のデータセットは、第1のユーザを描写する画像またはビデオを識別するために使用可能である。

デジタルキーは、サービスプロバイダシステム、またはサービスプロバイダシステムに関連する他の安全なオンラインストレージなどの、「クラウド内」にのみ記憶され、ユーザのデバイスには記憶されなくてもよい。サービスプロバイダシステムは、ユーザのためのパーソナライズされたメディアコレクションのオンラインストレージを提供してもよい。これらのパーソナライズされたメディアコレクションは、アカウントベースで、安全に暗号化されてもよい。そのような実装形態において、ユーザは、自分のアカウントにログインするためのユーザ資格情報を提供し、次いで、自分のアカウントに基づいてサービスプロバイダシステムを介して検索問い合わせを開始することができる。このようにして、共有されたデジタルキーは、いかなる実際のユーザデバイスとも共有されず、したがって、偽造およびコピーからより安全に保たれる場合がある。さらに、特定のユーザについて検索可能なパーソナライズされたメディアコレクションは、そのユーザのアカウントに関連付けられてもよく、これは、他のメディアコレクションを不正な検索から保護する。

ユーザのパーソナライズされたメディアコレクションは、インデックス付けされてもよく、サービスプロバイダシステムは、各メディアコレクションに関するインデックス付けされた情報を別々に記憶してもよい。異なるユーザのインデックス付けされた情報を別々に記憶しておくことは、不正なアクセスに対するさらなるレベルの安全を提供することができる(例えば、第1のユーザのインデックス付けされた情報への許可されたアクセスが、第2のユーザのインデックス付けされた情報への不正なアクセスをもたらす)。

この要約は、詳細な説明および図面において以下でさらに説明される、メディアコンテンツを検索およびインデックス付けするための埋め込みを共有するためのプライバシー制御に関する簡略化された概念を紹介するために提供される。この要約は、特許請求された主題の本質的な特徴を特定することを意図しておらず、特許請求された主題の範囲を決定する際に使用することも意図していない。

メディアコンテンツを検索およびインデックス付けするための埋め込みを共有するためのプライバシー制御の1つまたは複数の態様の詳細について、以下の図面を参照してこの文書において説明する。同じ番号は、図面全体を通して、同様の特徴および構成要素を参照するために使用される。

メディアコンテンツを検索およびインデックス付けするための埋め込みを共有するためのプライバシー制御のための技法を実装することができる例示的な環境を示す図である。 メディアコンテンツを検索およびインデックス付けするための埋め込みを共有するためのプライバシー制御を実装することができる電子デバイスの例示的な実装形態を示す図である。 メディアコンテンツを検索およびインデックス付けするための埋め込みを共有するためのプライバシー制御の例示的な実装形態を示す図である。 本明細書で説明する技法によるユーザ固有の検索問い合わせの例示的な検索結果を示す図である。 メディアコンテンツを検索およびインデックス付けするための埋め込みを共有するためのプライバシーを制御するための例示的な方法を示す図である。 ユーザ固有の検索問い合わせのためのメディアコンテンツへのアクセスを制御するための方法を含む、図5における方法の追加の詳細を示す図である。 追加のデータに基づいてユーザ固有のデータセットを更新する方法を含む、図5における方法の追加の詳細を示す図である。 データ除去に基づいてユーザ固有のデータセットを更新する方法を含む、図5における方法の追加の詳細を示す図である。 メディアコンテンツを検索およびインデックス付けするための埋め込みを共有するためのプライバシーを制御するための例示的な方法を示す図である。 メディアコンテンツを検索およびインデックス付けするための埋め込みを共有するためのプライバシー制御を実装するための、またはそれを可能にする技術が実装されてもよい、図1～図9を参照して説明したように任意のタイプのクライアント、サーバ、および/または電子デバイスとして実装することができる例示的なコンピューティングシステムを示す図である。

概要
この文書は、メディアコンテンツを検索およびインデックス付けするための埋め込みを共有するためのプライバシー制御を可能にする技法およびシステムについて説明する。顔埋め込みなどのユーザの埋め込みを共有することは、別のユーザが任意のデータ内のユーザの顔を検出することを可能にすることができ、これは、望ましくない場合がある。例えば、漏洩した埋め込みは、それを使用する誰もが公共のビデオストリーム内のユーザの顔を検出することを可能にする場合がある。この文書で説明する技法は、メディアコンテンツ内に描写された特定のユーザの検索へのアクセスを制御するソフトウェアベースの解決策を提供する。特に、技法は、ユーザが、ユーザの顔の埋め込みに基づく検索およびインデックス付け機能へのアクセスを、限定されたホワイトリストに登録されたユーザのセットに与え、その後、ユーザのうちの1人または複数へのアクセスを取り消すことを可能にする。

態様において、メディアコンテンツを検索およびインデックス付けするための顔埋め込み共有のためのプライバシー制御のための方法について説明する。方法は、サービスプロバイダシステムが、第1のユーザの顔の画像のセットを取得し、第1のユーザのための顔埋め込みのユーザ固有のデータセットを生成するために、機械学習モデルを画像のセットに適用することによって実行される。方法は、サービスプロバイダシステムが、メディアコンテンツ内に表示された1つまたは複数の顔を識別するインデックス付けされた情報を提供するために、機械学習モデルをメディアコンテンツに適用することによって、メディアストレージ内に記憶されたメディアコンテンツにインデックス付けすることも含む。加えて、方法は、サービスプロバイダシステムが、アプリケーションプログラミングインターフェースによって、第1のユーザを描写する画像またはビデオについてメディアコンテンツに問い合わせる第2のユーザによるインデックス付けされた情報へのアクセスを制御することを含む。アクセスは、第1のユーザによって第2のユーザと共有されたデジタルキーに基づいて制御される。デジタルキーは、ユーザ固有のデータセットに関連付けられる。ユーザ固有のデータセットは、第1のユーザを描写するメディアコンテンツ内の画像またはビデオを識別するために、インデックス付けされた情報とともに使用可能である。

これらは、説明する技法およびデバイスが、メディアコンテンツを検索およびインデックス付けするための顔埋め込み共有のためのプライバシー制御を可能にするために使用されてもよい方法のほんの数例である。他の例および実装形態について、この文書全体を通して説明する。文書は、ここで、例示的な動作環境に移り、その後、例示的なデバイス、方法、およびシステムについて説明する。

動作環境
図1は、メディアコンテンツを検索およびインデックス付けするための顔埋め込み共有のためのプライバシー制御を可能にする技法を実装することができる例示的な環境100を示す。例示的な環境100は、ネットワーク106を介してサービスプロバイダシステム104と通信するように構成された電子デバイス102(例えば、ユーザデバイス)を含む。電子デバイス102は、プライバシー制御モジュール108と、埋め込みモジュール110と、1つまたは複数のデジタルキー112と、メディアコンテンツ114とを含む。

サービスプロバイダシステム104は、メディアストレージ116と、インデックス付けされたメディア情報118と、ストレージサービスモジュール120と、機械学習モデル122と、1つまたは複数のユーザ固有のデータセット124と、検索マネージャモジュール126とを含むものとして示されている。ストレージサービスモジュール120は、機械学習モデル122を、電子デバイス102によって提供されたメディアコンテンツ114(例えば、画像データ、ビデオデータ、オーディオデータなど)に適用することができる。機械学習モデル122(例えば、畳み込みニューラルネットワーク)は、メディアコンテンツ114内に描写されたユーザに関するユーザ固有のデータセット124を作成するために、メディアコンテンツ114から埋め込みを生成するために、機械学習技法を使用して訓練される。例えば、メディアコンテンツ114は、電子デバイス102のユーザの顔などの、ユーザの画像のセットを含んでもよい。ストレージサービスモジュール120は、画像内の顔の顔境界を検出するために、汎用顔検出アルゴリズムを実行することができる。次いで、機械学習モデル122を使用して、ストレージサービスモジュール120は、ユーザのためのユーザ固有のデータセット124を作成するために、画像内で見つかった実質的にすべての顔に対する埋め込み(埋め込みベクトルとも呼ばれる)を計算する。ユーザ固有のデータセット124は、ユーザの顔を表す1つまたは複数のn次元ベクトルである。ユーザ固有のデータセット124は、ユーザのために安全に暗号化され、他のデバイスによってアクセスできない「クラウド内」に記憶される。

ストレージサービスモジュール120は、インデックス付けされたメディア情報118を生成するために、メディアストレージ116内の画像またはビデオ内などの、そこに現れるユーザを識別することによって、メディアストレージ116にインデックス付けすることができる。セキュリティのために、ストレージサービスモジュール120は、自分のユーザ固有のデータセット124をクラウド内(例えば、サービスプロバイダシステム104)に記憶することに同意し、そうすることを選択したユーザのみを識別する。ユーザ固有のデータセット124へのアクセスは、ユーザの同意なしにはいかなる他のユーザまたはデバイスにも許可されないことに留意されたい。

電子デバイス102のユーザは、メディアストレージ116内のユーザの画像を検索するために、サービスプロバイダシステム104への検索問い合わせを開始することができる。電子デバイス102は、インデックス付けされたメディア情報118にアクセスし、ユーザのユーザ固有のデータセット124と実質的に一致する埋め込み情報を検索するために、検索マネージャモジュール126におけるアプリケーションプログラミングインターフェース(API)128を呼び出す。一致する埋め込み情報に基づいて、検索マネージャモジュール126は、ユーザを描写するメディアストレージ116内の対応する画像を見つけることができる。結果として得られる画像は、次いで、ディスプレイデバイス130を介してディスプレイアプリケーションにおいて電子デバイス102において提示される。

電子デバイス102のユーザは、ユーザに対応するインデックス付けされたメディア情報118へのアクセスを、1人または複数の他のユーザ(例えば、家族、友人など)と共有してもよい。これは、他のユーザが、ユーザ固有の問い合わせを用いてメディアストレージ116に問い合わせることを可能にする。一例において、ユーザBは、サービスプロバイダシステム104のメディアストレージ116内のユーザA(電子デバイス102のユーザ)の画像を見つけるために、ユーザBのユーザデバイス132においてユーザ固有の問い合わせを開始する。しかしながら、機械学習モデル122もユーザ固有のデータセット124も、ユーザBと共有されない。代わりに、ユーザBは、ユーザAのユーザ固有のデータセット124に対応する、ユーザAによって以前に提供されたデジタルキーを有する。ユーザBは、デジタルキーを検索マネージャモジュール126に提供する。検索マネージャモジュール126のAPI128は、ユーザAのユーザ固有のデータセット124を識別するために、デジタルキーを使用する。API128は、一致する埋め込みと、一致する埋め込みに対応するインデックス情報とを識別するために、ユーザのユーザ固有のデータセット124内の埋め込みを、インデックス付けされたメディア情報118と比較する。API128は、メディアストレージ116からユーザAを描写する対応する画像またはビデオを見つけるために、識別されたインデックス情報を使用する。API128は、次いで、表示のために、対応する画像をユーザBのユーザデバイス132に返すことができる。

いくつかの態様において、ユーザBは、ユーザAのユーザ固有の問い合わせを用いて、異なる画像またはビデオコーパスに問い合わせることを望む場合がある。例えば、ユーザBは、メディアストレージ136内のユーザAの画像についてメディアストレージサービス134に問い合わせてもよい。代替的には、ユーザBは、ユーザデバイス132におけるローカルストレージ(図示せず)に問い合わせてもよい。いずれの場合も、ユーザBは、API128への問い合わせを開始し、問い合わせは、ユーザAによって共有されたデジタルキーと、検索する特定の画像またはビデオコーパスの場所(例えば、メディアストレージ136、またはユーザデバイス132のローカルストレージ)の識別情報とを含む。これらのコーパスがストレージサービスモジュール120によってまだインデックス付けされていない場合、API128は、コンテキストにインデックス付けするために、機械学習モデル122を特定の画像またはビデオコーパスに適用する(または適用するためにストレージサービスモジュール120を呼び出す)。サービスプロバイダシステム104のストレージサービスモジュール120は、結果として生じるインデックス付けされた情報を、インデックス付けされたメディア情報118内に保持する。検索マネージャモジュール126は、次いで、特定の画像またはビデオコーパス(例えば、メディアストレージ136、またはユーザデバイス132のローカルストレージ)内のどの画像がユーザAを含むかを識別し、ユーザBのためにユーザデバイス132に結果を提供するために、結果として生じるインデックス付けされた情報をユーザ固有のデータセット124と比較することができる。

いくつかの態様において、電子デバイス102は、機械学習モデル122、または機械学習モデル122のインスタンスを含んでもよい。埋め込みモジュール110は、ユーザ固有のデータセット124(例えば、埋め込みのセット)を生成するために、メディアコンテンツ114内の電子デバイス102によってキャプチャおよび/または記憶された画像のセットに機械学習モデル122を適用することができる。いくつかの態様において、画像のセットは、ユーザの顔の近赤外線画像データをキャプチャし、個人を特定する情報を含まずに、ユーザの固有の顔の特徴を数値で表す埋め込み(n次元数値ベクトル)を生成する顔認証システム(例えば、フェイスアンロックアプリケーション)などによって、近赤外線カメラを使用してキャプチャされた画像であってもよい。次いで、電子デバイス102は、「クラウド内」に記憶するために、埋め込み(例えば、ユーザ固有のデータセット124)をサービスプロバイダシステム104に送信(例えば、アップロード)することができる。一例において、電子デバイス102またはサービスプロバイダシステム104は、次いで顔埋め込みのための入力データとして使用するために、顔の3次元(3D)表現を作成することができる。

プライバシー制御モジュール108は、認証されたユーザと共有するためのデジタルキー112を生成するように構成される。共有されたキー(例えば、デジタルキー112)を有する認証されたユーザのみが、画像またはビデオコーパスからユーザを描写する特定の画像またはビデオを識別するために、インデックス付けされたメディア情報118にアクセスするためにAPI128を呼び出すことができる。

ユーザ固有のデータセット124は、他のユーザに直接公開されていないので(他のユーザに認可される唯一のアクセスは、検索問い合わせのためのインデックス付けされたコンテンツへのものである)、認可されたアクセスを取り消すことができる。電子デバイス102のユーザAは、特定のユーザ(例えば、ユーザB)と以前に共有されたデジタルキーを削除することによって、共有されたアクセスを取り消すことを選択することができる。次いで、次にユーザBがユーザAを描写する画像またはビデオの検索を開始するとき、結果は、提供されない。

本開示全体を通して、コンピューティングシステム(例えば、電子デバイス102、クライアントデバイス、サーバデバイス、サービスプロバイダシステム104、コンピュータ、または他のタイプのコンピューティングシステム)が、前述の顔画像などの、ユーザに関連する情報(例えば、レーダ、慣性、および顔認識センサデータ、画像)を分析してもよい例について説明する。しかしながら、コンピューティングシステムがコンピューティングシステムのユーザからデータを使用するための明確な許可を受け取った後にのみ情報を使用するようにコンピューティングシステムを構成することができる。個々のユーザは、プログラムがセンサデータに対してできることまたはできないことについて常に制御してもよい。例えば、電子デバイス102が(例えば、別のデバイスにおいて実行されるモデルを訓練するために)別のデバイスとセンサデータを共有する前に、電子デバイス102は、データ内に埋め込まれた任意のユーザ識別情報またはデバイス識別情報が除去されることを確実にするために、センサデータを前処理してもよい。したがって、ユーザは、ユーザおよびユーザのデバイスについて情報が収集されるかどうか、ならびに収集された場合、そのような情報がコンピューティングデバイスおよび/またはリモートコンピューティングシステムによってどのように使用されてもよいかについて制御してもよい。

本明細書で説明する例は、ユーザの顔を描写する画像データに向けられているが、本明細書で説明する技法は、ユーザに対応するデータについてメディアコンテンツを検索するために使用することができる対応する埋め込みを生成するために他のタイプのデータにおいて実装することもできる。いくつかの例示的な他のタイプの入力は、音声データ、実質的な全身画像、指紋データ、虹彩スキャンデータ、ビデオデータなどを含んでもよい。音声データから生成された埋め込みは、話しているユーザのビデオもしくはオーディオファイル、またはビデオもしくはオーディオファイル内のオーディオセグメントを見つけるために使用することができる。一例において、これらの技法は、記録された会議中に、特定の人がいつ話すか、または会議中の異なる時間において誰が話しているかを識別するために使用することができる。ユーザの全身画像から生成された埋め込みは、ユーザの歩き方、またはユーザがどのように移動するかに基づいてユーザを識別するために使用することができる。これらの技法は、顔認証にも使用することができる。例えば、会社が顔認証を使用し、ユーザに関するユーザ固有のデータセットを有する場合、安全な建物に入るために顔スキャンを用いてAPIにアクセスするために、デジタルキーをユーザに与えることができる。さらに別の例において、これらの技法を使用すれば、ユーザは、フェイスアンロックアプリケーションのための新しい電子デバイスを訓練する必要がない場合がある。むしろ、新しい電子デバイスにデジタルキーを提供することができ、これは、新しい電子デバイスが、フェイスアンロックのためにユーザを認証するためのユーザ固有のデータセットにアクセスするためにAPIを呼び出すことを可能にする。

より詳細には、メディアコンテンツを検索およびインデックス付けするための顔埋め込み共有のためのプライバシー制御を実装することができる電子デバイス102の例示的な実装形態200を示す図2を検討する。図2の電子デバイス102は、スマートフォン102-1、タブレット102-2、ラップトップ102-3、デスクトップコンピュータ102-4、コンピューティングウォッチ102-5、コンピューティング眼鏡102-6、ゲーミングシステム102-7、ホームオートメーションおよび制御システム102-8、ならびに電子レンジ102-9を含む様々な例示的なデバイスを用いて示されている。電子デバイス102は、テレビ、エンターテインメントシステム、オーディオシステム、自動車、ドローン、トラックパッド、描画パッド、ネットブック、電子書籍リーダ、ホームセキュリティシステム、および他の家電製品などの他のデバイスも含むことができる。電子デバイス102は、ウェアラブル、非ウェアラブルであるがモバイル、または比較的不動(例えば、デスクトップおよび器具)であることができることに留意されたい。

電子デバイス102はまた、1つまたは複数のコンピュータプロセッサ202と、メモリ媒体および記憶媒体を含む1つまたは複数のコンピュータ可読媒体204とを含む。コンピュータ可読媒体204上のコンピュータ可読命令として実装されたアプリケーションおよび/またはオペレーティングシステム206は、本明細書で説明する機能の一部またはすべてを提供するためにコンピュータプロセッサ202によって実行することができる。例えば、コンピュータ可読媒体204は、プライバシー制御モジュール108と、埋め込みモジュール110と、メディアコンテンツ114と、機械学習モデル122と、安全な記憶ユニット208とを含むことができる。埋め込みモジュール110は、機械学習モデル122を呼び出すことができる。プライバシー制御モジュール108は、メディアストレージ内のユーザ固有の検索を承認するデジタルキー112へのアクセスを制御(例えば、認可、取り消し)することができる。

安全な記憶ユニット208は、(顔認証データ、パスワード/パスコード情報、指紋データなどを含む)電子デバイス102をアンロックするための制御などのプライバシー制御のために使用されるセキュリティデータ(例えば、ユーザ資格情報)を記憶するように構成される。このセキュリティデータは、顔認証、パスワード/パスコード認証、指紋認証、音声認証などを使用して電子デバイス102をアンロックするためにユーザを認証するために使用することができるが、ユーザに関する個人情報は、セキュリティデータによって取得することはできない。具体的には、セキュリティデータによってユーザを特定することはできない。むしろ、セキュリティデータは、電話をアンロックしようとするユーザから受信されたデータが、電子デバイス102においてセキュリティを設定したユーザを表す記憶されたプロファイルデータ(例えば、ユーザ固有のデータセット124)と一致するかどうかを単に判断するために使用される。一例において、ユーザの顔のキャプチャされた画像から生成された埋め込みは、ユーザの顔の特徴の数値ベクトル表現である。これらの埋め込みは、一致を見つけるために、顔認証の試行中にキャプチャされた画像から生成された新しい埋め込みとの比較のために単に使用される。他の実装形態において、これらの埋め込みは、電子デバイス102のカメラによってキャプチャされた、または(別のデバイスから取得された)メディアコンテンツ114内に記憶されたユーザの顔を描写する画像から生成された新しい埋め込みとの比較のために使用される。

電子デバイス102はまた、ネットワークインターフェース210を含んでもよい。電子デバイス102は、有線、ワイヤレス、または光ネットワークを介してデータを通信するためのネットワークインターフェース210を使用することができる。例として、限定ではなく、ネットワークインターフェース210は、ローカルエリアネットワーク(LAN)、ワイヤレスローカルエリアネットワーク(WLAN)、パーソナルエリアネットワーク(PAN)、ワイドエリアネットワーク(WAN)、イントラネット、インターネット、ピアツーピアネットワーク、ポイントツーポイントネットワーク、またはメッシュネットワークを介してデータを通信してもよい。

認証システム212の様々な実装形態は、システムオンチップ(SoC)、1つまたは複数の集積回路(IC)、埋め込まれたプロセッサ命令を備えるか、またはメモリ内に記憶されたプロセッサ命令にアクセスするように構成されたプロセッサ、埋め込まれたファームウェアを有するハードウェア、様々なハードウェア構成要素を有するプリント回路基板、またはそれらの任意の組合せを含むことができる。一例において、認証システム212は、セキュアモードにおいて、電子デバイス102をアンロックするために、ユーザから受信された認証データを、ユーザを認証するための安全な記憶ユニット208内に記憶されたセキュリティデータと比較することができる。いくつかの態様において、認証システム212は、カメラシステムから取得された画像データを使用して認証データを生成し、安全な記憶ユニット208が認証データを記憶されたセキュリティデータと比較し、一致するかどうかを判定することを可能にするために、認証データを安全な記憶ユニット208に提供する。

電子デバイス102は、画像データをキャプチャするように実装されたカメラシステム214も含む。画像データは、ユーザの顔などのオブジェクトの3次元深度マップを生成するために使用可能であってもよい。カラーカメラ(例えば、赤色-緑色-青色(RGB)カメラまたは近赤外線(NIR)カメラ)を含む任意の適切なカメラシステムが使用されてもよい。カメラシステム214は、電子デバイス102に統合されるか、または電子デバイス102に他の方法で関連付けられてもよい。態様において、カメラシステム214は、電子デバイス102にワイヤレスで接続されてもよい。

電子デバイス102は、1つまたは複数のセンサ216を含むこともできる。1つまたは複数のセンサ216は、オーディオセンサ(例えば、マイクロフォン)、タッチ入力センサ(例えば、タッチスクリーン)、画像キャプチャデバイス(例えば、カメラまたはビデオカメラ)、近接センサ(例えば、静電容量センサ)、または環境光センサ(例えば、光検出器)などの、様々なセンサのいずれかを含むことができる。

電子デバイス102は、ディスプレイデバイス130も含むことができる。ディスプレイデバイス130は、タッチスクリーン、液晶ディスプレイ(LCD)、薄膜トランジスタ(TFT)LCD、面内スイッチング(IPS)LCD、静電容量タッチスクリーンディスプレイ、有機発光ダイオード(OLED)ディスプレイ、アクティブマトリックス有機発光ダイオード(AMOLED)ディスプレイ、スーパーAMOLEDディスプレイなどの、任意の適切なディスプレイデバイスを含むことができる。

電子デバイス102は、顔検出器218を含むこともできる。顔検出器218は、画像内の1つまたは複数の顔の各々の顔境界を検出することができる。顔境界を検出することによって、顔検出器218は、埋め込みモジュール110によって処理される画像データの量を制限する。実装形態において、顔検出器218は、コンピュータ可読媒体204上のコンピュータ可読命令として実装することができ、画像内のそれぞれの顔の顔境界を検出するためにコンピュータプロセッサ202によって実行することができる。

これらおよび他の機能および構成、ならびに図1から図2のエンティティが動作および相互作用する方法について、以下でより詳細に説明する。これらのエンティティは、さらに分割、結合などをされてもよい。図1の環境100、図2から図4の実装形態200、300、および400、ならびに図5から図9の詳細な方法は、説明した技法を用いることができる多くの可能な環境およびデバイスのうちのいくつかを示す。

図3は、メディアコンテンツを検索およびインデックス付けするための埋め込みを共有するためのプライバシー制御の例示的な実装形態300を示す。図3は、サービスプロバイダシステム104と、複数の電子デバイス102、例えば、デバイスA302、デバイスB304、およびデバイスC306とを示す。図示の例において、デバイスの各々は、異なるユーザに対応し、例えば、デバイスA302は、ユーザA308に対応し、デバイスBは、ユーザB310に対応し、デバイスCは、ユーザC312に対応する。

デバイスの各々は、対応するユーザの画像またはビデオ検索へのアクセスを制御するために、プライバシー制御モジュール108のインスタンスを実装されてもよい。この例示的な実装形態300において、デバイスA302のユーザA308は、サービスプロバイダシステム104においてユーザ固有のデータセット124(例えば、データセットA314)を記憶することを選択している。データセットA314は、デバイスA302によって提供されるか、もしくはサービスプロバイダシステム104におけるメディアストレージ116内に記憶されるか、またはその両方であるユーザA308の画像のセットに適用される機械学習モデル122に基づいて生成される。

サービスプロバイダシステム104は、ユーザのためのパーソナライズされたメディアコレクションのオンラインストレージを提供する。これらのパーソナライズされたメディアコレクションは、アカウントベースであり、メディアストレージ116内で安全に暗号化されてもよい。各ユーザは、異なるフォルダまたはサブフォルダ内に編成された画像およびビデオなどの、1つまたは複数のパーソナライズされたメディアコレクションを有してもよい。パーソナライズされたメディアコレクションは、アカウントベースであるので、ユーザは、任意の適切な電子デバイスを使用して自分のアカウントにログインし、パーソナライズされたメディアコレクションを作成するために画像および/またはビデオをアップロードしてもよい。図示の例を簡単にするために、各ユーザは、1つの電子デバイスと1つのパーソナライズされたメディアコレクションとともに図示されている。例えば、メディアストレージ116は、ユーザA308によってアップロードされたメディアコレクションA318と、ユーザB310によってアップロードされたメディアコレクションB320と、ユーザC312によってアップロードされたメディアコレクションC322とを含む。

ユーザを描写するメディアコンテンツを検索するためのユーザ固有のデータセット124へのアクセスを共有するために、対応するプライバシー制御モジュール108は、対応するデジタルキー112を提供することができる。アクセスが共有されるユーザごとに新しいキーが作成される(例えば、10人のユーザに対して、それぞれ10個の異なるキーが生成される)。特定のユーザに関するアクセスを取り消すために、プライバシー制御モジュール108は、それらの対応するキーを削除する。図示の例において、デバイスA302および/またはサービスプロバイダシステム104は、ユーザA308のためのデジタルキー112のセット(例えば、キーA1、A2、...、Anを含む所有キー324)を記憶する。また、デジタルキー112のセット(例えば、キーB1、B2、...、Bnを含む所有キー326)は、デバイスB304およびサービスプロバイダシステム104によって記憶される。いくつかの実装形態において、サービスプロバイダシステム104のみが、各ユーザのためのデジタルキー112を記憶し、デジタルキー112の管理は、ユーザが共有されたキーを管理するためにサービスプロバイダシステム104における自分のアカウントにログインしてもよいように、アカウントベースである。

さらに示されているように、ユーザA308は、第1のキーA1をデバイスB304と共有しており(共有キー328によって示される)、第2のキーA2をデバイスC306と共有している(共有キー330によって示される)。同様に、デバイスB304は、キーB1をデバイスC306と共有しているが、デバイスA302にはいかなるキーも提供していない。図示の例において、ユーザC312がサービスプロバイダシステム104においてユーザ固有のデータセットを記憶することを選択しておらず、したがって、デバイスC306に対してデジタルキーが生成されていないので、デバイスC306は、いかなるキーも所有していない。代替的には、デジタルキー112は、サービスプロバイダシステム104、またはサービスプロバイダシステム104に関連する他の安全なオンラインストレージなどの「クラウド内」にのみ記憶され、ユーザのデバイスには記憶されなくてもよい。そのような実装形態では、ユーザは、自分のアカウントにログインするためのユーザ資格情報を提供し、次いで、自分のアカウントに基づいてサービスプロバイダシステム104を介して検索問い合わせを開始することができる。このようにして、共有されたデジタルキー112は、いかなるユーザデバイスとも共有されず、したがって、偽造およびコピーからより安全に保たれる場合がある。さらに、特定のユーザについて検索可能なメディアコレクションは、そのユーザのアカウントに関連付けられてもよく、これは、他のメディアコレクションを不正な検索から保護する。

ユーザB310が、ユーザA308の画像および/またはビデオについて、自分のパーソナライズされたメディアコレクションB320を検索したいと仮定する。ユーザB310は、検索問い合わせをデバイスB304に入力する。デバイスB304は、次いで、サービスプロバイダシステム104におけるAPI128を呼び出し、共有キーA1と、メディアコレクションB320の指標とをAPI128に提供する。メディアコレクションB320がまだインデックス付けされていない場合、API128は、対応するインデックス付けされた情報を生成するために機械学習モデル122をメディアコレクションB320に適用することができる。サービスプロバイダシステム104は、他のメディアコレクションに対応する他のインデックス付けされた情報とは別に、対応するインデックス付けされた情報をインデックス付けされたメディア情報118内に記憶することができる。異なるユーザのインデックス付けされた情報を別々に記憶しておくことは、不正なアクセスに対するさらなるレベルの安全を提供することができる(例えば、第1のユーザのインデックス付けされた情報への許可されたアクセスが、第2のユーザのインデックス付けされた情報への不正なアクセスをもたらす)。

API128は、ユーザA308のデータセットA314にアクセスしデータセットA314内の埋め込みを、メディアコレクションB320に対応するインデックス付けされたメディア情報118と比較するために、共有キーA1を使用する。APIがメディアコレクションB320に対応するインデックス付けされたメディア情報118内の一致する埋め込みを見つけた場合、API128は、メディアコレクションB320内の対応する画像および/またはビデオを識別し、これらの画像および/またはビデオを検索問い合わせの結果としてデバイスB304に返す。結果は、画像および/またはビデオ内のどの顔または人物がユーザA308であるかを特定しない。そのような識別情報がなければ、ユーザB310は、データセットA314のコピーを構築することができない。結果は、ユーザA308を描写する画像および/またはビデオを示すだけである。

いくつかの実装形態において、サービスプロバイダシステム104は、ユーザA308がユーザB310のメディアコレクションB320にアクセスできない場合であっても、ユーザA308のためのデータセットA314を更新するためにユーザB310による検索問い合わせの結果を使用してもよい。ユーザ固有のデータセット124が大きいほど、ユーザ固有の検索問い合わせの結果がより正確になる可能性がある。

共有キー330A2およびB1がデバイスC306と共有されているので、ユーザC312は、ユーザA308とユーザB310の一方または両方を含む画像に対する検索問い合わせを開始してもよい。ユーザC312がユーザA308またはユーザB310のいずれかの画像に対する検索問い合わせを開始すると仮定する。プライバシー制御モジュール108は、両方のキーA2およびB2をAPI128に提供し、API128は、対応するデータセット(例えば、データセットA314およびデータセットB316)を識別する。API128は、これらのデータセットを、ユーザC312のメディアコレクションC322に対応するインデックス付けされたメディア情報118と比較する。一致する埋め込みに基づいて、サービスプロバイダシステム104は、メディアコレクションC322から、ユーザA308およびユーザB310の一方または両方を示す画像を特定する検索結果を返す。

ユーザB310は、デジタルキー(例えば、所有キー326のうちの1つ)をユーザA308と共有していないことに留意されたい。結果として、ユーザA308は、検索問い合わせのためにデータセットB316を使用することを許可されない。より具体的には、ユーザA308がメディアコレクションA318内のユーザB310の画像について検索問い合わせを開始した場合、サービスプロバイダシステム104は、いかなる結果も返さない。デバイスA302は、適切なデジタルキーをAPI128に提供しなかったので、API128は、どのユーザ固有のデータセット124をインデックス付けされたメディア情報118との比較に使用するかを識別することができない。

同様に、ユーザA308が、ユーザC312からのデータセットA314へのアクセスを取り消すことを選択した場合、ユーザA308は、プライバシー制御モジュール108にサービスプロバイダシステム104(およびデバイスA302)における以前に共有されたキーA2を削除させるコマンドを入力することができる。次いで、デバイスC306がキーA2を使用して、ユーザA308を示す画像またはビデオについてメディアコレクションC322の後続の問い合わせ検索を実行すると、サービスプロバイダシステム104は、類似の検索問い合わせが以前に結果を提供したかどうかにかかわらず、結果を返さない。したがって、デバイスCは、ユーザAを描写する画像またはビデオについてユーザ固有の検索を実行することから本質的にブロックされる。

さらに、図示の例において、ユーザC312は、サービスプロバイダシステム104においてユーザ固有のデータセット124を記憶することを選択していない。したがって、デバイスA302もデバイスB304も、ユーザC312の画像および/またはビデオについて検索問い合わせの結果を得ることができない。

図3に示す例に続いて、図4は、本明細書で説明する技法による、ユーザ固有の検索問い合わせの例示的な検索結果を示す。図4において、インデックス400は、画像A402がユーザA308とユーザB310とを含み、画像BがユーザB310を含み、ビデオC404がフレームX～Y内にユーザA308を含み、フレームQ～Z内にユーザB310を含むことを示す例示的なインデックス付けされた情報(例えば、インデックス付けされたメディア情報118)を含む。

デバイスC306のユーザC312は、「ユーザAを有する画像および/またはビデオ」について検索バー406内に検索問い合わせを入力する。デバイスC306は、適切な共有キー(例えば、図3の共有キー330内に示すキーA2)とともに検索問い合わせをAPI128に送信する。API128は、インデックス400と比較するための対応するユーザ固有のデータセット124(例えば、データセットA314)を識別するために共有キーA2を使用する。この比較に基づいて、API128は、画像A402とビデオC404とを含む検索結果408を返す。

別の例において、デバイスA302のユーザA308は、「ユーザBを有するビデオ」について検索バー410内に検索問い合わせを入力する。ここで、デバイスA302は、検索問い合わせとともに、ユーザB310の所有キー326のうちの1つのコピーなどの、ユーザB310のデータセットB316に対応する共有キーを提供することができないので、検索ペイン412において結果が提供されない。

例示的な方法
図5から図8は、メディアコンテンツを検索およびインデックス付けするための埋め込みを共有するためのプライバシーを制御するための例示的な方法500、600、700、および800を示す。これらの方法は、ユーザ固有の問い合わせを使用して画像またはビデオコーパスの検索へのアクセスを制御するために検索マネージャモジュール126を使用するサービスプロバイダシステム104によって実行することができる。図5は、ユーザ固有のデータセットに基づいてメディアコンテンツにインデックス付けする方法を示す。図6は、ユーザ固有の検索問い合わせに関するメディアコンテンツへのアクセスを制御するための方法600を含む、図5における方法500の追加の詳細について説明する。図7は、追加のデータに基づいてユーザ固有のデータセットを更新する方法700を含む、図5における方法500の追加の詳細について説明する。図8は、データ除去に基づいてユーザ固有のデータセットを更新する方法800を含む、図5における方法500の追加の詳細について説明する。

方法500、600、700、および800は、実行される動作を指定するブロックのセットとして示されているが、それぞれのブロックによって動作を実行するために示されている順序または組合せに必ずしも限定されない。さらに、動作のうちの1つまたは複数のいずれかが、多様な追加のおよび/または代替の方法を提供するために、繰り返され、組み合わされ、再編成され、またはリンクされてもよい。以下の考察の一部において、図1の例示的な動作環境100、または図2～図4で詳述したエンティティもしくはプロセスへの参照がなされる場合があるが、これらへの参照は、例のみのためになされる。技法は、1つのデバイス上で動作する1つのエンティティまたは複数のエンティティによる実行に限定されない。

502において、サービスプロバイダシステムは、第1のユーザの顔の画像のセットを取得する。例えば、サービスプロバイダシステム104は、電子デバイス102から画像のセットを取得することができる。

504において、サービスプロバイダシステムは、第1のユーザのための顔埋め込みのユーザ固有のデータセットを生成するために、機械学習モデルを画像のセットに適用する。例えば、サービスプロバイダシステム104は、電子デバイス102のユーザのためのユーザ固有のデータセット124を生成するために、機械学習モデル122を画像のセットに適用することができる。

506において、サービスプロバイダシステムは、メディアコンテンツ内に表示された1つまたは複数の顔を識別するインデックス付けされた情報を提供するために、機械学習モデルをメディアコンテンツに適用することによって、メディアストレージ内に記憶されたメディアコンテンツにインデックス付けする。例えば、サービスプロバイダシステム104は、ユーザ固有のデータセット124をメディアストレージ116内のメディアコンテンツに適用し、インデックス付けされたメディア情報118を提供する電子デバイス102のユーザを描写する画像またはビデオを識別することによって、サービスプロバイダシステム104において記憶されたメディアストレージ116にインデックス付けすることができる。

508において、サービスプロバイダシステムは、第1のユーザを描写する画像またはビデオについてメディアコンテンツに問い合わせる第2のユーザによるインデックス付けされた情報へのアクセスを制御する。例えば、サービスプロバイダシステム104は、インデックス付けされたメディア情報118へのアクセスを制御するための検索マネージャモジュール126を実装することができる。検索マネージャモジュールは、ユーザデバイス(例えば、電子デバイス102、ユーザデバイス132)と、サービスプロバイダシステム104において記憶された安全なデータとの間の媒介として機能するAPI128を含む。第2のユーザが認可されたデジタルキーを提供する場合、API128は、インデックス付けされたメディア情報118にアクセスし、デジタルキーに対応するユーザ固有のデータセット124を使用して、第1のユーザを描写するメディアストレージ116内の特定の画像またはビデオを示すインデックス付けされたメディア情報118内の一致する埋め込みを識別する。方法500は、それぞれ図6～図8を参照して説明した方法600、700、または800のいずれか1つに任意選択で進んでもよい。

図6は、ユーザ固有の検索問い合わせのためのメディアコンテンツへのアクセスを制御する方法600を含む、図5に示す方法500の追加の詳細について説明する。602において、サービスプロバイダシステムは、第1のユーザを描写するメディアコンテンツからの画像またはビデオに対する検索問い合わせを受信する。例えば、サービスプロバイダシステム104は、電子デバイス102の第1のユーザを描写する画像またはビデオについて、要求しているユーザデバイス132からの検索問い合わせを受信する。検索問い合わせは、電子デバイス102の第1のユーザによって、要求しているユーザデバイス132の第2のユーザと以前に共有されたデジタルキーを含む。検索問い合わせは、特定のメディアストレージ(例えば、メディアストレージ116内のパーソナライズされたメディアコレクション、メディアストレージサービス134におけるメディアストレージ136、ユーザデバイス132におけるローカルストレージ)の指標も含む。

604において、サービスプロバイダシステムは、アプリケーションプログラミングインターフェース(API)を有する検索マネージャモジュールを使用して、検索問い合わせが認可されたデジタルキーを有するかどうかを判定する。例えば、API128は、検索問い合わせによって提供されたデジタルキーが第1のユーザに関連付けられたデジタルキー112のうちの1つと一致するかどうかを判定する。

APIが、デジタルキーが認可されていないと判定した場合(604において「NO」)、606において、サービスプロバイダシステムは、検索問い合わせに結果を返さない。例えば、デジタルキー112は、第1ユーザからの入力に基づいて削除されている場合があり、その結果、デジタルキー112は、もはや検索について認可されない。場合によっては、検索問い合わせは、デジタルキーを含まなくてもよい。

APIが、デジタルキーが認可されていると判定した場合(604において「YES」)、608において、APIは、デジタルキーに基づいてユーザ固有のデータセットを識別する。例えば、API128は、第1のユーザのためのユーザ固有のデータセット124を見つけるためにデジタルキー112を使用し、これは、メディアストレージ116内でどの顔を検索するかに関する指標を提供する。

610において、APIは、ユーザ固有のデータセットに基づいて、メディアコンテンツからの画像またはビデオのどれが第1のユーザを描写するかを識別するために、インデックス付けされた情報にアクセスする。例えば、API128は、インデックス付けされたメディア情報118との比較のために、ユーザ固有のデータセット124内の顔埋め込みを使用する。インデックス付けされたメディア情報118は、メディアストレージ116内の顔に関連付けられた埋め込みを含む。したがって、ユーザ固有のデータセット124内の顔埋め込みと一致するインデックス付けされたメディア情報118内の埋め込みは、API128に、第1のユーザを描写するメディアストレージ内の画像またはビデオを指示する。

612において、サービスプロバイダシステムは、第1のユーザを描写するメディアコンテンツからの識別された画像またはビデオを含む検索結果を提供する。例えば、サービスプロバイダシステム104は、要求しているユーザデバイス132に、検索問い合わせに対する検索結果として、第1のユーザを描写する識別された画像またはビデオを送信する。

図7は、追加のデータに基づいてユーザ固有のデータセットを更新する方法700を含む、図5における方法500の追加の詳細について説明する。702において、サービスプロバイダシステムは、第1のユーザの電子デバイスから1つまたは複数の追加の画像を受信する。例えば、電子デバイス102は、クローズアップ写真または全身写真などの、ユーザの顔を描写する1つまたは複数の新しい画像をアップロードしてもよい。

704において、サービスプロバイダシステムは、1つまたは複数の新しい顔埋め込みを生成するために、機械学習モデルを1つまたは複数の追加の画像に適用する。706において、サービスプロバイダシステムは、ユーザ固有のデータセットを更新するために、1つまたは複数の新しい顔埋め込みを、第1のユーザのための顔埋め込みのユーザ固有のデータセットに追加する。追加の埋め込みは、埋め込みが少ない場合よりも正確な結果(画像またはビデオ内のユーザのより正確な識別)を可能にするようにユーザ固有のデータセットを改善することができる。方法700は、次いで、インデックス付けされた情報へのアクセスを制御するために図5における508に戻る。

図8は、データ除去に基づいてユーザ固有のデータセットを更新する方法800を含む、図5における方法500の追加の詳細について説明する。802において、サービスプロバイダシステムは、ユーザ固有のデータセットを生成するために以前に使用された画像のセットから1つまたは複数の画像を削除するために第1のユーザから入力を受信する。例えば、第1のユーザは、ユーザ固有のデータセット124を生成するために使用された画像の1つまたは複数を除去または削除することを選択してもよい。ユーザは、特定の画像を嫌う場合があり、または画像は、もはやユーザの現在の顔の特徴をよく表現していない古い画像である場合がある。

804において、サービスプロバイダシステムは、第1のユーザからの入力に基づいて、画像のサブセットを提供するために、画像のセットから1つまたは複数の画像を削除する。例えば、サービスプロバイダシステム104のストレージサービスモジュール120は、除去するためにユーザによって選択された画像を削除する。

806において、サービスプロバイダシステムは、更新されたユーザ固有のデータセットを提供するために、機械学習モデルを画像のサブセットに適用することによって、第1のユーザのための顔埋め込みのユーザ固有のデータセットを更新する。画像のセットが減少したときにユーザ固有のデータセット124を更新するために、ストレージサービスモジュール120は、ユーザ固有のデータセット124を再作成することができる。代替的には、ストレージサービスモジュール120は、削除された画像に対応する埋め込みをユーザ固有のデータセット124から削除することができる。複数の削除された画像について、複数の対応する埋め込みをユーザ固有のデータセット124から削除することができる。方法700は、次いで、インデックス付けされた情報へのアクセスを制御するために、図5における508に戻る。少なくともいくつかの態様において、方法700および800は、ユーザ固有のデータセットを生成するために使用された画像の追加と除去の両方に基づいてユーザ固有のデータセットを更新することができるように、組み合わせることができる。

図9は、メディアコンテンツを検索およびインデックス付けするための埋め込みを共有するためのプライバシーを制御するための例示的な方法900を示す。方法900は、ユーザ固有の問い合わせを使用して画像またはビデオコーパスを検索するためのアクセスを制御するためにプライバシー制御モジュール108を使用する電子デバイス102によって実行することができる。

方法900は、実行される動作を特定するブロックのセットとして示されているが、それぞれのブロックによる動作を実行するために示されている順序または組合せに必ずしも限定されない。さらに、動作のうちの1つまたは複数のいずれかが、多様な追加のおよび/または代替の方法を提供するために、繰り返され、組み合わされ、再編成され、またはリンクされてもよい。以下の考察の一部において、図1の例示的な動作環境100、または図2～図4で詳述したエンティティもしくはプロセスへの参照がなされる場合があるが、これらへの参照は、例のみのためになされる。技法は、1つのデバイス上で動作する1つのエンティティまたは複数のエンティティによる実行に限定されない。

902において、電子デバイスは、電子デバイスの第1のユーザの画像のセットをキャプチャする。例えば、電子デバイス102の第1のユーザは、カメラシステム214を使用して画像(例えば、「自撮り」)をキャプチャしてもよい。画像は、カメラシステム214のカラーカメラを使用してキャプチャされてもよい。代替的には、画像は、認証システム212の顔認証プロセス中などに、カメラシステム214の近赤外線カメラを使用してキャプチャすることができる。

904における1つのオプションによれば、電子デバイスは、クラウドストレージのため、および第1のユーザのための顔埋め込みのユーザ固有のデータセットの生成のために、画像のセットをサービスプロバイダシステムに送信する。例えば、電子デバイス102は、メディアストレージ116内の安全なストレージのために、画像のセットをサービスプロバイダシステム104にアップロードする。

904において画像のセットをサービスプロバイダシステムに送信する代わりに、906において、電子デバイスは、任意選択で、第1のユーザのための顔埋め込みのユーザ固有のデータセットを生成するために、機械学習モデルを画像のセットに適用してもよい。例えば、電子デバイス102は、電子デバイス102において記憶された機械学習モデル122を画像のセットに適用してもよい。機械学習モデル122は、電子デバイス102をアンロックするために登録された埋め込みに対してユーザを認証するためにユーザのキャプチャされた画像から顔埋め込みを作成するために使用される顔認証システム(例えば、認証システム212)の一部であってもよい。機械学習モデル122は、画像のセットに基づいて、顔埋め込みのユーザ固有のデータセット124を生成することができる。

908において、電子デバイスは、クラウドストレージのためにユーザ固有のデータセットをサービスプロバイダシステムに送信する。例えば、電子デバイス102は、画像のセットではなく、ユーザ固有のデータセット124をサービスプロバイダシステム104に送信してもよい。

910において、904または908のどちらから進むかにかかわらず、電子デバイスは、サービスプロバイダシステムにおいて第2のユーザが第1のユーザを描写する画像またはビデオについてユーザ固有の画像検索を呼び出すことを可能にするために、ユーザ固有のデータセットに関連付けられたデジタルキーを第2のユーザと共有する。電子デバイス102のユーザは、友人がユーザを描写する画像またはビデオについてメディアストレージ116を検索することを可能にするために、デジタルキー112を友人と共有することができる。ユーザの友人ごとに、異なるデジタルキーが提供される。

912において、電子デバイスは、サービスプロバイダシステムが第2のユーザと以前に共有されたデジタルキーを削除することを要求することによって、ユーザ固有の画像検索へのアクセスを取り消す。例えば、電子デバイス102のユーザは、友人と共有されたデジタルキーを削除することによって、友人に以前に提供されたアクセスを取り消すことができる。その結果、友人は、ユーザを描写する画像またはビデオを見つけるためにユーザのユーザ固有のデータセット124を使用して検索を行うことをもはや認可されない。

一般に、本明細書で説明する構成要素、モジュール、方法、および動作のいずれも、ソフトウェア、ファームウェア、ハードウェア(例えば、固定論理回路)、手動処理、またはそれらの任意の組合せを使用して実装することができる。例示的な方法のいくつかの動作について、コンピュータ処理システムに対してローカルおよび/またはリモートであるコンピュータ可読ストレージメモリ上に記憶された実行可能命令の一般的な文脈において説明されている場合があり、実装形態は、ソフトウェアアプリケーション、プログラム、関数などを含むことができる。代替的には、または加えて、本明細書で説明される機能のいずれも、限定はしないが、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、特定用途向け標準製品(ASSP)、システムオンチップシステム(SoC)、複合プログラム可能論理デバイス(CPLD)などの1つまたは複数のハードウェア論理構成要素によって少なくとも部分的に実行することができる。

例示的なコンピューティングシステム
図10は、メディアコンテンツを検索およびインデックス付けするための埋め込みを共有するためのプライバシー制御を実装するために、前の図1～図9を参照して説明したように任意のタイプのクライアント、サーバ、および/または電子デバイスとして実装することができる例示的なコンピューティングシステム1000の様々な構成要素を示す。

コンピューティングシステム1000は、デバイスデータ1004(例えば、レーダデータ、認証データ、参照データ、受信データ、受信中のデータ、ブロードキャスト予定のデータ、データのデータパケット)の有線および/またはワイヤレス通信を可能にする通信デバイス1002を含む。デバイスデータ1004または他のデバイスコンテンツは、デバイスの構成設定、デバイス上に記憶されたメディアコンテンツ、および/またはデバイスのユーザに関連付けられた情報(例えば、レーダフィールド内の人の識別情報、またはカスタマイズされたエアジェスチャデータ)を含むことができる。コンピューティングシステム1000上に記憶されたメディアコンテンツは、任意のタイプのレーダ、生体認証、オーディオ、ビデオ、および/または画像データを含むことができる。コンピューティングシステム1000は、1つまたは複数のデータ入力1006を含み、データ入力1006を介して、人間の発話、レーダフィールドとの相互作用、タッチ入力、ユーザ選択可能な入力または対話(明示的または暗黙的)、メッセージ、音楽、テレビメディアコンテンツ、録画されたビデオコンテンツ、ならびに任意のコンテンツおよび/またはデータ源から受信された任意の他のタイプのオーディオ、ビデオ、および/または画像データなどの、任意のタイプのデータ、メディアコンテンツ、および/または入力を受信することができる。

コンピューティングシステム1000は、シリアルおよび/またはパラレルインターフェース、ワイヤレスインターフェース、任意のタイプのネットワークインターフェース、モデムのうちの任意の1つまたは複数として、ならびに任意の他のタイプの通信インターフェースとして実装することができる通信インターフェース1008も含む。通信インターフェース1008は、コンピューティングシステム1000と通信ネットワークとの間の接続および/または通信リンクを提供し、通信ネットワークを介して、他の電子デバイス、コンピューティングデバイス、および通信デバイスがコンピューティングシステム1000とデータを通信する。

コンピューティングシステム1000は、コンピューティングシステム1000の動作を制御するため、ならびにメディアコンテンツを検索およびインデックス付けするための埋め込みを共有するためのプライバシー制御のための技法またはそのようなプライバシー制御を実装することができる技法を可能にするために、様々なコンピュータ実行可能命令を処理することができる1つまたは複数のプロセッサ1010(例えば、マイクロプロセッサ、コントローラ、または他のコントローラのいずれか)を含む。代替的または追加的に、コンピューティングシステム1000は、一般に1012において識別される、処理回路および制御回路に関連して実装されるハードウェア、ファームウェア、または固定論理回路のいずれか1つまたは組合せを用いて実装することができる。図示されていないが、コンピューティングシステム1000は、デバイス内の様々な構成要素を結合するシステムバスまたはデータ転送システムを含むことができる。システムバスは、メモリバスもしくはメモリコントローラ、周辺バス、ユニバーサルシリアルバス、および/または様々なバスアーキテクチャのいずれかを利用するプロセッサもしくはローカルバスなどの、様々なバス構造のいずれか1つまたは組合せを含むことができる。

コンピューティングシステム1000は、(単なる信号伝送とは対称的に)永続的または非一時的なデータ記憶を可能にする1つまたは複数のメモリデバイスなどのコンピュータ可読媒体1014も含み、その例は、ランダムアクセスメモリ(RAM)、不揮発性メモリ(例えば、読み取り専用メモリ(ROM)、フラッシュメモリ、EPROM、EEPROMなどのうちの任意の1つまたは複数)、およびディスクストレージデバイスを含む。ディスクストレージデバイスは、ハードディスクドライブ、記録可能および/または書き換え可能なコンパクトディスク(CD)、任意のタイプのデジタル多用途ディスク(DVD)などの、任意のタイプの磁気または光記憶デバイスとして実装されてもよい。コンピューティングシステム1000は、大容量記憶媒体デバイス(記憶媒体)1016を含むこともできる。

コンピュータ可読媒体1014は、デバイスデータ1004、ならびに様々なデバイスアプリケーション1018、およびコンピューティングシステム1000の動作態様に関連する任意の他のタイプの情報および/またはデータを記憶するためのデータ記憶メカニズムを提供する。例えば、オペレーティングシステム1020は、コンピュータ可読媒体1014を用いてコンピュータアプリケーションとして維持され、プロセッサ1010上で実行されることが可能である。デバイスアプリケーション1018は、任意の形態の制御アプリケーション、ソフトウェアアプリケーション、信号処理および制御モジュール、特定のデバイスにネイティブなコード、抽象化モジュール、エアジェスチャ認識モジュール、ならびに他のモジュールなどのデバイスマネージャを含んでもよい。デバイスアプリケーション1018は、ストレージサービスモジュール120または検索マネージャモジュール126などの、メディアコンテンツを検索およびインデックス付けするための埋め込みを共有するためのプライバシー制御を実装するためのシステム構成要素、エンジン、モジュール、またはマネージャも含んでもよい。コンピューティングシステム1000は、1つまたは複数の機械学習システムも含んでもよく、またはそれらにアクセスしてもよい。

いくつかの例について以下に説明する。

例1。メディアコンテンツを検索およびインデックス付けするための埋め込みを共有するためのプライバシーを制御する方法であって、サービスプロバイダシステムによって実行される方法は、第1のユーザの顔の画像のセットを取得するステップと、第1のユーザのための顔埋め込みのユーザ固有のデータセットを生成するために、機械学習モデルを画像のセットに適用するステップと、メディアコンテンツ内に表示された1つまたは複数の顔を識別するインデックス付けされた情報を提供するために、機械学習モデルをメディアコンテンツに適用することによって、メディアストレージ内に記憶されたメディアコンテンツにインデックス付けするステップと、アプリケーションプログラミングインターフェースによって、第1のユーザを描写する画像またはビデオについてメディアコンテンツに問い合わせる第2のユーザによるインデックス付けされた情報へのアクセスを制御するステップであって、アクセスが、第1のユーザによって第2のユーザと共有されたデジタルキーに基づいて制御され、デジタルキーがユーザ固有のデータセットに関連付けられ、ユーザ固有のデータセットが、第1のユーザを描写するメディアコンテンツ内の画像またはビデオを識別するために、インデックス付けされた情報との比較のために使用可能である、ステップとを含む。

例2。ユーザ固有のデータセットが、安全に暗号化され、第2のユーザによってアクセスできない、例1の方法。

例3。画像のセットが複数のカラー画像を含む、例1または2の方法。

例4。第1のユーザを描写するメディアコンテンツからの画像またはビデオに対する検索問い合わせを受信するステップであって、検索問い合わせがユーザ固有のデータセットに関連付けられたデジタルキーを含む、ステップと、アプリケーションプログラミングインターフェースによって、デジタルキーを使用して、メディアコンテンツからの画像またはビデオのどれが第1のユーザを描写するかを識別するために、インデックス付けされた情報にアクセスするステップと、第1のユーザを描写するメディアコンテンツからの識別された画像またはビデオを含む検索結果を提供するステップとをさらに含む、例1から3のいずれか1つの方法。

例5。デジタルキーに基づいてユーザ固有のデータセットを識別するステップと、ユーザ固有のデータセット内の1つまたは複数の顔埋め込みと一致する1つまたは複数の埋め込みに関するインデックス付けされた情報を検索するステップとをさらに含む、例4の方法。

例6。識別されたビデオが、第1のユーザの顔を描写する識別されたビデオ内の1つまたは複数のフレームを含む、例4または5の方法。

例7。メディアストレージがサードパーティエンティティによって所有されている、例1から6のいずれか1つの方法。

例8。第1のユーザの電子デバイスから1つまたは複数の追加の画像を受信するステップと、1つまたは複数の新しい顔埋め込みを生成するために機械学習モデルを1つまたは複数の追加の画像に適用し、1つまたは複数の新しい埋め込みを第1のユーザのための顔埋め込みのユーザ固有のデータセットに追加することによって、第1のユーザのための顔埋め込みのユーザ固有のデータセットを更新するステップとをさらに含む、例1から7のいずれか1つの方法。

例9。第1のユーザからのユーザ入力に基づいて、ユーザ固有のデータセットを生成するために以前に使用された画像のセットから1つまたは複数の画像を削除するステップであって、削除するステップが画像のサブセットを提供する、ステップと、更新されたユーザ固有のデータセットを生成するために機械学習モデルを画像のサブセットに適用することによって、第1のユーザのための顔埋め込みのユーザ固有のデータセットを更新するステップとをさらに含む、例1から8のいずれか1つの方法。

例10。画像のセット内の各顔の顔境界を検出するために顔検出器を使用するステップをさらに含む、例1から9のいずれか1つの方法。

例11。第1のユーザによって他のユーザと共有されたデジタルキーのセットを維持するステップであって、デジタルキーのセット内の各デジタルキーが異なるユーザと共有されている、ステップをさらに含む、例1から10のいずれか1つの方法。

例12。メディアコンテンツが、第2のユーザに関連付けられたメディアコレクションを含み、方法が、第1のユーザを描写する画像またはビデオについて、第2のユーザに関連付けられたメディアコレクションを検索するステップをさらに含む、例1から11のいずれか1つの方法。

例13。第1のユーザによって第2のユーザと共有されたデジタルキーを削除するためのユーザ選択を受信するステップと、第2のユーザの電子デバイスから後続の検索問い合わせを受信するステップであって、後続の検索問い合わせが第1のユーザによって共有されたデジタルキーを含む、ステップと、デジタルキーが第1のユーザのためのユーザ固有のデータセットに関連付けられたデジタルキーのセット内に含まれないという判定に基づいて、検索問い合わせに結果を返さないステップとをさらに含む、例1から12のいずれか1つの方法。

例14。第1のユーザを描写するメディアコンテンツからの画像またはビデオについて第3のユーザから第2の検索問い合わせを受信するステップであって、第2の検索問い合わせが、ユーザ固有のデータセットに関連付けられたデジタルキーを含まない、ステップと、第2の検索問い合わせに結果を返さないステップとをさらに含む、例1から13のいずれか1つの方法。

例15。メディアストレージと、メディアストレージ内に記憶されたデータを管理するためのストレージサービスモジュールと、特定のユーザのための顔埋め込みのユーザ固有のデータセットを生成するための機械学習モデルと、例1から14のいずれか1つの方法を実装するためのプロセッサおよびメモリとを備える、サービスプロバイダシステム。

結論
メディアコンテンツを検索およびインデックス付けするための埋め込みを共有するためのプライバシー制御を可能にする技法および装置の実装形態について、特徴および/または方法に特有の文言で説明しているが、添付の特許請求の範囲の主題は、説明した特定の特徴または方法に必ずしも限定されないことが理解されるべきである。むしろ、特定の特徴および方法は、メディアコンテンツを検索およびインデックス付けするための埋め込みを共有するためのプライバシー制御の例示的な実装形態として開示されている。

100 環境、動作環境
102 電子デバイス
102-1 スマートフォン
102-2 タブレット
102-3 ラップトップ
102-4 デスクトップコンピュータ
102-5 コンピューティングウォッチ
102-6 コンピューティング眼鏡
102-7 ゲーミングシステム
102-8 ホームオートメーションおよび制御システム
102-9 電子レンジ
104 サービスプロバイダシステム
106 ネットワーク
108 プライバシー制御モジュール
110 埋め込みモジュール
112 デジタルキー
114 メディアコンテンツ
116 メディアストレージ
118 インデックス付けされたメディア情報
120 ストレージサービスモジュール
122 機械学習モデル
124 ユーザ固有のデータセット
126 検索マネージャモジュール
128 アプリケーションプログラミングインターフェース(API)、API
130 ディスプレイデバイス
132 ユーザデバイス
134 メディアストレージサービス
136 メディアストレージ
200 実装形態
202 コンピュータプロセッサ
204 コンピュータ可読媒体
206 オペレーティングシステム
208 安全な記憶ユニット
210 ネットワークインターフェース
212 認証システム
214 カメラシステム
216 センサ
218 顔検出器
300 実装形態
302 デバイスA
304 デバイスB
306 デバイスC
308 ユーザA
310 ユーザB
312 ユーザC
314 データセットA
316 データセットB
318 メディアコレクションA
320 メディアコレクションB
322 メディアコレクションC
324 所有キー
326 所有キー
328 共有キー
330 共有キー
400 実装形態、インデックス
402 画像A
404 ビデオC
406 検索バー
408 検索結果
410 検索バー
412 検索ペイン
1000 コンピューティングシステム
1002 通信デバイス
1004 デバイスデータ
1006 データ入力
1008 通信インターフェース
1010 プロセッサ
1012 処理回路および制御回路
1014 コンピュータ可読媒体
1016 大容量記憶デバイス(記憶媒体)
1018 デバイスアプリケーション
1020 オペレーティングシステム

Claims (14)

1. サービスプロバイダシステムによって実行される、メディアコンテンツを検索およびインデックス付けするための埋め込みを共有するためのプライバシーを制御する方法であって、
   第1のユーザの顔の画像のセットを取得するステップと、
   前記第1のユーザのための顔埋め込みのユーザ固有のデータセットを生成するために、機械学習モデルを前記画像のセットに適用するステップと、
   メディアコンテンツ内に表示された1つまたは複数の顔を識別するインデックス付けされた情報を提供するために、前記機械学習モデルを前記メディアコンテンツに適用することによって、メディアストレージ内に記憶された前記メディアコンテンツにインデックス付けするステップと、
   アプリケーションプログラミングインターフェースによって、前記第1のユーザを描写する画像またはビデオについて前記メディアコンテンツに問い合わせる第2のユーザによる前記インデックス付けされた情報へのアクセスを制御するステップであって、
   前記アクセスが、前記第1のユーザによって前記第2のユーザと共有されたデジタルキーに基づいて制御され、前記デジタルキーを削除することにより、前記第2のユーザによる前記インデックス付けされた前記情報への前記アクセスを取り消すことが可能であり、
   前記デジタルキーが前記ユーザ固有のデータセットに関連付けられ、前記ユーザ固有のデータセットが、前記第1のユーザを描写する前記メディアコンテンツ内の前記画像またはビデオを識別するために、前記インデックス付けされた情報との比較のために使用可能である、ステップと、
   前記第1のユーザによって他のユーザと共有されたデジタルキーのセットを維持するステップであって、前記デジタルキーのセット内の各デジタルキーが異なるユーザと共有されている、ステップと
   を含む、方法。
2. 前記ユーザ固有のデータセットが、安全に暗号化され、前記第2のユーザによってアクセスできない、請求項1に記載の方法。
3. 前記画像のセットが複数のカラー画像を含む、請求項1または2に記載の方法。
4. 前記第1のユーザを描写する前記メディアコンテンツからの画像またはビデオに対する検索問い合わせを受信するステップであって、前記検索問い合わせが前記ユーザ固有のデータセットに関連付けられた前記デジタルキーを含む、ステップと、
   前記アプリケーションプログラミングインターフェースによって、前記デジタルキーを使用して、前記メディアコンテンツからの前記画像またはビデオのどれが前記第1のユーザを描写するかを識別するために、前記インデックス付けされた情報にアクセスするステップと、
   前記第1のユーザを描写する前記メディアコンテンツからの前記識別された画像またはビデオを含む検索結果を提供するステップと
   をさらに含む、請求項1から3のいずれか一項に記載の方法。
5. 前記デジタルキーに基づいて前記ユーザ固有のデータセットを識別するステップと、
   前記ユーザ固有のデータセット内の1つまたは複数の顔埋め込みと一致する1つまたは複数の埋め込みに関する前記インデックス付けされた情報を検索するステップと
   をさらに含む、請求項4に記載の方法。
6. 前記識別されたビデオが、前記第1のユーザの顔を描写する前記識別されたビデオ内の1つまたは複数のフレームを含む、請求項4または5に記載の方法。
7. 前記メディアストレージがサードパーティエンティティによって所有されている、請求項1から6のいずれか一項に記載の方法。
8. 前記第1のユーザの電子デバイスから1つまたは複数の追加の画像を受信するステップと、
   1つまたは複数の新しい顔埋め込みを生成するために前記機械学習モデルを前記1つまたは複数の追加の画像に適用し、
   前記1つまたは複数の新しい埋め込みを前記第1のユーザのための顔埋め込みの前記ユーザ固有のデータセットに追加することによって、
   前記第1のユーザのための顔埋め込みの前記ユーザ固有のデータセットを更新するステップと
   をさらに含む、請求項1から7のいずれか一項に記載の方法。
9. 前記第1のユーザからのユーザ入力に基づいて、前記ユーザ固有のデータセットを生成するために以前に使用された前記画像のセットから1つまたは複数の画像を削除するステップであって、前記削除するステップが画像のサブセットを提供する、ステップと、
   更新されたユーザ固有のデータセットを生成するために前記機械学習モデルを前記画像のサブセットに適用することによって、前記第1のユーザのための顔埋め込みの前記ユーザ固有のデータセットを更新するステップと
   をさらに含む、請求項1から8のいずれか一項に記載の方法。
10. 前記画像のセット内の各顔の顔境界を検出するために顔検出器を使用するステップをさらに含む、請求項1から9のいずれか一項に記載の方法。
11. 前記メディアコンテンツが、前記第2のユーザに関連付けられたメディアコレクションを含み、
    前記方法が、前記第1のユーザを描写する前記画像またはビデオについて、前記第2のユーザに関連付けられた前記メディアコレクションを検索するステップをさらに含む、
    請求項1から10のいずれか一項に記載の方法。
12. 前記第1のユーザによって前記第2のユーザと共有された前記デジタルキーを削除するためのユーザ選択を受信するステップと、
    前記第2のユーザの電子デバイスから後続の検索問い合わせを受信するステップであって、前記後続の検索問い合わせが前記第1のユーザによって共有された前記デジタルキーを含む、ステップと、
    前記デジタルキーが前記第1のユーザのための前記ユーザ固有のデータセットに関連付けられたデジタルキーのセット内に含まれないという判定に基づいて、前記検索問い合わせに結果を返さないステップと
    をさらに含む、請求項1から11のいずれか一項に記載の方法。
13. 前記第1のユーザを描写する前記メディアコンテンツからの画像またはビデオについて第3のユーザから第2の検索問い合わせを受信するステップであって、前記第2の検索問い合わせが、前記ユーザ固有のデータセットに関連付けられた前記デジタルキーを含まない、ステップと、
    前記第2の検索問い合わせに結果を返さないステップと
    をさらに含む、請求項1から12のいずれか一項に記載の方法。
14. サービスプロバイダシステムであって、
    メディアストレージと、
    前記メディアストレージ内に記憶されたデータを管理するためのストレージサービスモジュールと、
    特定のユーザのための顔埋め込みのユーザ固有のデータセットを生成するための機械学習モデルと、
    前記メディアストレージ、前記ストレージサービスモジュール、および前記機械学習モデルを使用して、請求項1から13のいずれか一項に記載の方法を実装するためのプロセッサおよびメモリと
    を備える、サービスプロバイダシステム。

Images