JP6629246B2 - クエリー曖昧性除去のための文脈に応じたコンテンツ取得ルールの学習と使用 - Google Patents

Description

本願発明の一実施例は、例えば、クエリー曖昧性除去のための文脈に応じたコンテンツ取得ルールの学習と使用に関する。

[0001]検索エンジンに対して発行されたクエリーは、定義不十分または曖昧なことが多い。一例として、クエリー「ブルズ」を発行したユーザーは、株式、動物、スポーツチーム、パンプローナにおけるイベントなどを指している可能性がある。従来の検索エンジンは、ユーザーの情報検索（ＩＲ）意図の曖昧性除去の困難性を有し、したがって、ユーザーに関連がない検索結果を提供する可能性がある。このことは、言い換えれば、ユーザーを当該検索エンジンとの縁を切らせる結果となり、それによって，ユーザーに異なる検索エンジン使用させる可能性がある。

本願発明の一実施例は、例えば、クエリー曖昧性除去のための文脈に応じたコンテンツ取得ルールの学習と使用に関する。

[0002]以下は、本明細書でより詳細に説明される主題の簡単な要約である。この概要は、特許請求の範囲を限定することを意図するものではない。
[0003]コンピューティングシステムが、本明細書中に説明される。コンピューティングは、プロセッサーおよびメモリーを含み、メモリーは、プロセッサーにより実行されるルール適用システムを含む。ルール適用システムは、クエリーの受信に応答してクエリーにコンテキストを割り当てるように構成される。ルール適用システムはまた、クエリーおよびクエリーに割り当てられたコンテキストに基づき、コンテンツ取得ルールを特定するように構成され、コンテンツ取得ルールは、クエリーおよびコンテキストの組合せをコンテンツまたはクエリー再編成の１つに対応付ける。ルール適用システムはさらに、コンテンツ取得ルールの識別に応答してコンテンツ取得ルールを実行するように構成される。

[0004]コンテンツ取得ルールの生成および解析を容易にする例示的コンピューティングシステムの機能ブロック図である。 [0005]検索エンジンのログに基づきコンテンツ取得ルールを生成するように構成された例示的ルール生成システムの機能ブロック図である。 [0006]クエリー再編成候補対を識別するための判別法を例示する例示的ベン図を示す図である。 [0007]クエリー再編成候補対を識別するための生成法を例示する例示的ベン図を示す図である。 [0008]検索エンジンのログに基づきそれぞれのコンテンツ取得ルールの有効性を推定するように構成されたルール分析システムの機能ブロック図である。 [0009]クエリーの受信に応答して適用可能なコンテンツ取得ルールを識別するように構成された例示的コンピューティングシステムの機能ブロック図である。 [0010]受信したクエリーにコンテキストを割り当て、クエリーおよび割り当てられたコンテキストに基づきコンテンツ取得ルールを識別するように構成された例示的ルール適用システムの機能ブロック図である。 [0011]コンテンツ取得ルールに基づき検索を実行するように構成された例示的検索システムの機能ブロック図である。 [0012]コンテンツ取得ルールに基づき取得された検索結果を含む、検索エンジン結果ページ（ＳＥＲＰ）を示す例示的グラフィカルユーザーインターフェイスの図である。 [0013]比較の目的のためにＳＥＲＰ対を示す例示的グラフィカルユーザーインターフェイスの図である。 [0014]コンテンツ取得ルールを生成するための例示的方法を例示する流れ図である。 [0015]コンテンツ取得ルールを識別し、実行するための例示的方法を例示する流れ図である。 [0016]受信したクエリーおよびクエリーの再編成に基づきＳＥＲＰを生成するための例示的方法を例示する流れ図である。 [0017]例示的コンピューティングシステムの図である。

[0018]図面を参照して、コンテンツ取得ルールを生成し、適用することに適した様々な技術がここで説明され、参照番号は全体を通して同じ要素を指すために使用される。以下の説明では、説明の目的で、１つまたは複数の態様を完全に理解されるように、多数の具体的な詳細が明らかにされる。しかしながら、そのような態様が、これらの具体的な詳細によらずに実施可能であることは明らかであろう。他の例では、１つまたは複数の態様の説明を容易にするために、周知の構造および装置がブロック図の形で示される。さらに、特定のシステムコンポーネントとして行われるように記載されている機能が複数のコンポーネントにより遂行され得ることを理解されたい。同様に、例えば、１つのコンポーネントが、複数のコンポーネントにより行われるように記載されている機能を遂行するように構成され得る。

[0019]さらに、用語「または（ｏｒ）」は、排他的「または」ではなく包括的「または」を意味することを意図している。すなわち、別段の指定がない、または文脈から明らかでない限り、句「ＸはＡまたはＢを用いる」は、任意の自然な包括的置換を意味することを意図している。すなわち、句「ＸはＡまたはＢを用いる」は、次の例：ＸはＡを用いる；ＸはＢを用いる；ＸはＡおよびＢ両者を用いる：のいずれかによって満足される。さらに、本出願で使用され、添付の特許請求の範囲において使用されるような、冠詞「ａ」および「ａｎ」は、一般的に、別段の指定がない、または単数形を示すことが文脈から明らかでない限り、「１つまたは複数」を意味するものと考えられる。

[0020]さらに、本明細書で使用されるように、用語「コンポーネント」および「システム」は、プロセッサーにより実行される時に特定の機能を遂行させるコンピュータ実行可能な命令で構成されるコンピュータ読み取り可能なデータ記憶装置を包含することを意図している。コンピュータ実行可能な命令は、ルーチン、関数等を含むことができる。また、コンポーネントまたはシステムは、単一装置上に局在される、またはいくつかの装置に分散させられ得ることも理解されるべきである。さらに、本明細書で使用されるように、用語「例示的（ｅｘｅｍｐｌａｒｙ）」は実例またはあるものの例として供されることを意味することを意図しており、かつ優先することを示す意図はない。

[0021]ここで図１を参照すると、コンテンツ取得ルールを生成するように構成された例示的コンピューティングシステム１００が、例示される。本明細書でより詳細に説明されるように、コンテンツ取得ルールは、検索エンジンに対してクエリーを発行するユーザーのそれぞれのコンテキストに基づき生成される。コンピューティングシステム１００は、コンピューティング装置または分散されたコンピューティングシステムであり得る。例えば、コンピューティングシステム１００は、企業内コンピューティングシステム、データセンターなどの中にある、または含まれ得る。したがって、コンピューティングシステム１００の要素は、単一の装置上に含まれる、または複数のコンピューティング装置に分散され得る。

[0022]コンピューティングシステム１００は、データストア１０２を含む。データストア１０２は、検索エンジンの検索ログ１０４の履歴を含む。検索ログ１０４は、１）それぞれのユーザーに対する識別子（例えば、匿名でユーザーを識別する識別子）、２）ユーザーにより発行されたクエリー、３）発行されたクエリーに基づきユーザーに提示された検索結果の識別子、４）ユーザーによって選択された検索結果の識別子、５）ユーザーのＩＲ意図を満足するものとして識別された検索結果に割り当てられたラベル（例えば、検索結果は、ある時間量の閾値（例えば、３０秒）の間ユーザーにより留められた場合、または検索結果が検索セッション内で参照された最後の検索結果である場合に、ユーザーのＩＲ意図を満足したものとしてラベル付けされ得る）、６）クエリーが発行された時点を示すクエリーに割り当てられたタイムスタンプ、７）検索結果が選択された時点を示すユーザーにより選択された検索結果に割り当てられたタイムスタンプ、８）検索結果がユーザーにより留められた期間を示すユーザーにより選択された検索結果に割り当てられたタイムスタンプなど、を含むが、限定されない。さらに、検索ログ１０４は、特定の検索セッションの識別子を含むことができ、検索セッションは検索エンジンとのユーザー対話により定義され得る。例えば、一連の対話内での対話は、各連続した対話の時間が５分、１０分、２０分、３０分などの事前定義の期間より短い、検索セッションを定義することができる。このように、検索セッションの中で、ユーザーは、「継続的に」検索エンジンと対話する。さらに、図示されていないが、データストア１０２は、ユーザーにより訪問されたｗｅｂページ、ユーザーに関する人口統計学上の情報、ソーシャルメディアデータ（例えば、ユーザーにより示された明示的承認の表示）などといった、検索エンジンにより直接的に捕捉されたものではない情報を含むことができる。

[0023]データストア１０２はまた、検索ログ１０４内のデータに割り当てられ得るコンテキストを含むコンテキストデータ１０６を含むことができる。例えば、検索ログ１０４内に含まれるｗｅｂページは、それらに割り当てられた少なくとも１つのコンテキストを有することができる。例えば、このようなコンテキストは、オープンデータポリシー（ＯＤＰ）としてｗｅｂページに割り当てられたラベル、固有表現認識（ＮＥＲ）、ｗｉｋｉページから獲得した情報などに基づくことができる。さらに、検索ログ１０４内のクエリーは、それらに割り当てられた少なくとも１つのコンテキストを有することができる。例えば、クエリーに割り当てられたコンテキストは、クエリーを発行したユーザーにより訪問された検索結果（例えば、ユーザーのＩＲ意図を満足させた検索結果）に割り当てられたコンテキスト（例えば、ｗｅｂページ）に基づくことができる。

[0024]システム１００はさらに、プロセッサー１０８およびプロセッサー１０８と通信するメモリー１１０を含む。メモリー１１０は、ルール生成システム１１２およびルール分析システム１１４を含むことができる。手短に言えば、ルール生成システム１１２は、検索ログ１０４およびコンテキストデータ１０６に基づきコンテンツ取得ルールを生成するように構成される。ルール生成システム１１２は、これらのルールをルール１１６としてデータストア１０２内に格納させることができる。ルール分析システム１１４は、検索ログ１０４およびコンテキストデータ１０６に基づきこれらのルール１１６の有効性を推定するように構成される。

[0025]ルール１１６の簡単な説明およびルール１１６の例がここで提供される。検索エンジンに対して発行されたクエリーは、定義不足または曖昧であることが多い。多くの場合、クエリーの発行者（ユーザー）についてのコンテキストまたは背景が、ユーザーの必要とする情報の曖昧性を除去し、かつユーザーにとってより効果的なクエリー（したがって、取得）を自動的に予測するために使用され得る情報を提供することができる。ルール生成システム１１２により学習され、ルール１１６に含まれたルールは、以下のフォーマットを有することができる。

［コンテキスト］クエリー −＞ クエリー再編成 または コンテンツ
したがって、例示的コンテンツ取得ルールは、
１）［スポーツ］ブルズ−＞シカゴ・ブルズ、および
２）［スポーツ］ブルズ−＞ｗｗｗ．ＣｈｉｃａｇｏＢｕｌｌｓ．ｃｏｍ
となり得る。

[0026]ルール１）は、ユーザーが最近スポーツについてのｗｅｂページを見ていて、かつクエリー「ブルズ」を発行した場合、ユーザーが実際には「シカゴ・ブルズ」となるべきクエリーを意図していたことを推測するものと、解釈され得る。第２のルールは、ユーザーが最近、スポーツについてのｗｅｂページ上でクリックし、かつクエリー「ブルズ」を発行している場合、ユーザーに対して、ｗｅｂページｗｗｗ．ＣｈｉｃａｇｏＢｕｌｌｓ．ｃｏｍを取得するものと、解釈され得る。ユーザーの実際の意図がより正確に推測されるならば、より良い結果をユーザーに対して取得することができる。本明細書でより詳細に説明されるように、変更されたクエリー、元のクエリーまたは両者を混合したものについての結果が取得され、ユーザーに提供することができる。

[0027]したがって、コンテンツ取得ルールがコンテキストおよびクエリーの組合せを再編成されたクエリーまたはコンテンツに対応付けることを確認することができる。コンテキストは、検索セッションに対する局所的コンテキストに限定されることを意図していない。例えば、コンテキストは、特定の検索セッションの局所的コンテキスト、長期間の局所的コンテキスト、短期間の局所的コンテキスト、社会指標（例えば、ユーザーが所属するソーシャルサイト、ユーザーが通学した学校、ユーザーによって明示的に承認されたコンテンツなど上の自己特定型グループなど）、ユーザーの所在地、ユーザーにより選択されたｗｅｂページのコンテンツに対応した場所、季節（例えば、春、夏、秋、冬）、時間絡みのイベントなどであり得るが、限定されるものではない。コンテンツ取得ルールに関して本明細書に記載された手法は、広告、コンテキスト依存のスペル訂正および言葉の追加以上の改変、ならびに検索エンジン結果ページ（ＳＥＲＰ）内に含まれ得る、またはインスタントアンサー（誘引するおよびランク付けする）、エンティティ平面関連検索、ユーザー経験（ＵＸ）説明、および画像やビデオなどのマルチメディア業界のような、ＳＥＲＰの組成に影響を与える様々な要素に適用され得る。

[0028]ルール分析システム１１４は、一般に、ルール生成システム１１２により生成されたコンテンツ取得ルールの有効性を推定するように構成される。例えば、本明細書でより詳細に説明されるように、ルール分析システム１１４は、誘引され再編されたクエリーに基づき生成されたＳＥＲＰを分析し、ＳＥＲＰの品質、したがって誘引されたコンテンツ取得ルールの品質を示す値を計算するように構成され得る。続いて、クエリーが受信され、クエリーに適用されるコンテンツ取得ルールが識別されると、コンテンツ取得ルールの品質が、クエリーの受領に応答して、平均で最も効果的なコンテンツ取得ルールが使用されるように、ルールをランク付けするために用いられ得る。

[0029]ルール生成システム１１２およびルール分析システム１１４は、コンピューティングシステム１００内に含まれているようにあなたに例示されているが、ルール生成システム１１２およびルール分析システム１１４が別々のコンピューティングシステム内に含まれ得ることを理解されるべきである。例えば、ルール生成システム１１２は、最初のコンピューティングシステム上に置かれ、かつルール分析システム１１４を含む第２のコンピューティングシステムに一連のルールを出力することができる。

[0030]ここで、図２を参照すると、ルール生成システム１１２の機能ブロック図が例示されている。上記に示したように、ルール生成システム１１２は、検索ログ１０４およびコンテキストデータ１０６へのアクセスを有する。ルール生成システム１１２は、コンテンツ取得ルール候補を生成するように構成されるルール候補識別コンポーネント２０２を含む。そのために、ルール候補識別コンポーネント２０２は、候補対（Ｑ_Ａ、Ｑ_Ｂ）（本明細書では「クエリー再編成対」と呼ばれる）を識別することができ、ここで、Ｑ_Ａは、当初のクエリーであり、Ｑ_Ｂは当初のクエリーの再編成である。各クエリー再編成対に対して、ルール候補識別コンポーネント２０２は、クエリー再編成対内のＱ_Ａに対応したコンテキストを識別することができる。

[0031]クエリー再編成対候補を識別するための複数の手法が考えられる。例えば、ルール候補識別コンポーネント２０２は、クエリー再編成対候補を識別するために判別法を利用することができる。別の例では、ルール候補識別コンポーネント２０２は、クエリー再編成対候補を識別するために生成法を利用することができる。ルール候補識別コンポーネント２０２が生成法を利用する場合、条件付き確率分布が、クエリー再編成対候補を識別するために使用される。一方、ルール候補識別コンポーネント２０２が、判別法を利用する場合、同時確率分布がクエリー再編成対候補を識別するために使用される。

[0032]ある例によれば、ルール識別コンポーネント２０２は、検索ログ１０４内の最も頻繁に受信されたクエリーの閾値数（例えば、検索ログ１０４からのサンプルから計算された上位１００の最も共通なクエリー、（検索ログ１０４のサンプルから計算された）最も一般的な１０００クエリーなど）を識別することができる。ルール候補識別コンポーネント２０２は、次いで、検索ログ１０４に基づきクエリー再編成対を識別することができ、クエリー再編成対は、当初のクエリー（Ｑ_Ａ）として最も頻繁に発行されたクエリーおよび対応する再編成（Ｑ_Ｂ）の１つを含む。

[0033]コンテンツ取得ルール候補を識別するための例示的判別法に関するさらなる詳細が図３に関連してここで明らかにされる。図３は、検索ログ１０４内のクエリー空間Ａ、クエリー再編成空間Ｂおよびカテゴリ空間Ｃを図形的に示すベン図３００を例示する。一般的に、ルール候補識別コンポーネント２０２は、判別法を用いる場合、クエリー空間Ａ、再編成空間Ｂおよびカテゴリ空間Ｃ間の重複領域：Ｐ（Ａ，Ｂ，Ｃ）に基づき再編成候補対を識別する。

[0034]例として、ルール候補識別コンポーネント２０２は、クエリー空間Ａから人気のクエリーＱ_Ａを選択し、Ｑ_Ａは、シードクエリーとして使用され得る。ルール候補識別コンポーネント２０２は、例えば、Ｑ_Ａが曖昧に名付けられたエンティティを表している場合、（再編成空間Ｂから）Ｑ_Ａに対する拡張を識別することができる。これらの拡張は、ｗｉｋｉのページ、ＯＤＰ、曖昧な用語を名前付きエンティティに対応付ける辞書などのような様々な知識源から入手され得る。別の例では、ルール候補識別コンポーネント２０２は、Ｑ_ＡとＱ_Ｂ間の用語の重複、または同一の検索セッション内のクエリーＱ_ＡおよびＱ_Ｂに対して検索エンジンにより浮上した検索結果内の重複などの、クエリー間の関係に基づき再編成候補対を識別することができる。さらに別の例では、ルール候補識別コンポーネント２０２は、再編成候補対を識別するためにサブセットの関係を利用することができる。例えば、ルール候補識別コンポーネント２０２は、Ｑ_ＡおよびＱ_Ｂ両方のクエリーが単一の検索セッション内で発生し、かつ（検索セッション内でＱ_Ａの後に発行された）Ｑ_ＢがＱ_Ａのすべての用語に加えて１つまたは複数の用語を含む（例えば、このように、Ｑ_ＡおよびＱ_ＢがＡ、ＢおよびＣの重複領域内にある）場合、Ｑ_ＡおよびＱ_Ｂが再編成候補対であると見做すことができる。この手法の背景にある直感は、コンテキストを使用することにより、ユーザーが彼らのクエリーを改善するために追加した用語が自動的に予測され得ることである。結果は、クエリー空間Ａ、再編成空間Ｂおよびカテゴリ空間Ｃ間の重複部内に候補クエリーの対（Ｑ_Ａ、Ｑ_Ｂ）があり、候補クエリー対は先行するクエリーＱ_Ａおよび後続のクエリーＱ_Ｂを含む。ルール候補識別コンポーネント２０２は、同様に（Ｑ_Ａ，Ｑ_Ｂ）を候補対と見做すことができる。この種類の自己再編成は、クエリー再編成が当初のクエリーを保持するよりもより成功しやすいか否かを比較し、決定するために有用であり得る。

[0035]上記に示したように、別の例では、ルール候補識別コンポーネント２０２は、一般的に図４に示される、検索ログ１０４に基づく再編成候補対を識別するための生成法を利用することができる。図４は、クエリー空間Ａ、再編成Ｂおよびコンテキスト空間Ｃを示すベン図４００を例示する。生成法では、再編成空間Ｂ内の再編成クエリーは、カテゴリ空間内にいくつかのカテゴリを有するクエリー空間Ａ内のクエリーの条件に基づき識別される：Ｐ（Ｂ｜Ａ，Ｃ）。例えば、これまでに示したように、検索ログ１０４内のクエリーＱ_Ａは、カテゴリ空間Ｃ内の文脈上の（カテゴリ）データを割り当てられ得て、このデータはクエリーに基づき検索エンジンにより取得された検索結果に割り当てられた文脈上のデータ（カテゴリ）に基づくことができる。ルール候補識別コンポーネント２０２は、（Ｑ_Ａ，Ｃ）対が与えられると、同時に発行され得るＱ_Ａの再編成の確率を予測するように構成され得る。例えば、ルール候補識別コンポーネント２０２は、（Ｑ_Ａ，Ｃ）が観測されているとすると、クエリーＱ_Ａを発行したユーザーがその後にクエリーＱ_Ｂを発行する確率を計算することができる。

[0036]別の例では、ルール候補識別コンポーネント２０４は、再編成候補対をそれらの相互情報量に従って識別し、ランク付けすることができる。この場合、Ａ、ＢおよびＣ間の相互情報量は次式で定義することができる。

ここで、ｐ（ａ，ｂ，ｃ）はＡ、ＢおよびＣの同時確率分布関数であり、ｐ（ａ）、ｐ（ｂ）およびｐ（ｃ）はそれぞれＡ、ＢおよびＣの周辺確率分布関数である。
[0037]（生成法または判別法を使用して）クエリー再編成候補対を識別することに応答して、ルール候補識別コンポーネント２０２は、識別された各再編成候補対に対して、クエリーＱ_Ａが発行された時点で利用可能なコンテキスト群を生成することができる。例示的コンテキストは、１）空のコンテキスト、２）最上級−これは、クエリーＱ_Ａが発行された時点までに検索セッション内でクリックされた検索結果の中の最も頻繁な話題（カテゴリ）を指す、３）上位Ｎ内のクラス−このコンテキストは、クエリーＱ_Ａが発行された時点までにこの話題（カテゴリー）が検索セッション内でクリックされた検索結果の中の上位Ｎ個の話題の１つであることを表す、４）確実なクラスは閾値より大きい−すなわち、このコンテキストは、クエリーＱ_Ａが発行された時点までに検索セッション内でクリックされた検索結果の中の話題（カテゴリ）の確実性が（所定の）閾値を越えている場合を指す、を含むが限定されるものではない。ルール候補識別コンポーネント２０２によりクエリー再編成対に割り当てられ得るその他のコンテキストは、場所（コンテキストとしての、市、州、国など）、アドレスに基づくもの（例えば、ユーザーにより用いられるコンピューティング装置のネットワークアドレスの一部がコンテキストとして含まれる）、ソーシャルコンテキスト（ユーザーが「好む」エンティティが、コンテキストとして使用され得る）、検索セッションの話題となっているコンテキストに類似しているが、ユーザーのより長期間の対話の範囲を超える、長期間話題となっている関心事（例えば、検索セッションを超えるというよりも、数週間に渡る検索およびクリック動作）、ユーザーにより以前に発行されたクエリー（複数の時間範囲上で）またはその他の検索セッションの話題表現を含む。この場合、単にクリックされた文書だけではなく、クエリーの話題または検索エンジン内のすべての返却された文書が、コンテキストとして使用され得る。ルール候補識別コンポーネント２０２が、コンテキストをクエリー再編成対に割り当てると、コンテキスト検索ルールが生成される。上記に説明した例示的手法を使用して、ルール候補識別コンポーネント２０２は、自動的に検索ログ１０４に基づき複数のコンテンツ取得ルールを生成することができる。

[0038]さらに、一例として、ルール候補識別コンポーネント２０２は、クエリーＱ_Ａが発行された時点でコンテキストに確実度を割り当てることができる。例えば、ユーザー属性、検索セッション中に選択された文書などに基づき、ルール候補識別コンポーネント２０２は、クエリー再編成対に割り当てられたコンテキストに対する確実度スコアを割り当てることができ−したがって、クエリー再編成対は、それらに割り当てられ、それぞれ確実度値を持つ、複数のコンテキストを有することができる。

[0039]ルール生成システム１１２はまた、ルール候補識別コンポーネント２０２により出力された各コンテンツ取得ルールに対してそれぞれのスコアを割り当てるように構成され得るスコア割当コンポーネント２０４を含む。コンテンツ取得ルールに割り当てられるスコアは、実行時のルールの有効性を示すことができ、検索ログ１０４のコンテンツに基づき得る。例えば、ルールは、クエリー変更がユーザーを関連文書に導く場合、有効であると看做され得る。例えば、検索ログ１０４において、関連文書は、ある時間閾値量の間ユーザーにより留められていた検索結果、または検索セッションを完了した（例えば、ユーザーが検索結果を見直す際に検索エンジンとの対話をやめる）検索結果として定義され得る。有効性スコアを生成するために、スコア割当コンポーネント２０４は、検索ログ１０４を分析し、分析されるルールが観測された（例えば、合致しているクエリーおよびコンテキストが観測される、クエリー変更を発行するユーザーに追随する）検索セッションを集計する。スコア割当コンポーネント２０４は、ルールが観測された回数、ならびにルールが有効であると検出された回数を計数することができる。

[0040]スコア割当コンポーネント２０４は、ルールの平均有効性という観点で所与のクエリーに対するルールをランク付けするためにこのような計数を使用することができる。例えば、スコア割当コンポーネント２０４は、ルールに割り当てられた平均有効性に基づきルールをランク付けすることができる。しかしながら、ルールが有効であり得るが、あまり観測されないか否かを決定するために有用であり得る、有効性の上限などの、その他の手法も考えられる。したがって、スコア割当コンポーネント２０４は、各クエリーに対して、−コンテキストの組合せ、コンテンツ取得ルールのランク付けリストを出力することができる。

[0041]ルール生成システム１１２は、必要に応じて、ルール生成システム１１２により出力された最終のルールセットの精度を増し、それによって出力ルールを文脈上の書き換えのみに制限するために、１つまたは複数のコンテンツ取得ルールをフィルターリングすることができる、刈込みコンポーネント２０６を含むことができる。ルールを刈込む時に刈込みコンポーネント２０６により用いられ得るフィルターは、１）検索ログ１０４中に十分な回数観測されていないルールの除去（例えば、刈込みコンポーネント２０６は、検索ログ１０４中に閾値の回数観測されたコンテンツ取得ルールのみが保持されることを保証することができる）、２）検索ログ１０４内の成功率が元のクエリーが発行された時点で観測された成功率よりも高くない候補ルールの除去、３）検索ログ１０４内の成功率がコンテキストに依存した自己再編成よりも高くない候補ルールの除去、４）検索ログ１０４内の成功率がコンテキストに依存しない方法で発行されているＱ_Ｂよりも高くない候補ルールの除去、５）Ｑ_Ｂに対応する成功率がある閾値によるＱ_Ａに対応する成功率より高くないコンテンツ取得ルール候補の除去、６）文脈上の再編成（Ｑ_Ｂ）がクエリーＱ_Ａの発生する回数のあるパーセンテージより発生が少ない候補ルールの除去、７）ルールの予測された検索能力（品質）が低いと予想されるルールの除去（このことはまた取得している間にオンラインで行われる、すなわち、再編成から返された結果はそれらが低品質であると推定される場合に無視され得る）、を含むが、限定されるものではない。

[0042]さらに別の例では、曖昧なクエリーは別々に識別され得て、その後、ルール生成システム１１２は、クエリー再編成ルールを学習することができる。例えば、ルール生成システム１１２は、曖昧であるまたは曖昧ではないとクエリーにラベル付するように仕立てられた分類器を含むことができる。例えば、分類器は、Ｎ個の検索ログ１０４中に最も頻繁に発生したクエリーを提供され、分類器により曖昧であると識別されるそれらのクエリーのサブセットを識別することができる。その後、ルール生成システム１１２は、上記に述べた技術を使用してコンテンツ取得ルールを生成することができる。

[0043]ここで、図５を参照すると、ルール分析システム１１４の機能ブロック図が例示される。ルール分析システム１１４は、検索ログ１０４にアクセスし、その中から検索セッションを抽出することができるサンプラーコンポーネント５０２を含む。これまでに示したように、検索セッションは、検索エンジンに関連した一連の連続的ユーザー活動と定義される。マッチャーコンポーネント５０４は、サンプラーコンポーネント５０２により識別された検索セッションを受信し、ルール生成システム１１２により出力されたコンテンツ取得ルールから少なくとも１つのコンテンツ取得ルールを識別する。ルール分析システム１１４はまた、検索エンジン結果ページ（ＳＥＲＰ）構築コンポーネント５０６を含み、本コンポーネントは、検索ログ内のＱ_Ａに基づきＳＥＲＰ_Ａを構築し、さらに、識別子されたコンテンツ取得ルールにより始動された少なくとも１つのＳＥＲＰ_Ｂを構築する。ＳＥＲＰ構築コンポーネント５０６はさらに、ＳＥＲＰ_ＡおよびＳＥＲＰ_Ｂ内の検索結果を混合したものであり得る、検索結果のランク付けされたリストを含む仮想ＳＥＲＰ_Ｆを構築することができる。さらに、ＳＥＲＰ構築コンポーネント５０６は、ＳＥＲＰ_Ｆ内に広告、インスタントアンサー、エンティティカードなどを含むことができる。

[0044]ルール分析システム１１４はまた、ＳＥＲＰ_Ｆ、ならびにユーザーがクエリーＱ_Ａを発行した時、少なくとも検索セッションのユーザーに提供されたＳＥＲＰ_Ａを受信することができる評価コンポーネント５０８を含む。評価コンポーネント５０８は、検索ログ１０４内の検索セッションで識別されたようなユーザーの対話に基づくルールセットの有効性を示すスコアを出力することができる。例えば、ＳＥＲＰ_ＦがＳＥＲＰ_Ａに含まれなかった検索結果を含むが、その後にユーザーによるクエリー再編成が検索ログ内でユーザーにより示された場合、ＳＥＲＰ_Ｆは、ＳＥＲＰ_Ａを超える改善を示すスコアを割り当てられ得る。ユーザーに提供されたＳＥＲＰ_Ａを超えるＳＥＲＰ_Ｆの改善を示すスコアを割り当てるために、様々な技術が、評価コンポーネント５０８により用いられ得る。

[0045]ここで図６を参照すると、コンテンツ取得ルールのアプリケーションを通じてユーザー６０２にコンテンツを提供するように構成された例示的コンピューティングシステム６００が例示される。コンピューティングシステム６００は、例えば、検索エンジン内に含まれる、または検索エンジンを例示するために使用され得る。したがって、例えば、コンピューティングシステム６００は、企業内コンピューティングシステム、データセンター（例えば、プライベートデータセンター）などであり得る。コンピューティングシステム６００は、データストア６０４を含み、データストア６０４は、ルール生成システム１１２により生成されたルール１１６を含む。さらに、ルールのフォーマットは［Ｃ］Ｑ_Ａ→Ｑ_Ｂまたはコンテンツ、であり得る。例えば、クエリー再編成を指すコンテンツ取得ルールよりはむしろ、ルール生成システム１１２が、発行されたクエリーおよびコンテンツ（例えば、一般的に訪問されるｗｅｂページ）に基づき特定のコンテンツを識別するように構成され得ることを理解されよう。データストア６０４はまた、ワールドワイドウェブによりアクセス可能なｗｅｂページの索引などの、検索可能な索引６０８を含むことができる。データストア６０４はさらに、インスタントアンサー、エンティティカード、個別のｗｅｂページなどのような、ユーザー６０２に直接提供され得るコンテンツ６１０を含むことができる。

[0046]コンピューティングシステム６００はさらに、プロセッサー６１２およびプロセッサー６１２により実行されるシステムおよびコンポーネントを含むメモリー６１４を含む。コンピューティングシステム６００は、コンピューティングシステム１００とは別個のものであるように例示されているが、コンピューティングシステム１００および６００が同一のコンピューティングシステム内に含まれ得ることを理解されるべきである。

[0047]メモリー６１４は、ユーザー６０２からのクエリーの受領に応答してコンテンツ取得ルールを識別するように構成されるルール適用システム６１６を含む。ルール適用システム６１６はさらに、識別されたルールを実行するように構成される。メモリー６１４はまた、ルール適用システム６１６と通信する検索システム６１８を含むことができる。検索システム６１８は、一例として、クエリー再編成（および元のクエリー）を受信し、クエリーおよび／またはクエリー再編成に基づき索引６０８上で検索を実行することができる。あるいは、検索システム６１８は、コンテンツ６１０からのコンテンツをコンテンツ取得ルールに基づきユーザー６０２に提供させることができる。

[0048]さらにより詳細には、ユーザー６０２は、検索システム６１８に対してクエリーを発行することができる。ルール適用システム６１６は、クエリーを受信し、受信したクエリーに１つまたは複数のコンテキストを割り当てることができる。上記のように、このコンテキストは、クエリー、ユーザーにより（検索セッション外で）通常幾度も参照されたｗｅｂページ、ソーシャルメディアアプリケーション内のユーザー６０２の対話、ユーザー６０２により以前に発行されたクエリーなどを含む検索セッション中にユーザー６０２により訪問されたｗｅｂページに基づき得る。一例として、クエリーにコンテキストを割り当てるためにルール適用システム６１６により用いられる情報が、ユーザー６０２によりこのような使用を明示的に承認され得ることを理解されるべきである。さらに、ルール適用システム６０２は、クエリーに複数のコンテキストを割り当てることができて、コンテキストはそれらに割り当てられた確実度スコアを有する。例えば、ルール適用システム６０２は、コンテキストが「スポーツ」であるクエリーに対して確率０．８を割り当てることができる。

[0049]クエリーに割り当てられ得るコンテキストの識別に応答して、ルール適用システム６１６は、クエリーおよびコンテキストに基づき起動される少なくとも１つのコンテンツ取得ルールについてルール１１６を検索する。複数のルールが起動され得る場合、ルール適用システム６１６は、ルールに割り当てられた最高の有効性スコアを有するいくつかの閾値数のルールを選択することができる。すなわち、ルール適用システム６１６は、クエリーおよびクエリーに割り当てられたコンテキストが与えられると、ルール１１６から適用する最も高いランクのいくつかの閾値数のルールを識別することができる。ルールが識別されると、ルール適用システム６１６は、ルール内で識別された再編成されたクエリー（および必要に応じて元のクエリー）の検索システム６１８への送信を含むことができる、ルールを実行することができる。検索システム６１８は次いで、クエリー再編成に基づきコンテンツをユーザー６０２に配信する（ユーザー６０２により用いられるコンピューティング装置のディスプレイ上にコンテンツを表示させる）ことができる。ルールの実行はまた、コンテンツ取得を延期させることを意図する、例えば、ルールの実行により、コンテンツを取得するためにユーザーにより選択され得るクエリー提案として、クエリーを表示させる結果となり得る。

[0050]ここで図７を参照すると、ルール適用システム６１６の機能ブロック図が例示される。これまでに示したように、ルール適用システム６１６は、潜在的に曖昧なクエリーを受信する。ルール適用システム６１６は、このようなクエリーの受領に応答してコンテキストをクエリーに割り当てるように構成されるコンテキスト識別コンポーネント７０２を含む。一例として、コンテキスト識別コンポーネント７０２は、ユーザー６０２についての観察に基づいてコンテキストをクエリーに割り当てることができる。例えば、ユーザー６０２についての観察は、クエリーが発行された検索セッションについての観察（例えば、ユーザーにより選択された検索結果またはユーザーにより選択されなかった検索結果）、より長い時間（例えば、１週間）以上の観察、さらに長い時間（例えば、３ヶ月から６ヶ月）についての観察などを含むことができる。さらに、観察は、ユーザー６０２により以前に発行されたクエリー、ユーザー６０２により訪問されたｗｅｂページ、ソーシャルネットワーキングｗｅｂページ（例えば、ユーザーにより「好まれた」エンティティ）に関してのユーザーの対話などを含むことができるが、限定されるものではない。さらに、ユーザー６０２についての観察は、ユーザー６０２についての人口統計学上の情報（例えば、年齢、性別、民族性、・・・）、ユーザー６０２の身長、ユーザー６０２の髪の色などのようなユーザーの属性を含むことができる。さらに、観察は、ユーザー６０２の所在地、ユーザー６０２のコンピューティング装置のネットワークアドレス、時刻、曜日、季節などを含むことができる。

[0051]マッチコンポーネント７０４は、クエリーおよびクエリーに割り当てられたコンテキストをコンテキスト識別コンポーネント７０２から受信することができ、クエリーおよびコンテキストの組合せに対応付けられるルール６０６内のルールを識別することができる。いくつかの場合に、ルール６０６内の２つ以上のルールを識別する結果をもたらす可能性のあるクエリーに２つ以上のコンテキストが割り当てられ得る。

[0052]ルール適用システム６１６はまた、例えば、識別されたルールを検索システム６１８に送信する、送信機コンポーネント７０６を含むことができる。さらにまたは代替として、送信機コンポーネント７０６は、マッチコンポーネント７０４により出力されたルールにランク付けするように構成され得る。これまでに示したように、ルールは、それらに割り当てられた有効性スコアを有することができ、送信機コンポーネント７０６は、それらのそれぞれの有効性スコアに基づきルールをランク付けすることができる。次いで、検索システム６１８は、少なくとも、ルール内の最も高いランクのルールに基づいて検索を実行することができる。

[0053]図８を参照すると、検索システム６１８の機能ブロック図が例示される。検索システム６１８は、ユーザー６０２により示されたクエリーおよびコンテンツ取得ルールにより識別された再編成されたクエリーを受信する、検索コンポーネント８０２を含む。したがって、検索コンポーネント８０２は、少なくとも２回の検索、ユーザー６０２によって発行された元のクエリーに基づく検索およびルール適用システム６１６により識別された再編成されたクエリーに基づく別の検索、を実行することができる。

[0054]検索システム６１８はさらに、検索に基づくある検索結果セットおよび別の検索に基づく別の検索結果セットを受信し、検索結果セット内の少なくとも１つの検索結果および別の検索結果セット内の少なくとも１つの検索結果を含むＳＥＲＰを生成することができる、ブレンダーコンポーネント８０４を含むことができる。このように、ブレンダーコンポーネント８０４は、異なるクエリーに基づき取得された検索結果を混合することができる。ブレンダーコンポーネント８０４は、このような混合を遂行する場合に任意の適切な技術を利用することができる。例えば、検索結果は、クエリーに対してそれらにそれぞれ割り当てられた関連性スコアを有することができる。ブレンダーコンポーネント８０４は、２組の検索結果セット内の検索結果に割り当てられたそれぞれの関連性スコアに基づき２組の検索結果セットからの検索結果を混合することができる。

[0055]別の例では、ブレンダーコンポーネント８０４は、再編成されたクエリーに基づきＳＥＲＰ上にコンピュータに実装された広告を表示させることができる。このような広告は、サイドバー内に表示された広告、バナー広告などを含むことができる。さらに別の例では、ブレンダーコンポーネント８０４は、再編成されたクエリーに基づきＳＥＲＰ上にエンティティカードを表示させ得る。エンティティカードは、ＳＥＲＰ内に表示され得るエンティティについての情報を含むことができる。例えば、エンティティは、人物、場所または物であり得るし、エンティティカードは、人物、場所または物の属性を表示することができる。さらに別の例では、再編成されたクエリーが場所に関係する場合、ブレンダーコンポーネント８０４は、場所の地図をＳＥＲＰ上に表示させることができる。一例として、元のクエリーが「ブルズ」であり、再編成されたクエリーが「シカゴ・ブルズ」である場合、ブレンダーコンポーネント８０４は、シカゴの地図をＳＥＲＰ上に表示させることができる。さらに、ブレンダーコンポーネント８０４は、再編成されたクエリーに基づきインスタントアンサーをＳＥＲＰ上に表示させることができる。さらに別の例では、ブレンダーコンポーネント８０４は、検索結果ページ上に示された検索結果内で再編成されたクエリー（しかし元のクエリーではない）内のキーワードを強調させ、それによって、再編成されたクエリーの視覚的表示をユーザーに提供することができる。さらに、ブレンダーコンポーネント８０４は、提案されたクエリーとして再編成されたクエリーを表示することができ、再編成されたクエリーをユーザーが選択すると、検索コンポーネント８０２は、再編成されたクエリーのみに基づき検索を実行することができる。

[0056]検索システム６１８はさらに、ブレンダーコンポーネント８０４により生成されたＳＥＲＰをユーザー６０２により用いられたコンピューティング装置のディスプレイ上に表示させる、出力コンポーネント８０６を含む。

[0057]ここで図９を参照すると、ブレンダーコンポーネント８０４により生成され、出力コンポーネント８０６により出力され得るＳＥＲＰの例示的グラフィカル・ユーザー・インターフェイス９００が例示される。グラフィカル・ユーザー・インターフェイス９００は、クエリー領域９０２を含む。確認できるように、ユーザーは、検索領域９０２の中に元のクエリー「イーグルス」を設定している。グラフィカル・ユーザー・インターフェイス９００内に示される例では、クエリー「イーグルス」に割り当てられたコンテキストは、「上位Ｎのスポーツ」であり、「イーグルス」およびコンテキスト「上位Ｎのスポーツ」の組合せを再編成されたクエリー「フィラデルフィア・イーグルス」に対応付けるコンテンツ取得ルールが識別される。検索コンポーネント８０２は、２つの検索：クエリー「イーグルス」に基づく検索およびクエリー「フィラデルフィア・イーグルス」に基づく別の検索、を実行することができる。ブレンダーコンポーネント８０４は、検索結果を混合し、出力コンポーネント８０６は、グラフィカル・ユーザー・インターフェイス９００内に示されるＳＥＲＰを出力する。この例では、ＳＥＲＰは、エンティティであるフィラデルフィア・イーグルスに対するエンティティカード９０４を含む。エンティティカード９０４は、例えば、現在の選手、スタジアム、創立日、コーチなどを含むフィラデルフィア・イーグルスについての属性を含む。ＳＥＲＰはまた、いくつかの検索結果を含む。検索結果は、ＳＥＲＰ内の検索結果のトップに近い再編成されたクエリーに最も関連する検索結果を含むことができる。しかしながら、その他の検索結果は、より曖昧なクエリー「イーグルス」に基づいている可能性がある。例えば、ＳＥＲＰ内の検索結果の１つは、バンドであるＴｈｅ Ｅａｇｌｅｓに関連しているかもしれない。

[0058]ここで図１０を参照すると、一対のグラフィカル・ユーザー・インターフェイス１００２および１００４が例示される。第１のグラフィカル・ユーザー・インターフェィス１００２は、やや曖昧である可能性のあるクエリー「ｎｙｃｂ」に基づく検索結果を含むＳＥＲＰを示す。例えば、クエリーは、ニューヨーク・コミュニティ銀行、ニューヨーク・コミュニティ銀行に対する株式相場表示機、ニューヨーク・コミュニティ銀行抵当証券会社、ニューヨーク・シティ・バレエ団等を説明する可能性のある頭字語であり得る。しかしながら、クエリー「ｎｙｃｂ」が、特定のコンテキスト内に記載されている−例えば、クエリーを発行したユーザーが芸術に関連したｗｅｂページを訪問している、可能性がある。「ｎｙｃｂ」およびコンテキストの組合せは、クエリー「ニューヨーク・シティ・バレエ団」を含むコンテンツ取得ルールを始動することができる。グラフィカル・ユーザー・インターフェィス１００４内に示されるＳＥＲＰは、クエリー「ｎｙｃｂ」および再編成されたクエリー「ニューヨーク・シティ・バレエ団」の両者の検索結果を含むブレンダーコンポーネント８０４により出力されるＳＥＲＰである。グラフィカル・ユーザー・インターフェィス１００２に示されたＳＥＲＰとグラフィカル・ユーザー・インターフェィス１００４に示されたＳＥＲＰを比較することにより見極めることができるように、グラフィカル・ユーザー・インターフェィス１００２は、ニューヨーク・シティ・バレエ団に関連した単一の検索結果を示している（しかも、検索結果内で比較的に低くランク付けされている）が、グラフィカル・ユーザー・インターフェィス１００４は、ニューヨーク・シティ・バレエ団に関連したいくつかの検索結果を示している。そこで、クエリーの発行者は、ユーザーが実際に彼女のクエリーを再編成することを要求することなくユーザーに興味のある検索結果をより効果的に提供される可能性が高い。

[0059]図１１から図１３は、コンテンツ取得ルールに関連した例示的方法を例示する。方法はシーケンス中で遂行される一連の動作であるものとして示され、かつ説明されるが、本方法がシーケンスの順序により限定されないことを理解されるべきである。例えば、いくつかの動作は、本明細書に記載されたものと異なる順序で発生し得る。さらに、ある動作は、別の動作と同時に発生する可能性がある。さらに、いくつかの例では、本明細書に記載された方法を実装するためにすべての動作が要求されない可能性がある。

[0060]さらに、本明細書に記載された動作は、１つまたは複数のプロセッサーにより実装され、かつ／またはコンピュータ読み取り可能な媒体上に格納され得るコンピュータ実行可能な命令であり得る。コンピュータ実行可能な命令は、ルーチン、サブルーチン、プログラム、実行のスレッドおよび／または同様なものを含むことができる。さらに、方法の動作結果は、コンピュータ読み取り可能な媒体に格納され、ディスプレイ装置上に表示されるなどであり得る。

[0061]図１１を参照すると、コンテンツ取得ルールを出力するための例示的方法が例示される。方法１１００は、１１０２で開始され、１１０４で再編成候補対が識別される。再編成候補対は、ルール候補識別コンポーネント２０２に関連して上記で議論した技術のいずれかを使用して識別され得る。例えば、生成法および判別法は、検索ログデータからクエリー再編成を学習するために使用され得る。

[0062]１１０６において、コンテンツ取得ルールセットが、各クエリー再編成対に対して生成される。ルールセットを生成するための例示的技術は、ルール候補識別コンポーネント２０２に関連して上記に説明された。

[0063]１１０８において、ルールの有効性を示す値が計算され得る。例に従って、多腕バンディット手法が、有効性スコア、または有効性スコアの上限のいずれかにより提案されたコンテンツ取得ルールのランキングを提供するために使用され得る。１１１０において、ルールは、１１０８において計算された値に基づいてランク付けされ、１１１２において、コンテンツ取得ルールが、必要に応じて刈込まれる。例えば、ルールは、刈込みコンポーネント２０６に関連して上記に説明されたように刈込まれ得る。方法１１００は、１１１４において完結する。

[0064]ここで図１２を参照すると、コンテンツ取得ルールの実行を容易にする例示的方法１２００が例示される。方法１２００は、１２０２で開始し、１２０４においてクエリーが受信される。１２０６において、クエリーに対するコンテキストが識別される。１２０８において、クエリーおよびコンテキストがコンテンツ取得ルールに対応付けられるか否かについての決定がなされる。クエリーおよびコンテキストの組合せに対するコンテンツ取得ルールがない場合、方法１２００は、１２１０に進み、１２０４で受信したクエリーに基づき検索が実行される。１２０８において、コンテンツ取得ルールが、１２０４において受信したクエリーおよび１２０６において識別されたコンテキストに対応付けられることが決定される場合、１２１２において、コンテンツ取得ルールが、クエリーおよびコンテキストに基づき識別される。コンテンツ取得ルールは、例えば、検索システムに送信され得るクエリー再編成を識別することができる。１２１４において、コンテンツ取得ルール内で識別されたクエリー再編成は、１２０４で受信したクエリーおよびクエリー再編成に基づき検索を実行する、検索エンジンに送信される。方法１２００は１２１６において完結する。

[0065]ここで、図１３を参照すると、コンテンツ取得ルールに基づくＳＥＲＰの生成を容易にする方法１３００が例示される。方法１３００は、１３０２において開始し、１３０４において、クエリーおよびクエリー再編成が受信される。クエリー再編成は、クエリーおよびコンテキストの組合せを再編成されたクエリーに対応付けるコンテンツ取得ルールに基づき識別されている。１３０６において、検索がクエリーおよびクエリー再編成それぞれに基づき実行される。１３０８において、クエリーに基づく検索結果およびクエリー再編成に基づく検索結果を含む、ＳＥＲＰが生成される。すなわち、ＳＥＲＰは、２つの別々の検索の混合された検索結果を含む。方法１２００は１２１０において完結する。

[0066]ここで、様々な実施例が説明される。

[0067]プロセッサーおよび、プロセッサーにより実行されるルール適用システムを含むメモリーを含むコンピューティングシステムであって、ルール適用システムが、クエリーの受信に応答してクエリーにコンテキストを割り当て、クエリーおよびクエリーに割り当てられたコンテキストに基づき、クエリーおよびコンテキストの組合せをコンテンツまたはクエリー再編成の１つに対応付ける、コンテンツ取得ルールを識別し、コンテンツ取得ルールの識別に応答してコンテンツ取得ルールを実行する、ように構成される、コンピューティングシステム。

[0068]コンテンツ取得ルールは、クエリーおよびコンテキストの組合せを再編成されたクエリーに対応付け、ルール適用システムは、索引上で再編成されたクエリーを実行する検索システムに再編成されたクエリーを送信するように構成される、実施例１に従ったコンピューティングシステム。

[0069]検索システムは、クエリーおよび再編成されたクエリー両者を実行し、検索システムは、クエリーおよび再編成されたクエリーに基づき検索システムにより取得されたコンテンツを含む、検索エンジン結果ページを返送するように構成される、実施例１および２のいずれかに従ったコンピューティングシステム。

[0070]コンテンツが、クエリーに基づき検索システムにより取得された検索結果および再編成されたクエリーに基づき検索システムにより取得された他の検索結果を含む、実施例３に従った、コンピューティングシステム。

[0071]コンテンツが、再編成されたクエリーに基づいて検索システムにより取得された、地図、エンティティカードまたは広告の少なくとも１つを含む、実施例３に従ったコンピューティングシステム。

[0072]コンテンツ取得ルールが、クエリーおよびコンテキストの組合せをｗｅｂページであるコンテンツに対応付ける、実施例１に従ったコンピューティングシステム。

[0073]ルール適用システムが、クエリーを発行したユーザーについての観察に基づきコンテキストをクエリーに割り当てるコンテキスト識別コンポーネントを含む、実施例１に従ったコンピューティングシステム。

[0074]コンテンツ識別コンポーネントが現在の検索セッションに対してコンテキストを割り当てる、実施例７に従ったコンピューティングシステム。

[0075]ユーザーについての観察がさらに、ソーシャル・ネットワーキング・アプリケーションとの対話、ユーザーにより以前に発行されたクエリー、またはユーザーのコンピューティング装置のネットワークアドレスの内の少なくとも１つを含む、実施例７に従ったコンピューティングシステム。

[0076]メモリーがさらに、検索エンジンの検索ログに基づき、コンテンツ取得ルールを含む、複数のコンテンツ取得ルールを生成する、ルール生成システムを含む、実施例１から９のいずれかに従ったコンピューティングシステム。

[0077]ルール生成システムが、複数のコンテンツ取得ルールにそれぞれスコアを割り当てるスコア割当コンポーネントを含み、コンテンツ取得ルールがコンテンツ取得ルールに割り当てられたスコアに基づきクエリーに割り当てられる、実施例１０に従ったコンピューティングシステム。

[0078]クエリーの発行者についての観察に基づき受信したクエリーにコンテキストを割り当てるステップと、クエリーおよびクエリーに割り当てられたコンテキストに基づきコンテンツ取得ルールを識別するステップであって、コンテンツ取得ルールが、クエリーおよびコンテキストの組合せをクエリー再編成またはコンテンツの１つに対応付ける、ステップと、コンテンツ取得ルールの識別に応答して、コンテンツ取得ルールを実行するステップと、を含む方法。

[0079]コンテンツ取得ルールがクエリーおよびコンテキストの組合せをクエリー再編成に対応付け、本方法がさらに、クエリーに基づいて検索を実行するステップおよびクエリー再編成に基づいて別の検索を実行するステップを含む、実施例１２に従った方法。

[0080]さらに、検索および別の検索に基づき検索エンジン結果ページを出力するステップであって、検索エンジン結果ページが検索において取得された検索結果および別の検索における取得された別の検索結果を含む、ステップを含む、実施例１３に従った方法。

[0081]別の検索結果内の再編成されたクエリーのキーワードを強調ステップであって、クエリーはキーワードが強調されない、ステップをさらに含む、実施例１４に従った方法。

[0082]コンテンツ取得ルールがクエリーおよびコンテキストの組合せをクエリー再編成に対応付け、本方法がさらに、クエリーに基づいて検索を実行するステップ、クエリーに基づいて検索エンジン結果ページを生成するステップ、および提案されたクエリーとして検索エンジン結果ページ上にクエリー再編成を表示するステップを含む、実施例１２に従った方法。

[0083]コンテンツ取得ルールが、クエリーおよびコンテキストの組合せをコンテンツに対応付け、コンテンツ取得ルールを実行する実行することが、コンテンツがクエリーの発行者のディスプレイ上に表示されることを行わせることを含む、実施例１２に従った方法。

[0084]クエリーの発行者についての観察が、クエリーの発行者の人口統計データを含む、実施例１２から１７のいずれかに従った方法。

[0085]クエリーの発行者についての観察が、クエリーの発行者により実行された以前のクエリーおよびクエリーの発行者により選択された、または選択されなかった検索結果を含む、実施例１２から１８のいずれかに従った方法。

[0086]プロセッサーにより実行された場合に、プロセッサーに、クエリーおよびクエリーに割り当てられたコンテキストに基づきコンテンツ取得ルールを識別することであって、コンテキストがクエリーの発行者に興味があると履歴上観察された話題を示す、ステップと、クエリーおよびコンテキストの組合せとクエリーの再編成間の事前定義の対応付けを識別するステップと、事前定義の対応付けの識別に応答して、クエリーの再編成に基づきディスプレイ上にコンテンツを表示させるステップと、を含む動作を遂行させる命令を含むコンピュータ読み取り可能な記憶媒体。

[0087]クエリーの発行者についての観察に基づきコンテキストを受信したクエリーに割り当てるための手段と、クエリーおよびクエリーに割り当てられたコンテキストに基づきコンテンツ取得ルールを識別し、コンテンツ取得ルールがクエリーおよびコンテキストの組合せをクエリー再編成またはコンテンツの１つに対応付けるための手段と、コンテンツ取得ルールを実行するための手段と、を含むシステム。

[0088]ここで、図１４を参照すると、本明細書で開示されたシステムおよび方法に従って使用され得る例示的コンピューティング装置１４００の高レベルの図が例示される。例えば、コンピューティング装置１４００は、コンテンツ取得ルールの生成をサポートするシステム内で使用され得る。別の例としては、コンピューティング装置１４００は、コンテンツ取得ルールのアプリケーションをサポートするシステム内で使用され得る。コンピューティング装置１４００は、メモリー１４０４内に格納されている命令を実行する少なくとも１つプロセッサー１４０２を含む。命令は、例えば、上記に議論した１つまたは複数のコンポーネントにより行われるものとして説明された機能を実装するための命令、または上記に説明した方法の１つまたは複数を実装するための命令であり得る。プロセッサー１４０２は、システムバス１４０６を経由してメモリー１４０４にアクセスすることができる。実行可能な命令を格納することに加えて、メモリー１４０４は、索引、コンテンツ取得ルール、コンテンツなどもまた格納することができる。

[0089]コンピューティング装置１４００はさらに、システムバス１４０６を経由してプロセッサー１４０２によりアクセス可能なデータストア１４０８を含む。データストア１４０８は、実行可能な命令、コンテンツ取得ルール、索引、コンテンツなどを含むことができる。コンピューティング装置１４００はまた、外部装置がコンピューティング装置１４００と通信可能とする入力インターフェイス１４１０を含む。例えば、入力インターフェイス１４１０は、外部のコンピュータ装置、ユーザーなどから命令を受信するために使用され得る。コンピューティング装置１４００はまた、コンピューティング装置１４００と１つまたは複数の外部装置とのインターフェイスを取る出力インターフェイス１４１２を含む。例えば、コンピューティング装置１４００は、出力インターフェイス１４１２を経由して、テキスト、画像などを表示することができる。

[0090]入力インターフェイス１４１０および出力インターフェイス１４１２を介してコンピューティング装置１４００と通信する外部装置が、ユーザーが対話することができる実質的に任意の種類のユーザーインターフェイスを提供する環境内に含まれ得ることが考えられる。ユーザーインターフェイスの種類の例は、グラフィカル・ユーザー・インターフェィス、ナチュラル・ユーザー・インターフェイスなどを含む。例えば、グラフィカル・ユーザー・インターフェィスは、キーボード、マウス、リモコンなどといった入力装置を用いるユーザーからの入力を受け入れ、ディスプレイなどの出力装置での出力を提供することができる。さらに、ナチュラル・ユーザー・インターフェイスは、キーボード、マウス、リモコンなどの入力装置により課せられた制約から開放された方法でコンピューティング装置１４００とユーザーが対話することを可能とし得る。むしろ、ナチュラル・ユーザー・インターフェイスは、音声認識、タッチおよびスタイラス認識、スクリーン上およびスクリーンの近傍の両者でのジェスチャー認識、エアージェスチャー、頭部および視線追跡、音声および会話、視覚、接触、ジェスチャー、機械知能などによることができる。

[0091]さらに、単一のシステムとして例示されているが、コンピューティング装置１４００が分散システムであっても良いことが理解されるべきである。したがって、例えば、幾つかの装置が、ネットワーク接続を介して通信することができ、コンピューティング装置１４００により遂行されるものとして説明されたタスクを共同して遂行することができる。

[0092]本明細書に記載された様々な機能は、ハードウェア、ソフトウェアまたはそれらの任意の組合せ中に実装され得る。ソフトウェア内に実装される場合、機能は、コンピュータ読み取り可能な媒体上の１つまたは複数の命令またはコードとして格納される、または送信され得る。コンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な記憶媒体を含む。コンピュータ読み取り可能な記憶媒体は、コンピュータによりアクセスされ得る任意の利用可能な記憶媒体であり得る。限定するのではなく、例として、このようなコンピュータ読み取り可能な記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭまたはその他の光ディスク記憶装置、磁気ディスク記憶装置またはその他の磁気記憶装置、あるいは命令またはデータ構造の形で所望のプログラムコードを搬送または格納するために使用され得る、かつコンピュータによりアクセス可能な任意のその他の媒体を含むことができる。本明細書で使用されるディスク（Ｄｉｓｋおよびｄｉｓｃ）は、コンパクトディスク（ＣＤ）、レーザーディスク（登録商標）、光ディスク、デジタル多目的ディスク（ＤＶＤ）、フロッピーディスクおよびブルーレイディスク（ＢＤ）を含み、ディスク（ｄｉｓｋ）は通常磁気的にデータを再生し、ディスク（ｄｉｓｃ）は通常レーザーで光学的にデータを再生する。さらに、伝搬信号は、コンピュータ読み取り可能な記憶媒体の範囲には含まれない。コンピュータ読み取り可能な媒体はまた、コンピュータプログラムのある場所から別の場所への転送を容易にする任意の媒体を含む通信媒体を含む。接続は、例えば、通信媒体であり得る。例えば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、撚り線対、デジタル加入者線（ＤＳＬ）、または赤外線、無線およびマイクロ波などの無線技術を使用して、ｗｅｂサイト、サーバーまたはその他の遠隔のソースから送信される場合、同軸ケーブル、光ファイバーケーブル、撚り線対、ＤＳＬ、または赤外線、無線およびマイクロ波などの無線技術は、通信媒体の定義内に含まれる。上記の組合せもまた、コンピュータ読み取り可能な媒体の範囲内に含まれるべきである。

[0093]代替として、または加えて、本明細書に記載された機能は、少なくとも一部は１つまたは複数のハードウェア論理コンポーネントにより遂行され得る。例えば、限定することなく、使用され得る例示的なハードウェア論理コンポーネントの種類は、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）、プログラム固有集積回路（ＡＳＩＣ）、プログラム固有標準集積回路（ＡＳＳＰ）、システム・オン・チップ・システム（ＳＯＣ）、コンプレックス・プログラマブル・ロジック・デバイス（ＣＰＬＤ）などを含む。

[0094]上記に記載されたものは、１つまたは複数の実施形態の例を含む。無論、前述の態様を説明する目的のために上記の装置または方法の考え得るすべての修正および変形を説明することは不可能であるが、様々な態様のさらに多くの修正および置換が可能であることを当業者は認識することができる。したがって、説明した態様は、添付の特許請求の範囲の精神および範囲内に入るすべてのこのような変更、修正および変形を包含することを意図するものである。さらに、用語「含む（ｉｎｃｌｕｄｅｓ）」が、詳細な説明および特許請求の範囲いずれかの中で使用される場合に、このような用語は、「含まれる（ｃｏｍｐｒｉｓｉｎｇ）」が特許請求の範囲内で転換語として用いられる場合に解釈されるように、用語「含まれる（ｃｏｍｐｒｉｓｉｎｇ）」とある意味同様に包括的であることを意図するものである。

Claims (9)

1. コンピューティングシステムであって、
   プロセッサーと、
   前記プロセッサーにより実行されたときに、前記プロセッサーに、以下の行為、即ち、
   検索エンジンを用いた、ユーザの検索セッションの間に、前記コンピューティングシステムとネットワーク通信状態にあるクライアントコンピューティングデバイスからクエリーを受け取ることと、
   前記クエリーを受け取ることに応じて、複数の事前定義されたコンテキストの中から、コンテキストをクエリーに割り当てることであって、前記コンテキストが、前記検索セッションの間に前記クライアントコンピューティングデバイスから受け取った以前のクエリーに基づいて割り当てられ、前記クエリーが、前記以前のクエリーが受け取られたときからの閾値量の時間以内に受け取られたことに基づいて、前記クエリーと前記以前のクエリーが、前記検索セッションに属するものとしてラベル付けされる、ものと、
   前記コンテキストを、前記クエリーに割り当てることに応じて、前記クエリーと前記クエリーに割り当てられた前記コンテキストの組み合わせに基づいて、コンテンツ取得ルールのデータベースの中でコンテンツ取得ルールを特定することであって、前記コンテンツ取得ルールが、前記クエリーと前記コンテキストの組み合わせを、クエリー再編成(reformation)に対応付けする、ものと、
   前記コンテンツ取得ルールを特定することに応じて、前記クエリー再編成を用いて文書についての検索を実行して、検索結果のランク付けされたリストを獲得することと、
   検索結果の前記ランク付けされたリストを、前記クライアントコンピューティングデバイスのディスプレイ上での提示のために、前記クライアントコンピューティングデバイスに送信することと、
   を実行させる、ルール適用システム(rule applier system)を含むメモリーと、
   を含むコンピューティングシステムであって、
   前記コンピューティングシステムが更にルール生成システムを備え、前記ルール生成システムが、ルール候補識別コンポーネント、及び、スコア割当コンポーネントを備えるとともに、検索ログ及びコンテキストデータを記憶するデータストアへのアクセスを有し、前記コンテキストデータが、前記検索ログに関連付けられ、前記検索ログに割り当てられ、前記ルール候補識別コンポーネントが、前記クエリーのクエリー再編成対、及び、クエリー再編成を生成するように構成され、当該クエリー再編成が、ルール候補識別コンポーネントによって使用されて、前記クエリーのコンテキストを決定し、各再編成対に対して前記コンテンツ取得ルールを出力し、
   前記スコア割当コンポーネントが、それぞれのスコアを、前記ルール候補識別コンポーネント（202）によって出力された各コンテンツ取得ルールに割り当てて、前記ディスプレイ上での表示のための検索結果の前記ランク付けされたリストを生成するように構成され、前記スコアが、実行された際のルールの有効性に基づくものであり、
   前記クエリー再編成対が、条件付き確率分布を用いて、クエリー再編成対候補を特定する生成法を用いて特定され、又は、同時確率分布を用いて、クエリー再編成対候補を特定する判別法を用いて特定される、
   コンピューティングシステム。
2. 前記ルール生成システムが、更に、１つ又は複数のコンテンツ取得ルールをフィルタリングして、前記ルール生成システムによって出力される最終のルールセットを生成できるフィルタコンポーネント（206）を備え、前記最終のルールセットが、出力ルールを、文脈に関連するもののみに制限する、請求項１に記載のコンピューティングシステム。
3. 前記検索が、前記クエリーと、前記クエリー再編成の双方を用いて、前記検索エンジンによって実行され、検索結果の前記ランク付けされたリストが、検索エンジン結果ページに含まれる、請求項１又は２に記載のコンピューティングシステム。
4. 検索結果の前記ランク付けされたリストが、前記クエリーに基づく検索結果の第１の組と、前記クエリー再編成に基づく検索結果の第２の組と、を備える、請求項１又は２に記載のコンピューティングシステム。
5. 前記検索エンジンが、
   地図、エンティティカード、又は、前記クエリー再構成に基づいて取得される広告、の少なくとも１つを含むページをもたらす、請求項３又は４に記載のコンピューティングシステム。
6. コンピュータプロセッサーにより実行される方法であって、
   検索エンジンを用いたユーザの検索セッションの間に、ネットワーク接続を介して、クライアントコンピューティングデバイスからクエリーを受け取るステップであって、前記検索セッションが、前記ユーザによって前記検索エンジンに設定された以前のクエリーを含み、前記以前のクエリーが前記ユーザによって前記検索エンジンに発行されたときからの、時間の閾値量の間に、前記クエリーが前記ユーザによって前記検索エンジンに発行されることに基づいて、前記クエリーと前記以前のクエリーが、前記検索セッションに属するものとしてラベル付けされる、ものと、
   ルール適用システムを用いて：
   前記検索セッションの間に前記ユーザによって設定された前記以前のクエリーに基づいて、コンテキストを、前記クエリーに割り当てるステップであって、前記コンテキストが、複数の事前定義されたコンテキストの中から割り当てられるものと、
   前記クエリー、及び、前記クエリーに割り当てられた前記コンテキストの組み合わせに対応付けられたコンテンツ取得ルールを特定するステップであって、前記コンテンツ取得ルールが、前記クエリーと前記コンテキストの前記組み合わせを、クエリー再編成に対応付けるものと、
   前記コンテンツ取得ルールを特定することに応じて、検索結果のランク付けされたリストを獲得するために、前記クエリー再編成を用いて、文書についての検索を実行するステップと、
   検索結果の前記ランク付けされたリストを、前記クライアントコンピューティングデバイスのディスプレイ上での提示のために、前記クライアントコンピューティングデバイスに送信するステップと、
   ルール候補識別コンポーネント、及び、スコア割当コンポーネントを含み、検索ログ及びコンテキストデータを記憶するデータストアへのアクセスを有し、前記コンテキストデータが、前記検索ログに関連付けられ、前記検索ログに割り当てられる、ルール生成システムを用いて：
   前記ルール候補識別コンポーネントを介して、前記クエリーのクエリー再編集対、及び、前記クエリー再編集を生成するステップであって、前記クエリー再編集が、前記ルール候補識別コンポーネントによって用いられて、前記クエリーの前記コンテキストを決定して、各再編集対に対して前記コンテンツ取得ルールを出力するものと、
   前記スコア割当コンポーネントを介して、それぞれのスコアを、前記ルール候補識別コンポーネント（202）によって出力された各コンテンツ取得ルールに割り当てて、前記ディスプレイ上での提示のために、検索結果の前記ランク付けされたリストを生成するステップであって、前記スコアが、実行された際のルールの前記有効性に基づく、ものと、
   条件付き確率分布に基づいて、クエリー再編成対候補を特定する、生成法を用いて、クエリー再編集対を特定する、又は、同時確率分布に基づいて、クエリー再編成対候補を特定する判別法を用いて、クエリー再編集対を特定するステップと、
   を含む方法。
7. 前記ルール生成システムが、更に、
   1つ又は複数のコンテンツ取得ルールをフィルタリングして、前記ルール生成システムによって出力される最終のルールセットを生成する、フィルタコンポーネント（206）を備え、前記最終のルールセットが、出力ルールを、文脈に関連するもののみに制限する、請求項６に記載の方法。
8. 前記文書について、前記クエリーを用いて、他の検索を実行するステップを更に含む、請求項６又は７に記載の方法。
9. コンピュータ読み取り可能な記憶媒体であって、プロセッサーにより実行される場合に、前記プロセッサーに、請求項６又は７のいずれかに記載の方法の各ステップを実行させる、コンピュータ読み取り可能な記憶媒体。

Images