JP2024088466A - 情報処理装置、情報処理方法、および情報処理プログラム - Google Patents

Abstract

【課題】クラウドソーシングの促進を図ることができる情報処理装置、情報処理方法、および情報処理プログラムを提供すること。【解決手段】本願に係る情報処理装置は、取得部と、外れ値判定部と、適否判定部とを備える。取得部は、利用者による端末装置を用いたタスクの実行結果を取得する。外れ値判定部は、取得部によって取得された実行結果に外れ値が含まれているか否かを判定する。適否判定部は、外れ値判定部による判定結果に基づいて、利用者によるタスクの実行の適否を判定する。【選択図】図４

Description

本発明は、情報処理装置、情報処理方法、および情報処理プログラムに関する。

従来、インターネットなどのネットワークを介して、不特定多数の人にタスクの実行を依頼するアウトソーシング形態が知られている。かかるアウトソーシング形態は、クラウドソーシングとも呼ばれる。

クラウドソーシングに関する技術として、特許文献１には、タスクの実行候補者となる利用者の行動履歴に基づいて、所定時点から締切日までの間の利用者の隙間時間を推定し、締切日と隙間時間とに基づいて、締切日までにタスクを完了可能な利用者を選定する技術が提案されている。

特開２０２２－０３９１２１号公報

しかしながら、上記特許文献１に記載の技術では、タスクを実行する利用者を選定する技術に留まり、クラウドソーシングの促進をより図る点で改善の余地がある。例えば、クラウドソーシングでは、タスクの実行が不特定多数の利用者に依頼されるため、利用者によっては真面目にタスクを実行しない場合がある。そのため、利用者から得られるタスクの実行結果には、適切でない実行結果が含まれる可能性があり、クラウドソーシングの促進が阻害される可能性がある。

本願は、上記に鑑みてなされたものであって、クラウドソーシングの促進を図ることができる情報処理装置、情報処理方法、および情報処理プログラムを提供することを目的とする。

本願に係る情報処理装置は、取得部と、外れ値判定部と、適否判定部とを備える。取得部は、利用者による端末装置を用いたタスクの実行結果を取得する。外れ値判定部は、取得部によって取得された実行結果に外れ値が含まれているか否かを判定する。適否判定部は、外れ値判定部による判定結果に基づいて、利用者によるタスクの実行の適否を判定する。

実施形態の一態様によれば、クラウドソーシングの促進を図ることができるという効果を奏する。

図１は、実施形態に係る情報処理の一例を示す図である。 図２は、実施形態に係る情報処理システムの構成の一例を示す図である。 図３は、実施形態に係る端末装置の構成の一例を示す図である。 図４は、実施形態に係る情報処理装置の構成の一例を示す図である。 図５は、実施形態に係る利用者情報記憶部に記憶される利用者情報テーブルの一例を示す図である。 図６は、実施形態に係るタスク情報記憶部に記憶されるタスク情報テーブルの一例を示す図である。 図７は、実施形態に係るタスク実行結果記憶部に記憶されるタスク実行結果テーブルの一例を示す図である。 図８は、実施形態に係る情報処理装置の処理部による情報処理の一例を示すフローチャートである。 図９は、実施形態に係る情報処理装置および端末装置の各々の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下に、本願に係る情報処理装置、情報処理方法、および情報処理プログラムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置、情報処理方法、および情報処理プログラムが限定されるものではない。また、各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

〔１．情報処理の一例〕
まず、図１を用いて、実施形態に係る情報処理の一例について説明する。図１は、実施形態に係る情報処理の一例を示す図であり、情報処理装置１によって実行される。

図１に示す情報処理装置１は、インターネットなどのネットワークを介して各種のサービスを提供する。情報処理装置１は、クラウドソーシング仲介サービス、ウェブ検索サービス、スケジュール管理サービス、経路案内サービス、路線情報提供サービス、動画配信サービス、音楽配信サービス、地図情報提供サービス、電子商取引サービスなどの各種のオンラインサービスを提供する。

以下においては、情報処理装置１が提供するサービスのうち主にクラウドソーシング仲介サービスについて説明する。クラウドソーシング仲介サービスは、クラウドソーシングにおける発注側と受注側とを繋ぐサービスである。

クラウドソーシングは、受注側である事業者や研究者などがインターネットなどのネットワークを通じて、不特定多数にタスクの実行を委託し、タスクの実行結果を取得する業務委託形態である。以下において、クラウドソーシング仲介サービスにおける発注側のユーザを発注者Ｏと記載し、クラウドソーシング仲介サービスにおける受注側のユーザを利用者Ｕと記載する。

情報処理装置１は、クラウドソーシング仲介サービスにおいて、利用者Ｕにタスクを実行させるための情報を含むタスク情報を発注者Ｏから受け付け、かかるタスク情報に基づいて、利用者Ｕにタスクの実行を依頼し、利用者Ｕにタスクを実行させる。そして、情報処理装置１は、各利用者Ｕによるタスクの実行結果を各利用者Ｕの端末装置２から受け付け、受け付けた実行結果を発注者Ｏに提供する。

タスクは、利用者Ｕが端末装置２を用いて実行されるタスクであり、例えば、アンケート型タスク、アノテーション、操作型タスクなどである。端末装置２は、例えば、スマートフォン、タブレット端末、ノート型のＰＣ（Personal Computer）、デスクトップ型のＰＣなどであるが、ＶＲ（Virtual Reality）ゴーグルやスマートウォッチなどのウェアラブルデバイスなどであってもよい。

アンケート型タスクは、複数の設問の各々に対する回答を利用者Ｕに入力させるタスクである。アンケート型タスクは、例えば、利用者Ｕの意識調査のための複数の設問の各々に対する回答を利用者Ｕに入力させるタスク、利用者Ｕの知識を問う複数の設問の各々に対する回答を利用者Ｕに入力させるタスク、記事コンテンツを含み且つ記事コンテンツに関する複数の設問の各々に対する回答を利用者Ｕに入力させるタスクなどであるが、かかる例に限定されない。

アノテーションは、例えば、機械学習に用いるデータにタグ付けを行う作業であり、例えば、データに特定の対象が含まれるか否かを示すタグを入力したり、画像データに含まれる特定の対象を選択したりすることによって行われる。特定の対象の選択は、端末装置２がスマートフォンやタブレット端末である場合、例えば、特定の対象の領域に対するタップ操作、特定の対象の外縁を指やスタイラスペンなどでなぞる操作、特定の対象を指やスタイラスペンなどで塗り潰す操作などによって行われる。

タスクは、上述した例に限定されず、例えば、ウェブページの作成、ニュースなどの記事コンテンツの作成などであってもよい。

また、端末装置２がノート型のＰＣやデスクトップ型のＰＣである場合、特定の対象の選択は、例えば、特定の対象の領域に対するクリック操作、特定の対象の外縁をカーソルの移動によってなぞる操作、特定の対象をカーソルの移動によって塗り潰す操作などによって行われる。

操作型タスクは、例えば、ＵＩ（User Interface）を含むコンテンツにおけるＵＩの操作を要求するタスクである。操作型タスクで要求される操作は、端末装置２がスマートフォンやタブレット端末である場合、例えば、タップ操作、ダブルタップ操作、フリック操作、スワイプ操作、ピンチ操作などであり、端末装置２がノート型のＰＣやデスクトップ型のＰＣである場合、クリック操作、ダブルクリック操作、スクロール操作、カーソルの移動操作、ドラックアンドドロップ操作などである。

図１に示すように、情報処理装置１は、発注者Ｏの端末装置３から送信される複数のタスク情報を受け付ける（ステップＳ１）。ステップＳ１で受け付けられる複数のタスク情報は、同一の発注者Ｏからのタスク情報であってもよく、互いの異なる発注者Ｏからのタスク情報であってもよい。

タスク情報は、タスク毎の情報であり、情報処理装置１は、複数のタスク情報を受け付ける。タスク情報には、利用者Ｕにタスクを実行させるための情報を含む実行用情報とタスクを実行する際の条件を示す条件情報とが含まれる。

実行用情報は、タスクがアンケート型タスクである場合、例えば、設問を示す情報、利用者Ｕが設問への回答を入力するＵＩ（以下、回答ＵＩ）、利用者Ｕが入力した回答の送信を決定する際に操作するＵＩ（以下、決定ＵＩ）などが含まれる。回答ＵＩは、例えば、テキストボックス、チェックボックス、ラジオボタン、コンボボックスなどであるが、かかる例に限定されない。決定ＵＩは、例えば、ボタンである。決定ＵＩが操作された場合に、利用者Ｕが入力した回答の情報が端末装置２から情報処理装置１に送信される。

また、実行用情報は、タスクがアノテーションである場合、例えば、タグ付けの対象となるデータ（例えば、画像データ、文書データ、音データなど）、データにタグ付けするために用いられるＵＩ、上述した決定ＵＩなどが含まれる。

また、実行用情報は、タスクが操作型タスクである場合、ＵＩを含むコンテンツであり、例えば、ウェブコンテンツやアプリケーションプログラムなどである。ウェブコンテンツは、例えば、ニュースなどの記事のコンテンツ、ＳＮＳ（Social Networking Service）のコンテンツ、ゲームサイトのコンテンツ、ショッピングサイトのコンテンツ（例えば、ショッピングページなど）、３次元空間に配置されるアバターなどのコンテンツである。

条件情報には、タスクを実行する際の利用者Ｕのコンテキストを規定する情報が含まれる。利用者Ｕのコンテキストは、利用者Ｕの状況であり、利用者Ｕの周囲の状況、利用者Ｕがいる場所、利用者Ｕの状態などを含む。

利用者Ｕの周囲の状況は、利用者Ｕが置かれた物理的環境であり、例えば、利用者Ｕの周囲の明るさ、温度、湿度、音の大きさや周波数、風の強さ、利用者Ｕが座っている電動椅子の高さや背もたれの角度、利用者Ｕが利用している昇降机の天板の高さなどである。また、利用者Ｕの周囲の状況は、利用者Ｕが屋外にいる場合、利用者Ｕがいる場所の天候なども含む。

利用者Ｕがいる場所は、例えば、利用者Ｕが現在いる場所の緯度経度または名称などによって特定される。利用者Ｕが現在いる場所の名称は、例えば、飲食店、公園、自宅、駅、病院、市役所、道路、地下道、電車、車、航空機、船などであるが、かかる例に限定されない。

利用者Ｕの状態は、例えば、利用者Ｕの動作状態や利用者Ｕの感情などを含む。利用者Ｕの動作状態は、例えば、座っている、寝ている、歩いている、走っている、立っているなどである。

つづいて、情報処理装置１は、ステップＳ１で取得したタスク情報に対応するタスクの実行を利用者Ｕに依頼する（ステップＳ２）。情報処理装置１は、例えば、利用者Ｕが端末装置２を用いて情報処理装置１にアクセスした場合に、ステップＳ１で取得したタスク情報に対応するタスクの一覧を示す情報を含む一覧情報を含む依頼情報を端末装置２に送信することによって、ステップＳ１で取得したタスク情報に対応するタスクの実行を利用者Ｕに依頼する。

情報処理装置１によって送信される依頼情報には、ステップＳ１で取得したタスク情報に対応するタスクの概要を示す情報に加えて、タスク情報に含まれる条件情報で規定されるコンテキストを示す情報などの情報が含まれる。例えば、依頼情報には、文字列「レストラン内でタスクを実行してください。」を端末装置２に表示させるための情報などが含まれる。

端末装置２は、情報処理装置１から送信される依頼情報を受信すると、受信した依頼情報を表示する。端末装置２に表示される依頼情報には、例えば、タスク毎の承諾ボタンが含まれており、かかる承諾ボタンが利用者Ｕによるクリックまたはタップなどによって選択された場合、端末装置２は、利用者Ｕによって選択されたタスクを特定するための情報を含むタスク要求を情報処理装置１に送信する（ステップＳ３）。

つづいて、情報処理装置１は、端末装置２から送信されるタスク要求を受信した場合、タスク要求を送信した端末装置２の利用者Ｕにタスクを実行させるために、利用者Ｕの端末装置２にタスク情報に含まれる実行用情報を送信する（ステップＳ４）。

端末装置２は、情報処理装置１から送信される実行用情報を受信すると、実行用情報に基づいて、利用者Ｕがタスクを実行するための表示などを行う。これにより、利用者Ｕは、端末装置２を用いてタスクを実行することができる。

つづいて、端末装置２は、利用者Ｕによるタスクの実行結果を情報処理装置１に送信する（ステップＳ５）。タスクの実行結果は、タスクがアンケート型タスクである場合、例えば、利用者Ｕによる各設問に対する回答を示す情報や利用者Ｕによる操作履歴の情報などを含む。操作履歴の情報は、例えば、利用者Ｕによる設問に対する回答のタイミング、回答の速度、回答の時間などを示す情報などを含む。

また、タスクの実行結果は、タスクがアノテーションである場合、例えば、利用者Ｕによって入力されたタグの情報や利用者Ｕによる操作履歴の情報などを含む。操作履歴の情報は、例えば、利用者Ｕによるタグ付けの速さ、タグの位置、タグの範囲、タグ付けのタイミング、タグ付けの時間などを示す情報などを含む。

また、タスクの実行結果は、例えば、タスクが操作型タスクである場合、利用者Ｕによる操作履歴の情報を含む。操作履歴は、例えば、各種の操作（例えば、タップ操作、フリック操作、スワイプ操作、ピンチ操作、クリック操作、カーソルの移動操作、ドラックアンドドロップ操作など）の内容（例えば、操作位置、操作タイミング、操作速度、操作された距離、操作回数など）の履歴を含む。

つづいて、情報処理装置１は、端末装置２からタスクの実行結果を取得すると、かかる実行結果に外れ値が含まれているか否かを判定する（ステップＳ６）。外れ値は、他の値からみて極端に大きな値または極端に小さな値であり、統計的な外れ値、入力ミスなどの原因が分かっている外れ値などが含まれる。入力ミスなどの原因が分かっている外れ値は、異常値と呼ばれる。以下において、外れ値が含まれているか否かの判定対象となる実行結果を判定対象実行結果と記載する場合がある。

情報処理装置１は、複数の利用者Ｕによる端末装置２を用いたタスクの実行結果の統計情報と判定対象実行結果とを比較し、かかる比較結果に基づいて、判定対象実行結果に外れ値が含まれているか否かを判定する。

実行結果の統計情報は、例えば、実行結果の統計に関する情報であり、実行結果を統計処理して得られる情報に限らず、実行結果に含まれる外れ値を見つけるために統計処理される情報も含む。

例えば、タスクがアンケート型タスクである場合、ステップＳ６で判定される外れ値は、設問に対する回答の外れ値であり、統計的な外れ値または異常値である。情報処理装置１は、タスクがアンケート型タスクである場合、例えば、複数の実行結果での複数の設問に対する各回答パターンの出現確率に基づいて、統計的な外れ値を判定することができる。

例えば、各設問の回答が１，２，３，４，５のうちのいずれか１つを選択するものであり、設問数が１０個である場合、複数の設問に対する回答パターンは、｛２，４，２，５，３，１，１，５，２，３｝や｛４，１，５，２，２，３，３，１，２，１｝などである。

この場合、情報処理装置１は、複数の実行結果での複数の設問に対する各回答パターンの出現確率を統計情報として算出する。そして、情報処理装置１は、判定対象実行結果で示される回答パターンが、出現確率が閾値以下である回答パターンである場合に、判定対象実行結果に外れ値が含まれると判定する。

また、情報処理装置１は、複数の実行結果での複数の設問に対する回答時間の分布である回答時間分布を統計情報として算出する。回答時間は、タスクの実行が可能になってからすべての複数の設問への回答が終了するまでの時間である。そして、情報処理装置１は、判定対象実行結果で示される回答時間が、回答時間分布のうち分布割合が閾値以下の回答時間である場合に、判定対象実行結果に外れ値が含まれると判定する。

回答時間は、複数の設問の各々の回答に要した時間であってもよい。この場合、情報処理装置１は、複数の実行結果での設問に対する回答時間の分布である回答時間分布を統計情報として設問毎に算出する。そして、情報処理装置１は、判定対象実行結果で示される回答時間が、回答時間分布のうち分布割合が閾値以下の回答時間である場合に、判定対象実行結果に外れ値が含まれると判定する処理を設問毎に行う。

また、情報処理装置１は、設問の回答が文字列である場合、複数の実行結果での文字数毎の分布割合である文字数分布割合を統計情報として算出する。そして、情報処理装置１は、判定対象実行結果で示される回答の文字数が、文字数分布割合が閾値以下である文字数である場合に、判定対象実行結果に外れ値が含まれると判定する。

また、タスクがアノテーションである場合、ステップＳ６で判定される外れ値は、タグの外れ値であり、統計的な外れ値または異常値である。情報処理装置１は、タスクがアノテーションである場合、例えば、複数の実行結果でのタグ付けの時間の分布に基づいて、統計的な外れ値を判定することができる。タグ付けの時間は、タスクの実行が可能になってからタグ付けが終了するまでの時間であり、以下において、タグ付け時間と記載する場合がある。

例えば、情報処理装置１は、複数の実行結果でのタグ付け時間の分布であるタグ付け時間分布を統計情報として算出する。そして、情報処理装置１は、判定対象実行結果で示されるタグ付け時間が、分布割合が閾値以下のタグ付け時間である場合に、判定対象実行結果に外れ値が含まれると判定する。

また、タグ付けが画像内の特定の対象の外縁をなぞる操作によって特定の対象の外縁を囲むことで行われる場合、情報処理装置１は、囲まれた範囲の数（以下、タグ付け数と記載する場合がある）の分布であるタグ付け数分布を統計情報として算出する。そして、情報処理装置１は、判定対象実行結果で示されるタグ付け数が、分布割合が閾値以下のタグ付け数である場合に、判定対象実行結果に外れ値が含まれると判定する。

また、情報処理装置１は、タグ付けが操作型タスクである場合、複数の実行結果での操作パターン毎の出現確率を統計情報として算出する。操作パターンは、例えば、操作の順番、操作の種別、操作の内容（例えば、操作位置、操作タイミング、操作速度、操作された距離、操作回数など）の少なくとも１つ以上のパターンである。そして、情報処理装置１は、判定対象実行結果で示される操作パターンが、出現確率が閾値以下である回答パターンである場合に、判定対象実行結果に外れ値が含まれると判定する。

また、情報処理装置１は、タグ付けが操作型タスクである場合、複数の実行結果での操作時間の分布である操作時間分布を統計情報として算出する。そして、情報処理装置１は、判定対象実行結果で示される操作時間が、分布割合が閾値以下の操作時間である場合に、判定対象実行結果に外れ値が含まれると判定する。

また、情報処理装置１は、タスクの実行用情報に基づいて、タスクの実行結果における異常を示す情報である異常情報を判定する。そして、情報処理装置１は、判定対象実行結果に異常値が含まれている場合に、判定対象実行結果に外れ値が含まれていると判定する。

例えば、タスクがアンケート型タスクであり、各設問の回答が１，２，３のうちのいずれか１つを選択するものである場合、情報処理装置１は、１，２，３のいずれでもない回答を異常値である外れ値として判定する。

例えば、回答が、男「０」、女「１」、不明「２」のいずれかである場合に、「３」や「４」などは外れ値である。この場合、情報処理装置１は、判定対象実行結果に「３」や「４」などが含まれている場合に、判定対象実行結果に外れ値が含まれていると判定する。

また、タグ付けが予め定められた複数の選択肢の中から１つの選択肢をタグとして選択する場合、情報処理装置１は、予め定められた複数の選択肢以外のタグが付された場合に、判定対象実行結果に異常値である外れ値が含まれると判定する。

例えば、予め定められた複数の選択肢が男「０」、女「１」、および不明「２」を含む複数の選択肢である場合、「３」や「４」などが外れ値である。この場合、情報処理装置１は、判定対象実行結果に「３」や「４」などが含まれている場合に、判定対象実行結果に外れ値が含まれていると判定する。

つづいて、情報処理装置１は、ステップＳ６における外れ値の有無の判定結果に基づいて、利用者Ｕによるタスクの実行の適否を判定する（ステップＳ７）。

例えば、情報処理装置１は、ステップＳ６における外れ値の有無の判定結果が予め定められた条件を満たす場合に、利用者Ｕによるタスクの実行が適切でないと判定し、そうでない場合に、利用者Ｕによるタスクの実行が適切であると判定する。

予め定められた条件は、外れ値となり得る数が１つである場合、外れ値があるという条件であり、外れ値となり得る数が２以上である場合、外れ値の数が閾値ＴＨ以上であるという条件である。

また、予め定められた条件は、外れ値となり得る数が２以上である場合、外れ値を重み付けして得られる値（複数の外れ値がある場合、複数の外れ値を重み付け加算した値）が閾値ＴＨ以上であるという条件であってもよい。情報処理装置１は、例えば、ステップＳ７において、タスクの実行が適切でないと判定された割合（確率）が高い利用者Ｕほど閾値ＴＨを大きな値にすることができる。

つづいて、情報処理装置１は、ステップＳ７において、利用者Ｕによるタスクの実行結果が適切でないと判定した場合に、利用者Ｕによるタスクの実行結果が適切でないことを示す情報である通知情報を利用者Ｕに通知する（ステップＳ８）。ステップＳ８において、情報処理装置１は、通知情報を利用者Ｕの端末装置２にすることによって、通知情報を利用者Ｕに通知する。

情報処理装置１は、利用者Ｕによるタスクの実行過程において実行結果を繰り返し取得することもできる。この場合、情報処理装置１は、タスクの実行過程において繰り返し取得される実行結果の各々に外れ値が含まれているか否かを判定する。情報処理装置１は、かかる判定結果に基づいて、利用者Ｕによるタスクの実行過程において利用者Ｕによるタスクの実行の適否を繰り返し判定することができる。

そして、情報処理装置１は、タスクの実行過程においてタスクの実行結果が適切でないと判定する度に、タスクの実行過程においてタスクの実行結果が適切でないことを示す情報である通知情報を利用者Ｕに通知する。

また、情報処理装置１は、タスクの実行過程においてタスクの実行結果が適切でないと判定した場合、実行過程にあるタスクを更新することもできる。例えば、情報処理装置１は、タスクのＵＩの位置、タスクのレイアウト、タスクのデザイン、タスクの実行順番などのうちの少なくとも１つを変更する更新を行い、タスクの実行途中から、更新したタスクを利用者Ｕに実行させることができる。

例えば、情報処理装置１は、タスクの実行過程においてタスクの実行結果が適切でないと判定した場合、タスクがアンケート型タスクであれば、例えば、タスクの実行過程において利用者Ｕが回答した設問を設問の順番を変えた実行用情報を利用者Ｕの端末装置２に送信する。これにより、情報処理装置１は、実行過程において利用者Ｕが回答した設問であって実行結果が適切でないと判定した設問を選択肢の順番を変えたタスクを再度利用者Ｕに実行させることができる。

また、情報処理装置１は、タスクの実行過程においてタスクの実行結果が適切でないと判定した場合、タスクがアノテーションや操作型タスクであれば、例えば、タスクの実行過程において利用者Ｕが実行中のタスクを中止させ、再度最初から利用者Ｕに実行させる実行用情報を利用者Ｕの端末装置２に送信する。これにより、情報処理装置１は、実行結果が適切でないと判定したタスクを利用者Ｕに再度実行させることができる。

また、情報処理装置１は、タスクの実行過程においてタスクの実行結果の適否の判定結果に基づいて、利用者Ｕに付与される報酬を推定する。情報処理装置１は、推定した報酬に関する情報である推定報酬情報を利用者Ｕの端末装置２に送信することで、利用者Ｕに付与される報酬を利用者Ｕに通知する。

情報処理装置１から端末装置２に送信される推定報酬情報は、例えば、推定された報酬が通常の報酬よりも低い場合、例えば、文字列「もっとちゃんとしないと報酬額が下がりますよ」の情報を含む。

利用者Ｕに付与される報酬は、例えば、電子マネー、ポイント、現金、または各種の特典などである。ポイントは、例えば、オンラインサイトなどで商品の購入やサービスの利用などに用いられる価値（バリュー）である。特典は、例えば、クーポン、商品券、サービス利用券などであるが、かかる例に限定されない。

情報処理装置１は、例えば、オンラインサービスにおける利用者Ｕのアカウントやウォレットにタスクに応じた額の電子マネーやタスクに応じたポイントを追加することによって、利用者Ｕに報酬を付与する。また、情報処理装置１は、例えば、特典を示す情報である報酬情報を端末装置２で表示可能に端末装置２に送信することで、利用者Ｕに報酬を付与する。また、報酬が現金である場合、報酬は、例えば、銀行口座を介した現金の入金処理などによって付与される。

このように、情報処理装置１は、利用者Ｕによる端末装置２を用いたタスクの実行結果に外れ値が含まれているか否かを判定し、かかる判定結果に基づいて、利用者Ｕによるタスクの実行の適否を判定する。これにより、情報処理装置１は、例えば、適切ではない実行結果を発注者Ｏに提供する実行結果から除外することができ、クラウドソーシングの促進を図ることができる。

以下、このような処理を行う情報処理装置１および端末装置２，３を含む情報処理システムの構成などについて、詳細に説明する。なお、以下においては、クラウドソーシング仲介サービス以外の情報処理装置１によって提供される電子商取引サービスに関する処理などについては説明を省略している。

〔２．情報処理システムの構成〕
図２は、実施形態に係る情報処理システムの構成の一例を示す図である。図２に示すように、実施形態に係る情報処理システム１００は、情報処理装置１と、複数の端末装置２と、複数の端末装置３とを含む。

情報処理装置１は、クラウドソーシング仲介サービスを提供する。また、情報処理装置１は、ウェブ検索サービス、スケジュール管理サービス、経路案内サービス、路線情報提供サービス、動画配信サービス、音楽配信サービス、地図情報提供サービス、電子商取引サービスなどの各種のオンラインサービスも提供することができる。

複数の端末装置２の各々は、互いに異なる利用者Ｕによって用いられる。複数の端末装置３の各々は、例えば、互いに異なる発注者Ｏによって用いられる。端末装置２，３の各々は、例えば、スマートフォン、タブレット端末、ノート型のＰＣ、デスクトップ型のＰＣなどであるが、スマートウォッチなどのウェアラブルデバイスやＶＲゴーグルなどであってもよい。

情報処理装置１、端末装置２、および端末装置３は、ネットワークＮを介して、有線または無線により互いに通信可能に接続される。なお、図２に示す情報処理システム１００には、情報処理装置１が複数含まれてもよい。ネットワークＮは、例えば、ＬＡＮ（Local Area Network）や、インターネットなどのＷＡＮ（Wide Area Network）である。

各端末装置２，３は、ＬＴＥ（Long Term Evolution）、４Ｇ（4th Generation）、５Ｇ（5th Generation：第５世代移動通信システム）などの無線通信網や、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮなどの近距離無線通信を介してネットワークＮに接続し、情報処理装置１と通信することができる。

〔３．端末装置２〕
図３は、実施形態に係る端末装置２の構成の一例を示す図である。図３に示すように、実施形態に係る端末装置２は、通信部１０と、表示部１１と、操作部１２と、センサ群１３と、記憶部１４と、処理部１５とを備える。

〔３．１．通信部１０〕
通信部１０は、例えば、ＮＩＣ（Network Interface Card）などによって実現される。通信部１０は、ネットワークＮと有線または無線で接続され、ネットワークＮを介して、情報処理装置１との間で情報の送受信を行う。

〔３．２．表示部１１〕
表示部１１は、例えば、ＬＣＤ（Liquid Crystal Display）または有機ＥＬ（Electro Luminescence）ディスプレイなどである。

〔３．３．操作部１２〕
操作部１２は、例えば、文字、数字、およびスペースを入力するためのキー、エンターキーおよび矢印キーなどを含むキーボード、マウス、および電源ボタンなどを含む。表示部１１は、タッチパネル対応ディスプレイである場合、操作部１２はタッチパネルを含む。

〔３．４．センサ群１３〕
センサ群１３は、例えば、温度センサ、湿度センサ、照度センサ、測位センサ、マイク、加速度センサ、ジャイロセンサ、地磁気センサ、およびイメージセンサなどを含む。測位センサは、端末装置２の位置を検出する位置センサである。

温度センサは、端末装置２の周囲の温度を検出するセンサである。湿度センサは、端末装置２の周囲の湿度を検出するセンサである。照度センサは、端末装置２の周囲の照度を検出するセンサである。マイクは、端末装置２の周囲の音を検出するセンサである。

加速度センサは、端末装置２の加速度を検出するセンサである。ジャイロセンサは、端末装置２の傾きおよび回転などの姿勢を検出するセンサである。地磁気センサは、地磁気を検出するセンサである。イメージセンサは、端末装置２の周囲を撮像するセンサである。

〔３．５．記憶部１４〕
記憶部１４は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置によって実現される。

記憶部１４には、例えば、情報処理装置１から送信されネットワークＮおよび通信部１０を介して処理部１５によって取得された情報およびセンサ群１３によって検出された情報である検出情報などが記憶される。

〔３．６．処理部１５〕
処理部１５は、コントローラ（controller）であり、例えば、ＣＰＵ（Central Processing Unit）またはＭＰＵ（Micro Processing Unit）などによって、端末装置２内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。

処理部１５は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）またはＦＰＧＡ（Field Programmable Gate Array）などの集積回路により一部または全部が実現されてもよい。処理部１５は、情報取得部１６と、表示処理部１７と、情報出力部１８とを備える。

〔３．６．１．情報取得部１６〕
情報取得部１６は、情報処理装置１から送信されネットワークＮを介して通信部１０で受信される種々の情報を取得する。情報処理装置１から端末装置２に送信される情報は、例えば、上述した実行用情報、依頼情報、通知情報、および報酬情報などである。また、情報取得部１６は、センサ群１３によって検出された情報である検出情報をセンサ群１３から取得する。

〔３．６．２．表示処理部１７〕
表示処理部１７は、情報取得部１６によって取得された情報を表示部１１に表示させる。例えば、表示処理部１７は、情報取得部１６によって取得された実行用情報、依頼情報、通知情報、および報酬情報などを表示部１１に表示させる。

〔３．６．３．情報出力部１８〕
情報出力部１８は、例えば、利用者Ｕによる操作部１２への操作に応じた情報である操作情報を情報処理装置１へ通信部１０を介して送信する。また、情報出力部１８は、情報取得部１６によって取得された検出情報を情報処理装置１へ通信部１０を介して送信する。

また、表示部１１に依頼情報が表示されている状態で、利用者Ｕによる操作部１２への操作によって利用者Ｕが実行を希望するタスクの選択が行われたとする。この場合、情報出力部１８は、利用者Ｕが実行を希望するタスクを特定するための情報を含むタスク要求を情報処理装置１に対して通信部１０を介して送信する。

例えば、依頼情報に利用者Ｕが選択可能なタスクが複数含まれている場合、表示部１１に表示される依頼情報には、タスク毎に承諾ボタンが含まれている。承諾ボタンが利用者Ｕによるクリックまたはタップなどによって選択された場合、端末装置２は、利用者Ｕによって選択されたタスクの実行を利用者Ｕが実行する可能にするためにタスク要求を情報処理装置１に送信する。かかるタスク要求には、利用者Ｕが選択したタスクを特定するための情報が含まれている。

また、情報出力部１８は、実行用情報に基づいて利用者Ｕが実行したタスクの実行結果を情報処理装置１に対して通信部１０を介して送信する。

〔４．情報処理装置１の構成〕
図４は、実施形態に係る情報処理装置１の構成の一例を示す図である。図４に示すように、情報処理装置１は、通信部２０と、記憶部２１と、処理部２２とを有する。

〔４．１．通信部２０〕
通信部２０は、例えば、ＮＩＣなどによって実現される。そして、通信部２０は、ネットワークＮと有線または無線で接続され、他の各種装置との間で情報の送受信を行う。例えば、通信部２０は、端末装置２，３との間でネットワークＮを介して情報の送受信を行う。

〔４．２．記憶部２１〕
記憶部２１は、例えば、ＲＡＭ、フラッシュメモリなどの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置によって実現される。記憶部２１は、利用者情報記憶部３０と、タスク情報記憶部３１と、タスク実行結果記憶部３２とを有する。

〔４．２．１．利用者情報記憶部３０〕
利用者情報記憶部３０は、利用者Ｕに関する各種の情報を記憶する。図５は、実施形態に係る利用者情報記憶部３０に記憶される利用者情報テーブルの一例を示す図である。

図５に示す例では、利用者情報記憶部３０に記憶される利用者情報テーブルは、「利用者ＩＤ（Identifier）」、「属性情報」、「履歴情報」、「コンテキスト情報」、および「設定情報」といった項目の情報を含む。

「利用者ＩＤ」は、利用者Ｕを識別する識別子であり、利用者Ｕ毎に付される情報である。「属性情報」は、「利用者ＩＤ」に対応付けられた利用者Ｕの属性を示す属性情報である。利用者Ｕの属性は、例えば、デモグラフィック属性、サイコグラフィック属性などである。デモグラフィック属性は、人口統計学的属性であり、例えば、年齢、性別、職業、居住地、年収、家族構成などの複数の属性項目を含む。

サイコグラフィック属性は、心理学的属性であり、例えば、ライフスタイル、価値観、興味関心などに関する複数の属性項目を含む。例えば、サイコグラフィック属性における複数の属性項目の各々は、車、服、旅行、ゲーム、キャンプ、バイク、電車、家電、またはパソコンなどといった利用者Ｕの興味関心を有する対象である。

「履歴情報」は、「利用者ＩＤ」に対応付けられた利用者Ｕのオンラインサービスにおける行動履歴の情報を含む履歴情報である。利用者Ｕのオンラインサービスにおける行動履歴の情報は、例えば、利用者Ｕのオンラインサービスにおける検索履歴情報、閲覧履歴情報、および取引履歴情報などを含む。

利用者Ｕの検索履歴情報は、例えば、ウェブ検索サービスにおける利用者Ｕによる検索履歴の情報などを含む。利用者Ｕの閲覧履歴情報は、例えば、オンラインサービスにおける利用者Ｕによるコンテンツの閲覧履歴の情報などを含む。利用者Ｕの取引履歴の情報は、オンラインサービスにおける利用者Ｕによる商品の取引履歴の情報などを含む。

「コンテキスト情報」は、「利用者ＩＤ」に対応付けられた利用者Ｕの現在または将来のコンテキストの情報であるコンテキスト情報である。かかるコンテキスト情報は、端末装置２から送信される検出情報に基づいて特定される利用者Ｕのコンテキスト、または処理部２２によって推定される利用者Ｕのコンテキストの履歴情報などを含む。

利用者Ｕのコンテキストは、利用者Ｕの状況であり、例えば、利用者Ｕの周囲の状況、利用者Ｕの運動状態、利用者Ｕの姿勢、利用者Ｕの感情、利用者Ｕの現在位置、利用者Ｕが置かれた物理環境などを含む。

「設定情報」は、「利用者ＩＤ」に対応付けられた利用者Ｕの設定情報であり、例えば、利用者Ｕによって設定され、利用者Ｕのアカウントに紐付けられたスケジュール情報、電子メール情報などである。

〔４．２．２．タスク情報記憶部３１〕
タスク情報記憶部３１は、各発注者Ｏから提供されるタスク情報を記憶する。図６は、実施形態に係るタスク情報記憶部３１に記憶されるタスク情報テーブルの一例を示す図である。

図６に示す例では、タスク情報記憶部３１に記憶されるタスク情報テーブルは、「タスクＩＤ」、「内容情報」、「実行用情報」、「条件情報」、「統計情報」、「異常情報」、および「必要実行数」といった項目の情報を含む。

「タスクＩＤ」は、タスクを識別する識別子であり、タスク毎に付される情報である。「内容情報」は、「タスクＩＤ」に対応付けられたタスクの内容を示す情報であり、例えば、タスクの種別、タスクの概要、タスク実行時のコンテキストの情報などを含む。条件情報は、内容情報に含まれてもよい。「実行用情報」は、「タスクＩＤ」に対応付けられたタスクを利用者Ｕに実行させるための情報を含む情報であり、上述した実行用情報である。

「条件情報」は、「タスクＩＤ」に対応付けられたタスクを実行する際の条件を示す情報であり、上述した条件情報である。「統計情報」は、「タスクＩＤ」に対応付けられたタスクの実行結果の統計情報である。統計情報は、例えば、実行結果の統計に関する情報であり、実行結果を統計処理して得られる情報に限らず、実行結果に含まれる外れ値を見つけるために統計処理される情報も含む。

「異常情報」は、「タスクＩＤ」に対応付けられたタスクの実行結果の異常値の情報である。「必要実行数」は、「タスクＩＤ」に対応付けられたタスクの必要実行数を示す情報であり、発注者Ｏによって設定される情報である。

〔４．２．３．タスク実行結果記憶部３２〕
タスク実行結果記憶部３２は、利用者Ｕによるタスクの実行結果を記憶する。図７は、実施形態に係るタスク実行結果記憶部３２に記憶されるタスク実行結果テーブルの一例を示す図である。

図７に示す例では、タスク実行結果記憶部３２に記憶されるタスク実行結果テーブルは、「実行ＩＤ」、「タスクＩＤ」、「利用者ＩＤ」、「実行結果」、および「検出情報」といった項目の情報を含む。

「実行ＩＤ」は、タスクの実行結果を識別する識別子であり、タスクの実行結果毎に付される情報である。「タスクＩＤ」は、「実行ＩＤ」に対応する実行結果のタスクを識別する識別子であり、図６に示すタスクＩＤと同じである。

「利用者ＩＤ」は、「実行ＩＤ」に対応する実行結果のタスクを実行した利用者Ｕを識別する識別子であり、図５に示す利用者ＩＤと同じである。「実行結果」は、「実行ＩＤ」に対応する実行結果である。「検出情報」は、「実行ＩＤ」に対応する実行結果のタスクを利用者Ｕが実行したときの利用者Ｕの端末装置２から送信された検出情報である。

〔４．３．処理部２２〕
処理部２２は、コントローラであり、例えば、ＣＰＵ、ＭＰＵなどのプロセッサによって、情報処理装置１内部の記憶装置に記憶されている各種プログラム（情報処理プログラムの一例に相当）がＲＡＭなどを作業領域として実行されることにより実現される。また、処理部２２は、例えば、ＡＳＩＣ、ＦＰＧＡ、ＧＰＧＰＵなどの集積回路によって一部または全部が実現されてもよい。

図４に示すように、処理部２２は、取得部４０と、受付部４１と、依頼部４２と、タスク部４３と、算出部４４と、外れ値判定部４５と、適否判定部４６と、通知部４７と、更新部４８と、報酬付与部４９と、推定部５０とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、処理部２２の内部構成は、図４に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

〔４．３．１．取得部４０〕
取得部４０は、外部の情報処理装置や端末装置２，３などから通信部２０を介して種々の情報を取得し、取得した情報を記憶部２１に記憶させる。

例えば、取得部４０は、外部の情報処理装置または端末装置２などから通信部２０を介して利用者Ｕの情報である利用者情報を取得し、取得した利用者情報を利用者情報記憶部３０の利用者情報テーブルに追加する。

また、取得部４０は、端末装置２から送信される実行結果や検出情報を取得する。かかる実行結果は、利用者Ｕによるタスクの実行結果である。また、検出情報は、端末装置２のセンサ群１３によって検出された情報である。取得部４０は、取得した実行結果や検出情報をタスク実行結果記憶部３２のタスク実行結果テーブルに追加する。

また、取得部４０は、利用者Ｕによるタスクの実行過程において実行結果や検出情報を端末装置２から繰り返し取得し、取得した実行結果や検出情報をタスク実行結果記憶部３２のタスク実行結果テーブルに追加することもできる。

また、取得部４０は、端末装置２から送信され受付部４１によって受け付けられた検出情報で示されるコンテキストの情報をコンテキスト情報として取得する。例えば、検出情報には、利用者Ｕの周囲の明るさ、温度、湿度、音の大きさや周波数などの情報、利用者Ｕの位置を示す情報、端末装置２の姿勢などを示す情報などが含まれている。取得部４０は、検出情報で示される利用者Ｕの周囲の明るさ、温度、湿度、音の大きさや周波数などの情報をコンテキスト情報として取得し、取得したコンテキスト情報を利用者情報記憶部３０の利用者情報テーブルに追加することができる。

また、取得部４０は、記憶部２１から各種の情報を取得する。例えば、取得部４０は、利用者Ｕの情報である利用者情報を利用者情報記憶部３０などから取得する。取得部４０によって取得される利用者情報は、例えば、上述した属性情報、履歴情報、コンテキスト情報、および設定情報のうちの少なくとも１つ以上の情報の一部または全部を含む。

また、取得部４０は、利用者Ｕに実行させるタスクの情報であるタスク情報をタスク情報記憶部３１などから取得する。取得部４０によって取得されるタスク情報は、例えば、上述した内容情報、実行用情報、条件情報、統計情報、異常情報、および実行必要数の情報のうちの少なくとも１つ以上の情報一部または全部を含む。

また、取得部４０は、タスクの実行結果に関する情報をタスク実行結果記憶部３２のタスク実行結果テーブルから取得する。取得部４０によって取得される実行結果に関する情報は、例えば、上述したタスクＩＤ、利用者ＩＤ、タスクの実行結果、および検出情報のうちの少なくとも１つ以上の情報一部または全部を含む。

〔４．３．２．受付部４１〕
受付部４１は、外部の情報処理装置や端末装置２，３などから通信部２０を介して種々の要求や情報を受け付ける。

例えば、受付部４１は、端末装置３から送信されるタスク毎の発注情報を受け付ける。発注情報には、上述したタスク情報や必要実行数の情報などが含まれる。タスク情報には、上述した実行用情報、条件情報、および内容情報などが含まれる。

実行用情報は、上述したように、利用者Ｕにタスクを実行させるための情報などを含む。条件情報は、上述したように、タスクを実行する際の利用者Ｕのコンテキストを規定する情報を含む。利用者Ｕのコンテキストは、利用者Ｕの状況であり、利用者Ｕの周囲の状況を含む。内容情報は、タスクの内容（例えば、タスクの種別、タスクの概要、タスク実行時のコンテキストの情報など）を示す情報を含む。条件情報は、内容情報に含まれてもよい。受付部４１は、受け付けた発注情報をタスク情報記憶部３１のタスク情報テーブルに追加する。

また、受付部４１は、端末装置２から送信されるタスク一覧要求を受け付ける。タスク一覧要求には、例えば、利用者ＩＤなどが含まれている。かかるタスク一覧要求は、利用者Ｕが端末装置２を操作して、タスクの一覧の表示を希望した場合に、端末装置２から情報処理装置１に送信される。

また、受付部４１は、端末装置２から送信されるタスク要求を受け付ける。タスク要求には、例えば、利用者ＩＤおよびタスクＩＤなどが含まれている。かかるタスク要求は、利用者Ｕが端末装置２を操作して、実行を希望するタスクを選択した場合に、端末装置２から情報処理装置１に送信される。

〔４．３．３．依頼部４２〕
依頼部４２は、例えば、受付部４１によってタスク一覧要求が受け付けられた場合、タスク一覧要求の送信元の端末装置２に対して、通信部２０を介してタスク一覧情報を含む依頼情報を送信することで、利用者Ｕにタスクの実行を依頼する。タスク一覧情報は、タスクの一覧を示す情報であって利用者Ｕが希望するタスクを選択可能な情報である。

依頼部４２は、例えば、タスク情報で特定される状況で利用者Ｕが実行可能なタスクである実行可能タスクを抽出し、抽出した実行可能タスクの一覧を示す情報をタスク一覧情報として生成する。そして、依頼部４２は、生成したタスク一覧情報を含む依頼情報を利用者Ｕの端末装置２に送信する。

依頼部４２は、利用者Ｕに実行を依頼するタスクとして複数のタスクがある場合において、例えば、予め定められた基準に従った順位で複数のタスクを並べたタスク一覧情報を生成することができる。

例えば、依頼部４２は、ポイント換算で報酬が高い順に複数のタスクを並べたタスク一覧情報を生成することができる。ポイント換算で報酬が最も高いタスクが最も順位が高く、タスクの順はポイント換算で報酬が少なくなるほど低くなる。

順位が上位のタスクほど利用者Ｕによって見やすい位置に配置される。例えば、タスク一覧情報が複数のタスクを上下方向に並べた情報である場合、最上位の位置は、最も上方の位置であり、下方の位置になるにつれて順位が低くなる。

また、依頼部４２は、適否判定部４６によって利用者Ｕによるタスクの実行結果が適切でないと判定された場合に、利用者Ｕにタスクの再実行を依頼する。例えば、依頼部４２は、再実行依頼情報を利用者Ｕの端末装置２に送信することによって、タスクの再実行を利用者Ｕに依頼する。

実行依頼情報は、例えば、タスクの再実行を依頼する旨を示す情報と、再実行を利用者Ｕが承諾する際に選択する承諾ボタンとを含み、利用者Ｕの端末装置２に表示される。端末装置２に表示される承諾ボタンが利用者Ｕによるクリックまたはタップなどによって選択された場合、端末装置２は、再実行の対象となるタスクである対象タスクを特定するための情報を含むタスク要求を情報処理装置１に送信する。これにより、情報処理装置１から対象タスクの実行用情報が利用者Ｕの端末装置２に送信され、利用者Ｕによる対象タスクの再実行が行われる。

〔４．３．４．タスク部４３〕
タスク部４３は、タスク情報に基づいて利用者Ｕにタスクを実行させる。タスク部４３は、タスク情報に含まれる実行用情報を利用者Ｕの端末装置２に送信することによって、利用者Ｕにタスクを実行させる。

例えば、タスク部４３は、受付部４１によってタスク要求が受け付けられた場合に、タスク要求で特定されるタスクのタスク情報に含まれる実行用情報を利用者Ｕの端末装置２に送信することによって、利用者Ｕにタスクを実行させる。

〔４．３．５．算出部４４〕
算出部４４は、取得部４０によって取得された複数の利用者Ｕの実行結果に基づいて、実行結果の統計情報を算出する。算出部４４は、算出した統計情報をタスク情報記憶部３１のタスク情報テーブルに追加する。

統計情報は、例えば、実行結果の統計に関する情報であり、実行結果を統計処理して得られる情報に限らず、実行結果に含まれる外れ値を見つけるために統計処理される情報も含む。

例えば、算出部４４は、タスクがアンケート型タスクである場合、例えば、複数の実行結果での複数の設問に対する各回答パターンの出現確率を算出したり、複数の実行結果での複数の設問に対する回答時間の分布である回答時間分布を算出したりする。回答時間は、タスクの実行が可能になってからすべての複数の設問への回答が終了するまでの時間である。また、回答時間は、複数の設問の各々の回答に要した時間であってもよい。

また、算出部４４は、タスクがアンケート型タスクであり、且つ、設問の回答が文字列である場合、複数の実行結果での文字数毎の分布割合である文字数分布割合を統計情報として算出する。

また、算出部４４は、タスクがアノテーションである場合、複数の実行結果でのタグ付け時間の分布であるタグ付け時間分布を統計情報として算出する。また、算出部４４は、スクがアノテーションであり、且つ、タグ付けが画像内の特定の対象の外縁をなぞる操作によって特定の対象の外縁を囲むことで行われる場合、囲まれた範囲の数であるタグ付け数の分布であるタグ付け数分布を統計情報として算出することもできる。

また、算出部４４は、タグ付けが操作型タスクである場合、複数の実行結果での操作パターン毎の出現確率を統計情報として算出する。操作パターンは、例えば、操作の順番、操作の種別、操作の内容（例えば、操作位置、操作タイミング、操作速度、操作された距離、操作回数など）の少なくとも１つ以上のパターンである。

また、算出部４４は、タグ付けが操作型タスクである場合、複数の実行結果での操作時間の分布である操作時間分布を統計情報として算出することもできる。

〔４．３．６．外れ値判定部４５〕
外れ値判定部４５は、取得部４０によって取得された判定対象実行結果に外れ値が含まれているか否かを判定する。判定対象実行結果は、外れ値が含まれているか否かの判定対象となる実行結果である。外れ値は、他の値からみて極端に大きな値または極端に小さな値であり、統計的な外れ値や異常値などが含まれる。

例えば、外れ値判定部４５は、取得部４０によって取得された判定対象実行結果と統計情報との比較結果に基づいて、判定対象実行結果に外れ値が含まれているか否かを判定する。統計情報は、複数の利用者Ｕによる端末装置２を用いたタスクの実行結果の統計情報である。

例えば、外れ値判定部４５は、タスクがアンケート型タスクである場合、外れ値判定部４５によって判定される外れ値は、設問に対する回答の外れ値であり、統計的な外れ値または異常値である。外れ値判定部４５は、タスクがアンケート型タスクである場合、例えば、複数の実行結果での複数の設問に対する各回答パターンの出現確率に基づいて、統計的な外れ値を判定することができる。

例えば、各設問の回答が１，２，３，４，５のうちのいずれか１つを選択するものであり、設問数が１０個である場合、複数の設問に対する回答パターンは、｛２，４，２，５，３，１，１，５，２，３｝や｛４，１，５，２，２，３，３，１，２，１｝などである。

この場合、外れ値判定部４５は、取得部４０によって取得された統計情報に基づいて、判定対象実行結果で示される回答パターンが、出現確率が閾値以下である回答パターンであるか否かを判定する。外れ値判定部４５は、判定対象実行結果で示される回答パターンが、出現確率が閾値以下である回答パターンである場合に、判定対象実行結果に外れ値が含まれると判定する。

また、外れ値判定部４５は、取得部４０によって取得された統計情報に基づいて、判定対象実行結果で示される回答時間が、回答時間分布のうち分布割合が閾値以下の回答時間であるか否かを判定する。外れ値判定部４５は、判定対象実行結果で示される回答時間が、回答時間分布のうち分布割合が閾値以下の回答時間である場合に、判定対象実行結果に外れ値が含まれると判定する。

また、回答時間が、複数の設問の各々の回答に要した時間であるとする。この場合、外れ値判定部４５は、取得部４０によって取得された統計情報に基づいて、判定対象実行結果で示される回答時間が、回答時間分布のうち分布割合が閾値以下の回答時間であるか否かを判定する。外れ値判定部４５は、判定対象実行結果で示される回答時間が、回答時間分布のうち分布割合が閾値以下の回答時間である場合に、判定対象実行結果に外れ値が含まれると判定する処理を設問毎に行う。

また、外れ値判定部４５は、取得部４０によって取得された統計情報に基づいて、判定対象実行結果で示される回答の文字数が、文字数分布割合が閾値以下である文字数であるか否かを判定する。そして、外れ値判定部４５は、判定対象実行結果で示される回答の文字数が、文字数分布割合が閾値以下である文字数である場合に、判定対象実行結果に外れ値が含まれると判定する。

また、外れ値判定部４５は、タスクがアノテーションである場合、例えば、複数の実行結果でのタグ付け時間の分布に基づいて、統計的な外れ値を判定することができる。タグ付け時間は、タスクの実行が可能になってからタグ付けが終了するまでの時間である。

例えば、外れ値判定部４５は、取得部４０によって取得された統計情報に基づいて、判定対象実行結果で示されるタグ付け時間が、分布割合が閾値以下のタグ付け時間であるか否かを判定する。そして、外れ値判定部４５は、判定対象実行結果で示されるタグ付け時間が、分布割合が閾値以下のタグ付け時間である場合に、判定対象実行結果に外れ値が含まれると判定する。

また、外れ値判定部４５は、タグ付けが画像内の特定の対象の外縁をなぞる操作によって特定の対象の外縁を囲むことで行われる場合、取得部４０によって取得された統計情報に基づいて、判定対象実行結果で示されるタグ付け数が、分布割合が閾値以下のタグ付け数であるか否かを判定する。外れ値判定部４５は、判定対象実行結果で示されるタグ付け数が、分布割合が閾値以下のタグ付け数である場合に、判定対象実行結果に外れ値が含まれると判定する。

また、外れ値判定部４５は、タグ付けが操作型タスクである場合、取得部４０によって取得された統計情報に基づいて、判定対象実行結果で示される操作パターンが、出現確率が閾値以下である回答パターンであるか否かを判定する。そして、外れ値判定部４５は、判定対象実行結果で示される操作パターンが、出現確率が閾値以下である回答パターンである場合に、判定対象実行結果に外れ値が含まれると判定する。

また、外れ値判定部４５は、タグ付けが操作型タスクである場合、取得部４０によって取得された統計情報に基づいて、判定対象実行結果で示される操作時間が、分布割合が閾値以下の操作時間であるか否かを判定することもできる。そして、外れ値判定部４５は、判定対象実行結果で示される操作時間が、分布割合が閾値以下の操作時間である場合に、判定対象実行結果に外れ値が含まれると判定する。

また、外れ値判定部４５は、取得部４０によって取得されたタスクの実行用情報に基づいて、タスクの実行結果における異常を示す情報である異常情報を判定することもできる。外れ値判定部４５は、判定した異常情報をタスク情報記憶部３１のタスク情報テーブルに追加する。

外れ値判定部４５は、取得部４０によって取得された異常情情報に基づいて、判定対象実行結果に異常情報で示される異常値が含まれている場合に、判定対象実行結果に外れ値が含まれていると判定する。例えば、タスクがアンケート型タスクであり、各設問の回答が１，２，３のうちのいずれか１つを選択するものである場合、外れ値判定部４５は、１，２，３のいずれでもない回答を異常値である外れ値として判定する。

例えば、回答が、男「０」、女「１」、不明「２」のいずれかである場合に、「３」や「４」などは外れ値である。この場合、外れ値判定部４５は、判定対象実行結果に「３」や「４」などが含まれている場合に、判定対象実行結果に外れ値が含まれていると判定する。

また、タグ付けが予め定められた複数の選択肢の中から１つの選択肢をタグとして選択する場合、外れ値判定部４５は、予め定められた複数の選択肢以外のタグが付された場合に、判定対象実行結果に異常値である外れ値が含まれると判定する。

例えば、予め定められた複数の選択肢が男「０」、女「１」、および不明「２」を含む複数の選択肢である場合、「３」や「４」などが外れ値である。この場合、外れ値判定部４５は、判定対象実行結果に「３」や「４」などが含まれている場合に、判定対象実行結果に外れ値が含まれていると判定する。

また、外れ値判定部４５は、利用者Ｕによるタスクの実行過程において実行結果が取得部４０によって繰り返し取得される場合、タスクの実行過程において繰り返し取得される実行結果の各々に外れ値が含まれているか否かを判定する。

〔４．３．７．適否判定部４６〕
適否判定部４６は、外れ値判定部４５による判定結果に基づいて、利用者Ｕによるタスクの実行の適否を判定する。

例えば、適否判定部４６は、外れ値判定部４５による外れ値の有無の判定結果が予め定められた条件を満たす場合に、利用者Ｕによるタスクの実行が適切でないと判定し、そうでない場合に、利用者Ｕによるタスクの実行が適切であると判定する。

予め定められた条件は、外れ値となり得る数が１つである場合、外れ値があるという条件であり、外れ値となり得る数が２以上である場合、外れ値の数が閾値ＴＨ以上であるという条件である。

また、予め定められた条件は、外れ値となり得る数が２以上である場合、外れ値を重み付けして得られる値（複数の外れ値がある場合、複数の外れ値を重み付け加算した値）が閾値ＴＨ以上であるという条件であってもよい。適否判定部４６は、例えば、タスクの実行が適切でないと判定された割合（確率）が高い利用者Ｕほど閾値ＴＨを大きな値にすることができる。

また、適否判定部４６は、利用者Ｕのタスクの実行過程において繰り返し取得部４０により取得される実行結果の各々に外れ値が含まれているか否かが外れ値判定部４５によって判定される場合、かかる判定結果に基づいて、利用者Ｕによるタスクの実行過程において利用者Ｕによるタスクの実行の適否を繰り返し判定することができる。

また、適否判定部４６は、例えば、タスク部４３によって同一の利用者Ｕに同一のタスクまたは同一のタスクの一部を複数回実行させた場合に、いずれも同一の実行結果になれば、上述した外れ値に該当する場合であっても、レアデータとして外れ値でないと判定することもできる。

例えば、適否判定部４６は、タスクがアンケート型タスクであれば、例えば、同一の設問に対する同一の利用者Ｕの複数回の回答がいずれも同一の選択肢の回答である場合、上述した外れ値に該当する場合であっても、レアデータとして外れ値でないと判定することもできる。

例えば、適否判定部４６は、アノテーションであれば、例えば、同一の利用者Ｕによって同一のタスクが複数回実行された場合において、囲まれた範囲の数やタグ付け数などがいずれも同一である場合、上述した外れ値に該当する場合であっても、レアデータとして外れ値でないと判定することもできる。

例えば、適否判定部４６は、タスクが操作型タスクであれば、例えば、同一の利用者Ｕによって同一のタスクが複数回実行された場合において、操作パターンや操作時間などがいずれも同一である場合、上述した外れ値に該当する場合であっても、レアデータとして外れ値でないと判定することもできる。

〔４．３．８．通知部４７〕
通知部４７は、適否判定部４６によって利用者Ｕによるタスクの実行結果が適切でないと判定された場合に、利用者Ｕによるタスクの実行結果が適切でないことを示す情報である通知情報を利用者Ｕの端末装置２に送信することで、通知情報を利用者Ｕに通知する。

また、通知部４７は、タスクの実行過程においてタスクの実行結果が適切でないと適否判定部４６が判定する度に、タスクの実行過程においてタスクの実行結果が適切でないことを示す情報である通知情報を利用者Ｕの端末装置２に送信することで、タスクの実行過程において通知情報を利用者Ｕに通知することもできる。

また、通知部４７は、推定部５０によって推定された報酬の情報である推定報酬情報を利用者Ｕの端末装置２に送信することで、利用者Ｕに付与される報酬を利用者Ｕに通知する。通知部４７は、推定部５０によって推定された報酬が通常の報酬よりも低い場合、例えば、文字列「もっとちゃんとしないと報酬額が下がりますよ」の情報を含む推定報酬情報を利用者Ｕの端末装置２に送信することで、利用者Ｕに付与される報酬を利用者Ｕに通知する。

〔４．３．９．更新部４８〕
更新部４８は、適否判定部４６による判定結果に基づいて、タスクを更新する。更新部４８は、例えば、適否判定部４６によるタスク単位の適否に基づいて、タスクを更新することができる。

例えば、更新部４８は、例えば、適否判定部４６によってタスク単位で適否が判定される場合において、タスクの実行結果が適切でないと適否判定部４６によって判定された割合である不適割合が閾値以上である場合に、タスクを更新することもできる。不適割合は、例えば、タスクが１００回実行された場合において、タスクの実行結果が適切でないと適否判定部４６によって判定された回数が１０回である場合、不適割合は、１０％である。

更新部４８は、例えば、タスクのＵＩの位置、タスクのレイアウト、タスクのデザイン、タスクの実行順番などのうちの少なくとも１つを変更する更新を行い、実行用情報を更新する。タスク部４３は、更新部４８によって更新された実行用情報を利用者Ｕの端末装置２に送信することで、更新されたタスクを利用者Ｕに実行させることができる。

また、更新部４８は、利用者Ｕによるタスクの実行過程において適否判定部４６による判定結果に基づいて、タスクを更新する。更新部４８は、タスクの実行過程においてタスクの実行結果が適切でないと適否判定部４６によって判定された場合、実行過程にあるタスクを更新する。そして、タスク部４３は、更新部４８によって更新された実行用情報を利用者Ｕの端末装置２に送信することで、タスクの実行途中から、更新したタスクを利用者Ｕに実行させることができる。

例えば、タスク部４３は、タスクの実行過程においてタスクの実行結果が適切でないと適否判定部４６によって判定された場合、タスクがアンケート型タスクであれば、例えば、タスクの実行過程において利用者Ｕが回答した設問を設問の順番を変えた実行用情報を利用者Ｕの端末装置２に送信する。これにより、タスク部４３は、実行過程において利用者Ｕが回答した設問であって実行結果が適切でないと適否判定部４６によって判定された設問を選択肢の順番を変えたタスクを再度利用者Ｕに実行させることができる。

また、タスク部４３は、タスクの実行過程においてタスクの実行結果が適切でないと適否判定部４６によって判定された場合、タスクがアノテーションや操作型タスクであれば、例えば、タスクの実行過程において利用者Ｕが実行中のタスクを中止させ、再度最初から利用者Ｕに実行させる実行用情報を利用者Ｕの端末装置２に送信する。これにより、タスク部４３は、実行結果が適切でないと適否判定部４６によって判定されたタスクを利用者Ｕに再度実行させることができる。

また、タスク部４３は、タスクの実行過程においてタスクの実行結果が適切でないと適否判定部４６によって判定された場合において、実行過程にあるタスクを上述のように更新した場合、利用者Ｕによるタスクの実行を中止させ、更新したタスクをタスクの最初から利用者Ｕに実行させることもできる。

〔４．３．１０．報酬付与部４９〕
報酬付与部４９は、取得部４０によって実行結果が取得された場合に利用者Ｕに報酬を付与する。

利用者Ｕに付与される報酬は、例えば、電子マネー、ポイント、現金、または各種の特典などである。ポイントは、例えば、オンラインサイトなどで商品の購入やサービスの利用などに用いられる価値（バリュー）である。特典は、例えば、クーポン、商品券、サービス利用券などであるが、かかる例に限定されない。

報酬付与部４９は、例えば、オンラインサービスにおいてタスクを実行した利用者Ｕのアカウントやウォレットにタスクに応じた額の電子マネーやタスクに応じたポイントを追加することによって、タスクを実行した利用者Ｕに報酬を付与する。また、報酬付与部４９は、例えば、特典を示す情報である報酬情報を端末装置２で表示可能に端末装置２に送信することで、タスクを実行した利用者Ｕに報酬を付与する。また、報酬が現金である場合、報酬付与部４９は、例えば、銀行口座を介した現金の入金処理などによって報酬を利用者Ｕに付与する。

報酬付与部４９は、適否判定部４６によって利用者Ｕによるタスクの実行が適切でないと判定された場合、利用者Ｕによるタスクの実行が適切であると判定された場合に比べて、利用者Ｕに付与する報酬を低い報酬に決定する。また、報酬付与部４９は、外れ値となり得る数が２以上である場合、外れ値の数が多いほど利用者Ｕに付与する報酬を低い報酬に決定することもできる。

また、報酬付与部４９は、例えば、判定対象実行結果に外れ値が含まれている可能性が高いほど、利用者Ｕに付与する報酬を低い報酬に決定することもできる。判定対象実行結果に外れ値が含まれている可能性は、例えば、統計的な外れ値に近いほど高くなる。

例えば、判定対象実行結果に外れ値が含まれている可能性は、上述した回答パターンの出現確率が低いほど高くなり、回答時間の分布割合が低いほど高くなり、文字数分布割合が低いほど高くなる。判定対象実行結果に外れ値が含まれている可能性は、例えば、適否判定部４６によって判定されるが、報酬付与部４９によって判定されてもよい。

報酬付与部４９は、例えば、実行された頻度または実行された回数が絶対的または相対的に少ないタスクほど、利用者Ｕに付与する報酬を高く決定する。実行された回数が相対的に少ないタスクは、例えば、実行必要数に対する実行数の比が実行結果収集期間に対する経過期間の比よりも少ないタスクである。

報酬は、例えば、電子マネーの場合、金額が大きいほど高い報酬であり、ポイントや特典の場合、現金に換算したときの額が大きいほど高い報酬である。利用者Ｕに付与する報酬を示す情報は、依頼情報に含まれてもよい。これにより、利用者Ｕによってタスクが実行される可能性を高めることができる。

また、報酬付与部４９は、依頼部４２によって利用者Ｕに依頼したタスクの再実行が利用者Ｕによって行われた場合に、利用者Ｕに対し、タスクの実行による報酬に加えて追加の報酬を付与する。追加の報酬は、タスクの前回の実行による報酬と同じ種別の報酬であってもよく、タスクの前回の実行による報酬と異なる報酬であってもよい。報酬の種別は、例えば、電子マネー、ポイント、現金、または各種の特典である。

また、報酬付与部４９は、利用者Ｕによるタスクの実行の適切度とタスクの再実行の適切度との差に基づいて、追加の報酬を決定することもできる。報酬付与部４９は、例えば、適切度差が大きいほど追加の報酬として高い報酬を利用者Ｕに付与する。

〔４．３．１１．推定部５０〕
推定部５０は、タスクの実行過程における適否判定部４６によるタスクの実行結果の適否の判定結果に基づいて、タスクの実行過程において利用者Ｕに付与される報酬を推定する。

例えば、推定部５０は、タスクの実行過程におけるタスクの実行結果に外れ値が含まれている可能性が高いほど、利用者Ｕに付与される報酬が低いと推定する。実行結果に外れ値が含まれている可能性は、例えば、統計的な外れ値に近いほど高くなる。

例えば、判定対象実行結果に外れ値が含まれている可能性は、上述した回答パターンの出現確率が低いほど高くなり、回答時間の分布割合が低いほど高くなり、文字数分布割合が低いほど高くなる。判定対象実行結果に外れ値が含まれている可能性は、例えば、外れ値判定部４５または適否判定部４６によって判定されるが、推定部５０によって判定されてもよい。

〔５．処理手順〕
次に、実施形態に係る情報処理装置１の処理部２２による情報処理の手順について説明する。図８は、実施形態に係る情報処理装置１の処理部２２による情報処理の一例を示すフローチャートである。

図８に示すように、情報処理装置１の処理部２２は、端末装置３から送信されるタスク情報を取得したか否かを判定する（ステップＳ１０）。処理部２２は、タスク情報を取得したと判定すると（ステップＳ１０：Ｙｅｓ）、取得したタスク情報を記憶部２１に記憶させる（ステップＳ１１）。

処理部２２は、ステップＳ１１の処理が終了した場合、またはタスク情報を取得していないと判定した場合（ステップＳ１０：Ｎｏ）、タスク通知タイミングになったか否かを判定する（ステップＳ１２）。タスク通知タイミングは、例えば、予め定められた期間毎に到来するタイミング、利用者Ｕの端末装置２からの一覧要求などの要求がある場合、またはタスク情報を取得する毎のタイミングなどであるが、かかる例に限定されない。

処理部２２は、タスク通知タイミングになったと判定した場合（ステップＳ１２：Ｙｅｓ）、依頼情報を利用者Ｕの端末装置２に送信してタスクの実行を利用者Ｕに依頼する（ステップＳ１３）。

処理部２２は、ステップＳ１３の処理が終了した場合、またはタスク通知タイミングになっていないと判定した場合（ステップＳ１２：Ｎｏ）、タスク要求が受け付けたか否かを判定する（ステップＳ１４）。処理部２２は、タスク要求が受け付けたと判定した場合（ステップＳ１４：Ｙｅｓ）、受け付けたタスク要求で特定されるタスクのタスク情報に含まれる実行用情報を送信する（ステップＳ１５）。

処理部２２は、ステップＳ１５の処理が終了した場合、またはタスク要求を受け付けていないと判定した場合（ステップＳ１４：Ｎｏ）、判定タイミングになったか否かを判定する（ステップＳ１６）。判定タイミングは、例えば、タスクの実行結果を取得したタイミング、タスクの実行過程におけるタイミング、または予め定められた期間毎に到来するタイミングなどであるが、かかる例に限定されない。

処理部２２は、判定タイミングになったと判定した場合（ステップＳ１６：Ｙｅｓ）、外れ値判定処理を行う（ステップＳ１７）。外れ値判定処理は、利用者Ｕによるタスクの実行結果に外れ値が含まれるか否かを判定する処理である。そして、処理部２２は、外れ値判定処理の結果に基づいて、適否判定処理を行う（ステップＳ１８）。適否判定処理は、利用者Ｕによるタスクの実行の適否を判定する処理である。

つづいて、処理部２２は、適否判定処理に基づいて、対応処理を行う（ステップＳ１９）。対応処理は、例えば、適否判定処理において利用者Ｕによるタスクの実行が適切でないと判定された場合に、タスクの再実行などを利用者Ｕに依頼したり、タスクの実行結果が適切でない旨を利用者Ｕに通知したりする。

処理部２２は、ステップＳ１９の処理が終了した場合、または判定タイミングになっていないと判定した場合（ステップＳ１６：Ｎｏ）、ステップＳ１９において実行用情報を送信した端末装置２から送信された実行結果を受け付けたか否かを判定する（ステップＳ２０）。処理部２２は、実行結果を受け付けたと判定した場合（ステップＳ２０：Ｙｅｓ）、実行結果を送信した端末装置２の利用者Ｕに報酬を付与する（ステップＳ２１）。

処理部２２は、ステップＳ２１の処理が終了した場合、または実行結果を受け付けていないと判定した場合（ステップＳ２０：Ｎｏ）、動作終了タイミングになったか否かを判定する（ステップＳ２２）。処理部２２は、例えば、情報処理装置１の電源がオフにされた場合などに動作終了タイミングになったと判定する。

処理部２２は、動作終了タイミングになっていないと判定した場合（ステップＳ２２：Ｎｏ）、処理をステップＳ１０へ移行し、動作終了タイミングになったと判定した場合（ステップＳ２２：Ｙｅｓ）、図８に示す処理を終了する。

〔６．その他〕
通知部４７は、利用者Ｕによるタスクの実行過程において外れ値判定部４５によって利用者Ｕによるタスクの実行結果に異常値が含まれると判定された場合、タスクの実行過程において異常値に関する問い合わせを示す情報を含む通知情報を利用者Ｕの端末装置２に送信することができる。

例えば、通知部４７は、異常値に関する問い合わせ示す情報として、文字列「例えば、間違っていませんか？」を含む情報を通知情報として利用者Ｕの端末装置２に送信することで、文字列「例えば、間違っていませんか？」を、タスクの実行過程にある利用者Ｕの端末装置２に表示させることができる。

また、算出部４４は、例えば、タスクを実行した利用者Ｕの属性毎にタスクの実行結果の統計情報を生成する処理をタスク毎に行うことができる。例えば、算出部４４は、２０代男性の利用者Ｕが行ったタスクの実行結果の統計情報を生成したり、２０代女性でアイドル好きの利用者Ｕが行ったタスクの実行結果の統計情報を生成したり、東京都港区在住の４０代女性の利用者Ｕが行ったタスクの実行結果の統計情報を生成したりすることができる。なお、算出部４４は、取得部４０によって取得された利用者情報に基づいて、利用者Ｕの属性を特定する。

また、算出部４４は、例えば、タスクを実行した利用者Ｕのコンテキスト毎にタスクの実行結果の統計情報を生成する処理をタスク毎に行うことができる。推定部５０は、取得部４０によって取得された検出情報などに基づいて、タスクの実行時における利用者Ｕのコンテキストを推定することができる。算出部４４は、推定部５０によるコンテキストの推定結果に基づいて、利用者Ｕのコンテキスト毎にタスクの実行結果の統計情報を生成する処理をタスク毎に行うことができる。

推定部５０は、上述したように、例えば、検出情報に基づいて、利用者Ｕのコンテキストを推定することができる。例えば、推定部５０は、検出情報に含まれる利用者Ｕの位置を示す情報や端末装置２の姿勢などを示す情報などに基づいて、利用者Ｕがいる場所、利用者Ｕの動作状態、利用者Ｕの姿勢などを推定する。

例えば、推定部５０は、検出情報に含まれる利用者Ｕの位置を示す情報に基づいて、利用者Ｕの位置が路線上を予め設定された速度以上で移動していると判定した場合、利用者Ｕのいる場所が電車の中であると推定する。また、推定部５０は、検出情報に含まれる利用者Ｕの位置を示す情報に基づいて、利用者Ｕの位置が飲食店の位置で予め定められた時間以上留まっていると判定した場合、利用者Ｕのいる場所が飲食店内であると推定する。

また、処理部２２は、各利用者Ｕによる端末装置２を用いたタスクの実行結果のうち予め定められた条件を満たす情報を抽出対象情報として抽出する抽出部として機能することもできる。この場合、算出部４４は、抽出部によって抽出された抽出対象情報に基づいて、統計情報を生成する。予め定められた条件は、例えば、外れ値や異常値が除外されるなどといった条件である。

また、外れ値を判定するための上述した閾値は、例えば、標準偏差ｎσ外の値などである。ｎは、１以上の値である。例えば、閾値は、標準偏差１σ外の値や標準偏差２σ外の値である。また、例えば、平均値の１／ｍ倍の値などであってもよい。ｍは、例えば、５以上の値である。

また、更新部４８は、適否判定部４６によって実行が適切でないと判定されたタスクのまたはその一部を他のタスクに含めた実行用情報を生成することもできる。例えば、更新部４８は、適否判定部４６によって実行が適切でないと判定された回答に対応する設問を他のアンケート型タスクに含めた実行用情報を生成することができる。この場合、適否判定部４６は、同一の設問に対する同一の利用者Ｕの複数回の回答がいずれも同一の選択肢の回答である場合、上述した外れ値に該当する場合であっても、レアデータとして外れ値でないと判定することもできる。

また、外れ値判定部は、タスクの実行結果を入力とし、タスクの実行の適切度を示す適切スコア（以下、スコア）を出力とする外れ値度判定モデルを有し、かかる外れ値度判定モデルを用いて外れ値を判定することもできる。外れ値度推定モデルは、例えば、実行情報と外れ値であるか否かを示す情報とを含む学習用データを用いた機械学習によって生成される。

例えば、外れ値度推定モデルは、畳み込みニューラルネットワーク、リカレントニューラルネットワーク、またはディープニューラルネットワークなどのニューラルネットワークによる機械学習によって生成されるが、かかる例に限定されない。例えば、学習モデルは、ニューラルネットワークに代えて、ＧＢＤＴ（Gradient Boosting Decision Tree）、線形回帰またはロジスティック回帰といった学習アルゴリズムによる機械学習を用いて生成されてもよい。

また、依頼部４２は、例えば、適否判定部４６によってタスクの実行が適切でないと判定された割合が高い利用者Ｕほど、タスクの実行を依頼する確率を下げたり、実行のタスクを実行する種別または数を減らしたりすることができる。また、依頼部４２は、例えば、適否判定部４６によってタスクの実行が適切であると判定された割合が高い利用者Ｕほど、タスクの実行を依頼する確率を上げたり、実行のタスクを実行する種別または数を増やしたりすることができる。

また、外れ値判定部４５によって外れ値を判定する対象となる実行結果および適否判定部４６によってタスクの実行の適否を判定する対象となる実行結果は、例えば、ランダムに選択されたり、適否判定部４６によってタスクの実行が適切でないと判定された割合が高い利用者Ｕほど多くしたりすることができる。

〔７．ハードウェア構成〕
上述してきた実施形態に係る情報処理装置１および端末装置２の各々は、例えば図９に示すような構成のコンピュータ２００によって実現される。図９は、実施形態に係る情報処理装置１および端末装置２の各々の機能を実現するコンピュータ２００の一例を示すハードウェア構成図である。コンピュータ２００は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ（Read Only Memory）２０３、ＨＤＤ（Hard Disk Drive）２０４、通信インターフェイス（Ｉ／Ｆ）２０５、入出力インターフェイス（Ｉ／Ｆ）２０６、およびメディアインターフェイス（Ｉ／Ｆ）２０７を有する。

ＣＰＵ２０１は、ＲＯＭ２０３またはＨＤＤ２０４に記憶されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ２０３は、コンピュータ２００の起動時にＣＰＵ２０１によって実行されるブートプログラムや、コンピュータ２００のハードウェアに依存するプログラムなどを記憶する。

ＨＤＤ２０４は、ＣＰＵ２０１によって実行されるプログラム、および、かかるプログラムによって使用されるデータなどを記憶する。通信インターフェイス２０５は、ネットワークＮ（図２参照）を介して他の機器からデータを受信してＣＰＵ２０１へ送り、ＣＰＵ２０１が生成したデータを、ネットワークＮを介して他の機器へ送信する。

ＣＰＵ２０１は、入出力インターフェイス２０６を介して、ディスプレイやプリンタなどの出力装置、および、キーボードまたはマウスなどの入力装置を制御する。ＣＰＵ２０１は、入出力インターフェイス２０６を介して、入力装置からデータを取得する。また、ＣＰＵ２０１は、入出力インターフェイス２０６を介して生成したデータを出力装置へ出力する。

メディアインターフェイス２０７は、記録媒体２０８に記憶されたプログラムまたはデータを読み取り、ＲＡＭ２０２を介してＣＰＵ２０１に提供する。ＣＰＵ２０１は、かかるプログラムを、メディアインターフェイス２０７を介して記録媒体２０８からＲＡＭ２０２上にロードし、ロードしたプログラムを実行する。記録媒体２０８は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）などの光学記録媒体、ＭＯ（Magneto-Optical disk）などの光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリなどである。

例えば、コンピュータ２００が実施形態に係る情報処理装置１や端末装置２として機能する場合、コンピュータ２００のＣＰＵ２０１は、ＲＡＭ２０２上にロードされたプログラムを実行することにより、処理部２２や処理部１５の機能を実現する。また、ＨＤＤ２０４には、記憶部２１内または記憶部１４内のデータが記憶される。コンピュータ２００のＣＰＵ２０１は、これらのプログラムを記録媒体２０８から読み取って実行するが、他の例として、他の装置からネットワークＮを介してこれらのプログラムを取得してもよい。

〔８．その他〕
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

例えば、上述した情報処理装置１は、複数のサーバコンピュータで実現してもよく、また、機能によっては外部のプラットホームなどをＡＰＩやネットワークコンピューティングなどで呼び出して実現するなど、構成は柔軟に変更できる。

また、上述してきた実施形態および変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

〔９．効果〕
上述してきたように、実施形態に係る情報処理装置１は、利用者Ｕによる端末装置２を用いたタスクの実行結果を取得する取得部４０と、取得部４０によって取得された実行結果に外れ値が含まれているか否かを判定する外れ値判定部４５と、外れ値判定部４５による判定結果に基づいて、利用者Ｕによるタスクの実行の適否を判定する適否判定部４６とを備える。これにより、情報処理装置１は、例えば、適切ではない実行結果を発注者Ｏに提供する実行結果から除外することができ、クラウドソーシングの促進を図ることができる。

また、取得部４０は、複数の利用者Ｕによる端末装置２を用いたタスクの実行結果の統計情報を取得し、外れ値判定部４５は、取得部４０によって取得された実行結果と統計情報との比較結果に基づいて、実行結果に外れ値が含まれているか否かを判定する。これにより、情報処理装置１は、外れ値を精度よく判定することができ、クラウドソーシングの促進を図ることができる。

また、取得部４０は、タスクの実行結果における異常を示す異常値を取得し、外れ値判定部４５は、取得部４０によって取得された実行結果に異常値が含まれている場合に、実行結果に外れ値が含まれていると判定する。これにより、情報処理装置１は、外れ値を精度よく判定することができ、クラウドソーシングの促進を図ることができる。

また、情報処理装置１は、適否判定部４６によって利用者Ｕによるタスクの実行結果が適切でないと判定された場合に、利用者Ｕにタスクの再実行を依頼する依頼部４２を備える。これにより、情報処理装置１は、適切な実行結果を増やすことができ、クラウドソーシングの促進を図ることができる。

また、情報処理装置１は、適否判定部４６によって利用者Ｕによるタスクの実行結果が適切でないと判定された場合に、利用者Ｕによるタスクの実行結果が適切でないことを示す情報を通知する通知部４７を備える。これにより、情報処理装置１は、例えば、適切ではない実行結果を低減することができ、クラウドソーシングの促進を図ることができる。

また、取得部４０は、利用者Ｕによるタスクの実行過程において実行結果を繰り返し取得し、外れ値判定部４５は、利用者Ｕによるタスクの実行過程において取得部４０によって繰り返し取得される実行結果の各々に外れ値が含まれているか否かを判定し、適否判定部４６は、外れ値判定部４５による判定結果に基づいて、利用者Ｕによるタスクの実行過程において利用者Ｕによる適否を繰り返し判定する。これにより、情報処理装置１は、例えば、適切ではない実行結果を低減することができ、クラウドソーシングの促進を図ることができる。

また、通知部４７は、実行過程において適否判定部４６によって実行結果が適切でないと判定される度に、実行結果が適切でないことを示す情報を通知する。これにより、情報処理装置１は、例えば、適切ではない実行結果を低減することができ、クラウドソーシングの促進を図ることができる。

また、情報処理装置１は、実行過程において適否判定部４６による判定結果に基づいて、利用者Ｕに付与される報酬を推定する推定部５０を備え、通知部４７は、実行過程において推定部５０によって推定された報酬に関する情報を通知する。これにより、情報処理装置１は、例えば、適切ではない実行結果を低減することができ、クラウドソーシングの促進を図ることができる。

また、情報処理装置１は、適否判定部４６による判定結果に基づいて、タスクを更新する更新部４８を備える。これにより、情報処理装置１は、例えば、適切ではない実行結果を低減することができ、クラウドソーシングの促進を図ることができる。

以上、本願の実施形態を図面に基づいて詳細に説明したが、これは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。

１ 情報処理装置
２，３ 端末装置
１０，２０ 通信部
１１ 表示部
１２ 操作部
１３ センサ群
１４，２１ 記憶部
１５，２２ 処理部
１６ 情報取得部
１７ 表示処理部
１８ 情報出力部
３０ 利用者情報記憶部
３１ タスク情報記憶部
３２ タスク実行結果記憶部
４０ 取得部
４１ 受付部
４２ 依頼部
４３ タスク部
４４ 算出部
４５ 外れ値判定部
４６ 適否判定部
４７ 通知部
４８ 更新部
４９ 報酬付与部
５０ 推定部
１００ 情報処理システム
Ｎ ネットワーク

Claims (11)

1. 利用者による端末装置を用いたタスクの実行結果を取得する取得部と、
   前記取得部によって取得された前記実行結果に外れ値が含まれているか否かを判定する外れ値判定部と、
   前記外れ値判定部による判定結果に基づいて、前記利用者による前記タスクの実行の適否を判定する適否判定部と、を備える
   ことを特徴とする情報処理装置。
2. 前記取得部は、
   複数の利用者による端末装置を用いた前記タスクの実行結果の統計情報を取得し、
   前記外れ値判定部は、
   前記取得部によって取得された前記実行結果と前記統計情報との比較結果に基づいて、前記実行結果に前記外れ値が含まれているか否かを判定する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記取得部は、
   前記タスクの実行結果における異常を示す異常値を取得し、
   前記外れ値判定部は、
   前記取得部によって取得された前記実行結果に前記異常値が含まれている場合に、前記実行結果に前記外れ値が含まれていると判定する
   ことを特徴とする請求項１に記載の情報処理装置。
4. 前記適否判定部によって前記利用者による前記タスクの実行結果が適切でないと判定された場合に、前記利用者に前記タスクの再実行を依頼する依頼部を備える
   ことを特徴とする請求項１～３のいずれか１つに記載の情報処理装置。
5. 前記適否判定部によって前記利用者による前記タスクの実行結果が適切でないと判定された場合に、前記利用者による前記タスクの実行結果が適切でないことを示す情報を通知する通知部を備える
   ことを特徴とする請求項１～３のいずれか１つに記載の情報処理装置。
6. 前記取得部は、
   前記利用者による前記タスクの実行過程において前記実行結果を繰り返し取得し、
   前記外れ値判定部は、
   前記利用者による前記タスクの実行過程において前記取得部によって繰り返し取得される前記実行結果の各々に外れ値が含まれているか否かを判定し、
   前記適否判定部は、
   前記外れ値判定部による判定結果に基づいて、前記利用者による前記タスクの実行過程において前記利用者による前記適否を繰り返し判定する
   ことを特徴とする請求項５に記載の情報処理装置。
7. 前記通知部は、
   前記実行過程において前記適否判定部によって前記実行結果が適切でないと判定される度に、前記実行結果が適切でないことを示す情報を通知する
   ことを特徴とする請求項６に記載の情報処理装置。
8. 前記実行過程において前記適否判定部による判定結果に基づいて、前記利用者に付与される報酬を推定する推定部を備え、
   前記通知部は、
   前記実行過程において前記推定部によって推定された前記報酬に関する情報を通知する
   ことを特徴とする請求項７に記載の情報処理装置。
9. 前記適否判定部による判定結果に基づいて、前記タスクを更新する更新部を備える
   ことを特徴とする請求項１～３のいずれか１つに記載の情報処理装置。
10. コンピュータが実行する情報処理方法であって、
    利用者による端末装置を用いたタスクの実行結果を取得する取得工程と、
    前記取得工程によって取得された前記実行結果に外れ値が含まれているか否かを判定する外れ値判定工程と、
    前記外れ値判定工程による判定結果に基づいて、前記利用者による前記タスクの実行の適否を判定する適否判定工程と、を含む
    ことを特徴とする情報処理方法。
11. 利用者による端末装置を用いたタスクの実行結果を取得する取得手順と、
    前記取得手順によって取得された前記実行結果に外れ値が含まれているか否かを判定する外れ値判定手順と、
    前記外れ値判定手順による判定結果に基づいて、前記利用者による前記タスクの実行の適否を判定する適否判定手順と、をコンピュータに実行させる
    ことを特徴とする情報処理プログラム。

Images