JP6802332B1 - 情報処理方法および情報処理装置 - Google Patents

Abstract

【課題】ネットリサーチにおいて、自由回答式のアンケートに対するモニタの回答を、簡易にかつ精度良く分類するための技術を提供する。【解決手段】本発明に係る情報処理方法は、アンケートに含まれる自由回答式の質問に対する回答を複数のカテゴリのいずれかに分類する情報処理方法であって、回答者により作成された、質問に対するテキスト情報からなる回答を取得するステップと、回答に含まれる文字列を１文字ずつに分割してそれぞれ符号化するステップと、符号化された回答に、文字レベル畳み込みニューラルネットワークにより生成された学習済みモデルを適用して、回答者による回答が複数のカテゴリのいずれに分類されるかを判定するステップを有する。【選択図】図１

Description

本発明は、情報処理方法および情報処理装置に関する。

従来から、多数の回答者（モニタ）に質問を送ってアンケートを行う調査が行われている。アンケートにより得られた回答を集計、解析することで、マーケティングや商品開発などを行う際の意思決定支援、統計資料の作成、学術研究等に有益な情報を得ることができる。特に近年、ネットワークを介してアンケートを実施するネットリサーチと呼ばれる調査方法が盛んに利用されている。ネットリサーチには、回答者の負担が比較的軽い、回答結果の集計が容易であるなどのメリットがある。

ネットリサーチを含むアンケート調査における質問の種類として、選択式の質問と、自由回答式の質問とがある。選択式の質問とは、事前に用意された選択肢の中から回答者が回答を選択するものであり、択一選択方式や複数回答方式などがある。一方、自由回答式とは、自由記述式やフリーアンサー（ＦＡ）式とも呼ばれる方式であり、回答者が質問への回答を自由に記述する方式である。自由回答式の質問には、数値や単語を記入するだけの比較的単純な場合あれば、文章による記入を求める場合もある。また、選択式の質問で「その他」を選択した場合のみ文章入力を要求するなど、選択式と自由回答式を組み合わせてもよい。

自由回答式の質問には、選択式の質問と比べて以下のような特徴がある。メリットとしては、選択式では既存の選択肢に含まれる回答しか得られないのに比べて、自由回答式では、調査者も想定していなかった自由な発想に基づく回答を得られることがある。また、文章による詳細な回答が得られる利点もある。一方デメリットとして、選択式は自動的な集計に適しているのに比べて、自由回答式では回答内容の定量的な分析や分類が困難な点がある。また、回答者による誤記のおそれもある。また、同じ物事を指し示す場合でも、回答者によって使う用語が異なる場合もある。

そこで、自由回答の結果を分析するために、コーディングという作業が行われる。これは、回答者から送信された自由回答をカテゴリごとに分類する作業であり、カテゴリに応じた符号（コード）を分類情報として付与する。これにより、自由回答を選択肢化し、定性情報を定量化して分析しやすくできる。コーディングは、自由回答後に行われることから「アフターコーディング（ＡＣ）」とも呼ばれる。

コーディングを自然人が行う場合、調査者が自由回答を目視して一つずつ分類を付与する。しかし、このような人手によるコーディングを行うと、時間的および費用的でのコストが増大する。また、判定手法が属人化しがちになる。そのため調査者が複数人いる場合、熟練度や考え方の違いにより判定結果にばらつきが生じる。また、調査者が交代した場合には作業に習熟するまで時間が必要となり、判定結果の一貫性が保たれないおそれがある。そこで、コーディングを自動的に行う試みがなされてきた。

特許文献１には、自由回答式のアンケートの回答を取得して、機械学習モデルを用いて内容を判定する分類装置が記載されている。
また、特許文献２にも、自由回答式のアンケートの回答に機械学習モデルを適用する、潜在的ニーズ導出装置が記載されている。

特開２００５−０９２４９２号公報 特開２０１６−１１０１８８号公報

特許文献１では、日本語の自由回答テキストに対して形態素解析を行い、特定の表現を検出した上でサポートベクタマシンを用いた機械学習モデルを作成し、分類に利用する。
また、特許文献２でも、自由回答欄の文章を形態素解析して単語を抽出し、回答結果を複数の分類に分ける。

しかしながら、これら従来技術では、自由回答テキストに対して前処理として形態素解析等の情報処理を行う必要があるため、工数が増加し、相応の演算資源や処理時間が必要となる。また、自由回答テキストに対して形態素解析を行う場合、分かち書きの無い日本語においては単語や句の単位での分離に困難が伴う。また、形態素解析には専門的な技術や知識が必要であり、人的コストの増大や、前処理に時間を取られて分析に集中できないなどの問題がある。また、辞書に含まれない単語がある場合（未登録の単語が出現した場合や、誤記を含む場合など）には解析精度が低下するため、辞書を手動により更新し続ける必要があり、継続的なコスト増加要因となる。また、形態素解析の手法は言語に応じて異なる。そのため、言語ごとに学習モデルを作成する必要が生じる。

本発明は上記の課題に鑑みてなされたものであり、その目的は、ネットリサーチにおいて、自由回答式のアンケートに対するモニタの回答を、簡易にかつ精度良く分類するための技術を提供することにある。

上記の目的を達成するため、本発明では、以下のような構成を採用する。すなわち、
アンケートに含まれる自由回答式の質問に対する回答を複数のカテゴリのいずれかに分類する情報処理方法であって、
回答者により作成された、前記質問に対するテキスト情報からなる前記回答を取得するステップと、
前記回答に含まれる文字列を１文字ずつに分割してそれぞれ符号化するステップと、
符号化された前記回答に、文字レベル畳み込みニューラルネットワークにより生成された学習済みモデルを適用して、前記回答者による前記回答が前記複数のカテゴリのいずれに分類されるかを判定するステップと、
を有することを特徴とする情報処理方法である。

本発明は、また、以下の構成を採用する。すなわち、
アンケートに対する回答を複数のカテゴリにいずれかに分類する情報処理方法であって、
前記アンケートには、回答者に対して、写真と、前記写真についてのコメントの送信を要求する質問が含まれており、
回答者より送信された前記回答から、前記写真の画像情報と、前記コメントのテキスト情報を取得するステップと、
前記テキスト情報に含まれる文字列を１文字ずつに分割してそれぞれ符号化するステップと、
前記画像情報を画素ごとに符号化するステップと、
符号化された前記テキスト情報および前記画像情報に、畳み込みニューラルネットワークにより生成された学習済みモデルを適用して、前記回答者による前記回答が前記複数のカテゴリのいずれに分類されるかを判定するステップと、
を有することを特徴とする情報処理方法である。

本発明は、また、以下の構成を採用する。すなわち、
アンケートに含まれる自由回答式の質問に対する回答を複数のカテゴリのいずれかに分類する情報処理装置であって、
回答者により作成された、前記質問に対するテキスト情報からなる前記回答を取得する回答受信部と、
前記回答に含まれる文字列を１文字ずつに分割してそれぞれ符号化する回答内容取得部と、
符号化された前記回答に、文字レベル畳み込みニューラルネットワークにより生成された学習済みモデルを適用して、前記回答者による前記回答が前記複数のカテゴリのいずれに分類されるかを判定する分類判定部と、
を有することを特徴とする情報処理装置である。

本発明は、また、以下の構成を採用する。すなわち、
アンケートに対する回答を複数のカテゴリにいずれかに分類する情報処理装置であって、
前記アンケートには、回答者に対して、写真と、前記写真についてのコメントの送信を要求する質問が含まれており、
回答者より送信された前記回答から、前記写真の画像情報と、前記コメントのテキスト情報を取得する回答受信部と、
前記テキスト情報に含まれる文字列を１文字ずつに分割してそれぞれ符号化し、前記画像情報を画素ごとに符号化する、回答内容取得部と、
符号化された前記テキスト情報および前記画像情報に、畳み込みニューラルネットワークにより生成された学習済みモデルを適用することにより、前記テキスト情報と前記画像情報から同じアルゴリズムで、前記回答者による前記回答が前記複数のカテゴリのいずれに分類されるかを判定する分類判定部と、
を有することを特徴とする情報処理装置である。

本発明によれば、ネットリサーチにおいて、自由回答式のアンケートに対するモニタの回答を、簡易にかつ精度良く分類するための技術を提供することができる。

情報処理システムの全体的な機能構成を説明する図である。 情報処理装置および回答者端末の構成を説明する図である。 自由回答を分類する処理を説明するフローチャートである。 回答者端末を用いて回答する様子を説明する図である。 分類情報の設定について説明する図である。 実施形態２の処理を説明するフローチャートである。 実施形態２における回答の様子を説明する図である。

以下に図面を参照しつつ、本発明の好適な実施の形態を説明する。ただし、以下に記載されている構成ブロックやそれらの相対配置などは、発明が適用されるシステムの各種条件により適宜変更されるべきものであり、この発明の範囲を以下の記載に限定する趣旨のものではない。

本発明は、自由回答式のアンケートに対する回答を分類する技術に関する。本発明は、このような技術を用いた情報処理装置または情報処理方法として捉えることができる。本
発明はまた、上記の情報処理装置の演算資源を利用して動作し、情報処理方法の各工程を実行させるプログラムや、かかるプログラムが格納された記憶媒体としても捉えることができる。記憶媒体は、コンピュータにより読み取り可能な非一時的な記憶媒体であってもよい。本発明はまた、上記のような情報処理装置と、ユーザがアンケートに回答する端末を含めた情報処理システムとして捉えることもできる。

以下の実施形態において、調査者とは、回答者（モニタ）に対してネットを介してアンケートを行い、回答を取得して解析する者である。調査者は、企業、研究機関または個人など、多数のモニタにアンケートを行う者であれば、だれでも構わない。調査者は、企業等自身であってもよいし、企業等からの依頼を受けたリサーチ会社であってもよい。
また回答者とは、ネットを介してアンケートに回答する者である。リサーチ会社は、多数のモニタを会員として組織化しており、調査行動を依頼されるとモニタと連絡を取ってアンケートを行う。かかるリサーチ会社が調査者を兼ねることにより、調査からアンケート実施までの処理をスムーズに行うことができる。ネットリサーチ会社には、比較的低コストかつ短期間で多人数のモニタを対象とする調査を実施可能という利点がある。

［第１の実施形態］
＜全体構成＞
本実施形態のシステムの全体的な構成について、図１、図２を参照しながら説明する。
情報処理システム１は概略、調査者１５が使用する情報処理装置１０と、複数のモニタ（回答者２５ａ，ｂ，…）それぞれが使用する回答者端末（回答者端末２０ａ，２０ｂ，…）を有している。情報処理装置１０と各々の回答者端末２０の間は、Ｗｅｂや専用回線等のネットワークを介して互いに通信可能に接続されている。

情報処理装置１０は、調査者が利用する装置であり、アンケートを作成し、そのアンケートに対する回答者２５からの回答を取得し、自由回答を分類する機能を有する。
図１の紙面下部には、情報処理装置１０の機能ブロックを示している。詳しくは後述するが、情報処理装置１０は、調査者１５がアンケートを作成するアンケート作成部１０１、アンケートを回答者端末２０に送信するアンケート送信部１０２、回答者端末２０から回答を受信する回答受信部１１１、回答中から判別に必要な情報（テキストや画像）を取得する回答内容取得部１１２、テキストから特徴量を取得する特徴抽出部１１３、回答に分類情報を付与する分類判定部１１４、判定結果を調査者１５に提示する結果出力部１１５、調査者１５が学習データを作成するデータ作成部１２１、学習データから学習済みモデルを作成するモデル作成部１２２を備える。各機能ブロックの詳細な動作については後述する。各機能ブロックは、必ずしも物理的な実体である必要はなく、それぞれがプログラムモジュールとして仮想的に実現されてもよい。また、機能ブロックの区分は必ずしも図示したとおりでなくても良く、情報処理装置１０が全体として本実施形態の処理を実現できれば良い。

図２（ａ）に、情報処理装置１０の構成例を示す。
情報処理装置１０としては、演算資源を備え、プログラムの指示やインタフェースを介した指示によって動作する、ＰＣ、サーバ、ワークステーションなどを利用できる。なお、情報処理装置１０として、クラウド上の演算資源を利用するクラウドサーバを用いてもよいし、ネット回線または直接的に接続された複数のＰＣ等を組み合わせてもよい。

図示例では、情報処理装置１０は、情報処理を行うＣＰＵ１００１、画像処理を行うＧＰＵ１００２、データを一時的または永続的に保持するメモリ１００３、Ｗｅｂ等を介して外部との通信を行う通信モジュール１００４、マウス１００５、キーボード１００６、ディスプレイ１００７を含む。メモリ１００３に加えて、またはメモリ１００３の代わりに、情報処理装置１０にＨＤＤやＳＳＤ等の外部記憶装置を接続しても良い。

図１に示したアンケート作成部１０１、アンケート送信部１０２、回答受信部１１１、回答内容取得部１１２、特徴抽出部１１３、分類判定部１１４、結果出力部１１５、データ作成部１２１、モデル作成部１２２などの機能ブロックは、図２（ａ）に示した情報処理装置１０の各構成要素が協同して動作することにより実現される。

回答者端末２０は、回答者２５がアンケートの質問に回答するための端末装置である。
図１の紙面上部には、回答者端末２０の機能ブロックを示している。詳しくは後述するが、回答者端末２０は、情報処理装置１０からアンケートを受信するアンケート受信部２０１、回答者２５が回答を入力する回答入力部２０２、回答を情報処理装置１０に送信する回答送信部２１１を備える。各機能ブロックの詳細な動作については後述する。各機能ブロックは、必ずしも物理的な実体である必要はなく、それぞれがプログラムモジュールとして仮想的に実現されてもよい。また、機能ブロックの区分は必ずしも図示したとおりでなくても良く、回答者端末２０が全体として本実施形態の処理を実現できれば良い。

図２（ｂ）に、回答者端末２０の構成例を示す。
回答者端末２０としては、演算資源を備え、プログラムの指示やインタフェースを介した指示によって動作する、ＰＣ、サーバ、ワークステーションなどを利用できる。また近年のモバイル装置の発達に伴い、スマートフォンやタブレット端末なども好適に利用できる。
図では、回答者端末２０がスマートフォンである場合を示している。回答者端末２０は、情報処理や画像処理を行うＳｏＣ（Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ）２００１、メモリ２００２、通信モジュール２００３、タッチパネル２００４、マイク２００５を含む。

図１に示したアンケート受信部２０１、回答入力部２０２、回答送信部２１１などの機能ブロックは、図２（ｂ）に示した回答者端末２０の各構成要素が協同して動作することにより実現される。

＜処理フロー＞
（前提）
図３を参照して、本実施形態の処理フローについて説明する。本フローは、調査者１５がアンケート実施を決定した時点から開始される。なお、ここでは日本語のアンケートを行っているが、他の言語であっても同様に処理できる。本フローについては、主として図１の機能ブロックを用いて説明を行う。

本実施形態では、回答者２５に対してすぐに調査目的に沿ったアンケート（本アンケートとも呼ぶ）を送信し、回答を収集している。しかし、本アンケートの前にスクリーニングのためのアンケート（予備アンケートとも呼ぶ）を行い、属性条件や履歴条件を満たした回答者２５を抽出してもよい。本発明の技術は、予備アンケートに対する回答と本アンケートに対する回答のどちらにも適用できる。

本フローでは、アンケート中に含まれる質問の数は一つであり、その内容は、回答者２５が購入したい車名を答えさせるというものである。ただし、質問の数に特に制限はない。また、自由回答式の質問だけなく、選択式の質問を含んでいても良い。その場合、自由回答式の質問への回答が処理される。
本フローでは、回答者２５が自由回答した車名を、学習済みモデルにより、予め設定された分類のいずれであるかを自動的に判別する。
本フローでは、単語による回答に対して、その単語に対応するコーディングを行っているが、回答の種類はこれに限られず、文章や数字を含む場合など、コーディングする可能性のある回答であれば、何であれ本発明の対象となる。

（フロー開始）
本フローは概略、学習済みモデルを作成する準備工程と、作成された学習済みモデルを用いて自由回答を分類判別する実施工程に大別される。
ステップＳ１０１〜Ｓ１０３は、コーディング済みのサンプルデータを学習データとして学習済みモデルを作成する、準備工程である。

ステップＳ１０１にて、調査者１５は、情報処理装置１０のデータ作成部１２１を用いてサンプルデータをコーディングして、学習データを作成する。図５（ａ）は、分類の区分を示すテーブルであり、コーディングを行う際の車名とコード符号の対応関係が示されている。この対応関係はデータベースのテーブルとして保存されている。なお、ここでは便宜上、車名を３つだけ用いているが、カテゴリはこれに限定されない。また、同じ車種名でも型式や年式などに応じて細分化しても良い。また、自動車の場合であれば「車名」「色」「年式」といったように、一つの調査対象について、観点が異なる複数のカテゴリを設定しても良い。これにより、調査結果を様々な切り口でタグ検索することが可能となり、多様な観点からの分析が可能になる。

図５（ｂ）は、調査者１５がサンプルデータ（サンプル回答）を人手によりコード化して作成した、学習データである。サンプルデータの取得方法は任意であり、過去の同種の質問に対する回答を取得してもよいし、調査者１５が新規に作成しても良い。サンプル数は求める精度などにもよるが、例えば数百以上とする。続いて、調査者１５は、個々のサンプルデータがどの分類に当たるかを判定して適切な分類情報を付与する。調査者１５は、マニュアル、辞書、ノウハウなどを基準として分類を行うので、図５（ｂ）に示すように、必ずしも正確でない車名に対しても適切な分類情報が付与される。
なお、調査者１５は、分類情報付与の際に、図５（ｄ）に示すように、正しい車名をそのまま入力しても構わない。

ステップＳ１０２にて、調査者１５は、情報処理装置１０のモデル作成部１２２を用いて、テキスト情報を畳み込みニューラルネットワーク（ＣＮＮ）用に数値化する。そしてステップＳ１０３にて、モデル作成部１２２は、数値化されたテキスト情報から学習済みモデルを作成する。

ここで、テキスト情報を対象としたＣＮＮの一例に関して説明する。ＣＮＮは、階層型ニューラルネットワークを用いた機械学習の一種であり、畳み込み層とプーリング層とが多重に繰り返される積層構造を用いて高精度な情報処理を可能としている。本発明の特徴として、ＣＮＮでの学習に用いるテキスト情報を単語や句で区切るのではなく、文字が連続するデータとして捉えて、１文字ごとに符号化を行うことがある。符号化の方法としては、例えば、Ｕｎｉｃｏｄｅ規格の文字集合に含まれる文字に割り当てられたコードポイントを利用可能である。ただし、対象とするテキスト情報を符号化できるのであれば、文字集合や符号化方式は限定されない。例えば、英語のように文字集合に含まれるキャラクタの種類が比較的少ない場合は、符号化時のバイト数がより少なくて済む方法でもよい。なお、回答ごとにテキスト量が異なる場合、テキストを固定長化してＣＮＮでの処理を容易にするために、文章の先頭から所定の文字数を取得したり、ゼロパディングを行ったりしてもよい。このようにＵｎｉｃｏｄｅ文字集合に対する符号化を行うことで、日本語を含めた様々な言語を同じやり方で処理できる。

また上述のように、１文字ごとに符号化が行われる、文字レベル畳み込みニューラルネットワーク（Ｃｈａｒａｃｔｅｒ−ｌｅｖｅｌ Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、以下「文字レベルＣＮＮ」とも呼ぶ）を採用している。文字レベルＣＮＮを採用することで、文章を単なる文字列として取り扱えばよくなる。言い換える
と、文章の意味や文法構造を考慮する必要がなくなり、文字の並びだけを考慮すればよいため、特許文献１で行われていた形態素解析などの前処理が不要となり、１文字ずつ分割して符号化するだけの前処理で良くなる。さらに、文章解析用の辞書を用いる必要がないため、辞書の作成やメンテナンスのコストが不要になる。さらに、図５（ｃ）に示したように誤字や誤記、表記ゆれなどを含む場合でも判定精度が向上する。

ＣＮＮにおける入力データのサイズやチャネル数、フィルタサイズやフィルタ数やフィルタ移動間隔、畳み込みやプーリングの回数、その他学習に必要な種々のパラメータは、入力データの特性や必要な判別精度に応じて適宜定めることができる。なお、学習済みモデルを作成するときには、コーディング済みのサンプルデータを学習データと検証データに分けてもよいし、交差検定法によって精度を向上させてもよい。

ステップＳ１０４以後は、アンケートを実施し、回答に対して学習済みモデルを適用する、アンケート実施工程である。
ステップＳ１０４にて、調査者１５は、情報処理装置１０のアンケート作成部１０１を用いてアンケートを作成する。ここでは、上述した質問文を作成するほか、アンケートに含まれる質問の流れや表示形式など、様々な条件を設定する。そして、アンケート送信部１０２を用いてアンケートを回答者端末２０に送信する。

ステップＳ１０５にて、回答者２５は、回答者端末２０のアンケート受信部２０１が受信したアンケートに対して、回答入力部２０２を用いて回答する。図４は、回答者端末２０のタッチパネル２００４に表示されるアンケートと回答の様子を示す。図４（ａ）は本フローの回答者端末２０であり、ここではスマートフォンを用いる。回答者２５は、回答入力部２０２としてタッチパネル２００４を使用する。

図４（ｂ）は、回答者２５が回答を入力するときの画面を示す。タッチパネル２００４には、質問表示欄２０４１、回答表示欄２０４２、回答送信ボタン２０４３が表示されている。この例での質問は、回答者２５が購入したい車名を答えさせるというものである。回答者２５は、スマートフォンにインストールされたＩＭＥを用いて回答を回答表示欄２０４２に入力すると、図５（ｃ）に示すように、回答送信ボタン２０４３を押下する。これにより、回答者端末２０の回答送信部２１１が、ネットワークを介して情報処理装置１０の回答受信部１１１に回答を送信する。

ステップＳ１０６にて、調査者１５は、情報処理装置１０の回答内容取得部１１２を用いて、取得された回答から、判別に必要な情報を取得する。ここでは、自由回答のテキスト情報を取得する。そして、ＵＴＦ−８による数値化などの処理を行う。続いて特徴抽出部１１３は、テキストに学習済みのモデルを適用して特徴量を抽出する。続いて分類判定部１１４は、自由回答にいずれの分類に当たるかを判定して、分類情報を付与する。分類判定部１１４は、ＣＮＮにおける全結合層から出力層に対応し、本実施形態では分類の数が３個であるため、出力先も３ノードに設定される。そして、抽出された特徴量に基づき、隠れ層における重み付けと出力層でのソフトマックス関数等を用いた演算を行い、分類それぞれに属する確率を算出する。

ステップＳ１０７にて、情報処理装置１０の結果出力部１１５が判定結果を調査者１５に提示する。図５（ｃ）は、分類判定の結果として出力された、車名を示す自由回答中のテキストとコードの関係と、調査者１５に提示される結果を説明するための図である。各自由回答データには、図示したように不正確な車名が含まれる。しかし、本発明の学習済みモデルを適用することにより適切なコーディングが行われるために、調査者に対して正確な情報を提示できる。なお、判定結果の提供方法として、判定済みのデータをメモリに保存したり、オンラインで提供したりしても良い。また、判定済みのデータと、当該デー
タの解析機能を持つソフトウェアを、クラウド上で動作するＳａａＳのような形で提供してもよい。

このように、本実施形態のフローでは、情報処理装置１０が機械学習の結果に基づいて自由回答のテキストを分類する。特に、形態素解析などの前処理が必要なく、自由回答を一様に処理できる。そのため、表記揺れや誤記などを含む多様な自由回答を対象とした場合でも、時間および人手に関するコストを低減しつつ、調査者１５が理解しやすい形式で判定結果を提示できる。したがって、調査者１５のコーディングへの習熟度や機械学習に関する知識に関わらずに、アンケート結果の分析に集中できるようになる。さらに、日本語だけでなく複数の言語を同様に処理できる。

［第２の実施形態］
第２の実施形態について、第１の実施形態との違いを中心に説明を行い、共通部分についての説明は簡略化する。
本実施形態にかかる情報処理システム１の構成は、第１の実施形態と基本的に同じである。本実施形態の回答者端末２０は、第１の実施形態での機能に加えて、アンケートに回答する際に、情報処理装置１０に画像を送信する機能を有する。回答者端末２０がスマートフォンの場合、回答者２５がスマートフォンのカメラで撮影した画像を送信できるようにすると良い。画像は、動画像であっても良い。

＜処理フロー＞
（前提）
図６を参照して、本実施形態の処理フローについて、図３のフローと異なる部分を中心に説明する。本フローでのアンケートは、回答者２５から写真を送信してもらう写真調査アンケートである。このような写真調査には様々な利点がある。例えばテキストのみの回答と比べて、回答者２５の生活実態や行動実態を直感的に把握できる。また、家庭内での実際の商品等の使用状況を確認できる。また、回答者２５が言葉では回答できない内容も、写真を見ることで理解可能となる。

本実施形態では、図７（ａ）に示すように、回答者２５の自宅で使われている家具（ソファー）を撮影して写真の送信を要求するようなアンケートを行う。本実施形態において、送られてきたソファーの写真を、学習済みモデルにより、「布張り」か「革張り」の２つのカテゴリのいずれかに分類する。

（フロー開始）
本実施形態のフローも、学習済みモデルを作成する準備工程と、写真を分類判別するアンケート実施工程に大別される。ステップＳ１０１〜Ｓ１０３は、コーディング済みのサンプルデータを学習データとして学習済みモデルを作成する、準備工程である。

ステップＳ２０１にて、調査者１５は、情報処理装置１０のデータ作成部１２１を用いてサンプルデータをコーディングして学習データを作成し、データとして保存する。サンプルデータとしては、様々なソファーの写真の画像情報を用いる。調査者は、それぞれの写真に写るソファーが布張りか革張りかを判断してコードとしての分類情報を付与する。カテゴリ数は２つに限定されず、より多くても良い。また、色や形状、家具メーカー名など、様々な切り口のカテゴリを設けても良い。調査者１５が持つノウハウにより、各写真に適切な分類情報が付与される。

ステップＳ２０２にて、調査者１５は、情報処理装置１０のモデル作成部１２２を用いて、写真の画像情報を畳み込みニューラルネットワーク（ＣＮＮ）用に数値化する。そしてステップＳ２０３にて、モデル作成部１２２は、数値化された画像情報から学習済みモ
デルを作成する。

ここで、画像情報を対象としたＣＮＮの一例に関して説明する。ここでの入力画像は、ピクセルごとに画素値が数値化される方式で符号化された画像データとする。このような画像データを処理する場合、畳み込み層は、入力層への入力画像に対して、互いに異なる特徴を検出する複数のフィルタを用いた畳み込み演算を行う。これにより、画像の局所性を利用して特徴量を算出できる。ＣＮＮにおいては、フィルタのパラメータは画像認識の対象に応じて自動的に学習される。
プーリング層は、畳み込み層の出力を、画像中の所定領域内の最大値を取るマックスプーリングなどの方法でサブサンプリングして画像解像度を低下させ、特徴量を圧縮する。プーリング層での処理によって、画像中の位置への依存性を低減したり、計算コストを下げたりする効果が得られる。最後に出力層を含む全結合層において、特徴量を結合してパターン分類が行われて結果が出力される。このような学習済みモデルの生成においては、ＣＮＮの分類結果が正解に近づくようにフィルタ重みの計算が行われて最適化される。その際は、誤差逆伝播法など既知の任意の手法を用いてよい。

ステップＳ２０４以後は、アンケートを実施し、回答に対して学習済みモデルを適用する、アンケート実施工程である。
ステップＳ２０４にて、調査者１５は、情報処理装置１０のアンケート作成部１０１を用いてアンケートを作成する。そして、アンケート送信部１０２を用いてアンケートを回答者端末２０に送信する。

ステップＳ２０５にて、回答者２５は、回答入力部２０２を用いてアンケートに回答する。図７（ａ）は回答者端末２０であるスマートフォンのタッチパネル２００４に表示される質問である。回答者２５は、スマートフォンに保存されている写真を選択して回答表示欄２０４２に表示させる。そして、図７（ｂ）に示すように、回答として写真を送信する。

ステップＳ２０６にて、調査者１５は、回答内容取得部１１２を用いて、取得された回答から、判別に必要な情報としての画像情報を取得する。そして、上述したように画像データを符号化する。続いて、特徴抽出部１１３による学習済みのモデルを利用した特徴量抽出、分類判定部１１４による分類判定とカテゴリの決定が行われる。そしてステップＳ２０７にて、結果出力部１１５からの判定結果提示が行われる。

このように本実施形態では、写真調査アンケートで得られた画像情報についても、機械学習の結果に基づいて適切な分類が付与される。その結果、時間および人手に関するコストを低減しつつ、調査者１５が理解しやすい形式で判定結果を提示できる。

＜変形例＞
実施形態１、２では、それぞれ自由回答のテキスト情報と、写真調査の画像情報を処理して自動的にコーディングを行った。実施形態１ではテキスト情報を文字レベルで符号化することで文字列を数値情報として処理しており、実施形態２では画像情報を画素ごとの画素値に基づく数値情報として処理している。そのため本発明では、テキスト情報と画像情報を同じアルゴリズムで処理可能となっている。よって本発明は、回答者２５が写真にコメントを付けて回答する場合のように、テキスト情報と画像情報を組み合わせたマルチモーダルな回答についても適用できる。この場合、コメント部分のテキスト情報については実施形態１と同様に文字レベルで符号化処理し、写真部分の画像情報については実施形態２と同様にピクセル処理をすれば良い。そして、テキスト情報に基づく符号と画像情報に基づく符号を併せてニューラルネットワークに入力して分類を行う。
このようにマルチモーダル化を行うことにより、画像情報の特徴量だけでは区別が難し
い場合にも、回答者のコメントに基づいて分類精度を向上させることができる。

１０：情報処理装置、１０１：アンケート作成部、１０２：アンケート送信部、１１１：回答受信部、１１４：分類判定部、１２１：データ作成部、１２２：モデル作成部
２０：回答者端末、２０１：アンケート受信部、２０２：回答入力部、２１１：回答送信部

Claims (8)

1. アンケートに含まれる自由回答式の質問に対する回答と、アンケートに含まれる質問であって回答者に写真の送信を要求する質問に対して送信された写真とを複数のカテゴリのいずれかに分類する情報処理装置が実行する情報処理方法であって、
   前記回答者により作成された、前記自由回答式の質問に対するテキスト情報からなる前記回答を取得するステップと、
   前記回答に含まれる文字列を１文字ずつに分割してそれぞれ数値化することで符号化するステップと、
   前記回答者から送信された前記写真の画像情報を取得して画素ごとに数値化することで符号化するステップと、
   数値化された前記回答に、文字レベル畳み込みニューラルネットワークにより生成された学習済みモデルを適用して、前記回答者による前記回答が前記複数のカテゴリのいずれに分類されるかを判定するステップと、
   数値化された前記画像情報に、畳み込みニューラルネットワークにより生成された学習済みモデルを適用して、前記回答者から送信された前記写真が前記複数のカテゴリのいずれに分類されるかを判定するステップと、
   を有することを特徴とする情報処理方法。
2. 複数の、前記自由回答式の質問に対するサンプル回答および前記サンプル回答に付与された分類情報からなる学習データを作成するステップと、
   前記複数の学習データのサンプル回答に含まれる文字列を１文字ずつに分割してそれぞれ符号化するステップと、
   前記複数の学習データを用いて前記回答者の回答を分類するための前記学習済みモデルを作成するステップと、
   を含む、準備工程を有することを特徴とする請求項１に記載の情報処理方法。
3. 前記回答に含まれる文字列は、Ｕｎｉｃｏｄｅ規格に対応した符号化方式によって符号化される
   ことを特徴とする請求項１または２に記載の情報処理方法。
4. 前記画像情報は、画素ごとに画素値に基づく数値に符号化される
   ことを特徴とする請求項１〜３のいずれか１項に記載の情報処理方法。
5. アンケートに対する回答を複数のカテゴリにいずれかに分類する情報処理装置が実行する情報処理方法であって、
   前記アンケートには、回答者に対して、写真と、前記写真についてのコメントの送信を要求する質問が含まれており、
   回答者より送信された前記回答から、前記写真の画像情報と、前記コメントのテキスト情報を取得するステップと、
   前記テキスト情報に含まれる文字列を１文字ずつに分割してそれぞれ数値化することで符号化するステップと、
   前記画像情報を画素ごとに数値化することで符号化するステップと、
   数値化された前記テキスト情報および前記画像情報に、畳み込みニューラルネットワークにより生成された学習済みモデルを適用して、前記回答者による前記回答が前記複数のカテゴリのいずれに分類されるかを判定するステップと、
   を有することを特徴とする情報処理方法。
6. 情報処理装置に、請求項１〜５のいずれか１項に記載の情報処理方法を実行させるプログラム。
7. アンケートに含まれる自由回答式の質問に対する回答と、アンケートに含まれる質問であって回答者に写真の送信を要求する質問に対して送信された写真とを複数のカテゴリのいずれかに分類する情報処理装置であって、
   前記回答者により作成された、前記自由回答式の質問に対するテキスト情報からなる前記回答を取得する回答受信部と、
   前記回答に含まれる文字列を１文字ずつに分割してそれぞれ数値化することで符号化する第１の回答内容取得部と、
   前記回答者から送信された前記写真の画像情報を取得して画素ごとに数値化することで符号化する第２の回答内容取得部と、
   数値化された前記回答に、文字レベル畳み込みニューラルネットワークにより生成された学習済みモデルを適用して、前記回答者による前記回答が前記複数のカテゴリのいずれに分類されるかを判定する第１の分類判定部と、
   数値化された前記画像情報に、畳み込みニューラルネットワークにより生成された学習済みモデルを適用して、前記回答者から送信された前記写真が前記複数のカテゴリのいずれに分類されるかを判定する第２の分類判定部と、
   を有することを特徴とする情報処理装置。
8. アンケートに対する回答を複数のカテゴリにいずれかに分類する情報処理装置であって、
   前記アンケートには、回答者に対して、写真と、前記写真についてのコメントの送信を要求する質問が含まれており、
   回答者より送信された前記回答から、前記写真の画像情報と、前記コメントのテキスト情報を取得する回答受信部と、
   前記テキスト情報に含まれる文字列を１文字ずつに分割してそれぞれ数値化することで符号化し、前記画像情報を画素ごとに数値化することで符号化する、回答内容取得部と、
   数値化された前記テキスト情報および前記画像情報に、畳み込みニューラルネットワークにより生成された学習済みモデルを適用することにより、前記テキスト情報と前記画像情報から同じアルゴリズムで、前記回答者による前記回答が前記複数のカテゴリのいずれに分類されるかを判定する分類判定部と、
   を有することを特徴とする情報処理装置。
   

Images