以下、図を参照しながら、この発明の装置、方法、プログラムの一実施の形態について説明する。以下に説明する実施の形態の装置、方法、プログラムは、静止画像データと動画像データとのどちらを投稿する場合にも利用可能なものである。しかし、以下においては説明を簡単にするため、例えば、デジタルカメラを用いて撮影して得られた画像データ(静止画像データ)を所定の画像投稿サイト(写真投稿サイト)に投稿する場合を例にして説明する。
[システムの全体構成]
図1は、この実施の形態の画像投稿システムの概略構成を説明するための図である。図1に示すように、この実施の形態の画像投稿システムは、ネットワーク2を通じて、画像投稿端末装置1、画像投稿サイト3、地図サイト4、情報提供サイト5、機械翻訳サイト6、投稿支援サイト7が接続されて構成されている。
画像投稿端末装置1は、この発明の装置、方法、プログラムの一実施の形態が適用されて構成されたものである。画像投稿端末装置1は、パーソナルコンピュータ、携帯電話端末、タブレット型端末あるいはパッド型端末など呼ばれる薄型の携帯端末などとして実現され、通信機能、ソフトウェア実行機能、文字情報等の入力機能等を備えたものである。
そして、画像投稿端末装置1は、例えば外部メモリやデジタルインターフェースを通じて、デジタルカメラで被写体を撮影することにより得られた画像データを受け付け、これにコメント情報を付加して、所定の画像投稿サイトに投稿を行うものである。
また、図1において、ネットワーク2は、主にインターネットを意味する。インターネットは、全世界規模で構築されている、インターネット・プロトコルによるネットワークを相互接続して構築されたネットワークである。なお、ネットワーク2は、インターネットへの接続経路を提供する公衆交換電話網(PSTN(Public Switched Telephone Network))、デジタル回線網(ISDN(Integrated Services Digital Network))、光通信網などをも含む。また、ネットワーク2は、携帯電話網や、wifiなどと呼ばれる無線LAN(Local Area Network)、wimaxなどと呼ばれる高速無線通信規格に準じた無線通信網などをも含む。
画像投稿サイト3は、ネットワーク2上に設けられている種々の画像投稿サイトの内の1つを代表するものとして示している。画像投稿サイト3は、ネットワーク2を通じて送信されてくる画像データを受信し、これをユーザ毎に記憶保持して管理する。また、画像投稿サイト3は、受信した画像データがユーザ(投稿者)によって公開することが許可されたものである場合に、これを他のユーザにも公開して共有の画像データとして利用できるようにする。この他にも、画像投稿サイト3は、自サイト独自の種々の機能をも提供している。
地図サイト4は、詳細な地図情報を記憶保持する地図データベースや地図上に表現される種々の拠点(POI:point of interest)についての情報をデータベース化したPOIデータベースなどを備えている。そして、地図サイト4は、緯度、経度情報や住所情報を検索キー情報として受け付けて、当該検索キー情報が示す位置を含む地域の地図情報や、例えば、地図上において指示された位置にある店舗等の施設の詳細情報を提供する。
情報提供サイト5は、少なくとも現在から過去数年分の世界各国のニュースなどのトピックや気象情報等を記憶保持し、これらの情報を要求に応じて提供する。情報提供サイト5は、ニュースなどのトピックや気象情報を、日時別、場所別に管理している。このため、情報提供サイト5は、指示された日時と場所におけるトピック等を提供することができる。具体的に、情報提供サイト5は、要求に応じて、例えば、2011年5月21日にアメリカ合衆国のニューヨーク市で発生したニュースを提供したり、2011年8月11日のインドネシアのバリ島の天気と気温を提供したりすることができる。
機械翻訳サイト6は、ネットワーク2を通じて提供されるコメント情報(文字情報)を、選択された他の言語のコメント情報(文字情報)に機械翻訳して、翻訳結果を要求元に返信する。この実施の形態の機械翻訳サイト6は、例えば、日本語、英語、中国語、韓国語、ドイツ語、フランス語などを含め、数十カ国の言語に対応することができるものである。
投稿支援サイト7は、画像投稿端末装置1の付加を軽減したり、画像投稿端末装置1の機能を補完したりするなどのために、ネットワーク2上に設けられたものである。この実施の形態において、投稿支援サイト7は、例えば、所定の被写体についての画像データと、当該被写体を含む画像の画像データに対して付すべきコメント情報を生成するために必要な情報を保持する。そして、投稿支援サイト7は、画像投稿端末装置1からの画像データを含む要求に応じて、当該画像データに付すべきコメント情報を生成して、これを画像投稿端末装置1に提供するなどのことができる。
そして、この実施の形態の画像投稿端末装置1のユーザは、画像投稿端末装置1に対して、被写体の種類に応じて当該被写体が写っている画像を形成する画像データに対して付加するコメント情報に、どのような情報を含めるかの選択設定を予め行っておく。画像投稿端末装置1は、画像データを所定の画像投稿サイトに対して投稿する場合に、当該画像データが形成する画像に写されている被写体の種類を特定し、この特定した被写体の種類に対して設定されている、コメント情報に含める情報を特定するための選択設定を参照する。これにより、画像投稿端末装置1は、投稿しようとしている画像データに対して付加するコメント情報にどのような情報を含めるのかを把握する。
この後、画像投稿端末装置1は、参照した当該選択設定にしたがって、投稿しようとしている画像データに付加するコメント情報を生成するために必要な情報を、地図サイト4、情報提供サイト5、自機の記憶装置等から取得する。そして、画像投稿端末装置1は、取得した情報を用いて、投稿対象の画像データに付加するコメント情報を自動生成し、これを当該画像データに付加する。そして、画像投稿端末装置1は、コメント情報を付加した画像データを、投稿先である画像投稿サイト3が受け付け可能なフォーマットに変換し、これを画像投稿サイト3に投稿(送信)する。
なお、画像投稿端末装置1においては、自動生成したコメント情報について、ユーザからの指示入力に応じて修正することもできる。また、画像投稿端末装置1は、生成したコメント情報を機械翻訳サイト6に提供し、目的とする言語に翻訳してもらって、この目的とする言語に翻訳されたコメント情報をも画像データに付加して投稿することもできる。さらに、画像投稿端末装置1は、ネットワーク2上に投稿支援サイト7が設けられている場合には、投稿支援サイト7の支援を受けて、投稿する画像データに付加するコメント情報を生成することもできる。
また、画像データに対するコメント情報の付加は、種々の方法を用いることができるが、この実施の形態においては、投稿対象の画像データとは分離可能なように付加されるものとして説明する。例えば、画像データとコメント情報とが画像データファイルの異なる領域に格納されて投稿される場合として説明する。
このように、この実施の形態の画像投稿端末装置1は、画像データを画像投稿サイト3に投稿する場合に、投稿する画像データ毎にコメント情報を一々入力する必要はない。投稿する画像データが形成する画像に写されている被写体の種類に応じて、適切なコメント情報を自動的に生成して付加する。したがって、画像データを画像投稿サイト3に投稿する場合に、極めて簡単に投稿を行うことができる。このような機能を有するこの実施の形態の画像投稿端末装置1のより具体的な構成例について以下に説明する。
[画像投稿端末装置1の構成例]
図2は、この実施の形態の画像投稿端末装置1の構成例を説明するためのブロック図である。以下においては説明を簡単にするため、画像投稿端末装置1は、例えば、パーソナルコンピュータとして実現される場合を例にして説明する。
図2に示すように、画像投稿端末装置1は、ネットワーク2への接続機能を実現する部分として、送受信アンテナ101と無線通信部102とを備える。また、画像投稿端末装置1は、ユーザインターフェースとしての機能を実現する部分の1つとして、表示制御部103、表示部104、タッチパネル105を備える。さらに、画像投稿端末装置1は、詳しくは後述する画像データの投稿を支援する機能を実現する部分として、選択設定画面形成部111、被写体種類判別部112、必要情報収集部113、コメント生成部114、翻訳文取得部115、投稿処理部116を備える。
また、画像投稿端末装置1は、画像投稿端末装置1の各部を制御する制御部120と、ハードディスクドライブ(以下、HDDと略称する。)130と、時計回路141とを供える。また、画像投稿端末装置1は、ユーザインターフェースとしての機能を実現する部分の1つとして、操作入力部142を備える。さらに、画像投稿端末装置1は、データの入出力インターフェースとして、メモリスロット部143と、外部接続端子144及び外部インターフェース(以下、外部I/Fと略称する。)145を備える。
[基本的な機能を実現する部分の説明]
送受信アンテナ101と無線通信部102とは、ルーターやLAN(Local Area Network)のアクセスポイントとの間で無線通信を行うものである。これにより、画像投稿端末装置1は、近隣に設置されたルーターやアクセスポイントを通じて、ネットワーク2に接続することができる。そして、無線通信部102は、ネットワーク2を通じて送信されてくる自機宛てのデータを、送受信アンテナ101を通じて受信し、これを自機において処理可能な形式のデータに変換して制御部120に供給する。また、無線通信部102は、制御部120からの送信すべきデータを、ネットワーク2を通じて送信する形式の送信用データに変換し、これ送受信アンテナ101を通じて送信する。
表示制御部103は、制御部120により制御され、制御部120からの種々の表示情報(表示画面情報、静止画像データ、動画像データ等)から、表示部104に供給する映像信号を形成し、これを表示部104に供給する。表示部104は、LCD(Liquid Crystal Display)や有機ELディスプレイ(organic electro luminescence display)等のいわゆる薄型の表示素子が用いられたものである。そして、表示部104は、表示制御部103からの映像信号に応じた映像を自己の表示画面に表示させる。このようにして、種々の表示情報が、表示部104の表示画面に表示されてユーザに提供される。
また、タッチパネル105は、表示部104の表示画面に貼付され、ユーザの指等の指示体による接触位置(接触座標)を検出し、これを制御部120に通知する。したがって、タッチパネル105は、制御部120によって表示位置が制御される表示部104の表示画面に表示される表示情報と共に入力インターフェースを構成する。
そして、制御部120は、上述したように、画像投稿端末装置1の各部を制御するものであり、図2に示すように、CPU121、ROM122、RAM123が、CPUバス124を通じて接続されて構成されたコンピュータ装置である。当該コンピュータ装置においては、CPU121が機能し、ROM122に記憶されているBIOSなどのいわゆるファームウェアや後述するHDD130のハードディスクに記憶されているアプリケーションソフトウェアを読み出して実行する。そして、CPU121は、各部への制御信号を形成し、これを関係する各部に供給し、また、各部からのデータを受信してこれを処理する。
HDD130は、記録媒体としてハードディスクを備え、制御部120の制御に応じて、当該ハードディスクに対して、書き込み/読み出しを行う。すなわち、HDD130は、この画像投稿端末装置1に設けられた記憶装置である。HDD130のハードディスクには、いわゆるファームウェア、種々のアプリケーションソフトウェアが記憶されている。また、HDD130のハードディスクには、外部機器から供給された画像データ等も記憶することができる。さらに、この実施の形態において、HDD130のハードディスクには、詳しくは後述するが、被写体種類別選択設定テーブル、被写体別登録テーブル、コメント用テンプレートテーブル等の画像データの投稿支援に係わる情報も記憶されている。
時計回路141は、この実施の形態においては、少なくとも、現在年月日、現在曜日、現在時刻を提供することができるものである。操作入力部142は、アルファベットキー、数字キー、各種のファンクションキーを備えやキーボードやいわゆるマウスなどのポインティングデバイスからなる。メモリスロット部143は、いわゆるメモリーカードの装着部と、これに装着されたメモリーカードに対するデータの書き込み/読み出し部とからなる。なお、メモリスロット部143は、規格の異なる複数種類のメモリーカードに対応することができるものである。
外部接続端子144は、種々の外部機器との接続端部を形成する。また、外部I/F145は、制御部120により制御され、外部接続端子144を通じて接続された外部機器との間において、データの送受を可能にする。すなわち、外部I/F145は、外部接続端子144に接続された外部機器からのデータを受け付けて、これに自機において処理可能な形式のデータに変換して制御部120に供給する。また、外部I/F145は、制御部120からのデータを、外部機器に供給可能な形式のデータに変換して、これを外部接続端子144を通じて外部機器に供給する。
なお、画像投稿端末装置1において、外部接続端子144及び外部I/F145は、例えば、USB(Universal Serial Bus)規格に準拠したデジタルインターフェースである。もちろん、これに限るものではなく、外部接続端子144及び外部I/F145は、種々の規格のものとして実現することができる。
そして、デジタルカメラにおいて撮影されることにより画像データが記録されたメモリーカード150が、画像投稿端末装置1のメモリスロット部143に装填されたとする。この場合、画像投稿端末装置1は、メモリスロット部143に装填されたメモリーカード150に記録されている画像データを、画像投稿サイト3への投稿対象とすることができる。また、デジタルカメラが外部接続端子144を通じて画像投稿端末装置1に接続されたとする。この場合にも、画像投稿端末装置1は、外部接続端子144に接続されたデジタルカメラのメモリに記録されている画像データを、画像投稿サイト3への投稿対象とすることができる。
また、画像投稿端末装置1は、メモリスロット部143に装填されたメモリーカード150に記録されている画像データを読み出して、これを自機のHDD130のハードディスクに蓄積することもできる。同様に、画像投稿端末装置1は、外部接続端子を通じて接続されたデジタルカメラのメモリから、これに記録されている画像データを読み出して、これを自機のHDD130のハードディスクに蓄積することもできる。このようにして、HDD130のハードディスクに蓄積した画像データを、画像投稿サイト3への投稿対象とすることができる。
[画像データの投稿支援機能を実現する部分の説明]
そして、画像投稿端末装置1は、画像データを目的とする画像投稿サイトに投稿する場合に、ユーザの手を煩わせることなく、画像データに対して自動的に生成したコメント情報を付加して投稿することができる。このような画像データの投稿支援機能を実現する部分である選択設定画面形成部111、被写体種類判別部112、必要情報収集部113、コメント生成部114、翻訳文取得部115、投稿処理部116について具体的に説明する。
選択設定画面形成部111は、制御部120によって制御され、被写体の種類に応じて、画像データに対して付加するコメント情報に含める情報を特定する選択設定を受け付けるための選択設定画面を形成する処理を行う。この場合、選択設定画面形成部111は、HDD130のハードディスクに記憶されている被写体種類別選択設定テーブルに基づいて当該選択設定画面を形成する。
図3は、当該被写体種類別選択設定テーブルの例について説明するための図である。図3に示すように、被写体種類別選択設定テーブルは、被写体の種類毎に、予め決められた複数の情報の中からどの情報をコメント情報に含めるのかを示す情報が、いわゆるフラグのオン/オフ情報として設定されたものである。図3に示した例の場合には、被写体の種類として、人物、動物、植物、他の生物(昆虫等)、風景、建物、料理、静物(器物、家具等)が設定されている場合を示している。また、コメント情報に含めることが可能な情報として、撮影日時、撮影場所、撮影方向、撮影時の天気、撮影時の気温、撮影日もしくはその近傍において発生したニュースなどのトピック、被写体に対応付けられている登録情報が設定されている場合を示している。
なお、図3に示した被写体種類別選択設定テーブルの例における、被写体の種類やコメント情報に含めることが可能な情報は一例であり、これら以外の被写体の種類やコメント情報に含めることが可能な情報を追加することもできる。そして、被写体種類別選択設定テーブルは、ユーザによって変更することができるものである。そして、図3に示した例の場合には、例えば、被写体が「人物」である画像の画像データに対しては、「撮影日時、撮影場所、撮影時の天気、登録情報」の4つの情報を含むコメント情報を生成して付加する設定されている場合を示している。また、被写体が「風景」である画像の画像データに対しては、「撮影日時、撮影場所、撮影方向、撮影時の天気、撮影時の気温、トピック」の6つの情報を含むコメント情報を生成して付加する設定されている場合を示している。
本来、被写体の種類(何を撮影したのか)に応じて、撮影することにより得られた画像データに対して付加するコメント情報に含める情報は異なる。すなわち、撮影日時や撮影場所は、どのような画像データについても必要な情報である場合が多い。しかし、撮影方向、撮影時の天気や気温、トピックや被写体に対応付けて事前に登録した登録情報等は、被写体に応じて必要な場合と必要でない場合がある。
このため、選択設定画面形成部111は、図3を用いて一例を説明した被写体種類別選択設定テーブルに基づいて選択設定画面を形成し、これを制御部120及び表示制御部103を通じて表示部104に供給する。これにより、表示部104の表示画面に当該選択設定画面が表示される。そして、表示された当該選択設定画面に対して、ユーザによって被写体の種類毎に、画像データに付加するコメント情報に含める情報を特定するための選択設定を簡単に行うことができるようにしている。なお、表示部104の表示画面に表示された選択設定画面に対する入力は、タッチパネル105や操作入力部142を通じて行われる。
被写体種類判別部112は、制御部120によって制御され、投稿対象として選択された画像データが形成する画像の分析を行って、当該画像に写っている被写体の種類を判別し、判別結果を制御部120に通知する。被写体種類判別部112は、例えば、被写体の輪郭や被写体の色彩の分布や構成比率等に基づいて被写体の種類を判別する。例えば、被写体の種類毎に1以上の代表的な被写体の輪郭情報をHDD130に予め用意しておく。そして、被写体種類判別部112は、投稿対象の画像データが形成する画像に写っている被写体の輪郭(エッジ)検出を行う。そして、被写体種類判別部112は、当該検出した被写体の輪郭と、HDD130に用意されている輪郭情報とのマッチング処理を行い、両者の類似度に応じて、被写体の種類を判別することができる。
また、被写体の種類毎に1以上の代表的な被写体の色彩の分布や色彩の構成比率についての情報をHDD130に予め用意しておく。そして、被写体種類判別部112は、投稿対象の画像データが形成する画像に写っている被写体の色彩の分布や構成比率の検出を行う。そして、被写体種類判別部112は、当該検出した被写体の色彩の分布や構成比率と、HDD130に被写体の種類毎に用意されている被写体の色彩の分布や構成比率とを比較し、その類似度に応じて被写体の種類を判別することもできる。
もちろん、被写体の輪郭と色彩の分布や色彩の構成比率との両方を考慮して、被写体の種類を判別することもできる。また、モノクロ画像の場合には、色彩の分布や色彩の構成比率に替えて、白黒の濃淡の分布や白黒の濃淡の構成比率を用いるようにすればよい。また、ここで説明した方法に限ることなく、種々の方法を用いて、投稿対象の画像データが形成する画像に写っている被写体の種類を判別できる。
必要情報収集部113は、被写体種類判別部112において判別された被写体の種類に基づいて、HDD130の上述した被写体種類別選択設定テーブルを参照し、投稿対象の画像データに付加するコメント情報に含める情報を特定する。そして、必要情報収集部113は、当該特定した情報を、投稿対象の画像データのメタデータをも用いてネットワーク2上のサイトや自機の記憶装置から収集する。ここで、必要情報の収集に用いられる画像データのメタデータについて説明する。
図4は、デジタルカメラで被写体を撮影することにより形成される画像データファイルのフォーマットの一例の概要を説明するための図である。図4に示すように、画像データファイルには、ファイル名、ヘッダ情報、メタデータ、画像データが含められる。ファイル名(ファイルID)は、当該画像データファイルの識別情報である。また、ヘッダ情報は、当該画像データファイルを管理したり利用したりするために必要となる種々の情報を含む。
メタデータは、当該画像データファイルに格納されている画像データに関する種々の情報である。この実施の形態で用いられる画像データファイルのメタデータには、撮影日時、撮影方向、焦点距離、GPS(Global Positioning System)情報が含まれる。GPS情報は、緯度、経度、標高等である。近年のデジタルカメラには、時計回路はもとより、自機の向きを検出する方位センサ(地磁気センサ)、用いるレンズ等に応じた焦点距離の算出機能、さらにはGPS機能も搭載されるようになっている。
このため、これら回路や機能を用いて得られた撮影時における種々の情報が、画像データに対するメタデータに含められるようになっている。この他にも、撮影機器メーカー名などの撮影機器に関する情報や解像度やシャッタースピードなどの種々の撮影パラメータなどもメタデータとして画像データファイルに含められる。なお、画像データファイルのフォーマット(規格)には種々のものが存在するが、多くのデジタルカメラでは、Exif(Exchangeable image file format)規格のフォーマットが採用されている。
そして、必要情報収集部113は、撮影日時が必要な場合には投稿対象の画像データのメタデータに含まれる撮影日時を取得する。また、必要情報収集部113は、撮影場所が必要な場合には、投稿対象の画像データのメタデータに含まれるGPS情報の緯度、経度を取得し、これを検索キー情報として用いて、地図サイト4から場所名を取得する。この場合、必要情報収集部113は、制御部120、無線通信部102、送受信アンテナ101を通じて、ネットワーク2に接続し、ネットワーク2上の地図サイト4に撮影場所の緯度、経度を含む情報提供要求を送信する。
地図サイト4は、当該情報提供要求の緯度、経度に基づいて、自己の地図DBやPOIDBを参照し、当該緯度、経度により特定される場所の場所名(地名やその場所に存在する施設の施設名など)を抽出して、これを要求元に返信する。地図サイト4からの返信情報は、画像投稿端末装置11において、送受信アンテナ101及び無線通信部102を通じて受信され、制御部120を通じて必要情報収集部113に供給される。これにより、必要情報収集部113は、撮影場所の場所名(撮影場所を示す情報)を取得することができる。
また、必要情報収集部113は、撮影方向が必要な場合には、投稿対象の画像データのメタデータに含まれる撮影方向を取得する。また、必要情報収集部113は、撮影時の天気、気温、トピックが必要な場合には、投稿対象の画像データのメタデータから取得する撮影日時と撮影場所(緯度、経度)とを検索キー情報として用いて、情報提供サイト5から必要とする情報を取得する。この場合、必要情報収集部113は、制御部120、無線通信部102、送受信アンテナ101を通じて、ネットワーク2に接続し、ネットワーク2上の情報提供サイト5に、撮影日時と撮影場所とを含む情報提供要求を送信する。
情報提供サイト5は、当該情報提供要求の撮影日時と撮影場所(緯度、経度)とに基づいて、自己の蓄積情報(データベース)を参照し、撮影日時における、撮影場所を含む所定の地域の天気、気温、トピックを抽出する。そして、情報提供サイト5は、抽出した情報を要求元に返信する。情報提供サイト5からの返信情報は、画像投稿端末装置11において、送受信アンテナ101及び無線通信部102を通じて受信され、制御部120を通じて必要情報収集部113に供給される。これにより、必要情報収集部113は、撮影日時における撮影場所を含む所定の地域の天気、気温、トピックを取得することができる。
なお、トピックの場合には、撮影日時に含まれる撮影時刻までをもキー情報として用いてしまうと、適当なトピックが抽出できない場合も多い。このため、トピックの場合には、撮影日、撮影日を挟む前後1日を含めた3日間の期間、撮影日を含む週、撮影日を含む月などをキー情報として情報を抽出するようにすればよい。しかし、このように、トピックを抽出する期間を長くした場合には、多くのトピックが抽出されてしまい、画像投稿端末装置1に提供すべきトピックを絞り込めない場合も起り得る。
このため、情報提供サイト5側でニュースなどのトピックに例えば重要度に応じたランク付けを行っておき、ランクの高いトピックから画像投稿端末装置1に提供するようにしてもよい。また、被写体種類別選択設定テーブルにおいて、単にトピックが必要か否かを設定するのではなく、どの分野(政治、経済、社会、芸能、音楽、人物等)のトピックが必要かをも設定できるようにしておき、設定された分野のトピックを抽出することもできる。また、この場合においても、重要度に応じたランク付けを併用してもよい。
また、必要情報収集部113は、登録情報(被写体に応じた登録情報)が必要な場合には、HDD130に記憶されている被写体別登録テーブルから、投稿対象の画像データが形成する画像に写っている被写体に応じた登録情報を取得する。図5は、HDD130に記憶されている当該被写体別登録テーブルの例について説明するための図である。
図5に示すように、被写体別登録テーブルは、投稿対象の画像データが形成する画像に写っている被写体自体を特定するための特定用画像データと、当該被写体の種類、当該被写体は誰か(何か)を示す情報、当該被写体に関する日付情報、当該被写体に関するメッセージ情報からなっている。なお、図5を用いて説明した例は一例であり、図5に示した以外の情報を登録情報に含めることももちろんできる。また、図5に示した被写体別登録テーブルは、人物と動物の登録情報が登録されている場合を示したが、これに限るものではない。被写体別登録テーブルには、人物や動物以外の種々の被写体についても、人物や動物についての登録情報と同様の情報について登録することができる。
そして、必要情報収集部113は、投稿対象の画像データについての登録情報を収集する場合には、投稿対象の画像データが形成する画像に写っている被写体部分の画像データと、被写体別登録テーブルの各登録情報の特定用画像データとのマッチングを行う。そして、投稿対象の画像データが形成する画像に写っている被写体に合致する特定用画像データを有する登録情報を特定し、当該登録情報から、被写体の種類、被写体は誰か(何か)を示す情報、被写体に関する日付情報、被写体に関するメッセージ情報を抽出する。このようにして抽出された登録情報を用いることにより、詳しくは後述するが、被写体自体に応じたコメント情報を自動生成することができる。
コメント生成部114は、判別された被写体の種類に対応する選択設定情報と、必要情報収集部113において収集された情報と、HDD130のコメント用テンプレートテーブルの情報に基づいて、投稿対象の画像データに付加するコメント情報を生成する。選択設定情報は、上述もしたように、被写体種類判別部112によって判別された被写体の種類に基づいて、HDD130の被写体種類別選択設定テーブルから読み出される情報である。また、コメント用テンプレートテーブルは、読み出された選択設定情報に応じて、どのようなコメント情報を生成するのかを指示する情報である。
図6は、この実施の形態の画像投稿端末装置1で用いるコメント用テンプレートテーブルの例を説明するための図である。この例のコメント用テンプレートテーブルは、「1.日時、場所、方向に関するコメント」と、「2.気候に関するコメント」と、「3.トピックに関するコメント」と、「4.登録情報に応じたコメント」を形成するためのものである。そして、図6に示すように、「1.日時、場所、方向に関するコメント」は、「(1)日時のみ付加」する場合と、「(2)日時と場所を付加」する場合と、「(3)日時と場所と方向を付加」する場合とにおいて、どのようなコメント情報を生成するかを示すテンプレートを有する。
同様に、「2.気候に関するコメント」は、「(1)天気のみ付加」する場合と、「(2)天気と気温を付加」する場合とにおいて、どのようなコメント情報を生成するかを示すテンプレートを有する。また、「3.トピックに関するコメント」は、トピックを用いる場合に、どのようなコメントを生成するかを示すテンプレートを有する。また、「4.登録情報に応じたコメント」は、登録情報を用いる場合に、どのようなコメント情報を生成するかを示すテンプレートを有する。
コメント生成部114は、判別された被写体の種類に対応する選択設定情報に基づいて、図6に示したコメント用テンプレートテーブルのどのテンプレートを用いるのかを特定する。そして、特定したテンプレートの情報挿入部分に対して、必要情報収集部113が収集した情報や、必要情報収集部113が収集した情報から形成される情報を挿入し、コメント情報を完成させる。
例えば、図3に示した被写体種類別選択設定テーブルにおいて、被写体種類が「風景」の場合の選択設定情報にしたがって、コメント情報を生成する場合について具体的に説明する。図3に示した被写体種類別選択設定テーブルの被写体種類が「風景」の場合の選択設定情報は、登録情報以外の情報をコメント情報に含める態様になっている。このため、この場合には、「1.日時、場所、方向に関するコメント」の「(3)日時と場所と方向を付加」する場合のテンプレートと、「2.気候に関するコメント」の「(2)天気と気温を付加」する場合のテンプレートと、「3.トピックに関するコメント」のテンプレートを用いる。そして、これらのテンプレートに必要情報収集部113で収集された情報を挿入して、コメント情報を自動生成する。
例えば、必要情報収集部113で収集された情報が、撮影日時が「2011年9月10日」、撮影場所が「京都○○ホテル」、撮影時の天気が「晴れ」、撮影時の気温が「23度」、撮影日のトピックが「□□□会議が京都で開催される。」であったとする。この場合、コメント生成部114は、
「[2011年9月10日]に[京都○○ホテル]で撮影しました。」
「撮影時の天気は[晴れ]で、気温は[23]度でした。」
「撮影を行った日には、[□□□会議が京都で開催される。]」ということがありました。」
というコメント情報を自動生成する。
また、図3に示した被写体種類別選択設定テーブルにおいて、被写体種類が「人物」や「動物」などである場合には、登録情報をもコメント情報に含めることが指示されている。この場合には、「4.登録情報に応じたコメント」のテンプレートを用いる。そして、この場合、必要情報収集部113において収集された登録情報や、当該登録情報が用いられて形成された情報をコメント情報に含める。
必要情報収集部113において、例えば、図5の二段目に示した登録情報、すなわち「人物、長女、2007年4月8日(誕生日)、夢はピアニスト」という情報が収集されたとする。この場合には、被写体は「長女」であるという情報と、被写体の誕生日は「2007年4月8日」であるという情報と、「4.登録情報に応じたコメント」のテンプレートにしたがって、「[長女]、[4]才の[夏] [夢はピアニスト]」というコメント情報を自動生成する。この場合、年齢は、被写体の誕生日と撮影日時に基づいて特定することができ、季節(この例では「夏」)は、撮影日時に基づいて特定することができる。
また、「4.登録情報に応じたコメント」のテンプレートを、例えば、被写体は誰か(何か)に応じて種々用意しておくことにより、被写体に応じたコメント情報を生成することができる。例えば、「4.登録情報に応じたコメント」のテンプレートとして、被写体が「父、母、祖父、祖母」である場合に、「私の[父、母、祖父、祖母]です。[○○]才です」というテンプレートを用意しておく。
そして、必要情報収集部113において、図5の上段に示した登録情報、すなわち「人物、父、1941年9月8日(誕生日)」という登録情報が収集されたとする。この場合には、被写体は「父」であるという情報と、被写体の誕生日は「1941年9月8日」であるという情報と、上記の被写体が「父、母、祖父、祖母」である場合のテンプレートに従って、「私の[父]です。[70]才です。」というコメント情報を自動生成できる。
そして、コメント生成部114において生成されたコメント情報の所定の言語による翻訳文を、投稿対象の画像データに付加することが、画像投稿端末装置1のユーザによって指示されたとする。この場合に、翻訳文取得部115は、コメント生成部114で生成されたコメント情報(この実施の形態においては日本語のコメント情報)を含む翻訳要求を形成し、これを機械翻訳サイト6に送信する。当該翻訳要求には、元の言語が何語で、また、何語に翻訳したいのかを示す情報も含まれる。この場合、翻訳文取得部115は、制御部120、無線通信部102、送受信アンテナ101を通じて、ネットワーク2に接続し、ネットワーク2上の機械翻訳サイト6に当該翻訳要求を送信する。
機械翻訳サイト6は、当該翻訳要求を受信すると、これに含まれるコメント情報を指示された言語に機械翻訳し、翻訳したコメント情報を要求元に返信する。機械翻訳サイト6からの返信情報は、画像投稿端末装置11において、送受信アンテナ101及び無線通信部102を通じて受信され、制御部120を通じて翻訳文取得部115に供給される。これにより、翻訳文取得部115は、コメント生成部114で生成されたコメント情報の目的とする言語の翻訳文を取得することができる。なお、翻訳文取得部115は、コメント生成部114で生成されたコメント情報について、異なる2以上の言語による翻訳文を、同時に、または、順次に、機械翻訳サイト6に要求して取得することもできる。
そして、投稿処理部116は、投稿対象の画像データとコメント生成部114で生成されたコメント情報と、翻訳文取得部115で取得したコメント情報の翻訳文があるときには、これをも含めて、投稿用の画像データを形成し、これを画像投稿サイト3に投稿する。この場合、投稿処理部116は、例えば、画像投稿サイト3が公開しているAPI(Application Program Interface)を用いるなどして、画像投稿サイト3が受け付けることが可能なフォーマットの投稿用の画像データを形成する。そして、投稿処理部116は、形成した投稿用の画像データを、制御部120、無線通信部102、送受信アンテナ101を通じて、ネットワーク2に接続し、ネットワーク2上の画像投稿サイト3に送信(投稿)する。
また、この実施の形態の画像投稿端末装置1の投稿処理部116は、ユーザからの指示に応じて複数の画像投稿サイトに対して、ユーザにより選択された画像データに生成したコメント情報を付加して投稿することができる。この場合、投稿処理部116は、各画像投稿サイトに応じたフォーマットの投稿用の画像データを生成することができる。
また、投稿処理部116は、画像投稿端末装置1のユーザからの指示に応じて、投稿する画像データの公開/非効果の別などの種々の必要情報をも含めた投稿用の画像データを形成することもできる。しかし、コメント情報を付加した画像データの投稿は、第三者への公開(第三者との共有)を目的として行われる場合が多い。このため、この実施の形態においては、基本的に公開を許可した画像データを投稿する場合とする。
[画像投稿端末装置1で行われる処理のまとめ]
次に、上述した構成を有するこの実施の形態の画像投稿端末装置1で行われる画像データの投稿支援に関わる処理について、フローチャートと表示画像の例を用いながらまとめる。
[被写体種類別選択設定テーブルの設定処理]
まず、この実施の形態の画像投稿端末装置1において行われる被写体種類別選択設定テーブルの設定処理について説明する。図7は、被写体種類別選択設定テーブルの設定処理について説明するためのフローチャートであり、図8は、当該処理において用いられる被写体種類別設定テーブルの選択設定画面の例について説明するための図である。
制御部120は、操作入力部142あるいはタッチパネル105を通じて、被写体種類別選択設定テーブルの設定処理を実行するための所定の操作入力を受け付けると、選択設定画面形成部111を制御して、図7に示す処理を実行する。ここで、当該所定の操作入力は、例えば、当該設定処理に対応付けられたアイコンやメニュー項目を選択するものである。
そして、選択設定画面形成部111は、選択設定画面を形成し、これを表示部104の表示画面105へ表示する処理を行う(ステップS101)。具体的に、ステップS101において、選択設定画面形成部111は、まず、制御部120を通じて、HDD130に記憶されている図3を用いて説明した被写体種類別選択設定テーブルの情報を読み出してRAM123に一時記憶し、当該一時記憶した情報に基づいて図8に示す選択設定画面を形成する。そして、選択設定画面形成部111は、形成した選択設定画面を制御部120及び表示制御部103を通じて表示部104に供給して、表示部104の表示画面104Gに当該選択設定画面を表示する。
当該選択設定画面は、図8に示したように、縦軸方向には被写体種類が並べられ、横軸方向にはコメント情報に含める情報として選択可能な情報が並べられたものである。そして、被写体種類毎、選択可能な情報毎に、四角形のマークで示したいわゆるチェックボックスが設けられている。そして、目的とするチェックボックスの表示位置に合致するタッチパネル上の位置にユーザの指等を接触させることにより、当該チェックボックスにおけるチェックのオン/オフを入力することができる。
なお、操作入力部142を構成するマウスなどにより、カーソルを目的とするチェックボックス上に位置付け、クリック操作を行うことによっても、当該チェックボックスにおけるチェックのオン/オフを入力することができる。また、図8に示すように、選択設定画面の右下端部には、「登録」ボタンと「キャンセル」ボタンとが設けられており、これらの表示ボタンについても、タッチパネル105や操作入力部142を通じて選択することができる。
そして、制御部120は、表示部104の表示画面104Gに表示した選択設定画面に対する操作入力を受け付ける(ステップS102)。制御部120は、受け付けた操作入力が、チェックボックスに対するチェックのオン/オフ操作か否かを判別する(ステップS103)。ステップS103の判別処理において、チェックのオン/オフ操作を受け付けたと判別したときには、当該操作入力に応じて、RAM123に一時記憶した被写体種類別選択設定テーブルの対応する設定情報(フラグ)を変更し、選択設定画面の表示を変更する(ステップS104)。この後、ステップS102からの処理を繰り返す。
また、ステップS103の判別処理において、チェックのオン/オフ操作を受け付けていないと判別したときには、制御部120は、受け付けた操作入力が、「キャンセル」ボタンの選択操作か否かを判別する(ステップS105)。ステップS105の判別処理において、受け付けた操作入力は「キャンセル」ボタンの選択操作であると判別したときには、制御部120は、表示制御部103を制御して、表示部104の表示画面104Gに表示した選択設定画面を消去して、図7に示した処理の実行前の表示状態に戻し(ステップS108)、この図7に示す処理を終了する。
また、ステップS105の判別処理において、受け付けた操作入力は「キャンセル」ボタンの選択操作ではないと判別したときには、制御部120は、受け付けた操作入力は「登録」ボタンの選択操作か否かを判別する(ステップS106)。ステップS106の判別処理において、受け付けた操作入力は「登録」ボタンの選択操作ではないと判別したときには、制御部120は、操作入力を受け付けていないか、受け付けた操作入力は無効なものであると判別し、ステップS102からの処理を繰り返す。
また、ステップS106の判別処理において、受け付けた操作入力は「登録」ボタンの選択操作であると判別したときには、制御部120は、RAM123に一時記憶している選択設定情報をHDD130に書き戻す処理を行う(ステップS107)。これにより、HDD130の選択設定情報が、ユーザの操作入力に応じて変更されたものに更新される。この後、制御部120は、表示部104の表示画面104Gに表示した選択設定画面を消去して、図7に示した処理の実行前の表示状態に戻し(ステップS108)、この図7に示す処理を終了する。
このように、画像投稿端末装置1は、制御部120と選択設定画面形成部111とが協働し、HDD130に記憶される被写体種類別選択設定テーブルの情報を更新する処理を行う。
[画像データの投稿処理]
次に、この実施の形態の画像投稿端末装置1において行われる画像データの投稿処理について具体的に説明する。図9〜図12は、この実施の形態の画像投稿端末装置1において行われる画像データの投稿処理(画像投稿処理)を説明するためのフローチャートである。また、図13〜図15は、当該画像データの投稿処理において、画像投稿端末装置1の表示部104の表示画面104Gに表示される表示画面の例を説明するための図である。
制御部120は、操作入力部142あるいはタッチパネル105を通じて、画像投稿処理を実行するための所定の操作入力を受け付けると、図9〜図12に示す処理を実行する。この場合においても、所定の操作入力は、当該設定処理に対応付けられたアイコンやメニュー項目を選択するものである。そして、制御部120は、上述した被写体種別判別部112、必要情報収集部113、コメント生成部114、翻訳文取得部115、投稿処理部116の各部を制御して、図9〜図12に示す画像投稿処理を実行する。
この場合、まず、制御部120は、図13Aに示すような画像投稿処理の前準備画面を形成し、これを表示制御部103を通じて表示部104の表示画面104Gに表示する処理を行う(ステップS201)。すなわち、制御部120は、HDD130のハードディスクに格納されている画面形成情報を用いて、図13Aに示すような画像投稿処理の前準備画面を表示するための表示データを形成する。そして、当該表示データを表示制御部103に供給する。表示制御部103は、制御部120からの表示データから表示部104に供給する映像信号を形成し、これを表示部104に供給する。そして、表示部104は、表示処理部103からの映像信号に応じた表示画面、この場合には図13Aに示した画像投稿処理の前準備画面を自己の表示画面104Gに表示する。
図13Aに示すように、当該前準備画面は、画像データの投稿先となる1以上の画像投稿サイトのURL、当該画像投稿サイトにアクセスするためのID(識別情報)とパスワードの入力欄を有する。また、当該前準備画面は、投稿する画像データの格納場所の入力欄を有すると共に、右下端部には、「OK」ボタンと「キャンセル」ボタンとを有する構成になっている。ここで、画像投稿サイトにアクセスするためのIDやパスワードは、ユーザが目的とする画像投稿サイトから事前に提供を受けておくものである。
また、投稿する画像データの格納場所の入力欄には、HDD130のハードディスクに形成されているフォルダ、メモリスロット部143に装着されたメモリーカード、外部接続端子144に接続されたデジタルカメラなどの外部機器の記憶装置のいずれかを示す情報が入力される。この場合、当該格納場所の入力欄には、いわゆるプルダウン方式の選択メニューを表示し、当該選択メニューから目的する格納場所を選択入力することもできる。
なお、図13Aの前準備画面は、同じ画像データを複数の画像投稿サイトへの投稿を可能にするため、複数の画像投稿サイトについてのURL、ID、パスワードの入力欄を有している。しかし、必ず複数の画像投稿サイトについての情報の入力を行う必要はない。投稿先の画像投稿サイトが1つだけの場合には、その画像投稿サイトについての情報だけを入力すればよい。
また、図13Aに示した前準備画面において、画像投稿サイトについての入力されたURL、ID、パスワードは、「OK」ボタンが選択されて確定された場合にHDD130のハードディスクの所定のエリアに保持される。そして、図13Aに示した前準備画面を表示する毎に、前回用いられた画像投稿サイトのURL、ID,パスワードを、対応する入力欄に表示して、これらの情報が入力された状態にする。これにより、画像データの投稿先が変わらなければ、画像投稿サイトのURL、ID、パスワードについては、繰り返し入力しなくても済むようにされる。
次に、制御部120は、操作入力部142を通じて、図13Aに示した前準備画面に対するユーザからの操作入力を受け付ける(ステップS202)。ステップS202で受け付けられた画像投稿サイトのURL、ID、パスワード、画像データの格納場所を示す情報は、制御部120のRAM123に一時記憶される。そして、制御部120が、受け付けた操作入力は、「キャンセル」ボタンの選択操作か否かを判別する(ステップS203)。ステップS203の判別処理において、受け付けた操作入力は「キャンセル」ボタンの選択操作であると判別したときには、図12に示すステップS245の処理に進む。この場合、制御部120は、表示部104の表示画面104Gに表示されている前準備画面を消去し、当該画像投稿処理の実行前の表示状態に戻すなどの所定の修了処理を実行し(ステップS245)、この図9〜図12に示す画像投稿処理を終了させる。
また、ステップS203の判別処理において、受け付けた操作入力は「キャンセル」ボタンの選択操作ではないと判別したときには、制御部120が、受け付けた操作入力は、「OK」ボタンの選択操作か否かを判別する(ステップS204)。ステップS204の判別処理において、受け付けた操作入力は、「OK」ボタンの選択処理ではないと判別したときには、まだ、前準備画面に対する情報の入力は終了していないと判別し、ステップS202からの処理を繰り返す。
また、ステップS204の判別処理において、受け付けた操作入力は、「OK」ボタンの選択処理であると判別したときには、制御部120は、図13Aに示した前準備画面に対して、必要な情報が全て入力されたか否かを判別する(ステップS205)。具体的にステップS205では、少なくとも1つの画像投稿サイトについてのURL、ID、パスワードと、画像データの格納場所を示す情報とが入力されていれば、制御部120は、必要な情報が揃っていると判別する。そして、ステップS205の判別処理において、必要な情報が揃っていないと判別したときには、制御部120は、前準備画面に対する情報入力が完了していないと判別し、ステップS202からの処理を繰り返す。
また、ステップS205の判別処理において、必要な情報が揃っていると判別したときには、制御部120は、前準備画面に対して入力された情報の格納と、投稿画像の選択画面を表示部104の表示画面104Gに表示する処理を行う(ステップS206)。ここで、前準備画面に対して入力された情報の格納は、上述もしたように、前準備画面に対して入力され、RAM123に一時記憶された情報をHDD130のハードディスクの所定のエリアに格納(記録)する処理である。また、投稿画像の選択画面の表示は、図13Bに示す投稿画像の選択画面を形成して、これを表示部104の表示画面104Gに表示する処理である。
そして、図13Bに示す投稿画像の選択画面の表示は、基本的には、上述した前準備画面(図13A)の表示と同様に行われる。しかし、投稿画像の選択画面(図13B)の場合には、指示された画像の格納場所に格納された画像データに応じて形成するサムネール画像(図13Bにおいて、画像1、画像2、…と記載)も表示される。当該サムネール画像は、指示された格納場所に格納されている画像データファイルの画像データに応じて、例えば制御部120の機能により形成される。
また、図13Bに示すように、投稿画像の選択画面の下端部には、コメント情報の付加方法(画像毎か、一括か)の選択欄と、「OK」ボタン及び「キャンセル」ボタンが設けられている。また、図13Bに示すように、投稿画像の選択画面の右端側には、上スクロールキーUKと下スクロールキーDKとか設けられており、これらをタッチパネル105や操作入力部142を通じて操作することにより、表示するサムネール画像のスクロール表示を行うことができる。
次に、制御部120は、タッチパネル105や操作入力部142を通じて、図13Bに示した投稿画像の選択画面に対するユーザからの操作入力を受け付ける(ステップS207)。ステップS207では、表示されているサムネール画像の中から目的とするサムネール画像を選択すると、そのサムネール画像に対応する画像データファイルのファイル名(ファイルID)が特定され、この特定されたファイル名がRAM123に一時記憶される。また、コメント情報の付加方法の付加方法についても、画面毎か、一括かの選択ができるようにされ、その選択結果もRAM123に一時記憶される。
そして、制御部120が、受け付けた操作入力は、「キャンセル」ボタンの選択操作か否かを判別する(ステップS208)。ステップS208の判別処理において、受け付けた操作入力は「キャンセル」ボタンの選択操作であると判別したときには、図12に示すステップS245の処理に進む。この場合、制御部120は、表示部104の表示画面104Gに表示されている投稿画像の選択画面を消去し、当該画像投稿処理の実行前の表示状態に戻すなどの所定の終了処理を実行し(ステップS245)、この図9〜図12に示す画像投稿処理を終了させる。
また、ステップS208の判別処理において、受け付けた操作入力は「キャンセル」ボタンの選択操作ではないと判別したときには、制御部120が、受け付けた操作入力は、「OK」ボタンの選択操作か否かを判別する(ステップS209)。ステップS209の判別処理において、受け付けた操作入力は、「OK」ボタンの選択処理ではないと判別したときには、まだ、投稿画像の選択画面に対する情報の入力は終了していない判別し、ステップS207からの処理を繰り返す。
また、ステップS208の判別処理において、受け付けた操作入力は、「OK」ボタンの選択処理であると判別したときには、制御部120は、図13Bに示した投稿画像の選択画面に対して、必要な情報が全て入力されたか否かを判別する(ステップS210)。具体的にステップS210では、少なくとも1つの画像データファイルのファイル名と、コメント情報の付加方法の選択情報とがRAM123に存在していれば、制御部120は、必要な情報が揃っていると判別する。そして、ステップS210の判別処理において、必要な情報が揃っていないと判別したときには、制御部120は、投稿画像の選択画面に対する情報入力は完了していないと判別し、ステップS207からの処理を繰り返す。
また、ステップS210の判別処理において、必要な情報が揃っていると判別したときには、制御部120は、図10のステップS211の処理に進む。そして、制御部120は、コメント情報の形成画面を表示部104の表示画面104Gに表示する処理を行う(ステップS211)。ここで、コメント情報の形成画面の表示は、図14Aに示すコメント情報の形成画面を形成して、表示部104の表示画面104Gに表示する処理である。
そして、図14Aに示すコメント情報の生成画面の表示は、基本的には、上述した投稿画像の選択画面(図13B)の表示と同様に行われる。図14Aに示すように、コメント情報の生成画面は、投稿対象の画像データに応じたサムネール画像と、当該投稿対象の画像データが形成する画像の被写体種類の選択欄と、翻訳言語の選択欄とを有している。また、図14Aに示すように、コメント情報の生成画面の下端側には、「生成」ボタンと「キャンセル」ボタンとが設けられている。サムネール画像は、上述した投稿画像の選択画面(図13B)を通じて選択され、RAM123に一時記憶されている画像データファイルのファイル名により特定される画像データファイルの画像データに応じて、例えば、制御部120の機能により形成される。
また、被写体種類の選択欄は、図3を用いて説明したように、被写体種類別選択設定テーブルの情報に応じた被写体種類毎に、チェックボックスが設けられて構成されている。この実施の形態の画像投稿端末装置1は、上述したように、被写体種類判別部112を備え、投稿対象の画像データについて画像解析を行って、当該画像データが形成する画像の被写体の種類を判別することができる。そこで、制御部120は、投稿対象の画像データについての被写体種類判別部112での判別結果に応じて、被写体種類の選択欄の該当する被写体種類のチェック欄に自動的にチェックを付して表示する。
しかし、被写体種類判別部112での判別が常に正しいとは限らない。画像投稿端末装置1のユーザが、被写体の種類が人物であると判断していても、被写体種類判別部112では風景であると判別する場合があると考えられる。逆に、画像投稿端末装置1のユーザが、被写体の種類が風景であると判断していても、被写体種類判別部112では人物であると判別する場合もあると考えられる。このため、図14Aに示したコメント情報の生成画面において、被写体種類の選択欄に付されているチェックが誤っている場合には、ユーザはタッチパネル105や操作入力部142を通じて被写体種類の訂正を行うことができる。このように、投稿対象の画像データが形成する画像の被写体の種類は、自動判別したものを用いることもできるし、ユーザの指示入力により指示されたものを用いることもできるようになっている。
また、後述するように、自動生成されるコメント情報の翻訳文が必要な場合、どの言語の翻訳が必要かを翻訳言語の選択欄において選択することができる。この実施の形態においては、用いる機械翻訳サイト6の機能に応じて、複数の翻訳言語の中から目的とする言語を選択することができる。また、上述したように、画像データにはGPS情報が付加されているので、翻訳言語として撮影地の言語を選択しておくことにより、撮影地の言語の翻訳文を取得することができる。
そして、制御部120は、タッチパネル105や操作入力部142を通じて、図14Aに示したコメント情報の生成画面に対するユーザからの操作入力を受け付ける(ステップS212)。被写体種類の選択欄と翻訳言語の選択欄に対する選択情報、どれが選択された状態あるかを示す情報は、RAM123に一時記憶される。そして、制御部120が、受け付けた操作入力は、「キャンセル」ボタンの選択操作か否かを判別する(ステップS213)。ステップS213の判別処理において、受け付けた操作入力は「キャンセル」ボタンの選択操作であると判別したときには、制御部120は、処理の対象を次の投稿対象の画像データに位置付け(ステップS214)、ステップS211からの処理を繰り返す。これにより、投稿する画像データが複数選択されている場合に、コメント情報を付加するものと、付加しないものとを設けることができる。
ステップS213の判別処理において、受け付けた操作入力は、「キャンセル」ボタンの選択操作ではないと判別したときには、制御部120は、受け付けた操作入力が「生成」ボタンの選択操作か否かを判別する(ステップS215)。ステップS215の判別処理において、受け付けた操作入力は「生成」ボタンの選択操作ではないと判別したときには、制御部120は、ステップS212からの処理を繰り返し、コメント情報の生成画面に対する情報の入力を継続する。
また、ステップS215の判別処理において、受け付けた操作入力は「生成」ボタンの選択操作であると判別したときには、制御部120は、図14Aに示したコメント情報の生成画面に対して、必要な情報が全て入力されたか否かを判別する(ステップS216)。具体的にステップS216では、少なくとも被写体種類の選択欄に対する選択情報がRAM123に存在していれば、制御部120は、必要な情報が揃っていると判別する。そして、ステップS216の判別処理において、必要な情報が揃っていないと判別したときには、制御部120は、ステップS212からの処理を繰り返し、必要な情報の入力を受け付ける。
また、ステップS216の判別処理において、必要な情報が揃っていると判別したときには、制御部120は、必要情報収集部113を制御して、コメント情報の生成に必要になる情報を収集する(ステップS217)。なお、ステップS217の情報の収集処理は、上述もしたように、図3を用いて説明した被写体種類別選択設定テーブルに設定されている情報であって、当該投稿対象の画像データが形成する画像の被写体種類に応じた選択設定情報に基づいて行われる。
次に、制御部120は、コメント生成部114を制御し、必要情報収集部113により収集されたコメント情報の生成に必要な情報を用いて、投稿対象の画像データに付加するコメント情報を自動生成する(ステップS218)。そして、制御部120は、図14Aに示したコメント情報の生成画面において、目的とする言語の翻訳文の取得が選択されているか否かを判別する(ステップS219)。ステップS219の判別処理において、翻訳文の取得が選択されていると判別したときには、制御部120は、翻訳文取得部115を制御し、指示された言語の翻訳文を機械翻訳サイト6から取得する(ステップS220)。
なお、撮影地の言語の翻訳文の取得が選択されている場合には、制御部120は、投稿対象の画像データに付加されているGPS情報に基づいて、例えば、地図サイト4に問い合わせを行って撮影地が属する地域で用いられている言語種別を取得する。そして、翻訳文取得部115を制御し、当該取得した言語種別で特定される言語の翻訳文を取得する。
そして、ステップS220の処理の後と、ステップS219の判別処理において、翻訳文の取得が選択されていないと判別したときにおいては、制御部120は、ステップS218において自動生成したコメント情報をコメント情報の生成画面に表示する(ステップS221)。図14Bは、自動生成されたコメント情報が表示されたコメント情報の生成画面を示している。この例の場合、コメント情報の生成画面の下側に自動生成コメント情報の表示欄が設けられ、ここに自動生成されたコメント情報が表示される。
図14Bに示した例の場合には、被写体種類が「人物」であり、被写体が被写体別登録テーブルの「長女」に該当する場合に形成されるコメント情報を表示している場合を示している。また、自動生成したコメント情報が表示されたコメント情報の生成画面の下端側には、「編集」ボタン、「翻訳確認」ボタン、「削除」ボタン、「戻る」ボタン、コメント情報を付するためのボタン、コメント情報を付加しないためのボタンが設けられている。
そして、ステップS221の処理の後、制御部120は、図11に示すステップS222の処理に進む。そして、制御部120は、タッチパネル105や操作入力部142を通じて、図14Bに示したコメント情報の生成画面に対するユーザからの操作入力を受け付ける(ステップS222)。そして、制御部120が、受け付けた操作入力は、「編集」ボタンの選択操作か否かを判別する(ステップS223)。ステップS223の判別処理において、受け付けた操作入力は「編集」ボタンの選択操作であると判別したときには、制御部120は、自動生成したコメント情報に対する編集処理を実行する(ステップS224)。この後、ステップS222からの処理を繰り返す。
なお、ステップS224において、制御部120は、図14Bに示した画面の下側に設けられている自動生成コメント情報の表示欄にカーソルを位置付ける。そして、制御部120は、自動生成したコメント情報に対するユーザからの編集指示入力を、操作入力部142を通じて受け付け、これに応じてコメント情報を編集する処理を行う。ステップS224では、文字の追加、変更、削除が行える。また、コメント情報の全体を書き換えることもできる。
また、ステップS223の判別処理において、受け付けた操作入力は「編集」ボタンの選択操作ではないと判別したときには、制御部120が、受け付けた操作入力は、「翻訳確認」ボタンの選択操作か否かを判別する(ステップS225)。ステップS225の判別処理において、受け付けた操作入力は「翻訳確認」ボタンの選択操作であると判別したときには、制御部120は、翻訳文の確認処理を実行する(ステップS226)。この後、ステップS222からの処理を繰り返す。
なお、ステップS226の翻訳文の確認処理においては、制御部120は、例えば、図15Aに示すような翻訳文の確認画面を、表示制御部103を通じて表示部104の表示画面104Gに表示し、翻訳文の確認を行えるようにする。図15Aに示した例の場合には、自動生成された日本語のコメント情報と、当該日本語のコメント情報から機械翻訳した英語の翻訳文を表示している場合を示している。なお、図15Aに示すように、当該翻訳文の確認画面の下端側には、「編集」ボタンと「OK」ボタンとが設けられている。そして、「編集」ボタンが選択された場合には、翻訳文の編集を行うことができる。また、「OK」ボタンが選択された場合には、当該翻訳文の確認処理を終了することができる。
また、ステップS225の判別処理において、受け付けた操作入力は「翻訳確認」ボタンの選択操作ではないと判別したときには、制御部120が、受け付けた操作入力は、「削除」ボタンの選択操作か否かを判別する(ステップS227)。ステップS227の判別処理において、受け付けた操作入力は「削除」ボタンの選択操作であると判別したとする。この場合、制御部120は、付加するコメント情報を生成していた投稿対象の画像データを投稿対象から除外し、次の投稿対象の画像データを処理対象として位置付け(ステップS228)、図10に示したステップS211からの処理を繰り返す。すなわち、次の投稿対象の画像データについてのコメント情報の生成処理を行うことができるようにされる。
また、ステップS227の判別処理において、受け付けた操作入力は「削除」ボタンの選択操作ではないと判別したときには、制御部120が、受け付けた操作入力は、「戻る」ボタンの選択操作か否かを判別する(ステップS229)。ステップS229の判別処理において、受け付けた操作入力は「戻る」ボタンの選択操作であると判別したときには、制御部120は、図10に示したステップS211からの処理を繰り返す。この場合には、付加するコメント情報を生成していた画像データに対するステップS211からの処理、すなわち、図14Aに示したコメント情報の生成画面からの処理を行うことができる。
また、ステップS229の判別処理において、受け付けた操作入力は「戻る」ボタンの選択操作ではないと判別したときには、制御部120が、受け付けた操作入力は、コメント情報を付加しないためのボタンの選択操作か否かを判別する(ステップS230)。ステップS229の判別処理において、受け付けた操作入力は当該付加しないためのボタンであると判別したときには、ここまでに生成したコメント情報を消去する(ステップS231)。これにより、生成したコメント情報自体が消去されるので、結果として投稿対象の画像データに対してコメント情報の付加ができないようにされる。
そして、ステップS230の判別処理において、受け付けた操作入力はコメント情報を付加しないためのボタンの選択操作ではないと判別したときには、制御部120が、受け付けた操作入力は、コメント情報を付加するためのボタンの選択操作か否かを判別する(ステップS232)。ステップS232の判別処理において、受け付けた操作入力は当該付加するためのボタンの選択操作ではないと判別したときには、有効な操作入力は受け付けていないと判別し、ステップS222からの処理を繰り返す。
また、ステップS231の処理の後と、ステップS232の判別処理において、受け付けた操作入力は当該付加するためのボタンの選択操作であると判別したときには、制御部120は、図12に示すステップS233の処理に進む。この場合、制御部120は、図13Bの投稿画像の選択画面を通じて受け付けたコメント情報の付加方法が、一括付加か否かを判別する(ステップS233)。
ステップS233の判別処理において、コメント情報の付加方法は一括付加ではないと判別したときには、コメント情報の付加方法は画像毎であると判断し、当該投稿対象の画像データに対して、生成したコメント情報を付加する処理を行う(ステップS234)。具体的には、投稿対象の画像データが格納されている画像データファイルの所定の領域に、生成したコメント情報を書き込む処理を行う。もちろん、投稿対象の画像データに生成したコメント情報を付加する処理は、投稿対象の画像データと生成したコメント情報とを紐付けることが可能な種々の方法を用いることができる。なお、図14Bに示したコメント情報の生成画面において、コメント情報を付加しないためのボタンが選択操作されているときには、コメント情報は存在しないので、ステップS234の処理は実行しないようにしてもよい。
そして、制御部120は、選択された投稿対象の画像データの全部にコメント情報を付加したか否かを判別する(ステップS235)。ステップS235の判別処理において、選択された投稿対象の画像データの全部にコメント情報を付加していないと判別したとする。この場合、制御部120は、次の投稿対象の画像データを処理対象として位置付け(ステップS236)、図10に示したステップS211からの処理を繰り返す。
また、ステップS233の判別処理において、コメント情報の付加方法は一括付加であると判別したときには、制御部120は、投稿する画像データとして選択された全ての画像データに対して、生成したコメント情報を一括して付加する処理を行う(ステップS237)。画像データに対するコメント情報を付加する方法は、ステップS234で用いる方法と同じである。なお、この場合においても、図14Bに示したコメント情報の生成画面において、コメント情報を付加しないためのボタンが選択操作されているときには、コメント情報は存在しないので、ステップS237の処理は実行しないようにしてもよい。
そして、ステップS235の判別処理において、選択された投稿対象の画像データの全部にコメント情報を付加したと判別した場合と、ステップS237の処理の後においては、制御部120は、図15Bに示す最終確認画面を表示する(ステップS238)。図15Bに示すように、当該最終確認画面は、投稿する画像データの総数(投稿する画像データが形成する画像の総数(枚数))の表示欄と、投稿対象の画像データの画像選択ボタン(図15Bでは、画像1、画像2、…と記載。)とが表示される。また、当該最終確認画面の下端側には、「投稿」ボタンと「キャンセル」ボタンとが表示される。
そして、制御部120は、タッチパネル105や操作入力部142を通じて、図15Bに示した最終確認画面に対するユーザからの操作入力を受け付ける(ステップS239)。そして、制御部120が、受け付けた操作入力は、画像選択ボタンの選択操作か否かを判別する(ステップS240)。ステップS240の判別処理において、受け付けた操作入力は画像選択ボタンの選択操作であると判別したときには、制御部120は、投稿する画像データについての確認処理を実行する(ステップS241)。
ステップS241において、制御部120は、選択された画像について、図14Bに示した態様の確認画面を表示し、ユーザが投稿内容を確認できるようにすると共に、コメント情報とコメント情報の翻訳文についてはユーザが修正できるようにする。なお、図14Bに示した態様の確認画面の表示は、指示された画像データやコメント情報等が格納されている画像データファイルの情報とHDD130のハードディスクに保存された設定情報等に基づいて行うことができる。また、制御部120は、ユーザが投稿したくなくなった画像データについては、ユーザからの指示に応じて、投稿対象から除外することもできる。このようにして、ユーザは、投稿対象の画像データに応じたサムネール画像と、当該画像データに付加されるコメント情報を、表示画像を通じて確認することができる。
また、ステップS240の判別処理において、受け付けた操作入力は「画像選択」ボタンの選択操作ではないと判別したときには、制御部120が、受け付けた操作入力は、「キャンセル」ボタンの選択操作か否かを判別する(ステップS242)。ステップS242の判別処理において、受け付けた操作入力は「キャンセル」ボタンの選択操作であると判別したときには、ステップS245の処理に進む。この場合、制御部120は、表示部104の表示画面104Gに表示されている最終確認画面を消去し、当該画像投稿処理の実行前の表示状態に戻すなどの所定の終了処理を実行し(ステップS245)、この図9〜図12に示す画像投稿処理を終了させる。
また、ステップS242の判別処理において、受け付けた操作入力は「キャンセル」ボタンの選択操作ではないと判別したときには、制御部120が、受け付けた操作入力は、「投稿」ボタンの選択操作か否かを判別する(ステップS243)。ステップS242の判別処理において、受け付けた操作入力は「投稿」ボタンの選択操作ではないと判別したときには、制御部120は、有効な操作入力は受け付けていないと判別し、ステップS239からの処理を繰り返す。これにより、最終確認画面に対する操作入力を継続することができる。
また、ステップS242の判別処理において、受け付けた操作入力は「投稿」ボタンの選択操作ではないと判別したときには、制御部120は、投稿処理部116を制御し、コメント情報を付加した投稿対象の画像データの投稿処理を行う(ステップS244)。ステップS244において、投稿処理部116は、ユーザにより選択された投稿対象の画像データと、これに付加するようにしたコメント情報とを含み、目的する画像投稿サイトに対応したフォーマットの投稿用の画像データファイルを形成する。
そして、投稿処理部116は、制御部120、無線通信部102、送受信アンテナ101を通じて、投稿用の画像データファイルを指示された画像投稿サイトに送信する。なお、投稿用の画像データファイルの送信後においては、制御部120は、送信完了メッセージを、表示制御部103を通じて表示部104の表示画面104Gに表示する。これにより、画像投稿端末装置1のユーザは、画像データの投稿が完了したことを認識することができる。
この後、制御部120は、表示部104の表示画面104Gに表示されている最終確認画面を消去し、当該画像投稿処理の実行前の表示状態に戻すなどの所定の終了処理を実行し(ステップS245)、この図9〜図12に示す画像投稿処理を終了させる。このようにして、画像投稿端末装置1は、ユーザにより選択された画像データに対して、自動生成したコメント情報を付加して、指示された画像投稿サイトに投稿することができる。
なお、ここでは、投稿支援サイト7は利用しなかったが、例えば、画像投稿端末装置1の付加を軽減するため、例えば、登録情報に応じたコメントについては、投稿支援サイト7で形成するなど、コメント情報の生成を分担することもできる。この場合、図5に示した被写体別登録テーブルやコメント用テンプレートテーブルを投稿支援サイト7に登録しておく。
そして、コメント情報に登録情報を含めることが指示された被写体が写された画像の画像データの場合には、当該画像データを投稿支援サイト7に提供する。そして、投稿支援サイト7において、上述した必要情報収集部113において、登録情報に応じたコメント情報の生成処理と同様の処理を行ってコメント情報を生成し、これを画像投稿端末装置1に提供するように構成することもできる。このように、画像投稿端末装置1の一部の機能を投稿支援サイト7に設けるようにすることもできる。
[実施の形態の効果]
上述した実施の形態の画像投稿端末装置1においては、ユーザによって投稿対象として選択された画像データに応じて、これに付加するコメント情報を自動生成することができる。そして、投稿対象の画像データに対して、自動生成したコメント情報を付加して、目的とする画像投稿サイトに対して投稿することができる。そして、図10〜図12を用いて説明した通り、画像データの投稿に際しては、自動生成されるコメント情報に対して編集を行う必要が無ければ、ユーザはコメント情報の入力を一切行う必要がない。したがって、画像データの投稿を極めて簡単に行うことができる。
また、自動生成されたコメント情報に編集が必要な場合であっても、自動生成されたコメント情報に対して、編集処理を行うことができるので、コメント情報の全部をユーザが作成する場合に比べて、ユーザの手間を大幅に簡略化することができる。
また、コメント情報は、複数の言語に翻訳して、この翻訳文も画像データに対して付加することができるので、コメント情報の言語を気にすることなく、画像データについてのグローバルな投稿が可能となる。
[変形例]
なお、画像データの投稿先は、画像投稿サイトに限るものでなく、種々のSNS(Social Network Service)サイト、種々のブログサイトにも投稿することができる。すなわち、画像データやテキストデータの投稿を受け付けることができる種々のサイトを投稿先とすることができる。しかし、通常、投稿サイト毎に、投稿文字数制限があったり、投稿の際の必須項目が異なったりする。すなわち、投稿サイト毎に投稿フォーマットは異なる。
このため、画像投稿端末装置1においては、複数の投稿先となるサイトについての投稿フォーマットを用意しておき、投稿先のサイトに対応した投稿フォーマットにしたがって、画像データのサイズやコメント情報の文字数などを変更できるようにし、目的とする投稿先の投稿フォーマットに合致した投稿用のデータを生成することができる。このため、コメント用テンプレートテーブルは、投稿先となるサイト毎に、各サイトの投稿フォーマットに応じて作成しておけばよい。
また、投稿対象は、静止画像データに限るものではない。投稿先が動画像データの投稿を受け付けることができるものである場合には、上述した実施の形態の場合と同様にして動画像データについても自動生成したコメント情報を付加して投稿することもできる。なお、動画像データの場合、被写体種類(人物、動物、風景等)の判別や被写体自体(父、長女、私等)の判別は、動画像データを構成する最初のフレームの画像データや、ユーザが指示した特定のフレームの画像データを用いて行うようにすればよい。また、被写体種類の判別や被写体自体の判別には、動画像データの先頭から何番目のフレームの画像データというように、予め決められた位置の画像データを用いることもできる。
また、コメント情報の付加は、上述もしたように、画像データとは別個の部分に付加することもできるし、例えば、テロップの形式で、画像データ自体に付加することもできる。また、上述した実施の形態においては、画像データに付加されたGPS情報に基づいて、撮影場所を示す場所名をコメント情報に含める場合を説明したが、これに限るものではない。例えば、GPS情報により特定される場所の地名、近くにあるランドマーク、出身著名人、地産品、名産品、歴史、由緒、地理的特徴(標高、山、川、谷、野等の別)などの種々の情報をコメント情報に含めることができる。
すなわち、撮影場所に関する種々の情報を投稿フォーマットに合わせて組み合わせるようにして、コメント用テンプレートテーブルを作成して置くようにすればよい。なお、撮影場所に関する種々の情報は、例えば、地図サイト4などのネットワーク上のサーバ等から取得することができる。また、撮影場所に関する種々の情報を予めDB化しておいて、ネットワーク上の所定のサーバや画像投稿端末装置のHDD130のハードディスク内に格納しておくようにしてもよい。
また、上述した実施の形態においては、撮影時の天気や気温をコメント情報に含めることができるものとして説明したが、これに限るものではない。天気や気温の他にも、例えば、撮影地の湿度、降水量、積雪等の撮影日時を基準した所定の機関における種々の気象情報等をコメント情報に含めることができる。
また、上述した実施の形態においては、自動生成したコメント情報については、操作入力部142を通じて編集を行うことができるものとして説明したが、これに限るものではない。例えば、画像投稿端末装置1に対して音声入力機能を搭載しておき、音声入力により、自動生成したコメント情報についての編集を行えるようにすることもできる。このように音声入力を用いた編集を可能にすることにより、自動生成されたコメント情報の編集処理も簡単に行うことができる。この場合には、画像投稿端末装置1に音声入力機能を設けると共に、当該機能を用いて入力された音声データをテキストデータに変換する機能を制御部120などに設けるようにすればよい。
また、上述した実施の形態においては、コメント情報は、文字情報(テキスト情報)であるものとして説明したが、これに限るものではない。生成したコメント情報や当該コメント情報の多言語変換された翻訳文などの文字情報(テキスト情報)をTTS(Text-To-Speech)機能を用いて音声化し、この音声したコメント情報等(音声データ)を画像データに添付して投稿したり、動画像データに組み込んで(多重化して)投稿したりしてもよい。この場合には、TTS機能を画像投稿端末装置1の制御部120などに設ければよい。
また、上述した実施の形態においては、コメント情報について、撮影地の言語に翻訳し、これを投稿対象の画像データに付加できる構成について説明した。そして、コメント情報の撮影地の言語による翻訳文を必ず付すようにすることによって、母国語のコメント情報(上述した実施の形態の場合には日本語のコメント情報)と撮影地の言語によるコメント情報の翻訳文とを付加して、画像投稿サイトに投稿することができる。このように、投稿する画像データに対して、異なる複数の言語のコメント情報を付加することができる。
[その他]
なお、図2において2重線のブロックで示した選択設定画面形成部111、被写体種類判別部112、必要情報収集部113、コメント生成部114、翻訳文取得部115、投稿処理部116の各機能は、制御部120において実行されるプログラムによって、制御部120の機能として設けることもできる。
また、上述した実施の形態の説明から分かるように、受付手段としての機能は、画像投稿端末装置1のタッチパネル105、操作入力部142が実現し、特定手段としての機能は、画像投稿端末装置1の被写体種類判別部112が実現している。また、生成手段としての機能は、画像投稿端末装置1のコメント生成部114が実現し、アップロードする手段としての機能は、画像投稿端末装置1の投稿処理部116が実現している。
また、記憶手段としての機能は、画像投稿端末装置1のHDD130が実現し、被写体特定手段としての機能は、画像投稿端末装置1の必要情報収集部113の一部の機能として実現している。また、翻訳文取得手段としての機能は、画像投稿端末装置1の翻訳文取得部115が実現している。
また、図9〜図12のフローチャートに示した処理は、この発明の方法に対応するものである。また、図9〜図12に示したフローチャートに応じた処理を実行するプログラムが、この発明のプログラムに対応する。したがって、図9〜図12に示した処理を実行するプログラムを形成し、これをパーソナルコンピュータ、携帯電話端末、タブレット型端末の記憶装置に搭載して、当該装置において実行可能にしておくことにより、この発明の画像投稿支援措置を容易に実現することができる。