JP4403364B2

JP4403364B2 - Information recording control device, information recording control method, recording medium, and program

Info

Publication number: JP4403364B2
Application number: JP2003149209A
Authority: JP
Inventors: 郁彦西尾
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-05-27
Filing date: 2003-05-27
Publication date: 2010-01-27
Anticipated expiration: 2023-05-27
Also published as: JP2004356718A

Description

【０００１】
【発明の属する技術分野】
本発明は、情報記録制御装置および情報記録制御方法、記録媒体、並びにプログラムに関し、特に、撮像した画像や音声を、撮像対象に関連する情報とともに記録させることができるようにした情報記録制御装置および情報記録制御方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
近年、画像や音声のデジタルデータを磁気テープ、メモリカード等に記録するデジタルカメラ等の画像記録装置が広く利用されている。このデジタルカメラには、撮像した画像情報に加えて、撮像日時やカメラのパラメータを同時に記録することができるものがある。
【０００３】
また、GPS（Global Positioning System）によって撮像場所の位置情報を取得し、その位置情報に基づいて、画像を撮像した撮像対象に関連する関連情報を検索して、その関連情報を、画像に関連付けて記録するカメラ装置も提案されている（例えば、特許文献１）。
【０００４】
【特許文献１】
特開平１１−７２３４８号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、撮像場所の位置情報（撮像位置）に基づいて撮像対象に関連する関連情報を検索した場合、特定の位置に固定されていない撮像対象（例えば、走行中の車等）については関連情報を検索することが困難であるという問題があった。
【０００６】
また、同じ位置に複数の撮像対象がある場合に、GPSによる撮像位置の位置情報のみでは、撮像対象を特定することが困難であるという問題があった。
【０００７】
本発明は、このような状況に鑑みてなされたものであり、撮像対象の特定を精度良く行い、その撮像対象について、正しい関連情報をその画像とともに記録することができるようにするものである。
【０００８】
【課題を解決するための手段】
本発明の情報記録制御装置は、撮像対象の画像を取得する画像取得手段と、撮像対象の撮像位置を検出するとともに、画像取得手段により取得された画像と一致または類似する、その画像より前に取得された画像に対応して記録部に記録されている撮像対象に関連する関連情報から、撮像対象を識別する識別情報を検出する検出手段と、検出手段により検出された撮像位置および識別情報並びに撮像対象の画像に基づいて、その撮像対象に関連する関連情報を取得する関連情報取得手段と、画像取得手段で取得された画像を、関連情報取得手段により取得された関連情報とともに記録部に記録させる記録制御手段とを備えることを特徴とする。
【０００９】
関連情報取得手段により複数の関連情報が取得された場合に、その複数の関連情報から、所望の関連情報を選択する選択手段をさらに備え、記録制御手段は、選択手段により選択された関連情報を記録させるようにすることができる。
【００１０】
関連情報取得手段は、関連情報を記憶する関連情報記憶部とネットワークを介して通信を行うことにより、関連情報を取得するようにすることができる。
【００１１】
関連情報取得手段は、撮像対象に付けられたＲＦ（Radio Frequency）タグから検出される撮像対象の情報を表すＲＦタグ情報にも基づいて、関連情報を取得するようにすることができる。
【００１２】
本発明の情報記録制御方法は、撮像対象の画像を取得する画像取得ステップと、撮像対象の撮像位置を検出するとともに、画像取得ステップの処理により取得された画像と一致または類似する、その画像より前に取得された画像に対応して記録部に記録されている撮像対象に関連する関連情報から、撮像対象を識別する識別情報を検出する検出ステップと、検出ステップの処理により検出された撮像位置および識別情報並びに撮像対象の画像に基づいて、その撮像対象に関連する関連情報を取得する関連情報取得ステップと、画像取得ステップの処理で取得された画像を、関連情報取得ステップの処理により取得された関連情報とともに記録部に記録させる記録制御ステップとを含むことを特徴とする。
【００１３】
本発明のプログラムは、撮像対象の画像を取得する画像取得ステップと、撮像対象の撮像位置を検出するとともに、画像取得ステップの処理により取得された画像と一致または類似する、その画像より前に取得された画像に対応して記録部に記録されている撮像対象に関連する関連情報から、撮像対象を識別する識別情報を検出する検出ステップと、検出ステップの処理により検出された撮像位置および識別情報並びに撮像対象の画像に基づいて、その撮像対象に関連する関連情報を取得する関連情報取得ステップと、画像取得ステップの処理で取得された画像を、関連情報取得ステップの処理により取得された関連情報とともに記録部に記録させる記録制御ステップとを含む処理をコンピュータに行わせることを特徴とする。
【００１４】
本発明のプログラムが記録されている記録媒体は、撮像対象の画像を取得する画像取得ステップと、撮像対象の撮像位置を検出するとともに、画像取得ステップの処理により取得された画像と一致または類似する、その画像より前に取得された画像に対応して記録部に記録されている撮像対象に関連する関連情報から、撮像対象を識別する識別情報を検出する検出ステップと、検出ステップの処理により検出された撮像位置および識別情報並びに撮像対象の画像に基づいて、その撮像対象に関連する関連情報を取得する関連情報取得ステップと、画像取得ステップの処理で取得された画像を、関連情報取得ステップの処理により取得された関連情報とともに記録部に記録させる記録制御ステップとを含む処理をコンピュータに行わせるプログラムが記録されていることを特徴とする。
【００１５】
本発明においては、撮像対象の画像が取得され、撮像対象の撮像位置が検出されるとともに、取得された画像と一致または類似する、その画像より前に取得された画像に対応して記録部に記録されている撮像対象に関連する関連情報から、撮像対象を識別する識別情報が検出される。検出された撮像位置および識別情報並びに撮像対象の画像に基づいて、その撮像対象に関連する関連情報が取得され、画像が、その関連情報とともに記録部に記録される。
【００１６】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００１７】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００１８】
請求項１に記載の情報記録制御装置（例えば、図２のビデオカメラ１）は、撮像対象の画像を取得する画像取得手段（例えば、図２の画像入力部３１）と、前記撮像対象の撮像位置を検出するとともに、前記画像取得手段により取得された前記画像と一致または類似する、その画像より前に取得された画像に対応して記録部に記録されている撮像対象に関連する関連情報から、前記撮像対象を識別する識別情報を検出する検出手段（例えば、図２の検出部３３）と、前記検出手段により検出された前記撮像位置および前記識別情報並びに前記撮像対象の画像に基づいて、その撮像対象に関連する関連情報を取得する関連情報取得手段（例えば、図２の検索部３４）と、前記画像取得手段で取得された前記画像を、前記関連情報取得手段により取得された前記関連情報とともに前記記録部に記録させる記録制御手段（例えば、図２の記録制御部３５）とを備えることを特徴とする。
【００１９】
請求項２に記載の情報記録制御装置は、前記関連情報取得手段により複数の関連情報が取得された場合に、その複数の関連情報から、所望の関連情報を選択する選択手段（例えば、図２の操作部３７）をさらに備え、前記記録制御手段は、前記選択手段により選択された前記関連情報を記録させることを特徴とする。
【００２０】
請求項５に記載の情報記録制御方法は、撮像対象の画像を取得する画像取得ステップ（例えば、図３のステップＳ１）と、前記撮像対象の撮像位置を検出するとともに、前記画像取得ステップの処理により取得された前記画像と一致または類似する、その画像より前に取得された画像に対応して記録部に記録されている撮像対象に関連する関連情報から、前記撮像対象を識別する識別情報を検出する検出ステップ（例えば、図３のステップＳ５）と、前記検出ステップの処理により検出された前記撮像位置および前記識別情報並びに前記撮像対象の画像に基づいて、その撮像対象に関連する関連情報を取得する関連情報取得ステップ（例えば、図３のステップＳ７）と、前記画像取得ステップの処理で取得された前記画像を、前記関連情報取得ステップの処理により取得された前記関連情報とともに前記記録部に記録させる記録制御ステップ（例えば、図３のステップＳ１０）とを含むことを特徴とする。
【００２１】
請求項６に記載のプログラムおよび請求項７に記載の記録媒体のプログラムの各ステップの具体例も、請求項５に記載の情報記録制御方法の各ステップの発明の実施の形態における具体例と同様である。
【００２２】
図１は、本発明を適用したビデオカメラ１の処理の概要を示す図である。
【００２３】
ビデオカメラ１は、撮像対象の画像１１を撮像し、その際、その撮像対象を撮像した撮像場所を表わす位置情報（撮像位置）を検出する。ビデオカメラ１は、撮像対象の画像１１と撮像位置に基づいて、その撮像対象に関連する関連情報１２を検索し、取得する。そして、ビデオカメラ１は、画像１１を関連情報１２とともに記録する。
【００２４】
図２は、ビデオカメラ１の構成例を示す図である。
【００２５】
ビデオカメラ１は、画像入力部３１、音声入力部３２、検出部３３、検索部３４、記録制御部３５、記録部３６、および操作部３７から構成されている。また、ビデオカメラ１は、情報記憶装置５１とインターネット等のネットワークを介して接続可能となっており、情報記憶装置５１との間で、有線または無線により通信を行うことができるようになっている。
【００２６】
画像入力部３１は、撮像対象を撮像して、その撮像対象の画像（信号）のデジタルデータ（画像データ）を取得し、検索部３４と記録制御部３５に供給する。画像入力部３１は、例えば、CCD（Charge Coupled Device）やCMOS（Complementary Metal Oxide Semiconductor）イメージャで構成される。
【００２７】
音声入力部３２は、音声（音）を集音することにより、音声（信号）のデジタルデータ（音声データ）を取得し、記録制御部３５に供給する。音声入力部３２は、例えば、マイクロホンで構成される。
【００２８】
検出部３３は、画像入力部３１で画像を撮像した日時や場所を検出する。即ち、検出部３３は、不図示の計時部で計時された撮像日時を検出するとともに、GPSにより画像の撮像場所を表わす、例えば、緯度および経度などの位置情報（撮像位置）を検出する。検出部３３は、検出した撮像日時や位置情報を検索部３４に供給する。
【００２９】
検索部３４は、画像入力部３１から供給される画像データから、撮像対象を特定するための、画像データの代表となる画像（以下、適宜、代表画像と称する）（のデータ）を抽出（または生成）する。そして、検索部３４は、ネットワークを介して、情報記憶装置５１にアクセスし、検出部３３から供給された位置情報および画像データから抽出した代表画像に基づいて、情報記憶装置５１が記憶している登録データの中から、撮像対象に関連する関連情報を検索することにより取得し、記録制御部３５に供給する。
【００３０】
また、検索部３４は、検出部３３から供給される撮像日時を記録制御部３５に供給する。
【００３１】
記録制御部３５は、画像入力部３１から供給される画像データと音声入力部３２から供給される音声データをエンコードし、そのエンコード後の画像データと音声データを、検索部３４から供給される関連情報および撮像日時とともに記録部３６に記録する制御を行う。なお、画像データおよび音声データと、関連情報とは、同一ファイルに記録することもできるし、別のファイルに記録することもできるが、ここでは、別のファイルに記録するものとする。記録部３６としては、例えば、デジタルデータを記録する磁気テープ、メモリカード等を用いることができる。
【００３２】
操作部３７は、ユーザによって操作され、そのユーザの操作に応じて、例えば、撮像開始または撮像終了を指示する信号を、画像入力部３１と音声入力部３２に供給したり、画像信号や音声信号の記録開始または記録終了を指示する信号を、記録制御部３５に供給する。また、検索部３４で複数の関連情報が取得された場合に、ユーザが、操作部３７を操作することにより、その複数の関連情報の中から、所望の関連情報の選択が指示されると、操作部３７は、その選択情報を記録制御部３５に供給する。
【００３３】
情報記憶装置５１は、各種の撮像対象を識別する識別情報をその撮像対象に関連する関連情報（例えば、撮像対象の名称や撮像対象に関する詳細説明を記述したテキスト）とともに、登録データとして記憶している。撮像対象の識別情報としては、例えば、撮像対象が存在する位置情報と撮像対象を１以上の方向から撮像して得られる画像の基準パターンがある。
【００３４】
図３は、図２のビデオカメラ１の撮像記録処理を説明するフローチャートである。この撮像記録処理は、ユーザが操作部３７を操作することにより撮像開始を指示したとき、開始される。
【００３５】
ステップＳ１において、画像入力部３１と音声入力部３２は、撮像を開始する。即ち、画像入力部３１は、撮像対象の画像データを取得して、その画像データを検索部３４と記録制御部３５に供給し、音声入力部３２は、撮像対象の音声データを取得して、その音声データを記録制御部３５に供給する。
【００３６】
ステップＳ１の処理後は、ステップＳ２に進み、記録制御部３５は、画像入力部３１から供給される画像データと音声入力部３２から供給される音声データをエンコードし、そのエンコード後の画像データと音声データを記録部３６に記録し、ステップＳ３に進む。
【００３７】
ステップＳ３において、操作部３７は、ユーザにより撮像停止が指示されたかどうかを判定し、撮像停止が指示されていないと判定した場合、ステップＳ２に戻り、上述した処理を繰り返す。
【００３８】
一方、ステップＳ３において、操作部３７は、ユーザにより撮像停止が指示されたと判定した場合、ステップＳ４に進み、画像入力部３１と音声入力部３２に撮像停止を指示する信号を供給し、ステップＳ５に進む。操作部３７から画像入力部３１と音声入力部３２に、撮像停止を指示する信号が供給されると、画像入力部３１は、撮像対象の画像データの取得を停止し、音声入力部３２は、撮像対象の音声データの取得を停止する。
【００３９】
ステップＳ５において、検出部３３は、不図示の計時部で計時された撮像日時とGPSにより画像の撮像場所を表わす位置情報（撮像位置）を検出して、検索部３４に供給し、ステップＳ６に進む。ステップＳ６において、検索部３４は、画像入力部３１から供給された画像データ（画像入力部３１から供給され、記録部３６に記録された画像データ）から、撮像対象を特定するための代表画像として、例えば、１フレームの画像（のデータ）を抽出する。
【００４０】
ステップＳ６の処理後は、ステップＳ７に進み、検索部３４は、ステップＳ５で検出部３３から供給された位置情報と、ステップＳ６で抽出された代表画像に基づいて、代表画像における撮像対象の関連情報を取得する。
【００４１】
即ち、検索部３４は、情報記憶装置５１にアクセスし、情報記憶装置５１に記憶されている登録データの中から、その登録データにおける識別情報としての位置情報と画像の基準パターンが、撮像対象の位置情報と代表画像の画像パターンにそれぞれ合致するものを検索する。
【００４２】
例えば、代表画像の撮像対象がポスタである場合、検索部３４は、ポスタの撮像場所を表わす位置情報（撮像位置）に基づいて、情報記憶装置５１に記憶されている登録データの中から、ポスタの撮像位置に近い位置の位置情報を識別情報として有する登録データを検索し、さらに、検索された登録データを対象に、その登録データの識別情報として記憶されている画像の基準パターンと、代表画像の画像パターンのマッチングを行い、代表画像の画像パターンに最も類似するものを検索する。
【００４３】
なお、撮像位置に近い位置の位置情報を識別情報として有する登録データの中に、その登録データの識別情報として記憶されている画像の基準パターンが、代表画像の画像パターンに類似するものがない場合は、全ての登録データを対象にマッチングを行い、代表画像の画像パターンに最も類似するものを検索する。
【００４４】
上述したステップＳ７のように、位置情報と代表画像の両方に基づいて、登録データを検索することにより、位置情報のみでは特定することが困難な撮像対象を代表画像の画像パターンにより正確に特定することができる。
【００４５】
さらに、検索部３４は、取得した関連情報と、検出部３３から供給された撮像日時を、記録制御部３５に供給し、ステップＳ７からステップＳ８に進む。
【００４６】
ステップＳ８において、記録制御部３５は、検索部３４から供給された関連情報を選択する。即ち、例えば、記録制御部３５は、検索部３４から複数の関連情報（複数の対象それぞれの関連情報）が供給された場合、その複数の関連情報を、不図示の表示部に表示する。ユーザは、表示部に表示された関連情報の中から、所望の関連情報を選択するように操作部３７を操作し、操作部３７は、その選択情報を記録制御部３５に供給する。なお、検索部３４から１つのまたは複数の関連情報が供給された場合、ステップＳ８では、その関連情報をユーザによる操作部３７の操作に応じて編集することが可能である。また、ステップＳ８の処理は、スキップすることが可能である。
【００４７】
なお、ステップＳ８では、検索部３４から複数の関連情報が供給された場合、その複数の関連情報の中から、代表画像または位置情報の一致度（マッチングの度合い）の高い順に所定数（１以上）の関連情報を選択するようにしてもよい。
【００４８】
ステップＳ８の処理後は、ステップＳ９に進み、操作部３７は、ユーザにより、関連情報の記録開始が指示されたかどうかを判定し、記録開始が指示されていないと判定した場合、記録開始が指示されるまで待機する。
【００４９】
一方、ステップＳ９において、操作部３７は、ユーザにより記録開始が指示されたと判定した場合、記録開始を指示する信号を記録制御部３５に供給し、ステップＳ１０に進む。ステップＳ１０において、記録制御部３５は、直前のステップＳ２で記録した画像データおよび音声データに対応付けて、ステップＳ８で選択されたまたはステップＳ７で取得した関連情報および撮像日時を、記録部３６に記録して処理を終了する。
【００５０】
なお、上述した処理では、位置情報と代表画像に基づいて関連情報が検索されたが、検出部３３が、撮像対象に付けられたＲＦタグから撮像対象の情報を表わすＲＦタグ情報を検出し、検索部３４が、位置情報と代表画像の他に、そのＲＦタグ情報にも基づいて、撮像対象に関連する関連情報を検索することも可能である。この場合、情報記憶装置５１の識別情報の中に、ＲＦタグ情報が表す撮像対象も記憶されている。
【００５１】
例えば、美術館において絵画が撮像された場合、検出部３３は、絵画に付けられたＲＦタグから、撮像対象が絵画であることを表わすＲＦタグ情報を検出し、検索部３４が、美術館の位置を表わす位置情報と代表画像の他に、そのＲＦタグ情報にも基づいて、撮像対象である絵画に関連する関連情報を検索する。これにより、位置情報と代表画像のマッチングだけでは困難な撮像対象を正確に特定することができる。
【００５２】
また、検出部３３では、撮像対象の画像と、過去に撮像された、記録部３６に記録されている画像とのマッチングを行い、撮像対象の画像と一致または類似する、過去に撮像された画像に対応付けられている関連情報から、撮像対象を識別する情報を検出するようにすることができる。この場合、検索部３４では、検出部３３で検出された撮像対象を識別する情報をも用いて、その撮像対象の関連情報を検索することができる。
【００５３】
図４は、ビデオカメラ１の処理の概要を説明する図である。
【００５４】
ビデオカメラ１は、撮像対象の画像１１を撮像し、その際、その撮像対象を撮像した撮像場所を表わす位置情報（撮像位置）として緯度と経度を検出する。ビデオカメラ１は、撮像対象の画像１１と撮像位置をキーにして、情報記憶装置５１に記憶されている登録データの中から、その撮像対象に関連する関連情報１２（例えば、撮像地点の観光スポットの詳細テキスト等の撮像対象に関する詳細説明を記述したテキスト）を検索する。
【００５５】
このように、ビデオカメラ１は、位置情報だけでなく、撮像対象の画像、さらには、必要に応じてＲＦタグ情報、その他の撮像対象を識別する情報に基づいて、登録データを検索することにより、位置情報のみでは特定できない撮像対象、例えば、走行中の車などを特定し、その撮像対象に関連する関連情報を取得することができる。
【００５６】
また、ビデオカメラ１は、情報記憶装置５１から取得した関連情報１２を、撮像された画像１１とともに記録する。これにより、記録された画像から所望の画像を検索する場合、タイトルやコメントを予め入力することなく、関連情報から、簡単に画像を検索することができる。
【００５７】
即ち、記録された画像から所望の画像を検索する場合、サムネイル表示などによって画像一覧を表示し、ユーザがその画像一覧から所望の画像を選択する方法が考えられるが、この場合、画像一覧の画像が小さいので、所望の画像かどうかを判断することが困難なことがある。
【００５８】
そこで、ユーザが手入力によって画像にタイトルやコメントを付加し、そのタイトルやコメント文を検索する方法がある。この場合、所望の画像を検索しやすいが、ユーザがタイトルやコメント文を画像ごとにタイプする必要があり面倒である。
【００５９】
ビデオカメラ１では、ユーザがタイトルやコメントをタイプせずに、関連情報から容易に画像を検索することができる。
【００６０】
さらに、画像１１とともに関連情報１２が記録されるので、その関連情報を用いることにより、記録された画像の保存や利用を簡便かつ利便に行うことができる。
【００６１】
なお、上述した説明では、位置情報はGPSを用いて検出されたが、DGPS(Differential Global Positioning System)等その他の機能を用いて検出されてもよい。
【００６２】
また、上述した説明では、ビデオカメラ１の検索部３４が、関連情報を検索したが、情報記憶装置５１に関連情報を検索させ、その検索結果を取得するようにすることもできる。
【００６３】
さらに、検索部３６で画像マッチングに用いる画像データは、間引いた画像のデータや特徴量でもよい。間引いた画像を画像マッチングに用いた場合、検索部３６における画像マッチングの処理量を少なくすることができる。
【００６４】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、上述した処理は、図５に示されるようなパーソナルコンピュータ６００により実行される。
【００６５】
図５において、CPU（Central Processing Unit）６０１は、ROM(Read Only Memory)６０２に記憶されているプログラム、または、記憶部６０８からRAM(Random Access Memory)６０３にロードされたプログラムに従って各種の処理を実行する。RAM６０３にはまた、CPU６０１が各種の処理を実行する上において必要なデータなどが適宜記憶される。
【００６６】
CPU６０１、ROM６０２、およびRAM６０３は、内部バス６０４を介して相互に接続されている。この内部バス６０４にはまた、入出力インターフェース６０５も接続されている。
【００６７】
入出力インターフェース６０５には、キーボード、マウスなどよりなる入力部６０６、CRT，LCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部６０７、ハードディスクなどより構成される記憶部６０８、モデム、ターミナルアダプタなどより構成される通信部６０９が接続されている。通信部６０９は、電話回線やCATVを含む各種のネットワークを介しての通信処理を行なう。
【００６８】
入出力インターフェース６０５にはまた、必要に応じてドライブ６１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどによりなるリムーバブルメディア６２１が適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部６０８にインストールされる。
【００６９】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば、汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【００７０】
この記録媒体は、図５に示されるように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されているリムーバブルメディア６２１よりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM６０２や記憶部６０８が含まれるハードディスクなどで構成される。
【００７１】
なお、本明細書において、フローチャートに記載された処理は、ステップとして記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００７２】
【発明の効果】
以上の如く、本発明によれば、撮像した画像に関連付けて情報を記録することができる。特に、撮像対象が特定の位置に固定されていない場合においても、その撮像対象について正しい関連情報を記録することができる。
【図面の簡単な説明】
【図１】本発明を適用したビデオカメラの処理の概要を示す図である。
【図２】図１のビデオカメラの構成例を示すブロック図である。
【図３】図２のビデオカメラにおける撮像記録処理を説明するフローチャートである。
【図４】ビデオカメラの処理の概要を示す図である。
【図５】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
１ビデオカメラ，１１画像，１２関連情報，３１画像入力部，
３２音声入力部，３３検出部，３４検索部，３５記録制御部，
３６記録部，３７操作部，５１情報記憶装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an information recording control device, an information recording control method, a recording medium, and a program, and in particular, an information recording control device capable of recording a captured image and sound together with information related to an imaging target, and The present invention relates to an information recording control method, a recording medium, and a program.
[0002]
[Prior art]
In recent years, an image recording apparatus such as a digital camera that records digital data of images and sounds on a magnetic tape, a memory card or the like has been widely used. In some digital cameras, in addition to captured image information, an imaging date and time and camera parameters can be recorded simultaneously.
[0003]
In addition, the position information of the imaging location is acquired by GPS (Global Positioning System), and based on the position information, related information related to the imaging target that captured the image is searched, and the related information is associated with the image. A camera device for recording has also been proposed (for example, Patent Document 1).
[0004]
[Patent Document 1]
Japanese Patent Laid-Open No. 11-72348
[Problems to be solved by the invention]
However, when related information related to the imaging target is searched based on the positional information (imaging position) of the imaging location, the related information is not obtained for the imaging target (for example, a running car) that is not fixed at a specific position. There was a problem that it was difficult to search.
[0006]
Further, when there are a plurality of imaging targets at the same position, there is a problem that it is difficult to specify the imaging target only by the position information of the imaging position by GPS.
[0007]
The present invention has been made in view of such a situation, and specifies an imaging target with high accuracy so that correct relevant information can be recorded together with the image for the imaging target.
[0008]
[Means for Solving the Problems]
An information recording control apparatus according to the present invention includes an image acquisition unit that acquires an image to be imaged, an imaging position of the image acquisition target, and matches or is similar to the image acquired by the image acquisition unit before the image. Detection means for detecting identification information for identifying the imaging target from related information related to the imaging target recorded in the recording unit corresponding to the acquired image, imaging position and identification information detected by the detection means, and Based on the image of the imaging target, the related information acquisition unit that acquires the related information related to the imaging target and the image acquired by the image acquisition unit are recorded in the recording unit together with the related information acquired by the related information acquisition unit. And a recording control means.
[0009]
In the case where a plurality of related information is acquired by the related information acquisition means, the recording control means further includes a selection means for selecting desired related information from the plurality of related information, and the recording control means displays the related information selected by the selection means. You can make it record.
[0010]
The related information acquisition unit can acquire the related information by performing communication via a network with a related information storage unit that stores the related information .
[0011]
Related information obtaining means, based also on the RF tag information representing the information of the imaging object detected from RF (Radio Frequency) tag attached to the imaging target can be configured to obtain the relevant information.
[0012]
An information recording control method according to the present invention includes an image acquisition step for acquiring an image to be imaged, an image pickup position of the image pickup object, and an image that matches or is similar to the image acquired by the process of the image acquisition step. A detection step for detecting identification information for identifying the imaging target from related information related to the imaging target recorded in the recording unit corresponding to the previously acquired image, and an imaging position detected by the processing of the detection step Based on the identification information and the image of the imaging target, the related information acquisition step for acquiring the related information related to the imaging target and the image acquired by the processing of the image acquisition step are acquired by the processing of the related information acquisition step. And a recording control step for recording in the recording unit together with the related information.
[0013]
The program of the present invention acquires an image acquisition step for acquiring an image to be imaged, and detects an imaging position of the image capture target, and is acquired before the image that matches or is similar to the image acquired by the processing of the image acquisition step. A detection step for detecting identification information for identifying the imaging target from related information related to the imaging target recorded in the recording unit corresponding to the recorded image, and an imaging position and identification information detected by the processing of the detection step In addition, based on the image of the imaging target, a related information acquisition step of acquiring related information related to the imaging target, and an image acquired by the processing of the image acquisition step, the related information acquired by the processing of the related information acquisition step In addition , the computer is caused to perform processing including a recording control step of recording in a recording unit .
[0014]
The recording medium in which the program of the present invention is recorded is an image acquisition step for acquiring an image to be imaged, and an image acquisition position of the image acquisition target, and coincides with or is similar to the image acquired by the process of the image acquisition step. The detection step for detecting the identification information for identifying the imaging target from the related information related to the imaging target recorded in the recording unit corresponding to the image acquired before that image, and detection by the processing of the detection step Based on the captured imaging position and identification information and the image of the imaging target, the related information acquisition step of acquiring the related information related to the imaging target, and the image acquired in the processing of the image acquisition step, the related information acquisition step programming to perform the processing together with the related information acquired by the processing and a recording control step of recording the recording unit to the computer Beam is characterized in that it is recorded.
[0015]
In the present invention, an image to be imaged is acquired, the imaging position of the imaged object is detected , and the recording unit corresponds to an image acquired before the image that matches or is similar to the acquired image. Identification information for identifying the imaging target is detected from the related information related to the recorded imaging target. Based on the detected imaging position and identification information and the image of the imaging target, related information related to the imaging target is acquired, and the image is recorded in the recording unit together with the related information.
[0016]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below. Correspondences between constituent elements described in the claims and specific examples in the embodiments of the present invention are exemplified as follows. This description is to confirm that specific examples supporting the invention described in the claims are described in the embodiments of the invention. Therefore, even if there are specific examples that are described in the embodiment of the invention but are not described here as corresponding to the configuration requirements, the specific examples are not included in the configuration. It does not mean that it does not correspond to a requirement. On the contrary, even if a specific example is described here as corresponding to a configuration requirement, this means that the specific example does not correspond to a configuration requirement other than the configuration requirement. not.
[0017]
Further, this description does not mean that all the inventions corresponding to the specific examples described in the embodiments of the invention are described in the claims. In other words, this description is an invention corresponding to the specific example described in the embodiment of the invention, and the existence of an invention not described in the claims of this application, that is, in the future, a divisional application will be made. Nor does it deny the existence of an invention added by amendment.
[0018]
The information recording control device according to claim 1 (for example, the video camera 1 in FIG. 2) includes an image acquisition unit (for example, the image input unit 31 in FIG. 2) for acquiring an image to be imaged, and the imaging of the imaged object. From the related information related to the imaging target recorded in the recording unit corresponding to the image acquired before the image that is detected or matched with the image acquired by the image acquisition unit and is similar to or similar to the image acquired by the image acquisition unit Based on the detection means (for example, the detection unit 33 in FIG. 2) for detecting the identification information for identifying the imaging target, the imaging position and the identification information detected by the detection means, and the image of the imaging target, related information obtaining means (e.g., the search unit 34 of FIG. 2) for acquiring related information related to the captured target, the image acquired by the image acquisition unit, by the related information obtaining means Obtained by recording control means for recording in the recording unit together with the relevant information (e.g., recording control unit 35 of FIG. 2), characterized in that it comprises a.
[0019]
According to a second aspect of the present invention, there is provided the information recording control apparatus, wherein when a plurality of pieces of related information are acquired by the related information acquisition unit, a selection unit that selects desired related information from the plurality of pieces of related information (for example, FIG. 2). The operation section 37) is further provided, wherein the recording control means records the related information selected by the selection means.
[0020]
The information recording control method according to claim 5 includes an image acquisition step (for example, step S1 in FIG. 3) for acquiring an image to be imaged, and an image acquisition position of the imaged object, and processing of the image acquisition step. Identification information for identifying the imaging target from the related information related to the imaging target recorded in the recording unit corresponding to the image acquired before the image that matches or is similar to the image acquired by Based on the detection step (for example, step S5 in FIG. 3) to detect, the imaging position and the identification information detected by the processing of the detection step, and the image of the imaging target, related information related to the imaging target is obtained. Related information acquiring step of acquiring (for example, step S 7 of FIG. 3) and, the image obtained by the processing of the image acquisition step, said associated information Together with the related information acquired by the processing of the resulting step recording control step of recording in the recording unit (e.g., step S1 0 of FIG. 3), characterized in that it comprises a.
[0021]
The specific example of each step of the program according to claim 6 and the program of the recording medium according to claim 7 is the same as the specific example in the embodiment of the invention of each step of the information recording control method according to claim 5. It is.
[0022]
FIG. 1 is a diagram showing an outline of processing of a video camera 1 to which the present invention is applied.
[0023]
The video camera 1 captures an image 11 to be imaged, and detects position information (imaging position) indicating an imaging location where the imaging object is imaged. The video camera 1 searches for and acquires related information 12 related to the imaging target based on the image 11 and the imaging position of the imaging target. Then, the video camera 1 records the image 11 together with the related information 12.
[0024]
FIG. 2 is a diagram illustrating a configuration example of the video camera 1.
[0025]
The video camera 1 includes an image input unit 31, an audio input unit 32, a detection unit 33, a search unit 34, a recording control unit 35, a recording unit 36, and an operation unit 37. In addition, the video camera 1 can be connected to the information storage device 51 via a network such as the Internet, and can communicate with the information storage device 51 by wire or wirelessly. .
[0026]
The image input unit 31 images an imaging target, acquires digital data (image data) of the image (signal) of the imaging target, and supplies the digital data to the search unit 34 and the recording control unit 35. The image input unit 31 includes, for example, a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) imager.
[0027]
The voice input unit 32 collects voice (sound), acquires digital data (voice data) of the voice (signal), and supplies it to the recording control unit 35. The voice input unit 32 is constituted by a microphone, for example.
[0028]
The detection unit 33 detects the date / time and place where the image input unit 31 captured an image. That is, the detection unit 33 detects the imaging date and time measured by a timing unit (not shown), and detects position information (imaging position) such as latitude and longitude, for example, indicating the imaging location of the image by GPS. The detection unit 33 supplies the detected imaging date / time and position information to the search unit 34.
[0029]
The search unit 34 extracts, from the image data supplied from the image input unit 31, an image (hereinafter, referred to as a representative image as appropriate) representing the image data for specifying the imaging target (or data). Generated). The search unit 34 accesses the information storage device 51 via the network, and the information storage device 51 stores the information based on the positional information supplied from the detection unit 33 and the representative image extracted from the image data. It is acquired by searching related information related to the imaging target from the registered data, and is supplied to the recording control unit 35.
[0030]
Further, the search unit 34 supplies the imaging date and time supplied from the detection unit 33 to the recording control unit 35.
[0031]
The recording control unit 35 encodes the image data supplied from the image input unit 31 and the audio data supplied from the audio input unit 32, and the encoded image data and audio data are supplied from the search unit 34. Control is performed for recording in the recording unit 36 together with information and imaging date and time. Note that the image data, the audio data, and the related information can be recorded in the same file or in different files, but here they are recorded in different files. As the recording unit 36, for example, a magnetic tape or a memory card for recording digital data can be used.
[0032]
The operation unit 37 is operated by a user, and supplies, for example, a signal for instructing start or end of imaging to the image input unit 31 and the audio input unit 32 according to the user's operation, or an image signal or audio signal. Is supplied to the recording control unit 35. In addition, when a plurality of related information is acquired by the search unit 34, when the user operates the operation unit 37 to instruct selection of desired related information from the plurality of related information, The operation unit 37 supplies the selection information to the recording control unit 35.
[0033]
The information storage device 51 stores identification information for identifying various imaging targets as registration data together with related information related to the imaging target (for example, a text describing the name of the imaging target and a detailed description about the imaging target). Yes. The identification information of the imaging target includes, for example, position information where the imaging target exists and a reference pattern of an image obtained by imaging the imaging target from one or more directions.
[0034]
FIG. 3 is a flowchart for explaining the imaging and recording process of the video camera 1 of FIG. This imaging recording process is started when the user gives an instruction to start imaging by operating the operation unit 37.
[0035]
In step S1, the image input unit 31 and the audio input unit 32 start imaging. That is, the image input unit 31 acquires image data to be imaged and supplies the image data to the search unit 34 and the recording control unit 35, and the audio input unit 32 acquires the audio data to be imaged. The audio data is supplied to the recording control unit 35.
[0036]
After the process of step S1, the process proceeds to step S2, and the recording control unit 35 encodes the image data supplied from the image input unit 31 and the audio data supplied from the audio input unit 32, and the encoded image data and The audio data is recorded in the recording unit 36, and the process proceeds to step S3.
[0037]
In step S3, the operation unit 37 determines whether or not the user has instructed to stop imaging. If it is determined that the imaging has not been instructed, the operation unit 37 returns to step S2 and repeats the above-described processing.
[0038]
On the other hand, if it is determined in step S3 that the user has instructed to stop imaging, the operation unit 37 proceeds to step S4, and supplies a signal for instructing imaging stop to the image input unit 31 and the audio input unit 32, and step S5. Proceed to When a signal instructing to stop imaging is supplied from the operation unit 37 to the image input unit 31 and the audio input unit 32, the image input unit 31 stops acquisition of image data to be imaged, and the audio input unit 32 Stop acquisition of audio data to be imaged.
[0039]
In step S5, the detection unit 33 detects the imaging date and time measured by a timing unit (not shown) and position information (imaging position) indicating the imaging location of the image by GPS, and supplies the position information (imaging position) to the search unit 34, and then proceeds to step S6. move on. In step S <b> 6, the search unit 34 serves as a representative image for specifying the imaging target from the image data supplied from the image input unit 31 (image data supplied from the image input unit 31 and recorded in the recording unit 36). For example, an image (data) of one frame is extracted.
[0040]
After the processing in step S6, the process proceeds to step S7, and the search unit 34 relates the imaging target in the representative image based on the positional information supplied from the detection unit 33 in step S5 and the representative image extracted in step S6. Get information.
[0041]
That is, the search unit 34 accesses the information storage device 51, and from the registration data stored in the information storage device 51, the position information as the identification information in the registration data and the reference pattern of the image are the target of imaging. A search is made for items that match the position information and the image pattern of the representative image.
[0042]
For example, when the imaging target of the representative image is a poster, the search unit 34 selects the poster from the registration data stored in the information storage device 51 based on the positional information (imaging position) indicating the imaging location of the poster. The registered data having the position information close to the imaging position as identification information is searched, and the reference pattern of the image stored as the identification information of the registered data for the searched registration data and the representative image The image pattern matching is performed to search for the most similar image pattern of the representative image.
[0043]
In the case of registration data having position information close to the imaging position as identification information, the reference pattern of the image stored as the identification information of the registration data is not similar to the image pattern of the representative image Performs matching on all registered data and searches for the most similar image pattern of the representative image.
[0044]
As in step S7 described above, by searching the registered data based on both the position information and the representative image, the imaging target that is difficult to be specified only by the position information is accurately specified by the image pattern of the representative image. be able to.
[0045]
Further, the search unit 34 supplies the acquired related information and the imaging date and time supplied from the detection unit 33 to the recording control unit 35, and proceeds from step S7 to step S8.
[0046]
In step S <b> 8, the recording control unit 35 selects the related information supplied from the search unit 34. That is, for example, when a plurality of related information (related information for each of a plurality of objects) is supplied from the search unit 34, the recording control unit 35 displays the plurality of related information on a display unit (not shown). The user operates the operation unit 37 so as to select desired related information from the related information displayed on the display unit, and the operation unit 37 supplies the selection information to the recording control unit 35. When one or a plurality of related information is supplied from the search unit 34, in step S8, the related information can be edited according to the operation of the operation unit 37 by the user. Moreover, the process of step S8 can be skipped.
[0047]
In step S8, when a plurality of pieces of related information are supplied from the search unit 34, a predetermined number (one or more) is selected from the plurality of pieces of related information in descending order of matching degree (matching degree) of the representative image or position information. ) Related information may be selected.
[0048]
After the process of step S8, the process proceeds to step S9, where the operation unit 37 determines whether or not the user has instructed to start recording related information. If it is determined that the recording start has not been instructed, the operation start is instructed. Wait until
[0049]
On the other hand, if it is determined in step S9 that the user has instructed recording start, the operation unit 37 supplies a signal instructing recording start to the recording control unit 35, and the process proceeds to step S10. In step S10, the recording control unit 35 associates the recording unit 36 with the related information and the imaging date and time selected in step S8 or acquired in step S7 in association with the image data and audio data recorded in the previous step S2. Record and finish the process.
[0050]
In the above-described processing, related information is searched based on the position information and the representative image. However, the detection unit 33 detects RF tag information representing information on the imaging target from the RF tag attached to the imaging target. The search unit 34 can search related information related to the imaging target based on the RF tag information in addition to the position information and the representative image. In this case, the imaging target represented by the RF tag information is also stored in the identification information of the information storage device 51.
[0051]
For example, when a picture is captured in a museum, the detection unit 33 detects RF tag information indicating that the imaging target is a painting from the RF tag attached to the painting, and the search unit 34 determines the position of the museum. In addition to the position information to be represented and the representative image, related information related to the picture to be imaged is searched based on the RF tag information. As a result, it is possible to accurately specify an imaging target that is difficult only by matching the position information and the representative image.
[0052]
In addition, the detection unit 33 performs matching between the image to be captured and the image captured in the past and recorded in the recording unit 36, and matches or resembles the image to be captured in the past. It is possible to detect information for identifying the imaging target from the related information associated with. In this case, the search unit 34 can search related information of the imaging target using information for identifying the imaging target detected by the detection unit 33.
[0053]
FIG. 4 is a diagram for explaining an outline of processing of the video camera 1.
[0054]
The video camera 1 captures an image 11 to be imaged, and detects latitude and longitude as position information (imaging position) representing an imaging location where the imaging object is imaged. The video camera 1 uses the image 11 to be imaged and the imaging position as a key, and from the registered data stored in the information storage device 51, related information 12 (for example, a tourist spot at the imaging point) related to the imaging object. Text describing the detailed description of the imaging target, such as the detailed text of the text).
[0055]
As described above, the video camera 1 searches the registration data based not only on the position information but also on the image to be imaged, and further on the basis of the RF tag information and other information for identifying the imaged object as necessary. It is possible to specify an imaging target that cannot be specified only by position information, for example, a running car, and obtain related information related to the imaging target.
[0056]
In addition, the video camera 1 records the related information 12 acquired from the information storage device 51 together with the captured image 11. Thereby, when searching for a desired image from recorded images, it is possible to easily search for an image from related information without inputting a title or a comment in advance.
[0057]
That is, when searching for a desired image from recorded images, a method of displaying an image list by thumbnail display or the like and allowing the user to select a desired image from the image list is conceivable. Since it is small, it may be difficult to determine whether it is a desired image.
[0058]
Therefore, there is a method in which a user manually adds a title or comment to an image and searches for the title or comment text. In this case, it is easy to search for a desired image, but it is troublesome because the user needs to type a title and a comment for each image.
[0059]
In the video camera 1, the user can easily search for an image from related information without typing a title or a comment.
[0060]
Further, since the related information 12 is recorded together with the image 11, the recorded information can be stored and used simply and conveniently by using the related information.
[0061]
In the above description, the position information is detected using GPS, but may be detected using other functions such as DGPS (Differential Global Positioning System).
[0062]
In the above description, the search unit 34 of the video camera 1 searches for related information. However, the information storage device 51 can search for related information and acquire the search result.
[0063]
Further, the image data used for image matching in the search unit 36 may be thinned image data or feature amounts. When the thinned image is used for image matching, the processing amount of image matching in the search unit 36 can be reduced.
[0064]
The series of processes described above can be executed by hardware or can be executed by software. In this case, the processing described above is executed by a personal computer 600 as shown in FIG.
[0065]
In FIG. 5, a CPU (Central Processing Unit) 601 performs various processes according to a program stored in a ROM (Read Only Memory) 602 or a program loaded from a storage unit 608 to a RAM (Random Access Memory) 603. Execute. The RAM 603 also appropriately stores data necessary for the CPU 601 to execute various processes.
[0066]
The CPU 601, ROM 602, and RAM 603 are connected to each other via an internal bus 604. An input / output interface 605 is also connected to the internal bus 604.
[0067]
The input / output interface 605 includes an input unit 606 including a keyboard and a mouse, a display including a CRT and an LCD (Liquid Crystal Display), an output unit 607 including a speaker, a storage unit 608 including a hard disk, a modem, and the like. A communication unit 609 including a terminal adapter is connected. The communication unit 609 performs communication processing via various networks including a telephone line and CATV.
[0068]
A drive 610 is connected to the input / output interface 605 as necessary, and a removable medium 621 composed of a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory, or the like is appropriately attached, and a computer program read therefrom is It is installed in the storage unit 608 as necessary.
[0069]
When a series of processing is executed by software, a program constituting the software executes various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed in a general-purpose personal computer from a network or a recording medium.
[0070]
As shown in FIG. 5, this recording medium is not only configured by a package medium including a removable medium 621 on which a program is recorded, which is distributed to provide a program to a user separately from the computer. A ROM 602 storing a program and a hard disk including a storage unit 608 provided to the user in a state of being pre-installed in the apparatus main body.
[0071]
In the present specification, the processes described in the flowcharts are executed in parallel or individually even if they are not necessarily processed in time series, as well as processes performed in time series according to the order described as steps. It also includes processing.
[0072]
【The invention's effect】
As described above, according to the present invention, information can be recorded in association with a captured image. In particular, even when the imaging target is not fixed at a specific position, correct relevant information can be recorded for the imaging target.
[Brief description of the drawings]
FIG. 1 is a diagram showing an outline of processing of a video camera to which the present invention is applied.
FIG. 2 is a block diagram illustrating a configuration example of the video camera in FIG. 1;
FIG. 3 is a flowchart for explaining imaging recording processing in the video camera of FIG. 2;
FIG. 4 is a diagram showing an outline of processing of a video camera.
FIG. 5 is a block diagram illustrating a configuration example of a personal computer.
[Explanation of symbols]
1 video camera, 11 images, 12 related information, 31 image input section,
32 voice input unit, 33 detection unit, 34 search unit, 35 recording control unit,
36 recording unit, 37 operation unit, 51 information storage device

Claims

Image acquisition means for acquiring an image to be imaged;
In addition to detecting the imaging position of the imaging target, the imaging target recorded in the recording unit corresponding to an image acquired before the image that matches or is similar to the image acquired by the image acquisition unit Detecting means for detecting identification information for identifying the imaging target from related information ;
Related information acquisition means for acquiring related information related to the imaging target based on the imaging position and the identification information detected by the detection means and the image of the imaging target;
An information recording control apparatus comprising: a recording control unit that causes the recording unit to record the image acquired by the image acquisition unit together with the related information acquired by the related information acquisition unit.

In the case where a plurality of related information is acquired by the related information acquisition means, further comprising a selection means for selecting desired related information from the plurality of related information,
The information recording apparatus according to claim 1, wherein the recording control unit records the related information selected by the selection unit.

The information recording control apparatus according to claim 1, wherein the related information acquisition unit acquires the related information by performing communication via a network with a related information storage unit that stores the related information .

The related information obtaining means, based also on the RF tag information representing information of the imaging object detected from RF (Radio Frequency) tag attached to the imaging target, and acquires the related information The information recording control apparatus according to claim 1.

An image acquisition step of acquiring an image to be imaged;
The imaging recorded in the recording unit corresponding to the image acquired before the image that detects the imaging position of the imaging target and matches or is similar to the image acquired by the processing of the image acquisition step A detection step of detecting identification information for identifying the imaging target from related information related to the target ;
A related information acquisition step of acquiring related information related to the imaging target based on the imaging position and the identification information detected by the processing of the detection step and the image of the imaging target;
A recording control step of causing the recording unit to record the image acquired in the processing of the image acquisition step together with the related information acquired in the processing of the related information acquisition step. .

In a program for causing a computer to perform predetermined information recording control processing,
An image acquisition step of acquiring an image to be imaged;
The imaging recorded in the recording unit corresponding to the image acquired before the image that detects the imaging position of the imaging target and matches or is similar to the image acquired by the processing of the image acquisition step A detection step of detecting identification information for identifying the imaging target from related information related to the target ;
A related information acquisition step of acquiring related information related to the imaging target based on the imaging position and the identification information detected by the processing of the detection step and the image of the imaging target;
Characterized in that to perform processing including a recording control step of recording the image obtained by the processing of the image acquisition step, in the recording portion together with the related information acquired by the processing of the related information acquisition step to the computer Program.

In a recording medium on which a program for causing a computer to perform predetermined information recording control processing is recorded,
An image acquisition step of acquiring an image to be imaged;
The imaging recorded in the recording unit corresponding to the image acquired before the image that detects the imaging position of the imaging target and matches or is similar to the image acquired by the processing of the image acquisition step A detection step of detecting identification information for identifying the imaging target from related information related to the target ;
A related information acquisition step of acquiring related information related to the imaging target based on the imaging position and the identification information detected by the processing of the detection step and the image of the imaging target;
A program that causes a computer to perform a process including a recording control step of recording the image acquired in the process of the image acquisition step together with the related information acquired in the process of the related information acquisition step in the recording unit is recorded. A recording medium characterized by that.