JP4116513B2

JP4116513B2 - Video information indexing support apparatus, video information indexing support method, and program

Info

Publication number: JP4116513B2
Application number: JP2003323755A
Authority: JP
Inventors: 由喜脇田; 英毅石井; 小山　　毅
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2003-09-16
Filing date: 2003-09-16
Publication date: 2008-07-09
Anticipated expiration: 2023-09-16
Also published as: JP2005094269A

Description

本発明は、動画情報と画面画像とを対応づけてインデキシングを行う際に、有効な動画情報に対応する有効な画面画像を選択する動画情報インデキシング支援装置、動画情報インデキシング支援方法およびプログラムに関する。 The present invention, when performing indexing in association with the video information and the screen image, moving picture information indexing support device to select a valid screen image corresponding to the valid video information, video information indexing support method and program About.

例えばプレゼンテーションなど経時的に進行する場面単位のスライドなどの複数の画面画像と、この画面画像に対応した場面で撮像された映像の動画情報とを対応付けて記録された画像情報を編集する情報編集装置において、編集の際に、長時間の映像のうちから所望の一部のみを見たいという要望がある。この要望に応えるべく、近年では、所望の部分を容易に検索または頭出しする方法として、インデキシング技術が開発されている。インデキシング技術とは、映像全体を時間軸に沿って複数の部分に分割し、それぞれの部分に対して、検索可能とすべく記述情報を対応付ける技術である。 Information editing that edits image information recorded by associating multiple screen images such as slides of scene units that progress with time, such as presentations, and video information of videos captured in scenes corresponding to the screen images In an apparatus, there is a demand for viewing only a desired part of a long-time image during editing. In order to meet this demand, in recent years, an indexing technique has been developed as a method for easily searching or searching for a desired portion. The indexing technique is a technique in which the entire video is divided into a plurality of parts along the time axis, and description information is associated with each part so as to be searchable.

映像等の動画情報に対しインデキシングを行なう場合、映像内容に関してどのようなイベントが発生したのか、映像内容に対してイベントに関する情報を付加する必要がある。この作業は、作業者が実際に撮影した映像をすべて見て映像の内容を把握し、場面の切り替わり、話題の切り替わりを判断し、付加すべきイベントに関する情報を決めていくことにより行われている。このようなインデキシングを施された映像情報は、場面単位での閲覧や、映像内容に付加した情報による検索を行なうことが可能となる。 When indexing moving image information such as video, it is necessary to add information about the event to the video content, what kind of event has occurred regarding the video content. This work is done by watching the video actually taken by the worker, grasping the content of the video, judging the scene change, topic change, and determining information about the event to be added . Such indexed video information can be browsed on a scene-by-scene basis and searched using information added to video content.

このようなインデキシング技術としては、スライド等のドキュメントが表示されたタイミングに基づいて、当該ドキュメントに関連する映像を同期させるドキュメント処理方法が知られている（例えば、特許文献１、特許文献２、特許文献３、特許文献４）。 As such an indexing technique, there is known a document processing method that synchronizes video related to a document based on the timing at which a document such as a slide is displayed (for example, Patent Document 1, Patent Document 2, Patent). Document 3 and Patent document 4).

このようなインデキシングの従来技術では、通常、説明のための画面画像を切替え操作するプレゼンテーション用ＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）と。その映像をキャプチャするキャプチャ用ＰＣとを用いる。そして、プレゼンテーション用ＰＣとキャプチャ用ＰＣとをネットワークで接続せず別個に動作させて作業を行う場合には、プレゼンテーション用ＰＣ側で画面画像のプレゼンテーション資料と場面の切り替わりのイベントを記録したイベントファイルをキャプチャ用ＰＣに移動し、キャプチャ用ＰＣ側で、撮像した映像の動画情報と、イベントを対応づける作業を行う。 In the prior art of such indexing, usually, a presentation PC (Personal Computer) that switches screen images for explanation. A capture PC that captures the video is used. When the presentation PC and the capture PC are operated separately without being connected via a network, an event file in which the presentation material of the screen image and the event of switching the scene are recorded on the presentation PC side. Move to the capture PC, and on the capture PC side, work to associate the moving image information of the captured video with the event.

特開２００２−２３２８５８号公報（第５−９頁）JP 2002-232858 A (page 5-9) 特開２００２−３５１８９０号公報JP 2002-351890 A 特開２０００−０９９５２４５号公報JP 2000-099245 A 特開平９−０１６７９９号公報Japanese Patent Laid-Open No. 9-016799

しかしながら、キャプチャ用ＰＣ側で、プレゼンテーション資料の画面画像と動画情報の対応付けを行ってコンテンツを生成する場合には、各イベントに対する画面画像の中で有効なものを選択する作業が必要となる。すなわち、プレゼンテーションを行う場合には、発表者は撮像を開始した後に練習のためにスライドを何回か表示したりするため、イベントファイルには、これら練習用の画面画像の表示切り替えなど不要なイベントが含まれてしまう。このため、発表ごとにイベント検出ソフトウェアを何回も起動したり、あるいは動画情報を再生しながら画面画像を確認するといった作業が必要となり、画面画像の有効な範囲を決定するための作業が煩雑となるという問題がある。 However, when generating content by associating the screen image of the presentation material with the moving image information on the capture PC side, it is necessary to select an effective screen image for each event. In other words, when a presentation is made, the presenter displays slides several times for practice after starting imaging, so the event file contains unnecessary events such as switching the display of these practice screen images. Will be included . For this reason, it is necessary to start the event detection software several times for each announcement, or to check the screen image while reproducing the video information, and the work for determining the effective range of the screen image is complicated. There is a problem of becoming.

これは、プレゼンテーション用ＰＣとキャプチャ用ＰＣとをネットワークで接続せず別個に動作させて作業を行う場合に、プレゼンテーション用ＰＣでは、撮影開始や撮影終了のタイミングを検出することができないため、画面画像の切替え等によるイベント検出と、動画情報とが同期がとれず、後で、キャプチャ用ＰＣで不要部分の削除や適切な画面画像の特定などの作業量は膨大となってくる。 This is because when a presentation PC and a capture PC are operated separately without being connected via a network, the presentation PC cannot detect the timing of the start of shooting or the end of shooting. The event detection due to switching or the like is not synchronized with the moving image information, and later, the amount of work such as deleting unnecessary portions and specifying an appropriate screen image on the capture PC becomes enormous.

本発明は、上記に鑑みてなされたものであって、イベント情報に対する画面画像の有効な範囲を容易に決定して動画情報のインデキシング作業を効率的に行うことができる動画情報インデキシング支援装置、動画情報インデキシング支援方法およびその方法をコンピュータに実行させるプログラムに関する。 The present invention has been made in view of the above, and is a moving image information indexing support apparatus and moving image that can easily determine the effective range of a screen image for event information and efficiently perform the indexing operation of moving image information. The present invention relates to an information indexing support method and a program for causing a computer to execute the method.

上述した課題を解決し、目的を達成するために、請求項１にかかる発明は、複数の画面画像を使用して前記画面画像に対する説明内容を撮像した動画情報と該動画情報に対応する画面画像を対応づける動画情報インデキシング支援装置であって、複数の画面画像に対する経時的な操作に関連して発生するイベントと、該イベントに対応づけられた前記画面画像の情報とを含むイベント情報を記録する記録手段と、利用者にイベント記録開始の旨およびイベント記録開始リセットの旨を入力させる入力制御手段と、前記イベント情報を編集する編集手段と、を備え、前記記録手段は、前記入力制御手段よりイベント記録開始の旨が入力された時点からのイベントと前記画面画像の情報とを対応づけて前記イベント情報として記録し、前記編集手段は、前記入力制御手段よりイベント記録開始リセットの旨が入力された場合、該イベント記録開始リセットの旨が入力された時点以降のイベントを有効なものとして前記イベント情報を更新する、ことを特徴とする。 In order to solve the above-mentioned problems and achieve the object, the invention according to claim 1 is a screen image corresponding to the moving image information and moving image information obtained by capturing the description content of the screen image using a plurality of screen images. the a moving picture information indexing support device associates, records and events that occur in connection with time operations on a plurality of screens images, the event information including the information of the screen image associated with the event Recording means, input control means for allowing the user to input event recording start and event recording start reset, and editing means for editing the event information , the recording means comprising the input control means The event from the point when the start of event recording is input and the information on the screen image are recorded as the event information in association with each other. , When the effect of the event recording start reset is inputted from the input control unit, and updates the event information for events after the time when the effect of the event recording start reset is entered as valid, and characterized in that To do.

この請求項１にかかる発明によれば、入力制御手段よりイベント記録開始の旨が入力された時点からのイベントと画面画像の情報とを対応づけてイベント情報として記録し、また、入力制御手段よりイベント記録開始リセットの旨が入力された場合、該イベント記録開始リセットの旨が入力された時点以降のイベントを有効なものとしてイベント情報を更新することにより、リセットが入力されるとそれまでに記録されていたイベントを無効とすることができ、画面画像の有効範囲を簡単に変更することができるとともに、動画情報のインデキシング作業を効率的に行うことができる。 According to the first aspect of the present invention, the event from the time when the event recording start is inputted by the input control means and the information of the screen image are recorded in association with each other, and the input control means When an event recording start reset is input, the event information is updated with the event after the point when the event recording start reset is input valid, and when the reset is input, the event recording is recorded until then. The event that has been performed can be invalidated, the effective range of the screen image can be easily changed, and the indexing operation of the moving image information can be performed efficiently.

また、請求項２にかかる発明は、複数の画面画像を使用して前記画面画像に対する説明内容を撮像した動画情報と該動画情報に対応する画面画像を対応づける動画情報インデキシング支援装置で実行される動画情報インデキシング支援方法であって、前記動画情報インデキシング支援装置は、制御部と記憶部を備え、前記制御部において実行される、記録手段が、複数の画面画像に対する経時的な操作に関連して発生するイベントと、該イベントに対応づけられた前記画面画像の情報とを含むイベント情報を記録するステップと、入力制御手段が、利用者にイベント記録開始の旨およびイベント記録開始リセットの旨を入力させるステップと、編集手段が、前記イベント情報を編集するステップと、を含み、前記記録手段は、前記入力制御手段よりイベント記録開始の旨が入力された時点からのイベントと前記画面画像の情報とを対応づけて前記イベント情報として記録し、前記編集手段は、前記入力制御手段よりイベント記録開始リセットの旨が入力された場合、該イベント記録開始リセットの旨が入力された時点以降のイベントを有効なものとして前記イベント情報を更新する、ことを特徴とする。 The invention according to claim 2 is executed by a moving image information indexing support apparatus that associates moving image information obtained by capturing a description of the screen image using a plurality of screen images with a screen image corresponding to the moving image information. A moving picture information indexing support method, wherein the moving picture information indexing support apparatus includes a control unit and a storage unit, and the recording unit executed in the control unit is related to operations over time on a plurality of screen images. A step of recording event information including the event to be generated and the information of the screen image associated with the event, and the input control means inputs the event recording start and event recording start reset to the user And the editing means edits the event information, and the recording means includes the input control means. The event from the time when the event recording start is inputted and the information of the screen image are associated and recorded as the event information, and the editing means inputs the event recording start reset from the input control means. If the event information is reset, the event information is updated with the event after the point in time that the event recording start reset is input as valid .

この請求項２にかかる発明によれば、入力制御手段よりイベント記録開始の旨が入力された時点からのイベントと画面画像の情報とを対応づけてイベント情報として記録し、また、入力制御手段よりイベント記録開始リセットの旨が入力された場合、該イベント記録開始リセットの旨が入力された時点以降のイベントを有効なものとしてイベント情報を更新することにより、リセットが入力されるとそれまでに記録されていたイベントを無効とすることができ、画面画像の有効範囲を簡単に変更することができるとともに、動画情報のインデキシング作業を効率的に行うことができる。 According to the second aspect of the present invention, the event from the time when the event recording start is inputted by the input control means and the information of the screen image are recorded in association with each other, and the input control means When an event recording start reset is input, the event information is updated with the event after the point when the event recording start reset is input valid, and when the reset is input, the event recording is recorded until then. The event that has been performed can be invalidated, the effective range of the screen image can be easily changed, and the indexing operation of the moving image information can be performed efficiently.

また、請求項３にかかる発明は、複数の画面画像を使用して前記画面画像に対する説明内容を撮像した動画情報と該動画情報に対応する画面画像を対応づける動画情報インデキシング支援処理をコンピュータに実行させるプログラムであって、前記コンピュータを、複数の画面画像に対する経時的な操作に関連して発生するイベントと、該イベントに対応づけられた前記画面画像の情報とを含むイベント情報を記録する記録手段と、利用者にイベント記録開始の旨およびイベント記録開始リセットの旨を入力させる入力制御手段と、前記イベント情報を編集する編集手段と、として機能させ、前記記録手段は、前記入力制御手段よりイベント記録開始の旨が入力された時点からのイベントと前記画面画像の情報とを対応づけて前記イベント情報として記録し、前記編集手段は、前記入力制御手段よりイベント記録開始リセットの旨が入力された場合、該イベント記録開始リセットの旨が入力された時点以降のイベントを有効なものとして前記イベント情報を更新することを特徴とする。 According to a third aspect of the present invention , a computer performs a moving image information indexing support process for associating moving image information obtained by capturing a description of the screen image using a plurality of screen images with a screen image corresponding to the moving image information. a program for, the computer, the events that occur in connection with time operations on a plurality of screens images, recording means for recording event information including the information of the screen image associated with the event When an input control means for inputting the purport of fact and event recording start reset event recording start to the user, and editing means for editing said event information, to function as the recording means, the event from the input control means wherein the event information to the event from the time the effect of the recording start is input information of the screen image in association with Recorded as the editing means, if that event recording start reset is inputted from the input control means, the event information for events after the time when the effect of the event recording start reset is entered as valid It is characterized by updating .

この請求項３にかかる発明によれば、入力制御手段よりイベント記録開始の旨が入力された時点からのイベントと画面画像の情報とを対応づけてイベント情報として記録し、また、入力制御手段よりイベント記録開始リセットの旨が入力された場合、該イベント記録開始リセットの旨が入力された時点以降のイベントを有効なものとしてイベント情報を更新することにより、リセットが入力されるとそれまでに記録されていたイベントを無効とすることができ、画面画像の有効範囲を簡単に変更することができるとともに、動画情報のインデキシング作業を効率的に行うことができる。 According to the third aspect of the invention, the event from the time when the event recording start is inputted by the input control means and the information of the screen image are recorded in association with each other, and the input control means When an event recording start reset is input, the event information is updated with the event after the point when the event recording start reset is input valid, and when the reset is input, the event recording is recorded until then. The event that has been performed can be invalidated, the effective range of the screen image can be easily changed, and the indexing operation of the moving image information can be performed efficiently.

本発明によれば、入力制御手段よりイベント記録開始の旨が入力された時点からのイベントと画面画像の情報とを対応づけてイベント情報として記録し、また、入力制御手段よりイベント記録開始リセットの旨が入力された場合、該イベント記録開始リセットの旨が入力された時点以降のイベントを有効なものとしてイベント情報を更新することにより、リセットが入力されるとそれまでに記録されていたイベントを無効とすることができ、画面画像の有効範囲を簡単に変更することができるとともに、動画情報のインデキシング作業を効率的に行うことができるという効果を奏する。 According to the present invention, the event from the time when the event recording start is inputted by the input control means and the information on the screen image are recorded as event information in association with each other, and the event recording start reset is performed by the input control means. When the reset is input, the events recorded up to that time are updated by updating the event information with the events after the point when the event recording start reset is input as valid. It is possible to invalidate the screen image, and it is possible to easily change the effective range of the screen image and to efficiently perform the indexing operation of the moving image information.

以下に添付図面を参照して、この発明にかかる動画情報インデキシング支援装置、動画情報インデキシング支援方法およびその方法をコンピュータに実行させるプログラムの最良な実施の形態を詳細に説明する。 Exemplary embodiments of a moving image information indexing support apparatus, a moving image information indexing support method, and a program for causing a computer to execute the method will be described below in detail with reference to the accompanying drawings.

（実施の形態１）
図１は、この発明の実施の形態１にかかる動画情報インデキシング支援装置５を含む動画情報インデキシング支援システム１の全体構成を示している。 (Embodiment 1)
FIG. 1 shows the overall configuration of a moving picture information indexing support system 1 including a moving picture information indexing support apparatus 5 according to the first embodiment of the present invention.

動画情報インデキシング支援システム１は、プレゼンテーション資料３１を格納するＰＣ２（プレゼンテーション用ＰＣ）と、このＰＣ２と接続し、プレゼンテーション資料３１を表示するプロジェクター等の投影機３と、投影機３により投影された画像を表示する表示画面３０と、プレゼンテーションの状況を音声と共に動画撮影する音声取り込み機能付きのＤＶカメラ４と、ＤＶカメラ４が取り込んだ音声を含む動画情報（以下単に「動画情報」と称す）を編集する情報提供装置５（キャプチャ用ＰＣ）とを備えている。この情報提供装置は本発明における動画情報インデキシング支援装置を構成する。 The moving image information indexing support system 1 includes a PC 2 (presentation PC) that stores presentation materials 31, a projector 3 such as a projector that is connected to the PC 2 and displays the presentation materials 31, and an image projected by the projector 3. A display screen 30 for displaying the video, a DV camera 4 with a voice capturing function for capturing a video of the presentation status along with the voice, and video information including the voice captured by the DV camera 4 (hereinafter simply referred to as “video information”) And an information providing device 5 (capture PC). This information providing apparatus constitutes the moving picture information indexing support apparatus in the present invention.

ＤＶカメラ４と情報提供装置５は、例えば、ＩＥＥＥ１３９４などのインターフェイスで接続されている。また、ＰＣ２と情報提供装置５は、ＩＥＥＥ８０２．１１ｂなどの通信インターフェイスで接続することができる。ただし、本実施の形態では、ＰＣ２と情報提供装置５はこのようなネットワークで接続されていない形態を考える。 The DV camera 4 and the information providing device 5 are connected by an interface such as IEEE1394, for example. The PC 2 and the information providing apparatus 5 can be connected by a communication interface such as IEEE802.11b. However, in the present embodiment, it is assumed that the PC 2 and the information providing apparatus 5 are not connected via such a network.

ＰＣ２は、単にプレゼンテーション資料３１を格納しており、投影機３と通信可能であればよく、例えば、プレゼンターの所有するＰＣであってもよい。 The PC 2 simply stores the presentation material 31 and can communicate with the projector 3. For example, the PC 2 may be a PC owned by the presenter.

本実施の形態では、電子化されたプレゼンテーション資料を用いた講演や発表などを映像で録画記録する場合を例として説明する。このようなプレゼンテーションを行なう場合、通常、発表者は、プロジェクター等の投影機に接続したＰＣ２に電子化されたプレゼンテーション資料を格納し、発表時には、このプレゼンテーション資料を投影機で表示するプレゼンテーション・ソフトを操作しながら発表を進めていく。 In the present embodiment, a case where a lecture or presentation using electronic presentation materials is recorded and recorded as video will be described as an example. When making such a presentation, the presenter usually stores electronic presentation materials on the PC 2 connected to a projector such as a projector, and at the time of presentation, presentation software for displaying the presentation materials on the projector is provided. Proceed with the presentation while operating.

編集者は、プレゼンターがプレゼンテーション資料３１を表示画面３０に表示させながらプレゼンテーションを行っている様子を、ＤＶカメラ４を用いて撮影する。ここで、編集者とは、動画情報インデキシング支援システム１を利用して動画を編集する者のことである。 The editor uses the DV camera 4 to shoot how the presenter is giving a presentation while displaying the presentation material 31 on the display screen 30. Here, the editor is a person who edits a moving image using the moving image information indexing support system 1.

撮影が終了すると、情報提供装置５は、ＰＣ２からプレゼンテーション資料３１を取得し、さらに、ＤＶカメラ４からプレゼンテーションの様子を示す動画情報を取得する。そして、情報提供装置５は、動画情報を編集する。すなわち、動画情報にプレゼンテーション資料３１を対応付けた情報ファイルを生成する。 When shooting is completed, the information providing apparatus 5 acquires the presentation material 31 from the PC 2 and further acquires moving image information indicating the state of the presentation from the DV camera 4. And the information provision apparatus 5 edits moving image information. That is, an information file in which the presentation material 31 is associated with the moving image information is generated.

図２は、ＰＣ２および情報提供装置５のハードウエア構成を示すブロック図である。図２に示すように、ＰＣ２，情報提供装置５は、各種演算を行ない各部を集中的に制御するＣＰＵ１１と、各種のＲＯＭ、ＲＡＭからなるメモリ１２とが、バス１３で接続されている。 FIG. 2 is a block diagram showing the hardware configuration of the PC 2 and the information providing apparatus 5. As shown in FIG. 2, the PC 2 and the information providing apparatus 5 are connected by a bus 13 to a CPU 11 that performs various calculations and centrally controls each unit, and a memory 12 that includes various ROMs and RAMs.

バス１３には、所定のインターフェイスを介して、ハードディスクなどの磁気記憶装置１４と、入力装置であるマウス１５と、入力装置であるキーボード２１と、ＬＣＤ等の表示装置１６とを備えている。また、光ディスクなどの記憶媒体１７を読み取る記憶媒体読取装置１８が接続可能であり、インターネットなどのネットワーク１９と通信を行なう所定の通信インターフェイス２０が接続されていてもよい。なお、記憶媒体１７としては、ＣＤ，ＤＶＤなどの光ディスク、光磁気ディスク、フレキシブルディスクなどの各種方式のメディアを用いることができる。また、記憶媒体読取装置１８は、具体的には記憶媒体１７の種類に応じて光ディスク装置、光磁気ディスク装置などが用いられる。 The bus 13 includes a magnetic storage device 14 such as a hard disk, a mouse 15 as an input device, a keyboard 21 as an input device, and a display device 16 such as an LCD via a predetermined interface. A storage medium reader 18 that reads the storage medium 17 such as an optical disk can be connected, and a predetermined communication interface 20 that communicates with a network 19 such as the Internet may be connected. As the storage medium 17, various types of media such as optical disks such as CD and DVD, magneto-optical disks, and flexible disks can be used. As the storage medium reading device 18, specifically, an optical disk device, a magneto-optical disk device, or the like is used according to the type of the storage medium 17.

ＰＣ２，５のそれぞれには、その磁気記憶装置１４に、この発明のプログラムを実現する動画情報インデキシング支援プログラムが記憶されている。この動画情報インデキシング支援プログラムは、記憶媒体１７から記憶媒体読取装置１８により読み取るか、あるいは、インターネットなどのネットワーク１９からダウンロードするなどして、磁気記憶装置１４にインストールしたものである。このインストールによりＰＣ２，５は動作可能な状態となる。すなわち、ＣＰＵ１１が動画情報インデキシング支援プログラムに基づいて動作することにより、後述の各種モジュールの機能をそれぞれ実現する。なお、動画情報インデキシング支援プログラムは、特定のアプリケーションソフトの一部をなすものであってもよい。また、所定のＯＳ上で動作するものであってもよい。また、ＰＣ２の磁気記憶装置１４には、所定のプレゼンテーション・ソフトも記憶されている。 Each of the PCs 2 and 5 stores a moving image information indexing support program for realizing the program of the present invention in the magnetic storage device 14. This moving image information indexing support program is installed in the magnetic storage device 14 by reading it from the storage medium 17 with the storage medium reader 18 or downloading it from the network 19 such as the Internet. By this installation, the PCs 2 and 5 become operable. That is, the CPU 11 operates based on the moving image information indexing support program, thereby realizing functions of various modules described later. Note that the moving picture information indexing support program may be a part of specific application software. Further, it may operate on a predetermined OS. The magnetic storage device 14 of the PC 2 also stores predetermined presentation software.

以下では、動画情報インデキシング支援プログラムに基づいて動画情報インデキシング支援システム１が行なう処理の内容について説明する。 Below, the content of the process which the moving image information indexing support system 1 performs based on a moving image information indexing support program is demonstrated.

図３は、動画情報インデキシング支援プログラム等に基づいて実現される動画情報インデキシング支援システム１の機能ブロック図である。 FIG. 3 is a functional block diagram of the moving image information indexing support system 1 realized based on the moving image information indexing support program and the like.

ＰＣ２は、その磁気記憶装置１４に電子化されたプレゼンテーション資料３１が記憶されていて、ユーザはプレゼンテーション・ソフトによりプレゼンテーション資料３１を用いたプレゼンテーションを行なう。このとき、ＰＣ２は、後述のイベントを発生するイベント発生装置として機能する。ここで、プレゼンテーション資料３１の各スライドは本発明の画面画像に相当する。 The PC 2 stores an electronic presentation material 31 in the magnetic storage device 14, and the user makes a presentation using the presentation material 31 using presentation software. At this time, the PC 2 functions as an event generation device that generates an event described later. Here, each slide of the presentation material 31 corresponds to a screen image of the present invention.

ここで、図４を参照しつつ、プレゼンテーション資料３１について説明する。プレゼンテーション資料３１は、プレゼンテーションの際に表示画面３０に表示すべきスライド３１０，３１２，３１４，３１６，３１８，３２０を含んでいる。各スライド３１０，３１２，３１４，３１６，３１８，３２０には、ページ番号が対応付けられており、ページ番号順に表示される。すなわち、プレゼンテーション資料３１を構成するスライドは、当該プレゼンテーション資料３１の作成者が定めた順番に配列されている。図３に示すプレゼンテーション資料３１は、６ページ分のスライドを含んでいる。これらは、プレゼンターからの指示により、１ページ、２ページ、・・・とページ順に表示される。なお、本実施の形態におけるプレゼンテーション資料３１は、パワーポイントＭｉｃｒｏｓｏｆｔ（Ｒ）社製のＰｏｗｅｒＰｏｉｎｔ（Ｒ）のファイルである。 Here, the presentation material 31 will be described with reference to FIG. The presentation material 31 includes slides 310, 312, 314, 316, 318 and 320 to be displayed on the display screen 30 at the time of presentation. Each slide 310, 312, 314, 316, 318, 320 is associated with page numbers and is displayed in the order of page numbers. That is, the slides constituting the presentation material 31 are arranged in the order determined by the creator of the presentation material 31. The presentation material 31 shown in FIG. 3 includes 6 pages of slides. These are displayed in order of page 1, page 2,... According to an instruction from the presenter. Note that the presentation material 31 in this embodiment is a Power Point (R) file manufactured by PowerPoint Microsoft (R).

通常、プレゼンテーションを行なう場合のＰＣ２の操作は以下のような手順である。 Usually, the operation of the PC 2 for the presentation is as follows.

１．ＰＣ２の起動
２．プレゼンテーション・ソフトの起動
３．発表の開始
４．キーボード２１又はマウス１５の操作による、プレゼンテーション資料３１のページめくり
５．発表の終了
６．プレゼンテーション・ソフトの終了
７．ＰＣ２の終了
ここで、ページめくりとは、表示画面３０に表示させる、プレゼンテーション資料３１を１ページから次のページすなわち２ページに切り替えることである。 1. Startup of PC2 2. Start the presentation software. Start of presentation 4. 4. Turn the page of the presentation material 31 by operating the keyboard 21 or the mouse 15. End of presentation End of presentation software Termination of PC 2 Here, turning the page means switching the presentation material 31 to be displayed on the display screen 30 from one page to the next page, that is, two pages.

以上の操作は、いずれもマウス１５またはキーボード２１における所定の操作に対応付けられている。例えば、ＰＣ２の表示画面に表示されたプレゼンテーション・ソフトのアイコンをマウス１５によりクリックする操作は、プレゼンテーション・ソフトの起動というイベントに対応付けられている。 All of the above operations are associated with predetermined operations on the mouse 15 or the keyboard 21. For example, an operation of clicking the presentation software icon displayed on the display screen of the PC 2 with the mouse 15 is associated with an event of starting the presentation software.

ＰＣ２は、動画情報インデキシング支援プログラムに基づいてイベント送信装置３２としても機能して、イベント発生装置としてのＰＣ２の操作、すなわち、プレゼンテーションの発表時にＤＶカメラ４で撮影する映像内容に関して発生するイベントを的確に記録することで、ＤＶカメラ４で撮影する映像に対するインデキシングを効率良く行なうことを支援する。 The PC 2 also functions as the event transmission device 32 based on the moving image information indexing support program, and accurately operates the operation of the PC 2 as the event generation device, that is, the event generated with respect to the video content captured by the DV camera 4 at the time of presentation presentation. By recording the image, the indexing of the video shot by the DV camera 4 is supported efficiently.

前述のような手順でプレゼンテーションの発表が行われる際に、ＰＣ２上で捉えることができる映像内容に関して発生するイベントとしては、例えば以下の１〜３に示すようなものがある。すなわち、ここでは、ＤＶカメラ４の映像内容の被写体の少なくとも一部をなすプレゼンテーション映像の画面の切換えを行なう、利用者によるコンピュータ操作をイベントとしている。また、このイベントに関する情報であるイベント情報として、イベントの種類とそのカウンタ値も正確に記録する必要がある。 When a presentation is presented according to the procedure described above, events that occur with respect to video content that can be captured on the PC 2 include the following events 1 to 3, for example. That is, here, an event is a computer operation by the user who switches the screen of the presentation video that forms at least a part of the subject of the video content of the DV camera 4. In addition, as event information, which is information relating to this event, it is necessary to accurately record the type of event and its counter value.

１．プレゼンテーション・ソフトの起動、終了
２．キーボード２１の操作（どのキーが押されたか）
３．マウス１５の操作（ドラッグ、クリック）
そこで、ＰＣ２は、イベントキャプチャ部３３により、これらのイベントの種類とそのカウンタ値をイベント情報として取得する。そして、イベント記録部３４は、このイベント情報のログを記録し、ＨＤＤ３５にイベントファイル５０として保存する。イベントファイル５０は、利用者によって、情報提供装置５に移動され、情報提供装置５のＨＤＤ４９に保存される。また、プレゼンテーション資料３１も利用者によって、情報提供装置５のＨＤＤ４９に移動される。 1. 1. Start and end the presentation software Keyboard 21 operation (which key was pressed)
3. Mouse 15 operation (drag, click)
Therefore, the PC 2 uses the event capture unit 33 to acquire these event types and their counter values as event information. Then, the event recording unit 34 records a log of this event information and stores it as an event file 50 in the HDD 35. The event file 50 is moved by the user to the information providing apparatus 5 and stored in the HDD 49 of the information providing apparatus 5. The presentation material 31 is also moved to the HDD 49 of the information providing apparatus 5 by the user.

撮影機器制御部３９は、イベントファイルの内容情報に基づいてＤＶカメラ４を制御する。映像キャプチャ部４０は、ＤＶカメラ４で撮影した画像をキャプチャする。動画情報管理部４１は、ＤＶカメラ４で撮影した画像の動画情報を記憶して管理する。また、イベント記録部３８はＤＶカメラ４の制御のイベント情報をイベントファイルに記録する。 The imaging device control unit 39 controls the DV camera 4 based on the content information of the event file. The video capture unit 40 captures an image captured by the DV camera 4. The moving picture information management unit 41 stores and manages moving picture information of images taken by the DV camera 4. The event recording unit 38 records event information for control of the DV camera 4 in an event file.

イベント解釈部４２は、イベント情報の内容を読み込んで、各イベントに対応した画面画像のファイル名を抽出するものである。検索部４５は、イベント解釈部４２によって抽出された画面画像のファイル名をＨＤＤ４９のプレゼンテーション資料３１から検索するものである。イベント編集部４６は、利用者からの指示によってイベントファイル５０を編集するものである。インデックス生成部４３は、ＰＣ５の磁気記憶装置１４に記憶されているプレゼンテーション資料３１（画面画像）、動画情報及びイベントファイルに基づいて、ＤＶカメラ４で撮影した動画情報のインデキシングを行なうものである。ここで、イベント解釈部４２は本発明における解釈手段を、検索部４５は本発明における検出手段を、イベント編集部４６は本発明における編集手段を構成する。 The event interpreter 42 reads the contents of the event information and extracts the file name of the screen image corresponding to each event. The retrieval unit 45 retrieves the file name of the screen image extracted by the event interpretation unit 42 from the presentation material 31 of the HDD 49. The event editing unit 46 edits the event file 50 according to an instruction from the user. The index generation unit 43 performs indexing of moving image information captured by the DV camera 4 based on the presentation material 31 (screen image), moving image information, and event file stored in the magnetic storage device 14 of the PC 5. Here, the event interpretation unit 42 constitutes interpretation means in the present invention, the search unit 45 constitutes detection means in the present invention, and the event editing unit 46 constitutes editing means in the present invention.

表示制御部４８は、後述するイベント編集画面をディスプレイ装置等の表示装置１６に表示するものである。入力制御部４７は、イベント編集画面からの入力を受け付けるものである。 The display control unit 48 displays an event editing screen described later on the display device 16 such as a display device. The input control unit 47 receives an input from the event editing screen.

図５は、イベントファイル５０の内容を示す説明図である。イベントファイル５０は、カウンタ値３４１，イベント種類３４０，画面画像ファイル３４３が、各イベントの発生した順番に配列されている。カウンタ値は、ＣＰＵやメモリを利用して、ある単位で値が一つずつ加算されるカウンタを用意する。このカウンタは、プレゼンテーションの発表開始と同時、一例として、プレゼンテーション・ソフトウェアの起動時に指定値（通常は０値）にリセットする。例えばページ２が表示されると、「ページ２に切り替え」というイベント情報が記録される。これにより、各ページの表示を開始したカウンタ値および表示を終了したカウンタ値、このときの画面画像ファイルを認識することができる。ここで、図５に示すイベントファイルの例では、ページ１に切替えのイベントが２つある。このうち、最初のページ１に切替えは、発表者が練習を行った者と考えられ、削除する必要がある。かかる処理については後述する。 FIG. 5 is an explanatory diagram showing the contents of the event file 50. In the event file 50, a counter value 341, an event type 340, and a screen image file 343 are arranged in the order in which each event occurs. For the counter value , a counter in which a value is added one by one in a certain unit using a CPU or a memory is prepared. This counter is reset to a specified value (usually 0 value) when the presentation software is activated, for example, simultaneously with the start of presentation presentation. For example, when page 2 is displayed, event information “switch to page 2” is recorded. Thereby, it is possible to recognize the counter value at which display of each page is started and the counter value at which display is ended and the screen image file at this time. Here, in the example of the event file shown in FIG. 5, page 1 has two switching events. Of these, switching to the first page 1 is considered as the person who practiced the presenter and needs to be deleted. Such processing will be described later.

次に、このように構成された本実施の形態の情報提供装置５によるイベントファイルの表示処理について説明する。図６は、イベントファイルの表示処理の手順を示すフローチャートである。 Next, event file display processing by the information providing apparatus 5 of the present embodiment configured as described above will be described. FIG. 6 is a flowchart showing the procedure of the event file display process.

まず、表示制御部４８がイベント編集画面を表示する（ステップＳ６０１）。図７はイベント編集画面の一例を示す説明図である。イベント編集画面には、まず動画情報のファイル名、イベントファイル名が表示される。 First, the display control unit 48 displays an event edit screen (step S601). FIG. 7 is an explanatory diagram showing an example of an event editing screen. On the event editing screen, first, the file name of the moving image information and the event file name are displayed.

次いで、イベント解釈部４２がＨＤＤ４に保存されているイベントファイル５０を読み込み（ステップＳ６０２）、その内容を解釈し（ステップＳ６０３）、イベントファイル５０に記録されているイベント、画面画像のファイル名を抽出する。抽出された画面画像のファイル名は、表示制御部によって、図７に示すイベント編集画面のスライド領域のファイル名の欄に表示される。 Then, read the event file 50 for the event interpreting unit 42 is stored in the HDD 4 (step S602), interprets the contents (step S603), Louis vent are recorded in the event file 50, the file name of the screen image Extract. The file name of the extracted screen image is displayed by the display control unit in the file name column of the slide area of the event editing screen shown in FIG.

次に、検索部４５が、抽出されたファイル名の画面画像をＨＤＤ４９のプレゼンテーション資料３１から検索し（ステップＳ６０４）、画面画像のファイルがＨＤＤ４９に存在するか否かを判断する（ステップＳ６０５）。 Next, the search unit 45 searches the presentation material 31 of the HDD 49 for the screen image with the extracted file name (step S604), and determines whether the screen image file exists in the HDD 49 (step S605).

そして、画面画像のファイルが存在すると判断された場合には、表示制御部４８は、図７に示すイベント編集画面のスライド領域のチェックボックスをＯＮにし、かつそのファイルパスをスライド領域のファイルパスの欄に表示する（ステップＳ６０６）。一方、画面画像のファイルが存在しないと判断された場合には、表示制御部４８は、図７に示すイベント編集画面のスライド領域のチェックボックスをＯＦＦにし、かつスライド領域のファイルパスを空欄として表示する（ステップＳ６０７）。このように、表示制御部４８は、画面画像のファイルの存在、非存在によってイベント編集画面の表示を区別して表示している。 If it is determined that the screen image file exists, the display control unit 48 turns on the check box of the slide area on the event editing screen shown in FIG. 7 and sets the file path to the file path of the slide area. This is displayed in the column (step S606). On the other hand, if it is determined that the screen image file does not exist, the display control unit 48 turns off the check box of the slide area on the event editing screen shown in FIG. 7 and displays the file path of the slide area as a blank. (Step S607). In this way, the display control unit 48 displays the event edit screen in a manner that is different depending on the presence or absence of the screen image file.

次に、このようなイベント編集画面を利用したイベントファイルに対する画面画像の有効範囲の設定処理について説明する。図８は、イベントファイルに対する画面画像の有効範囲の設定処理の手順を示すフローチャートである。 Next, processing for setting the effective range of a screen image for an event file using such an event editing screen will be described. FIG. 8 is a flowchart showing the procedure for setting the effective range of the screen image for the event file.

利用者は、イベント編集画面によって、イベントファイルに対する画面画像の有効範囲を設定する。ここで、図７に示す例では、画面画像であるlesson1.pptが２つある。これは、前述したように、発表者が練習のために最初のlesson1.pptを表示したものと考えられる。このため、利用者は、最初のlesson1.pptのチェックボックスをＯＦＦにして、２つ目のlesson1.pptとそれ以降の画面画像のチェックボックスをＯＮにする。このようにチェックボックスがＯＮに設定された画面画像がイベントファイルに対する有効な画面画像であると設定する。そして、利用者はイベント編集画面上でＯＫボタンをクリックする。 The user sets the effective range of the screen image for the event file on the event editing screen. Here, in the example shown in FIG. 7, there are two screen images lesson1.ppt. As mentioned above, it is thought that the presenter displayed the first lesson1.ppt for practice. Therefore, the user turns off the check box of the first lesson1.ppt and turns on the check boxes of the second lesson1.ppt and the subsequent screen images. The screen image in which the check box is set to ON is set as a valid screen image for the event file. Then, the user clicks the OK button on the event editing screen.

入力制御部４７は、イベントの入力待ち状態にあり（ステップＳ８０１）、ＯＫイベントを受信すると、イベント編集画面においてチェックボックスがＯＮに設定されている画面画像のファイルをイベントファイルの有効範囲と設定する（ステップＳ８０２）。具体的には、イベント編集部４６によって、イベントファイルからチェックボックスがＯＦＦに設定されている画面画像のファイルおよびイベントを削除する。図７の例で最初のlesson1.pptのチェックボックスをＯＦＦにした場合には、図５に示すイベントファイルの「１４：５４：２３ページ１に切替え lesson1.ppt」の行が削除されてイベントファイルが更新される。 When the input control unit 47 is in an event input waiting state (step S801) and receives an OK event, the screen image file whose check box is set to ON in the event editing screen is set as the valid range of the event file. (Step S802). Specifically, the event editing unit 46 deletes the screen image file and the event whose check box is set to OFF from the event file. When the check box for the first lesson1.ppt in the example of FIG. 7 is turned off, the line “14:54:23 Switch to page 1 lesson1.ppt” in the event file shown in FIG. Is updated.

このように本実施の形態の情報提供装置５によれば、イベントファイルに対する画面画像の有効範囲を容易な操作で実現することができる。 Thus, according to the information providing apparatus 5 of the present embodiment, the effective range of the screen image for the event file can be realized with an easy operation.

（実施の形態２）
実施の形態１では、情報提供装置５とＰＣ２が別個に動作するものであったが、この実施の形態２では情報提供装置５とＰＣ２がネットワークに接続された場合に画面画像の有効範囲の設定を行うものである。 (Embodiment 2)
In the first embodiment, the information providing apparatus 5 and the PC 2 operate separately. In the second embodiment, the effective range of the screen image is set when the information providing apparatus 5 and the PC 2 are connected to the network. Is to do.

図９は、動画情報インデキシング支援プログラム等に基づいて実現される動画情報インデキシング支援システム１の機能ブロック図である。本実施の形態では、イベントはＰＣ２のイベント送信部４４から情報提供装置５に送信され、情報提供装置５のイベント受信部３６でイベント、画面画像を受信してメモリ１２などに一時的に保存しておき、保存されたイベントからイベントファイルがＨＤＤ４９に生成されるようになっている。 FIG. 9 is a functional block diagram of the moving picture information indexing support system 1 realized based on the moving picture information indexing support program and the like. In the present embodiment, the event is transmitted from the event transmitting unit 44 of the PC 2 to the information providing device 5, and the event receiving unit 36 of the information providing device 5 receives the event and the screen image and temporarily stores them in the memory 12 or the like. In addition, an event file is generated in the HDD 49 from the stored event.

このとき、発表者または利用者は、練習などが終了し、発表を開始する場合、図７に示すイベント編集画面においてリセットボタンを押下する。図１０は、イベントファイルに対する画面画像の有効範囲の設定処理の手順を示すフローチャートである。 At this time, the presenter or the user presses the reset button in the event editing screen shown in FIG. FIG. 10 is a flowchart illustrating a procedure for setting the effective range of the screen image for the event file.

入力制御部４７は、イベントの入力待ち状態にあり（ステップＳ１００１）、リセットイベントを受信すると、その時点からの画面画像のファイルをイベントファイルの有効範囲と設定する（ステップＳ１００２）。具体的には、リセットイベントを受信した時点以降の画面画像のファイル名をイベントファイルに記録する。 The input control unit 47 is in an event input waiting state (step S1001), and when a reset event is received, the screen image file from that point is set as the valid range of the event file (step S1002). Specifically, the file name of the screen image after the time when the reset event is received is recorded in the event file.

また、発表の途中ですべての画面画像に対するイベントを記録するように変更する場合には、さらにリセットボタンを押下する。これによって、メモリ１２に保存されていたすべてイベント、画面画像ファイル名がイベントファイルに記録されることになる。 Further, when changing to record events for all screen images during the presentation, a reset button is further pressed. As a result, all events and screen image file names stored in the memory 12 are recorded in the event file.

このように実施の形態２では、ＰＣ２と情報提供装置５とがネットワークで接続されている場合において、簡易な操作によってイベント情報に対する画面画像の有効な範囲を容易に決定することができ、動画情報のインデキシング作業を効率的に行うことができる。

As described above, in the second embodiment, when the PC 2 and the information providing apparatus 5 are connected via a network, the effective range of the screen image with respect to the event information can be easily determined by a simple operation. The indexing work can be performed efficiently.

本発明は、プレゼンテーションなどのをＤＶカメラで撮影して動画情報とするとともに、プレゼンテーション資料を画面画像情報にして両者を対応付けて編集する動画情報インデキシング支援装置、動画情報インデキシング支援方法およびその方法をコンピュータに実行させるプログラムに適している。 The present invention relates to a moving picture information indexing support apparatus, a moving picture information indexing support method, and a method thereof, in which a presentation or the like is captured by a DV camera and used as moving picture information, and the presentation material is converted into screen image information and edited in association with each other Suitable for programs to be executed on a computer.

動画情報インデキシング支援システム１の全体構成を示す図である。It is a figure which shows the whole structure of the moving image information indexing support system. 実施の形態１の情報提供装置５およびＰＣ２のハードウェア構成を示すブロック図である。2 is a block diagram illustrating hardware configurations of an information providing device 5 and a PC 2 according to Embodiment 1. FIG. 情報提供装置５と、ＰＣ２の機能構成を示すブロック図である。It is a block diagram which shows the function structure of the information provision apparatus 5 and PC2. プレゼンテーション資料３１を模式的に示す説明図である。It is explanatory drawing which shows the presentation material 31 typically. イベントファイルの内容の一例を示す説明図である。It is explanatory drawing which shows an example of the content of an event file. イベント編集画面の表示処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the display process of an event edit screen. イベント編集画面の一例を示す説明図である。It is explanatory drawing which shows an example of an event edit screen. イベントファイルに対する画面画像の有効範囲の設定処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the setting process of the effective range of the screen image with respect to an event file. 実施の形態２の情報提供装置５およびＰＣ２のハードウェア構成を示すブロック図である。FIG. 6 is a block diagram illustrating hardware configurations of an information providing device 5 and a PC 2 according to a second embodiment. イベントファイルに対する画面画像の有効範囲の設定処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the setting process of the effective range of the screen image with respect to an event file.

Explanation of symbols

１動画情報インデキシング支援システム
２ＰＣ（プレゼンテーション装置）
３投影機
４ＤＶカメラ
５情報提供装置（キャプチャＰＣ）
１５マウス
２１キーボード
３１プレゼンテーション資料
３３イベントキャプチャ部
３４イベント記録部
３５ＨＤＤ
３６イベント受信部
３７イベント制御部
３８イベント記録部
３９撮影機器制御部
４０映像キャプチャ部
４１動画情報管理部
４２イベント解釈部
４３インデックス生成部
４４イベント送信部
４５検索部
４６イベント編集部
４７入力制御部
４８表示制御部
４９ＨＤＤ
５０イベントファイル通信部
１１ＣＰＵ
１２メモリ
１３バス
１４ＨＤＤ
１５マウス
１６表示装置
１７記憶媒体
１８記憶媒体読取装置
１９ネットワーク
２０通信Ｉ／Ｆ
３１０，３１２，３１４，３１６，３１８，３２０画面画像 1 Video information indexing support system 2 PC (presentation device)
3 Projector 4 DV Camera 5 Information Providing Device (Capture PC)
15 Mouse 21 Keyboard 31 Presentation Material 33 Event Capture Unit 34 Event Recording Unit 35 HDD
36 Event reception unit 37 Event control unit 38 Event recording unit 39 Imaging device control unit 40 Video capture unit 41 Video information management unit 42 Event interpretation unit 43 Index generation unit 44 Event transmission unit 45 Search unit 46 Event editing unit 47 Input control unit 48 Display control unit 49 HDD
50 Event File Communication Unit 11 CPU
12 memory 13 bus 14 HDD
15 Mouse 16 Display Device 17 Storage Medium 18 Storage Medium Reading Device 19 Network 20 Communication I / F
310, 312, 314, 316, 318, 320 Screen image

Claims

A moving picture information indexing support device that associates moving picture information obtained by capturing a description of the screen image using a plurality of screen images with a screen image corresponding to the moving picture information,
And events that occur in connection with time operations on a plurality of screens images, recording means for recording the event information including the information of the screen image associated with the event,
Input control means for allowing the user to input event recording start and event recording start reset; and
Editing means for editing the event information ;
With
The recording means records the event information as the event information in association with the event from the time when the event control start is input from the input control means,
When the event recording start reset is input from the input control unit, the editing unit updates the event information as an event that is valid after the event recording start reset is input,
A video information indexing support apparatus characterized by the above.

A moving image information indexing support method executed by a moving image information indexing support apparatus that associates moving image information obtained by capturing a description of the screen image using a plurality of screen images and a screen image corresponding to the moving image information, The moving image information indexing support apparatus includes a control unit and a storage unit, and is executed in the control unit.
A step of recording event information including an event that occurs in connection with an operation over time on a plurality of screen images, and information on the screen image associated with the event;
An input control means for causing the user to input event recording start and event recording start reset; and
An editing means for editing the event information;
Including
The recording means records the event information as the event information in association with the event from the time when the event control start is input from the input control means,
When the event recording start reset is input from the input control unit, the editing unit updates the event information as an event that is valid after the event recording start reset is input,
A video information indexing support method characterized by the above.

A program that causes a computer to execute moving image information indexing support processing that associates moving image information obtained by capturing a description of the screen image using a plurality of screen images and a screen image corresponding to the moving image information,
The computer,
Recording means for recording event information including an event that occurs in connection with an operation over time for a plurality of screen images and information of the screen image associated with the event;
Input control means for allowing the user to input event recording start and event recording start reset; and
Editing means for editing the event information;
Function as
The recording means records the event information as the event information in association with the event from the time when the event control start is input from the input control means,
When the event recording start reset is input from the input control unit, the editing unit updates the event information as an event that is valid after the event recording start reset is input,
A program characterized by that.