JP2009099218A

JP2009099218A - Information recording device and program

Info

Publication number: JP2009099218A
Application number: JP2007270642A
Authority: JP
Inventors: Kengo Omura; 賢悟大村; Takeshi Nagamine; 猛志永峯
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2007-10-17
Filing date: 2007-10-17
Publication date: 2009-05-07
Anticipated expiration: 2027-10-17
Also published as: JP4967983B2

Abstract

<P>PROBLEM TO BE SOLVED: To reproduce records on the basis of the content of a moving operation of a pointer. <P>SOLUTION: Stored image information is output, and time-sequential information changed time-sequentially is recorded while the image information is output. The pointer pointing an instructed position is synthesized on the output image information. At least one area of interest is set on the output image information. When predetermined conditions are satisfied based on the range of the area of interest and the position of the pointer, information at the time is recorded as a reproduction start position. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、情報記録装置及びプログラムに関する。 The present invention relates to an information recording apparatus and a program.

会議やプレゼンテーションの際に利用された資料の画像と、発表者の音声情報とを関連付けて記録し、再生処理に供するシステムがある（特許文献１）。
特開２００３−５８９０１号公報 There is a system in which an image of a material used in a meeting or a presentation and the voice information of a presenter are recorded in association with each other and used for reproduction processing (Patent Document 1).
JP 2003-58901 A

発表者が資料の画像上でポインタを移動操作して説明をすることがよく行われるが、ポインタの移動操作の内容を、記録の再生の基準として利用することは行われていない。 The presenter often explains by moving the pointer on the image of the material, but the contents of the pointer moving operation are not used as a reference for recording reproduction.

請求項１記載の発明は、情報記録装置であって、画像情報を保持する手段と、前記画像情報を出力する手段と、前記画像情報を出力している間に、時系列的に変化する時系列情報を記録する手段と、当該出力した画像情報上に、指示位置を表す指示表示を合成して出力する手段と、前記出力した画像情報上に、少なくとも一つの注目領域を設定し、当該注目領域の範囲と、前記指示表示の位置とに基づいて事前に定められた条件を満足した時点で、当該時点を表す情報を再生開始位置として記録する手段と、を含むこととしたものである。 The invention according to claim 1 is an information recording apparatus, wherein the means for holding image information, the means for outputting the image information, and a time series change while outputting the image information At least one region of interest is set on the output image information, means for recording sequence information, means for combining and outputting an instruction display indicating an instruction position on the output image information, And means for recording information representing the time point as a reproduction start position when a predetermined condition based on the range of the area and the position of the instruction display is satisfied.

請求項２記載の発明は、請求項１記載の情報記録装置であって、前記注目領域のいずれかの内に、前記指示表示が位置するときには、当該指示表示を内包する注目領域を強調表示する手段をさらに含むこととしたものである。 The invention according to claim 2 is the information recording apparatus according to claim 1, wherein when the instruction display is located in any of the attention areas, the attention area including the instruction display is highlighted. Further means are included.

請求項３記載の発明は、請求項１または２記載の情報記録装置であって、前記指示表示の位置の移動軌跡を記録する手段と、当該記録された移動軌跡を表す画像を、前記出力した画像情報上に合成して出力する手段と、をさらに含むこととしたものである。 The invention according to claim 3 is the information recording apparatus according to claim 1 or 2, wherein the means for recording the movement locus of the position of the indication display and the image representing the recorded movement locus are output. Means for synthesizing and outputting on the image information.

請求項４記載の発明は、請求項１から３のいずれか一項に記載の情報記録装置であって、前記指示表示の位置の移動軌跡に基づいて、予め定めた特徴量を演算する手段と、当該特徴量が予め定めた条件を満足する時点での前記指示表示の位置を強調表示する手段と、をさらに含むこととしたものである。 According to a fourth aspect of the present invention, there is provided the information recording apparatus according to any one of the first to third aspects, wherein the predetermined feature amount is calculated based on a movement trajectory of the position of the instruction display. And means for highlighting the position of the instruction display when the feature amount satisfies a predetermined condition.

請求項５記載の発明は、プログラムであって、コンピュータを、画像情報を保持する手段と、前記画像情報を出力する手段と、前記画像情報を出力している間に、時系列的に変化する時系列情報を記録する手段と、当該出力した画像情報上に、指示位置を表す指示表示を合成して出力する手段と、前記出力した画像情報上に、少なくとも一つの注目領域を設定し、当該注目領域の範囲と、前記指示表示の位置とに基づいて事前に定められた条件を満足した時点で、当該時点を表す情報を再生開始位置として記録する手段と、として機能させることとしたものである。 The invention according to claim 5 is a program that changes in a time series while the computer has means for holding image information, means for outputting the image information, and outputting the image information. Means for recording time-series information; means for synthesizing and outputting an instruction display indicating an instruction position on the output image information; and setting at least one region of interest on the output image information; When a predetermined condition is satisfied based on the range of the attention area and the position of the instruction display, the information indicating the time is recorded as a reproduction start position. is there.

請求項１，５記載の発明によると、注目領域との関係に基づき、指示位置の移動操作の内容を、記録の再生の基準として利用できる。 According to the first and fifth aspects of the present invention, based on the relationship with the attention area, the contents of the operation of moving the designated position can be used as a reference for reproducing the recording.

請求項２記載の発明によると、指示表示の位置する注目領域を強調表示できる。 According to the second aspect of the present invention, the attention area where the instruction display is located can be highlighted.

請求項３記載の発明によると、指示表示の移動軌跡を記録して、表示できる。 According to the third aspect of the invention, it is possible to record and display the movement locus of the instruction display.

請求項４記載の発明によると、指示表示が予め定めた態様の移動をしたときに、その位置を表示できる。 According to the invention of claim 4, when the instruction display moves in a predetermined manner, the position can be displayed.

本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る情報記録装置１は、図１に示すように、制御部１１、記憶部１２、操作部１３、出力部１４、及び音声入力部１５を含んで構成されている。 Embodiments of the present invention will be described with reference to the drawings. As shown in FIG. 1, the information recording apparatus 1 according to the embodiment of the present invention includes a control unit 11, a storage unit 12, an operation unit 13, an output unit 14, and a voice input unit 15.

制御部１１は、ＣＰＵ（Central Processing Unit）等のプログラム制御デバイスであり、記憶部１２に格納されているプログラムに従って動作している。この制御部１１は、例えばスライドなどの一連の静止画像を順次出力する。また、この制御部１１は、この一連の静止画像の出力中に、音声入力部１５から入力される音声情報や、表示中の静止画像など、時系列に変化する時系列情報を記録する。 The control unit 11 is a program control device such as a CPU (Central Processing Unit) and operates according to a program stored in the storage unit 12. The control unit 11 sequentially outputs a series of still images such as slides. Further, the control unit 11 records time-series information that changes in time series such as audio information input from the audio input unit 15 and a still image being displayed during the output of the series of still images.

さらに制御部１１は、利用者の操作により移動される、利用者の指示位置を表す指示表示（ポインタ、マウスカーソルなど）を、この静止画像に合成して出力する。また、制御部１１は、この指示表示の位置と、予め静止画像ごとに設定されている注目領域の範囲とに基づく所定条件を満足するタイミングで、その時点を表す情報を再生開始位置として記録する。この制御部１１の詳しい処理の内容については、後に詳しく述べる。 Further, the control unit 11 synthesizes and outputs an instruction display (pointer, mouse cursor, etc.) indicating the user's instruction position, which is moved by the user's operation, with this still image. In addition, the control unit 11 records information representing the time point as a reproduction start position at a timing that satisfies a predetermined condition based on the position of the instruction display and the range of the attention area set in advance for each still image. . Detailed processing contents of the control unit 11 will be described in detail later.

記憶部１２は、メモリ素子やハードディスクなどのディスクデバイスを含んで構成される。この記憶部１２は、制御部１１によって実行されるプログラムを保持している。このプログラムは、例えばＤＶＤ−ＲＯＭやＣＤ−ＲＯＭなどのコンピュータ可読な記録媒体に格納されて提供され、この記憶部１２に複写されたものであってもよい。 The storage unit 12 includes a disk device such as a memory element or a hard disk. The storage unit 12 holds a program executed by the control unit 11. This program may be provided by being stored in a computer-readable recording medium such as a DVD-ROM or a CD-ROM and copied to the storage unit 12.

またこの記憶部１２は、制御部１１のワークメモリとしても動作する。この記憶部１２には、また、出力の対象となる一連の静止画像が保持されている。本実施の形態においては、図２にその概要を例示するように、各静止画像には、表示順を表す情報と、少なくとも一つの注目領域を画定する情報（例えば注目領域を囲む頂点座標情報のセット）とが、関連付けて記録されている。 The storage unit 12 also operates as a work memory for the control unit 11. The storage unit 12 also holds a series of still images to be output. In this embodiment, as illustrated in FIG. 2 as an outline, each still image includes information indicating the display order and information defining at least one attention area (for example, vertex coordinate information surrounding the attention area). Set) is recorded in association with each other.

さらに、この記憶部１２には、制御部１１によって記録される音声情報や、表示中の静止画像の情報などを保持する。 Further, the storage unit 12 holds audio information recorded by the control unit 11, information on a still image being displayed, and the like.

操作部１３は、マウスなどのポインティングデバイスを含んで構成されている。この操作部１３における操作の内容は、制御部１１へ出力される。出力部１４は、ディスプレイや、スピーカーなどの画像や音声を出力するデバイスを含む。音声入力部１５は、マイクなどを含み、このマイクを介して収録された音声信号を、Ａ／Ｄ変換器などによってディジタルの信号に変換する。また、この音声入力部１５は、当該変換後のディジタル信号に、予め定めた符号化処理を行って音声情報を生成して、制御部１１に出力する。 The operation unit 13 includes a pointing device such as a mouse. The content of the operation in the operation unit 13 is output to the control unit 11. The output unit 14 includes a device that outputs images and sounds, such as a display and a speaker. The audio input unit 15 includes a microphone or the like, and converts an audio signal recorded via the microphone into a digital signal by an A / D converter or the like. The voice input unit 15 performs a predetermined encoding process on the converted digital signal to generate voice information, and outputs the voice information to the control unit 11.

次に、本実施形態の情報記録装置１の制御部１１の動作について述べる。この制御部１１は、利用者の指示によって一連の静止画像を記憶部１２から順次読み出して表示している。例えば利用者が次の静止画像を表示するべき旨の操作を行うごとに、表示順の情報を参照して、現在表示している静止画像の次の表示順となっている画像情報を記憶部１２から読み出して表示出力する。 Next, the operation of the control unit 11 of the information recording apparatus 1 of this embodiment will be described. The control unit 11 sequentially reads out and displays a series of still images from the storage unit 12 in accordance with a user instruction. For example, every time the user performs an operation to display the next still image, the storage unit refers to the display order information and stores the image information in the display order next to the currently displayed still image. 12 is read out and displayed.

また制御部１１は、予め定めたタイミング（変化検出タイミング）ごとに、表示中の画像情報を取り込んで、前回取り込んだ画像情報との差分を生成する。ここで差分は、対応する画素値が異なっている画素を表す情報などである。制御部１１は、対応する画素値が異なっている画素の数が、予め定めた画素数しきい値を越える場合に、画面が変化したとして、最後に取り込んだ画像情報を記憶部１２に記録する。この画素数しきい値は、例えばマウスのポインタの画像を構成する画素数の２倍（すなわちポインタの移動により画面変化が起きたと判断されない程度）などとしておけばよい。なお、表示用画像メモリのデータを直接取得して記録する方式をとる場合には、ポインタははじめから含まれていないので、それを意識したしきい値の設定は不要となる。また、このとき制御部１１は、当該記録の時点を表す情報を画像情報に関連付けて記録する。ここで記録の時点を表す情報は、現在日時を計時するカレンダーチップなどから取得してもよいし、ネットワークを介して現在日時を表す情報を提供するサーバから取得してもよい。 Further, the control unit 11 captures the image information being displayed at each predetermined timing (change detection timing), and generates a difference from the previously captured image information. Here, the difference is information representing pixels whose corresponding pixel values are different. When the number of pixels having different corresponding pixel values exceeds a predetermined pixel number threshold value, the control unit 11 records the last captured image information in the storage unit 12 assuming that the screen has changed. . The threshold value for the number of pixels may be set to, for example, twice the number of pixels constituting the mouse pointer image (that is, it is not determined that a screen change has occurred due to movement of the pointer). In the case of adopting a method of directly acquiring and recording data in the display image memory, the pointer is not included from the beginning, so that it is not necessary to set a threshold value in consideration of it. At this time, the control unit 11 records information indicating the time of the recording in association with the image information. Here, the information indicating the time of recording may be acquired from a calendar chip that measures the current date and time, or may be acquired from a server that provides information indicating the current date and time via a network.

また制御部１１は、この時点で、音声情報の記録を区切る。例えば音声情報の記録とともに、この時点を表すマーカー情報を記憶しておき、再生時に、当該マーカー情報の表す時点から音声情報を再生可能とする。また、音声情報の記録を区切るごとに、前回の区切り（または記録開始の時点）からの音声情報を一つのファイルとして記録しておいてもよい。 Further, the control unit 11 divides the recording of the audio information at this time. For example, along with recording of audio information, marker information representing this time point is stored, and at the time of reproduction, the audio information can be reproduced from the time point represented by the marker information. Further, every time audio information recording is divided, the audio information from the previous division (or when recording starts) may be recorded as one file.

さらに制御部１１は、利用者がマウスなどのポインティングデバイスを操作すると、当該操作の内容に応じて、指示位置を表す画像（ここではマウスのポインタの画像）を移動する。また制御部１１は、現在表示している静止画像について予め設定されている注目領域のいずれかに、指示位置があるか否かを調べ、指示位置がどの注目領域内にもなければ、処理を終了する。また、いずれかの注目領域に指示位置があれば、当該指示位置を内包する注目領域を、強調表示する。ここで強調表示は、例えば、注目領域全体を取り囲む枠を描画することとしてもよいし、注目領域を取り囲む枠内の背景色を予め定めた色に設定することとしてもよい。 Further, when the user operates a pointing device such as a mouse, the control unit 11 moves an image (in this case, an image of a mouse pointer) representing the designated position in accordance with the content of the operation. Further, the control unit 11 checks whether or not the designated position is in any of the attention areas set in advance for the currently displayed still image. If the designated position is not in any of the attention areas, the processing is performed. finish. Also, if there is a designated position in any of the attention areas, the attention area that includes the designated position is highlighted. Here, the highlighting may be, for example, drawing a frame surrounding the entire region of interest, or setting the background color in the frame surrounding the region of interest to a predetermined color.

このように、強調表示を行うことで、制御部１１は、対応する画素値が異なっている画素の数が、予め定めた画素数しきい値を越えると判断することになり、画面が変化したとして、最後に取り込んだ画像情報（表示中の画像情報）を記憶部１２に記録する。 In this way, by performing the highlighting, the control unit 11 determines that the number of pixels having different corresponding pixel values exceeds a predetermined pixel number threshold value, and the screen has changed. As a result, the last captured image information (displayed image information) is recorded in the storage unit 12.

本実施の形態の情報記録装置１は、以上の構成を備えており、次のように動作する。この情報記録装置１の利用者（例えばプレゼンテーションの発表者）は、発表時に用いる一連の画像情報を記憶部１２に格納しておく。 The information recording apparatus 1 of the present embodiment has the above configuration and operates as follows. A user of the information recording apparatus 1 (for example, a presenter of a presentation) stores a series of image information used at the time of presentation in the storage unit 12.

また、この利用者は、各画像情報に予め注目領域を設定して、当該注目領域を表す情報を各画像情報に関連付けて記憶部１２に格納しておく。例えば、画像情報がＨＴＭＬ（Hyper-Text Markup Language）で記述されている場合、マウスポインタが注目領域内に入ったときに強調表示を行うよう、スタイルシートを定義しておけばよい。 In addition, the user sets a region of interest in advance for each piece of image information, and stores information representing the region of interest in the storage unit 12 in association with each piece of image information. For example, when image information is described in HTML (Hyper-Text Markup Language), a style sheet may be defined so that highlighting is performed when the mouse pointer enters the region of interest.

一例として、注目領域が「ここを注目してください」という文字列を取り囲む領域であるとすると、この文字列部分を例えばＡタグ（リンクを設定するタグ）で取り囲み、次のようにスタイルシートを定義して、画像情報に付加する。
...
<style type="text/css">

</style>
<body>
...
<a href="dummy.htm">ここを注目してください</a> As an example, if the attention area is an area surrounding the character string “Please pay attention here”, for example, the character string portion is surrounded by an A tag (a tag for setting a link), and the style sheet is Define and add to image information.
...
<style type = "text / css">
<!-
a: hover {background-color: #ffcccc;}
->
</ style>
<body>
...
<a href="dummy.htm"> Please pay attention here </a>

また、別の例では注目領域を取り囲む座標情報（注目領域の左上座標及び、注目領域の幅、高さなど）を定めて画像情報に関連付けて保持させておき、制御部１１がこの領域にマウスポインタが入ったときに、当該領域を強調表示することとしてもよい。 In another example, coordinate information surrounding the attention area (the upper left coordinates of the attention area and the width and height of the attention area) is determined and associated with the image information, and the control unit 11 holds the mouse in this area. When the pointer enters, the area may be highlighted.

本実施の形態では、制御部１１が記録の処理と発表の処理とを並行して（例えばマルチタスクの処理により時分割的に）実行する。発表の処理を開始する指示が行われると、図３に示す記録の処理では、図示しないタイマーでの計時を開始し、最初に表示するべき画像情報が表示され、この表示した画像情報が取り込まれる。また、音声の記録が開始される（初期化処理：Ｓ１）。その後、所定のタイミングごとに画像情報に変化があったか否かが調べられるが（Ｓ２）、画像情報の表示に変化がない間は、画像の取り込みなどは行われない。 In the present embodiment, the control unit 11 executes the recording process and the presentation process in parallel (for example, in a time-sharing manner by multitask processing). When an instruction to start the presentation process is given, the recording process shown in FIG. 3 starts timing with a timer (not shown), and the image information to be displayed first is displayed, and the displayed image information is captured. . Also, audio recording is started (initialization process: S1). Thereafter, it is checked whether or not the image information has changed at every predetermined timing (S2). However, as long as there is no change in the display of the image information, the image is not captured.

この間に発表の処理において利用者がマウスポインタを移動して、いずれかの注目領域内にマウスポインタを位置させると、注目領域を強調表示する処理が行われる。そして、次の所定のタイミングで、記録の処理において画像情報に変化があったか否かが調べられると、注目領域が強調表示されているので、画像情報に変化があったと判断されて、この時点で表示されている画像情報（強調表示が行われている画像情報）が取り込まれて、記録される（Ｓ３）。この取り込みは、表示中の画像情報のビットマップ画像を取得することで行われてもよい。 During the presentation process, when the user moves the mouse pointer and positions the mouse pointer in one of the attention areas, a process of highlighting the attention area is performed. Then, at the next predetermined timing, when it is checked whether or not the image information has changed in the recording process, the attention area is highlighted, so that it is determined that the image information has changed. The displayed image information (image information on which highlighting is performed) is captured and recorded (S3). This capturing may be performed by acquiring a bitmap image of the image information being displayed.

またこのとき、音声情報が区切られて、ここまでの音声情報が一つのファイルとして記録される（Ｓ４）。そしてまた音声情報の記録が開始される（Ｓ５）。そしてまた処理Ｓ２に戻って処理を続ける。 At this time, the audio information is divided and the audio information up to this point is recorded as one file (S4). Then, recording of audio information is started again (S5). And it returns to process S2 and continues a process.

本実施の形態の情報記録装置１は、処理Ｓ３において画像情報に変化があったと判断したときに、画素値の変化が検出された画素を取り囲む外接矩形を検出し、当該外接矩形の左上座標と、その幅及び高さを表す情報を取得して、画像情報に関連付けて記録してもよい。また、音声情報の記録を区切るときには、それまでに記録されていた音声情報に固有の識別情報を付し、前回取り込んだ画像情報に関連付けて記録してもよい。 When the information recording apparatus 1 according to the present embodiment determines that the image information has changed in the process S3, the information recording apparatus 1 detects a circumscribed rectangle surrounding the pixel in which the change in the pixel value is detected, and the upper left coordinates of the circumscribed rectangle are determined. Information indicating the width and height may be acquired and recorded in association with the image information. In addition, when recording audio information, the identification information unique to the audio information recorded so far may be added and recorded in association with the previously acquired image information.

このようにすると、記憶部１２には、例えば図４に例示するように、画像情報の識別子（例えば表示順を表す情報でもよい。以下、画像識別子と呼ぶ：Ａ）と、取り込んだ画像ごとに固有の識別子（例えば記録した画像のファイル名でもよい。以下、記録画像識別子と呼ぶ：Ｂ）と、区切られた音声情報ごとに固有の識別情報（例えば記録した音声情報のファイル名でもよい：Ｃ）と、当該識別情報（Ｃ）で識別される音声情報の記録開始時点及び記録終了時点を表す情報（処理開始からの経過時間を計時するタイマーの計時時刻でよい：Ｄ）と、検出した外接矩形を表す情報（以下、ハイライト情報と呼ぶ：Ｅ）とを関連付けた情報（記録データベース）が格納されることとなる。なお、初期化時の記録と、強調表示によって画面が変化したことによる記録と、次の画像情報が表示されることによる記録とを識別する情報（Ｆ）をさらに関連付けて記録してもよい。この情報（Ｆ）は、例えば記憶部１２に状況を表す情報を格納する領域を予め設定しておき、初期化時と、強調表示時、画像情報の切り替え時に、それぞれを表す情報を、画像変化の原因を表す情報として格納しておいて、画像情報の記録を行う際に、この領域を参照して、画像変化の原因となる情報を読み出し、この読み出した情報に基づいて、取得または生成すればよい。 In this manner, as illustrated in FIG. 4, for example, the storage unit 12 may include an identifier of image information (for example, information indicating the display order. Hereinafter, referred to as an image identifier: A), and for each captured image. It may be a unique identifier (for example, a recorded image file name; hereinafter referred to as a recorded image identifier: B), and unique identification information for each segmented audio information (for example, a recorded audio information file name: C). ), Information indicating the recording start time and recording end time of the audio information identified by the identification information (C) (which may be the time measured by a timer for measuring the elapsed time from the start of processing: D), and the detected circumscribing Information (recording database) associated with information representing the rectangle (hereinafter referred to as highlight information: E) is stored. Note that information (F) for identifying the recording at the time of initialization, the recording due to the screen change due to highlighting, and the recording due to the display of the next image information may be further associated and recorded. For this information (F), for example, an area for storing information indicating the situation is set in advance in the storage unit 12, and information indicating each is changed at the time of initialization, highlighting, and switching of image information. This information is stored as information indicating the cause of the image, and when the image information is recorded, the information causing the image change is read with reference to this area, and is acquired or generated based on the read information. That's fine.

さらに本実施の形態の情報記録装置１は、記録データベースを参照し、画像情報ごとに、強調表示された領域と、当該領域が強調表示されていた間に収録された音声情報とを関連付ける情報を生成する。 Further, the information recording apparatus 1 of the present embodiment refers to the recording database, and for each image information, associates the highlighted area with the audio information recorded while the area is highlighted. Generate.

例えば、情報記録装置１は、画像識別子（Ａ）が共通する記録ごとに、ハイライト情報（Ｅ）やそれに対応する画面変化の原因（Ｆ）等を参照する。そして例えば、強調表示によって画面が変化したとされる場合に対応するハイライト情報（Ｅ）で特定される領域（ハイライト領域）を見出す。情報記録装置１は、当該ハイライト領域について、その内部がクリックされたときに、各ハイライト領域を特定するハイライト情報（Ｅ）に関連付けられている識別情報（Ｃ）を読み出す。そして、当該読み出した情報で識別される音声情報（対応する音声情報）の再生が行われるよう、対応する音声情報の再生指示を含むリンク情報を生成して、対応するハイライト領域を特定する情報に関連付けて記録する。この情報は、例えばウェブサーバの技術を利用し、各画像情報に対するクリッカブルマップとして生成できる。このときは、対応する画像識別子（Ａ）に関連付けて、それに対応して生成したクリッカブルマップの情報を記憶部１２に記録する。 For example, the information recording apparatus 1 refers to the highlight information (E), the cause of the screen change (F) corresponding to the highlight information (E), etc. for each recording with the common image identifier (A). Then, for example, an area (highlight area) specified by the highlight information (E) corresponding to the case where the screen is changed by highlighting is found. When the inside of the highlight area is clicked, the information recording apparatus 1 reads identification information (C) associated with highlight information (E) that identifies each highlight area. Then, link information including a reproduction instruction for the corresponding audio information is generated so that the audio information (corresponding audio information) identified by the read information is reproduced, and the corresponding highlight area is specified. Record in association with. This information can be generated as a clickable map for each piece of image information using, for example, the technology of a web server. At this time, information on the clickable map generated in association with the corresponding image identifier (A) is recorded in the storage unit 12.

なお、共通するハイライト情報に対して複数の識別情報（Ｃ）が関連付けられている場合もある（一つの領域を断続的に繰り返し指示しながら、説明を断続的に行った場合など）、このときには、情報記録装置１は、当該複数の識別情報（Ｃ）のいずれかを選択的に再生させるために、選択を行わせるためのウェブページを生成して、当該生成したウェブページへのリンクをハイライト情報に設定すればよい。 In some cases, a plurality of pieces of identification information (C) are associated with the common highlight information (for example, when the description is intermittently performed while repeatedly instructing one area). In some cases, the information recording device 1 generates a web page for performing selection in order to selectively reproduce any of the plurality of identification information (C), and provides a link to the generated web page. What is necessary is just to set to highlight information.

情報記録装置１は、こうして生成した記録データベースと、それに含まれる識別情報で識別される音声情報、及び取り込まれた画像情報を含む記録情報を生成する。また、上述のようにクリッカブルマップを生成したときには、この記録情報に対して、画像識別子（Ａ）に関連付けられたクリッカブルマップを含める。 The information recording apparatus 1 generates recording information including the recording database generated in this way, audio information identified by the identification information included therein, and captured image information. When the clickable map is generated as described above, the clickable map associated with the image identifier (A) is included in the recorded information.

この記録情報を再生する再生装置は、例えばウェブサーバとして動作し、ネットワーク等の通信手段を介してクライアント（ウェブブラウザなど）から再生指示を受け付ける。そして、再生装置は、再生の対象となった記録情報に含まれる記録データベースを参照して、当該記録データベースに格納されている順に、取り込まれた画像情報と、それに対応する音声情報とをクライアントへ送信する。クライアント側では、この受信した画像情報を表示し、受信した音声情報を再生出力する。 A playback apparatus that plays back the recorded information operates as a web server, for example, and receives a playback instruction from a client (web browser or the like) via a communication unit such as a network. Then, the playback device refers to the recording database included in the recording information to be played back, and sends the captured image information and the corresponding audio information to the client in the order stored in the recording database. Send. On the client side, the received image information is displayed, and the received audio information is reproduced and output.

また、このとき、画像情報がクリックされると、再生装置は、当該クリックされた位置の情報を受け入れる。そして当該情報で特定される位置を含んでいる、リンクが設定されている領域があるか否かを、表示中の画像情報の画像識別子（Ａ）に関連付けられたクリッカブルマップを参照して調べる。そしてリンクが設定されていれば、当該リンク先の情報を読み出して提供する。ここでリンク先の情報が例えば音声情報の再生指示であれば、クライアントに対しては、音声情報が提供され、クライアント側で当該音声情報が再生される。 At this time, when the image information is clicked, the playback device accepts information on the clicked position. Then, whether or not there is a link-set area including the position specified by the information is checked with reference to the clickable map associated with the image identifier (A) of the displayed image information. If a link is set, the link destination information is read and provided. If the link destination information is, for example, an instruction to reproduce audio information, the audio information is provided to the client, and the audio information is reproduced on the client side.

この場合、再生装置は、当該リンクによって特定されている音声情報のクライアントでの再生が完了した後、当該再生された音声情報の識別情報（Ｃ）に関連付けられている記録以降の記録を参照して、画像情報と音声情報との提供を継続して行ってもよい。 In this case, after the reproduction of the audio information specified by the link at the client is completed, the reproducing apparatus refers to the recording after the recording associated with the identification information (C) of the reproduced audio information. Thus, the provision of image information and audio information may be continued.

すなわち、クライアントの利用者は、例えば表示中の画像情報上で、興味のある部分をクリックすると、当該部分を指示しながら発表者が説明したときの音声情報（またはそれ以降に記録された画像情報と音声情報と）を取得することとなる。 That is, for example, when the client user clicks on a portion of interest on the displayed image information, the audio information (or image information recorded after that) described by the presenter while indicating the portion is displayed. And voice information).

このように本実施の形態の情報記録装置１は、注目領域の範囲に指示表示の位置が位置しているとの条件を満足した時点で、画像情報を取り込んで記録するとともに、その時点で音声情報の記録を区切る。これにより当該時点を、音声情報の再生開始位置として設定している。 As described above, the information recording apparatus 1 according to the present embodiment captures and records the image information at the time when the condition that the position of the instruction display is located in the range of the attention area and records the audio information at that time. Separate information records. Thus, the time point is set as the reproduction start position of the audio information.

さらに、本実施の形態において記録される情報は、上に述べたものに限られない。例えば画像識別子（Ａ）が共通する画像情報が表示されている間、当該表示されている画像情報（対応画像情報）に関連付けて、利用者のマウスポインタなど指示位置の移動軌跡を記録してもよい。一例としては、変化検出タイミングごとの指示位置の座標情報を記録してもよい。 Furthermore, the information recorded in the present embodiment is not limited to the information described above. For example, while the image information having the same image identifier (A) is displayed, the movement locus of the designated position such as the user's mouse pointer is recorded in association with the displayed image information (corresponding image information). Good. As an example, the coordinate information of the designated position for each change detection timing may be recorded.

制御部１１は、この記録（指示移動記録）を参照して、記録の行われた順に、座標情報間を結ぶ線分を描画した画像を生成してもよい。この際、ある記録が行われたときの座標情報を中心として、複数回連続して、当該中心から予め定めたしきい値（停留検出しきい値）未満または以下の距離だけ離れた座標情報が記録されている場合は、当該連続した回数に応じて予め定めた色で塗りつぶした円を、中心とした座標情報が表す座標を中心として描画してもよい。 The control unit 11 may generate an image in which line segments connecting the coordinate information are drawn in the order in which recording is performed with reference to the recording (instruction movement recording). At this time, centering on the coordinate information at the time when a certain recording is performed, coordinate information that is continuously separated a plurality of times from the center by a distance less than or less than a predetermined threshold value (stop detection threshold value). In the case of recording, a circle filled with a predetermined color according to the continuous number of times may be drawn around the coordinates represented by the coordinate information with the center as the center.

制御部１１は、この記録（指示画像移動記録画像）を対応画像情報の画像識別子（Ａ）に関連付けて記録情報に含めて記憶部１２に格納する。 The control unit 11 associates the recording (instruction image moving recording image) with the image identifier (A) of the corresponding image information, and stores the recording information in the storage unit 12.

再生時には、再生装置は、再生の対象となった画像情報を送信する際、当該再生の対象となった画像情報の画像識別子に関連づけられた指示画像移動記録画像があるか否かを調べ、指示画像移動記録画像があれば、再生対象の画像情報に合成（半透明合成）する。この半透明合成は、指示画像移動記録画像上で描画された画素に対応する画素については、指示画像移動記録画像の画素値（または指示画像移動記録画像の画素値と当該画素に対応する、対応画像情報の画素値との和など）を出力し、指示画像移動記録画像上で描画されていない画素に対応する画素については、当該画素に対応する、対応画像情報の画素値を出力することで行われる。これによって、図５に示すような画像情報が、再生時にクライアントに提供される。 At the time of reproduction, when transmitting the image information to be reproduced, the reproduction apparatus checks whether there is an instruction image moving recording image associated with the image identifier of the image information to be reproduced. If there is an image moving recording image, it is synthesized (translucently synthesized) with the image information to be reproduced. This semi-transparent synthesis is performed for pixels corresponding to pixels drawn on the instruction image moving recording image, corresponding to the pixel value of the instruction image moving recording image (or the pixel value of the instruction image moving recording image and the pixel). For a pixel corresponding to a pixel not drawn on the designated image moving recording image, the pixel value of the corresponding image information corresponding to the pixel is output. Done. As a result, the image information as shown in FIG. 5 is provided to the client during reproduction.

さらに、制御部１１は、指示移動記録に続けて（ｉ番目とｉ＋１番目とに）記録されている情報を読み出して、記録されている座標情報間の差分を特徴量として算出し、当該特徴量が、予め定めた条件を満足する時点での指示表示の位置を強調表示するよう、指示画像移動記録画像を生成してもよい。 Further, the control unit 11 reads the recorded information (i-th and i + 1-th) following the instruction movement recording, calculates a difference between the recorded coordinate information as a feature amount, and the feature amount However, the instruction image movement recording image may be generated so that the position of the instruction display at the time when the predetermined condition is satisfied is highlighted.

例えば、指示移動記録上、ｉ番目の指示画像の座標情報を（Ｘi，Ｙi）とするとき、特徴量
ＤＸi＝σ（Ｘi+1−Ｘi）、
ＤＹi＝σ（Ｙi+1−Ｙi）
を算出する。ここでσ（Ｐ）は、Ｐが予め定めたしきい値Ｔ（Ｔ＞０）を越える正の値であるとき「１」、Ｐが−Ｔを下回る負の値のとき「−１」、Ｐの絶対値がＴを下回るとき「０」となる関数である。 For example, when the coordinate information of the i-th instruction image is (Xi, Yi) in the instruction movement recording, the feature amount DXi = σ (Xi + 1−Xi),
DYi = σ (Yi + 1−Yi)
Is calculated. Here, σ (P) is “1” when P is a positive value exceeding a predetermined threshold T (T> 0), “−1” when P is a negative value lower than −T, This function is “0” when the absolute value of P is less than T.

制御部１１は、このＤＸi，ＤＹiの値を参照し、
（１）ＤＸiが「０」であり、ＤＹiが、「１」と「−１」とを交互に繰り返す記録が予め定めたＮ回を越え、かつ、そのＮ回の期間内における指示画像の移動距離（もっとも離隔した座標情報間の距離）が予め定めたしきい値（Ｒ）を下回る場合
（２）ＤＹiが「０」であり、ＤＸiが、「１」と「−１」とを交互に繰り返す記録が予め定めたＮ回を越え、かつ、そのＮ回の期間内における指示画像の移動距離（もっとも離隔した座標情報間の距離）が予め定めたしきい値（Ｒ）を下回る場合
（３）ＤＸiとＤＹiとが、ともに「１」と「−１」とを交互に繰り返す記録が予め定めたＮ回を越え、かつ、そのＮ回の期間内における指示画像の移動距離（もっとも離隔した座標情報間の距離）が予め定めたしきい値（Ｒ）を下回る場合に、マウスポインタなどの指示表示が例えば一点を取り囲むように円を描いて移動していたり、直線上を繰り返し移動していると判断して、上記Ｎ回の期間において記録されている、実際の指示表示の位置を表す座標情報を取り囲む矩形を指示画像移動記録画像に含めて描画する。 The controller 11 refers to the values of DXi and DYi,
(1) DXi is “0”, and DYi exceeds “N” times in which “1” and “−1” are alternately repeated, and the designated image is moved within the N times period. When the distance (distance between the most distant coordinate information) falls below a predetermined threshold value (R) (2) DYi is “0”, and DXi alternately “1” and “−1” When the number of repeated recordings exceeds a predetermined N times, and the movement distance of the instruction image (the distance between the most distant coordinate information) within the N times is less than a predetermined threshold (R) (3 ) Recording in which DXi and DYi alternately repeat “1” and “−1” exceeds the predetermined N times, and the moving distance (the most distant coordinates) of the designated image within the N time periods When the distance between the information is below a predetermined threshold (R) For example, it is determined that the instruction display such as a circle is moving in a circle so as to surround one point, or the movement is repeated on a straight line, and the actual instruction display recorded in the N times is displayed. A rectangle surrounding the coordinate information representing the position is drawn by including it in the instruction image moving recording image.

また、このように、停留検出しきい値未満、または以下の移動が連続して記録されている期間や、円や直線を繰り返し描いていると検出される期間（以下、特徴的動作期間という）における指示表示の移動軌跡を表す円や矩形などの内部がクリックされた場合に、当該円や矩形が描かれた時間に収録されていた音声情報を再生する指示が出力されるようにしてもよい。 In addition, as described above, a period that is less than the stop detection threshold value or a period in which the following movement is continuously recorded, or a period that is detected when a circle or a straight line is repeatedly drawn (hereinafter referred to as a characteristic operation period). When the inside of a circle or rectangle representing the movement trajectory of the instruction display in is clicked, an instruction to reproduce the audio information recorded at the time when the circle or rectangle was drawn may be output. .

この場合も、上記特徴的動作期間を特定する情報とともに、当該情報で特定される期間に収録された音声情報を再生するべき旨の指示へのリンクを、各特徴的動作期間に対応して指示画像移動記録画像に描画した円や矩形などの図形の表す領域に設定するよう、クリッカブルマップを生成して記録情報に含めればよい。 Also in this case, in addition to the information specifying the characteristic operation period, a link to an instruction to reproduce the audio information recorded in the period specified by the information is instructed corresponding to each characteristic operation period. A clickable map may be generated and included in the recording information so as to be set in an area represented by a graphic such as a circle or a rectangle drawn on the image moving recording image.

さらに、制御部１１は、上記特徴的動作期間における指示表示の移動軌跡を表す指示画像移動記録画像を、その態様（移動がない、または円や直線を繰り返し描いている、など）ごとに生成してもよい。例えば、予め定めた期間以上に、予め定めた停留検出しきい値を下回る移動しかなかった部分を表す指示画像移動記録画像や、予め定めた期間以上に、予め定めた停留検出しきい値を下回る移動しかなかった部分での当該移動がなかった期間に応じて異なる図形を描画した指示画像移動記録画像、移動順を表す矢印を描画した指示画像移動記録画像、円や直線を繰り返し描いている領域の重心を表す指示画像移動記録画像などを個別に生成して、記録情報に含めてもよい。 Further, the control unit 11 generates an instruction image movement recording image representing a movement locus of the instruction display during the characteristic operation period for each mode (no movement or repeated drawing of a circle or a straight line). May be. For example, an instruction image moving recording image representing a portion that has only moved below a predetermined stop detection threshold for a predetermined period or less than a predetermined stop detection threshold for a predetermined period or more. An instruction image moving recording image in which a different figure is drawn according to a period in which there has been no movement in the portion that has only moved, an instruction image moving recording image in which an arrow indicating the moving order is drawn, an area in which circles and straight lines are repeatedly drawn An instruction image moving recording image representing the center of gravity of the image may be individually generated and included in the recording information.

この場合、再生装置側では、このように個別に生成した指示画像移動記録画像のどれを合成するかを選択させ、選択された指示画像移動記録画像を、再生の対象となった画像にそれぞれ半透明合成する。 In this case, the playback apparatus side selects which of the individually generated instruction image moving recording images to be combined in this way, and each of the selected instruction image moving recording images is divided into the images to be reproduced. Transparent composition.

また上述のように、特徴的動作期間が検出されたときには、制御部１１は、次のように動作してもよい。すなわち制御部１１は、その期間内での指示表示の代表的な位置（例えば特徴的動作期間内に記録されている指示表示の座標情報の重心座標など）を決定する。そして検出した特徴的動作期間ごとに、図６に示すように、固有の識別子と、特徴的動作期間の開始時点におけるタイマー（発表開始からの経過時刻を計時するタイマー）の計時時刻を表す情報と、検出した動作の態様（移動がない、または円や直線を繰り返し描いている、など）を表す情報と、代表的な位置とを関連付けて、特徴的移動データベースとして記憶部１２に格納してもよい。また、この特徴的移動データベースを、記録情報に含めてもよい。 Further, as described above, when the characteristic operation period is detected, the control unit 11 may operate as follows. That is, the control unit 11 determines a representative position of the instruction display within the period (for example, the barycentric coordinates of the coordinate information of the instruction display recorded during the characteristic operation period). Then, for each detected characteristic operation period, as shown in FIG. 6, a unique identifier and information indicating the time measured by a timer (timer for measuring the elapsed time from the start of presentation) at the start of the characteristic operation period The information indicating the detected motion mode (no movement or a circle or straight line is drawn repeatedly) and the representative position may be associated with each other and stored in the storage unit 12 as a characteristic movement database. Good. Further, this characteristic movement database may be included in the recorded information.

制御部１１は、さらに特徴的移動データベースを参照し、各特徴的動作期間ごとに決定した代表的な位置を内包する注目領域があるか否かを調べ、そのような注目領域があれば、対応する識別子に関連づけて、当該注目領域を特定する情報を特徴的移動データベースに含めてもよい。 The control unit 11 further refers to the characteristic movement database to check whether or not there is an attention area including a representative position determined for each characteristic operation period. Information specifying the region of interest may be included in the characteristic movement database in association with the identifier.

再生装置は、クライアントにて注目領域を選択する操作が行われると、この特徴的移動データベースを参照し、当該選択された注目領域に関連付けられた特徴的動作期間があるか否かを調べる。そして、そのような特徴的動作期間があれば、それに対応して記録されているタイマーの計時時刻を取得する。そして取得した計時時刻以降に提示される画像情報や、音声情報をクライアントへ提供することとしてもよい。 When an operation for selecting a region of interest is performed by the client, the playback device refers to this characteristic movement database and checks whether there is a characteristic operation period associated with the selected region of interest. If there is such a characteristic operation period, the time measured by the timer recorded correspondingly is acquired. And it is good also as providing the image information and audio | voice information shown after the acquired time-measurement time to a client.

さらにここまでの説明では、発表時に用いられる画像情報には予め、注目領域が設定されていることとしていた。しかしながら、注目領域は、例えば絵柄と文字部分とを分離する、いわゆるＴ／Ｉ分離処理技術や、文字列を単語や形態素に分割する処理技術を用いて、動的に特定されてもよい。 Furthermore, in the description so far, it has been assumed that a region of interest is set in advance in the image information used at the time of presentation. However, the attention area may be dynamically specified by using, for example, a so-called T / I separation processing technique that separates a pattern and a character portion or a processing technique that divides a character string into words and morphemes.

このように、本実施の形態によると、指示表示（ポインタなど）の移動操作の内容を、記録の再生の基準として利用することができる。 As described above, according to the present embodiment, the content of the movement operation of the instruction display (such as a pointer) can be used as a reference for recording reproduction.

本発明の実施の形態に係る情報記録装置の構成例を表すブロック図である。It is a block diagram showing the structural example of the information recording device which concerns on embodiment of this invention. 本発明の実施の形態に係る情報記録装置が保持する画像情報の例を表す説明図である。It is explanatory drawing showing the example of the image information which the information recording device which concerns on embodiment of this invention hold | maintains. 本発明の実施の形態に係る情報記録装置の記録処理の例を表すフローチャート図である。It is a flowchart figure showing the example of the recording process of the information recording device concerning an embodiment of the invention. 本発明の実施の形態に係る情報記録装置が記録する情報の例を表す説明図である。It is explanatory drawing showing the example of the information which the information recording device which concerns on embodiment of this invention records. 本発明の実施の形態に係る情報記録装置が記録した情報に基づいて生成される画像の例を表す説明図である。It is explanatory drawing showing the example of the image produced | generated based on the information which the information recording device which concerns on embodiment of this invention recorded. 本発明の実施の形態に係る情報記録装置が記録する特徴的移動データベースの例を表す説明図である。It is explanatory drawing showing the example of the characteristic movement database which the information recording device which concerns on embodiment of this invention records.

Explanation of symbols

１情報記録装置、１１制御部、１２記憶部、１３操作部、１４出力部、１５音声入力部。 DESCRIPTION OF SYMBOLS 1 Information recording device, 11 Control part, 12 Storage part, 13 Operation part, 14 Output part, 15 Voice input part.

Claims

Means for holding image information;
Means for outputting the image information;
Means for recording time series information that changes in time series while outputting the image information;
Means for synthesizing and outputting an instruction display representing an instruction position on the output image information;
Information representing the time point when at least one region of interest is set on the output image information and a predetermined condition is satisfied based on the range of the region of interest and the position of the indication display Means for recording as a playback start position;
An information recording apparatus comprising:

2. The information recording apparatus according to claim 1, further comprising means for highlighting an attention area that includes the instruction display when the instruction display is located in any of the attention areas.

Means for recording a movement trajectory of the position of the indication display;
Means for synthesizing and outputting an image representing the recorded movement locus on the output image information;
The information recording apparatus according to claim 1, further comprising:

Means for calculating a predetermined feature amount based on a movement locus of the position of the instruction display;
Means for highlighting the position of the instruction display when the feature amount satisfies a predetermined condition;
The information recording apparatus according to claim 1, further comprising:

Computer
Means for holding image information;
Means for outputting the image information;
Means for recording time series information that changes in time series while outputting the image information;
Means for synthesizing and outputting an instruction display representing an instruction position on the output image information;
Information representing the time point when at least one region of interest is set on the output image information and a predetermined condition is satisfied based on the range of the region of interest and the position of the indication display Means for recording as a playback start position;
A program characterized by functioning as