JP2004280120A

JP2004280120A - 映像処理装置

Info

Publication number: JP2004280120A
Application number: JP2004119516A
Authority: JP
Inventors: Shigehisa Kawabe; 恵久川邉
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2004-04-14
Filing date: 2004-04-14
Publication date: 2004-10-07
Anticipated expiration: 2021-11-15
Also published as: JP3845641B2

Abstract

【課題】ビデオ信号を複数画面分一旦メモリに記録しておき、このメモリの内容に対して所定の操作を加えることにより、映像ウィンドウシステムの応用分野を広げ、かつ、より良い操作性を有する映像処理装置を提供する。
【解決手段】
外部の映像再生装置からの映像データを第１のウィンドウに表示するモニター機能と、装置内に記録されている映像データをドラッグ操作により変化させて第２のウィンドウに表示する再生機能とを備えたことを特徴とする映像処理装置。
【選択図】図１

Description

本発明は、ビデオ映像情報を表示可能な映像ウィンドウシステムに関し、特にマルチウィンドウ化された映像処理装置に関する。

近年、マイクロプロセッサを用いたパーソナルコンピュータや、ワークステーションなどのコンピュータシステムでは、より高い性能と、より良いユーザインタフェースを求めてマルチウィンドウ化の傾向にある。このような映像ウィンドウシステムでは、ワークステーションの操作性の向上や新しい応用方法の開拓が大きな問題となっており、中でも、ＮＴＳＣ信号等の一般のビデオ信号を、マルチウィンドウシステムでいかに扱うかが大きな問題の一つとなっている。

従来、マルチウィンドウシステムでは、主にテキスト情報のみを扱うにすぎなかったが、近年では、ワークステーションのディスプレイ上に、一般のビデオ信号に基づく映像を動画として表示するウィンドウを設けたウィンドウシステムも提案されている (たとえば、非特許文献１参照) 。

この非特許文献１に記載の装置においては、ビデオ信号がＡ／Ｄ変換された後、一次メモリに蓄積され、次いで所定の画像処理が施された後、二次メモリに蓄積される。二次メモリの内容は、ディスプレイの同期信号に同期して読み出され、Ｄ／Ａ変換された後、パーソナルコンピュータからのビデオ信号と合成されてディスプレイに出力される。
荒木他，「ＶＰ−１５０高精細自然画プロセッサ」，ＮＥＣ技法ＶＯＬ．４０，Ｎｏ．７／１９８７，ｐｐ．２８−３３

しかし、上記非特許文献１に記載の装置においては、パーソナルコンピュータによる表示画像の一部或いは全部を、ＶＴＲ，ビデオカメラ等の他の映像信号源からのビデオ信号で置換して表示するだけであり、表示された画像を見ながら、ビデオ信号自体に対して、記録，編集等の処理を行うことはできなかった。

本発明は、前記問題点を解決するために案出されたものであって、ビデオ信号を複数画面分一旦メモリに記録しておき、このメモリの内容に対して所定の操作を加えることにより、映像ウィンドウシステムの応用分野を広げ、かつ、より良い操作性を有する映像処理装置を提供することを目的とする。

本発明の映像処理装置は、外部の映像再生装置からの映像データを第１のウィンドウに表示するモニター機能と、装置内に記録されている映像データをドラッグ操作により変化させて第２のウィンドウに表示する再生機能とを備えたことを特徴とする。

本発明によれば、モニター機能と再生機能の２種類の表示機能を利用することができる。

以下、図面を参照しながら実施例に基づいて本発明の特徴を具体的に説明する。

第１図は本発明の映像ウィンドウシステムの第１の実施例の原理的な構成を示すブロック図である。

第１の実施例の映像ウィンドウシステムは、第１図に示すように、少なくとも、ＶＴＲ，ビデオカメラ等の映像再生装置１から出力されるビデオ信号による画像(以下、ビデオ映像という)を表示可能な映像ウィンドウ２と、この映像ウィンドウ２に表示されたビデオ映像に対応するビデオ信号を実時間でメモリに記録する映像データ記録手段３と、キーボード４及びマウス５より入力された信号を解釈するインタフェース手段６と、このインタフェース手段６によって解釈された信号により、映像データ記録手段３に記録されている複数の映像データの集合からユーザの意図する任意の映像データを選択し映像ウィンドウ２或いは他の映像ウィンドウ７に表示するための映像データ再生表示手段８とから構成されている。

この映像ウィンドウシステムにおいては、モニタモードと再生モードの２種類の表示モードをとることができる。通常は、モニタモードとなっており、映像ウィンドウ２には、映像再生装置１からのビデオ映像が表示されており、また、再生モードでは、映像データ再生表示手段８からのビデオ映像が表示される。

また、キーボード４及びマウス５より入力された信号は、インターフェース手段６によって映像データ再生表示手段８の制御信号として出力され、映像データ記録手段３に記録された複数の映像データから一画面分の映像データを選択する。選択された映像データは、映像データ再生表示手段８により前記映像ウィンドウ２または他の映像ウィンドウ７に表示される。

次に、上記第１の実施例の具体的な構成について、第２図のブロック図を参照して説明する。また、本実施例のディスプレイ画面の例を第３図に示す。

第２図の例では、ビデオ映像表示手段９において、ビデオ入力端子１０より入力されたビデオ信号を、Ａ／Ｄ変換器11によりディジタル信号に変換し、ビデオ信号のフィールドレートに従って書込み制御器１２によりビデオメモリ１３に書き込む。ビデオメモリ１３の内容は、表示するディスプレィの走査レートに従って制御された読出し制御器１４により読み出されてディジタルビデオ信号とされる。このディジタルビデオ信号は、ビデオ入力をモニタするモニタモードと、記録された画像データを表示する再生モードとを切り替えるための切替器１５を経由し、更に、表示される映像ウィンドウのサイズに応じて、折返し雑音を防ぐために空間フィルタ１６を通してバッファ１７に保存される。

一方、テキスト情報を表示するためのコンピュータ, ワークステーション等からのディスプレイ入力も、ディスプレイ入力端子１８を介して画像合成器１９に入力されて表示のための同期が取られ、バッファ１７に保存されたディジタルビデオ信号と合成され、ビデオ出力端子２０からビデオ出力としてディスプレイ装置に出力される。

第３図は、ディスプレイ画面の一例を示しており、ディスプレイ装置の表示部５１には、キーボード４(第１図参照)から入力されたコマンド等をエコーバックして表示したり、システムからの応答を表示するテキストウィンドウ５２, 後述する映像データ記録手段２１の映像データメモリバンク２２から読み出された１画面分の画像データを表示するビデオ表示ウィンドウ５３, 画像データの一部を切り出して表示してテキストデータとともに表示するテキストウィンドウ５４等が表示されている。なお、テキストウィンドウ５４においては、たとえば、ビデオ表示ウィンドウ５３に表示されている画像の一部領域をマウス５等により指定し、キーボード４から入力された文字列が表示されるテキストウィンドウ５４内にコピーすることにより、文書中にビデオ映像中の任意のシーンの一部分を切り出して組み込んだマルチメディアドキュメントを作成することが可能となる。

また、映像データ記録手段２１は、ビデオ入力端子１０より入力されたビデオ信号を記録するために、ディジタル信号に変換されたビデオ映像データＤ０,Ｄ１,Ｄ２, ・・をビデオメモリ１３より入力し、書込み制御器１２により、０から始まりフィールドごとに増加するフィールド番号０，１，２，・・をつけて映像データメモリバンク２２に保存する。映像データメモリバンク２２への格納状態の一例を第１表に示す。

また、インタフェース手段２３において、マウス５(第１図参照)からマウス入力端子２４を介して供給される位置情報は、座標計数器２５で数えられマウスカーソル５５(第３図参照)の座標として保持される。また、マウスボタン検出器２６により、マウスボタンのオン／オフ情報を検出し、映像データ再生表示手段２８に出力する。この実施例では、第４図に示すように右ボタン５Ｒ，中ボタン５Ｃ, 左ボタン５Ｌの３種類のボタンを具有するマウス５を考える。また、第３図に示すように、マウスカーソル５５は、表示部５１上のスクロールバー５６の一部を指示しているとする。なお、スクロールバー５６はビデオ表示ウィンドウ５３の右辺に隣接して配置されており、同ビデオ表示ウィンドウ５３の高さと略等しい長さを有している。座標計数器２５は、マウスボタン５Ｌ, ５Ｃ, ５Ｒが押されたことを検出して、その時の座標を正規化器２７に出力する。正規化器２７は、該座標値からスクロールバー５６の全体の長さＬに対するスクロールバー５６上の指示された地点の起点からの距離１の比を計算し、０から１までの値αとして映像データ再生表示手段２８に出力する。

映像データ再生表示手段２８においては、前記映像データメモリバンク２２に記録されている画像データの数Ｍを記録画像数保持器２９に保持している。また、記録した映像データを再生してビデオ表示ウィンドウ５３に表示する際に、前記映像データメモリバンク２２に記録された画像データのうち、どのフィールドがビデオ表示ウィンドウ５３に表示されているかを示す画像計数器３０と、前記インタフェース手段２３の正規化器２７の出力αと記録画像数保持器２９からの出力Ｍから表示すべき画像に対応するフィールド番号Ｆを求める乗算器３１とを備えている。

前記マウス５の右ボタン５Ｒが押されたことがマウスボタン検出器２６により検出されると信号ＣＵが発生し、この信号ＣＵにより、前記画像計数器３０はカウントアップされ、その結果、すぐ後に記録されているフィールドの画像データがビデオ表示ウィンドウ５３に表示される。

また、左ボタン５Ｌが押された事を検出する信号ＣＤにより、前記画像計数器３０はカウントダウンされ、その結果、直前に記録されたフィールドの画像データがビデオ表示ウィンドウ５３に表示される。

また、前記インタフェース手段２３の正規化器２７より出力された０から１までの値αと、前記記録画像数保持器２９の内容Ｍとを乗算器３１で乗算することにより、マウス５で指示された画像データのフィールド番号Ｆが求められており、中ボタン５Ｃが押された事を検出する信号ＬＤにより、該フィールド番号Ｆを前記画像計数器３０にロードする。ロードの結果、前記映像データメモリバンク２２に記録された当該フィールド番号の画像データがビデオ表示ウィンドウ５３に表示される。

これにより、たとえば、マウス５の右または左ボタン５Ｒ, ５Ｌにより、あたかもビデオテープレコーダのコマ送りを行うかのように、記録された映像データを見ることができる。また、マウス５の中ボタン５Ｃにより、記録された映像データのうち特定の一場面を直接的に選択し表示することができる。さらに、マウス５の中ボタン５Ｃを押したまま、マウスカーソル５５をスクロールバー５６上でずらすことにより、マウス５で指示された画像データのフィールド番号Ｆが変化しながら連続的に前記画像計数器３０にロードされるので、ビデオ表示ウィンドウ５３にはスクロールバー５６上でマウス５により指示された位置に対応する映像データが連続的に表示され、あたかもビデオテープレコーダの早送り再生や巻戻し再生のような処理が、簡単にできるようになる。

これにより、一連の動画像から任意のシーンを必要に応じて簡単な操作で取り出すことができ、たとえば、コンピュータグラフィックによる映像とビデオテープレコーダからのビデオ画像とを合成して新たな画像を創作するようなマルチメディアドキュメントの編集作業において、より良いユーザインタフェースを提供することが可能となる。

次に、本発明の第２の実施例について、第５図の原理ブロック図及び第６図の具体ブロック図を参照して説明する。なお、第１図〜第３図に示す第１の実施例と対応する部材等には同一符号を付し、重複説明は省略する。

第５図に示す第２の実施例の原理ブロック図は、第１図に示す第１の実施例の原理ブロック図と比較して、映像データ再生表示手段８と映像ウィンドウ２との間に、プレビューデータ表示手段３２が設けられている点が異なっている。このプレビューデータ表示手段３２は、映像データ記録手段３に記録されている複数の映像データの集合から、連続した一連複数の映像データを表示するためのものであり、映像データ再生表示手段８からの指示に基づき、着目する映像データ及びこの前後の複数の映像データを記録するためのメモリを備えている。

この第５図に示す第２の実施例においても、第１の実施例と同様に、映像ウィンドウ２には、通常は映像再生装置１からのビデオ映像が表示されており、また、再生表示のときには、映像データ再生表示手段８からのビデオ映像を表示することもできる。また、プレビューデータ表示手段３２に記録されている画像データを読み出すことにより、着目する映像データと並んで前後に記録された複数の映像データが、記録された時間順に映像ウィンドウ２に表示される。本実施例では、この映像ウィンドウを特にプレビューウィンドウと呼んで区別する。一方、マウス５及びキーボード４より入力された信号は、インターフェース手段６によって映像データ再生表示手段８の制御信号として出力され、映像データ記録手段３に記録された複数の映像データから一画面分の映像データを選択する。選択された映像データは、映像データ再生表示手段８により前記映像ウィンドウ２等に表示されると同時に、プレビューウィンドウには、該選択された映像データの前後に記録された複数の映像データと共に表示される。なお、第５図の例では、プレビューウィンドウは映像ウィンドウ２に含まれている。

第６図は第２の実施例の具体的なブロック図を示しており、第２図に示す第１の実施例の具体ブロック図と比較して異なっているのは、映像データメモリバンク２２の出力が空間フィルタ３４を介してプレビューデータメモリ３５に供給され、このプレビューデータメモリ３５の出力がバッファ３６を介して画像合成器１９に供給されていることである。なお、プレビューデータメモリ３５には、書込み制御器１２, 読出し制御器１４から制御信号が供給されている。なお、第７図は第２の実施例によるディスプレイ画面の例を示す。

本実施例では、第７図に示すように、ビデオ表示ウィンドウ５３とは別にプレビューウィンドウ５７が表示され、このプレビューウィンドウ５７には、着目する映像データとその前後５フィールド分、すなわち、合計１１個の映像データＤｎ−５,Ｄｎ−４，・・, Ｄｎ,・・,Ｄｎ＋４,Ｄｎ+５を表示できるものを考える。

空間フィルタ３４, プレビューデータメモリ３５を備えたプレビューデータ表示手段３３は、前記映像データ再生表示手段２８から出力された前記フィールド番号Ｆを入力し、映像データメモリバンク２２から、当該フィールド番号Ｆに対応する映像データ及び前後５フィールド、合計１１フィールドの画像データを、空間フィルタ３４を経由してプレビューデータメモリ３５に格納する。格納された１１フィールド分の画像データは、ビデオ映像表示手段９に出力され、プレビューウィンドウ５７として表示される。

これにより、第７図に示すように、プレビューウィンドウ５７に表示された複数の映像データを同時に見ることで、映像データの前後の関係や流れを把握することができるようになる。更に、プレビューウィンドウ５７上で、マウス５を操作し、右ボタン５Ｒ又は左ボタン５Ｌを押せば、画像計数器３０により指示されるフィールド番号が、１だけ増加又は減少するので、当該フィールド番号に対応する画像データが映像データメモリバンク２２から読み出されてビデオ表示ウィンドウ５３に表示されるとともに、変更後のフィールド番号を中心とした１１フィールド分の画像データがプレビューウィンドウ５７に表示される。これにより、マウス５を操作してあたかもビデオテープレコーダのコマ送りを行うかのように記録された映像データを見ることができる。また、マウス５の中ボタン５Ｃを操作して、乗算器３１により得られたフィールド番号Ｆを直接画像計数器３０にロードすることにより、記録された映像データのうち特定の一場面を直接的に選択して表示することができる。

更に、マウス５の中ボタン５Ｃを押したままマウスカーソル５８をスクロールバー５９上でずらすことにより、ビデオ表示ウィンドウ５３及びプレビューウィンドウ５７には、スクロールバー５９上でマウス５により指示された対応する映像データが連続的に表示され、あたかもビデオテープレコーダの早送り再生や巻戻し再生のような処理が簡単にできるようになる。

なお、第２の実施例においては、インタフェース手段２３は、プレビューウィンドウ５７に対応したものに変更されているものとする。

次に、本発明の第３の実施例について、第８図の原理ブロック図及び第９図の具体ブロック図を参照して説明する。なお、第５図〜第７図に示す第２の実施例と対応する部材等には同一符号を付し、重複説明は省略する。また、第10図は第３の実施例によるディスプレイ画面の例である。

第８図に示す第３の実施例の原理ブロック図は、第５図に示す第２の実施例の原理ブロック図と比較して、映像データ再生表示手段８とプレビューデータ表示手段３２との間に、画像キュー部３７が設けられている点が異なっている。この画像キュー部３７は、映像データに一意に対応する数を記憶するためのキュー構造をしたメモリである。

この第３の実施例においても、前述した第１及び第２の実施例と同様に、映像ウィンドウ２には、通常は映像再生装置１からのビデオ映像が表示されており、また、再生表示のときには、映像データ再生表示手段８からのビデオ映像を表示することもできる。また、第２の実施例と同様に、プレビューデータ表示手段３２により、着目する映像データと並んで前後に記録された複数の映像データが、記録された時間順にプレビューウィンドウに表示される。

一方、マウス５及びキーボード４より入力された信号は、インターフェース手段６によって映像データ再生表示手段８の制御信号として出力され、映像データ記録手段３に記録された複数の映像データから一画面分の映像データを選択する。選択された映像データは、映像データ再生表示手段８により前記映像ウィンドウ２に表示されると同時に、プレビューウィンドウには、選択された映像データが前後に記録された複数の映像データと共に表示される。

ここで、この第３の実施例においては、マウス５を用いて、プレビューウィンドウ上で望む映像データの範囲を選択する操作をすると、その一連の映像データに一意に対応する一連の数が画像キュー部３７にストアされる。この操作を繰り返すことにより、前記映像データ記録手段３に蓄えられた任意の映像データをユーザの意図する任意の順につなぎ合わせた動画像データを得ることができる。また、この動画像は、前記画像キュー部３７に蓄えられた数をもとに、プレビューウィンドウ及び映像ウィンドウ２に表示される。

第９図は上記第３の実施例の具体的なブロック図を示しており、第６図に示す第２の実施例と比較して異なっているのは、インタフェース手段２３に、マウス位置を判別するための座標比較器４０、マウスカーソル５８により指示されたスクロールバー５９上の範囲から複数の画像データのフィールド番号の範囲に変換する範囲指示器４１が設けられていること、及び、この範囲指示器４１の出力が供給されて記憶され、その出力がプレビューデータメモリ３５に供給されるキューメモリ３８を備えた画像キュー部３９が設けられていることである。

画像キュー部３９には、範囲指示器４１及び画像計数器３０からのフィールド番号が供給され、また、画像キュー部３９からは、フィールド番号が映像データメモリバンク２２及びプレビューメモリ３５に出力される。更に、プレビューウィンドウ５７上でマウスにより指示された画像に対応するフィールド番号へ画像計数器３０の内容を変更するための信号が、画像キュー部３９から出力される。

この第３の実施例においても、前記第１及び第２の実施例と同様に、映像データメモリバンク２２に記憶されている複数の画像データの中から、マウス５により選択された画像データをビデオ画像ウィンドウ５３に表示し、更に、この目的の画像データを含めて前後の１１フィールド分の画像データをプレビューデータ表示手段３３によりプレビューウィンドウ５７に表示する。

いま、マウスカーソル５８がプレビューウィンドウ５７上に存在している状態で、該プレビューウィンドウ５７に表示されている一連の映像データのうち、ユーザの望む範囲の領域の開始をマウス５の左ボタン５Ｌで指示し、終了を右ボタン５Ｒで指示すると、各ボタン５Ｌ, ５Ｒが押されたときのマウスカーソル５８の座標値がそれぞれ座標比較器４０に供給される。座標比較器４０では、プレビューウィンドウ５７上の特定の一連映像データが選択されたことが検出され、範囲指示器４１にマウスカーソル５８の座標値を出力する。範囲指示器４１は、前記プレビューデータメモリ３５の出力から選択された一連映像データの個々の映像データに対応するフィールド番号を知り、時間順に一連のフィールド番号としてキューメモリ３８に書き込む。ここで、各映像データに対応するフィールド番号は、このシステムでは、一意に定まることに注目すべきである。

前述の、プレビューウィンドウ５７に表示されている一連の映像データを選択して、対応する一連のフィールド番号を画像キュー部３９に書き込む、という操作を繰り返すことにより、動画像データを繋ぎあわせ、新たな動画像データを作成する。

一方、前記キューメモリ３８に書き込まれた一連のフィールド番号を、前記プレビューデータメモリ３５に出力することにより、キューメモリ３８に書き込まれたフィールド番号に対応する画像データをプレビューウィンドウ５７に表示する。また同様に、一連のフィールド番号のうち特定のフィールド番号を映像データメモリバンク２２に出力することにより、該フィールド番号に対応する画像データをビデオ表示ウィンドウ５３に表示する。

これにより、第１及び第２の実施例と同様に、プレビューウィンドウ５７に表示された複数の映像データを同時に見ながら、映像データの前後の関係や流れを把握し、更に、プレビューウィンドウ５７上でマウス５を操作することにより、あたかもビデオテープレコーダのコマ送り, 早送り再生, 巻戻し再生を行うかのように、記録された映像データを見ることができる。

特に、第３の実施例においては、画像キュー部３９を設けることにより、動画像データを参照し、検討の上、マウス５によりユーザが希望する一連の動画像を切り出してつなぎ合わせ、新たな動画像データとすることが簡単にできるようになる。

また、キューメモリ３８の最大容量に対して実際に書き込まれているフィールド番号を示すデータの量の割合を、表示画面上５１にマーカ６０として表示することにより、画像を切り出してつなぎ合わせるという編集作業をしながら、あとどれくらいの編集を行うことができるのかをユーザが知ることができる。このマーカ６０を表示するには、たとえば、キューメモリ３８と画像合成器１９との間の信号経路に、キューメモリ３８内のデータ量に応じてマーカ信号の発生タイミングが変更されるマーカ発生器(図示せず)を設ければよい。

上述のように、メモリに蓄積された複数の画像データのうちの表示すべき画像データに付与されたフィールド番号等の識別番号をキューメモリに格納しておき、再生時にこの識別番号に基づいてメモリ内の画像データを読み出すことにより、上述のコマ送りなどの動作をさせて映像の流れを検討した上でユーザが希望する一連の動画像を切り出して繋ぎ合わせ、新たな動画像データを創作することができる。しかも、フィルムやビデオテープによる編集と異なり、編集個所の変更が極めて容易であり、また、処理がディジタル的に行われるので、編集作業による画質の劣化もない。

本発明の映像ウィンドウシステムの第１の実施例の原理ブロック図第１の実施例の具体ブロック図第１の実施例によるディスプレイ画面の例を示す説明図マウスの模式的な平面図本発明の映像ウィンドウシステムの第２の実施例の原理ブロック図第２の実施例の具体ブロック図第２の実施例によるディスプレイ画面の例を示す説明図本発明の映像ウィンドウシステムの第３の実施例の原理ブロック図第３の実施例の具体ブロック図第３の実施例によるディスプレイ画面の例を示す説明図

符号の説明

１：映像再生装置２,７：映像ウィンドウ３：映像データ記録手段４：キーボード５：マウス６,２３：インタフェース手段８，２８：映像データ生表示手段９：ビデオ映像表示手段１０：ビデオ入力端子１１：Ａ／Ｄ変換器１２：書込み制御器１３：ビデオメモリ１４：読出し制御器１５：切替器１６，３４空間フィルタ１７：バッファ１８：ディスプレイ入力端子１９：画像合成器２０：ビデオ出力端子
２１：映像データ記録手段２２：映像データメモリバンク２４：マウス入力端子２５：座標計数器２６：マウスボタン検出器２７：正規化器２９：記録画像数保持器３０：画像計数器３１：乗算器３２，３３：プレビューデータ表示手段３５：プレビューデータメモリ３６：バッファ３７，３９：画像キュー部３８：キューメモリ４０：座標比較器４１：範囲指示器５１：表示部５２，５４：テキストウィンドウ５３：ビデオ表示ウィンドウ５５，５８：マスカーソル５６，５９：スクロールバー５７：プレビューウィンドウ６０：マーカ

Claims

外部の映像再生装置からの映像データを第１のウィンドウに表示するモニター機能と、装置内に記録されている映像データをドラッグ操作により変化させて第２のウィンドウに表示する再生機能とを備えたことを特徴とする映像処理装置。