JP4610523B2

JP4610523B2 - 動画処理装置

Info

Publication number: JP4610523B2
Application number: JP2006163000A
Authority: JP
Inventors: 新也平崎
Original assignee: Oki Semiconductor Co Ltd
Current assignee: Lapis Semiconductor Co Ltd
Priority date: 2006-06-13
Filing date: 2006-06-13
Publication date: 2011-01-12
Anticipated expiration: 2026-06-13
Also published as: JP2007336023A; US20070286285A1; KR20070118948A; KR101378804B1; CN101090488B; CN101090488A; US7778475B2

Description

本発明は、パイプライン処理でリアルタイムに動画像を処理する動画処理装置、特に規定の時間内に画像データの処理が完了しないという破綻が発生したときの処理に関するものである。

図２は、従来の動画処理装置の構成図である。
この動画処理装置は、ビデオカメラから出力される画像データをリアルタイムで処理して符号化するもので、入力回路１０、動き探索回路２０及び符号化回路３０によるパイプライン処理回路と、パイプライン処理における処理途中のデータの受け渡し用バッファとして用いられるメモリ４０及びメモリ制御回路５０を有し、これらの入力回路１０、動き探索回路２０及び符号化回路３０は、バス６０を介してメモリ制御回路５０に接続されている。更に、この動画処理装置は、パイプライン処理が異常状態に陥らないように制御する破綻制御回路７０を有している。

入力回路１０は、ビデオカメラから与えられる画像信号ＶＩＮを取り込んで１フレーム単位でメモリ４０に書き込むもので、この画像信号ＶＩＮから垂直同期信号ＳＹＮを検出して出力する同期検出部１１と、破綻制御回路７０から与えられる開始信号ＳＴＡに従って画像信号ＶＩＮ中の画像データを取り込む画像データ取り込み部１２と、取り込まれた画像データを一時的に保持するバッファメモリ１３と、このバッファメモリ１３に保持された画像データをバス６０を介してメモリ４０に書き込むためのバスインタフェース（以下、「バスＩ／Ｆ」という）１４を有している。バスＩ／Ｆ１４は、バッファメモリ１３
内の１フレーム分の画像データをメモリ４０に書き込んだ時点で、終了信号ＥＮＤ１を破綻制御回路７０に出力するようになっている。

動き探索回路２０は、入力回路１０と符号化回路３０がメモリ４０に書き込んだ画像データに対して動き探索を行い、その結果をメモリ４０に出力するものである。符号化回路３０は、動き探索以外の符号化処理を行い、ＭＰＥＧ−４(Motion Picture Expert Group 4)エンコードデータを生成して再構成画像をメモリ４０に書き込むと共に、出力データＯＵＴとして出力するものである。動き探索回路２０と符号化回路３０も、破綻制御回路７０から与えられる開始信号ＳＴＡに従って処理を開始し、処理が終了した時点で、それぞれ終了信号ＥＮＤ２，ＥＮＤ３を、この破綻制御回路７０に出力するようになっている。

メモリ４０は、バンクＢＫ１，ＢＫ２，ＢＫ３の３バンク構成となっており、各バンクＢＫ１〜ＢＫ３には、１フレームの画像データの処理に必要なデータが書き込まれるようになっている。また、入力回路１０、動き探索回路２０及び符号化回路３０の各回路は、バンクＢＫ１から順番に使用し、バンクＢＫ３を使用すると再びバンクＢＫ１を使用するようになっている。

一方、破綻制御回路７０は、規定の時間内に画像データの処理が完了しないという破綻が発生したときに、開始信号ＳＴＡの出力を停止することによって、パイプライン処理が異常状態に陥ることを防止するものである。この破綻制御回路７０は、例えば、入力回路１０から与えられる垂直同期信号ＳＹＮを動作許可信号ＥＮＡでゲート制御して、開始信号ＳＴＡとして入力回路１０、動き探索回路２０及び符号化回路３０に与える論理積ゲート（以下、「ＡＮＤ」という）７１を有している。

開始信号ＳＴＡは、また、破綻制御回路７０内のセット・リセット型のフリップ・フロップ（以下、「ＦＦ」という）７２ａ，７２ｂ，７２ｃのセット端子Ｓに与えられている。ＦＦ７２ａ〜７２ｃのリセット端子Ｒには、それぞれ２入力の論理和ゲート（以下、「ＯＲ」という）７３ａ，７３ｂ，７３ｃを介して、入力回路１０、動き探索回路２０及び符号化回路３０からの終了信号ＥＮＤ１〜ＥＮＤ３が与えられている。また、ＯＲ７３ａ〜７３ｃの他方の入力側には、システム・リセット信号ＲＳＴが与えられるようになっている。ＦＦ７２ａ〜７２ｃの出力側は、３入力の否定的論理和ゲート（以下、「ＮＯＲ」という）７４に接続され、このＮＯＲ７４から動作許可信号ＥＮＡが出力されてＡＮＤ７１に与えられるようになっている。

図３は、図２の動作を示す信号波形図である。以下、この図３を参照しつつ、図２の動作を説明する。

入力回路１０には、ビデオカメラから１フレーム毎に垂直同期で区切られた画像データ＃１，＃２，＃３，…が、画像信号ＶＩＮとして一定周期で与えられる。同期検出部１１では、画像信号ＶＩＮ中の画像データ＃１，＃２，＃３，…の存在しない垂直同期期間を検出し、一定周期で垂直同期信号ＳＹＮを破綻制御回路７０に出力する。

動作開始時に与えられるシステム・リセット信号ＲＳＴにより、破綻制御回路７０中のＦＦ７２ａ〜７２ｃはすべてリセットされているので、ＮＯＲ７４から出力される動作許可信号ＥＮＡはレベル“Ｈ”である。これにより、ＡＮＤ７１から、垂直同期信号ＳＹＮと同じタイミングで開始信号ＳＴＡが出力され、入力回路１０、動き探索回路２０及び符号化回路３０に与えられる。開始信号ＳＴＡは、更にＦＦ７２ａ〜７２ｃに与えられ、これらのＦＦ７２ａ〜７２ｃはセットされて動作許可信号ＥＮＡはレベル“Ｌ”となる。

入力回路１０は、画像データ取り込み部１２によって画像データ＃１の取り込みとメモリ４０のバンクＢＫ１への書き込み等の入力処理を開始する。一方、動き探索回路２０及び符号化回路３０では、処理すべき画像データが存在しないので、直ちに終了信号ＥＮＤ２，ＥＮＤ３を出力する。これにより、ＦＦ７２ｂ，７２ｃがリセットされる。入力回路１０が、画像データ＃１をすべて取り込んでメモリ４０のバンクＢＫ１へ書き込むと、この入力回路１０は終了信号ＥＮＤ１を出力し、ＦＦ７２ａがリセットされる。これにより、動作許可信号ＥＮＡは“Ｈ”となる。

次の垂直同期信号ＳＹＮに対応する開始信号ＳＴＡにより、入力回路１０は画像データ＃２を取り込んでメモリ４０バンクＢＫ２へ書き込む入力処理を行い、動き探索回路２０はバンクＢＫ１中の画像データ＃１に対する動き探索処理を行う。一方、符号化回路３０では、処理すべき画像データが存在しないので、直ちに終了信号ＥＮＤ３を出力する。入力回路１０と動き探索回路２０は、それぞれの処理が終了した時点で終了信号ＥＮＤ１，ＥＮＤ２を出力する。

次の垂直同期信号ＳＹＮに対応する開始信号ＳＴＡにより、入力回路１０は画像データ＃３を取り込んでバンクＢＫ３へ書き込む入力処理を行い、動き探索回路２０はバンクＢＫ２中の画像データ＃２に対する動き探索処理を行う。一方、符号化回路３０は、バンクＢＫ１中の画像データ＃１の符号化処理を行い、出力データＯＵＴとして出力する。これらの入力回路１０、動き探索回路２０及び符号化回路３０は、それぞれの処理が終了した時点で終了信号ＥＮＤ１，ＥＮＤ２，ＥＮＤ３を出力する。

ここで、バス６０の競合等によって動き探索回路２０の処理が遅延し、次の垂直同期信号ＳＹＮに対応する時刻までに終了しないと、ＦＦ７２ｂはリセットされず、動作許可信号ＥＮＡは“Ｌ”のままとなる。このため、次の開始信号ＳＴＡの出力が抑止され、入力回路１０による画像データ＃４の入力処理は行われない。その後、動き探索回路２０の処理が終了した時点で終了信号ＥＮＤ２が出力され、動作許可信号ＥＮＡが“Ｈ”となる。

次の垂直同期信号ＳＹＮに対応する開始信号ＳＴＡにより、入力回路１０は画像データ＃５を取り込んでバンクＢＫ１へ書き込む入力処理を行い、動き探索回路２０はバンクＢＫ３中の画像データ＃３に対する動き探索処理を行い、符号化回路３０はバンクＢＫ２中の画像データ＃２の符号化処理を行って出力データＯＵＴを出力する。ここで、バス６０の競合等によって符号化回路３０の処理が遅延し、次の垂直同期信号ＳＹＮに対応する時刻までに終了しないと、ＦＦ７２ｃはリセットされず、動作許可信号ＥＮＡは“Ｌ”のままとなる。このため、次の開始信号ＳＴＡの出力は抑止され、入力回路１０による画像データ＃６の入力処理は行われない。その後、符号化回路３０の処理が終了した時点で終了信号ＥＮＤ３が出力され、動作許可信号ＥＮＡが“Ｈ”となる。

このように、図２の動画処理装置では、１フレームの時間内に入力回路１０、動き探索回路２０及び符号化回路３０の処理がすべて終了しているときに、次の画像データの入力処理を行わせるための動作許可信号ＥＮＡを出力する破綻制御回路７０を有しているので、規定の時間（１フレームの時間）内に画像データの処理が完了しないという破綻が発生したときに、パイプライン処理が異常状態に陥ることを防止できる。

特開２００２−２４５０２２号公報

しかしながら、前記動画処理装置では、入力回路１０、動き探索回路２０及び符号化回路３０の内で、処理の終了していないものが１つでも存在すれば、次の画像データの取り込み処理を抑止するようにしているので、取り込まれずに間引かれてしまう画像データの頻度が多くなり、出力データＯＵＴとして出力される動画像の品質が劣化するおそれがあった。

本発明は、間引かれてしまう画像データを減少させることにより、出力される動画像の品質劣化を低減することを目的としている。

本発明の動画処理装置は、次のような入力回路と、動き探索回路と、符号化回路と、破綻制御回路を備えたことを特徴としている。

入力回路は、同期信号に従って一定の周期で与えられる画像データを一時的に保持するバッファメモリ、許可信号が与えられているときに前記同期信号に従って前記画像データの取り込みを開始し、取り込んだ１画面分の画像データを前記バッファメモリに格納した時点で有効信号を出力する画像データ取り込み部、及び前記バッファメモリに保持された１画面分の画像データを３個以上の領域を有するメモリ回路の１つの領域に共通バスを介して格納し、その格納が終了したときに第１の終了信号を出力するバスＩ／Ｆを有している。

動き探索回路は、前記共通バスを介して前記メモリ回路に接続され、前記第１の終了信号が与えられたときに該メモリ回路の１つの領域に格納された最新の画像データと他の領域に格納されたそれ以前の画像データに基づいて画像の動きを探索し、動きデータを生成して該最新の画像データと同じ領域に格納すると共に、その格納が終了したときに第２の終了信号を出力するものである。

符号化回路は、前記共通バスを介して前記メモリ回路に接続され、前記第２の終了信号が与えられたときに該メモリ回路の１つの領域に格納された最新の画像データと動きデータを圧縮符号化して出力信号を外部に出力し、外部への出力が終了したときに第３の終了信号を出力するものである。

破綻制御回路は、前記有効信号でカウントアップし、前記第３の終了信号でカウントダウンすることによって前記メモリ回路で使用中の領域の数をカウントするカウンタ、及び前記カウンタのカウント値が前記メモリ回路の領域の数未満のときは前記許可信号を出力し、該カウント値が該領域の数に達したときは該許可信号の出力を停止する許可信号出力部を有している。

本発明では、入力回路において、同期信号に従って一定の周期で与えられる画像データを一時的に保持するバッファメモリに１画面分の画像データが取り込まれたときに画像データ取り込み部から出力される有効信号でカウントアップされ、符号化回路から圧縮符号化された出力信号の外部への出力が終了したときに出力される第３の終了信号によってカウントダウンされるカウンタを使用して、そのカウント値がメモリ回路の領域の数未満のときは許可信号を出力し、カウント値が領域の数に達したときは許可信号の出力を停止するようにしている。これにより、メモリ回路のすべての領域が使用中になった場合に限り、許可信号の出力が停止され画像データの取り込みが抑制されるので、従来の動画処理装置に比べて取り込みが抑制される画像データの数が減少し、多くの画像データの処理が可能となる。従って、品質劣化が少ない動画像の出力信号が得られるという効果がある。

この発明の前記並びにその他の目的と新規な特徴は、次の好ましい実施例の説明を添付図面と照らし合わせて読むと、より完全に明らかになるであろう。但し、図面は、もっぱら解説のためのものであって、この発明の範囲を限定するものではない。

図１は、本発明の実施例１を示す動画処理装置の構成図であり、図２中の要素と共通の要素には共通の符号が付されている。

この動画処理装置は、図示しないビデオカメラ等から与えられる画像信号ＶＩＮをリアルタイムで処理して符号化するもので、入力回路１０Ａ、動き探索回路２０及び符号化回路３０によるパイプライン処理回路と、パイプライン処理における処理途中のデータの受け渡し用バッファとして用いられるメモリ４０及びメモリ制御回路５０を有している。これらの入力回路１０Ａ、動き探索回路２０及び符号化回路３０は、それぞれバス６０を介してメモリ制御回路５０に接続されている。更に、この動画処理装置は、パイプライン処理が異常状態に陥らないように制御する破綻制御回路７０Ａを有している。

入力回路１０Ａは、画像信号ＶＩＮから画像データを取り込み、１フレーム単位でメモリ４０に書き込むもので、この画像信号ＶＩＮから垂直同期信号ＳＹＮを検出して出力する同期検出部１１と、この垂直同期信号ＳＹＮに基づいて生成される開始信号ＳＴＡに従って画像信号ＶＩＮから画像データを取り込む画像データ取り込み部１２Ａと、取り込んだ画像データを一時的に保持するバッファメモリ１３と、このバッファメモリ１３に保持された画像データをバス６０を介してメモリ４０に書き込むためのバスＩ／Ｆ１４を有している。

更にこの入力回路１０Ａは、一方の入力端子に垂直同期信号ＳＹＮが与えられ、他方の入力端子には、破綻制御回路７０Ａからの許可信号としてのビジー信号ＢＳＹがインバータ１６で反転して与えられる２入力のＡＮＤ１５を有している。ＡＮＤ１５の出力端子から開始信号ＳＴＡが出力され、画像データ取り込み部１２Ａに与えられるようになっている。

なお、画像データ取り込み部１２Ａは、バッファメモリ１３への画像データの取り込み回数をカウントし、１画面分の画像サイズに応じた必要な取り込み回数が終了したときに有効信号ＶＡＬを破綻制御回路７０Ａに出力するようになっている。また、バスＩ／Ｆ１４は、バス６０を介したメモリ４０への画像データの転送回数をカウントし、１画面分の画像サイズに応じた必要な転送回数が終了したときに、第１の終了信号ＥＮＤ１を動き探索回路２０に対する起動信号として出力するようになっている。

動き探索回路２０は、入力回路１０Ａと符号化回路３０がメモリ４０に出力した画像データに対して動き探索を行い、その結果をメモリ４０に出力するものである。この動き探索回路２０は、入力回路１０Ａから与えられる終了信号ＥＮＤ１を起動信号として処理を開始し、処理が終了した時点で第２の終了信号ＥＮＤ２を符号化回路３０に対する起動信号として出力するようになっている。

符号化回路３０は、例えば離散コサイン変換、量子化、可変長符号化、逆離散コサイン変換、逆量子化、動き補償等の、動き探索以外の符号化処理を行い、ＭＰＥＧ−４エンコードデータを生成して再構成画像をメモリ４０へ出力すると共に、外部へ出力データＯＵＴとして出力するものである。この符号化回路３０は、動き探索回路２０から与えられる終了信号ＥＮＤ２を起動信号として処理を開始し、処理が終了した時点で、第３の終了信号ＥＮＤ３を破綻制御回路７０Ａに出力するようになっている。

メモリ４０は、バンクＢＫ１，ＢＫ２，ＢＫ３の３領域を有し、各バンクＢＫ１〜ＢＫ３には、１フレーム分の画像データの処理に必要なデータが書き込まれるようになっている。また、入力回路１０Ａ、動き探索回路２０及び符号化回路３０の各回路は、バンクＢＫ１から順番に使用し、バンクＢＫ３を使用すると再びバンクＢＫ１を使用するようになっている。

破綻制御回路７０Ａは、メモリ４０のバンクＢＫ１〜ＢＫ３がすべて使用中の状態となって新たなフレームの画像データを書き込むことができなくなったときに、ビジー信号ＢＳＹを出力することによりパイプライン処理が異常状態に陥ることを防止するものである。この破綻制御回路７０Ａは、入力回路１０Ａから与えられる有効信号ＶＡＬでカウント値ＣＮＴが１だけカウントアップし、符号化回路３０から与えられる終了信号ＥＮＤ３でこのカウント値ＣＮＴが１だけカウントダウンするカウンタ７５と、このカウンタ７５のカウント値ＣＮＴが３のときにビジー信号ＢＳＹを出力する許可信号出力部としてのビジー検出部７６を有している。なお、カウンタ７５は、システム・リセット信号ＲＳＴによってカウント値ＣＮＴが０にリセットされるようになっている。

図４は、図１の動作を示す信号波形図である。以下、この図４を参照しつつ、図１の動作を説明する。
（１）ビデオカメラ等から１フレーム毎に有効データであることを示すために、画像データ＃１，＃２，＃３，…に先行して、画像データが存在しない垂直同期期間を有する画像信号ＶＩＮが与えられる。また、動作開始時に与えられるシステム・リセット信号ＲＳＴにより、破綻制御回路７０Ａ中のカウンタ７５がリセットされ、カウント値ＣＮＴは０となる。これにより、ビジー検出部７６から出力されるビジー信号ＢＳＹは“Ｌ”となる。

（２）入力回路１０Ａの同期検出部１１は、画像信号ＶＩＮから垂直同期期間を検出して垂直同期信号ＳＹＮをＡＮＤ１５に出力する。このとき、ビジー信号ＢＳＹは“Ｌ”となっているので、ＡＮＤ１５から画像データ取り込み部１２Ａに開始信号ＳＴＡが与えられる。画像データ取り込み部１２Ａは、設定された画像データ量に応じた時間から画像データ＃１の取り込みを開始し、取り込んだ画像データ＃１をバッファメモリ１３に順次格納する。一方、バスＩ／Ｆ１４は、バッファメモリ１３に格納された画像データ＃１を順次メモリ４０のバンクＢＫ１に書き込む。画像データ取り込み部１２Ａは、バッファメモリ１３に格納した画像データ＃１が１画面分に相当する必要な量に達すると、パルス状の有効信号ＶＡＬを出力する。また、バスＩ／Ｆ１４は、バッファメモリ１３に格納された画像データ＃１をすべてバンクＢＫ１に書き込むと、パルス状の終了信号ＥＮＤ１を動き探索回路２０に出力する。

（３）破綻制御回路７０Ａ中のカウンタ７５のカウント値ＣＮＴは、入力回路１０Ａから与えられる有効信号ＶＡＬによって増加されて１となる。即ち、メモリ４０の１バンクが使用中であることを示している。

（４）動き探索回路２０は、入力回路１０Ａから与えられる終了信号ＥＮＤ１によって起動され、動き探索処理を開始する。動き探索処理では、メモリ４０のバンクＢＫ１に格納された画像データ＃１と、バンクＢＫ２，ＢＫ３に格納された以前の画像データが必要に応じて読み出されて動き情報が抽出され、その抽出された処理結果がバンクＢＫ１に書き込まれる。画像データ＃１の処理が終了した時点で、動き探索回路２０は、パルス状の終了信号ＥＮＤ２を符号化回路３０に出力する。

（５）符号化回路３０は、動き探索回路２０から与えられる終了信号ＥＮＤ２によって起動され、符号化処理を開始する。符号化処理では、メモリ４０のバンクＢＫ１に格納された画像データ＃１と動き探索処理の結果が読み出され、ＭＰＥＧ−４エンコードデータが生成されて再構成画像がメモリ４０に格納される共に、外部へ出力データＯＵＴとして出力される。画像データ＃１の符号化処理が終了した時点で、符号化回路４０は、パルス状の終了信号ＥＮＤ３を破綻制御回路７０Ａに出力する。

（６）破綻制御回路７０Ａ中のカウンタ７５のカウント値ＣＮＴは、符号化回路４０から与えられる終了信号ＥＮＤ３によって１だけ減少する。即ち、メモリ４０の使用中のバンクが１つだけ解放されたことを示している。

以上の（１）〜（６）では、画像信号ＶＩＮとして与えられる最初の画像データ＃１に着目して、パイプライン処理回路を構成する各回路の動作を説明したが、入力回路１０Ａ、動き探索回路２０及び符号化回路３０により、２番目の画像データ＃２以降の画像データに対して同様の処理が連続的に並行して進められる。

（７）破綻制御回路７０Ａ中のカウンタ７５のカウント値ＣＮＴは、入力回路１０Ａから与えられる有効信号ＶＡＬによって１だけ増加され、符号化回路３０から与えられる終了信号ＥＮＤ３によって１だけ減少する。即ち、カウンタ７５のカウント値ＣＮＴは、メモリ４０の使用中のバンク数を示している。従って、カウント値ＣＮＴが３である場合は、メモリ４０のバンクがすべて使用されており、新たなフレームの画像データを書き込むためのバンクが存在しないことを意味している。このため、図４中の時刻Ｔ１に示すように、有効信号ＶＡＬで、カウント値ＣＮＴが３になると、ビジー検出部７６から出力されるビジー信号ＢＳＹが“Ｈ”となる。

(８) 入力回路１０Ａでは、与えられるビジー信号ＢＳＹが“Ｈ”になると、時刻Ｔ２に示すように、ＡＮＤ１５によって垂直同期信号ＳＹＮがマスクされ、画像データ取り込み部１２Ａに対する開始信号ＳＴＡは停止される。これにより、画像データ＃５の取り込みは抑制される。従って、この画像データ＃５に対応する有効信号ＶＡＬも出力されないので、カウント値ＣＮＴが３を超えることはない。

（９）時刻Ｔ３において、符号化回路３０から終了信号ＥＮＤ３が出力されると、カウンタ７５のカウント値ＣＮＴは２となり、ビジー信号ＢＳＹは“Ｌ”となる。これにより、時刻Ｔ４において、入力回路１０Ａの同期検出部１１が垂直同期期間を検出して垂直同期信号ＳＹＮを出力すると、この垂直同期信号ＳＹＮは、ＡＮＤ１５から画像データ取り込み部１２Ａに開始信号ＳＴＡとして与えられ、画像データ取り込み部１２Ａによる画像データの取り込み処理が再開される。

以上のように、この実施例１の動画処理装置では、画像データ取り込み部１２Ａが、バッファメモリ１３への画像データの取り込みが完了した時点で出力される有効信号ＶＡＬのタイミングでビジー信号ＢＳＹを生成すると共に、メモリ４０に対する上書きという破綻が発生するか否かを判定するタイミングを画像データの取り込み開始時点、即ち垂直同期信号ＳＹＮのタイミングとしている。

入力回路１０Ａで画像データを取り込むか否かを判定する場合、メモリ４０へ画像データの書き込みが完了した時点で発生する終了信号ＥＮＤ１を用いると、バス６０の競合によって入力回路１０Ａからメモリ４０への書き込みが待たされ、この入力回路１０Ａにおいて次フレームの垂直同期信号ＳＹＮが検出された後に、終了信号ＥＮＤ１が発生することがある。そのため、破綻制御回路７０が終了信号ＥＮＤ１で画像データの取り込みの可否を判断すると、ビジー信号ＢＳＹの出力が垂直同期信号ＳＹＮよりも遅れてしまい、入力回路１０Ａで次フレームの取り込みを抑制することができない。従って、符号化回路３０で処理中のバンクに対して、次のフレームの画像データを上書きしてしまうという問題が発生する。

これに対し、この実施例１では、次フレームの垂直同期信号ＳＹＮよりも必ず早く発生する有効信号ＶＡＬでメモリ４０のバンク使用状況を管理し、すべてのバンクＢＫ１〜ＢＫ３が使用中の場合はビジー信号ＢＳＹを出力するようにしているので、次フレームの画像データを確実に抑制することができる。

更に、図３と図４を比較すると明らかなように、従来の動画処理装置では画像データ＃１に対して動き探索処理と符号化処理で２回の破綻処理が行われたため、画像データ＃１から画像データ＃７までの間に、２つの画像データ＃４，＃６の取り込みが抑制されている。これに対し、この実施例１の動画処理装置では、１つの画像データ＃５の取り込みが抑制されただけであり、多くの画像データの処理が可能となっている。

この実施例１の動画処理装置によれば、破綻条件の判定をメモリ４０のバンクＢＫ１〜ＢＫ３の使用状況で行うようにしている。即ち、入力回路１０Ａの有効信号ＶＡＬと符号化回路３０の終了信号ＥＮＤ３をカウンタ７５でカウントすることで、バンクＢＫ１〜ＢＫ３の使用状況を判定し、ビジー信号ＢＳＹにより入力回路１０Ａでの画像データ取り込みを制御している。これにより、動き探索処理と符号化処理に要する時間が従来と同じであっても、破綻の発生を抑えて、処理を行わない時間を短縮し、処理可能な画像データの量を増やすことができるので、動画像の品質劣化を低減することができるという利点がある。

図５は、本発明の実施例２を示す動画処理装置の構成図であり、図１中の要素と共通の要素には共通の符号が付されている。

この動画処理装置は、図１中の入力回路１０Ａに代えて若干構成の異なる入力回路１０Ｂを設けたものである。即ち、この入力回路１０Ｂは、画像信号ＶＩＮから画像データを取り込み、１フレーム単位でメモリ４０に書き込むもので、この画像信号ＶＩＮから垂直同期信号ＳＹＮを検出して出力する同期検出部１１と、この垂直同期信号ＳＹＮに従って画像信号ＶＩＮから画像データを取り込む画像データ取り込み部１２Ｂと、取り込んだ画像データを一時的に保持するバッファメモリ１３Ａと、このバッファメモリ１３Ａに保持された画像データをバス６０を介してメモリ４０に書き込むためのバスＩ／Ｆ１４を有している。

更に、この入力回路１０Ｂは、一方の入力端子にバスＩ／Ｆ１４からのバス権要求信号ＲＱが与えられ、他方の入力端子には、破綻制御回路７０Ａからのビジー信号ＢＳＹがインバータ１６で反転して与えられる２入力のＡＮＤ１７を有している。そして、ＡＮＤ１７の出力端子から反転されたビジー信号ＢＳＹでマスクされたバス権要求信号ＢＲＱがバス６０に出力されるようになっている。

また、バッファメモリ１３Ａは、メモリ４０への出力が遅延してオーバーフローしたときに、画像データ読み取り部１２Ｂへオーバーフロー信号ＯＶＦを出力するようにしている。一方、画像データ読み取り部１２Ｂは、オーバーフロー信号ＯＶＦが与えられたときに、次のフレームの垂直同期信号ＳＹＮが与えられるまで、画像データの取り込み処理を停止するようになっている。更に、バスＩ／Ｆ１４から出力される終了信号ＥＮＤ１は、動き探索回路２０に対する起動信号として与えられると共に、破綻制御回路７０Ａのカウンタ７５にカウントアップ用の信号として与えられている。その他の構成は、図１と同様である。

図６は、図５の動作を示す信号波形図である。以下、この図６を参照しつつ、図５の動作を説明する。
（１）動作開始時に与えられるシステム・リセット信号ＲＳＴにより、破綻制御回路７０Ａ中のカウンタ７５がリセットされ、カウント値ＣＮＴは０となる。これにより、ビジー検出部７６から出力されるビジー信号ＢＳＹは“Ｌ”となる。

（２）入力回路１０Ａの同期検出部１１は、ビデオカメラ等から与えられる画像信号ＶＩＮから垂直同期期間を検出して垂直同期信号ＳＹＮを画像データ取り込み部１２Ｂに出力する。このとき、バッファメモリ１３Ａはオーバーフローしていないので、オーバーフロー信号ＯＶＦは出力されていない。これにより、画像データ取り込み部１２Ｂは、設定された画像データ量に応じた時間から画像データ＃１の取り込みを開始し、取り込んだ画像データ＃１をバッファメモリ１３Ａに順次格納する。一方、バスＩ／Ｆ１４は、バッファメモリ１３Ａに格納された画像データ＃１を順次メモリ４０のバンクＢＫ１に書き込む。このとき、ビジー信号ＢＳＹは“Ｌ”であるので、ＡＮＤ１７は開いており、バスＩ／Ｆ１４から出力されるバス権要求信号ＲＱは、そのままバス権要求信号ＢＲＱとしてバス６０に出力される。バスＩ／Ｆ１４は、バッファメモリ１３Ａに格納された画像データ＃１をすべてバンクＢＫ１に書き込むと、パルス状の終了信号ＥＮＤ１を動き探索回路２０と破綻制御回路７０Ａに出力する。

（３）破綻制御回路７０Ａ中のカウンタ７５のカウント値ＣＮＴは、入力回路１０Ａから与えられる終了信号ＥＮＤ１によって増加されて１となる。即ち、メモリ４０の１バンクが使用中であることを示している。

（５）符号化回路３０は、動き探索回路２０から与えられる終了信号ＥＮＤ２によって起動され、符号化処理を開始する。符号化処理では、メモリ４０のバンクＢＫ１に格納された画像データ＃１と動き探索処理の結果が読み出され、ＭＰＥＧ−４エンコードデータが生成されて再構成画像がメモリ４０に格納される共に、外部へ出力データＯＵＴとして出力される。画像データ＃１の符号化処理が終了した時点で、符号化回路３０は、パルス状の終了信号ＥＮＤ３を破綻制御回路７０Ａに出力する。

（６）破綻制御回路７０Ａ中のカウンタ７５のカウント値ＣＮＴは、符号化回路３０から与えられる終了信号ＥＮＤ３によって１だけ減少する。即ち、メモリ４０の使用中のバンクが１つだけ解放されたことを示している。

以上の（１）〜（６）では、画像信号ＶＩＮとして与えられる最初の画像データ＃１に着目して、パイプライン処理回路を構成する各回路の動作を説明したが、入力回路１０Ｂ、動き探索回路２０及び符号化回路３０により、２番目の画像データ＃２以降の画像データに対して同様の処理が連続的に並行して進められる。

（７）破綻制御回路７０Ａ中のカウンタ７５のカウント値ＣＮＴは、入力回路１０Ａから与えられる終了信号ＥＮＤ１によって１だけ増加され、符号化回路３０から与えられる終了信号ＥＮＤ３によって１だけ減少する。即ち、カウンタ７５のカウント値ＣＮＴは、メモリ４０の使用中のバンク数を示している。従って、カウント値ＣＮＴが３である場合は、メモリ４０のバンクＢＫ１〜ＢＫ３がすべて使用されており、新たなフレームの画像データを書き込むためのバンクＢＫ１〜ＢＫ３が存在しないことを意味している。このため、図６中の時刻ｔ１に示すように、終了信号ＥＮＤ１で、カウント値ＣＮＴが３になると、ビジー検出部７６から出力されるビジー信号ＢＳＹが“Ｈ”となる。

(８) 入力回路１０Ｂでは、与えられるビジー信号ＢＳＹが“Ｈ”になると、ＡＮＤ１７によってバス権要求信号ＲＱがマスクされ、バッファメモリ１３Ａからメモリ４０への画像データの書き込みが停止される。このため、バッファメモリ１３Ａ中の画像データが急激に増加し、時刻ｔ２に示すように、このバッファメモリ１３Ａから出力されるオーバーフロー信号ＯＶＦが“Ｈ”となる。これにより、画像データ取り込み部１２ＢとバスＩ／Ｆ１４のバッファメモリアクセスは先頭アドレスに戻り、バスＩ／Ｆ１４のメモリ４０への書き込みアドレスは、バンクＢＫ１〜ＢＫ３の先頭アドレスに戻る。そして、画像データ取り込み部１２Ｂは、次の垂直同期信号ＳＹＮが検出されるまで、処理を停止する。従って、画像データ＃５の取り込みは抑制される。

（９）時刻ｔ３において、符号化回路３０から終了信号ＥＮＤ３が出力されると、カウンタ７５のカウント値ＣＮＴは２となり、ビジー信号ＢＳＹは“Ｌ”となる。これにより、ＡＮＤ１７が開く。これにより、次の垂直同期信号ＳＹＮが検出されると、画像データ取り込み部１２Ｂによる次の画像データの取り込み処理が再開される。

図７は、実施例１(図１)と実施例２(図５)の動作の比較説明を行うための信号波形図である。

実施例１では、バッファメモリ１３に１フレーム分の画像データが取り込まれた時点、即ち、有効信号ＶＡＬが出力された時点でメモリ４０の１バンクが使用されたと見なしてカウンタ７５をカウントアップしている。一方、実施例２では、バッファメモリ１３Ａ内の画像データをすべてメモリ４０に書き込んだ時点、即ち、終了信号ＥＮＤ１が出力された時点でメモリ４０の１バンクが使用されたと見なしてカウンタ７５をカウントアップしている。従って、ビジー信号ＢＳＹが出力されるタイミングは、実施例２の方が遅くなる。更に、ビジー信号ＢＳＹが出力された場合、実施例１では、このビジー信号ＢＳＹが出力されている期間の画像データ取り込み部１２Ａに対する開始信号ＳＴＡが抑制されるが、実施例２では、バッファメモリ１３Ａがオーバーフローした時点で画像データ取り込み部１２Ｂの動作が停止される。これにより、実施例２では、実施例１に比べて処理可能な画像データの量を増やすことができるので、更に動画像の品質劣化を低減することができるという利点がある。

なお、本発明は、上記実施例に限定されず、種々の変形が可能である。この変形例としては、例えば、次のようなものがある。
（ａ）符号化回路３０における符号化方式は、ＭＰＥＧ−４に限定されない。
（ｂ）パイプライン処理によって並行処理する回路の数は、入力回路１０Ａ，１０Ｂ、動き探索回路２０及び符号化回路３０の３回路に限定されない。
（ｃ）メモリ４０のバンク数は３に限定されず、パイプライン処理によって並行処理する回路の数以上であれば良い。その場合、破綻制御回路７０Ａのビジー検出部７６では、カウンタ７５のカウント値ＣＮＴがメモリ４０のバンク数に達したときにビジー信号ＢＳＹを出力するように構成する必要がある。
（ｄ）入力回路１０Ａ，１０Ｂ、及び破綻制御回路７０Ａの構成は、例示したものに限定されず、同様の機能を有するものであれば良い。例えば、同期検出部１１は、ビデオカメラから画像信号ＶＩＮとは別に垂直同期信号ＳＹＮが与えられるような場合、同期検出部１１は不要である。更に、破綻制御回路７０Ａでは、入力回路１０Ａ，１０Ｂに対して取り込みを停止させるためのビジー信号ＢＳＹを出力するように構成しているが、従来の破綻制御回路７０と同様に、ビジー信号ＢＳＹを反転した動作許可信号ＥＮＡを出力するようにしても良い。

本発明の実施例１を示す動画処理装置の構成図である。従来の動画処理装置の構成図である。図２の動作を示す信号波形図である。図１の動作を示す信号波形図である。本発明の実施例２を示す動画処理装置の構成図である。図５の動作を示す信号波形図である。実施例１と実施例２の動作の比較説明を行うための信号波形図である。

符号の説明

１０Ａ，１０Ｂ入力回路
１１同期検出部
１２Ａ，１２Ｂ画像データ取り込み部
１３，１３Ａバッファメモリ
１４バスＩ／Ｆ
１７ＡＮＤ
２０動き探索回路
３０符号化回路
４０メモリ
７０Ａ破綻制御回路
７５カウンタ
７６ビジー検出部

Claims

同期信号に従って一定の周期で与えられる画像データを一時的に保持するバッファメモリ、許可信号が与えられているときに前記同期信号に従って前記画像データの取り込みを開始し、取り込んだ１画面分の画像データを前記バッファメモリに格納した時点で有効信号を出力する画像データ取り込み部、及び前記バッファメモリに保持された１画面分の画像データを３個以上の領域を有するメモリ回路の１つの領域に共通バスを介して格納し、その格納が終了したときに第１の終了信号を出力するバスインタフェースを有する入力回路と、
前記共通バスを介して前記メモリ回路に接続され、前記第１の終了信号が与えられたときに該メモリ回路の１つの領域に格納された最新の画像データと他の領域に格納されたそれ以前の画像データに基づいて画像の動きを探索し、動きデータを生成して該最新の画像データと同じ領域に格納すると共に、その格納が終了したときに第２の終了信号を出力する動き探索回路と、
前記共通バスを介して前記メモリ回路に接続され、前記第２の終了信号が与えられたときに該メモリ回路の１つの領域に格納された最新の画像データと動きデータを圧縮符号化して出力信号を外部に出力し、外部への出力が終了したときに第３の終了信号を出力する符号化回路と、
前記有効信号でカウントアップし、前記第３の終了信号でカウントダウンすることによって前記メモリ回路で使用中の領域の数をカウントするカウンタ、及び前記カウンタのカウント値が前記メモリ回路の領域の数未満のときは前記許可信号を出力し、該カウント値が該領域の数に達したときは該許可信号の出力を停止する許可信号出力部を有する破綻制御回路と、
を備えたことを特徴とする動画処理装置。
一定の周期で同期信号に従って与えられる画像データを一時的に保持すると共に一定量以上の画像データが蓄積されたときにオーバーフロー信号を出力するバッファメモリ、前記オーバーフロー信号が出力されていない間は前記同期信号に従って前記画像データの取り込みを開始して取り込んだ画像データを前記バッファメモリに格納し、該オーバーフロー信号が出力されたときには、次の同期信号が与えられるまで該画像データの取り込みを停止する画像データ取り込み部、及び許可信号が与えられているときに前記バッファメモリに保持された画像データを３個以上の領域を有するメモリ回路の１つの領域に共通バスを介して格納し、その格納が終了したときに第１の終了信号を出力するバスインタフェースを有する入力回路と、
前記共通バスを介して前記メモリ回路に接続され、前記第１の終了信号が与えられたときに該メモリ回路の１つの領域に格納された最新の画像データと他の領域に格納されたそれ以前の画像データに基づいて画像の動きを探索し、動きデータを生成して該最新の画像データと同じ領域に格納すると共に、その格納が終了したときに第２の終了信号を出力する動き探索回路と、
前記共通バスを介して前記メモリ回路に接続され、前記第２の終了信号が与えられたときに該メモリ回路の１つの領域に格納された最新の画像データと動きデータを圧縮符号化して出力信号を外部に出力し、外部への出力が終了したときに第３の終了信号を出力する符号化回路と、
前記第１の終了信号でカウントアップし、前記第３の終了信号でカウントダウンすることによって前記メモリ回路で使用中の領域の数をカウントするカウンタ、及び前記カウンタのカウント値が前記メモリ回路の領域の数未満のときは前記許可信号を出力し、該カウント値が該領域の数に達したときは該許可信号の出力を停止する許可信号出力部を有する破綻制御回路と、
を備えたことを特徴とする動画処理装置。