JP3606306B2 - 画像符号化装置、画像復号化装置及び画像伝送システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像符号化装置、画像復号化装置及び画像伝送システムに関し、例えば、ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ − Ｔｅｌｅｃｏｎｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ ）勧告Ｈ．２６３やＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）国際標準ＭＰＥＧ−２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ｐｈａｓｅ − ２）で符号化された動画像を伝送するシステムに適用して好適なものである。
【０００２】
【従来の技術】
近年、テレビ電話システム、テレビ会議システムまたは、ビデオオンデマンド（ＶＯＤ：Ｖｉｄｅｏ Ｏｎ Ｄｅｍｍａｎｄ）システムといった、ネットワークを介して動画像信号を伝送するシステムが普及しつつあり、これに伴い、動画像符号化方法の国際標準化作業も進められている。
【０００３】
動画像符号化方法には、フレーム内の空間的な相関性を利用して圧縮するフレーム内符号化と、前後のフレームの時間的な相関性を利用して圧縮するフレーム間符号化があり、両方を併用するものと、フレーム内符号化のみを使用するものの２種類に分類することができる。
【０００４】
両方を併用する方式として代表的なものは、ＩＴＵ−Ｔ勧告Ｈ．２６３やＩＳＯ国際標準ＭＰＥＧ−２などであり、リアルタイム動画像通信や蓄積などに利用されている。図２は時間順にフレームを並べて符号化の様子を表したものである。Ｈ．２６３では、図２のように定期的にフレーム内符号化（Ｉフレーム１及び１０）を行い、その間でフレーム間符号化（Ｐフレーム２〜９、１１、及び１２）を行う。フレーム間符号化では、図２のように直前のフレームを参照画像として予測復号化を行う。
【０００５】
一方、フレーム内符号化のみを利用するものとしては、ＩＳＯ国際標準ＪＰＥＧ（Joint Photographic Coding Group）などの静止画像符号化方式を連続利用したＪＰＥＧムービーなどがあり、図３のように、全フレームに対してフレーム内符号化を行う。
【０００６】
【発明が解決しようとする課題】
フレーム間符号化を利用した符号化方式では、前フレームを参照して符号化するため、全フレームが正しく伝送される必要がある。しかし、無線通信では伝送中にデータのビットが反転するような伝送エラーが多く発生するため、正しく復号できないことがある。また、ＬＡＮやＡＴＭでは小さなデータ単位（パケットやセル）に分割してデータを伝送するが、パケットの衝突や中継器のバッファのオーバーフローなどにより、パケットが伝送中に欠落するため、復号できないフレームが発生する。
【０００７】
図４に伝送エラーによる復号誤りの様子を示す。伝送エラーが発生したフレーム６は正しく復号できないため、画像が大きく劣化する。さらに、その後のフレーム７〜９は、正しく伝送できたにも関わらず、参照画像が劣化しているため正しく復号できず、画像劣化が続いてしまう。これをエラー伝播という。エラー伝播は、フレーム内符号化１０を行うまで伝播し続ける。
【０００８】
一般的に、伝送エラーやパケット欠落による画像劣化を回避するためには、エラーや欠落の発生したデータ単位を再送する方法があるが、再送処理は遅延が大きいためリアルタイム伝送には不適当である。冗長ビットを付加して誤り訂正を行う方法もあるが、冗長ビット分だけ伝送容量が減少してしまうため、全体的な画質低下につながる。また、誤り率が高い場合やビットが連続してエラーするバーストエラー、パケット欠落には対応できないという欠点もある。
【０００９】
エラー伝播を完全に回避するためには、ＪＰＥＧムービーのようにフレーム間符号化を使わないことが考えられるが、時間的冗長度を取り除いていないため、符号化効率が低く、画質も低くなる。そこで、フレーム間符号化を併用しながら、定期的にフレーム内符号化を挿入するサイクリックイントラリフレッシュや、エラーが発生したときに復号器からの通知により、適宣フレーム内符号化を行うデマンドイントラリフレッシュが一般的に採用されているが、フレーム内符号化を使用するため、その分エラーの発生しないときでも画質低下が伴う。
【００１０】
以上のことから、エラーが発生しない時の符号化効率の低下が少なく、エラーが発生した時でも、フレーム内符号化を使用することなく、フレーム間符号化の継続使用が可能であり、かつ、エラー伝播のない画像符号化装置、画像復号化装置及び画像伝送システムが要望されている。
【００１１】
【課題を解決するための手段】
かかる課題を解決するため、第１の本発明は、過去画像を参照して入力画像を予測符号化した符号データと、この符号データの画像及び領域を示す画像領域情報とを画像復号化装置へ送信する画像符号化装置であって、対向する画像復号化装置が、復号異常を検出し、検出した復号異常の画像及び領域を示す符号異常画像領域情報を当該画像符号化装置へ通知する復号異常検出通知手段と、前記復号異常検出通知手段が復号異常を検出した領域部分を参照画像として用いる場合に、その復号異常を検出した画像及び又はそれ以降の受信画像を、画像符号化装置と画像復号化装置との間で予め定められた所定規則に従って修正して参照画像にする参照画像修正手段とを備えるものである、画像符号号化装置において、（１）現時点までに符号化した時刻が異なる複数の過去画像を記憶する過去画像記憶手段と、（２）前記画像復号化装置から、復号異常があった画像及び領域を示す復号異常画像領域情報が通知された場合に、この復号異常画像領域情報から、前記過去画像記憶手段に記憶された、少なくとも符号化しようとする直前の過去画像を修正する過去画像修正手段と、
前記画像復号化装置から、復号異常があった画像及び領域を示す復号異常画像領域情報が通知された場合に、当該画像符号化装置と前記画像復号化装置との間で予め定められた所定規則に従って前記過去画像修正手段で修正された過去画像に、入力画像の予測符号化で参照する過去画像を切り替える参照画像切替手段とを備え、前記過去画像修正手段が、前記画像復号化装置から復号異常画像領域情報が通知された場合に、この復号異常画像領域情報が示す前記過去画像記憶手段に記憶された過去画像の領域部分を修正し、さらに、この修正した過去画像に基づいて予測符号化した過去画像があればその過去画像を修正し、この修正を繰り返し行って符号化しようとする直前までの過去画像を修正することを特徴とする。
【００１２】
また、第２の本発明は、予測符号化されてなる符号データと、この符号データの画像及び領域を示す画像領域情報とを伝送路を介して画像符号化装置から受信し、この受信した符号データ及び画像領域情報から過去画像を参照して画像データに復号化する画像復号化装置であって、前記画像符号化装置が、現時点までに符号化した時刻が異なる複数の過去画像を記憶する過去画像記憶手段と、当該画像復号化装置から、復号異常があった画像及び領域を示す復号異常画像領域情報が通知された場合に、この復号異常画像領域情報から、前記過去画像記憶手段に記憶された、少なくとも符号化しようとする直前の過去画像を修正する過去画像修正手段と、当該画像復号化装置から、復号異常があった画像及び領域を示す復号異常画像領域情報が通知された場合に、画像符号化装置と画像復号化装置との間で予め定められた所定規則に従って前記過去画像修正手段で修正された過去画像に、入力画像の予測符号化で参照する過去画像を切り替える参照画像切替手段とを備え、前記過去画像修正手段が、当該画像復号化装置から復号異常画像領域情報が通知された場合に、この復号異常画像領域情報が示す前記過去画像記憶手段に記憶された過去画像の領域部分を修正し、さらに、この修正した過去画像に基づいて予測符号化した過去画像があればその過去画像を修正し、この修正を繰り返し行って符号化しようとする直前までの過去画像を修正するものである、画像復号化装置において、（１）復号異常を検出し、検出した復号異常の画像及び領域を示す符号異常画像領域情報を前記画像符号化装置へ通知する復号異常検出通知手段と、（２）前記復号異常検出通知手段が復号異常を検出した領域部分を参照画像として用いる場合に、その復号異常を検出した画像及び又はそれ以降の受信画像を、前記画像符号化装置と当該画像復号化装置との間で予め定められた所定規則に従って修正して参照画像にする参照画像修正手段とを備え、前記参照画像修正手段が、前記画像符号化装置の前記過去画像修正手段が符号化しようとする直前までの過去画像を修正して得られた修正画像と、その修正画像を参照して予測符号化した符号データの受信時における自己の参照画像とが一致するように、復号異常を検出した画像及び又はそれ以降の受信画像を修正することを特徴とする。
【００１３】
さらに、第３の本発明の画像伝送システムは、第１の本発明の画像符号化装置と、第２の本発明の画像復号化装置とを備えることを特徴とする。
【００１４】
【発明の実施の形態】
（Ａ） 第１の実施形態
以下、本発明による画像符号化装置、画像復号化装置及び画像伝送システムを適用した第１の実施形態について、図面を参照しながら詳述する。
【００１５】
（Ａ−１） 第１の実施形態の特徴
第１の実施形態では、画像符号化装置を、画像復号化装置からのエラー発生状況を受信する手段と、エラーの発生フレームまでさかのぼって参照画像を修正する手段とを備え、画像復号化装置での参照画像の劣化を正確に再現してフレーム間符号化をするよう構成する。
【００１６】
また、第１の実施形態では、画像復号化装置を、エラー発生状況を画像符号化装置へ送信する手段と、エラーの発生したフレームを修正して参照画像として使用する手段とを備え、参照画像を修正しながらフレーム間復号をするよう構成する。
【００１７】
（Ａ−２） 第１の実施形態の構成
図５は、第１の実施形態の動画像符号化装置１００の機能構成図である。図５において、動画像符号化装置１００は、動画像入力部１０１と、符号化部１０２と、符号データ送信部１０３と、復号化部１０４と、参照画像記録部１０５と、復号異常信号受信部１０６と、参照画像修正部１０７と、周辺ブロック予測状況記録部１０８と、修正終了情報送信部１０９とを有している。
【００１８】
動画像入力部１０１は、ビデオカメラなどから入力された動画像データをフレームごとに符号化部１０２に与えるものである。
【００１９】
符号化部１０２は、入力されたフレームデータを複数のブロックに分割して符号化するものであり、符号データを復号化部１０４と符号データ送信部１０３とへ与える。この符号化に際しては、フレームあるいはブロック毎にフレーム内符号化とフレーム間符号化を切り替えて行い、フレーム間符号化時には、参照画像記録部１０５にある直前フレームの参照画像データを参照して符号化を行う。また、フレーム間符号化において、符号化対象ブロックが参照画像のどの周辺ブロックを予測に使用したかという予測状況を周辺ブロック予測状況記録部１０８へ与える。
【００２０】
符号データ送信部１０３は、符号化された動画像データを動画像復号化装置２００へ送信するものである。この送信データには、符号化したフレーム番号およびブロック番号を含む。また、修正終了情報送信部１０９から参照画像の修正終了情報を与えられた場合は、その情報を多重化して送信する。また、必要に応じて、送信元情報や送信先情報などを多重化して伝送する。
【００２１】
復号化部１０４は、符号データを再度復号化して、復号した画像データを参照画像記録部１０５ヘフレーム番号およびブロック番号と共に書き込むものである。
【００２２】
参照画像記録部１０５は、参照画像を構成するための過去の複数フレームの画像データを記録するものである。
【００２３】
復号異常信号受信部１０６は、動画像復号化装置２００がどのフレームのどのブロックで復号異常があったかを示す復号異常信号を受信するものであり、信号を受けた場合は復号異常ありのフレーム番号およびブロック番号を参照画像修正部１０７へ与える。
【００２４】
参照画像修正部１０７は、復号異常信号受信部１０６から復号異常のあったフレーム番号とブロック番号を受けると、参照画像記録部１０５にある画像データを復号異常のあったフレームにさかのぼって修正するものである。まず、復号異常のあったフレームでは、エラーを含むブロック画像を、その前フレームの画像に置き換える。さらに、復号異常のあった次のフレームでは、エラーを含むブロック画像を前フレームのブロック画像に置き換えるとともに、周辺ブロック予測状況記録部１０８から与えられた周辺ブロックの予測状況に従って、エラーを含むブロックを予測に使用したブロック（以下、エラー伝播ブロックと呼ぶ）を前フレームのブロック画像と置き換える。以降、最新のフレームデータまでこの修正を繰り返し、修正が終了したことを修正終了情報送信部１０９へ通知する。
【００２５】
周辺ブロック予測状況記録部１０８は、符号化部１０２でのフレーム間符号化において、符号化対象ブロックが参照画像のどの周辺ブロックを予測に使用したかという予測状況を記録するものである。
【００２６】
修正終了情報送信部１０９は、参照画像修正部１０７から参照画像の修正終了情報が与えられると、どのフレームの復号異常に対する修正が終了したのかを算出し、修正終了情報と復号異常のあったフレーム番号を符号データ送信部１０３へ与える。
【００２７】
図６は、第１の実施の形態の動画像復号化装置２００の機能構成図である。この図６において、動画像復号化装置２００は、符号データ受信部２０１と、復号化部２０２と、動画像出力部２０３と、参照画像記録部２０４と、復号異常信号送信部２０５と、参照画像修正部２０６と、周辺ブロック予測状況記録部２０７と、修正終了情報受信部２０８とを有する。
【００２８】
符号データ受信部２０１は、符号化された動画像データを動画像符号化装置１００から受信するものであり、符号データとデータに多重されているフレーム番号およびブロック番号を復号化部２０２へ与え、修正終了情報が多重化されている場合は、その情報を修正終了情報受信部２０８へ与える。また、必要に応じて多重化されている送信元情報や送信先情報なども復号化部２０２へ与える。
【００２９】
復号化部２０２は、入力された符号データを復号化するものであり、復号データを動画像出力部２０３と参照画像記録部２０４へ与える。この復号化に際しては、フレームあるいはブロック毎にフレーム内復号化とフレーム間復号化を切り替えて行い、フレーム間復号化時には、参照画像記録部２０４にある直前フレームの参照画像データを参照して復号化を行う。また、フレーム間復号化において、復号化対象ブロックが参照画像のどの周辺ブロックを予測に使用しているかという予測状況を周辺ブロック予測状況記録部０７へ与える。また、符号データを正常に復号化できたかどうかを常に監視し、復号異常が有る場合はフレーム番号およびブロック番号を復号異常信号送信部２０５へ与える。
【００３０】
動画像出力部２０３は、復号化部２０２から与えられた復号データをモニタ用の表示装置などに出力するものである。
【００３１】
参照画像記録部２０４は、復号化部２０２がフレーム間復号化の際に参照する直前フレームと、さらにその前のフレームの２フレーム分の画像データを記録するものである。
【００３２】
復号異常信号送信部２０５は、復号化部２０２で復号異常が発生した場合、復号異常有りの信号を、フレーム番号およびブロック番号とともに動画像符号化装置１００へ送信するものである。また、復号異常ありのフレーム番号およびブロック番号を参照画像修正部２０６へも与える。
【００３３】
参照画像修正部２０６は、復号異常信号送信部２０５から復号異常のあったフレーム番号とブロック番号を受けると、参照画像記録部２０４に記録された直前フレームの画像データを修正するものである。修正に際しては、復号異常が発生したフレームでは、エラーを含むブロック画像をその前フレームの画像に置き換える。復号異常が発生した次のフレームでは、エラーを含むブロックを修正するとともに、周辺ブロック予測状況記録部２０７から与えられた周辺ブロックの予測状況に従って、エラーを含むブロックを予測に使用したブロック（ エラー伝播ブロック） を前フレームのブロック画像と置き換える。以降、修正終了情報受信部２０８から参照画像修正終了通知を受けるまで、復号化部２０２が復号した後に、この修正を毎フレーム行う。
【００３４】
周辺ブロック予測状況記録部２０７は、復号化部２０２でのフレーム間復号化において、復号化対象ブロックが参照画像のどの周辺ブロックを予測に使用しているかという予測状況を記録するものである。
【００３５】
修正終了情報受信部２０８は、符号データ受信部２０１から修正終了情報を受けると、どのフレームの復号異常に対する参照画像修正が終了したのかを判定し、参照画像修正部２０６へ参照画像修正終了通知を与える。
【００３６】
（Ａ−３） 第１の実施形態の動作
図１は、本発明の第１の実施形態の動画像符号化の概念を説明する図である。図中、四角は画像フレームを表わし、上の列が動画像符号化装置１００における参照画像、下の列が動画像復号化装置２００における参照画像の修正の様子を表わしている。
【００３７】
動画像符号化装置１００、動画像復号化装置２００ともに、常に直前のフレームを参照してフレーム間符号化／復号化を行っている。フレーム２において伝送エラーが発生すると、動画像復号化装置２００ではエラーを含むブロックを前フレーム１の画像に置き換えて、参照画像２を修正すると同時に、復号異常有りの信号を動画像符号化装置１００へ返送する。
【００３８】
次のフレーム３では伝送エラーは発生していないが、動画像復号化装置２００では、フレーム２における伝送エラーの影響で正常に復号できない。特にエラーブロックだけでなく、エラーブロックを予測に使用している周辺ブロック（エラー伝播ブロック）も正常に復号できなくなっている。そこで参照画像３のエラーブロックとエラー伝播ブロックを前フレーム２の画像で置き換える。ここで、エラーブロックは既にフレーム２の時点でフレーム１の画像に置き換わっているので、フレーム３の時点でフレーム２の画像に置き換えると、実質上フレーム１の画像に置き換えたと同じことになる。したがって、図１ではそのように記載している。
【００３９】
一方動画像符号化装置１００では、フレーム４を符号化する前にフレーム２での伝送エラーを知らせる復号異常有りの信号が到着したため、参照画像をエラーの発生したフレーム２までさかのぼって修正する。まず、参照画像２においてエラーブロックをフレーム１の画像と置き換え、参照画像２’とする。次に、参照画像３においてエラーブロックとエラー伝播ブロックを前フレーム２の画像と置き換え、参照画像３’とする。フレーム４の符号化に際しては、修正した参照画像３’を参照してフレーム間符号化を行い、フレーム２の伝送エラーに対する参照画像修正が終了したことを表わす修正終了情報を符号データに付加して動画像復号化装置２００へ送信する。
【００４０】
動画像復号化装置２００では、修正終了情報が付加された符号データ（ フレーム４）を復号した後は、参照画像４の修正は行わない。
【００４１】
この一連の修正により、動画像符号化装置１００における参照画像３’と、動画像復号化装置２００における参照画像３は全く同一の画像となるため、フレーム２における伝送エラーによる劣化はフレーム４以降には一切伝播しない。
【００４２】
ここで、規定の画像修正を施すのは参照画像に対してだけであり、表示画像を修正する必要はない。したがって、修正による参照画像の画質劣化は表示画像には影響を与えない。逆に、図６の動画像出力部２０３において、エラーブロックに対する一般的なエラーコンシールメント技術を施した画像を表示しても良く、この場合、表示画像と参照画像は異なるものとなるが、本発明には影響を与えない。
【００４３】
次に、参照画像修正中に別の伝送エラーが発生した場合を説明する。図７は、本発明の第１の実施形態において、参照画像修正中に別の伝送エラーが発生した場合を説明する図である。本発明では、発生した全ての伝送エラーに対して個別に参照画像修正を行う必要がある。
【００４４】
動画像復号化装置２００では、フレーム２に伝送エラー２が発生すると、エラーブロックを前フレーム１の画像に置き換えて参照画像２を修正すると同時に、復号異常有りの信号を動画像符号化装置１００へ返送する。
【００４５】
次にフレーム３でも連続して伝送エラー３が発生すると、動画像復号化装置２００では、伝送エラー２によるエラーブロックとエラー伝播ブロックを前フレーム２で置き換えると同時に、伝送エラー３によるエラーブロックも前フレーム２で置き換える。さらに、復号異常有りの信号３を動画像符号化装置１００へ返送する。
【００４６】
動画像符号化装置１００では、フレーム４を符号化する前に復号異常有りの信号２が到着したため、参照画像２にさかのぼって修正し、参照画像２’と３’を生成する。フレーム４の符号化に際しては、修正した参照画像３’を参照してフレーム間符号化を行い、伝送エラー２に対する参照画像修正が終了したことを表わす修正終了情報２を符号データに付加して動画像復号化装置２００へ送信する。
【００４７】
動画像復号化装置２００では、修正終了情報２が付加された符号データ（ フレーム４）を復号した後は、伝送エラー２に対する参照画像の修正は行わないが、伝送エラー３に対する参照画像の修正は引き続き行う。
【００４８】
動画像符号化装置１００では、フレーム５を符号化する前に復号異常有りの信号３が到着したため、参照画像３’にさかのぼって修正し、参照画像３’’と４’’を生成する。フレーム５の符号化に際しては、修正した参照画像４’を参照してフレーム間符号化を行い、修正終了情報３を符号データに付加して動画像復号化装置２００へ送信する。
【００４９】
動画像復号化装置２００では、修正終了情報３が付加された符号データ（フレーム５）を復号した後は、参照画像５の修正は行わない。
【００５０】
上述の説明では、伝送エラー２のエラーブロックと伝送エラー３のエラーブロックの位置が重なっていない例を示したが、全てのエラーブロックとエラー伝播ブロックを単純に前フレームの画像に置き換えるだけなので、複数のエラーブロックが重なっている場合でも、同様に全てのブロックを前フレームの画像に置き換えることで対応できる。
【００５１】
また、上述の説明では、伝送エラー２と伝送エラー３の復号異常有りの信号が別々に到着する例を示したが、伝送遅延の揺らぎなどにより、同時に到着した場合でも、同様に全てのエラー伝播ブロックを前フレームの画像に置き換えることで対応できる。この場合、伝送エラー２による修正を行った後に伝送エラー３の修正を行っても良く、また、両方のエラーを考慮しながら同時に修正を行っても良い。また、動画像復号化装置へ送信する修正終了情報は、複数の修正を列記しても良く、また、最新の修正のみを記載しても良い。この場合、動画像復号化装置では、修正終了情報を受けた時は、記載された修正よりも過去の修正は全て終了したものと判定するのが良い。
【００５２】
（Ａ−４） 第１の実施形態の効果
以上のように、第１の実施形態によれば、エラーが発生しない場合は、冗長のデータを必要とせず、直前フレームを参照する通常のフレーム間符号化を行うので、符号化効率の低下はほとんどない。また、エラーが発生してもフレーム内符号化を使用する必要が無く、フレーム間符号化だけで時間的なエラー伝播を回避できるため、符号化効率の低下も少なく、画質劣化も小さい。また、伝送エラーが発生したことをすぐに符号化装置へ通知して対応するため、伝送エラーによる画質劣化からの回復も早い。
【００５３】
また、空間的なエラー伝播を監視して参照画像修正に反映し、空間的なエラー伝播を回避しているので、ブロック形状をフレーム間で同一にするような制限を設ける必要が無い。したがって、伝送路のエラー状況や映像の種類に応じて、ブロック形状をフレームごとに可変にすることができ、符号化効率やエラー耐性が向上する。
【００５４】
（Ａ−５） 第１の実施形態の変形例
（１）なお、以上の第１の実施形態の図５の動画像符号化装置１００の参照画像修正部１０７および図６の動画像復号化装置２００の参照画像修正部２０６において、前フレームの画像データを利用してエラーを含むブロック画像を修正するようにしたが、このような構成に限定するものではない。動画像符号化装置１００と動画像復号化装置２００において、全く同じ参照画像に修正される限り、どのような修正方法を利用してもよい。例えば、同一フレームの周辺ブロックの画像データを利用して、ブロック画像を修正するようにしてもよい。また、これを組み合わせて、前フレームと周辺ブロックの両方の画像データを利用してもよい。さらには、動画像復号化装置２００において、どのような修正を施したかを、復号異常信号とともに動画像符号化装置１００へ通知するようにして、修正方法が等しくなるようにしても良い。これにより、より劣化の少ない参照画像修正が可能となるため、誤りによる画質劣化が小さくなり、また符号化効率を向上させることができる。
（２）また、以上の説明においては、復号異常有りの信号を利用する例を示したが、これに限定するものではない。例えば、逆に復号異常が無いときの信号を常に伝送し、信号が到着しないときに復号異常が有ったと判定して参照画像修正を行うようにしても良い。また、復号異常が有った場合には復号異常有りの信号、復号異常が無かった場合には復号異常無しの信号を常に伝送するように構成しても好ましい。
（３）また、以上の説明では、周辺ブロックの予測使用状況を記録し、エラー伝播ブロックも修正の対象とすることとしたが、これに限定するものではない。例えば、動画像符号化装置１００があるフレームを符号化して符号データを伝送し、動画像復号化装置２００が復号して復号異常有無信号を返送し、それを動画像符号化装置１００が受信するまでの時間（往復伝送遅延）が、符号化のフレーム間隔よりも短い場合は、次のフレームを符号化するまでに参照画像の修正が終了するので、周辺ブロックヘのエラー伝播を考慮する必要が無い。
したがって、往復伝送遅延が極めて小さい場合や、復号異常有無信号を受けるまでは次の符号化を開始しないような場合には、図５および６の周辺ブロック予測状況記録部１０８ および２０７を省略した構成とすることも可能である。この場合、修正終了情報の伝送も省略しても良い。
【００５５】
（Ｂ） 第２の実施形態
以下、本発明による画像符号化装置、画像復号化装置及び画像伝送システムを適用した第２の実施形態について、図面を参照しながら詳述する。
【００５６】
（Ｂ−１） 第２の実施形態の特徴
第２の実施形態では、第１の実施例の画像符号化装置および画像復号化装置に対して、エラー伝播の程度によってエラー伝播ブロックを決定するエラー伝播ブロック判定手段をそれぞれ追加して構成する。
【００５７】
これにより、エラー伝播ブロックの選定に自由度を与えることとなり、画質劣化の少ないエラー伝播ブロックに対して、参照画像の修正を施さないことが可能となり、符号化効率の低下を回避することができる。
【００５８】
（Ｂ−２） 第２の実施形態の構成
図８は、第２の実施形態の動画像符号化装置３００の機能構成図であり、第１の実施例の動画像符号化装置１００にエラー伝播ブロック判定部３０１を追加したものである。図８において、図５と同一の機能を有するものには同一符号を付してある。ここでは第１の実施形態の構成と異なる部分についてのみ説明する。
【００５９】
エラー伝播ブロック判定部３０１は、予め与えられた判定パラメータ（判定方法および判定基準など）を用いて、エラー伝播の程度によってエラー伝播ブロックを判定するものであり、判定結果を参照画像修正部１０７へ与える。
【００６０】
図９は、第２の実施形態の動画像復号化装置４００の機能構成図であり、第１の実施形態の動画像復号化装置２００にエラー伝播ブロック判定部４０１を追加したものである。図９において、図６と同一の機能を有するものには同一符号を付してある。ここでは第１の実施形態の構成と異なる部分についてのみ説明する。エラー伝播ブロック判定部４０１は、予め与えられた判定パラメータ（判定方法および判定基準など）を用いて、エラー伝播の程度によってエラー伝播ブロックを判定するものであり、判定結果を参照画像修正部２０６へ与える。
【００６１】
ここで、動画像符号化装置３００のエラー伝播ブロック判定部３０１に与える判定パラメータと、動画像復号化装置４００のエラー伝播ブロック判定部４０１に与える判定パラメータは全く同一でなければならない。
【００６２】
（Ｂ−３） 第２の実施形態の動作
最初にエラー伝播の仕組みを説明する。周辺ブロックにエラーが伝播するのは、大きく分けて２つの場合がある。１つは、過去のフレームで発生したエラーに起因するものであり、もう１つは同一フレームで発生したエラーに起因するものである。
【００６３】
図１０に、前フレームで発生したエラーに起因するエラー伝播の例を示す。フレーム間符号化では、符号化対象ブロックと最も差分の小さいブロックを検出し、その動きベクトルと差分値を符号化する。したがって、前フレームのエラーブロックを含んだ領域を動きベクトルが指している場合、そのブロックは正レく復号できなくなるため、エラー伝播が発生する。
【００６４】
図１１に、同一フレームで発生したエラーに起因するエラー伝播の例として、動きベクトル予測の様子を示す。Ｈ．２６３やＭＰＥＧ−２などでは、動きベクトルＭＶを符号化する際には、既に符号化した周辺ブロックの動きベクトル
（ＭＶ１、ＭＶ２、ＭＶ３）から予測値を生成し、その予測値との差分と伝送することで符号化効率を高めている。したがって、周辺ブロックのうちいずれかがエラーブロックとなっている場合には、正しい予測値が得られず、対象ブロックのＭＶにはエラー伝播が発生する。ただし、Ｈ．２６３ やＭＰＥＧ−２ではエラー伝播が広範囲に及ばないように、ブロックをいくつかのグループにまとめ（スライスと呼ぶ）、スライス外のブロックは予測に使用しないように制限する符号化方法も規定されている。
【００６５】
この制限を利用する場合はエラー伝播ブロックも少なく抑えることが可能となる。
【００６６】
動きベクトルの予測以外にも、オーバーラップ動き補償やブロック境界平滑化フィルタ、アドバンストフレーム内ＡＣＤＣ予測などで、周辺ブロックの値を使用して符号化を行うため、エラー伝播が発生する可能性がある。
【００６７】
本発明の第２の実施形態におけるエラー伝播ブロック判定部３０１および４０１では、上に挙げたエラー伝播が発生する可能性のある予測方法のうち、いくつかの予測を考慮してエラー伝播ブロックを特定する。完全にエラー伝播を防止するには、全ての予測方法のエラー伝播を考慮して判定する必要があるが、その場合、参照画像の修正範囲が広くなり、符号化効率の低下につながることもある。一方、予測方法によっては、エラー伝播による画質劣化への影響が少ないものもあるため、いくつかのエラー伝播は考慮しない方が符号化効率の低下を防ぐことにもつながる。例えば、前フレームのエラーによる伝播だけを考慮し、同一フレームの伝播は考慮しないで判定しても良いし、動きベクトル予測だけを考慮しても良い。また、各予測方法によるエラー伝播の程度を重み付けし、複数の予測方法でエラー伝播のあるブロックをエラー伝播ブロックと判定しても良い。また動き補償において、エラーブロックとの重なり領域の面積を基準にエラー伝播ブロックを判定しても良い。
【００６８】
いずれの場合も、判定方法と判定基準は、動画像符号化装置３００と動画像復号化装置４００で全く同一でなければならない。
【００６９】
（Ｂ−４） 第２の実施形態の効果
以上のように、第２ノ実施形態によれば、第１の実施形態で説明したのと同様の効果が得られるのに加え、エラー伝播ブロックの判定方法に自由度を持たせたることで、参照画像の修正範囲を小さくすることが可能となり、符号化効率の低下を緩和することができる。
【００７０】
（Ｃ） 第３の実施形態
以下、本発明による画像符号化装置、画像復号化装置及び画像伝送システムを適用した第３の実施形態について、図面を参照しながら詳述する。
【００７１】
（Ｃ−１） 第３の実施形態の特徴
第３の実施形態では、第１の実施形態の画像符号化装置に対して同一の復号異常有無信号を無視する手段と、第１の実施形態の画像復号化装置に対して、参照画像修正終了信号を受信するまで、同じフレーム番号およびブロック番号を含む復号異常有無信号を画像符号化装置へ送信し続ける手段とをそれぞれ追加して構成する。
【００７２】
これにより、画像復号化装置から画像符号化装置への上りチャネルに伝送エラーが発生した場合にも、破綻することなく動作することが可能となる。
【００７３】
（Ｃ−２） 第３の実施形態の構成
図１２は、第３の実施形態の動画像符号化装置５００の機能構成図であり、第１の実施例の動画像符号化装置１００に復号異常信号有効判定部５０１を追加したものである。図１２において、図５と同一の機能を有するものには同一符号を付してある。ここでは第１の実施形態の構成と異なる部分についてのみ説明する。
【００７４】
復号異常信号有効判定部５０１は、復号異常信号受信部１０６が受けた復号異常信号が有効かどうかを判定するものであり、有効な場合だけ復号異常ありのフレーム番号およびブロック番号を参照画像修正部１０７へ与える。有効判定に際しては、過去に受信した復号異常信号とその復号異常信号に対する参照画像修正が終了しているかを記録しておき、同一のフレーム番号およびプロック番号を含む復号異常信号のうち参照画像修正が終了している場合は廃棄し、それ以外を有効と判定する。
【００７５】
図１３は、第３の実施形態の動画像復号化装置６００の機能構成図であり、第１の実施形態の動画像復号化装置２００に復号異常信号送信判定部６０１を追加したものである。図１３において、図６と同一の機能を有するものには同一符号を付してある。ここでは第１の実施形態の構成と異なる部分についてのみ説明する。
【００７６】
復号異常信号送信判定部６０１は、どの復号異常信号を送信するかを判定するものであり、送信と判定した場合に、復号異常有りの信号を、フレーム番号およびブロック番号とともに復号異常信号送信部２０５へ与える。送信判定に際しては、復号化部２０２で復号異常が発生した時点から、その復号異常に対する修正終了情報を修正終了情報受信部２０８から受けるまで、毎フレームの復号が終了するたびに送信するものと判定する。
【００７７】
（Ｃ−３） 第３の実施形態の動作
図１４は、本発明の第３の実施形態の動画像符号化の概念を説明する図である。図１４は図１とほとんど同じであるが、動画像復号化装置６００からフレーム３の時点でも復号異常信号が送信されている点が異なる。
【００７８】
動画像復号化装置６００では、修正終了情報を受けるまでは、毎フレームの復号が終了するたびに復号異常信号を繰り返し動画像符号化装置５００へ送信する。また、動画像符号化装置５００では、伝送エラー２に対する参照が画像修正はフレーム４の符号化前に終了しているため、フレーム５の時点で受け取った２度目の復号異常信号２は無効と判定する。
【００７９】
このように第３の実施形態は、動画像復号化装置６００から動画像符号化装置５００への上りチャネルに伝送エラーが発生しない場合は、第１の実施形態と最終的に何も変わらない動作となる。
【００８０】
図１５は、上りチャネルに伝送エラーが発生した場合の本発明の第３の実施形態の動画像符号化の概念を説明する図である。
【００８１】
動画像復号化装置６００からの復号異常信号２に伝送エラーが発生した場合、動画像符号化装置５００へは、正しい信号が到着しないため、フレーム４の符号化はそのまま直前フレーム３を参照して符号化が行われる。動画像復号化装置
６００ではフレーム３の時点でも繰り返し復号異常信号２を送信するが、今度は伝送エラーが発生せず動画像符号化装置５００へ到着する。これを受けて、動画像符号化装置５００では、フレーム５の符号化前に参照画像の修正を行い、参照画像４’を参照して符号化し、符号データを修正終了情報２とともに動画像復号化装置６００へ伝送する。フレーム４の時点でも復号異常信号は伝送されるが、これは動画像符号化装置５００において無効と判定される。
【００８２】
（Ｃ−４） 第３の実施形態の効果
以上のように、第３の実施形態によれば、第１の実施形態で説明したのと同様の効果が得られるのに加え、上りチャネルで伝送エラーが発生すると、１フレーム分参照画像修正が遅れるため、やや符号化効率が低下するが、破綻することなく符号化を継続することが可能となる。したがって、上りチャネルを再送や誤り訂正などで高度に保護する必要がなくなるため、上りチャネルの伝送が簡単になり、下りチャネルと同じ品質の伝送路を使用できるようになる。また、再送などによる遅延の増加も防げるので、遅延増加による画質劣化も回避することができる。
【００８３】
（Ｄ） 第４の実施形態
（Ｄ−１） 第４の実施形態の特徴
第４の実施形態では、第１の実施形態の画像復号化装置に対して、エラーによる画像劣化を軽減する（エラーコンシールメントする）画像劣化隠蔽手段と、隠蔽された画像を参照画像として記憶する手段を追加して構成する。
【００８４】
ここで、エラーコンシールメントする方法には、例えば、エラーした画像部分の周辺のエラーしていない画像部分の動き情報や差分情報に基づいて、エラーした画像部分を修正する方法や、画像情報が動き情報や差分情報などの複数の情報で構成され、その一部の情報にエラーが発生した場合には、エラーが発生していない他の情報を用いてエラーした画像部分を修正する方法などがある。
【００８５】
これにより、エラーの発生したフレームに対して、エラーコンシールメントされた劣化の少ない画像を表示することができる。さらに修正終了信号が戻ってくるまでの複数のフレームに対して、エラーコンシールメントされた劣化の少ない画像を参照画像に用いることにより、劣化の少ない画像を復元することができる。
【００８６】
（Ｄ−２） 第４の実施形態の構成
第４の実施形態では、動画像符号化装置は第１の実施形態と同等のもので構成する。
【００８７】
図１６は、第４の実施形態の動画像復号化装置７００の機能構成図であり、第１の実施形態の動画像復号化装置２００に画像劣化隠蔽部７０２と隠蔽参照画像記録部７０３を追加したものである。図１６において、図６と同一の機能を有するものには同一符号を付してある。ここでは第１の実施形態の構成と異なる部分についてのみ説明する。
【００８８】
復号化部７０１は、第１の実施形態の復号化部２０２と同等の機能を有し、さらに復号データとエラーコンシールメントに必要な情報を画像劣化隠蔽部７０２へ与えるものである。この復号化に際しては、通常のフレーム間復号には、隠蔽参照画像記録部７０３にある画像データを参照して復号化を行う。なお、エラーが発生していない期間では、隠蔽参照画像記録部７０３にある画像と参照画像記録部２０４にある直前フレームの参照画像は同一の結果になっているので、どちらを参照して復号化を実施しても良い。
【００８９】
画像劣化隠蔽部７０２は、復号化部７０１から与えられた復号データとエラーコンシールメントに必要な情報を用いて、エラーが発生したブロックに対してエラーコンシールメントを施すものであり、コンシールメントを施した復号画像データを動画像出力部２０３と隠蔽参照画像記録部７０３へ与えるものである。
【００９０】
隠蔽参照画像記録部７０３は、エラーコンシールメントされた画像を記録するものである。
【００９１】
参照画像修正部７０４は、第１の実施形態の参照画像修正部２０６と同等の機能を有し、さらに修正終了情報受信部２０８から参照画像修正終了通知を受けとると、その通知に関係するエラー伝播ブロックの画像を参照画像記録部２０４の直前フレームから、隠蔽参照画像記録部７０３へコピーするものである。
【００９２】
（Ｄ−３） 第４の実施形態の動作
図１７は、本発明の第４の実施形態の動画像符号化の概念を説明する図である。図１７は図１とほとんど同じであるが、動画像復号化装置７００がエラーコンシールメントされた画像も記録し、それを参照して復号化している点が異なる。したがって、エラーが発生している時は、修正画像とコンシールメント画像の２系列の異なる参照画像が存在する。
【００９３】
フレーム２において伝送エラーが発生すると、動画像復号化装置７００では、エラーが発生したブロックに対してエラーコンシールメントを施すと同時に、第１の実施形態と同様に、エラーを含むブロックを前フレーム１の画像に置き換えて、参照画像２を修正し参照２’を作成する。同時に、復号異常有りの信号を動画像符号化装置１００へ返送する。エラーコンシールメントを施した画像を表示するため、前フレームの画像で置き換えた画像よりは、画質劣化が緩和されている。
【００９４】
次のフレーム３では伝送エラーは発生していないが、動画像復号化装置７００では、フレーム２における伝送エラーの影響で正常に復号できない。そこで、前フレームでコンシールメントを施している参照画像２をそのまま参照して復号する。また、第１の実施形態と同様に、参照画像３のエラーブロックとエラー伝播ブロックを前フレーム２’の画像で置き換えた修正画像３’を作成する。前フレームで画質劣化が緩和されたコンシールメント画像を参照するため、フレーム３における画質劣化も緩和されている。
【００９５】
修正終了情報が付加された符号データ（フレーム４）を復号する際は、修正した参照画像３’のエラー伝播ブロックを参照画像３へコピーし参照する。図１７では、フレーム３の時点の参照画像３を明確に示すため、コピーする動作を省略して参照画像３’を直接参照しているように記載しているが、実際は、フレーム４の復号前にコピー動作を行う。
【００９６】
次に、参照画像修正中に別の伝送エラーが発生した場合を説明する。図１８は、本発明の第４の実施形態において、参照画像修正中に別の伝送エラーが発生した場合を説明する図である。本発明では、発生した全ての伝送エラーに対して参照画像修正を行う。
【００９７】
フレーム２に伝送エラー２が発生すると、エラーが発生したブロックに対してエラーコンシールメントを施すと同時に、第１の実施形態と同様に、エラーブロックを前フレーム１の画像に置き換えて参照画像２を修正し参照画像２’を作成する。同時に、復号異常有りの信号２を動画像符号化装置１００へ返送する。
【００９８】
次にフレーム３でも連続して伝送エラー３が発生すると、前フレームでコンシールメントを施している参照画像２をそのまま参照して復号し、フレーム３で発生したエラーに対してはエラーコンシールメントを施す。また、第１の実施形態と同様に、伝送エラー２によるエラーブロックとエラー伝播ブロックを前フレーム２’で置き換えると同時に、伝送エラー３によるエラーブロックも前フレーム２’で置き換え、修正画像３’を作成する。さらに、復号異常有りの信号３を動画像符号化装置１００へ返送する。
【００９９】
修正終了情報２が付加された符号データ（フレーム４）を復号する際は、修正終了信号に対応する参照画像３’のエラー伝播ブロックを参照画像３へコピーし参照する。伝送エラー３に対する参照画像の修正（参照画像４’の作成）は引き続き行う。
【０１００】
修正終了情報３が付加された符号データ（フレーム５）を復号する際は、修正終了信号に対応する参照画像４’のエラー伝播ブロックを参照画像４へコピーし参照する。
【０１０１】
上述の説明では、伝送エラー２のエラーブロックと伝送エラー３のエラーブロックの位置が重なっていない例を示したが、全てのエラーブロックとエラー伝播ブロックを単純に前フレームの画像に置き換えるだけなので、複数のエラーブロックが重なっている場合でも、同様に全てのブロックを前フレームの画像に置き換えることで対応できる。
【０１０２】
（Ｄ−４） 第４の実施形態の効果
以上のように、第４の実施形態によれば、第１の実施形態で説明したのと同様の効果が得られるのに加え、エラーの発生したフレームに対して、エラーコンシールメントされた劣化の少ない画像を表示することができる。さらに修正終了信号が戻ってくるまでの複数のフレームに対して、エラーコンシールメントされた劣化の少ない画像を参照画像に用いることにより、劣化の少ない画像を復元することができる。
【０１０３】
（Ｅ） 第５の実施形態
（Ｅ−１） 第５の実施形態の特徴
第５の実施形態では、第１の実施形態の画像符号化装置及び画像復号化装置に対して、１度のエラーに対して参照画像修正を１回だけ行うことを特徴とする。
【０１０４】
これにより、参照画像修正の処理が軽減される。
【０１０５】
（Ｅ−２） 第５の実施形態の構成
図１９は、第５の実施形態の動画像符号化装置８００の機能構成図であり、第１の実施形態の動画像符号化装置１００とは動作の異なる参照画像修正部８０１を備えたものである。図８において、図５と同一の機能を有するものには同一符号を付してある。ここでは第１の実施形態の構成と異なる部分についてのみ説明する。
【０１０６】
参照画像修正部８０１は、復号異常信号受信部１０６から復号異常のあったフレーム番号とブロック番号を受けると、参照画像記録部１０５にある画像データのうち直前フレームだけを修正するものである。修正に際しては、復号異常のあったフレームのエラーブロックに対して、周辺ブロック予測状況記録部１０８から与えられた周辺ブロックの予測状況に従って、直前フレームでのエラー伝播ブロックを検出する。検出したエラー伝播ブロックを復号異常のあったフレームの前のフレーム画像に置き換える。さらに修正が終了したことを修正終了情報送信部１０９へ通知する。
【０１０７】
図２０は、第５の実施形態の動画像復号化装置９００の機能構成図であり、第１の実施形態の動画像復号化装置２００とは動作の異なる参照画像修正部９０２を備えたものである。図２０において、図６と同一の機能を有するものには同一符号を付してある。ここでは第１の実施形態の構成と異なる部分についてのみ説明する。
【０１０８】
参照画像記録部９０１は、参照画像を構成するための過去の複数フレームの画像データを記録するものである。
【０１０９】
参照画像修正部９０２は、修正終了情報受信部２０８から修正終了情報を受けると、参照画像記録部９０１に記録された直前フレームの画像データを修正するものである。修正に際しては、復号異常のあったフレームのエラーブロックに対して、周辺ブロック予測状況記録部２０７から与えられた周辺ブロックの予測状況に従って、直前フレームでのエラー伝播ブロックを検出する。検出したエラー伝播ブロックを復号異常のあったフレームの前のフレーム画像に置き換える。
【０１１０】
（Ｅ−３） 第５の実施形態の動作
図２１は、本発明の第５の実施形態の動画像符号化の概念を説明する図である。
【０１１１】
フレーム２において伝送エラーが発生すると、動画像復号装置９００では、復号異常有りの信号を動画像符号化装置８００へ返送する。次のフレーム３では伝送エラーは発生していないが、動画像復号過装置９００では、フレーム２における伝送エラーの影響で正常に復号できない。しかし、そのまま参照画像２を参照して復号を行う。
【０１１２】
一方、動画像符号化装置８００では、フレーム４を符号化する前にフレーム２での伝送エラーを知られる復号異常有りの信号が到着したため、直前の参照画像３をエラー伝播を考慮して修正する。修正した参照画像３’を参照してフレーム間符号化を行い、フレーム２の伝送エラーに対する参照画像修正が終了したことを表す修正終了情報を復号データに付加して動画像復号化装置９００へ送信する。
【０１１３】
動画像復号化装置９００では、修正終了情報が付加された符号データ（フレーム４）を受け取ると、直前の参照画像３をエラー伝播を考慮して修正し、復号する。
【０１１４】
（Ｅ−４） 第５の実施形態の効果
以上のように、第５の実施形態によれば、第１の実施形態で説明したのと同様の効果が得られるのに加え、１度のエラーに対して参照画像修正を１回だけ行うことにしたので、参照画像修正の処理が軽減される。
【０１１５】
（Ｄ） 他の実施形態
第２、第３、第４及び第５の実施形態では、第１の実施形態をもとに機能追加したものを示したが、これに限定するものではない。第２〜５のいずれかの実施形態に、この追加機能を組み合わせて使用する形態も利用可能である。
【０１１６】
また、上記各実施形態において説明した動画像符号化装置及び動画像復号化装置のそれぞれは、ハードウェアによって実現してもソフトウェアによって実現しても良い。
【０１１７】
さらに、上記各実施形態では、予測符号化によって動画像を伝送するものを示したが、必ずしも動画像に限定することなく、フレーム間の相関性の高い画像を順次伝送するものであっても良い。
【０１１８】
さらにまた、上記各実施形態では、動画像符号化装置において、復号異常があった画像を修正し、さらに、その画像を予測符号化に用いた画像があればその画像を修正し、この修正を繰り返して符号化しようとする直前の（これから予測符号化で参照に用いる）画像まで修正するものを示したが、復号異常があった画像領域から符号化しようとする直前の画像の修正部分を算出する機能があれば、符号化しようとする直前の画像のみを修正するものであっても良い。
【０１１９】
また、上記各実施形態では、動画像復号化装置において、動画像符号化装置からの修正終了情報を受信すると、参照画像の修正を停止するものを示したが、動画像符号化装置と動画像復号化装置との間で、例えば予め復号異常有りの信号を送信してから所定フレーム目に参照画像を修正した符号データを出力することを予め定めておけば、修正終了情報はなくても良い。
【０１２０】
さらに、上記各実施形態では、動画像符号化装置において、参照画像修正終了時にのみ修正終了情報を送信するものを示したが、次の参照画像修正まで、同一の修正終了情報を重複して送信するものでも良い。この場合、動画像復号化装置において、同一の修正終了情報を重複して受信した場合には、この重複した修正終了情報を無効にする。これにより、修正終了情報を含む符号データにエラーが発生しても、後続する符号データ到着時に修正終了を判断できるので、復号動作を継続できる。
【０１２１】
【発明の効果】
以上のように、本発明によれば、画像復号化装置において復号異常の発生による参照画像の劣化を、前記画像符号化装置においてもさかのぼって再現することが可能となり、前記画像符号化装置が前記画像復号化装置とまったく同じ劣化した参照画像を使用してフレーム間符号化するため、エラー伝播を回避して復号することが可能となる。また、フレーム内符号化を用いることなくエラー伝播を回避できるので、伝送エラーが発生しない時の符号化効率も低下しない。
【０１２２】
また、空間的なエラー伝播を監視して参照画像修正に反映し、空間的なエラー伝播を回避しているので、ブロック形状をフレーム間で同一にするような制限を設ける必要が無い。したがって、伝送路のエラー状況や映像の種類に応じて、ブロック形状をフレームごとに可変にすることができ、符号化効率やエラー耐性が向上する。
【図面の簡単な説明】
【図１】第１の実施形態の動画像符号化装置および動画像復号化装置における参照画像修正の一例を示す説明図である。
【図２】従来例であるＨ．２６３符号化におけるフレーム間符号化の概念図である。
【図３】従来例であるＪＰＥＧ符号化におけるフレーム内符号化の概念図である。
【図４】従来例であるＨ．２６３において、伝送エラーが発生した場合の説明図である。
【図５】第１の実施形態の動画像符号化装置の構成例を示すブロック図である。
【図６】第１の実施形態の動画像復号化装置の構成例を示すブロック図である。
【図７】第１の実施形態の動画像符号化装置および動画像復号化装置において、伝送エラーが連続して発生した場合の参照画像修正の一例を示す説明図である。
【図８】第２の実施形態の動画像符号化装置の構成例を示すブロック図である。
【図９】第２の実施形態の動画像復号化装置の構成例を示すブロック図である。
【図１０】前フレームの伝送エラーによるエラー伝播を説明する概念図である。
【図１１】従来例であるＨ．２６３における動きベクトル予測を説明する概念図である。
【図１２】第３の実施形態の動画像符号化装置の構成例を示すブロック図である。
【図１３】第３の実施形態の動画像復号化装置の構成例を示すブロック図である。
【図１４】第３の実施形態の動画像符号化装置および動画像復号化装置において、復号異常信号が繰り返し伝送された場合の一例を示す説明図である。
【図１５】第３の実施形態の動画像符号化装置および動画像復号化装置において、上りチャネルに伝送エラーが発生した場合の一例を示す説明図である。
【図１６】第４の実施形態に係る動画像復号化装置の構成例を示すブロック図である。
【図１７】第４の実施形態に係る動画像復号化装置における参照画像修正の一例を示す説明図である。
【図１８】第４の実施形態に係る動画像復号化装置において、伝送エラーが連続して発生した場合の参照画像修正の一例を示す説明図である。
【図１９】第５の実施形態に係る動画像符号化装置の構成例を示すブロック図である。
【図２０】第５の実施形態に係る動画像復号化装置の構成例を示すブロック図である。
【図２１】第５の実施形態に係る動画像符号化装置および動画像復号化装置における参照画像修正の一例を示す説明図である。
【符号の説明】
１、２、３、４、５、６…伝送フレーム、２’、３’…修正後の伝送フレーム。

Claims (23)

1. 過去画像を参照して入力画像を予測符号化した符号データと、この符号データの画像及び領域を示す画像領域情報とを画像復号化装置へ送信する画像符号化装置であって、対向する画像復号化装置が、復号異常を検出し、検出した復号異常の画像及び領域を示す符号異常画像領域情報を当該画像符号化装置へ通知する復号異常検出通知手段と、前記復号異常検出通知手段が復号異常を検出した領域部分を参照画像として用いる場合に、その復号異常を検出した画像及び又はそれ以降の受信画像を、画像符号化装置と画像復号化装置との間で予め定められた所定規則に従って修正して参照画像にする参照画像修正手段とを備えるものである、画像符号号化装置において、
   現時点までに符号化した時刻が異なる複数の過去画像を記憶する過去画像記憶手段と、
   前記画像復号化装置から、復号異常があった画像及び領域を示す復号異常画像領域情報が通知された場合に、この復号異常画像領域情報から、前記過去画像記憶手段に記憶された、少なくとも符号化しようとする直前の過去画像を修正する過去画像修正手段と、
   前記画像復号化装置から、復号異常があった画像及び領域を示す復号異常画像領域情報が通知された場合に、当該画像符号化装置と前記画像復号化装置との間で予め定められた所定規則に従って前記過去画像修正手段で修正された過去画像に、入力画像の予測符号化で参照する過去画像を切り替える参照画像切替手段とを備え、
   前記過去画像修正手段が、前記画像復号化装置から復号異常画像領域情報が通知された場合に、この復号異常画像領域情報が示す前記過去画像記憶手段に記憶された過去画像の領域部分を修正し、さらに、この修正した過去画像に基づいて予測符号化した過去画像があればその過去画像を修正し、この修正を繰り返し行って符号化しようとする直前までの過去画像を修正する
   ことを特徴とする画像符号化装置。
2. 前記過去画像修正手段は、エラー伝播を考慮して参照画像を修正することを特徴とする請求項１に記載の画像符号化装置。
3. 前記過去画像修正手段は、修正対象の過去画像よりも前の時刻の過去画像を用いて、及び又は、修正対象の過去画像における正常に復号できた領域部分を用いて、修正対象の過去画像を修正することを特徴とする請求項１又は２に記載の画像符号化装置。
4. 前記過去画像修正手段は、前記画像復号化装置から所定の修正方法を受信する修正方法受信部を備え、受信した所定の修正方法に従って、修正対象の過去画像を修正することを特徴とする請求項１〜３のいずれかに記載の画像符号化装置。
5. 前記過去画像修正手段は、前記参照画像切替手段で符号化しようとする直前の過去画像を修正した場合に、その旨を示す修正終了情報を前記画像復号化装置に送信する修正終了情報送信部を備えることを特徴とする請求項１〜４のいずれかに記載の画像符号化装置。
6. 前記修正終了情報送信部は、複数の異なる修正に対する修正終了情報を送信する場合に、全ての修正終了情報を送信するか、又は、最新の修正に対する修正終了情報だけを送信することを特徴とする請求項５に記載の画像符号化装置。
7. 前記修正終了情報送信部は、前記過去画像修正手段により次の復号異常による過去画像の修正が行われるまで、同一の修正終了情報を前記画像復号化装置に重複して送信することを特徴とする請求項５又は６に記載の画像符号化装置。
8. 前記過去画像修正手段は、前記画像復号化装置から、同一の復号異常の画像及び領域を示す復号異常画像領域情報が重複して通知された場合には、この重複した復号異常画像領域情報を無効にすることを特徴とする請求項１〜７のいずれかに記載の画像符号化装置。
9. 各過去画像を予測符号化したときに、参照画像のどの領域部分を予測に使用したかを示す予測状況を記録する予測状況記録手段を備え、前記過去画像修正手段は、前記予測状況記録手段に記録された予測状況に基づいて、修正対象の領域部分を予測に使用した領域部分も修正することを特徴とする請求項１〜８のいずれかに記載の画像符号化装置。
10. 修正対象の領域部分を予測に使用した領域部分を、その領域部分に修正対象の領域部分が伝播される程度によって、修正するか否かを決定する修正領域決定手段を備えることを特徴とする請求項９に記載の画像符号化装置。
11. 予測符号化されてなる符号データと、この符号データの画像及び領域を示す画像領域情報とを伝送路を介して画像符号化装置から受信し、この受信した符号データ及び画像領域情報から過去画像を参照して画像データに復号化する画像復号化装置であって、前記画像符号化装置が、現時点までに符号化した時刻が異なる複数の過去画像を記憶する過去画像記憶手段と、当該画像復号化装置から、復号異常があった画像及び領域を示す復号異常画像領域情報が通知された場合に、この復号異常画像領域情報から、前記過去画像記憶手段に記憶された、少なくとも符号化しようとする直前の過去画像を修正する過去画像修正手段と、当該画像復号化装置から、復号異常があった画像及び領域を示す復号異常画像領域情報が通知された場合に、画像符号化装置と画像復号化装置との間で予め定められた所定規則に従って前記過去画像修正手段で修正された過去画像に、入力画像の予測符号化で参照する過去画像を切り替える参照画像切替手段とを備え、前記過去画像修正手段が、当該画像復号化装置から復号異常画像領域情報が通知された場合に、この復号異常画像領域情報が示す前記過去画像記憶手段に記憶された過去画像の領域部分を修正し、さらに、この修正した過去画像に基づいて予測符号化した過去画像があればその過去画像を修正し、この修正を繰り返し行って符号化しようとする直前までの過去画像を修正するものである、画像復号化装置において、
    復号異常を検出し、検出した復号異常の画像及び領域を示す符号異常画像領域情報を前記画像符号化装置へ通知する復号異常検出通知手段と、
    前記復号異常検出通知手段が復号異常を検出した領域部分を参照画像として用いる場合に、その復号異常を検出した画像及び又はそれ以降の受信画像を、前記画像符号化装置と当該画像復号化装置との間で予め定められた所定規則に従って修正して参照画像にする参照画像修正手段とを備え、
    前記参照画像修正手段が、前記画像符号化装置の前記過去画像修正手段が符号化しようとする直前までの過去画像を修正して得られた修正画像と、その修正画像を参照して予測符号化した符号データの受信時における自己の参照画像とが一致するように、復号異常を検出した画像及び又はそれ以降の受信画像を修正する
    ことを特徴とする画像復号化装置。
12. 前記参照画像修正手段は、エラー伝播を考慮して参照画像を修正することを特徴とする請求項１１に記載の画像復号化装置。
13. 前記参照画像修正手段は、修正する画像よりも前の時刻に復号化した過去画像を用いて、及び又は、修正する画像における正常に復号できた領域部分を用いて、復号異常の画像領域を修正することを特徴とする請求項１１又は１２に記載の画像復号化装置。
14. 前記参照画像修正手段は、参照画像を修正する場合に、その所定の修正方法を前記画像符号化装置に送信する修正方法送信部を備えることを特徴とする請求項１１〜１３のいずれかに記載の画像復号化装置。
15. 前記参照画像修正手段は、前記画像符号化装置からの修正終了情報を受信する修正終了情報受信部を備え、修正終了情報を受信するまで、参照画像を更新する度に、その復号異常の領域部分を繰り返し修正することを特徴とする請求項１１〜１４のいずれかに記載の画像復号化装置。
16. 前記修正終了情報受信部は、前記画像符号化装置から、修正終了情報が送信された場合には、修正終了情報が示すものよりも過去における修正は全て終了したと判定することを特徴とする請求項１５に記載の画像復号化装置。
17. 前記修正終了情報受信部は、前記画像符号化装置から、同一の修正終了情報が重複して送信された場合には、この重複した修正終了情報を無効にすることを特徴とする請求項１５又は１６に記載の画像復号化装置。
18. 前記参照画像修正手段は、前記画像符号化装置から修正終了情報を受信するまで、同一の復号異常の画像領域を指定する復号異常画像領域指定情報を前記画像符号化装置に重複して通知することを特徴とする請求項１５〜１７のいずれかに記載の画像復号化装置。
19. 符号データを復号化するときに、参照画像のどの領域部分を予測に使用するかを示す予測状況を記録する予測状況記録手段を備え、前記参照画像修正手段は、前記予測状況記録手段に記録された予測状況に基づき、復号異常の領域部分を予測に使用する領域部分も修正することを特徴とする請求項１１〜１８のいずれかに記載の画像復号化装置。
20. 符号異常の領域部分を予測に使用した領域部分を、その領域部分に復号異常の領域部分が伝播される程度によって、修正するか否かを決定する伝播領域決定手段を備えることを特徴とする請求項２１に記載の画像復号化装置。
21. 復号結果画像にエラーコンシールメントを施す画像劣化隠蔽手段と、前記参照画像修正手段で用いられる参照画像とは別に、画像劣化隠蔽手段でエラーコンシールメントが施された画像を記憶する隠蔽参照画像記憶手段とを備え、前記隠蔽参照画像記憶手段に記憶されたエラーコンシールメントが施された画像を参照して復号化することを特徴とする請求項１１〜２０のいずれかに記載の画像復号化装置。
22. 前記修正終了信号受信時に、前記参照画像修正手段による修正結果を反映して復号化することを特徴とする請求項１１〜２１のいずれかに記載の画像復号化装置。
23. 請求項１〜１０のいずれかに記載の画像符号化装置と、請求項１１〜２２のいずれかに記載の画像復号化装置とを備えることを特徴とする画像伝送システム。

Images