JP4250229B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP4250229B2 JP4250229B2 JP25823398A JP25823398A JP4250229B2 JP 4250229 B2 JP4250229 B2 JP 4250229B2 JP 25823398 A JP25823398 A JP 25823398A JP 25823398 A JP25823398 A JP 25823398A JP 4250229 B2 JP4250229 B2 JP 4250229B2
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- field
- circuit
- image
- memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
Description
【発明の属する技術分野】
本発明は画像処理装置に関し、特には、画像信号の補間に関するものである。
【0002】
【従来の技術】
従来より、静止画像を得る技術として以下に説明するような様々な方法が提案されている。
【0003】
まず、1フレーム分の画像信号をメモリに書き込み、この1フレームの画像信号をそのまま読み出して静止画像を得る方法が考えられる。しかし、この方法では1フレーム分のメモリが必要となり、また、1フレームを構成する2つのフィールド間に動きがあった場合に画像がぶれてしまう。
【0004】
これに対し、1フィールド分の画像信号をメモリに書き込み、一方のフィールドについてはメモリに記憶された画像信号をそのまま用い、他方のフィールドについては上のラインもしくは下のラインの画像信号をそのまま用いて補間することで1フレームの静止画像を得る方法が知られている。
【0005】
この方法によれば、メモリの容量が1フィールド分で済み、また、フィールド間の動きによる画像のぶれは発生しない。しかし、見かけ上は1フレームの画像となるが、実際には連続する2ラインが同じ画像信号となるため、フレームメモリを使った前述の方法に比べ、垂直方向の解像度が低くなってしまう。
【0006】
このようなことから、1フレーム分の画像信号をメモリに書き込み、例えば、第1フィールドについては画像信号をそのまま出力し、第2フィールドについては当該画素と上下ラインの間の動きを検出してこの動きに応じて第2フィールドの画像信号そのものかあるいは合成画像信号を切り換えて出力する方法が考えられている。
【0007】
即ち、動きがない場合には第2フィールドの画像信号をそのままメモリから読み出して出力し、動きがある場合には上下に近接する画素の第1フィールドの画像信号により第2フィールドの画像信号を補間して出力するというものである。
【0008】
この方法によれば、垂直解像度の低下とフィールド間の動きによる画像のぶれを防止することができる。
【0009】
【発明が解決しようとする課題】
しかし、前述のように動きに応じて第2フィールドの画像と補間画像を切り換えて出力する場合、動き検出のために上下に連続する3画素の画像信号が必要となる。
【0010】
そのためには通常の3倍の速度でアクセス可能なメモリが必要になるが、高速なメモリは高価である。
【0011】
また、このような高速なメモリを使わずに動きを検出することも可能であるが、そのためには少なくとも2ライン分のメモリが必要となり、回路規模が大きくなってしまう。
【0012】
本発明は前述の如き問題を解決することを目的とする。
【0013】
本発明の更に他の目的は、回路規模を大型化することなく高精細な補間画像を得る処にある。
【0014】
【課題を解決するための手段】
この様な目的下において、本発明においては、互いにインタレースした第1のフィールドと第2のフィールドで1フレームが構成され、垂直方向m画素×水平方向n画素(m、nはそれぞれ2以上の整数)から構成されるブロックを単位として符号化された画像信号を入力する入力手段と、前記入力手段により入力された画像信号を復号して前記ブロック単位に出力する復号手段と、前記復号手段より出力された画像信号をn画素に対応した期間遅延させるメモリと、前記復号手段から出力された画像信号と前記メモリにより遅延された画像信号とに基づいて、前記ブロックにおける第1のフィールドの画像信号と第2のフィールドの画像信号の間の動きを検出する動き検出手段と、前記復号手段から出力された画像信号と前記メモリにより遅延された画像信号とを、前記動き検出手段の検出結果に従って演算することにより、前記ブロックにおける第1のフィールドの画像信号と第2のフィールドの画像信号とが合成された補間画像信号を生成し、前記ブロックにおける第1のフィールドの画像信号として前記復号手段から出力された第1のフィールドの画像信号を出力し、前記ブロックにおける第2のフィールドの画像信号として前記補間画像信号を出力する補間手段とを備える。
【0015】
【発明の実施の形態】
以下、図面を用いて本発明の実施形態について詳細に説明する。
【0016】
図1は本発明が適用されるVTRの再生系の構成を示すブロック図である。
【0017】
本形態のVTRでは、記録時にDCT、可変長符号化等周知のブロック符号化を用いて情報量が圧縮された画像信号を再生するものである。
【0018】
図において、再生回路103はテープ101より前記の通り圧縮符号化された画像信号を再生し、記録時に付加された誤り訂正符号を用いた誤り訂正処理等周知の処理を施して可変長符号復号回路105に出力する。
【0019】
可変長符号復号回路105は再生回路103からの画像信号に対して記録時に対応した可変長符号の復号処理を施し、逆量子化回路107に出力する。逆量子化回路107は記録時に応じた量子化係数に従って再生信号を逆量子化し、逆DCT回路109に出力する。本形態における画像信号は、記録時に1フレームの縦8画素×横8画素毎にDCT処理されており、逆DCT回路109は逆量子化回路107から出力された画像信号に対して逆DCT処理を施し、DCT係数から通常の画像データに変換する。
【0020】
逆DCT回路109からブロック単位で出力された画像信号は後述の静止画像処理回路111を介してメモリ113に書き込まれる。そして、メモリ113からラスタスキャンの順に読み出され、出力回路115により外部モニタ等に出力される。
【0021】
さて、このような構成において、操作部119により静止画再生の指示があったときの動作について説明する。
【0022】
制御回路117は操作部119より静止画再生の指示があると、再生回路103に対してテープ101の搬送を一時停止する旨の制御信号を出力すると共に静止画像処理回路111に対して静止画像の処理を行う旨の制御信号を出力する。
【0023】
図2は静止画像処理回路111の構成を示す図である。
【0024】
逆DCT回路109により逆DCT処理が施された画像信号は図3に示したような順番でブロック単位に出力され、8画素メモリ201、動き量検出回路207及び補間信号生成回路205に出力される。8画素メモリ201は入力された画像信号を8画素に対応する期間遅延して補間信号生成回路205、動き量検出回路207及び8画素メモリ203に出力する。8画素メモリ203は8画素メモリ201からの画像信号を更に8画素に対応する期間遅延して補間信号生成回路205及び動き量検出回路207に出力する。
【0025】
このように、1ブロック内で垂直方向に連続する3画素の画像信号が補間信号生成回路205及び動き量メモリ209に出力される。動き量検出回路207は、図4に示したように、連続する3画素の画像信号のうち、中央の画素Cの画像信号の値と、その上下の画素A,Bの画像信号の値の平均値AVEとの差βを求め、このβを動き量として補間信号生成回路205及び動き量メモリ209に出力する。また、動き量検出回路207はそのときの画素AとBとの差THも補間信号生成回路205に出力する。
【0026】
ここで、各ブロックの画像信号は図3に示したように1o,2o,3o,4oで示した奇数ラインの画像信号と1e,2e,3e,4eで示した偶数ラインの画像信号とから構成されている。本形態においては、奇数フィールドの画像信号についてはそのままメモリ113に出力し、偶数フィールドの画像信号については動き量検出回路207の出力に基づいて補間信号生成回路205により補間信号を生成してメモリ113に出力する。
【0027】
補間信号生成回路205は、動き量検出回路207より出力された動き量βと、画素AとBの画像信号の値の差THとに基づき、以下の式に従って画素Cの画像信号と画素AとBの平均値AVEとを合成し、補間信号を生成する。
【0028】
補間信号c=(1−α)C+αAVE
【0029】
ここで、αは画素CとAVEとの合成の割合を決定するための係数である。具体的には、補間画像生成回路205は図5に示したようにβの値が0〜THと変化する間でαの値を1.0〜0.0の間で変化させる。
【0030】
このときの画素CとAVEとの合成の様子を図6に示す。
【0031】
図6に示したように、動き量βが0のときには、補間画像信号として画素Cの画像信号をそのまま出力し、動き量βが大きくなる程AVEの割合を増やし、βがTH以上となった場合にはAVEをそのまま出力する。
【0032】
なお、補間画素がブロックの上下端部、例えば図3におけるライン4eであり、上下に連続する3画素が全て得られない場合には、前ライン、即ちライン3oの画像信号動き量を動き量メモリ209より読み出し、補間信号生成回路205はこの1フレーム前の動き量βを使って補間画像信号を生成する。
【0033】
同様に、ブロック端部であるために補間画像信号の生成に用いる同一ブロック内の3画素の画像信号を得ることができない場合、即ち、図3においてライン4eの画素については、8画素メモリ201あるいは203に記憶されている、例えば補間する画素の1ライン上、即ちライン4oの画素を用いて補間画像を生成する。
【0034】
つまり、ライン4eの画像信号を補間するときには、動きに応じてライン4eの画素とライン4oの画素との合成比率を変化させて補間画像信号を得る。
【0035】
このように、本形態においては、動きに応じて画像信号を補間することにより静止画像を得る場合に、逆DCT回路からブロック単位で出力された状態で補間処理を施しているので、動き検出のために2つの8画素分のメモリを設けるだけでよく、ラインメモリが不要となる。
【0036】
従って、回路規模を大型化することなく、高精細な静止画像(補間画像)を得ることができる。
【0037】
なお、本形態では図5に示したようにαの値を連続的に変化させて補間画像を生成したが、回路の簡略化のためにαを階段状に変化させ、図7に示す様に補間画像信号を生成するようにしてもよい。
【0038】
また、本形態では、ブロックの大きさを8画素×8画素としたが、これ以外のサイズでも構わない。例えば、ブロックの大きさを垂直m画素×水平n画素とすると、図3の如く各ブロックの画像信号を出力する場合にはn画素分のメモリを2つ用意することで、同様に補間画像を生成することが可能となる。
【0039】
また、前述の形態では、画素Cと画素AとBとの平均値AVEとに基づいて動きを検出したが、これに限らず、例えば画素Cと画素Aとの差分に基づいて動きを検出してもよく、また、画素Cと画素Bとの差分に基づいて動きを検出してもよい。この場合には8画素ラインメモリは1つだけ設ければよく、図2のものに比べて一層回路規模を縮小することができる。
【0040】
次に、本願の他の実施形態について説明する。
【0041】
図8は本発明が適用されるVTRの記録系の構成を示すブロック図である。なお、図1と同様の構成については同一番号を付して説明する。
【0042】
図において、撮像回路301は被写体像を撮像し、画像信号に変換してメモリ303に書き込む。静止画像処理回路111はメモリ303に書き込まれた画像信号を図3に示した順に8画素×8画素のブロック単位で読み出し、DCT回路305に出力する。
【0043】
DCT回路305はブロック単位で読み出された画像信号に対してDCT処理を施し、DCT係数に変換して量子化回路307に出力する。DCT回路305より出力された画像信号は、量子化回路307において、所定数のブロック毎に一定の符号量になるように決定された量子化係数で量子化され、更に可変長符号化回路309において符号化され、記録回路311に出力される。記録回路311は可変長符号化回路309により符号化された画像信号に対して同期信号の不可、誤り訂正符号化、デジタル変調等の処理を施し、テープ101に記録する。
【0044】
さて、このような図7の構成において、操作部119により静止画記録の指示があった場合、制御回路117はメモリ303に対して画像信号の書き込みを禁止するよう制御信号を出力すると共に、静止画像処理回路111に対してその旨を示す制御信号を出力する。
【0045】
静止画像処理回路111は図2に示したものと同様の構成であり、図1の実施形対と同様にメモリ303からブロック単位で出力される画像信号の動きを検出し、この動きに基づいて補間画像信号を生成する。
【0046】
静止画像生成回路111により生成された静止画像信号は、通常の記録時と同様にブロック単位にDCT回路305に出力され、圧縮符号化された後、記録される。
【0047】
このように、本形態においても、動きに応じて画像信号を補間することにより静止画像を得る場合に、逆DCT回路からブロック単位で出力された状態で補間処理を施しているので、動き検出のために2つの8画素分のメモリを設けるだけでよく、ラインメモリが不要となる。
【0048】
特に、撮像素子として、インタレース読み出し式のCCDを使った場合に、従来の方式に比べて顕著な効果を得ることができる。
【0049】
なお、前述の実施形態では、本発明をVTRに対して適用した場合について説明したが、これに限らず、ブロック単位で処理された画像信号を補間する場合に本発明を適用可能であり、同様の効果を有する。
【0050】
また、図2に示した動き量検出回路207による動き検出処理、及び、補間信号生成回路205による補間信号の生成処理はマイクロコンピュータを用いたソフトウェア処理により実行可能であり、この場合にも前述の実施形態と同様の効果を有する。
【0051】
また、このときプログラムの各ステップを記憶したコンピュータ読み取り可能な記憶媒体も当然本発明の構成となる。
【0052】
【発明の効果】
以上説明したように、本発明によれば、一方のフィールド画像信号を用いて他方のフィールド画像信号を補間する際、回路規模を大型化することなく高精細な補間画像を得ることが可能となる。
【図面の簡単な説明】
【図1】本発明が適用されるVTRの再生系の構成を示す図である。
【図2】図1の静止画像処理回路の構成を示す図である。
【図3】図2の回路にて扱う画像信号の様子を示す図である。
【図4】図2の回路の動き検出動作を説明するための図である。
【図5】図2の回路の動作を説明するための図である。
【図6】図2の回路の動作を説明するための図である。
【図7】図2の回路の動作を説明するための図である。
【図8】本発明が適用されるVTRの記録系の構成を示す図である。
Claims (2)
- 互いにインタレースした第1のフィールドと第2のフィールドで1フレームが構成され、垂直方向m画素×水平方向n画素(m、nはそれぞれ2以上の整数)から構成されるブロックを単位として符号化された画像信号を入力する入力手段と、
前記入力手段により入力された画像信号を復号して前記ブロック単位に出力する復号手段と、
前記復号手段より出力された画像信号をn画素に対応した期間遅延させるメモリと、
前記復号手段から出力された画像信号と前記メモリにより遅延された画像信号とに基づいて、前記ブロックにおける第1のフィールドの画像信号と第2のフィールドの画像信号の間の動きを検出する動き検出手段と、
前記復号手段から出力された画像信号と前記メモリにより遅延された画像信号とを、前記動き検出手段の検出結果に従って演算することにより、前記ブロックにおける第1のフィールドの画像信号と第2のフィールドの画像信号とが合成された補間画像信号を生成し、前記ブロックにおける第1のフィールドの画像信号として前記復号手段から出力された第1のフィールドの画像信号を出力し、前記ブロックにおける第2のフィールドの画像信号として前記補間画像信号を出力する補間手段とを備える画像処理装置。 - 前記補間手段は前記動き検出手段の検出結果に従って、前記第1のフィールドの画像信号と第2のフィールドの画像信号の合成の割合を決定することを特徴とする請求項1記載の画像処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25823398A JP4250229B2 (ja) | 1998-09-11 | 1998-09-11 | 画像処理装置 |
US09/391,519 US6778758B1 (en) | 1998-09-11 | 1999-09-08 | Image processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25823398A JP4250229B2 (ja) | 1998-09-11 | 1998-09-11 | 画像処理装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2000092453A JP2000092453A (ja) | 2000-03-31 |
JP2000092453A5 JP2000092453A5 (ja) | 2005-10-27 |
JP4250229B2 true JP4250229B2 (ja) | 2009-04-08 |
Family
ID=17317379
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP25823398A Expired - Fee Related JP4250229B2 (ja) | 1998-09-11 | 1998-09-11 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4250229B2 (ja) |
-
1998
- 1998-09-11 JP JP25823398A patent/JP4250229B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2000092453A (ja) | 2000-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5825429A (en) | Apparatus and method for generating interpolated image data | |
EP1176830A1 (en) | Improved processing apparatus, image recording apparatus and image reproduction apparatus | |
JPH0937243A (ja) | 動画像符号化装置及び復号装置 | |
JP3604732B2 (ja) | 映像システム | |
JP3951321B2 (ja) | 画像信号処理装置および記録/再生装置 | |
JP4250229B2 (ja) | 画像処理装置 | |
JP3111028B2 (ja) | 画像信号処理装置及び画像信号処理方法 | |
JP3746540B2 (ja) | 画像処理装置 | |
EP1182869B1 (en) | Image-signal processing apparatus and method | |
US5915040A (en) | Image processing apparatus | |
JP3733248B2 (ja) | 再生装置及びその方法 | |
KR100252145B1 (ko) | 화상데이타의 부호화장치 및 복호화장치의 조합체 | |
JP2001103479A (ja) | 動画像復号装置 | |
JP3312456B2 (ja) | 映像信号処理装置 | |
JP3276675B2 (ja) | 映像記録装置 | |
JP2000350153A (ja) | 画像処理装置及びその方法 | |
US6778758B1 (en) | Image processing apparatus | |
JP3601330B2 (ja) | 映像信号再生装置 | |
JP2899298B2 (ja) | 電子スチルカメラシステム | |
JP2508440B2 (ja) | 高能率符号化装置 | |
JP2000350205A (ja) | 画像処理装置及びその方法 | |
JP2707666B2 (ja) | 再生装置 | |
JP4072222B2 (ja) | 記録再生装置 | |
JP3365613B2 (ja) | デジタル信号再生装置 | |
JP2832949B2 (ja) | 高能率符号の復号装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050907 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050907 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071218 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081021 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081209 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090106 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090119 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120123 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130123 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140123 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |