JP4749377B2 - Block noise removal device - Google Patents
Block noise removal device Download PDFInfo
- Publication number
- JP4749377B2 JP4749377B2 JP2007107004A JP2007107004A JP4749377B2 JP 4749377 B2 JP4749377 B2 JP 4749377B2 JP 2007107004 A JP2007107004 A JP 2007107004A JP 2007107004 A JP2007107004 A JP 2007107004A JP 4749377 B2 JP4749377 B2 JP 4749377B2
- Authority
- JP
- Japan
- Prior art keywords
- block noise
- value
- block
- pixel
- phase error
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012937 correction Methods 0.000 claims description 99
- 238000001514 detection method Methods 0.000 claims description 58
- 238000012545 processing Methods 0.000 claims description 18
- 238000000034 method Methods 0.000 claims description 17
- 238000009825 accumulation Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 description 40
- 101150112492 SUM-1 gene Proteins 0.000 description 11
- 101150096255 SUMO1 gene Proteins 0.000 description 11
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000003111 delayed effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 101100129499 Arabidopsis thaliana MAX2 gene Proteins 0.000 description 7
- 101100382854 Arabidopsis thaliana CCD7 gene Proteins 0.000 description 6
- 238000013139 quantization Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000004069 differentiation Effects 0.000 description 4
- 101100534685 Arabidopsis thaliana SUMO5 gene Proteins 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 101100534682 Arabidopsis thaliana SUMO4 gene Proteins 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000000593 degrading effect Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- KQKPFRSPSRPDEB-UHFFFAOYSA-N sumatriptan Chemical compound CNS(=O)(=O)CC1=CC=C2NC=C(CCN(C)C)C2=C1 KQKPFRSPSRPDEB-UHFFFAOYSA-N 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、複数のブロック毎に圧縮符号化された情報データを復号した際に生じるブロックノイズを除去するブロックノイズ除去装置に関する。 The present invention relates to a block noise removing apparatus that removes block noise generated when information data compression-coded for a plurality of blocks is decoded.
現在、映像又は音声信号等を伝送又は記録する際にその情報量を減らすべく、MPEG (Moving Picture Expert Group)方式を採用した圧縮符号化が実施されている。かかるMPEG符号化処理では、映像信号に対して2次元の単位ブロック毎に離散コサイン変換(Discrete Cosine Transformation: 以下DCTと称する)を施して周波数領域毎のDCT係数に変換した後、量子化処理を行うことにより情報量の圧縮を図る。この際、量子化処理に用いる量子化ステップが大きいほど圧縮率は大きくなるが、一部の値が切り捨てられるために量子化ノイズが発生する。かかる量子化ノイズの代表的なものとしてブロックノイズがある。すなわち、MPEG符号化処理では上述した如く2次元の単位ブロック毎に各種処理が為されるため、これを復号した際にブロックの境界が出現してしまうのである。映像信号としては、輝度信号、色差信号を圧縮するのが通常であるが、RGB信号等各種信号形式が考えられる。 Currently, in order to reduce the amount of information when a video or audio signal is transmitted or recorded, compression coding employing an MPEG (Moving Picture Expert Group) system is being implemented. In such MPEG encoding processing, a discrete cosine transformation (hereinafter referred to as DCT) is performed on a video signal for each two-dimensional unit block to convert it into DCT coefficients for each frequency domain, and then quantization processing is performed. By doing so, the amount of information is reduced. At this time, the larger the quantization step used in the quantization process is, the larger the compression ratio is, but a part of the values are discarded, and quantization noise is generated. A typical example of such quantization noise is block noise. That is, in the MPEG encoding process, various processes are performed for each two-dimensional unit block as described above, and therefore, when this is decoded, a block boundary appears. As a video signal, a luminance signal and a color difference signal are usually compressed, but various signal formats such as an RGB signal are conceivable.
そこで、MPEG復号後の映像信号に対して、このようなブロックノイズを検出しそれを除去する方法が提案された(特許文献1参照)。かかるブロックノイズ除去方法においては、先ず、MPEG復号後の映像信号に対して水平方向に隣接する画素同士にて差分を取りその差分値が所定の閾値よりも大である場合にその箇所がブロック境界であると判定する(特許文献1の図3(a)〜図3(c)参照)。そして、そのブロック境界部に対してフィルタリング処理を施すことにより、ブロックノイズの原因となる隣接ブロック間の急峻なレベル変化を滑らかにして、ブロックノイズ低減を実現するのである。 Therefore, a method has been proposed in which such block noise is detected and removed from the video signal after MPEG decoding (see Patent Document 1). In such a block noise elimination method, first, a difference is obtained between pixels adjacent in the horizontal direction to a video signal after MPEG decoding, and when the difference value is larger than a predetermined threshold, the location is a block boundary. (Refer to FIG. 3A to FIG. 3C of Patent Document 1). Then, by applying a filtering process to the block boundary portion, a steep level change between adjacent blocks causing block noise is smoothed, and block noise reduction is realized.
ところが、図1に示すように1ブロック内において水平方向に徐々に映像信号のレベルが増加(又は減少)するような絵柄を表す映像信号に対しては、隣接する画素同士の差分が常に0以外の一定値となるため、この部分をブロック境界であると誤判定する恐れがあった。 However, as shown in FIG. 1, the difference between adjacent pixels is always other than 0 for a video signal representing a picture in which the level of the video signal gradually increases (or decreases) in the horizontal direction within one block. Therefore, there is a risk that this portion is erroneously determined to be a block boundary.
又、MPEG復号された後に、その解像度がリサイズ化された映像信号、或いはアナログ化された映像信号ではブロック境界がボケた状態になるので、正しくブロック境界を検出することができないという問題があった。
本発明は、かかる問題を解決すべく為されたものであり、2次元の画素ブロック単位で圧縮符号化及び復号化された後にアナログ化又はリサイズ化された映像信号に対しても、画像品質を低下させることなくブロック境界部でのノイズを除去することが可能なブロックノイズ除去装置を提供することを目的とする。 The present invention has been made to solve such a problem. Image quality can be improved even for a video signal that has been analogized or resized after being compression-encoded and decoded in units of two-dimensional pixel blocks. It is an object of the present invention to provide a block noise removing device capable of removing noise at a block boundary without lowering.
請求項1記載によるブロックノイズ除去装置は、複数の画素から成る画素ブロック毎に符号化及び復号化された復号化映像信号の中からブロックノイズを除去するブロックノイズ除去装置であって、前記復号化映像信号における互いに隣接する画素同士の差分値を画素間差分値として求める画素間差分値演算手段と、前記復号化映像信号のブロックのブロックサイズN(Nは整数)または前記ブロックサイズNの整数倍であるM単位で前記画素間差分値を画素群毎に区分けし、前記画素群各々内において第1〜第N番目、または第1〜第M番目に夫々配置されている画素各々に対応した前記画素間差分値を前記画素群各々内における第n番目(n:1〜Nまたは1〜M)に配置されているもの同士にて累算した結果を夫々第1〜第Nブロックノイズ値、または第1〜第Mブロックノイズ値として得る累算手段と、前記第1〜第Nブロックノイズ値または前記第1〜第Mブロックノイズ値各々の内から最大のブロックノイズ値を判定し当該最大ブロックノイズ値に対応した前記画素群内での画素位置をブロック境界位置として示すブロック境界位置信号を生成すると共に、前記最大ブロックノイズ値に対応した画素の両側に隣接する画素に夫々対応した前記ブロックノイズ値各々の内の大なる方を位相誤差ブロックノイズ値として判定し当該位相誤差ブロックノイズ値と前記最大ブロックノイズ値との比率に基づいて位相誤差信号を生成するブロック境界検出手段と、前記復号化映像信号に対して前記位相誤差信号に基づく位相補正処理を施した位相補正画素サンプル値を検出する位相補正手段と、前記位相補正画素サンプル値に基づいてブロックノイズ除去処理を施すことによりノイズ除去映像信号を生成する手段と、を有する。
2. The block noise removing apparatus according to
請求項4記載によるブロックノイズ除去装置は、複数の画素から成る画素ブロック毎に符号化及び復号化された復号化映像信号の中からブロックノイズを除去するブロックノイズ除去装置であって、前記復号化映像信号における互いに隣接する画素同士の差分値を画素間差分値として求める画素間差分値演算手段と、前記復号化映像信号のブロックのブロックサイズN(Nは整数)と前記復号化映像信号において推定されるリサイズブロックサイズLとの公倍数であるM単位で前記画素間差分値を画素群毎に区分けし、前記画素群各々内において第1〜第M番目に夫々配置されている画素各々に対応した前記画素間差分値を前記画素群各々内における第n番目(n:1〜M)に配置されているもの同士にて累算した結果を夫々第1〜第Mブロックノイズ値として得る累算手段と、連続する前記第1〜第Mブロックノイズ値の周期がNとLのどちらかを判断する周期判断手段と、前記第1〜第Nブロックノイズ値または前記第1〜第Mブロックノイズ値各々の内から最大のブロックノイズ値を判定し当該最大ブロックノイズ値に対応した前記画素群内での画素位置をブロック境界位置として示すブロック境界位置信号を生成すると共に、前記最大ブロックノイズ値に対応した画素の両側に隣接する画素に夫々対応した前記ブロックノイズ値各々の内の大なる方を位相誤差ブロックノイズ値として判定し当該位相誤差ブロックノイズ値と前記最大ブロックノイズ値との比率に基づいて位相誤差信号を生成するブロック境界検出手段と、前記復号化映像信号に対して前記位相誤差信号に基づく位相補正処理を施した位相補正画素サンプル値を検出する位相補正手段と、前記位相補正画素サンプル値と前記周期判断手段によって検出された前記周期に基づいてブロックノイズ除去処理を施すことによりノイズ除去映像信号を生成する手段と、を有する。
5. The block noise removing apparatus according to
請求項7記載によるブロックノイズ除去装置は、複数の画素から成る画素ブロック毎に符号化及び復号化されたN個(水平方向)×N個(垂直方向)の画素からなる復号化映像信号または前記復号化映像信号の解像度をQ倍にリサイズしたリサイズ復号化映像信号中からブロックノイズを除去するブロックノイズ除去装置であって、前記復号化映像信号または前記リサイズ復号化映像信号における互いに隣接する画素同士の差分値を画素間差分値として求める画素間差分値演算手段と、1画面内の画素各々を水平方向又は垂直方向に隣接して配置されているM個(M:N・QとNとの公倍数)の画素からなる画素群毎に区分けし、前記画素群各々内において第1〜第M番目に夫々配置されている画素各々に対応した前記単位ブロックノイズ値を前記画素群各々内における第n番目(n:1〜M)に配置されているもの同士で累算した結果を夫々第1〜第Mブロックノイズ値として得る累算手段と、前記第1〜第Mブロックノイズ値なる順に前記第1〜第Mブロックノイズ値の各々に第1〜第Nラベルを周期的に繰り返し割り当て、同一ラベルが割り当てられているもの同士にてブロックノイズ値を累算した結果を夫々第1〜第N畳込ブロックノイズ値として得る畳込手段と、前記第1〜第N畳込ブロックノイズ値各々の内から最大の畳込ブロックノイズ値を判定し当該最大畳込ブロックノイズ値に対応した画素位置をブロック境界位置として示す第1ブロック境界位置信号を生成すると共に、前記最大畳込ブロックノイズ値に対応した画素の両側に隣接する画素に夫々対応した前記畳込ブロックノイズ値各々の内の大なる方を位相誤差畳込ブロックノイズ値として判定し当該位相誤差畳込ブロックノイズ値と前記最大畳込ブロックノイズ値との比率に基づいて第1位相誤差信号を生成する第1ブロック境界検出手段と、前記第1〜第Mブロックノイズ値各々の内から最大のブロックノイズ値を判定し当該最大ブロックノイズ値に対応した画素位置をブロック境界位置として示す第2ブロック境界位置信号を生成すると共に、前記最大ブロックノイズ値に対応した画素の両側に隣接する画素に夫々対応した前記ブロックノイズ値各々の内の大なる方を位相誤差ブロックノイズ値として判定し当該位相誤差ブロックノイズ値と前記最大ブロックノイズ値との比率に基づいて第2位相誤差信号を生成する第2ブロック境界検出手段と、前記第1位相誤差信号及び前記第2位相誤差信号の内の一方を選択してこれを位相誤差信号として出力すると共に、前記第1ブロック境界位置信号及び前記第2ブロック境界位置信号の内の一方を選択してこれをブロック境界位置信号として出力する選択手段と、前記復号化映像信号又は前記リサイズ復号化映像信号に対して前記位相誤差信号に基づく位相補正処理を施してから前記ブロック境界位置信号に基づくブロックノイズ除去処理を施すことによりノイズ除去映像信号を生成する手段と、を有する。 The block noise removing apparatus according to claim 7 is a decoded video signal including N (horizontal direction) × N (vertical direction) pixels encoded and decoded for each pixel block including a plurality of pixels. A block noise removing apparatus that removes block noise from a resized decoded video signal obtained by resizing the resolution of the decoded video signal by a factor of Q, the pixels adjacent to each other in the decoded video signal or the resized decoded video signal The inter-pixel difference value calculating means for obtaining the difference value between the pixels as a difference value between the pixels, and M pixels (M: N · Q and N) arranged adjacent to each other in the horizontal direction or the vertical direction. The unit block noise value corresponding to each of the first to Mth pixels arranged in each pixel group is divided into pixel groups each having a common multiple) pixel. Accumulating means for accumulating the n-th (n: 1 to M) elements arranged in the pixel groups as first to M-th block noise values, respectively; The result of accumulating the block noise values among those assigned with the same label to each of the first to M-th block noise values periodically and repeatedly assigned to each of the first to M-th block noise values. Respectively, and a maximum convolution block noise value is determined from each of the first to Nth convolution block noise values, and the maximum convolution block noise is determined. Generating a first block boundary position signal indicating a pixel position corresponding to the value as a block boundary position, and the tatami mat corresponding to pixels adjacent to both sides of the pixel corresponding to the maximum convolution block noise value. The larger one of the block noise values is determined as a phase error convolution block noise value, and a first phase error signal is generated based on the ratio between the phase error convolution block noise value and the maximum convolution block noise value. First block boundary detecting means for determining a maximum block noise value from each of the first to Mth block noise values and indicating a pixel position corresponding to the maximum block noise value as a block boundary position A position signal is generated, and a larger one of the block noise values corresponding to pixels adjacent to both sides of the pixel corresponding to the maximum block noise value is determined as a phase error block noise value, and the phase error block Second block boundary detecting means for generating a second phase error signal based on a ratio between a noise value and the maximum block noise value; , One of the first phase error signal and the second phase error signal is selected and output as a phase error signal, and one of the first block boundary position signal and the second block boundary position signal is output. Selecting means for selecting one and outputting it as a block boundary position signal; and applying the phase correction processing based on the phase error signal to the decoded video signal or the resized decoded video signal, and then the block boundary position Means for generating a noise-removed video signal by performing block noise removal processing based on the signal.
本発明においては、先ず、復号化映像信号のブロックのブロックサイズN(Nは整数)またはブロックサイズNの整数倍であるM単位で各画素間差分値を画素群毎に区分けし、画素群各々内において第1〜第N番目、または第1〜第M番目に夫々配置されている画素各々に対応した画素間差分値を画素群各々内における第n番目(n:1〜Nまたは1〜M)に配置されているもの同士にて累算した結果を夫々第1〜第Nブロックノイズ値、または第1〜第Mブロックノイズ値として得る。次に、第1〜第Nブロックノイズ値または第1〜第Mブロックノイズ値各々の内から最大のブロックノイズ値を判定し当該最大ブロックノイズ値に対応した画素群内での画素位置をブロック境界位置として示すブロック境界位置信号を生成すると共に、最大ブロックノイズ値に対応した画素の両側に隣接する画素に夫々対応したブロックノイズ値各々の内の大なる方を位相誤差ブロックノイズ値として判定する。そして、当該位相誤差ブロックノイズ値と最大ブロックノイズ値との比率に基づいて位相誤差信号を生成し、復号化映像信号に対してかかる位相誤差信号に基づく位相補正処理を施した位相補正画素サンプル値に基づいてブロックノイズ除去処理を実施する。 In the present invention, first, the inter-pixel difference value is divided for each pixel group in units of M, which is a block size N (N is an integer) of the block of the decoded video signal or an integer multiple of the block size N. The inter-pixel difference value corresponding to each of the 1st to Nth or 1st to Mth pixels arranged in the nth (n: 1 to N or 1 to M) in each pixel group. ) Are accumulated as the first to Nth block noise values or the first to Mth block noise values, respectively. Next, the maximum block noise value is determined from each of the first to Nth block noise values or the first to Mth block noise values, and the pixel position in the pixel group corresponding to the maximum block noise value is determined as a block boundary. A block boundary position signal indicated as a position is generated, and the larger one of the block noise values corresponding to the pixels adjacent to both sides of the pixel corresponding to the maximum block noise value is determined as the phase error block noise value. Then, a phase correction pixel sample value obtained by generating a phase error signal based on a ratio between the phase error block noise value and the maximum block noise value and performing a phase correction process based on the phase error signal on the decoded video signal Block noise removal processing is performed based on the above.
かかる構成によれば、隣接するブロック同士のレベル差が大となる映像信号、或いは復号後においてその解像度がリサイズされた映像信号に対しても、その表示画質を劣化させることなく確実にブロックノイズを除去することが可能となる。 According to such a configuration, even for a video signal in which the level difference between adjacent blocks becomes large or a video signal whose resolution has been resized after decoding, block noise is reliably generated without degrading the display image quality. It can be removed.
以下、本発明の実施例を図面を参照しつつ詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図2は、本発明によるブロックノイズ除去装置の構成を示す図である。 FIG. 2 is a diagram showing a configuration of a block noise removing apparatus according to the present invention.
図2に示されるように、かかるブロックノイズ除去装置は、入力映像信号中からブロックノイズの検出を行う検出部100と、ブロックノイズ検出結果に応じて入力映像信号に生じているブロックノイズを除去する除去部200と、からなる。
As shown in FIG. 2, the block noise removing apparatus removes block noise generated in the input video signal according to a
検出部100は、一次微分回路1、メディアンフィルタ2、差分絶対値演算回路3、32画素周期累算回路4、8画素周期畳込回路5、第1ブロック境界検出回路7、セレクタ8、第2ブロック境界検出回路9、及び比較器10から構成される。
The
一次微分回路1は、入力映像信号における各画素に対応した信号レベルに対して、互いに隣接する画素同士の差分値を画素間差分値として求め、各画素毎の画素間差分値の系列からなる画素間差分値系列DFTをメディアンフィルタ2及び差分絶対値演算回路3に供給する。
The primary differentiating
尚、入力映像信号とは、MPEG符号器によって8画素(水平方向)×8画素(垂直方向)からなる2次元の画素ブロック毎に圧縮符号化された映像信号をMPEG復号化して得られた信号である。この際、輝度信号は8画素(水平方向)×8画素(垂直方向)からなる画素ブロック毎に圧縮符号化され、8画素(水平方向)×8画素(垂直方向)の復号化信号に復号化される。ところが、色差信号は輝度信号の1/4の信号量として扱われるため、8画素(水平方向)×8画素(垂直方向)からなる画素ブロック毎に圧縮符号化され、16画素(水平方向)×16画素(垂直方向)の復号化信号に復号化される。ここで、入力映像信号の解像度は[720×480画素]、[1440×1080画素]、[1920×1080画素]等各種あるが、MPEG復号化後にチューナ側で表示装置の解像度に合わせて解像度変換することがある。これをリサイズと言う。本明細書では入力映像信号としては、MPEG復号後の解像度が[1440×1080画素]の映像信号、或いはMPEG復号化後にその水平方向における解像度が1.33倍の[1920×1080画素]にリサイズされたリサイズ映像信号を例として説明する。実際の入力映像信号の解像度は上記のように各種あり、将来的には様々なリサイズが考えられる。 The input video signal is a signal obtained by MPEG decoding a video signal compression-coded for each two-dimensional pixel block of 8 pixels (horizontal direction) × 8 pixels (vertical direction) by an MPEG encoder. It is. At this time, the luminance signal is compressed and encoded for each pixel block of 8 pixels (horizontal direction) × 8 pixels (vertical direction), and decoded into a decoded signal of 8 pixels (horizontal direction) × 8 pixels (vertical direction). Is done. However, since the color difference signal is handled as a signal amount that is ¼ of the luminance signal, it is compressed and encoded for each pixel block of 8 pixels (horizontal direction) × 8 pixels (vertical direction), and 16 pixels (horizontal direction) × It is decoded into a decoded signal of 16 pixels (vertical direction). Here, there are various resolutions of the input video signal such as [720 × 480 pixels], [1440 × 1080 pixels], [1920 × 1080 pixels], etc., but after MPEG decoding, the tuner converts the resolution according to the resolution of the display device There are things to do. This is called resizing. In this specification, the input video signal is resized to [1920 × 1080 pixels] whose resolution after MPEG decoding is [1440 × 1080 pixels] or whose horizontal resolution is 1.33 times after MPEG decoding. A resized video signal will be described as an example. There are various actual resolutions of the input video signal as described above, and various resizing may be considered in the future.
メディアンフィルタ2は、画素間差分値系列DFT中において連続する3つの画素間差分値(又は1つおきに連続する3つの画素間差分値)毎に、その中から中央値を求めるべき統計処理を行って得られた中央値M2を差分絶対値演算回路3に供給する。 The median filter 2 performs a statistical process for obtaining a median value for each of three consecutive inter-pixel difference values (or every third consecutive inter-pixel difference value) in the inter-pixel difference value series DFT. The median value M2 obtained by the operation is supplied to the difference absolute value calculation circuit 3.
差分絶対値演算回路3は、上記画素間差分値系列DFT中の各画素間差分値と上記中央値M2との差分の絶対値を単位ブロックノイズ値ABSとして32画素周期累算回路4に供給する。
The difference absolute value calculation circuit 3 supplies the absolute value of the difference between each pixel difference value in the inter-pixel difference value series DFT and the median value M2 to the 32-pixel
以下に、上記一次微分回路1、メディアンフィルタ2及び差分絶対値演算回路3の動作について図3(a)〜図3(c)を参照しつつ説明する。
The operations of the
尚、図3(a)は、ブロック境界が存在する場合のブロック境界前後の入力映像信号の一例と、この際得られる画素間差分値系列DFT、中央値M2及び単位ブロックノイズ値ABSを表す図である。 FIG. 3A is a diagram showing an example of an input video signal before and after a block boundary when a block boundary exists, and an inter-pixel difference value series DFT, a median value M2, and a unit block noise value ABS obtained at this time. It is.
図3(a)に示される入力映像信号によれば、ブロック境界部の1点のみで画素間差分値系列DFTが0以外の値となり、それ以外の部分では全て0となるので、この間、画素間差分値系列DFT系列中において連続する3つの画素間差分値における中央値M2は常に0となる。よって、この際、画素間差分値系列DFT中における画素間差分値と中央値M2との差分の絶対値、つまり単位ブロックノイズ値ABSはブロック境界部のみで0以外の値を有することになる。 According to the input video signal shown in FIG. 3A, the inter-pixel difference value series DFT becomes a value other than 0 at only one point in the block boundary, and becomes 0 in all other parts. The median value M2 of three consecutive inter-pixel difference values in the inter-difference value series DFT series is always 0. Therefore, at this time, the absolute value of the difference between the inter-pixel difference value and the median value M2 in the inter-pixel difference value series DFT, that is, the unit block noise value ABS has a value other than 0 only at the block boundary portion.
一方、図3(b)は、ブロック境界が存在せず、且つ徐々にその信号レベルが増加する入力映像信号の一例と、この際得られる画素間差分値系列DFT、中央値M2及び単位ブロックノイズ値ABSを表す図である。 On the other hand, FIG. 3B shows an example of an input video signal in which the block boundary does not exist and the signal level gradually increases, and the inter-pixel difference value series DFT, median value M2, and unit block noise obtained at this time. It is a figure showing value ABS.
図3(b)に示す如きスロープ状にレベル変化する入力映像信号によれば、画素間差分値系列DFTは常に0以外の値となるが、この間、かかる画素間差分値系列DFT系列中において連続する3つの画素間差分値における中央値は、画素間差分値系列DFT中の各画素間差分値と同一となる。よって、この際、画素間差分値系列DFTと中央値M2nとの差分の絶対値、つまり単位ブロックノイズ値ABSは0となる。従って、スロープ状にレベル変化する入力映像信号が供給された場合にも、このスロープ部をブロック境界部と誤判断することのない単位ブロックノイズ値ABSが得られる。 According to the input video signal whose level changes in a slope shape as shown in FIG. 3B, the inter-pixel difference value series DFT is always a value other than 0. During this time, the inter-pixel difference value series DFT series is continuous. The median value among the three inter-pixel difference values is the same as the inter-pixel difference value in the inter-pixel difference value series DFT. Therefore, at this time, the absolute value of the difference between the inter-pixel difference value series DFT and the median value M2 n , that is, the unit block noise value ABS is zero. Therefore, even when an input video signal whose level changes in a slope shape is supplied, a unit block noise value ABS that does not erroneously determine the slope portion as a block boundary portion is obtained.
図3(c)は、ブロック境界が存在する場合のブロック境界前後におけるアナログ化又はリサイズ化された入力映像信号と、この際得られる画素間差分値系列DFT、中央値M2及び単位ブロックノイズ値ABSを表す図である。 FIG. 3C shows an input video signal that has been analogized or resized before and after the block boundary when a block boundary exists, and the inter-pixel difference value series DFT, median value M2, and unit block noise value ABS obtained at this time. FIG.
図3(c)に示すように、アナログ化又はリサイズ化された入力映像信号は、そのブロック境界部が滑らか、つまりボケた状態になる場合がある。このような入力映像信号に対しては、メディアンフィルタ2は、画素間差分値系列DFTによる系列中から1つおきに連続する3つの画素間差分値を抽出し、その中から中央値を求めるべき統計処理を行って得られた中央値M2を差分絶対値演算回路3に供給する。よって、アナログ化又はリサイズ化によってブロック境界部がぼけた状態となってしまった入力映像信号に対しても、図3(c)に示す如く、そのブロック境界部のみで0以外の値となる単位ブロックノイズ値ABSを生成することが可能となる。 As shown in FIG. 3C, the analog or resized input video signal may have a smooth block boundary, that is, a blurred state. For such an input video signal, the median filter 2 should extract every third consecutive inter-pixel difference value from the inter-pixel difference value series DFT, and obtain the median value from the three inter-pixel difference values. The median value M2 obtained by performing the statistical processing is supplied to the difference absolute value calculation circuit 3. Therefore, even for an input video signal in which the block boundary is blurred due to analogization or resizing, as shown in FIG. 3C, the unit becomes a value other than 0 only at the block boundary. A block noise value ABS can be generated.
かかる単位ブロックノイズ値ABSに基づいて32画素周期累算回路4は、以下の如き累算加算演算処理を実行する。
Based on the unit block noise value ABS, the 32-pixel
32画素周期累算回路4は、先ず、ディスプレイ装置(図示せぬ)における1フレーム分の各画素Gを、図4に示す如く夫々水平方向(又は垂直方向)に隣接する画素同士からなる32個の画素からなる画素群(太実線にて囲む)に区分けし、各画素群内において、その画素群内での各画素位置に対応させて画素位置ラベルL1〜L32を割り当てる。次に、32画素周期累算回路4は、各画素位置ラベルL毎に、その画素位置ラベルLにて示される画素群内での画素位置に配置されている画素に対応した上記単位ブロックノイズ値ABSの値を1画面分に亘り累算する。そして、32画素周期累算回路4は、画素位置ラベルL1〜L32各々毎に求めた累算結果を、ブロックノイズ値SUM1〜SUM32として生成する。
First, the 32 pixel
すなわち、8画素(水平方向)×8画素(垂直方向)からなるブロック毎に圧縮符号及び復号化して得られた入力映像信号では、8画素周期毎にブロックノイズが表れる。一方、かかるブロック毎に圧縮符号及び復号化して得られた解像度[1440×1080画素]を有する映像信号の水平方向における解像度を1.33倍の解像度[1920画素]にリサイズ化された入力映像信号では、(8×1.33)画素周期、つまり、約10.67画素周期毎にブロックノイズが表れる。 That is, in the input video signal obtained by compressing and decoding each block composed of 8 pixels (horizontal direction) × 8 pixels (vertical direction), block noise appears every 8 pixel periods. On the other hand, in the input video signal resized to a resolution [1920 pixels] of 1.33 times the resolution in the horizontal direction of the video signal having the resolution [1440 × 1080 pixels] obtained by compression coding and decoding for each block, Block noise appears every (8 × 1.33) pixel period, that is, approximately every 10.67 pixel periods.
そこで、32画素周期累算回路4においては、リサイズ化されていない映像信号及びその解像度が1.33倍にリサイズ化されたリサイズ映像信号の双方に対してブロックノイズの要因となるブロック境界位置を検出可能とすべく、8画素と(8画素×1.33)画素との最小公倍数である32画素周期毎に単位ブロックノイズ値ABSの累算を行ってブロックノイズ値SUM1〜SUM32を得るようにしたのである。要するに、32画素周期累算回路4では、N×N画素からなる2次元画素ブロック毎に符号化及び復号化して得られた映像信号とその解像度をQ倍にリサイズしたリサイズ映像信号の双方に対して、Nと(N・Q)との最小公倍数であるM画素周期毎に単位ブロックノイズ値の累算を行って第1〜第Mブロックノイズ値(SUM1〜SUM32)を得るのである。
Therefore, the 32-pixel
8画素周期畳込回路5は、画素位置ラベルTL1〜TL8なる順にこれらTL1〜TL8各々を図5に示すように、周期的にブロックノイズ値SUM1〜SUM32各々に割り当てる。そして、8画素周期畳込回路5は、各画素位置ラベルTL毎に、その画素位置ラベルTLが割り当てられているブロックノイズ値SUM各々を累算し、これら画素位置ラベルTL1〜TL8各々毎の累算結果を、新たなブロックノイズ値SUME1〜SUME8として第1ブロック境界検出回路7に供給する。 The 8-pixel periodic convolution circuit 5 periodically assigns each of these TL1 to TL8 to each of the block noise values SUM1 to SUM32 as shown in FIG. 5 in the order of the pixel position labels TL1 to TL8. Then, for each pixel position label TL, the 8-pixel periodic convolution circuit 5 accumulates each block noise value SUM to which the pixel position label TL is assigned, and accumulates each of these pixel position labels TL1 to TL8. The calculation result is supplied to the first block boundary detection circuit 7 as new block noise values SUME1 to SUME8.
第1ブロック境界検出回路7は、先ず、ブロックノイズ値SUME1〜SUME8各々の内で最大となるものを判定し、これを最大ブロックノイズ値SUMEMAXとする。次に、第1ブロック境界検出回路7は、この最大ブロックノイズ値SUMEMAXに割り当てられている画素位置ラベルTLの両側に隣接する画素位置ラベルTL各々に対応したブロックノイズ値SUME各々の内の大なる方を位相誤差ブロックノイズ値SUMEFEとする。次に、第1ブロック境界検出回路7は、ブロックノイズ値SUME1〜8の内から最大ブロックノイズ値SUMEMAX及び位相誤差ブロックノイズ値SUMEFEに夫々該当するものを省いたものの中で最大となるものと、最大ブロックノイズ値SUMEMAXとの差分を求めこれをリサイズ無し境界判断値BD1として比較器10に供給する。次に、第1ブロック境界検出回路7は、リサイズ無し境界判断値BD1が所定閾値S1よりも大であるか否かを判定する。ここで、大であると判定された場合、第1ブロック境界検出回路7は、最大ブロックノイズ値SUMEMAXにおける画素位置ラベルTLにて示される画素位置を基準とした8画素周期毎の各画素位置がブロック境界位置であると判断して、そのブロック境界位置を示すブロック境界位置信号BL1をセレクタ8に供給する。次に、第1ブロック境界検出回路7は、最大ブロックノイズ値SUMEMAXにおける画素位置ラベルTLに対する、位相誤差ブロックノイズ値SUMEFEにおける画素位置ラベルTLの方向に対応した極性を有し、且つ最大ブロックノイズ値SUMEMAXに対する位相誤差ブロックノイズ値SUMEFEの比率に応じた値を有する位相誤差信号P1を生成してセレクタ8に供給する。
The first block boundary detection circuit 7, first, to determine what the maximum among the block noise values SUME1~SUME8 each and this is the maximum block noise value SUME MAX. Next, the first block boundary detection circuit 7 has a large block noise value SUME corresponding to each pixel position label TL adjacent to both sides of the pixel position label TL assigned to this maximum block noise value SUME MAX. Is the phase error block noise value SUME FE . Next, the first block boundary detection circuit 7 is the largest among the block noise values
最大ブロックノイズ値SUMEMAXにおける画素位置をTLMAX、位相誤差ブロックノイズ値SUMEFEにおける画素位置をTLFEとする。隣接する画素位置は1単位で変化する。ここで、画素位置TLMAXが画素位置TLFEの左側に位置する場合、及び、画素位置TLMAXが画素位置TLFEの右側に位置する場合各々での動作について、図6(a)及び図6(b)を参照しつつ説明する。 The pixel position at the maximum block noise value SUME MAX is TL MAX and the pixel position at the phase error block noise value SUME FE is TL FE . Adjacent pixel positions change by one unit. Here, when the pixel position TL MAX is located on the left side of the pixel position TL FE and when the pixel position TL MAX is located on the right side of the pixel position TL FE , the operation in each case will be described with reference to FIGS. This will be described with reference to (b).
(A)画素位置TLMAXが画素位置TLFEの左側に位置するとき
図6(a)に示す如く画素位置TLMAXが画素位置TLFEの「−」側、つまり左側に位置するとき、ブロック境界位置BL1を画素位置TLMAXとする。この際、ブロックノイズ位置TLBLは、最大ブロックノイズ値SUMEMAXと位相誤差ブロックノイズ値SUMEFEの値の比により、画素位置TLMAX及びTLFEを比例配分した位置になる。従って、ブロック境界位置BL1から「+」側、つまり図6(a)に示す如き右側にずれた分の距離が位相誤差分を表す位相差誤差信号P1となる。すなわち、位相差誤差信号P1は、
P1=SUMEFE/(SUMEMAX+SUMEFE)……式(1)
によって求まる。
(A) When the pixel position TL MAX is located on the left side of the pixel position TL FE When the pixel position TL MAX is located on the “−” side of the pixel position TL FE , that is, on the left side as shown in FIG. The position BL1 is set as a pixel position TL MAX . At this time, the block noise position TL BL is a position where the pixel positions TL MAX and TL FE are proportionally distributed according to the ratio between the maximum block noise value SUME MAX and the phase error block noise value SUME FE . Therefore, the distance shifted from the block boundary position BL1 to the “+” side, that is, the right side as shown in FIG. 6A is the phase difference error signal P1 representing the phase error. That is, the phase difference error signal P1 is
P1 = SUME FE / (SUME MAX + SUME FE ) …… Formula (1)
It is obtained by.
このとき、0≦P<0.5となる。 At this time, 0 ≦ P <0.5.
これは、Pが0.5以上の場合は式(1)からSUMEMAX<SUMEFEとなり、定義に反するからである。 This is because, when P is 0.5 or more, SUME MAX <SUME FE from equation (1), which is contrary to the definition.
(B)画素位置TLMAXが画素位置TLFEの右側に位置するとき
図6(b)に示す如く画素位置TLMAXが画素位置TLFEの「+」側、つまり右側に位置するとき、ブロック境界位置BL1を画素位置TLFEとする。この際、ブロックノイズ位置TLBLは、最大ブロックノイズ値SUMEMAXと位相誤差ブロックノイズ値SUMEFEの値の比により、画素位置TLMAX及びTLFEを比例配分した位置になる。従って、ブロック境界位置BL1から「+」側、つまり図6(b)に示す如き右側にずれた分の距離が位相誤差分を表す位相差誤差信号P1となる。すなわち、位相差誤差信号P1は、
P1=SUMEMAX/(SUMEMAX+SUMEFE)……式(2)
によって求まる。
(B) When the pixel position TL MAX is positioned on the right side of the pixel position TL FE When the pixel position TL MAX is positioned on the “+” side of the pixel position TL FE , that is, on the right side as shown in FIG. the position BL1 and the pixel position TL FE. At this time, the block noise position TL BL is a position where the pixel positions TL MAX and TL FE are proportionally distributed according to the ratio between the maximum block noise value SUME MAX and the phase error block noise value SUME FE . Therefore, the distance shifted from the block boundary position BL1 to the “+” side, that is, the right side as shown in FIG. 6B is the phase difference error signal P1 representing the phase error. That is, the phase difference error signal P1 is
P1 = SUME MAX / (SUME MAX + SUME FE ) ...... Formula (2)
It is obtained by.
このとき、0.5<P1<1となる。 At this time, 0.5 <P1 <1.
これは、P1が0.5以下の場合は上記式(2)からSUMEMAX<SUMEFEとなり、定義に反するからである。 This is because, when P1 is 0.5 or less, SUME MAX <SUME FE from the above equation (2), which is contrary to the definition.
尚、位相誤差信号P1の基準であるブロック境界位置BL1を、画素位置TLMAXと画素位置TLFEのうち「−」側の位置、つまり左側の位置にするのは単なる演算上の都合によるものである。位相誤差信号P1を考慮したブロックノイズ位置TLBLは、以下の如き演算によって求まる。 Note that the block boundary position BL1, which is the reference for the phase error signal P1, is set to the position on the “−” side of the pixel position TL MAX and the pixel position TL FE , that is, the position on the left side for mere calculation convenience. is there. The block noise position TL BL in consideration of the phase error signal P1 is obtained by the following calculation.
TLBL=(TLMAX・SUMEMAX+TLFE・SUMEFE)/(SUMEMAX+SUMEFE)……式(3)
尚、上記リサイズ無し境界判断値BD1が所定閾値S1よりも小であると判定された場合には、第1ブロック境界検出回路7は、ブロック境界が存在しないと判断し、BD1を「0」として比較器10に供給する。
TL BL = (TL MAX · SUME MAX + TL FE · SUME FE ) / (SUME MAX + SUME FE ) …… Formula (3)
If it is determined that the non-resized boundary determination value BD1 is smaller than the predetermined threshold S1, the first block boundary detection circuit 7 determines that there is no block boundary and sets BD1 to “0”. Supply to the
第2ブロック境界検出回路9は、先ず、上記ブロックノイズ値SUM1〜32各々の内から最大のブロックノイズ値SUMを判定しこれを最大ブロックノイズ値SUMMAXとする。次に、第2ブロック境界検出回路9は、最大ブロックノイズ値SUMMAXに割り当てられている画素位置ラベルLの両側に隣接する画素位置ラベルL各々に対応したブロックノイズ値SUM各々の内の大なる方を位相誤差ブロックノイズ値SUMFEとする。又、第2ブロック境界検出回路9は、最大ブロックノイズ値SUMMAXの位置からリサイズされた1ブロックサイズ、すなわち10画素または11画素離れた位置、及び2ブロックサイズ、すなわち21画素または22画素離れた位置にそれぞれ2番目に最大のブロックノイズ値及び3番目に最大のブロックノイズ値を検出し、これらをそれぞれ第2最大ブロックノイズ値SUMMAX2、第3最大ブロックノイズ値SUMMAX3とする。この際、第2最大ブロックノイズ値、第3ブロックノイズ値に割り当てられている画素位置ラベルLの両側に隣接する画素位置ラベルL各々に対応したブロックノイズ値SUM各々の内の大なる方をそれぞれ第2位相誤差ブロックノイズ値SUMFE2、第3位相誤差ブロックノイズ値SUMFE3とする。次に、第2ブロック境界検出回路9は、ブロックノイズ値SUM1〜32の内から上記最大ブロックノイズ値SUMMAX、第2最大ブロックノイズ値SUMMAX2、第3最大ブロックノイズ値SUMMAX3及び位相誤差ブロックノイズ値SUMFE、第2位相誤差ブロックノイズ値SUMFE2、第3位相誤差ブロックノイズ値SUMFE3に夫々該当するものを省いたものの中で最大となるものと、かかる最大ブロックノイズ値SUMMAXとの差分を求めこれをリサイズ有り境界判断値BD2として比較器10に供給する。次に、第2ブロック境界検出回路9は、リサイズ有り境界判断値BD2が所定閾値S2よりも大であるか否かを判定する。ここで、大であると判定された場合、第2ブロック境界検出回路9は、最大ブロックノイズ値SUMMAXにおける画素位置ラベルLにて示される画素位置を基準とした10.67画素周期毎の各画素位置がブロック境界位置であると判断して、そのブロック境界位置を示すブロック境界位置信号BL2をセレクタ8に供給する。次に、第2ブロック境界検出回路9は、最大ブロックノイズ値SUMMAXにおける画素位置ラベルLに対する、位相誤差ブロックノイズ値SUMFEにおける画素位置ラベルLの方向に対応した極性を有し、且つ最大ブロックノイズ値SUMMAXに対する位相誤差ブロックノイズ値SUMFEの比率に応じた値を有する位相誤差信号P2を生成してセレクタ8に供給する。具体的なブロック境界位置信号BL2の演算方法は、上述のブロック境界位置信号BL1と同様に以下のようになる。
Second block boundary detection circuit 9 first determines the maximum block noise value SUM from among the block noise values SUM1~32 each this is the maximum block noise value SUM MAX. Next, the second block boundary detection circuit 9 increases the block noise value SUM corresponding to each pixel position label L adjacent to both sides of the pixel position label L assigned to the maximum block noise value SUM MAX. This is the phase error block noise value SUM FE . In addition, the second block boundary detection circuit 9 is one block size resized from the position of the maximum block noise value SUM MAX , that is, 10 pixels or 11 pixels away, and 2 block sizes, ie 21 pixels or 22 pixels away. detecting the maximum block noise value to the maximum block noise value and the third to the second respective position, they each second maximum block noise value SUM MAX2, and third maximum block noise value SUM MAX3. At this time, the larger one of the block noise values SUM corresponding to the pixel position labels L adjacent to both sides of the pixel position label L assigned to the second maximum block noise value and the third block noise value, respectively. The second phase error block noise value SUM FE2 and the third phase error block noise value SUM FE3 are assumed. Next, the second block boundary detection circuit 9, the maximum block noise value SUM MAX among the block noise values SUM1~32, second maximum block noise value SUM MAX2, third maximum block noise value SUM MAX3 and a phase error block The maximum value of the noise value SUM FE , the second phase error block noise value SUM FE2 , and the third phase error block noise value SUM FE3 are omitted, and the maximum block noise value SUM MAX The difference is obtained and supplied to the
最大ブロックノイズ値SUMMAXにおける画素位置をTMAX、位相誤差ブロックノイズ値SUMFEにおける画素位置をTFEとする。画素位置TMAXが画素位置TFEの「−」側、つまり左側に位置するとき、ブロック境界位置BL2は画素位置TMAXとする。このときブロックノイズ位置TBLは、最大ブロックノイズ値SUMMAXと位相誤差ブロックノイズ値SUMFEの値の比により画素位置TMAX、画素位置TLFEを比例配分した位置になる。従って、ブロック境界位置BL2から「+」側、つまり右側への距離を以下の如く求めこれを位相差誤差信号P2とする。 The pixel position in the maximum block noise value SUM MAX T MAX, the pixel position in the phase error block noise value SUM FE and T FE. When the pixel position T MAX is located on the “−” side of the pixel position T FE , that is, on the left side, the block boundary position BL 2 is the pixel position T MAX . At this time, the block noise position T BL is a position where the pixel position T MAX and the pixel position TL FE are proportionally distributed according to the ratio of the maximum block noise value SUM MAX and the phase error block noise value SUM FE . Accordingly, the distance from the block boundary position BL2 to the “+” side, that is, the right side is obtained as follows and is used as the phase difference error signal P2.
P2=SUMFE/(SUMMAX+SUMFE)……式(4)
一方、画素位置TMAXが画素位置TFEの「+」側、つまり右側に位置するとき、ブロック境界位置BL2は画素位置TFEとする。このときブロックノイズ位置TBLは、最大ブロックノイズ値SUMMAXと位相誤差ブロックノイズ値SUMFEの値の比により画素位置TMAX、画素位置TFEを比例配分した位置になる。従って、ブロック境界位置BL2から「+」側、つまり右側への距離を以下の如く求めこれを位相差誤差信号P2とする。
P2 = SUM FE / (SUM MAX + SUM FE ) (4)
On the other hand, when the pixel position T MAX is located on the “+” side of the pixel position T FE , that is, on the right side, the block boundary position BL 2 is the pixel position T FE . At this time, the block noise position T BL is a position where the pixel position T MAX and the pixel position T FE are proportionally distributed according to the ratio of the maximum block noise value SUM MAX and the phase error block noise value SUM FE . Accordingly, the distance from the block boundary position BL2 to the “+” side, that is, the right side is obtained as follows and is used as the phase difference error signal P2.
P2=SUMMAX/(SUMMAX+SUMFE)……式(5)
位相誤差信号P2を考慮したブロックノイズ位置TBLは、以下の演算によって求める。
P2 = SUM MAX / (SUM MAX + SUM FE ) (5)
Phase error signal P2 block noise position considering T BL is determined by the following calculation.
TBL=(TMAX・SUMMAX+TFE・SUMFE)/(SUMMAX+SUMFE)……式(6)
同様に第2最大ブロックノイズ値SUMMAX2、第2位相誤差ブロックノイズ値SUMFE2、及び第3最大ブロックノイズ値SUMMAX2、第3位相誤差ブロックノイズ値SUMFE2からそれぞれブロック境界位置BL2、位相差誤差信号P2が演算される。すなわち第2ブロック境界検出回路9はブロックノイズ値SUM1〜32の内から10.67画素周期に配列される3個のブロック境界を検出し、それぞれブロック境界位置BL2、位相差誤差信号P2を3個ずつ算出する。またリサイズ有り境界判断値BD2を1個算出する。この際、BD2がS2より小さいときは、BD2=0として比較器10に供給する。
T BL = (T MAX · SUM MAX + T FE · SUM FE ) / (SUM MAX + SUM FE ) …… Equation (6)
Similarly, from the second maximum block noise value SUM MAX2 , the second phase error block noise value SUM FE2 , and the third maximum block noise value SUM MAX2 , the third phase error block noise value SUM FE2 , the block boundary position BL2 and the phase difference error are respectively obtained. The signal P2 is calculated. That is, the second block boundary detection circuit 9 detects three block boundaries arranged in a 10.67 pixel cycle from the block noise values SUM1 to 32, and calculates three block boundary positions BL2 and three phase difference error signals P2, respectively. To do. Also, one resized boundary determination value BD2 is calculated. At this time, when BD2 is smaller than S2, BD2 = 0 is supplied to the
比較器10は、リサイズ無し境界判断値BD1とリサイズ有り境界判断値BD2との大小比較を行い、その結果、BD1がBD2よりも大である場合には、第1ブロック境界検出回路7から供給されたブロック境界位置信号BL1及び位相誤差信号P1を選択させるべき選択信号Sをセレクタ8に供給する。一方、比較器10は、BD2の方がBD1よりも大である場合には、第2ブロック境界検出回路9から供給されたブロック境界位置信号BL2及び位相誤差信号P2を選択させるべき選択信号Sをセレクタ8に供給する。BD1、BD2がともに「0」のときはブロックノイズはないと判断し、除去部200はブロックノイズを除去することなくノイズ除去映像信号を出力する。
The
セレクタ8は、上記ブロック境界位置信号BL1及びBL2の内から、上記選択信号Sに応じた方を選択し、これを最終的なブロック境界位置を表すブロック境界位置信号BLとして除去部200に供給する。又、セレクタ8は、上記位相誤差信号P1及びP2の内から、上記選択信号Sに応じた方を選択し、これを最終的な位相誤差を表す位相誤差信号Pとして除去部200に供給する。ただし、第1ブロック境界検出回路7、第2ブロック境界検出回路9がともにブロック境界がないと判断すると(すなわち境界判断値BD1が所定閾値S1よりも小、境界判断値BD2が所定閾値S2よりも小のとき)、除去部200はブロックノイズ除去動作を行うことなく入力映像信号をノイズ除去映像信号として出力する。
The
以下に、かかる構成からなる検出部100の動作について、入力映像信号がリサイズされていない信号(ディジタル又はアナログ)である場合と、リサイズ処理の施された信号(ディジタル又はアナログ)である場合とで夫々説明する。
(1)入力映像信号がリサイズ処理の施されていない信号である場合
この際、8×8画素のブロック毎に圧縮符号化された映像信号を復号して得られた入力映像信号にブロックノイズが存在すると、図7(a)に示す如く8画素周期毎にそのノイズピークが表れることになる。そこで、先ず、一次微分回路1、メディアンフィルタ2及び差分絶対値演算回路3によって各画素毎の画素間差分値(ABS)を求める。そして、32画素周期累算回路4及び8画素周期畳込回路5により水平方向(又は垂直方向)において、
第(8n−7)番目に配置されている画素、
第(8n−6)番目に配置されている画素、
第(8n−5)番目に配置されている画素、
第(8n−4)番目に配置されている画素、
第(8n−3)番目に配置されている画素、
第(8n−2)番目に配置されている画素、
第(8n−1)番目に配置されている画素、
第(8n)番目に配置されている画素、
n:自然数
各々毎にその画素に対応した画素間差分値を1画面分に亘り累算してブロックノイズ値SUME1〜SUME8を生成する。ここで、第1ブロック境界検出回路7は、上記ブロックノイズ値SUME1〜8の内から最大値(SUMEMAX)を判定すると共に、このSUMEMAXに対応した画素の両側に隣接する画素各々に対応したブロックノイズ値SUMEの内で大なる方を位相誤差の影響による値(SUMEFE)とする。例えば第(8n−7)〜第(8n)番目に夫々配置されている画素毎のブロックノイズ値SUME1〜SUME8が図7(b)に示す如き状態である場合、ブロックノイズ値SUME5がSUMEMAXとなり、ブロックノイズ値SUME4がSUMEFEとなる。この際、ブロックノイズが存在する場合には、図7(b)に示す如く、SUMEMAXとしてのSUME5が、SUMEFEとしてのSUME4を除くその他のブロックノイズ値SUMEのいずれに対しても、所定閾値S1を越える分だけ大となる。そこで、第1ブロック境界検出回路7は、ブロックノイズ値SUME1〜8の内からSUMEMAX及びSUMEFEに夫々該当するものを省いたものの中で最も大となるSUMEと、かかるSUMEMAXとの差分を求めこれをリサイズ無し境界判断値(BD1)とする。かかるリサイズ無し境界判断値BD1が所定閾値S1より大なる場合には、第1ブロック境界検出回路7は、ブロック境界が存在すると判断する。そして、第1ブロック境界検出回路7は、SUMEMAXに対応した画素位置を基準とした8画素周期毎の画素位置をブロック境界位置として示すブロック境界位置信号BL1を生成するのである。例えば、図7(b)の場合、第1ブロック境界検出回路7は、ブロックノイズ値SUME5に対応した画素、つまり、第(8n−3)番目の画素位置がブロック境界位置であることを示すブロック境界位置信号BL1を生成する。
Hereinafter, with respect to the operation of the
(1) When the input video signal is a signal not subjected to resizing processing At this time, block noise is present in the input video signal obtained by decoding the video signal that has been compression-coded for each block of 8 × 8 pixels. If it exists, the noise peak appears every 8 pixel periods as shown in FIG. Therefore, first, the inter-pixel difference value (ABS) for each pixel is obtained by the
Pixels arranged in the (8n-7) th,
The (8n-6) th pixel arranged;
The (8n-5) th pixel arranged;
Pixels arranged in the (8n-4) th,
The (8n-3) th pixel arranged;
Pixels arranged in the (8n-2) th,
The (8n-1) th pixel arranged;
Pixels arranged in the (8n) th,
n: Natural number Block noise values SUME1 to SUME8 are generated by accumulating the inter-pixel difference values corresponding to the respective pixels over one screen. Here, the first block boundary detection circuit 7 determines the maximum value (SUME MAX ) from among the block noise values SUME1 to 8, and corresponds to each pixel adjacent to both sides of the pixel corresponding to the SUME MAX . The larger one of the block noise values SUME is a value (SUME FE ) due to the influence of the phase error. For example, when the block noise values SUME1 to SUME8 for each of the (8n-7) to (8n) th pixels are in the state as shown in FIG. 7B, the block noise value SUME5 becomes SUME MAX . The block noise value SUME4 becomes SUME FE . At this time, if block noise is present, as shown in FIG. 7B, the SUME5 as the SUME MAX is set to a predetermined threshold value with respect to any of the other block noise values SUME excluding the SUME4 as the SUME FE. Increased by the amount exceeding S1. Therefore, the first block boundary detection circuit 7, and SUME as the largest among those omitting those respectively corresponding from among the block noise values SUME1~8 to SUME MAX and SUME FE, the difference between such SUME MAX This is obtained and used as a non-resized boundary judgment value (BD1). When the non-resizing boundary determination value BD1 is larger than the predetermined threshold S1, the first block boundary detection circuit 7 determines that a block boundary exists. Then, the first block boundary detection circuit 7 generates a block boundary position signal BL1 indicating the pixel position for every eight pixel periods with reference to the pixel position corresponding to SUME MAX as the block boundary position. For example, in the case of FIG. 7B, the first block boundary detection circuit 7 indicates that the pixel corresponding to the block noise value SUME5, that is, the (8n-3) th pixel position is the block boundary position. A boundary position signal BL1 is generated.
ここで、入力映像信号がアナログ信号であると、ブロック境界での信号レベルの推移が滑らかになりブロック境界位置がボケる為、ブロック境界位置を検出する際に位相誤差を伴う場合がある。この際、例えば図7(b)に示すように、SUMEMAXに対応した画素に隣接する画素においてその位相誤差の影響を受け、これにより、このSUMEMAXに対応した画素の両側に隣接する画素各々に対応したブロックノイズ値SUMEが大なる値となる。 Here, if the input video signal is an analog signal, the transition of the signal level at the block boundary becomes smooth and the block boundary position is blurred. Therefore, there may be a phase error when detecting the block boundary position. At this time, for example, as shown in FIG. 7B, the pixels adjacent to the pixel corresponding to the SUME MAX are affected by the phase error, whereby each of the pixels adjacent to both sides of the pixel corresponding to the SUME MAX The block noise value SUME corresponding to is a large value.
そこで、第1ブロック境界検出回路7は、前述した如く、最大ブロックノイズ値SUMEMAXに対応した画素の両側に隣接する画素各々に対応したブロックノイズ値SUMEの内で大なる方を位相誤差ブロックノイズ値(SUMEFE)とする。最大ブロックノイズ値SUMEMAXにおける画素位置をTLMAX、位相誤差ブロックノイズ値SUMEFEにおける画素位置をTLFEとし、かかるSUMEMAXとSUMEFEの比率に基づいて、ブロックノイズ位置TLBLは、上記式(3)にて示されるように、
TLBL=(TLMAX・SUMEMAX+TLFE・SUMEFE)/(SUMEMAX+SUMEFE)
にて求まる。
Therefore, as described above, the first block boundary detection circuit 7 determines the larger one of the block noise values SUME corresponding to the pixels adjacent to both sides of the pixel corresponding to the maximum block noise value SUME MAX as the phase error block noise. Value (SUME FE ). The pixel position at the maximum block noise value SUME MAX is TL MAX and the pixel position at the phase error block noise value SUME FE is TL FE. Based on the ratio of SUME MAX and SUME FE , the block noise position TL BL is expressed by the above formula ( As shown in 3),
TL BL = (TL MAX / SUME MAX + TL FE / SUME FE ) / (SUME MAX + SUME FE )
It is obtained at.
位相誤差がない場合は前述のとおりSUMEMAXに対応した画素位置TLMAXがブロック境界位置信号BL1となるが、位相誤差がある場合は、画素位置TLMAX及び画素位置TLFEのうち左側の画素位置をブロック境界位置として示すブロック境界位置信号BL1を生成するのである。例えば、図7(b)の場合、第1ブロック境界検出回路7は、ブロックノイズ値SUME4に対応した画素、つまり、第(8n−4)番目の画素位置がブロック境界位置であることを示すブロック境界位置信号BL1を生成する。そして、ブロックノイズ位置TLBLはこの境界位置信号BL1を基準として、「+」側、つまり右側に位相誤差信号P1ずれた位置となる。位相誤差信号P1は1画素のずれを「1」としたときの距離により表される。位相誤差信号P1は上記式(1)、(2)及び図6(a)及び図6(b)の如くなる。
(2)入力映像信号がリサイズ処理の施された信号である場合
つまり、8×8画素のブロック毎に圧縮符号及び復号された映像信号の解像度を[1440×1080画素]から[1920×1080画素]にリサイズした入力映像信号にブロックノイズが存在する場合には、図7(c)に示す如く[(8×1920)/1440画素]周期、つまり、10.67画素周期毎にそのノイズピークが表れる。そこで、第2ブロック境界検出回路9は、水平方向(又は垂直方向)において、
第(32n−31)番目に配置されている画素、
第(32n−30)番目に配置されている画素、
第(32n−29)番目に配置されている画素、
・
・
・
第(32n−1)番目に配置されている画素、
第(32n)番目に配置されている画素、
n:自然数
各々毎に、その画素に対応した単位ブロックノイズ値ABSを1画面分に亘り累算して得たブロックノイズ値SUM1〜SUM32に基づいて、以下の如き処理を実行する。先ず、第2ブロック境界検出回路9は、上記ブロックノイズ値SUM1〜SUM32の内から最大値(SUMMAX)を判定すると共に、このSUMMAXに対応した画素の両側に隣接する画素各々に対応したブロックノイズ値SUMの内で大なる方を位相誤差ブロックノイズ値(SUMFE)とする。同様にして、上記ブロックノイズ値SUM1〜32各々の内から2番目に最大のブロックノイズ値及び3番目に最大のブロックノイズ値SUMを判定しこれらをそれぞれ第2最大ブロックノイズ値SUMMAX2、第3最大ブロックノイズ値SUMMAX3とする。第2最大ブロックノイズ値、第3ブロックノイズ値に割り当てられている画素位置ラベルLの両側に隣接する画素位置ラベルL各々に対応したブロックノイズ値SUM各々の内の大なる方をそれぞれ第2位相誤差ブロックノイズ値SUMFE2、第3位相誤差ブロックノイズ値SUMFE3とする。例えば図7(c)の場合、ブロックノイズ値SUM5がSUMMAXとなり、ブロックノイズ値SUM4がSUMEFEとなる。同様に、ブロックノイズ値SUM26がSUMMAX2、ブロックノイズ値SUM27がSUMEFE2、ブロックノイズ値SUM15がSUMMAX3、ブロックノイズ値SUM16がSUMEFE3なる。この際、ブロックノイズが存在する場合には、ブロックノイズ値SUM1〜32の内から上記最大ブロックノイズ値SUMMAX、第2最大ブロックノイズ値SUMMAX2、第3最大ブロックノイズ値SUMMAX3及び位相誤差ブロックノイズ値SUMFE、第2位相誤差ブロックノイズ値SUMFE2、第3位相誤差ブロックノイズ値SUMFE3に夫々該当するものを省いたものの中で最大となるものと、かかる最大ブロックノイズ値SUMMAXとの差分を求めこれをリサイズ有り境界判断値BD2として比較器10に供給する。図7(c)に示す如く、SUMMAXとしてのSUM5が、SUMMAX2としてのSUM26、SUMMAX3としてのSUM15、SUMFEとしてのSUM4、SUMFE2としてのSUM27、SUMFE3としてのSUM16を除くその他のブロックノイズ値SUMのいずれに対しても、所定閾値S2を越える分だけ大となる。そこで、第2ブロック境界検出回路9は、リサイズ有り境界判断値BD2が所定閾値S2より大なる場合には、第2ブロック境界検出回路9は、ブロック境界が存在すると判断する。そして、第2ブロック境界検出回路9は、SUMMAXに対応した画素位置を基準とした10.67画素周期毎の画素位置をブロック境界位置として示すブロック境界位置信号BL2を生成する。つまり、例え8×8画素のブロック毎に圧縮符号及び復号化された映像信号であっても、その解像度が[1440×1080画素]から[1920×1080画素]にリサイズされている場合には、
10.67≒(8×1920)/1440
なる数式により10.67画素周期毎にブロック境界が表れることが推定される。そこで、最大値(SUMMAXM)に対応した画素位置を基準とした10.67画素周期毎の各画素位置をブロック境界位置と判断するのである。
If there is no phase error, the pixel position TL MAX corresponding to SUME MAX is the block boundary position signal BL1 as described above, but if there is a phase error, the pixel position on the left side of the pixel position TL MAX and the pixel position TL FE Is generated as a block boundary position. For example, in the case of FIG. 7B, the first block boundary detection circuit 7 indicates that the pixel corresponding to the block noise value SUME4, that is, the (8n-4) th pixel position is the block boundary position. A boundary position signal BL1 is generated. The block noise position TL BL is shifted to the “+” side, that is, the right side by a phase error signal P1 with reference to the boundary position signal BL1. The phase error signal P1 is represented by a distance when the shift of one pixel is “1”. The phase error signal P1 is as shown in the above equations (1), (2), FIGS. 6 (a), and 6 (b).
(2) When the input video signal is a resized signal In other words, the resolution of the compression signal and the decoded video signal for each 8 × 8 pixel block is changed from [1440 × 1080 pixels] to [1920 × 1080 pixels]. When block noise exists in the resized input video signal, a noise peak appears every [(8 × 1920) / 1440 pixels] period, that is, every 10.67 pixel periods as shown in FIG. Therefore, the second block boundary detection circuit 9 in the horizontal direction (or vertical direction)
The (32n-31) th pixel,
The (32n-30) -th arranged pixel,
The (32n-29) th pixel,
・
・
・
The (32n-1) th pixel arranged;
The (32n) th pixel,
n: Natural number For each, the following processing is executed based on block noise values SUM1 to SUM32 obtained by accumulating unit block noise values ABS corresponding to the pixels over one screen. First, the second block boundary detection circuit 9 determines the maximum value (SUM MAX ) from the block noise values SUM1 to SUM32, and blocks corresponding to the pixels adjacent to both sides of the pixel corresponding to the SUM MAX. The larger of the noise values SUM is defined as a phase error block noise value (SUM FE ). Similarly, the second largest block noise value and the third largest block noise value SUM are determined from each of the block noise values SUM1 to SUM32, and these are determined as the second largest block noise value SUMMAX2 , The maximum block noise value is SUM MAX3 . The larger one of the block noise values SUM corresponding to the pixel position labels L adjacent to both sides of the pixel position label L assigned to the second maximum block noise value and the third block noise value is the second phase. The error block noise value SUM FE2 and the third phase error block noise value SUM FE3 are assumed. For example, in the case of FIG. 7C, the block noise value SUM5 becomes SUM MAX , and the block noise value SUM4 becomes SUME FE . Similarly, block noise value SUM26 is SUM MAX2, block noise value SUM27 is SUME FE2, block noise value SUM15 is SUM MAX3, block noise value SUM16 is SUME FE3. At this time, when the block noise is present, the maximum block noise value SUM MAX among the block noise values SUM1~32, second maximum block noise value SUM MAX2, third maximum block noise value SUM MAX3 and a phase error block The maximum value of the noise value SUM FE , the second phase error block noise value SUM FE2 , and the third phase error block noise value SUM FE3 are omitted, and the maximum block noise value SUM MAX The difference is obtained and supplied to the
10.67 ≒ (8 × 1920) / 1440
From this formula, it is estimated that a block boundary appears every 10.67 pixel periods. Therefore, each pixel position for each 10.67 pixel period with the pixel position corresponding to the maximum value (SUM MAXM ) as a reference is determined as the block boundary position.
例えば、図7(c)の場合、第2ブロック境界検出回路9は、ブロックノイズ値SUM5に対応した画素、つまり、第(32n−27)番目の画素位置を基準とした10.67画素周期毎の各画素位置をブロック境界位置として示すブロック境界位置信号BL2を生成するのである。 For example, in the case of FIG. 7 (c), the second block boundary detection circuit 9 detects the pixel corresponding to the block noise value SUM5, that is, each 10.67 pixel period based on the (32n−27) th pixel position. The block boundary position signal BL2 indicating the pixel position as the block boundary position is generated.
ところが、入力映像信号がアナログ信号、デジタル信号にかかわらず、リサイズによりブロック周期が整数にならない場合は、ブロック境界位置がボケる為、ブロック境界位置を検出する際に位相誤差を伴う場合がある。この際、例えば図7(c)に示すように、SUMMAXに対応した画素に隣接する画素においてその位相誤差の影響を受け、これにより、このSUMMAXに対応した画素の両側に隣接する画素各々に対応したブロックノイズ値SUMが大なる値となる。そこで、第2ブロック境界検出回路9は、前述した如く、最大値SUMMAXに対応した画素の両側に隣接する画素各々に対応したブロックノイズ値SUMの内で大なる方を位相誤差の影響を受けた値(SUMFE)とし、かかるSUMMAXに対するSUMFEの比率に基づいて位相誤差分(P2)を求めるようにしたのである。位相誤差がある場合は、入力映像信号がリサイズ処理の施されていないアナログ信号の場合と同様に、画素位置TLMAX及び画素位置TLFEのうち左側の画素位置をブロック境界位置信号BL1とする。位相誤差がある場合のブロックノイズ位置TLBLは、上述のように式(3)となる。このときの位相誤差信号P2も上述のとおり式(4)、(5)のようになる。 However, regardless of whether the input video signal is an analog signal or a digital signal, if the block period does not become an integer due to resizing, the block boundary position may be blurred, and thus there may be a phase error when detecting the block boundary position. At this time, for example, as shown in FIG. 7C, the pixel adjacent to the pixel corresponding to SUM MAX is affected by the phase error, and accordingly, the pixels adjacent to both sides of the pixel corresponding to SUM MAX The block noise value SUM corresponding to is a large value. Therefore, as described above, the second block boundary detection circuit 9 receives the larger one of the block noise values SUM corresponding to the pixels adjacent to both sides of the pixel corresponding to the maximum value SUM MAX , due to the influence of the phase error. and the value (SUM FE), it was so as to obtain a phase error component and (P2) based on the ratio of SUM FE for such SUM MAX. When there is a phase error, the pixel position on the left side of the pixel position TL MAX and the pixel position TL FE is set as the block boundary position signal BL1 as in the case where the input video signal is an analog signal that has not been resized. As described above, the block noise position TL BL when there is a phase error is expressed by Expression (3). The phase error signal P2 at this time is also expressed by equations (4) and (5) as described above.
以上の如く、検出部100は、解像度のリサイズ処理が施されていない入力映像信号に対してブロック境界位置(BL1)及び位相誤差値(P1)を求める第1ブロック境界検出回路7と、リサイズ処理が施されている入力映像信号に対してブロック境界位置(BL2)及び位相誤差値(P2)を求める第2ブロック境界検出回路9を個別に搭載している。この際、第1ブロック境界検出回路7にて算出されたリサイズ無し境界判断値(BD1)と、第2ブロック境界検出回路9にて算出されたリサイズ有り境界判断値(BD2)とを比較し、その値が大なる方の回路(7又は9)で生成されたブロック境界位置及び位相誤差値を最終的なブロック境界位置(BL)及び位相誤差値(P)とする。
As described above, the
すなわち、第1ブロック境界検出回路7及び第2ブロック境界検出回路9の双方において、ブロック境界位置でのブロックノイズ値(SUMEMAX、SUMMAX)と、それ以外の画素位置でのブロックノイズ値との差分を境界判断値(BD1、BD2)として算出する。この際、BD1の方が大なる場合には、入力映像信号にはリサイズ処理が施されていないと判断して、第1ブロック境界検出回路7にて生成されたブロック境界位置(BL1)及び位相誤差値(P1)を除去部200に供給する。一方、BD2の方が大なる場合には、入力映像信号にはリサイズ処理が施されていると判断して、第2ブロック境界検出回路9にて生成されたブロック境界位置(BL2)及び位相誤差値(P2)を除去部200に供給するのである。
That is, in both the first block boundary detection circuit 7 and the second block boundary detection circuit 9, the block noise value (SUME MAX , SUM MAX ) at the block boundary position and the block noise value at other pixel positions are calculated. The difference is calculated as a boundary judgment value (BD1, BD2). At this time, if BD1 is larger, it is determined that the input video signal has not been resized, and the block boundary position (BL1) and phase generated by the first block boundary detection circuit 7 are determined. The error value (P1) is supplied to the
よって、検出部100によれば、入力映像信号がリサイズ化又はアナログ化されているか否かを識別する為の信号が供給されなくても、自動的にこの入力映像信号の形態(リサイズ有り、又はリサイズ無し)に対応した最適な処理方法にてブロックノイズの検出が為されるようになる。更に、検出部100においては、入力映像信号がリサイズ化又はアナログ化されているが故にこの入力映像信号に位相誤差が生じている場合にはこれを検出するようにしている。
Therefore, according to the
除去部200は、かかる検出部100から供給されたブロック境界位置信号BL及び位相誤差信号Pに基づき、入力映像信号に対してブロックノイズ除去処理を施してノイズ除去映像信号を生成する。
The
図8は、かかる除去部200の内部構成を示す図である。
FIG. 8 is a diagram illustrating an internal configuration of the removing
図8において、フリップフロップDF1は、入力映像信号を各画素毎に順次取り込み、これを1画素分の周期だけ遅延させたものを画素サンプル値D1としてフリップフロップDF2、混合器201及び202各々に供給する。フリップフロップDF2は、画素サンプル値D1を1画素分の周期だけ遅延させたものを画素サンプル値D2としてフリップフロップDF3、混合器202及び203各々に供給する。フリップフロップDF3は、画素サンプル値D2を1画素分の周期だけ遅延させたものを画素サンプル値D3としてフリップフロップDF4、混合器203及び204各々に供給する。フリップフロップDF4は、画素サンプル値D3を1画素分の周期だけ遅延させたものを画素サンプル値D4としてフリップフロップDF5、混合器204及び205各々に供給する。フリップフロップDF5は、画素サンプル値D4を1画素分の周期だけ遅延させたものを画素サンプル値D5としてフリップフロップDF6、混合器205及び206各々に供給する。フリップフロップDF6は、画素サンプル値D5を1画素分の周期だけ遅延させたものを画素サンプル値D6としてフリップフロップDF7、混合器206及び207各々に供給する。フリップフロップDF7は、画素サンプル値D6を1画素分の周期だけ遅延させたものを画素サンプル値D7としてフリップフロップDF8、混合器207及び208各々に供給する。フリップフロップDF8は、画素サンプル値D7を1画素分の周期だけ遅延させたものを画素サンプル値D8として混合器208に供給する。
In FIG. 8, the flip-flop DF1 sequentially captures the input video signal for each pixel, and delays the input video signal by a period corresponding to one pixel and supplies it to the flip-flop DF2 and the
尚、図8に示される構成は、フリップフロップDF4に対応する画素とフリップフロップDF5に対応する画素の中間、またはフリップフロップDF4に対応する画素の位置にブロック境界位置が存在することを前提とする。サンプリングの位相誤差があるときは、まわりの差分値から位相誤差を求める。この求め方を以下に記載する。 The configuration shown in FIG. 8 is based on the premise that a block boundary position exists between the pixel corresponding to the flip-flop DF4 and the pixel corresponding to the flip-flop DF5, or at the position of the pixel corresponding to the flip-flop DF4. . When there is a sampling phase error, the phase error is obtained from the surrounding difference values. This calculation method is described below.
混合器201は、上記画素サンプル値D1及びかかる画素サンプル値D1よりも1画素周期前の入力映像信号における画素サンプル値(以下、画素サンプル値D0と称する)を、位相誤差信号Pに基づく以下の如き混合比にて混合することにより位相補正された位相補正画素サンプル値M1を減算器209に供給する。
(A)画素位置TLMAXが画素位置TLFEの左側に位置するとき(0≦P<0.5)
M1=D1・(P−1)+D0・P
(B)画素位置TLMAXが画素位置TLFEの右側に位置するとき(0.5<P<1)
M1=D0
図9(B1)に示す如きM1を求める場合、ブロック境界の右側であって、ブロック境界から離れる方向(右側)にずれているため、ブロック歪の影響は受けない。そこでM1=D0となる。以下も同様の考え方である。
The
(A) When the pixel position TL MAX is located on the left side of the pixel position TL FE (0 ≦ P <0.5)
M1 = D1 · (P−1) + D0 · P
(B) When the pixel position TL MAX is located on the right side of the pixel position TL FE (0.5 <P <1)
M1 = D0
When obtaining M1 as shown in FIG. 9B1, since it is shifted to the right side of the block boundary and away from the block boundary (right side), it is not affected by block distortion. Therefore, M1 = D0. The same applies to the following.
混合器202は、上記画素サンプル値D1及びD2を、位相誤差信号Pに基づく以下の如き混合比にて混合することにより位相補正された位相補正画素サンプル値M2を減算器209に供給する。
(A)画素位置TLMAXが画素位置TLFEの左側に位置するとき(0≦P<0.5)
M2=D2・(P−1)+D1・P
(B)画素位置TLMAXが画素位置TLFEの右側に位置するとき(0.5<P<1)
M2=D1
減算器209は、上記位相補正画素サンプル値M2から上記位相補正画素サンプル値M1を減算して得られた減算結果を境界周辺差分値SB1として推定境界差分値演算回路210に共有する。
The
(A) When the pixel position TL MAX is located on the left side of the pixel position TL FE (0 ≦ P <0.5)
M2 = D2 · (P−1) + D1 · P
(B) When the pixel position TL MAX is located on the right side of the pixel position TL FE (0.5 <P <1)
M2 = D1
The subtractor 209 shares the subtraction result obtained by subtracting the phase correction pixel sample value M1 from the phase correction pixel sample value M2 as the boundary peripheral difference value SB1 to the estimated boundary difference
混合器203は、上記画素サンプル値D2及びD3を、位相誤差信号Pに基づく以下の如き混合比にて混合することにより位相補正された位相補正画素サンプル値M3を減算器211に供給する。
(A)画素位置TLMAXが画素位置TLFEの左側に位置するとき(0≦P<0.5)
M3=D3・(P−1)+D2・P
(B)画素位置TLMAXが画素位置TLFEの右側に位置するとき(0.5<P<1)
M3=D2
混合器204は、上記画素サンプル値D3及びD4を、位相誤差信号Pに基づく以下の如き混合比にて混合することにより位相補正された位相補正画素サンプル値M4を減算器211及び平均回路212、並びに境界補正値演算回路215に供給する。
(A)画素位置TLMAXが画素位置TLFEの左側に位置するとき(0≦P<0.5)
M4=D4・(P−1)+D3・P
(B)画素位置TLMAXが画素位置TLFEの右側に位置するとき(0.5<P<1)
M4=D3
減算器211は、上記位相補正画素サンプル値M4から上記位相補正画素サンプル値M3を減算して得られた減算結果を境界周辺差分値SB2として推定境界差分値演算回路210に共有する。
The
(A) When the pixel position TL MAX is located on the left side of the pixel position TL FE (0 ≦ P <0.5)
M3 = D3 · (P−1) + D2 · P
(B) When the pixel position TL MAX is located on the right side of the pixel position TL FE (0.5 <P <1)
M3 = D2
The
(A) When the pixel position TL MAX is located on the left side of the pixel position TL FE (0 ≦ P <0.5)
M4 = D4. (P-1) + D3.P
(B) When the pixel position TL MAX is located on the right side of the pixel position TL FE (0.5 <P <1)
M4 = D3
The subtractor 211 shares the subtraction result obtained by subtracting the phase correction pixel sample value M3 from the phase correction pixel sample value M4 as the boundary peripheral difference value SB2 to the estimated boundary difference
混合器205は、上記画素サンプル値D4及びD5を、位相誤差信号Pに基づく以下の如き混合比にて混合することにより位相補正された位相補正画素サンプル値M5を平均回路212及び減算器213に供給する。
(A)画素位置TLMAXが画素位置TLFEの左側に位置するとき(0≦P<0.5)
M5=D5
図9(A1)に示す如きM5を求める場合、ブロック境界の左側であって、ブロック境界から離れる方向(左側)にずれているため、ブロック歪の影響は受けない。そこでM5=D5となる。以下も同様の考え方である。
(B)画素位置TLMAXが画素位置TLFEの右側に位置するとき(0.5<P<1)
M5=D5・P+D4・(P−1)
混合器206は、上記画素サンプル値D5及びD6を、位相誤差信号Pに基づく以下の如き混合比にて混合することにより位相補正された位相補正画素サンプル値M6を減算器213に供給する。
(A)画素位置TLMAXが画素位置TLFEの左側に位置するとき(0≦P<0.5)
M6=D6
(B)画素位置TLMAXが画素位置TLFEの右側に位置するとき(0.5<P<1)
M6=D6・P+D5・(P−1)
減算器213は、上記位相補正画素サンプル値M6から上記位相補正画素サンプル値M5を減算して得られた減算結果を境界周辺差分値SB3として推定境界差分値演算回路210に共有する。
The
(A) When the pixel position TL MAX is located on the left side of the pixel position TL FE (0 ≦ P <0.5)
M5 = D5
When obtaining M5 as shown in FIG. 9A1, since it is shifted to the left side of the block boundary and away from the block boundary (left side), it is not affected by block distortion. Therefore, M5 = D5. The same applies to the following.
(B) When the pixel position TL MAX is located on the right side of the pixel position TL FE (0.5 <P <1)
M5 = D5 · P + D4 · (P−1)
The
(A) When the pixel position TL MAX is located on the left side of the pixel position TL FE (0 ≦ P <0.5)
M6 = D6
(B) When the pixel position TL MAX is located on the right side of the pixel position TL FE (0.5 <P <1)
M6 = D6 · P + D5 · (P-1)
The subtractor 213 shares the subtraction result obtained by subtracting the phase correction pixel sample value M5 from the phase correction pixel sample value M6 as the boundary peripheral difference value SB3 to the estimated boundary difference
混合器207は、上記画素サンプル値D6及びD7を、位相誤差信号Pに基づく以下の如き混合比にて混合することにより位相補正された位相補正画素サンプル値M7を減算器214に供給する。
(A)画素位置TLMAXが画素位置TLFEの左側に位置するとき(0≦P<0.5)
M7=D7
(B)画素位置TLMAXが画素位置TLFEの右側に位置するとき(0.5<P<1)
M7=D7・P+D6・(P−1)
混合器208は、上記画素サンプル値D7及びD8を、位相誤差信号Pに基づく以下の如き混合比にて混合することにより位相補正された位相補正画素サンプル値M8を減算器214に供給する。
(A)画素位置TLMAXが画素位置TLFEの左側に位置するとき(0≦P<0.5)
M8=D8
(B)画素位置TLMAXが画素位置TLFEの右側に位置するとき(0.5<P<1)
M8=D8・P+D7・(P−1)
減算器214は、上記位相補正画素サンプル値M8から上記位相補正画素サンプル値M7を減算して得られた減算結果を境界周辺差分値SB4として推定境界差分値演算回路210に共有する。
The
(A) When the pixel position TL MAX is located on the left side of the pixel position TL FE (0 ≦ P <0.5)
M7 = D7
(B) When the pixel position TL MAX is located on the right side of the pixel position TL FE (0.5 <P <1)
M7 = D7 · P + D6 · (P-1)
The
(A) When the pixel position TL MAX is located on the left side of the pixel position TL FE (0 ≦ P <0.5)
M8 = D8
(B) When the pixel position TL MAX is located on the right side of the pixel position TL FE (0.5 <P <1)
M8 = D8 · P + D7 · (P-1)
The subtractor 214 shares the subtraction result obtained by subtracting the phase correction pixel sample value M7 from the phase correction pixel sample value M8 as the boundary peripheral difference value SB4 to the estimated boundary difference
推定境界差分値演算回路210は、上記境界周辺差分値SB1〜SB4に基づく以下の如き補間演算によって、ブロックノイズ除去処理後のブロック境界部における隣接画素間の差分値として取り得るブロック境界部での画素間差分値を求めこれをブロック境界部推定差分値PREDとして境界補正値演算回路215に供給する。
The estimated boundary difference
PRED={3・(SB2+SB3)−(SB1+SB4)}/4
平均回路212は、ブロック境界位置の直後の画素サンプル値D4及びD3を混合して得られた上記位相補正画素サンプル値M4と、ブロック境界位置の直前の画素サンプル値D5及びD6を混合して得られた上記位相補正画素サンプル値M5との平均値を求める。平均回路212は、かかる平均値を、ブロック境界部での中点値dCNTとして境界補正値演算回路215に供給する。
PRED = {3 · (SB2 + SB3)-(SB1 + SB4)} / 4
The averaging
境界補正値演算回路215は、上記位相補正画素サンプル値M4、ブロック境界部推定差分値PRED及び中点値dCNTに基づく以下の演算によって、ブロック境界位置の直後の画素サンプル値に対するブロック境界補正値dCORR2、及び直前の画素サンプル値に対するブロック境界補正値dCORR1を夫々生成し境界間補正値補間回路216に供給する。
The boundary correction
dCORR1={dCNT−(PRED/2)}−M5
dCORR2=−[dCNT+(PRED/2)}+M4
ただし、上記のブロック境界補正値dCORR1、dCORR2の演算は、図8におけるフリップフロップDF4に対応する画素とフリップフロップDF5に対応する画素の中間、またはフリップフロップDF4に対応する画素の位置にブロック境界位置が存在することを前提とする。そこで境界補正値演算回路215にはブロック境界位置信号BLが入力され、フリップフロップDF4に対応する画素とフリップフロップDF5に対応する画素の中間、またはフリップフロップDF4に対応する画素の位置にブロック境界位置が来たタイミングにおいて、境界補正値演算回路215は境界間補正値補間回路216にブロック境界補正値dCORR1、dCORR2を出力する。
dCORR1 = {dCNT− (PRED / 2)} − M5
dCORR2 =-[dCNT + (PRED / 2)} + M4
However, the calculation of the block boundary correction values dCORR1 and dCORR2 is performed between the pixel corresponding to the flip-flop DF4 and the pixel corresponding to the flip-flop DF5 in FIG. Is assumed to exist. Therefore, the block boundary position signal BL is input to the boundary correction
境界間補正値補間回路216は、連続するブロックの各ブロック境界部において夫々生成された上記ブロック境界補正値dCORR1及びdCORR2に基づく線形補間により、ブロック境界間、つまりブロック内の画素位置各々に対応したレベル補正量を示すブロック補正信号BZを生成して加算器217に供給する。つまり、境界間補正値補間回路216は、各ブロック毎に、そのブロックの左境界部において生成されたブロック境界補正値dCORR2(又はdCORR1)と、右境界部において生成されたブロック境界補正値dCORR1(又はdCORR2)とによる線形補間により、このブロック内の画素位置各々に対応したレベル補正量を示すブロック補正信号BZを生成する。尚、境界間補正値補間回路216は、ブロック境界が存在しないことを表す0レベル一定のブロック境界位置信号BLが供給された場合には、補正値0を表すブロック補正信号BZを加算器217に供給する。
The inter-boundary correction
遅延回路218は、上記フリップフロップDF1〜DF8、混合器201〜208、減算器209、211、213、214、推定境界差分値演算回路210、平均回路212、境界補正値演算回路215、及び境界間補正値補間回路216各々による合計処理時間に対応した時間だけ遅延させて入力映像信号を加算器217に供給する。
The
加算器217は、かかる遅延回路218によって遅延された入力映像信号のレベルに、上記ブロック補正信号BZを加算することにより、ブロック境界部でのノイズ(急峻なレベル推移)を抑制させたノイズ除去映像信号を生成して出力する。
The
以下に、図9(A1)、図9(B1)に示す如き入力映像信号が供給された場合を一例にとって、上記除去部200の動作について説明する。この際、図9(A1)及び図9(A2)は、画素位置TLMAXが画素位置TLFEの左側に位置する場合(0≦P<0.5)、図9(B1)及び図9(B2)は、画素位置TLMAXが画素位置TLFEの右側に位置する場合(0.5<P<1)、に夫々対応した図である。
Hereinafter, the operation of the removing
尚、図9(A1)及び図9(B1)は、ブロック境界部における連続する9画素分の入力映像信号)を示すものである。この際、図8に示されるフリップフロップDF1〜DF8各々は、図9(A1)及び図9(B1)中において白丸にて示される画素サンプル値D1〜D8を夫々出力する。よって、この時点においてフリップフロップDF1に供給される入力映像信号の値が図9(A1)及び図9(B1)に示す画素サンプル値D0となる。 FIGS. 9A1 and 9B1 show input video signals for nine consecutive pixels at the block boundary. At this time, each of the flip-flops DF1 to DF8 shown in FIG. 8 outputs pixel sample values D1 to D8 indicated by white circles in FIGS. 9A1 and 9B1, respectively. Therefore, the value of the input video signal supplied to the flip-flop DF1 at this time becomes the pixel sample value D0 shown in FIGS. 9A1 and 9B1.
ここで、先ず、これら画素サンプル値D0〜D8の内から互いに隣接する画素サンプル値同士を、上記検出部100から供給された位相誤差信号Pに応じた混合比にて混合することにより、位相補正された図9(A2)及び図9(B2)に示す如き位相補正画素サンプル値M1〜M8系列を生成する。
Here, first, among the pixel sample values D0 to D8, pixel sample values adjacent to each other are mixed at a mixing ratio corresponding to the phase error signal P supplied from the
次に、図9(A2)及び図9(B2)に示す如く、ブロック境界位置の直前の位相補正画素サンプル値M5及びM6同士の差分を境界周辺差分値SB3として求め、ブロック境界位置の直後の位相補正画素サンプル値M3及びM4同士の差分を境界周辺差分値SB2として求める。更に、図9(A2)及び図9(B2)に示す如く、位相補正画素サンプル値M3及びM4の直後の位相補正画素サンプル値M1及びM2同士の差分を境界周辺差分値SB1として求め、位相補正画素サンプル値M5及びM6の直前の位相補正画素サンプル値M7及びM8同士の差分を境界周辺差分値SB4として求める。 Next, as shown in FIGS. 9 (A2) and 9 (B2), the difference between the phase correction pixel sample values M5 and M6 immediately before the block boundary position is obtained as the boundary peripheral difference value SB3, and immediately after the block boundary position. A difference between the phase correction pixel sample values M3 and M4 is obtained as a boundary peripheral difference value SB2. Further, as shown in FIG. 9A2 and FIG. 9B2, the difference between the phase correction pixel sample values M1 and M2 immediately after the phase correction pixel sample values M3 and M4 is obtained as the boundary peripheral difference value SB1, and the phase correction is performed. A difference between the phase correction pixel sample values M7 and M8 immediately before the pixel sample values M5 and M6 is obtained as a boundary peripheral difference value SB4.
ここで、推定境界差分値演算回路210は、境界周辺差分値SB1〜SB4に基づく上記補間演算により、図9(A2)及び図9(B2)に示す如きブロック境界部での位相補正画素サンプル値M4のブロックノイズ除去処理後の画素サンプル値Q1と、位相補正画素サンプル値M5のブロックノイズ除去処理後の画素サンプル値Q2との差分値をブロック境界部推定差分値PREDとして求める。
Here, the estimated boundary difference
境界補正値演算回路215は、先ず、これらブロック境界部での位相補正画素サンプル値M4及びM5における中点値dCNTと、ブロック境界部推定差分値PREDとに基づき、図9(A2)及び図9(B2)に示す如き画素サンプル値Q1及びQ2の内の一方、例えばQ1を以下の如く求める。
First, the boundary correction
Q1={dCNT−(PRED/2)}
そして、境界補正値演算回路215は、図9(A2)及び図9(B2)に示す如く、画素サンプル値Q1から位相補正画素サンプル値M5を減算することにより、位相補正画素サンプル値M5に対するブロック境界補正値dCORR1を生成する。更に、境界補正値演算回路215は、このブロック境界補正値dCORR1の極性を反転させたものを、図9(A2)及び図9(B2)に示す如き位相補正画素サンプル値M4に対するブロック境界補正値dCORR2として生成する。
Q1 = {dCNT− (PRED / 2)}
Then, the boundary correction
ここで、境界間補正値補間回路216は、各ブロック毎に、そのブロックの左境界部において生成されたブロック境界補正値dCORRと、右境界部において生成されたブロック境界補正値dCORRとによる線形補間により、このブロック内の画素位置各々に対応したレベル補正量を示すブロック補正信号BZを生成する。例えば、図10(a)の太実線にて示す如きレベル推移を有する入力映像信号が供給された場合、境界間補正値補間回路216は、ブロック1及び2の境界部において生成されたブロック境界補正値dCORR2と、ブロック2及び3の境界部において生成されたブロック境界補正値dCORR1とに基づく線形補間により、図10(b)の太実線にて示す如き、ブロック2内の画素位置各々に対応したレベル補正量を示すブロック補正信号BZを生成する。
Here, the inter-boundary correction
よって、かかるブロック補正信号BZに基づくレベル補正を入力映像信号に施すことにより、例え隣接するブロック同士のレベル差が大となる図10(a)の太実線にて示す如き映像信号に対しても、その画像品質を劣化させることなくブロックノイズが除去された太破線にて示す如きノイズ除去映像信号が得られる。 Therefore, by applying level correction based on the block correction signal BZ to the input video signal, for example, a video signal as shown by a thick solid line in FIG. 10A in which the level difference between adjacent blocks becomes large. Thus, a noise-removed video signal as indicated by a thick broken line from which block noise has been removed without degrading the image quality is obtained.
1 一次微分回路
2 メディアンフィルタ
3 差分絶対値回路
4 32画素周期累算回路
5 8画素周期畳込回路
7 第1ブロック境界検出回路
8 セレクタ
9 第2ブロック境界検出回路
10 比較器
201〜208 混合器
209,211,213,214 減算器
210 推定境界差分値演算回路
212 平均回路
215 境界補正値演算回路
216 境界間補正値補間回路
217 加算器
DESCRIPTION OF
10 Comparator
201-208 mixer
209,211,213,214 Subtractor
210 Estimated boundary difference calculation circuit
212 Average circuit
215 Boundary correction value calculation circuit
216 Interpolated correction value interpolation circuit
217 Adder
Claims (8)
前記復号化映像信号における互いに隣接する画素同士の差分値を画素間差分値として求める画素間差分値演算手段と、
前記復号化映像信号のブロックのブロックサイズN(Nは整数)または前記ブロックサイズNの整数倍であるM単位で前記画素間差分値を画素群毎に区分けし、前記画素群各々内において第1〜第N番目、または第1〜第M番目に夫々配置されている画素各々に対応した前記画素間差分値を前記画素群各々内における第n番目(n:1〜Nまたは1〜M)に配置されているもの同士にて累算した結果を夫々第1〜第Nブロックノイズ値、または第1〜第Mブロックノイズ値として得る累算手段と、
前記第1〜第Nブロックノイズ値または前記第1〜第Mブロックノイズ値各々の内から最大のブロックノイズ値を判定し当該最大ブロックノイズ値に対応した前記画素群内での画素位置をブロック境界位置として示すブロック境界位置信号を生成すると共に、前記最大ブロックノイズ値に対応した画素の両側に隣接する画素に夫々対応した前記ブロックノイズ値各々の内の大なる方を位相誤差ブロックノイズ値として判定し当該位相誤差ブロックノイズ値と前記最大ブロックノイズ値との比率に基づいて位相誤差信号を生成するブロック境界検出手段と、
前記復号化映像信号に対して前記位相誤差信号に基づく位相補正処理を施した位相補正画素サンプル値を検出する位相補正手段と、
前記位相補正画素サンプル値に基づいてブロックノイズ除去処理を施すことによりノイズ除去映像信号を生成する手段と、を有することを特徴とするブロックノイズ除去装置。 A block noise removing apparatus for removing block noise from a decoded video signal encoded and decoded for each pixel block composed of a plurality of pixels,
An inter-pixel difference value calculating means for obtaining a difference value between adjacent pixels in the decoded video signal as an inter-pixel difference value;
The inter-pixel difference value is divided for each pixel group in units of M, which is a block size N (N is an integer) of the block of the decoded video signal or an integer multiple of the block size N, and a first in each pixel group. To the Nth (n: 1 to N or 1 to M) of the inter-pixel difference value corresponding to each of the Nth or 1st to Mth pixels. Accumulating means for obtaining the results of accumulation between the arranged ones as first to Nth block noise values or first to Mth block noise values, respectively;
A maximum block noise value is determined from each of the first to Nth block noise values or each of the first to Mth block noise values, and a pixel position in the pixel group corresponding to the maximum block noise value is determined as a block boundary. A block boundary position signal indicating a position is generated, and a larger one of the block noise values corresponding to pixels adjacent to both sides of the pixel corresponding to the maximum block noise value is determined as a phase error block noise value. Block boundary detection means for generating a phase error signal based on a ratio between the phase error block noise value and the maximum block noise value;
Phase correction means for detecting a phase correction pixel sample value obtained by performing phase correction processing based on the phase error signal for the decoded video signal;
And a means for generating a noise-removed video signal by performing a block noise removal process based on the phase correction pixel sample value.
前記復号化映像信号における互いに隣接する画素同士の差分値を画素間差分値として求める画素間差分値演算手段と、
前記復号化映像信号のブロックのブロックサイズN(Nは整数)と前記復号化映像信号において推定されるリサイズブロックサイズLとの公倍数であるM単位で前記画素間差分値を画素群毎に区分けし、前記画素群各々内において第1〜第M番目に夫々配置されている画素各々に対応した前記画素間差分値を前記画素群各々内における第n番目(n:1〜M)に配置されているもの同士にて累算した結果を夫々第1〜第Mブロックノイズ値として得る累算手段と、
連続する前記第1〜第Mブロックノイズ値の周期がNとLのどちらかを判断する周期判断手段と、
前記第1〜第Nブロックノイズ値または前記第1〜第Mブロックノイズ値各々の内から最大のブロックノイズ値を判定し当該最大ブロックノイズ値に対応した前記画素群内での画素位置をブロック境界位置として示すブロック境界位置信号を生成すると共に、前記最大ブロックノイズ値に対応した画素の両側に隣接する画素に夫々対応した前記ブロックノイズ値各々の内の大なる方を位相誤差ブロックノイズ値として判定し当該位相誤差ブロックノイズ値と前記最大ブロックノイズ値との比率に基づいて位相誤差信号を生成するブロック境界検出手段と、
前記復号化映像信号に対して前記位相誤差信号に基づく位相補正処理を施した位相補正画素サンプル値を検出する位相補正手段と、
前記位相補正画素サンプル値と前記周期判断手段によって検出された前記周期に基づいてブロックノイズ除去処理を施すことによりノイズ除去映像信号を生成する手段と、を有することを特徴とするブロックノイズ除去装置。 A block noise removing apparatus for removing block noise from a decoded video signal encoded and decoded for each pixel block composed of a plurality of pixels,
An inter-pixel difference value calculating means for obtaining a difference value between adjacent pixels in the decoded video signal as an inter-pixel difference value;
The inter-pixel difference value is divided for each pixel group in units of M, which is a common multiple of the block size N (N is an integer) of the block of the decoded video signal and the resized block size L estimated in the decoded video signal. The inter-pixel difference value corresponding to each of the first to Mth pixels arranged in each of the pixel groups is arranged in the nth (n: 1 to M) in each of the pixel groups. Accumulating means for accumulating the results of accumulating them as first to Mth block noise values,
Period determining means for determining whether the period of the first to M-th block noise values that are consecutive is N or L;
A maximum block noise value is determined from each of the first to Nth block noise values or each of the first to Mth block noise values, and a pixel position in the pixel group corresponding to the maximum block noise value is determined as a block boundary. A block boundary position signal indicating a position is generated, and a larger one of the block noise values corresponding to pixels adjacent to both sides of the pixel corresponding to the maximum block noise value is determined as a phase error block noise value. Block boundary detection means for generating a phase error signal based on a ratio between the phase error block noise value and the maximum block noise value;
Phase correction means for detecting a phase correction pixel sample value obtained by performing phase correction processing based on the phase error signal for the decoded video signal;
A block noise removing apparatus comprising: means for generating a noise-removed video signal by performing a block noise removing process based on the phase correction pixel sample value and the period detected by the period determining means.
前記復号化映像信号または前記リサイズ復号化映像信号における互いに隣接する画素同士の差分値を画素間差分値として求める画素間差分値演算手段と、
1画面内の画素各々を水平方向又は垂直方向に隣接して配置されているM個(M:N・QとNとの公倍数)の画素からなる画素群毎に区分けし、前記画素群各々内において第1〜第M番目に夫々配置されている画素各々に対応した前記単位ブロックノイズ値を前記画素群各々内における第n番目(n:1〜M)に配置されているもの同士で累算した結果を夫々第1〜第Mブロックノイズ値として得る累算手段と、
前記第1〜第Mブロックノイズ値なる順に前記第1〜第Mブロックノイズ値の各々に第1〜第Nラベルを周期的に繰り返し割り当て、同一ラベルが割り当てられているもの同士にてブロックノイズ値を累算した結果を夫々第1〜第N畳込ブロックノイズ値として得る畳込手段と、
前記第1〜第N畳込ブロックノイズ値各々の内から最大の畳込ブロックノイズ値を判定し当該最大畳込ブロックノイズ値に対応した画素位置をブロック境界位置として示す第1ブロック境界位置信号を生成すると共に、前記最大畳込ブロックノイズ値に対応した画素の両側に隣接する画素に夫々対応した前記畳込ブロックノイズ値各々の内の大なる方を位相誤差畳込ブロックノイズ値として判定し当該位相誤差畳込ブロックノイズ値と前記最大畳込ブロックノイズ値との比率に基づいて第1位相誤差信号を生成する第1ブロック境界検出手段と、
前記第1〜第Mブロックノイズ値各々の内から最大のブロックノイズ値を判定し当該最大ブロックノイズ値に対応した画素位置をブロック境界位置として示す第2ブロック境界位置信号を生成すると共に、前記最大ブロックノイズ値に対応した画素の両側に隣接する画素に夫々対応した前記ブロックノイズ値各々の内の大なる方を位相誤差ブロックノイズ値として判定し当該位相誤差ブロックノイズ値と前記最大ブロックノイズ値との比率に基づいて第2位相誤差信号を生成する第2ブロック境界検出手段と、
前記第1位相誤差信号及び前記第2位相誤差信号の内の一方を選択してこれを位相誤差信号として出力すると共に、前記第1ブロック境界位置信号及び前記第2ブロック境界位置信号の内の一方を選択してこれをブロック境界位置信号として出力する選択手段と、
前記復号化映像信号又は前記リサイズ復号化映像信号に対して前記位相誤差信号に基づく位相補正処理を施してから前記ブロック境界位置信号に基づくブロックノイズ除去処理を施すことによりノイズ除去映像信号を生成する手段と、を有することを特徴とするブロックノイズ除去装置。 Resizing the decoded video signal consisting of N (horizontal direction) × N (vertical direction) pixels encoded or decoded for each pixel block composed of a plurality of pixels or the resolution of the decoded video signal by Q times A block noise removing apparatus for removing block noise from the resized decoded video signal,
An inter-pixel difference value calculating means for obtaining a difference value between adjacent pixels in the decoded video signal or the resized decoded video signal as an inter-pixel difference value;
Each pixel in one screen is divided into pixel groups each composed of M pixels (M: a common multiple of N · Q and N) arranged adjacent to each other in the horizontal direction or the vertical direction. The unit block noise value corresponding to each of the first to Mth pixels arranged in the pixel group is accumulated among the nth (n: 1 to M) arranged pixels in each of the pixel groups. Accumulation means for obtaining the obtained results as first to Mth block noise values, respectively;
The first to Nth block noise values are periodically assigned to the first to Mth block noise values in order of the first to Mth block noise values, and the same label is assigned to each block noise value. Convolution means for obtaining the first to Nth convolution block noise values respectively as a result of accumulating
A first block boundary position signal indicating a maximum convolution block noise value from each of the first to Nth convolution block noise values and indicating a pixel position corresponding to the maximum convolution block noise value as a block boundary position. And generating a larger one of the convolution block noise values respectively corresponding to pixels adjacent to both sides of the pixel corresponding to the maximum convolution block noise value as a phase error convolution block noise value. First block boundary detecting means for generating a first phase error signal based on a ratio between a phase error convolution block noise value and the maximum convolution block noise value;
A maximum block noise value is determined from each of the first to Mth block noise values, and a second block boundary position signal indicating a pixel position corresponding to the maximum block noise value as a block boundary position is generated. A larger one of the block noise values corresponding to pixels adjacent to both sides of the pixel corresponding to the block noise value is determined as a phase error block noise value, and the phase error block noise value and the maximum block noise value are determined. Second block boundary detection means for generating a second phase error signal based on the ratio of:
One of the first phase error signal and the second phase error signal is selected and output as a phase error signal, and one of the first block boundary position signal and the second block boundary position signal is output. Selecting means for selecting and outputting this as a block boundary position signal;
The decoded video signal or the resized decoded video signal is subjected to a phase correction process based on the phase error signal and then subjected to a block noise removal process based on the block boundary position signal to generate a noise-removed video signal. And a block noise removing device.
前記第1〜第Mブロックノイズ値各々の内から前記最大ブロックノイズ値、及び前記位相誤差ブロックノイズ値、並びに前記最大ブロックノイズ値の位置からリサイズ周期毎に配置される各最大準ブロックノイズ値、前記各準最大ブロックノイズ値に対応した画素の両側に隣接する画素に夫々対応した前記ブロックノイズ値各々の内の夫々大なる方である各準位相誤差ブロックノイズ値を除くブロックノイズ値各々の内で、最大となるブロックノイズ値と、前記最大ブロックノイズ値との差分を第2境界判断値として生成する手段と、
前記第1境界判断値が前記第2境界判断値よりも大である場合には前記第1位相誤差信号及び前記第1位相誤差信号各々を選択して夫々前記位相誤差信号及び前記ブロック境界位置信号として出力する一方、前記第2境界判断値が前記第1境界判断値よりも大である場合には前記第2位相誤差信号及び前記第2位相誤差信号各々を選択して夫々前記位相誤差信号及び前記ブロック境界位置信号として出力する手段と、からなることを特徴とする請求項7記載のブロックノイズ除去装置。 The selection means has a maximum value in each of the convolution block noise values excluding the maximum convolution block noise value and the phase error convolution block noise value from each of the first to Nth convolution block noise values. Means for generating a difference between the convolution block noise value and the maximum convolution block noise value as a first boundary determination value;
The maximum block noise value and the phase error block noise value from each of the first to M-th block noise values, and each maximum quasi-block noise value arranged at each resizing period from the position of the maximum block noise value, Each block noise value excluding each quasi-phase error block noise value, which is the larger of the block noise values respectively corresponding to pixels adjacent to both sides of the pixel corresponding to each quasi-maximum block noise value. A means for generating a difference between the maximum block noise value and the maximum block noise value as a second boundary determination value;
When the first boundary determination value is larger than the second boundary determination value, the first phase error signal and the first phase error signal are selected, respectively, and the phase error signal and the block boundary position signal are selected. When the second boundary judgment value is larger than the first boundary judgment value, the second phase error signal and the second phase error signal are selected and the phase error signal and The block noise removing apparatus according to claim 7, further comprising: a unit that outputs the block boundary position signal.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007107004A JP4749377B2 (en) | 2006-04-18 | 2007-04-16 | Block noise removal device |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006114833 | 2006-04-18 | ||
JP2006114833 | 2006-04-18 | ||
JP2007107004A JP4749377B2 (en) | 2006-04-18 | 2007-04-16 | Block noise removal device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007312370A JP2007312370A (en) | 2007-11-29 |
JP4749377B2 true JP4749377B2 (en) | 2011-08-17 |
Family
ID=38844753
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007107004A Expired - Fee Related JP4749377B2 (en) | 2006-04-18 | 2007-04-16 | Block noise removal device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4749377B2 (en) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4770704B2 (en) * | 2006-11-09 | 2011-09-14 | ソニー株式会社 | Image processing apparatus, image processing method, and program |
JP4770711B2 (en) * | 2006-11-15 | 2011-09-14 | ソニー株式会社 | Image processing apparatus, image processing method, and program |
KR101437195B1 (en) * | 2006-12-28 | 2014-09-03 | 톰슨 라이센싱 | Block artifact detection in coded pictures and images |
JP5130983B2 (en) | 2008-03-25 | 2013-01-30 | ソニー株式会社 | Image processing apparatus and method, and program |
US8559746B2 (en) | 2008-09-04 | 2013-10-15 | Silicon Image, Inc. | System, method, and apparatus for smoothing of edges in images to remove irregularities |
JP2012517774A (en) * | 2009-02-10 | 2012-08-02 | シリコン イメージ,インコーポレイテッド | Block noise detection and filtering |
JP5247591B2 (en) * | 2009-05-22 | 2013-07-24 | キヤノン株式会社 | Image processing apparatus and control method thereof |
JP5325164B2 (en) * | 2010-05-25 | 2013-10-23 | 日本電信電話株式会社 | Coding block size and position estimation method and program |
US8538193B2 (en) * | 2010-09-28 | 2013-09-17 | Sharp Laboratories Of America, Inc. | Methods and systems for image enhancement and estimation of compression noise |
JP2013090034A (en) * | 2011-10-14 | 2013-05-13 | Sony Corp | Image processing apparatus, image processing method, program, and storage medium |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4383581B2 (en) * | 1998-05-22 | 2009-12-16 | パナソニック株式会社 | Block noise detecting device and block noise removing device |
JP4306061B2 (en) * | 1999-03-26 | 2009-07-29 | 日本ビクター株式会社 | Block noise detector |
JP2002204457A (en) * | 2000-12-28 | 2002-07-19 | Matsushita Electric Ind Co Ltd | Video signal processor |
JP2003070020A (en) * | 2001-08-24 | 2003-03-07 | Yamaha Corp | Video signal processing apparatus and video signal processing method |
JP2005012641A (en) * | 2003-06-20 | 2005-01-13 | Matsushita Electric Ind Co Ltd | Block noise detecting device and block noise eliminating device using the same |
JP4049052B2 (en) * | 2003-08-22 | 2008-02-20 | 日本ビクター株式会社 | Block distortion reducing apparatus, block distortion reducing method, and block distortion reducing program |
-
2007
- 2007-04-16 JP JP2007107004A patent/JP4749377B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007312370A (en) | 2007-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4749377B2 (en) | Block noise removal device | |
JP4649355B2 (en) | Block noise detection method and apparatus, and block noise reduction method and apparatus | |
JP4599446B2 (en) | Gradation control device and gradation control method | |
US8023765B2 (en) | Block noise removal device | |
KR20010014304A (en) | Block noise detector and block noise eliminator | |
US20140247890A1 (en) | Encoding device, encoding method, decoding device, and decoding method | |
US7974491B2 (en) | Block noise removal device | |
JP4762352B1 (en) | Image processing apparatus and image processing method | |
JP4781306B2 (en) | Block noise removal device | |
US20060171466A1 (en) | Method and system for mosquito noise reduction | |
JP5178616B2 (en) | Scene change detection device and video recording device | |
JP2001285881A (en) | Digital information converter and method, and image information converter and method | |
JP5080304B2 (en) | Display method of image data with confidential data inserted | |
JP5050637B2 (en) | VIDEO SIGNAL PROCESSING DEVICE, VIDEO SIGNAL PROCESSING METHOD, VIDEO SIGNAL PROCESSING METHOD PROGRAM, AND RECORDING MEDIUM CONTAINING VIDEO SIGNAL PROCESSING METHOD PROGRAM | |
EP2063637A2 (en) | Method and system for motion compensated picture rate up-conversion using information extracted from a compressed video stream | |
US20050100239A1 (en) | Image signal processing method, image signal processing apparatus, and image signal processing program | |
JP2005012641A (en) | Block noise detecting device and block noise eliminating device using the same | |
KR100607390B1 (en) | Method and apparatus for coding a digitized image using an image full motion vector | |
KR20050012773A (en) | Video decoding system and method having post-processing to reduce sharpness prediction drift | |
JP2005348176A (en) | Image processor | |
JP6078431B2 (en) | Video quality estimation apparatus, video quality estimation method and program | |
JP2001285882A (en) | Device and method for reducing noise | |
JP2011129979A (en) | Image processor | |
US7593063B1 (en) | Method of detecting a format type of an incoming video signal and source format detector thereof | |
JP4186769B2 (en) | GOP cycle detector |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100406 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110419 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110426 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110517 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140527 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |