CN1802843A - 电视接收机及图像处理方法 - Google Patents
电视接收机及图像处理方法 Download PDFInfo
- Publication number
- CN1802843A CN1802843A CNA2004800159116A CN200480015911A CN1802843A CN 1802843 A CN1802843 A CN 1802843A CN A2004800159116 A CNA2004800159116 A CN A2004800159116A CN 200480015911 A CN200480015911 A CN 200480015911A CN 1802843 A CN1802843 A CN 1802843A
- Authority
- CN
- China
- Prior art keywords
- image processing
- movable information
- data
- image
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims description 19
- 238000012545 processing Methods 0.000 claims abstract description 129
- 230000033001 locomotion Effects 0.000 claims abstract description 105
- 238000001514 detection method Methods 0.000 claims description 29
- 238000000034 method Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 14
- 238000011946 reduction process Methods 0.000 claims description 10
- 230000001360 synchronised effect Effects 0.000 claims description 8
- 238000012937 correction Methods 0.000 abstract description 3
- 230000003044 adaptive effect Effects 0.000 abstract 4
- 238000013139 quantization Methods 0.000 description 11
- 238000007792 addition Methods 0.000 description 6
- 230000008878 coupling Effects 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 5
- 238000005859 coupling reaction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 239000004744 fabric Substances 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Picture Signal Circuits (AREA)
Abstract
MPEG解码电路20被输入编码图像数据，基于运动信息生成解码图像数据，将生成的解码图像数据向运动适应型图像处理部34输出。另外，MPEG解码电路20将运动信息供给时间轴补偿电路31。时间轴补偿电路31，与从MPEG解码电路20向运动适应型图像处理部34供给使用该运动信息的解码图像数据的定时一致，将该运动信息提供给运动适应型图像处理部34。运动适应型图像处理部34根据运动信息判断处理中的图像数据是动画或是静画，分别选择并执行适合的图像处理。
Description
技术领域
本发明涉及接收运动图像数据并显示它的电视接收机，具体地说，是涉及设有接收被编码后的数字运动图像数据并解码的解码电路的电视接收机及图像处理方法。
背景技术
近年，随着数字电视广播和DVD(Digital Versatile Disk)等的普及，高质量的图像数据及声音数据更接近了我们的生活。伴随这样的媒体的普及，开发了接收高质量的图像数据及声音数据，由电视监视器及喇叭输出的电视接收机。来自上述的数字电视广播和DVD的图像、声音数据用例如MPEG-2(Moving Picture Experts Group-2)那样的数字运动图像编码方式以被编码的数据形式来提供。
在MPEG-2中，在编码时，在场(或帧)内检测运动物体的图像后，抽取对其运动作了预测的场与当前场的差并输出P图像或B图像，同时，将其运动作为运动信息(运动向量信息)输出。MPEG-2编码数据的解码由使用这样的差分数据的上述P图像、B图像运动信息来进行。通过使用差分数据和运动信息，可以不使解码后的图像质量劣化、更进一步压缩编码数据的大小。
另外，在现在的电视接收机中，作为输入信号，通常供给将上述的MPEG-2编码数据等解码后的视频信号。这种电视接收机由于直接输入视频信号，不必具有用以解码MPEG-2编码数据的电路，可以用简单的电路构成。另一方面，在该电视接收机中，作为进行随图像的运动的补偿处理和降噪(NR(Noise Reduction))处理的情况，从接收的上述视频信号进行场(或帧)图像间的运动检测，必需再度取得运动信息。
在接收视频信号后，进行将该视频信号返回原先状态的运动信息的检测。根据该运动信息的检测结果，转换进行帧NR处理或进行场NR处理的图像信号的处理装置已在特开2002-51234号公报中提出。
但是，在现在的电视接收机中，如上所述，由于接收视频信号，为了得到图像间的运动信息，必需进行有关由视频信号产生的各图像的运动检测处理。因而，在MPEG-2的编码时，虽然生成运动信息，但是不能活用这些信息。另外，在实际的降噪处理等情况下，从已输入的视频信号检测运动信息，由于判断从该运动信息辨别对象的场(或帧)是动画还是静画，其辨别精度是受限的。
另外，还需构成用于运动检测的电路，也存在着所说的作为整体结构大的电路规模的问题。
再者，由于对全部的图形，完善地辨别是动画或是静画是非常困难的，由于运动的图形招致辨别电路的误动作，因而存在着所谓运动图像的再现质量劣化的问题。
例如，判断动画、静画的区别，在仅是静画面时，将连续的帧的信息以某种比率一直相加下去的这一类型的降噪处理电路中，在输入轻微的运动图像时，判断动、静画区别的电路由于一连串输入图像的运动的量少，将上述输入图像判断为是静画时，会发生图像的轮廓模糊，或图像拖尾等的现象。
另一方面，为了抑制这种现象的发生，如果将辨别动画和静画时使用的阈值偏向动画一侧，则多数的图像被辨别为动画，不能进行充分的降噪处理。
第6图示出传统的动、静画判别电路中的误动作的例。第6图A是概念性地表示输入流的图，用斜线所表示的中央的物体是沿箭头方向轻微运动的物体，这本来是应判断为动画的流，而由于运动的量小，这里被判断为静画。
第6图B概念性地表示由于输入流被判断为静画，在降噪处理中，连续的数帧按规定的比率被相加的情况。第6图C表示上述连续的数帧按规定的比率被相加后的结果的图像。各帧所表示的物体由于实际上轻微地运动，将这些帧相加后的结果如图6C所示，输入流被显示成轮廓模糊、物体的图像拖尾那样的状态。
因而，本发明的目的在于，提供：通过原封不动利用由MPEG-2等的数字运动图像编码方式产生的编码所得到的运动信息，辨别输入流是动画或静画，根据其结果施行不同的图像处理的电视接收机及图像处理方法。
另外，本发明的目的在于，提供：通过从由MPEG-2等的数字运动图像编码方式产生的编码数据取回运动信息而省略了运动检测电路的电视接收机及图像处理方法。
还有，本发明的目的在于，提供这样的电视接收机及图像处理方法，其中，将输入由MPEG-2等的数字运动图像编码方式产生的编码数据，将其中所包含的运动信息原封不动地利用的情况跟输入不包含运动信息的运动图像数据，从该数据中检测出运动信息而利用该所检测出的运动信息的情况相转换，从而根据各自的运动信息的内容进行图像处理。
发明内容
本发明的第1形态是电视接收机，其特征在于，
在输入包含被用于编码的运动信息的编码图像数据的电视接收机中，设有：
根据运动信息解码编码图像数据，并输出解码图像数据的解码部件；
对解码图像数据施行适应于运动的图像处理的图像处理部件；
为与向图像处理部件供给解码图像数据的定时同步，向图像处理部件供给与解码图像数据的生成相关联的运动信息的时间轴补偿部件，
图像处理部件进行与由时间轴补偿部件供给的运动信息相适应的图像处理。
本发明的第2形态是关于被输入包含已用于编码的运动信息的编码图像数据的图像处理方法，其特征在于，包括：根据运动信息解码编码图像数据，输出解码图像数据的解码步骤；
对解码图像数据执行适应于运动的图像处理的图像处理步骤；
为了与向图像处理步骤供给解码图像数据的定时同步，向图像处理步骤供给与解码图像数据的生成相关联的运动信息的时间轴补偿步骤；
图像处理步骤中进行与时间轴补偿步骤所供给的运动信息相适应的图像处理。
依据本发明，通过原封不动利用由MPEG-2等的数字运动图像编码方式产生的编码所得到的运动信息，辨别输入流是动画或静画，根据其结果，执行不同的图像处理。结果，可构成高精度的动、静画辨别。另外，通过从由MPEG-2等的数字运动图像编码方式产生的编码数据取回运动信息，可以省略运动检测电路并可采用简单的电路结构。
另外，依据本发明，可以将输入由MPEG-2等的数字运动图像编码方式产生的编码数据而原封不动利用其中所包含的运动信息的情况跟输入不包含运动信息的运动图像数据、从该数据检测运动信息，利用该被检测出的运动信息的情况相转换。
附图的简单说明
第1图是表示有关本发明的实施例的电视接收机的结构的方框图。
第2图是表示第1图所示的电视接收机的解码器的结构的方框图。
第3图是在本发明实施例的电视接收机中，根据运动信息的判定进行图像处理的过程的流程图。
第4图是表示用以说明本发明实施例的电视接收机的运动检测处理的输入像素和存储像素的简图。
第5图是表示用以说明本发明实施例的电视接收机的运动检测处理的第1场和第2场的简图。
第6图是表示传统电视接收机中用所得到的运动信息进行降噪处理的结果的简图。
本发明的最佳实施例
下面，就本发明的实施例，用附图进行说明。构成运动图像的像素大致被区别为：在用1次扫描进行1幅图像显示(非隔行扫描方式)情况下被用于各扫描的图像「帧」和在用2次扫描进行1幅图像显示(隔行扫描)情况下被用于各扫描的图像「场」。这里，就使用场的例子进行说明，而本发明不限定于使用场的情况，也适用于以进行帧或其它的图像显示所使用的所有图像。
另外，后面说明的MPEG解码电路、运动适应型图像处理部、时间轴补偿电路、运动检测部以及开关，分别对应于解码部件、图像处理部件、时间轴补偿部件、运动检测部件以及转换部件。再者，运动图像数据包含两种：含有MPEG-2那样的运动信息的编码数据和不含视频信号那样的运动信息的数据；图像数据意指构成运动图像中的1个显示画面的数据(例如，场或帧的数据)。
第1图是表示本发明实施例的电视接收机1的结构部件的方框图。电视接收机1设有：调谐器2、解调部3、解码器4、显示部5及声音输出部6。电视接收机1还设有操作部7及控制部8。
调谐器2接收来自天线9的电视广播信号，进行放大、变频以及滤波等之后，作为IF(Intermediate Frequency：中频)信号向解调部输出。在接收通常的地面波模拟广播的情况以外，例如，如果是接收地面波数字广播的情况，则调谐器2通过天线9将ISDB-T的OFDM信号作为RF(Radio Frequency：射频)信号来接收。地面波数字广播中的各程序内容利用例如MPEG-2的ES(Elementary Stream：基本流)。这里，就有关本实施例，从MPEG-2的ES中进行电视广播的再现的情况进行说明。
解调部3不仅解调通常的地面波模拟广播，而且也解调解调接收到的地面波数字广播信号并抽出MPEG-2的ES(以下称为ES数据)。因此，解调部3对上述接收信号执行FFT(Fast Fourier Transform：快速傅里叶变换)演算、去交织、映射及利用维托毕解码及RS(ReedSolomon里德-所罗门)解码等的纠错、复用等的各种处理。
由解调部3解调的数据被供给解码器4进行解调处理。在ES数据内，关于B图像和P图像，包含每个宏块的运动信息。在本发明中，原封不动利用该运动信息来判断MPEG解码后的各场是动画或是静画，根据判断分别进行适合的图像处理。作为这样的图像处理，代表性的处理是降噪处理。
通过用解码器4的处理，ES数据分别被解码为关于图像的视频信号和关于声音的声音信号，向对应的输出装置输出。即，视频信号(MPEG视频数据)被输出至显示部5，声音信(MPEG音频信号)被输出至声音输出部6。
显示部5是可应对例如HDTV(High Definition Television：高清晰度电视)的电视监视器。另外，声音输出部6是例如内置在电视接收机1中的立体声扬声器。
操作部7根据用户的操作将用以操作电视接收机1的信号供给控制部8。例如，通过频道按钮的操作选择所想要的通常的地面波模拟广播或地面波数字广播的频道，将该选择的频道信息供给控制部8。
控制部8是系统控制器，控制电视接收机1的整个系统。例如，根据由操作部7供给的频道信息控制调谐器2，使选择对应于该频道信息的广播波。另外，控制部8控制解调部3及解码器4，使它们执行对应于接收到的广播波的解调及解码处理。
下面，参照第2图，说明本发明的解码器4的结构。第2图是表示解码器4的结构例的方框图。解码器4包含MPEG解码电路20和电视图像处理电路30，接收来自第1图所示的解调部3的ES数据的位流，最终输出视频信号。如上所述，解码器4也输出声音信号，但在里，了简明，省略有关涉及该声音信号的处理的说明。
另外，在本实施例中，就使用ES数据的情况进行了说明，而也有接收像视频信号那样的不包含运动信息的运动图像数据(数据流)的可能性。在那样的情况下，该数据流直接供给电视图像处理电路30的运动检测部32，在那里进行运动信息的检测。即使原来是ES数据，在已被解码而作为视频信号供给解码器4的情况下，也由运动检测部32接收该数据。
在MPEG-2所代表的数字运动图像编码方式的编码处理中，首先，通过运动补偿削减运动图像信号的时间性的冗余信息。再进行作为正交变换之一的DCT(Discrete Cosine Transform：离散余弦变换)，将结果得到的DCT系数量化而削减空间性的冗余信息。之后，通过对该量化DCT系数进行可变长编码来进一步压缩，最终生成ES数据。
这样被编码的ES数据的解码处理，按与上述编码处理相反的顺序来进行。即，对该编码数据进行可变长编码，生成量化DCT系数，并对该系数顺序地进行逆量化、IDCT(逆离散余弦变换)及运动补偿，再现构成运动图像的各场。在可变长编码中，除了量化DCT系数之外，输出运动信息和编码信息。下面，说明如何在解码器4中进行这样的ES数据的解码处理。
ES数据的处理用解码器4的MPEG解码电路20进行，但该处理与传统的MPEG解码处理基本上相同。最初，由解调部3供给的ES数据被存储到缓冲器21，依次提供给后续的处理。可变长解码部22将该数据可变长解码，分离为量化DCT系数、运动信息和编码方式(包含被称为的B图像、P图像的用以区别图像的类型)，将量化DCT系数供给逆量化部24，将运动信息和编码方式供给运动预测部26。
逆量化部24一旦从可变长解码部22接收到量化DCT系数，就将它们进行逆量化并求出DCT系数，供给IDCT(Inverse DCT：离散余弦反变换)部25。IDCT部25从由逆量化部24求得的DCT系数求出I图像、P图像、B图像等各图像数据。
I图像(Intra-coded picture：帧内编码图像)是在被编码时使用在其1幅图像中关闭的信息的图像。因而，在解码时，仅可以解码I图像自身的信息。
P图像(Predictive-coded picture：正向预测编码图像)作为预测图像(构成取差分的基准的图像)，是使用时间上在前的已解码的I图像或P图像的图像。用宏块单位选择以下两者中高效的一方：是将与被运动补偿的预测图像的差编码，还是不取差分地编码。
B图像(Bidirectionally predictive-coded picture：双向预测编码图像)作为预测图像(取差分的作为基准的图像)，使用时间上在前(过去)的已解码的I图像或P图像、时间上在后(未来)的已解码的I图像或P图像以及由这两者作成的内插图像等3种。用宏块单位选择这3种的各自的运动补偿后的差分的编码和内部编码中效率最好的一种。
因而，作为宏块类型，有：帧内编码(Intra)宏块、从过去预测未来的正向(Forward)帧间预测宏块、从未来预测过去的逆向(Backward)帧间预测宏块和从前后两方向预测的双向宏块。I图像内的全部宏块是帧内编码宏块。另外，在P图像内包含帧内编码宏块和正向帧间预测宏块。在B图像内包含上述的全部4种类型的宏块。
再现时，首先是I图像被解码，再基于该I图像解码P图像和B图像。例如，解码图像作为过去参照图像及未来参照图像被存储在帧存储器内，如果是正向帧间预测宏块的情况，则成为：将对过去参照图像用运动向量作运动补偿后的图像与用逆DCT得到的差分数据相加而得到解码图像数据。如果是逆向帧间预测宏块的情况，则成为：将对未来参照图像用运动向量作运动补偿后的图像与用逆DCT得到的差分数据相加而得到解码图像数据。
这样求出的各图像数据被存储到帧缓冲寄存器27。运动预测部26根据从可变长解码部22接收的运动信息和编码方式，用I图像及P图像或者I图像、P图像及B图像来生成并输出场的图像数据。
这样，由MPEG解码电路20生成的图像数据，经由电视图像处理电路30的开关33提供给运动适应型图像处理部34。另一方面，从可变长解码部22供给的运动信息和编码方式被提供给电视图像处理电路30的时间轴补偿电路31。因此，时间轴补偿电路31根据接收到的编码方式判定所生成的场图像数据是对应于I图像、B图像和P图像中的哪一个类型的图像，图像数据对应于预测编码图像(B图像或P图像)时，与该图像数据被提供给运动适应型图像处理部34的定时一致地，将对应于该图像的运动信息提供给运动适应型图像处理部34。
运动适应型图像处理部34构成为：跟与按每个宏块根据运动向量形成的运动信息或与图像处理部34的信号处理相一致地根据运动向量形成的运动信息相适应地进行图像处理。
电视图像处理电路30的运动检测部32在接收到不包含运动信息的运动图像数据(数据流)时，从各场图像检测场间差(运动)。开关33根据来自控制部8的控制信号，在含有ES数据那样的运动信息的运动图像数据的输入和不含运动信息的运动图像数据的输入之间进行转换，并提供给运动适应型图像处理部34。
因而，运动适应型图像处理部34输入了(从MPEG解码电路20)含有ES数据那样的运动信息的运动图像数据时，从时间轴补偿电路31接收对应的运动信息并进行处理。另一方面，在输入了(从运动检测部32)不含运动信息的运动图像数据时，从检测该信息的运动检测部32接收对应的运动信息并进行处理。
这里，参照第3图，就处理由ES数据解码后的图像数据(场图像)时，时间轴补偿电路31与运动适应型图像处理部34的动作进行说明。时间轴补偿电路31最初在步骤S10从MPEG解码电路20的可变长解码部22接收运动信息和编码方式。据此，时间轴补偿电路31掌握以怎样的定时向运动适应型图像处理部34供给对应于哪个图像类型的被解码后的图像数据，以及各图像(B图像和P图像)的运动信息的内容。
接着，时间轴补偿电路31在步骤S11中，计算上述被解码后的各图像数据被输入至运动适应型图像处理部34的定时，与该定时一致地将对应于该图像数据的图像的运动信息供给运动适应型图像处理部34(该定时调整称为时间轴补偿处理)。
运动适应型图像处理部34一旦接受上述运动信息，就在步骤S12中判定运动信息的值是否比预定的值大。若运动信息比预定的值大(步骤S12的是)，则表示输入的场图像的内容从前面的场发生了变化。这时，进入步骤S13，因此对该场进行适合于动画的处理。相反，若运动信息在预定的值以下(步骤S12的否)，则表示在输入的场图像与前面的场图像之间没有变化。这时，进入步骤S14，执行适合于静画的处理。
如上所述的所谓适合于动画的处理、适合于静画的处理，例如，在降噪处理的例中，构成将仅在静画时连续的帧的图像按某个比率相加的处理。另外，上述的运动信息的值的判定按每个宏块来进行，判定结果被变换成场单位的判定结果，进行场单位的处理。但是，也可以用宏块单位或由多个宏块单位构成的区域单位进行处理。
下面，参照第4图和第5图，就第2图所示的电视图像处理电路30的运动检测部32的动作进行说明。在本实施例中，对于运动检测使用块匹配的方法。如第4图所示，宏块匹配单位的宏块是4行×16像素的区域(例如，第4图的斜线的区域41)。单位块选择这样的横向长的形状是因为考虑到该匹配是场间匹配，以及对象在横向运动的情况多。再者，在场间匹配中，不能正确检测用1行的图像构成的对象的运动。
块匹配使用作为输入像素(4行×16像素，第4图中的带斜线区域41)的搜索块和作为场存储器的存储像素(11行×31像素，第4图中的区域40)的被搜索块来进行。因而，搜索范围是搜索宏块的上方4行、下方3行、左边8像素、右边7像素。再者，在第4图中，用斜线所表示的4行×16像素的区域41是向量(0，0)的位置(恰好是延迟了1场的数据的位置)。
下面，概略说明向量的检测步骤。
(1)对于输入像素及存储器的输出，通过采用1对3或3对1的垂直滤波器来对重心，提高块匹配精度。
(2)在被搜索范围内(第4图的区域40)，对每个单位块求出输入像素和存储像素的差分值，取得该差分值的和。
(3)算出共128块的(长8块，宽16块)差分值之和，算出其总和的平均值。
(4)比较求出的平均值和由寄存器所设定的阈值，如果在阈值以下，则判定为向量检出有效。
(5)如果向量检出判定为有效，则将在搜索范围内构成最小值的块的位置作为取得匹配的块位置。但是，所应用的向量不是块单位，是该块内的1个行单位(下一个单位块和存储器的搜索图像发生1行偏移)。
(6)取构成最小值的块位置的存储数据和输入数据的差分，检测噪声。
(7)若向量检出被判定为无效，则使用向量(0，0)的值。
如第5图所示，所应用的向量的单位(行)在第1场和接着的第2场中成为不同的单位。
根据上述的步骤，运动检测部32将求出的运动向量作为运动信息提供给运动适应型图像处理部34。另外，根据来自控制部8的控制信号，通过开关33，作为场图像，向运动适应型图像处理部34输入不包含运动信息的运动图像数据。
以下与第3图的步骤S12以后的动作相同。亦即，运动适应型图像处理部34一旦接收到上述运动信息，就判断运动信息的值是否比预定的值大。若运动信息比预定的值大，则已输入的场图像的内容是由前一场图像变化了的内容。这时，对该场执行适于动画的处理。相反，若运动信息在预定的值以下，则表示已输入的场图像与前面的场图像之间没有变化。这时，执行适合于静画的处理。
在本实施例中，到此为止，主要就输入MPEG-2的运动图像数据的状态作了说明，但不应将本发明限定在有关MPEG-2的范围。本发明对任何运动图像数据都可适用，只要在含有用以运动补偿的运动信息的范围内。
依据本发明，通过原封不动利用由MPEG-2等的数字运动图像编方式产生的编码所得到的运动信息，辨别输入流是动画或静画，根据其结果，可以做到执行不同的图像处理。
另外，依据本发明，由于从由MPEG-2等数字运动图像编码方式产生的编码数据取出运动信息，可以省略运动检测电路，其结果，可以实现电路构成简单的电视接收机。
再有，依据本发明，将输入由MPEG-2等的数字运动图像编码方式产生的编码数据、将其中包含的运动信息原封不动利用的情况，跟输入不包含运动信息的运动图像数据、从该数据检测运动信息而利用该被检出运动信息的情况进行转换，从而可以做到对应于各自的运动信息的内容进行图像处理。
权利要求书
(按照条约第19条的修改)
1.一种被输入包含编码中使用的运动信息的编码图像数据以及不包含所述运动信息的运动图像数据的电视接收机，其特征在于，
设有：根据所述运动信息解码所述编码图像数据，并输出解码图像数据的解码部件；
对所供给的所述解码图像数据或所述运动图像数据施加预定的图像处理并输出到显示部的图像处理部件；以及
为了与将所述解码图像数据提供给所述图像处理部件的定时同步，向所述图像处理部件供给与所述解码图像数据的生成相关联的运动信息的时间轴补偿部件，
所述图像处理部件在所述解码图像数据被供给后对该解码图像数据进行适应于从所述时间轴补偿部件供给的运动信息的图像处理。
2.如权利要求1所述的电视接收机，其特征在于，
还设有：输入不包含所述运动信息的所述运动图像数据、检测出该图像数据的运动信息并将该检测出的运动信息提供给所述图像处理部件的运动检测部件；
在被输入了所述运动图像数据时，所述图像处理部件进行适应于由所述运动检测部件检测出的运动信息的图像处理。
3.如权利要求1所述的电视接收机，其特征在于，
所述图像处理部件是执行这样的处理的降噪电路，它基于所述时间轴补偿电路供给的运动信息，按某个比率将连续的帧的图像数据加到被供给的所述解码图像数据上。
4.如权利要求2所述的电视接收机，其特征在于，
所述图像处理部件是执行这样的处理的降噪电路，它在从所述时间轴补偿部件或所述运动检测部件供给的运动信息为预定的值以下时，按某个比率将所供给的连续的帧的图像数据加上。
5.如权利要求2所述的电视接收机，其特征在于，
设有：选择作为所述编码图像数据而接收了被解调广播信号的频道和作为所述运动图像数据而接收了被解调广播信号的频道的操作部；以及
将所述解码图像数据或所述非编码图像数据中的任一个供给所述图像处理部件的转换部件，
还设有：基于由所述操作部选择的频道信息来控制所述转换部件的控制部。
6.如权利要求1所述的电视接收机，其特征在于，
所述编码图像数据包含对于成为基准的图像的差分数据；
所述解码部件构成为：通过将利用所述运动信息生成的过去或未来的图像数据与所述差分数据相加来生成所述解码图像数据。
7.如权利要求1所述的电视接收机，其特征在于，
所述运动信息是按每个由多个像素构成的宏块检测出的运动向量；
所述图像处理部件按每个所述宏块参照所述运动向量执行与运动相适应的图像处理。
8.如权利要求1所述的电视接收机，其特征在于，
所述图像处理部件在从所述时间轴补偿部件供给的运动信息超过预定的值时，对所述图像数据进行适合于动画的图像处理；所述供给的运动信息在所述预定的值以下时，对所述图像数据进行适合于静画的图像处理。
9.如权利要求1所述的电视接收机，其特征在于，
所述编码图像数据是MPEG-2方式的基本流；
根据由所述解码部件与所述运动信息一起供给的表示所述编码图像数据的类型的编码方式信息，所述时间轴补偿部件将所述运动信息供给所述图像处理部件，以与所述解码图像数据被供给所述图像处理部件的定时同步。
10.一种被输入包含编码中使用的运动信息的编码图像数据以及不包含所述运动信息的运动图像数据的、由图像处理部件执行预定的图像处理的图像处理方法，其特征在于，
设有：根据所述运动信息来解码所述编码图像数据的解码步骤；
为与将所述解码图像数据提供给所述图像处理部件的定时同步，向所述图像处理部件供给与所述解码图像数据的生成相关联的运动信息的时间轴补偿步骤；以及
对所供给的所述解码图像数据或所述运动图像数据执行预定的图像处理的图像处理步骤，
所述图像处理步骤中，在所述解码图像数据被供给后对该解码图像数据进行适应于所述时间轴补偿步骤中以预定的定时供给所述图像处理部件的运动信息的图像处理。
11.如权利要求10所述的图像处理方法，其特征在于，
还设有将不包含所述运动信息的所述运动图像数据输入并检测出该图像数据的运动信息的检测步骤；
所述图像处理步骤中，在所述运动图像数据被供给后进行适应于所述运动检测步骤中检出并供给了所述图像处理部件的运动信息的图像处理。
12.如权利要求10所述的图像处理方法，其特征在于，
所述图像处理步骤中执行这样的降噪处理，基于所述时间轴补偿步骤供给的运动信息，按某个比率将连续的帧的图像数据加到被供给的所述解码图像数据上。
13.如权利要求11所述的图像处理方法，其特征在于，
所述图像处理步骤中执行这样的降噪处理，在从所述运动检测部件供给的运动信息为预定的值以下时，按某个比率将连续的帧的图像数据加上。
14.如权利要求10所述的图像处理方法，其特征在于，
所述编码图像数据是MPEG-2方式的基本流；
在所述时间轴补偿步骤中，根据由所述解码步骤与所述运动信息一起供给的表示所述编码图像数据类型的编码方式信息，将所述运动信息供给所述图像处理部件，以与所述解码图像数据被供给所述图像处理部件的定时同步。
Claims (14)
1.一种被输入包含编码中使用的运动信息的编码图像数据的电视接收机，其特征在于，
设有：根据所述运动信息解码所述编码图像数据，并输出解码图像数据的解码部件；
对于所述解码图像数据，执行适应于运动的图像处理的图像处理部件；以及
为了与将所述解码图像数据提供给所述图像处理部件的定时同步，向所述图像处理部件供给与所述解码图像数据的生成相关联的运动信息的时间轴补偿部件，
所述图像处理部件进行适应于从所述时间轴补偿部件供给的运动信息的图像处理。
2.如权利要求1所述的电视接收机，其特征在于，
所述编码图像数据包含对作为基准的图像的差分数据，
所述解码部件通过将所述差分数据与用所述运动信息生成的过去或未来的图像数据相加，生成所述解码图像数据。
3.如权利要求1所述的电视接收机，其特征在于，
所述运动信息是按每个由多个像素构成的宏块检测出的运动向量，
所述图像处理部件按每个所述宏块参照所述运动向量进行适应于运动的图像处理。
4.如权利要求1所述的电视接收机，其特征在于，
所述图像处理部件在从所述时间轴补偿部件供给的运动信息超过预定的值时，对所述图像数据进行适合于动画的图像处理；所述供给的运动信息在所述预定的值以下时，对所述图像数据进行适合于静画的图像处理。
5.如权利要求1所述的电视接收机，其特征在于：
所述图像处理部件是构成为仅在所述供给的运动信息在所述预定的值以下时、将连续的帧图像数据以某个比率相加的降噪电路。
6.如权利要求1所述的电视接收机，其特征在于，
还设有：被输入不含运动信息的图像数据的、检测所述图像数据的运动信息并将该检测出的运动信息供给所述图像处理部件的运动检测部件；以及
将所述解码部件的输出图像数据和不含所述运动信息的图像数据中的任意一个供给所述图像处理部件的转换部件，
所述图像处理部件在被输入所述图像数据时，根据由所述运动检测部件检测出的运动信息，进行适应于所述运动信息的图像处理。
7.如权利要求1所述的电视接收机，其特征在于，
所述编码图像数据是MPEG-2方式的基本流。
8.一种被输入包含编码中使用的运动信息的编码图像数据的图像处理方法，其特征在于，
设有：根据所述运动信息解码所述编码图像数据，并输出解码图像数据的解码步骤；
对所述解码图像数据执行适应于运动的图像处理的图像处理步骤；以及
为与将所述解码图像数据提供给所述图像处理步骤的定时同步，向所述图像处理步骤供给与所述解码图像数据的生成相关联的运动信息的时间轴补偿步骤，
所述图像处理步骤执行与从所述时间轴补偿步骤供给的运动信息相适应的图像处理。
9.如权利要求8所述的图像处理方法，具有这样的结构，
所述编码图像数据包含对于作为基准的图像的差分数据，
所述解码步骤通过将所述差分数据与使用所述运动信息而生成的过去或未来的图像数据相加，生成所述解码图象数据。
10.如权利要求8所述的处理方法，其特征在于，
所述运动信息是按每个由多个像素构成的宏块检测出的运动向量，
所述图像处理步骤按每一个所述宏块参照所述运动向量来进行适应于运动的图像处理。
11.如权利要求8所述的图像处理方法，其特征在于，
所述图像处理步骤在从所述时间轴补偿步骤供给的运动信息超过预定的值时，对所述图像数据进行适合于动画的图像处理；当所述被供给的运动信息在所述预定的值以下时，对所述图像数据进行适合于静画的图像处理。
12.如权利要求8所述的图像处理方法，其特征在于，
所述图像处理步骤是只在所述供给的运动信息在所述预定的值以下时，将连续的帧图像数据以某个比率相加的降噪过程。
13.如权利要求8所述的图像处理方法，其特征在于，
还设有：被输入不含运动信息的图像数据的、检测所述图像数据的运动信息并将该检测出的运动信息供给所述图像处理步骤的运动检测步骤；
将所述解码步骤的输出图像数据和不合所述运动信息的图像数据中的任意一个供给所述图像处理步骤的转换步骤；
所述图像处理步骤中，在被输入所述图像数据时，根据由所述运动检测步骤检测出的运动信息，进行适应于所述运动信息的图像处理。
14.如权利要求8所述的图像处理方法，其特征在于，
所述编码图像数据是MPEG-2方式的基本流。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP165628/2003 | 2003-06-10 | ||
| JP2003165628 | 2003-06-10 | ||
| PCT/JP2004/008396 WO2004112378A1 (ja) | 2003-06-10 | 2004-06-09 | テレビジョン受像機および画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1802843A true CN1802843A (zh) | 2006-07-12 |
| CN1802843B CN1802843B (zh) | 2010-04-28 |
Family
ID=33549221
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2004800159116A Expired - Fee Related CN1802843B (zh) | 2003-06-10 | 2004-06-09 | 电视接收机及图像处理方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US7953282B2 (zh) |
| EP (1) | EP1633130A4 (zh) |
| JP (1) | JPWO2004112378A1 (zh) |
| KR (1) | KR101018563B1 (zh) |
| CN (1) | CN1802843B (zh) |
| WO (1) | WO2004112378A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102595047A (zh) * | 2011-01-05 | 2012-07-18 | 索尼公司 | 图像处理装置以及图像处理方法 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4747917B2 (ja) * | 2006-04-03 | 2011-08-17 | 株式会社日立製作所 | デジタル放送受信装置 |
| KR100813068B1 (ko) * | 2006-07-28 | 2008-03-14 | 엘지전자 주식회사 | 전계 강도에 따른 화질 보상 방법 및 장치 |
| JP4609457B2 (ja) * | 2007-06-14 | 2011-01-12 | ソニー株式会社 | 画像処理装置、及び、画像処理方法 |
| JP4374057B2 (ja) | 2008-02-29 | 2009-12-02 | 株式会社東芝 | 映像信号処理装置及び処理方法 |
| US8320455B2 (en) * | 2009-03-05 | 2012-11-27 | Qualcomm Incorporated | System and method to process motion vectors of video data |
| JP4643723B2 (ja) | 2009-03-31 | 2011-03-02 | 株式会社東芝 | 画像符号化歪低減装置及び表示装置及び画像符号化低減方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05328308A (ja) * | 1992-05-25 | 1993-12-10 | Toshiba Corp | 高品位テレビジョン受信機 |
| JP3334303B2 (ja) * | 1993-12-22 | 2002-10-15 | 松下電器産業株式会社 | 高品位テレビジョン信号受信処理回路 |
| JP3266416B2 (ja) | 1994-04-18 | 2002-03-18 | ケイディーディーアイ株式会社 | 動き補償フレーム間符号化復号装置 |
| US6061100A (en) * | 1997-09-30 | 2000-05-09 | The University Of British Columbia | Noise reduction for video signals |
| JPH11113001A (ja) * | 1997-10-03 | 1999-04-23 | Matsushita Electric Ind Co Ltd | 信号処理方法及び信号再生装置 |
| JPH11266440A (ja) * | 1998-03-17 | 1999-09-28 | Hitachi Ltd | 画像信号の走査変換回路及び画像復号化装置 |
| WO2001061993A1 (en) * | 2000-02-17 | 2001-08-23 | The University Of British Columbia | Noise reduction for video signals |
| JP4474748B2 (ja) | 2000-07-14 | 2010-06-09 | ソニー株式会社 | 信号処理装置及び方法、映像信号記録装置、並びに映像信号再生装置 |
| JP2002051234A (ja) | 2000-08-01 | 2002-02-15 | Sony Corp | 映像信号処理装置および方法、並びに記録媒体 |
-
2004
- 2004-06-09 WO PCT/JP2004/008396 patent/WO2004112378A1/ja active Application Filing
- 2004-06-09 KR KR1020057021092A patent/KR101018563B1/ko not_active IP Right Cessation
- 2004-06-09 US US10/557,980 patent/US7953282B2/en not_active Expired - Fee Related
- 2004-06-09 CN CN2004800159116A patent/CN1802843B/zh not_active Expired - Fee Related
- 2004-06-09 JP JP2005506972A patent/JPWO2004112378A1/ja active Pending
- 2004-06-09 EP EP04736457A patent/EP1633130A4/en not_active Withdrawn
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102595047A (zh) * | 2011-01-05 | 2012-07-18 | 索尼公司 | 图像处理装置以及图像处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2004112378A1 (ja) | 2006-07-27 |
| US20070058712A1 (en) | 2007-03-15 |
| EP1633130A4 (en) | 2006-06-14 |
| WO2004112378A1 (ja) | 2004-12-23 |
| US7953282B2 (en) | 2011-05-31 |
| KR101018563B1 (ko) | 2011-03-03 |
| EP1633130A1 (en) | 2006-03-08 |
| KR20060016770A (ko) | 2006-02-22 |
| CN1802843B (zh) | 2010-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102017615B (zh) | 视频单元内的边界伪影校正 | |
| US8437397B2 (en) | Block information adjustment techniques to reduce artifacts in interpolated video frames | |
| KR101240119B1 (ko) | 역 텔레시네 기술 | |
| US9019995B2 (en) | Method and system for providing faster channel switching in a digital broadcast system | |
| US6438168B2 (en) | Bandwidth scaling of a compressed video stream | |
| US8792556B2 (en) | System and method for correcting motion vectors in block matching motion estimation | |
| CN1294763C (zh) | 隔行移动区域的mpeg检测和定标 | |
| US20100246675A1 (en) | Method and apparatus for intra-prediction in a video encoder | |
| CN1541482A (zh) | 用于数字视频信号的运动自适应降噪预处理 | |
| KR20040054747A (ko) | 공간 스케일가능 압축 | |
| WO2004004310A3 (en) | Improved interpolation of video compression frames | |
| US8526498B2 (en) | Video coding apparatus, video coding method, and video decoding apparatus | |
| CN1695381A (zh) | 在数字视频信号的后处理中使用编码信息和局部空间特征的清晰度增强 | |
| US20060072668A1 (en) | Adaptive vertical macroblock alignment for mixed frame video sequences | |
| CN1650328A (zh) | 增强编码的数字视频的清晰度的系统和方法 | |
| US20060093228A1 (en) | De-interlacing using decoder parameters | |
| CN1248487C (zh) | 根据编码信息提供效用度量进行视频增强的装置和方法 | |
| US9071844B2 (en) | Motion estimation with motion vector penalty | |
| CN1802843A (zh) | 电视接收机及图像处理方法 | |
| US7388620B2 (en) | Method and system for pan-scan using motion vectors presentation | |
| US20070223578A1 (en) | Motion Estimation and Segmentation for Video Data | |
| US20040013200A1 (en) | Advanced method of coding and decoding motion vector and apparatus therefor | |
| US20070230918A1 (en) | Video Quality Enhancement and/or Artifact Reduction Using Coding Information From a Compressed Bitstream | |
| JP2009088736A (ja) | 画像符号化装置、画像復号化装置、および画像符号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C17 | Cessation of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20100428 Termination date: 20130609 |