[go: up one dir, main page]

KR100340369B1 - 화상부호화방법및장치 - Google Patents

화상부호화방법및장치 Download PDF

Info

Publication number
KR100340369B1
KR100340369B1 KR1019940006683A KR19940006683A KR100340369B1 KR 100340369 B1 KR100340369 B1 KR 100340369B1 KR 1019940006683 A KR1019940006683 A KR 1019940006683A KR 19940006683 A KR19940006683 A KR 19940006683A KR 100340369 B1 KR100340369 B1 KR 100340369B1
Authority
KR
South Korea
Prior art keywords
field
frame
sum
data
format blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
KR1019940006683A
Other languages
English (en)
Other versions
KR940023254A (ko
Inventor
다하라가쯔미
오비까네노부히사
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR940023254A publication Critical patent/KR940023254A/ko
Application granted granted Critical
Publication of KR100340369B1 publication Critical patent/KR100340369B1/ko
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

화상 신호를 프레임 단위로 블럭화하여 DCT 를 행하는 프레임 DCT 회로(200)와, 화상 신호를 필드 단위로 블럭화하여 DCT 를 행하는 필드 DCT 회로(201)와, 프레임 DCT 회로(200), 필드 DCT 회로(201)에서 생성되는 DCT 계수의 정보량에 기초하여 프레임/필드에서의 DCT 계수의 어느 것을 선택하는 프레임/필드 DCT 전환 회로(255)를 가진다.
부호화 효율면에서 최적인 프레임/필드 예측 모드의 판단 및 프레임/필드 DCT 모드의 판단을 실현할 수 있다.

Description

화상 부호화 방법 및 장치{Encoding method}
산업상의 이용분야
본 발명은 광 디스크나 자기 테이프 등의 축적계 동화상 매체를 사용한 정보 기록 장치, 또는 예를 들면 텔레비젼 회의 시스템, 동화 전화 시스템, 방송용 기기등의 정보 전송 장치에 적합한 해상도 가변의 화상 부호화 방법 및 장치에 관한 것이다.
종래의 기술
종래, 예를 들면, 텔레비전 회의 시스템, 텔레비젼 전화 시스템 등과 같이 동화상 신호를 원격지에 전송하는 화상 신호 시스템에 있어서는 전송로를 효율 좋게 이용하기 위하여, 화상 신호의 라인 상관 또는 프레임간 상관을 이용하여 화상 신호를 부호화하고, 이것에 의하여 의도하는 정보의 전송 효율을 높이도록(압축)하고 있다.
상기 라인 상관을 이용하는 경우에는 화상 신호를 예를 들면 DCT(이산 코사인 변환) 처리하는 등으로 압축할 수 있다. 예를 들면 프레임내 부호화 처리는 화상 신호의 상기 라인 상관을 이용한 것으로 제 6 도의 A 에 나타낸 것과 같이 시각 t=t1, t2, t3 에 있어서 동화를 구성하는 각 화상 PC1, PC2, PC3 을 전송하도록 하는 경우에 전송 처리할 화상 데이타를 동일 주사선내에서 1 차원 부호화하여 전송하는 것이다.
또, 프레임간 상관을 이용하면 화상 신호를 압축하여 부호화하는 것이 가능하다. 예를 들면 제 6 도 A 에서와 같이 시각 t=t1, t2, t3 에 있어서 프레임 화상 PC1, PC2, PC3 이 각각 발생할 때 프레임 화상 PC1 과 PC2 의 화상 신호차를 연산하여, 제 6 도 B 에서와 같이 화상 PC12 를 생성하고, 또 제 6 도 A 의 프레임 화상 PC2 와 PC3 의 차를 연산하여 제 6 도 B 의 화상 PC23 을 생성한다. 통상 시간적으로 인접하는 프레임의 화상은 그대로 큰 변화를 가지지 않기 때문에 양자의 차를 연산하면 그 차분 신호는 적은 값의 것이 된다. 즉, 제 6 도의 B 에 나타낸 화상 PC12 에 있어서는, 제 6 도의 A 의 프레임 화상 PC1 과 PC2 의 화상 신호 차로서, 제 6 도의 B 의 화상 PC12 의 도면중 사선으로 나타낸 부분의 신호가 얻어지고, 또 제 6 도의 B 의 화상 PC23 에 있어서는 제 6 도의 A 의 프레임 화상 PC2 와 PC3 의 화상 신호의 차로서 제 6 도의 B 의 화상(23)의 도면중 사선으로 표시된 부분의 신호가 얻어진다. 여기에서, 그 차분 신호를 부호화하면 부호량을 압축할 수 있다.
상술한 바와 같은 화상 신호를 전송하는 시스템에 의하면, 화상 PC1, PC2, PC3, ... 의 전체 화상 데이타를 전송하는 경우와 비교하여, 격단으로 데이타량의 작지 않은 디지탈 데이타로 고능율 부호화하여 이것을 전송로로 송출할 수 있다. (인트라 부호화 화상 : Intra-Coded picture), P 픽쳐(전방 예측 부호화 화상 : Ferdictive-coded picture), B 픽쳐(양방향 예측 부호화 화상 : Bidirectionally-coded picture)의 3 종류의 화상이 있다.
먼저, I 픽쳐는 화상내 부호화 화상이라 칭하고, 다른 화상으로부터의 보간에 의존하지 않고 화상 데이타가 공간적으로 단독으로 압축 부호화되어 전송된다. P 픽쳐는 제 8 도의 A 에서 부호화하는 순번에 있어서 과거의 화상으로부터 예측되는 화상이며, 과거의 화상으로부터의 차분을 부호화한 데이타가 부호화 데이타로서 전송된다. 도한, B 픽쳐는 제 8 도의 B 에서와 같이 부호화하는 순번에 있어서 과거와 미래의 2 개의 화상으로부터 예측되는 화상이다.
다음에, 제 9 도는 동화상 신호를 부호화하여 전송하고 이것을 복호화하는 장치의 구성예를 나타내고 있다. 동화상 부호화 장치(1)는 입력된 영상 신호 VD를 부호화하고, 전송로로서의 기록 매체(3)에 전송하여 기록하도록 되어 있다. 그리고복호화 장치(2)는 기록 매체(3)에 기록된 신호를 재생하고, 이것을 복호하여 출력하도록 되어 있다.
먼저, 부호화 장치(1)에 있어서는, 입력 단자(10)를 거쳐 입력된 영상 신호 VD 가 전처리 회로(11)에 입력되고, 여기에서 휘도 신호와 색 신호(이 예의 경우, 색차 신호)가 분리되고 각각 A/D 변환기(12, 13)에서 A/D 변환된다. A/D 변환기 블럭 단위로 화상 데이타가 연속되도록 되어 있다. 또 상기 매크로 블럭에는 후술하는 것과 같이 예측에 대한 블럭화 모드와 DCT 에 대한 부호화 모드가 있다.
또, 상기 매크로 블럭은, 휘도 신호에 대하여 수평 및 수직 주사 방향으로 연속하는 16×16 화소의 화상 데이타(Y1∼Y4)를 1 개의 단위로 하는 것에 대해, 이에 대응하는 2 개의 색차 신호에 있어서는 데이타량이 저감 처리된 후, 시간축 다중화 처리되어, 각각 1 개의 미소 블럭 Cr, Cb 에 16×16 화소분의 데이타가 할당되어 있다.
이와 같이 블럭 포맷으로 변환되는 데이타는 포맷 변환 회로(17)로부터 인코더(18)에 공급되고 여기에서 인코드(부호화)가 행해진다. 그 상세한 것은 제 11 도를 참조하여 후술한다.
인코더(18)에 의하여 인코드되는 신호는 비트 스트림으로서 전송로로 출력되고 예를 들면 기록 매체(3)에 기록된다.
기록 매체(3)로부터 재생된 데이타는 복호화 장치(2)의 디코더(31)로 공급되고 디코드된다. 디코더(31)의 상세한 것에 데하여는 제 15 도를 참조하여 후술한다.
디코더(31)에 의하여 디코드된 데이타는 포맷 변환 회로(32)에 입력되고 상기 블럭 포맷으로부터 프레임 포맷으로 변환된다. 그리고 프레임 포맷의 휘도 신호는 프레임 메모리(33)의 휘도 신호 프레임 메모리(34)에 공급되어, 기억되며, 색차 신호는 색차 신호 프레임 메모리(35)에 공급되어 기억된다. 휘도 신호 프레임 메모리(34)와 색차 신호 프레임 메모리(35)로부터 판독되는 휘도 신호와 색차 신호는 D/A 변환기(36, 37)에 의해 각각 D/A 변환되고, 후처리 회로(38)로 공급되어 합성된다. 이 출력 영상 신호는 출력 단자(30)로부터 도시되어 예를 들면 CRT 등의 디스플레이에 출력되어 표시된다.
다음에 제 11 도를 참조하여 인코더(18)의 구성예에 대하여 설명한다.
입력 단자(49)를 거쳐 공급되는 부호화 되게 될 화상 데이타는 매크로 블럭 단위로 움직임 벡터 검출 회로(50)에 입력된다. 움직임 벡터 검출 회로(50)는 미리 설정되어 있는 소정의 시퀀스에 따라, 각 프레임의 화상 데이타를, I 픽쳐, P 픽쳐, 또는 B 픽쳐로 하여 처리한다. 시퀀서에 입력되는 각 프레임의 화상을 I, P, B 의 어느 것의 픽쳐로 하여 처리하는가는 미리 정해져 있는(예를 들면 제 8 도에 나타낸 것과 같이 프레임 F1 내지 Fl7 에 의하여 구성되는 그룹오브픽쳐가 I, B, P, B, P, ... B, P 로 하여 처리된다).
I 픽쳐로서 처리되는 프레임(예를 들면 프레임 F1)의 화상 데이타는 움직임 벡터 검출 회로(50)로부터 프레임 메모리(51)의 전방 원화상부(51a)에 전송 기억되고, B 픽쳐로서 처리되는 프레임(예를 들면 프레임 F2)의 화상 데이타는 원화상부(참조 원화상부)(51b)로 전송 기억되고, P 픽쳐로서 처리되는 프레임(예를 들면 프레임 F3)의 화상 데이타는 후방 원화상부(51C)에 전송 기억된다.
또, 다음의 타이밍에서 다시 B 픽쳐(예를 들면 상기 프레임 F4) 또는 P 픽쳐(상기 프레임 F5)로서 처리될 프레임의 화상이 입력될 때 그때까지 후방 원화상부(51C)에 기억되어 있는 최초의 P 픽쳐(프레임 F3)의 화상 데이타가 전방 원화상부(51a)애 전송되고 다음의 B 픽쳐(프레임 F4)의 화상 데이타가 원화상부(51b)에 기억(기록)되고 다음의 P 픽쳐(프레임 F5)의 화상 데이타가 후방 원화상부(51c)에 기억(기록)된다. 이러한 동작이 순서대로 반복된다.
프레임 메모리(51)에 기억되는 각 픽쳐의 신호는 그것으로부터 판독되고, 예측 모드 전환 회로(52)에 있어서 프레임 예측 모드 처리, 또는 필드 예측 모드 처리가 행해진다. 다음으로, 또한 예측 판정 회로(54)의 제어하에 연산부(53)에 있어서 화상내 예측, 전방 예측, 후방 예측, 또는 양방향 예측의 연산이 행해진다. 이들 처리중, 어떤 처리를 행하는 가는 예측 오차 신호(처리의 대상이 되는 참조 화상과, 이것에 대한 예측 화상과의 차)에 대응하여 결정된다. 그 때문에 움직임 벡터 검출 회로(50)는 그 판정에 사용하는 예측 오차 신호의 절대치 합계(제곱 합계라도 좋음)를 생성한다.
여기에서 예측 모드 전환 회로(52)에서 프레임 예측 모드와 필드 예측 모드에 대해 설명한다.
프레임 예측 모드가 설정된 경우에 있어서는 예측 모드 전환 회로(52)는 움직임 벡터 검출 회로(50)로부터 공급되는 제 12 도의 A에 나타내는 4 개의 휘도 블럭 Y[1] 내지 Y[4]를 그대로 후단의 연산부(53)에 출력한다. 즉 이 경우에 있어서움직임 벡터 검출 회로(50)로부터의 신호는 제 12 도의 A 에서와 같이 각 휘도 블럭에 홀수 필드의 라인의 데이타와 짝수 필드의 라인의 데이타가 혼재한 상태로 되어 있다. 또 제 12 도의 각 매크로 블럭중의 실선은 홀수 필드(제 1 필드의 라인)의 라인의 데이타를, 파선은 짝수 필드(제 2 필드의 라인)의 라인의 데이타를 표시하고, 제 12 도중 a 및 b 는 움직임 보상의 단위를 나타낸다. 이 프레임 예측 모드에 있어서는 4 개의 휘도 블럭(매크로 블럭)을 단위로 하여 예측이 행해지고, 4 개의 휘도 블럭에 대하여 1 개의 움직임 벡터가 대응된다.
이에 대하여, 예측 모드 전환 회로(52)는, 필드 예측 모드가 설정된 경우, 제 12 도의 A 에 나타낸 구성으로 움직임 벡터 검출 회로(50)로부터 입력되는 신호를, 제 12 도의 B 에서와 같이 4 개의 휘도 블럭중, 휘도 블럭 Y[1]과 Y[2]를, 예를 들면 홀수 필드의 라인의 도트에 의해서만 구성하고, 다른 2 개의 휘도 블럭 Y[3]과 Y[4]를, 짝수 필트의 라인의 데이타에 의해 구성하여, 연산부(53)로 출력한다. 이 경우에 있어서 2 개의 휘도 블럭 Y[1]과 Y[2]에 대하여 1 개의 움직임 벡터가 대응되고 다른 2 개의 회도 블럭 Y[3]과 Y[4]에 대하여 다른 1 개의 움직임 벡터가 대응된다.
제 11 도의 구성을 설명하면, 움직임 벡터 검출 회로(50)는 프레임 예측 모드에서의 예측 오차의 절대치 합계와, 필드 예측 모드에서의 예측 오차의 절대치 합계를, 예측 모드 전환 회로(52)에 출력한다. 예측 모드 전환 회로(52)는 프레임 예측 모드와 필드 예측 모드에 있어서의 예측 오차의 절대치 합계를 비교하고 그 값이 적은 예측 모드에 대응하는 상술한 처리를 시행하여, 데이타를 연산부(53)에출력한다.
단, 이러한 처리는 실제로는 움직임 벡터 검출 회로(50)에서 행해진다. 즉, 움직임 벡터 검출 회로(50)는 결정된 모드에 대응한 구성의 신호를 예측 모드 전환 회로(52)에 출력하고, 예측 모드 전환 회로(52)는 그 신호를 그대로 후단의 연산부(53)에 출력한다.
또, 색차 신호는 프레임 예측 모드의 경우 제 12 도의 A 에서와 같이 홀수 필드의 라인의 데이타와 짝수 필드의 라인의 데이타가 혼재하는 상태로 연산부(53)에 공급된다. 또 필드 예측 모드의 경우, 제 12 도의 B 에서와 같이, 각 색차 블럭 Cb, Cr 의 상반분(4 라인)이 휘도 블럭 Y[1], Y[2]에 대응하는 홀수 필드의 색차 신호로 되고, 하반분(4 라인)이 휘도 블럭 Y[3], Y[4]에 대응하는 짝수 필드의 색차 신호로 된다.
또, 움직임 벡터 검출 회로(50)는 다음과 같이 되어 예측 판정 회로(54)에서 화상내 예측, 전방 예측, 후방 예측, 또는 양방향 예측 중 어떤 예측을 행할 것인가를 결정하기 위한 예측 오차의 절대치 합계를 생성한다.
즉, 화상내 예측의 예측 오차의 절대치 합계로서, 참조 화상의 매크로 블럭의 신호 Aij 의 합계 ∑Aij 의 절대치 │∑Aij│와, 매크로 블럭의 신호 Aij 의 절대치 │Aij│의 합계 ∑│Aij│의 차를 구한다. 또한, 전방 예측의 예측 오차의 절대치 합계로서, 참조 화상의 매크로 블럭의 신호 Alj 와, 예측 화상의 매크로 블럭의 신호 Bij의 차 (Aij-Bij)의 절대치 │Aij-Bij│의 합계 ∑│Aij-Bij│를 구한다. 또, 후방 예측과 양방향 예측의 예측 오차의 절대치 합계도 전방 예측에 있어서의 경우와 마찬가지로(그 예측 화상을 전방 예측에서의 경우와 다른 예측 화상으로 변경하여) 구한다.
이들 절대치 합계는 예측 판정 회로(54)에 공급된다. 예측 판정 회로(54)는 전방 예측, 후방 예측 및 양방향 예측의 예측 오차의 절대치 합계 중 최소의 것을 인터(inter) 예측의 예측 오차의 절대치 합계로서 선택한다. 또한, 이 인터 예측의 예측 오차의 절대치 합계와, 화상내 예측의 예측 오차의 절대치 합계를 비교하고, 그 적은 쪽을 선택하여 그 선택된 절대치 합계에 대응하는 모드를 예측 모드로서 선택한다. 즉, 화상내 예측의 예측 오차의 절대치 합계 쪽이 적으면, 화상내 예측 모드가 설정된다. 인터 예측의 예측 오차의 절대치 합계 쪽이 적으면, 전방 예측, 후방 예측 또는 양방향 예측 모드중 대응하는 절대치 합계가 최소인 모드가 설정된다.
이와 같이, 움직임 벡터 검출 회로(50)는 참조 화상의 매크로 블럭의 신호를 프레임 또는 필드 예측 모드중, 예측 모드 전환 회로(52)에 의해 선택된 모드에 대응하는 제 12 도로 나타내는 것과 같은 구성으로 예측 모드 전환 회로(52)를 거쳐 연산부(53)에 공급과 동시에, 4 개의 예측 모드중, 예측 판정 회로(54)에 의해 선택된 예측 모드에 대응하는 예측 화상과 참조 화상과의 사이의 움직임 벡터를 검출하고, 후술하는 가변 길이 부호화 회로(58)와 움직임 보상 회로(64)에 출력한다. 또 상술한 바와 같이 하여 그 움직임 벡터로 하면 대응하는 예측 오차의 절대치 합계가 최소로 되는 것이 선택된다.
예측 판정 회로(54)는 움직임 벡터 검출 회로(50)가 전방 원화상부(51a)로부터 I 픽쳐의 화상 데이타를 판독하는 때에 예측 모드로서 프레임(화상)내 예측 모드(움직임 보상을 하지 않는 모드)를 설정하고, 연산부(53)의 스위치(53d)를 접점 a측으로 전환한다. 이것에 의해 I 픽쳐의 화상 데이타가 DCT 모드 전환 회로(55)로 입력된다.
이 DCT 모드 전환 회로(55)는 제 13 도의 A 또는 B 에서와 같이 4 개의 휘도 블럭의 데이타를 홀수 필드의 라인과 짝수 필드의 라인이 혼재하는 상태(프레임 DCT 모드), 또는 분리된 상태(필드 DCT 모드)중의 어느 상태로 하여 DCT 회로(56)에 출력한다.
즉, DCT 모드 전환 회로(55)는 홀수 필드와 짝수 필드의 데이타를 혼재해서 DCT 처리한 경우에 있어서의 부호화 효율과, 분리된 상태에 있어서 DCT 처리한 경우의 부호화 효율을 비교하여 부호화 효율이 양호한 모드를 선택한다.
예를 들면, 입력된 신호를 제 13 도의 A 에서와 같이 홀수 필드와 짝수 필드의 라인이 혼재하는 구성으로 하고, 상하로 인접하는 홀수 필드의 라인의 신호와 짝수 필드의 라인의 신호의 차를 연산하고 다시 그 절대치의 합계(또는 제곱 합계)를 구한다. 또, 입력된 신호를 제 13 도의 B 에서와 같이 홀수 필드와 짝수 필드의 라인이 분리된 구성으로 하여, 상하로 인접하는 홀수 필드의 라인끼리의 신호의 차와, 짝수 필드의 라인끼리의 신호의 차를 연산하여 각각의 절대치의 합계(또는 제곱 합계)를 구한다. 또한, 양자(절대치 합계)를 비교하여 적은 값에 대응하는 DCT 모드를 설정한다. 예를 들면 전자의 쪽이 적으면 프레임 DCT 모드를 설정하고 후자의 쪽이 적으면 필드 DCT 모드를 설정한다.
즉 상기 프레임/필드 DCT 모드의 모드 결정법의 알고리즘은 다음과 같이 된다. 즉, 0(pix, line)은 16×16 의 매크로 블럭의 화소를 나타낸다.
예를 들면,
로 되는 경우에는 필드 DCT 모드가 사용된다.
그리고,
(var1 < = var 2)이면
프레임 모드 코딩
그 이외의 경우
필드 모드 코딩
으로 된다.
또한, 상기 DCT 모드 판단을 행하는 구체적 구성으로서는, 예를 들면 제 14 도에서와 같은 구성을 예를 들 수 있다. 즉 이 모드 판단의 구성에 있어서 제 14 도의 a 에서와 같이 프레임에서 블럭화된 16×16 화소의 휘도 블럭에 대하여 각 라인 간의 차분을 각 차분기(160)에서 계산하고, 이것을 대응하는 2제곱 회로(161)에서 2 제곱하고, 다시 가산 회로(162)에서 누적 가산한다. 이에 따라 프레임 DCT 모드 상관을 나타내는 값 Var 1 이 계산된다. 한편 제 14 도의 b 에서와 같이 필드에서 블럭화된 2 개의 16×8 화소의 휘도 블럭에 대하여 각각의 필드마다 각 라인 사이의 차분을 각 차분기(170)로 계산하고 이것을 대응하는 2상 회로(171)로 2 제곱하고 다시 누적 가산 회로(172)로 누적 가산한다. 이에 따라, 필드 DCT 모드 상관을 나타내는 값 Var 2이 계산된다. 기본적으로는, 상관이 낮은 경우라면, 상기 Var1, Var2 의 값이 크게 된다. 이에 따라, 상기 Var1, Var2의 값을 비교 회로1(165)로 비교하고 2 값이 적은 쪽을 DCT 의 블럭화의 모드로서 채용한다.
제 11 도로 돌아가서, 상기 DCT 모드 전환 회로(55)는 상기와 같이하여 선택된 DCT 모드에 대응하는 구성의 데이타를 DCT 회로(56)로 출력함과 동시에 선택된 DCT 모드를 나타내는 DCT 플래그를 가변 길이 부호화 회로(58)와 움직임 보상 회로(64)로 출력한다.
또 예측 모드 전환 회로(52)에 있어서 예측 모드(제 12 도 참조)와, 상기DCT 모드 전환 회로(55)에 있어서 DCT 모드(제 13 도 참조)를 비교하여 밝혀진 것과 같이 휘도 블럭에 관하여는 양자의 각 모드에서 데이타 구조는 실질적으로 동일하다.
또 예측 모드 전환 회로(52)에 있어서 프레임 예측 모드(홀수 라인과 짝수 라인이 혼재하는 모드)가 선택되는 경우 DCT 모드 전환 회로(55)에 있어서도 프레임 DCT 모드(기수 라인과 우수 라인이 혼재한 모드)가 선택될 가능성이 높으며 예측 모드 전환 회로(52)에 있어서 필드 예측 모드(기수 필드와 우수 필드의 데이타가 분리된 모드)가 선택된 경우, DCT 모드 전환 회로(55)에 있어서 필드 DCT 모드(기수 필드와 우수 필드의 데이타가 분리된 모드)가 선택될 가능성이 높다.
이리하여 필수적으로 항상 이렇게 되는 것은 아니고 예측 모드 전환 회로(52)에 있어서는 예측 오차의 절대치 합계가 적게 되도록 모드가 결정되고 DCT 모드 전환 회로(55)에 있어서는 부호화 효율이 양호하게 되도록 모드가 결정된다.
DCT 모드 전환 회로(55)로부터 출력되는 예를 들면 1 픽쳐의 화상 데이타는 DCT 회로(56)에 입력되고 DCT(이산 코사인 변환) 처리되고 DCT 계수로 변환된다. 이 DCT 계수는 양자화 회로(57)에 입력되고 송신 버퍼(59)의 데이타 축적량(버퍼 축적량)에 대응한 양자화 스텝에서 양자화된 후, 가변 길이 부호화 회로(58)에 입력된다.
가변 길이 부호화 회로(58)는 양자화 회로(57)에서 공급되는 양자화 스텝(스케일)에 대응하여 양자화 회로(57)로부터 공급되는 화상 데이타(전의 경우, I 픽쳐의 데이타)를 예를 들면 허프만(Huffman) 부호 등의 가변 길이 부호로 변환하여 송신 버퍼(59)로 출력한다.
가변 길이 부호화 회로(58)에는 또한, 양자화 회로(57)로부터 양자화 스텝(스케일), 예측 판정 회로(54)로부터 예측 모드(화상내 예측, 전방 예측, 후방 예측 또는 양방향 예측의 어느 것이 설정되었는가를 표시하는 모드), 움직임 벡터 검출 회로(50)로부터 움직임 벡터, 예측 모드 전환 회로(52)로부터 예측 플래그(프레임 예측 모드 또는 필드 예측 모드의 어느 것이 설정되었는가를 나타내는 플래그) 및 DCT 모드 전환 회로(55)가 출력하는 DCT 플래그(프레임 DCT 모드 또는 필드 DCT 모드의 어느 것이 설정된 것인가를 나타내는 플래그)가 입력되며, 이들도 가변 길이 부호화된다.
송신 버퍼(59)는 입력되는 데이타를 일시 축적하고 축적량에 대응하는 데이타를 양자화 회로(57)로 출력한다.
송신 버퍼(59)는 그 데이타 잔량이 허용 상한치까지 증량되면 양자화 제어신호에 의해 양자화 회로(57)의 양자화 스케일을 크게 하므로서 양자화 데이타의 데이타량을 저하시킨다. 또, 이와는 역으로 데이타 잔량이 허용 하한치까지 감소하면 송신 버퍼(59)는 양자화 제어 신호에 의해 양자화 회로(57)의 양자화 스케일을 적게 함으로서 양자화 데이타의 데이타량을 증대시킨다. 이리하여 송신 버퍼(59)의 오버플로우 또는 언더플로우가 방지된다.
그리고 송신 버퍼(59)에 축적된 데이타는 소정 타이밍으로 판독되고, 출력단자(69)를 거쳐 전송로로 출력되고 예를 들면 기록 매체(3)에 기록된다.
한편, 양자화 회로(57)로부터 출력되는 I 픽쳐의 데이타는 역양자화회로(60)에 입력되고 양자화 회로(57)로부터 공급되는 양자화 스텝에 대응하여 역양자화 된다. 역양자화 회로(60)의 출력은 IDCT(역 DCT) 회로(61)에 입력되고 역 DCT 처리된 후 연산기(62)를 거쳐 프레임 메모리(63)의 전방 예측 화상부(63a)에 공급되고 기억된다.
이 때문에 움직임 벡터 검출 회로(50)는 시퀀스로 입력된 각 프레임의 화상 데이타를 예를 들면 상기한 바와 같이 I, B, P, B, P, B, ... 의 화상으로 하여 각각 처리하는 경우, 최초로 입력된 프레임의 화상 데이타를 I 픽쳐로 하여 처리한 후 다음 입력되는 프레임의 화상을 B 픽쳐로 하여 처리하기 전에, 또한 그 다음에 입력되는 프레임의 화상 데이타를 P 화상으로 하여 처리한다. B 픽쳐는 후방 예측을 수반하기 때문에 후방 예측 화상으로서의 P 픽쳐가 먼저 준비되지 않아도 복호될 수 없기 때문이다.
여기에서 움직임 벡터 검출 회로(50)는 I 픽쳐의 처리 다음에 후방 원화상부(51C)에 기억되어 있는 P 픽쳐의 화상 데이타의 처리를 개시한다. 그리고 상기한 경우와 마찬가지로 매크로 블럭 단위에서의 프레임간 차분(예측 오차)의 절대치 합계가, 움직임 벡터 검출 회로(50)로부터 예측 모드 전환 회로(52)와 예측 판정 회로(54)로 공급된다. 예측 모드 전환 회로(52)와 예측 판정 회로(핀)는 그 P 픽쳐의 매크로 블럭의 예측 오차의 절대치 합계에 대응하여 프레임/필드 예측 모드 또는 화상내 예측, 전방 예측, 후방 예측 혹은 양방향 예측의 예측 모드를 설정한다.
연산부(53)는 프레임내 예측 모드가 설정된 때 스위치(53d)를 상술한 것과같이 접점 a 측으로 전환한다. 따라서 이 데이타는 I 픽쳐의 데이타와 마찬가지로 DCT 모드 전환 회로(55), DCT 회로(56), 양자화 회로(57), 가변 길이 부호화 회로(58), 송신 버퍼(59)를 거쳐 전송로로 전송시킨다. 또한, 이 데이타는 역양자화회로(60), IDCT 회로(61), 연산기(62)를 거쳐 프레임 메모리(63)의 후방 예측 화상부(63b)로 공급되어 기억된다.
한편, 전방 예측 모드시, 스위치(53d)가 접전 b 에 전환되는 것과 동시에 프레임 메모리(63)의 전방 예측 화상부(63a)에 기억되어 있는 화상(지금의 경우 I 픽쳐의 화상) 데이타가 판독되고 움직임 보상 회로(64)에 의해 움직임 벡터 검출 회로(50)가 출력하는 움직임 벡터에 대응하여 움직임 보상된다. 즉 움직임 보상 회로(64)는 예측 판정 회로(54)로부터 전방 예측 모드의 설정이 지령된 때 전방 예측 화상부(63a)의 판독 어드레스를 움직임 벡터 검출 회로(50)가 지금 출력하고 있는 매크로 블럭의 위치에 대응하는 위치로부터 움직임 벡터에 대응하는 분만큼 비켜져 데이타를 판독하고 예측 화상 데이타를 생성한다.
움직임 보상 회로(64)로부터 출력된 예측 화상 데이타는 연산기(5,3a)에 공급된다. 연산기(53a)는 예측 모드 전환 회로(52)로부터 공급된 참조 화상의 매크로 블럭의 데이타로부터 움직임 보상 회로(64)로부터 공급된 그의 매크로 블럭에 대응하는 예측 화상 데이타를 감산하고 그 차분(예측 오차)을 출력한다. 이 차분 데이타는 DCT 모드 전환 회로(55), DCT 회로(56), 양자화 회로(57), 가변 길이 부호화 회로(58) 송신 버퍼(59)를 거쳐 전송로에 전송된다. 또 이 차분 데이타는 역양자화 회로(60), IDCT 회로(61)에 의해 국소적으로 복호되고 연산기(62)에 입력된다.
이 연산기(62)에는 또한, 연산기(53a)에 공급되어 있는 예측 화상 데이타와 동일한 데이타가 공급된다. 연산기(62)는 IDCT 회로(61)가 출력하는 차분 데이타에 움직임 보상 회로(64)가 출력하는 예측 화상 데이타를 가산한다. 이것에 의하여 원래의(복호된) P 픽쳐의 화상 데이타가 얻어진다. 이 P 픽쳐의 화상 데이타는 프레임 메모리(63)의 후방 예측 화상부(63b)에 공급되고 기억된다.
움직임 벡터 검출 회로(50)는 이와 같이 I 픽쳐와 P 픽쳐의 데이타가 전방 예측 화상부(63a)와 후방 예측 화상부(63b)에 각각 기억된 후, 다음에 B 픽쳐의 처리를 실행한다. 예측 모드 전환 회로(52)와 예측 측정 회로(54)는 매크로 블럭 단위에서의 프레임간 차분의 절대치 합계의 크기에 대응하여 프레임/필드 모드를 설정하고 또 예측 모드를 프레임내 예측 모드, 전방 예측 모드, 후방 예측 모드, 또는 양방향 예측 모드의 어느 것에 설정한다.
상술한 바와 같이 프레임내 예측 모드 또는 전방 예측 모드시 스위치(53d)는 접점 a 또는 b 로 전환된다. 이때 P 픽쳐에 있어서의 경우와 마찬가지 처리가 행해지고 데이타가 전송된다.
이것에 대하여 후방 예측 모드 또는 양방향 예측 모드가 설정된 때 스위치(53d)는 접점(c 또는 d)에 각각 전환된다.
스위치(53d)가 접점 C 에 전환되어 있는 후방 예측 모드 때, 후방 예측 화상부(63b)에 기억되어 있는 화상(현재의 경우 P 픽쳐의 화상) 데이타가 판독되고 움직임 보상 회로(64)에 의하여 움직임 벡터 검출 회로(50)가 출력하는 움직임 벡터에 대응하여 움직임 보상된다. 즉 움직임 보상 회로(64)는 예측 판정 회로(54)로부터 후방 예측 모드의 설정이 지령될 때 후방 예측 화상부(63b)의 판독 어드레스를 움직임 벡터 검출 회로(50)가 지금 출력하고 있는 매크로 블럭의 위치에 대응하는 위치로부티 움직임 벡터에 대응하는 분만큼 비켜져 데이타를 판독하고 예측 화상 데이타를 생성한다.
움직임 보상 회로(64)로부터 출력된 예측 화상 데이타는 연산기(53b)에 공급된다. 연산기(53b)는 예측 모드 전환 회로(52)에서 공급된 참조 화상의 매크로 블럭의 데이타로부터 움직임 보상 회로(64)로부터 공급된 예측 화상 데이타를 감산하고 그 차분을 출력한다. 이 차분 데이타는 DCT 모드 전환 회로(55), DCT 회로(56), 양자화 회로(57), 가변 길이 부호화 회로(58), 송신 버퍼(59)를 거쳐 전송로에 전송된다.
스위치(53d)가 접점 d 로 전환되어 있는 양방향 모드시 전방 예측 화상부(63a)에 기억되어 있는 화상(지금의 경우, I 픽쳐의 화상) 데이타와 후방 예측 화상부(63b)에 기억되어 있는 화상(지금의 경우 P 픽쳐의 화상) 데이타가 판독되고 움직임 보상 회로(64)에 의해 움직임 벡터 검출 회로(50)가 출력하는 움직임 벡터에 대응하여 동작 보상된다. 즉 움직임 보상 회로(64)는 예측 판정 회로(54)에서 양방향 예측 모드의 설정이 지령되면 전방 예측 화상부(63a)와 후방 예측 화상부(63b)의 판독 어드레스를 움직임 벡터 검출 회로(50)가 지금 출력하는 매크로 블럭의 위치에 대응하는 위치로부터 움직임 벡터(이 경우의 움직임 벡터는 전방 예측 화상용과 후방 예측 화상용의 2 개로 된다)에 대응하는 분만큼 비켜져 데이타를 판독하고 예측 화상 데이타를 생성한다.
움직임 보상 회로(64)로부터 출력되는 예측 화상 데이타는 연산기(53C)로 공급된다. 연산기(53C)는 움직임 벡터 검출 회로(50)로부터 공급되는 참조 화상의 매크로 블럭의 데이타로부터 움직임 보상 회로(64)로부터 공급된 예측 화상 데이타의 평균치를 감산하고 그 차분을 출력한다. 그 차분 데이타는 DCT 모드 전환 회로(55), DCT 회로(56), 양자화 회로(57), 가변 길이 부호화 회로(58), 송신 버퍼(59)를 거쳐 전송로로 전송된다.
B 픽쳐의 화상은 다른 화상의 예측 화상으로 되는 것이 아니기 때문에 프레임 메모리(63)에는 기억되지 않는다.
또한 프레임 메모리(63)에 있어서, 전방 예측 화상부(63a)와 후방 예측 화상부(63b)는 필요에 응하여 백 전환이 행해지고 소정의 참조 화상에 대하여 일방 또는 타방에 기억되어 있는 것을 전방 예측 화상 혹은 후방 예측 화상으로 하여 전환 출력할 수 있다.
이상에 있어서 휘도 블럭을 중심으로 설명을 하였으나 색차 블럭에 대하여도 마찬가지로 제 12 도 및 제 13 도에 나타낸 매크로 블럭을 단위로 하여 처리하고 전송된다. 또 색차 블럭을 처리하는 경우의 움직임 벡터는 대응하는 휘도 블럭의 움직임 벡터를 수직 방향과 수평 방향으로 각각 1/2 로 한 것이 사용된다.
다음에 제 15 도는 제 9 도의 디코더(31)의 일 예의 구성을 나타내는 블럭도이다. 전송로(기록 매체 3)를 거쳐 전송되는 부호화된 화상 데이타는 도시하지 않은 수신 회로로 수신되어 재생 장치에서 재생되고, 입력 단자(80)를 거쳐 수신 버퍼(81)에 일시 기억된 후 복호 회로(90)의 가변 길이 복호화 회로(82)에 공급된다.가변 길이 복호화 회로(82)는 수신 버퍼(81)로부터 공급되는 데이타를 가변 길이 복호화하고 움직임 벡터, 예측모드, 예측 플래그 및 DCT 플래그를 움직임 보상 회로(87)로 또 양자화 스텝을 역양자화 회로(83)로 각각 출력함과 동시에 복호된 화상 데이타를 역양자화 회로(83)로 출력한다.
역양자화 회로(83)는 가변 길이 복호화 회로(82)로부터 공급되는 화상 데이타를, 동일하게 가변 길이 복호화 회로(82)로부터 공급되는 양자화 스텝에 따라 역양자화하여 IDCT 회로(84)에 출력한다. 역양자화 회로(83)로부터 출력된 데이타(DCT 계수)는 IDCT 회로(84)로 역 DCT 처리되고 연산기(85)로 공급된다.
IDCT 회로(84)에서 공급되는 화상 데이타가 I 픽쳐의 데이타인 경우, 그 데이타는 연산기(85)로부터 출력되고, 연산기(85)에 후에 입력되는 화상 데이타(P 또는 B 픽쳐의 데이타)의 예측 화상 데이타 생성을 위하여 프레임 메모리(86)의 전방예측 화상부(86a)로 공급되어 기억된다. 또 이 데이타는 포맷 변환 회로(32)(제 9 도)로 출력된다.
IDCT 회로(84)에서 공급된 화상 데이타가 그 1 프레임 전의 화상 데이타를 예측 화상 데이타로 하는 P 픽쳐의 데이타로서 전방 예측 모드의 데이타인 경우 프레임 메모리(86)의 전방 예측 화상부(86a)에 기억되게 된다. 1 프레임 전의 화상 데이타(1 픽쳐의 데이타)가 판독되고 움직임 보상 회로(87)에 가변 길이 복호화 회로(82)에서 출력되는 움직임 벡터에 대응하는 움직임 보상이 시행된다. 그리고 연산기(85)에 있어서 IDCT 회로(84)에서 공급된 화상 데이타(차분의 데이타)로 가산되어 출력된다. 이 가산된 데이타, 즉 복호된 P 픽쳐의 데이타는 연산기(85)에 후에 입력되는 화상 데이타(B 픽쳐 또는 P 픽쳐의 데이타)의 예측 화상 데이타 생성을 위하여 프레임 메모리(86)의 후방 예측 화상부(86b)로 공급되어 기억된다.
P 픽쳐의 데이타이어도, 화상내 예측 모드의 데이타는 I 픽쳐의 데이타와 마찬가지로 연산기(85)에서 특히 처리는 행하지 않고 그대로 후방 예측 화상부(86b)에 기억된다.
이 P 픽쳐는 다음의 B 픽쳐의 다음에 표시되는 화상이기 때문에 이 시점에서는 또 포맷 변환 회로(32)로 출력되지 않고(상술한 것과 같이, B 픽쳐의 후로 입력되는 P 픽쳐가, B 픽쳐로부터 먼저 처리되고 전송되게 된다).
IDCT 회로(84)에서 공급된 화상 데이타가 B 픽쳐의 데이타인 경우, 가변 길이 복호화 회로(82)로부터 공급되는 예측 모드에 대응하여 프레임 메모리(86)의 전방 예측 화상부(86a)로 기억되어 있는 I 픽쳐의 화상 데이타(전방 예측 모드의 경우), 후방 예측 화상부(86b)에 기억되어 있는 P 픽쳐의 화상 데이타(후방 예측 모드의 경우) 또는 그 양방의 화상 데이타(양방향 예측 모드의 경우)가 판독되고, 움직임 보상 회로(87)에 있어서, 가변 길이 복호화 회로(82)로부터 출력된 움직임 벡터에 대응하는 움직임 보상이 시행되고 예측 화상이 생성된다. 단 움직임 보상을 필요로 하지 않는 경우(화상내 예측 모드의 경우), 예측 화상은 생성되지 않는다.
이와 같이하여, 움직임 보상 회로(87)에서 움직임 보상이 시행될 데이타는 연산기(85)에 있어서 IDCT 회로(84)의 출력이 가산된다. 이 가산 출력은 출력 단자(91)를 거쳐 포맷 변환 회로(32)로 출력된다.
단, 이 가산 출력은 B 팍쳐의 데이타이며 다른 화상의 예측 화상 생성 때문에 이용될 수가 없기 때문에 프레임 메모리(86)에는 기억되지 않는다.
B 픽쳐의 화상이 출력된 후 후방 예측 화상부(86b)에 기억되어 있는 P 픽쳐의 화상 데이타가 판독되고 움직임 보상 회로(87)를 거쳐 연산기(85)에 공급된다. 단 이때 움직임 보상은 하지 않는다.
또한 이 디코더(31)에는 제 11 도의 인코더(18)에 있어서 예측 모드 전환 회로(52)와 DCT 모드 전환 회로(55)에 대응하는 회로가 도시되지 않았으나 이들 회로에 대응하는 처리, 즉 기수 필드와 우수 필드의 라인의 신호가 분리되는 구성을 원래 혼재하는 구성으로 필요에 따라 되돌리는 처리는 움직임 보상 회로(87)가 실행한다.
또한, 이상에 있어서는 휘도 신호의 처리에 대하여 처리에 대하여 설명하였으나 색차 신호의 처리도 마찬가지로 행해진다. 단 이 경우 움직임 벡터는 휘도 신호용의 것을 수직 방향 및 수평 방향으로 1/2 로 한 것이 사용된다.
여기에서 상술한 화상 신호 부호화/복호화에 있어서 전송되는 화상의 품질은 제 16 도에서와 같이 제어한다. 예를 들면 화상의 SNR(SN 비)는 상술한 화상내 부호화, 전방 예측 부호화, 양방향 예측 부호화 등의 부호화 형태의 표시하는 픽쳐 형태에 대응하여 제어되고 I 픽쳐 및 P 픽쳐는 고품질로 B 픽쳐는 이들에 비하여 열한 품질로 전송된다. 즉, 고전송 속도에서 전체 화상을 전송하면 보다 좋은 화질을 얻을 수 있으나 전송로의 특성 등으로부터 어느 일정치 이상의 전송 속도를 선택하지 않는 경우가 있고 이 경우 인간의 시각 특성으로 전체의 화상 품질을 평균화하는 것 보다도 화상 품질을 제 12 도에서와 같이 진동시키도록 하거나 화상의인상이 좋아진다는 특성을 이용하여 상기 제 16 도에서와 같은 전송 방식을 채용한 것으로 어느 일정치의 전송 속도에서 보다 고품질의 화상을 얻을 수 있다. 따라서 제 11 도의 구성에 있어서는 이 화상 품질을 달성하도록 양자화기(57)로 전송 레이트 제어를 행하도록 하고 있다.
발명이 해결하고자 하는 과제
여기에서, 상술한 부호화 방식에 의하여 부호화를 행하는 경우에서의 프레임 DCT/필드 DCT 의 모드 판단에 있어서, 판단에 사용하는 상기 프레임 DCT 모드 상관과 필드 DCT 모드 상관은, 발생 비트량과 직접적인 비례 관계에 있는 것은 아니기 때문에 부호화 효율면으로부터 보다 필히 최적인 판단을 행하지 못하는 경우가 있다.
또 마찬가지로 화상내 예측 부호화(인트라 부호화) 및 전방 예측, 후방 예측, 양방향 예측(인터 예측)의 예측 모드 판단도 DCT 계수를 직접 사용하지 않으므로 부호화 효율면에서 볼 때 필히 또 최적인 판단을 행하지 않는 경우가 있다.
여기에서 본 발명은 부호화 효율면으로부터 최적인 프레임/필드 예측 모드의 판단 및 프레임/필드 DCT 모드의 판단을 실현할 수가 있는 화상 부호화 방법 및 장치를 제공하는 것을 목적으로 하는 것이다.
과제를 해결하기 위한 수단
본 발명은 상술한 목적을 달성하기 위하여 제안된 것으로서 매크로 블럭마다 프레임 단위의 블럭화 또는 필드 단위의 블럭화를 선택하여 소정의 변환을 행하는 화상 부호화 방법이며, 화상 신호를 프레임 단위로 블럭화하여 상기 소정의 변환을행하여 제 1 변환 계수를 생성하고, 화상 신호를 필드 단위로 블럭화하여 상기 소정의 변환을 행해 제 2 의 변환 계수를 생성하고, 상기 제 1 및 제 2 변환 계수의 정보량에 기초하여 상기 제 1 또는 제 2 의 변환 계수를 선택하도록 한 것이다.
여기에서 상기 매크로 블럭은 복수의 휘도 블럭 및 색차 블럭으로 이루어지며, 해당 매크로 블럭중의 다수의 휘도 블럭에 대해서 구한 상기 제 1 의 변환 계수의 절대치 합계와, 상기 매크로 블럭 중의 복수의 휘도 블럭에 대해서 구한 제 2 의 변환 계수의 절대치 합계를 비교하여 상기 제 1 또는 제 2 의 변환 계수의 선택을 행한다. 또 상기 제 1 의 변환 계수의 절대치 합계가 소정치 이하시, 상기 비교의 결과에 구애되지 않고 상기 제 1 의 변환 계수를 선택한다. 또한 상기 제 1 또는 제 2 의 변환 계수의 절대치 합계에 대하여 소정의 가중을 행하여 상기 비교를 행한다.
또 본 발명의 화상 부호화 방법에서는 상기 제 1 및 제 2 의 변환 계수의 고차의 행의 계수가 다수치 절대치 합계 또는 2 제곱 합계를 비교하여 상기 제 1 또는 제 2 의 변환 계수를 선택할 수도 있다.
이때 상기 제 1 또는 제 2 의 변환 계수의 절대치 합계 또는 2 제곱 합계에 대하여 소정의 가중을 행하여 상기 비교를 행한다.
또한, 본 발명은 화상내 예측 또는 화상간 예측된 화상 신호에 소정의 변환을 행하여 부호화를 행한 화상 부호화 방법이며, 상기 화상내 예측된 신호를 프레임 단위로 블럭화 또는 필드 단위로 블럭화하여 소정의 변환을 행하여 변환 계수를 생성하고, 상기 화상간 예측된 신호를 프레임 단위로 블럭화 또는 필드 단위로 블럭화하여 소정의 변환들 행하여 변환 계수를 생성하고 상기 각 변환 계수의 정보량에 기초하여 어떤 변환 계수를 선택하는 것이다.
여기에서 상기 변환 계수의 정보량으로서 AC 성분의 변환 계수의 절대치 합계를 구한다. 또 상기 프레임 단위의 블럭화에 의한 변환 계수의 절대치 합계가 소정치 이하일 때 이 프레임 단위의 블럭화에 의한 변환 계수를 선택한다. 다음 상기 프레임 단위의 블럭화에 의한 변환 계수의 절대치 합계에 대하여 소정의 가중을 행하여 상기 선택을 행한다.
다음, 본 발명의 화상 부호화 장치는 매크로 블럭마다 프레임 단위의 블럭화 또는 필드 단위의 블럭화를 선택하여 소정의 변환을 행하는 화상 부호화 장치로서, 화상 신호를 프레임 단위로 블럭화하여 상기 소정의 변환을 행해 제 1 의 변환 계수를 생성하는 제 1 의 변환 계수 생성 수단과, 화상 신호를 필드 단위로 블럭화하여 상기 소정의 변환을 행하여 제 2 의 변환 계수를 생성하는 제 2 의 변환 계수 생성 수단과, 상기 제 1 및 제 2 의 변환 계수 생성 수단으로 생성한 제 1 및 제 2 의 변환 계수의 정보량에 기초하여 상기 제 1 또는 제 2 의 변환 계수를 선택하는 변환 계수 선택 수단을 가지는 것이다.
또 본 발명의 화상 부호화 장치는 상기 제 1 및 제 2 의 변환 계수 생성 수단으로 생성된 제 1 및 제 2 의 변환 계수의 고차행의 계수의 다수 개의 절대치 합계 또는 2 제곱 합계를 비교하여 상기 제 1 또는 제 2 의 변환 계수를 선택하는 변환 계수 선택 수단을 가지는 것으로 하는 것도 된다.
또한 본 발명의 화상 부호화 장치는, 화상내 예측 또는 화상간 예측된 화상신호에 소정의 변환을 행하여 부호화를 행하는 화상 부호화 장치이며, 상기 화상내 예측된 신호를 프레임 단위로 블럭화 또는 필드 단위로 블럭화하여 소정의 변환을 행해 변환 계수를 생성하는 화상내 예측 변환 계수 생성 수단과, 상기 화상간 예측된 신호를 프레임 단위로 블럭화 또는 필드 단위로 블럭화하여 소정의 변환을 행하여 변환 계수를 생성하는 화상간 예측 변환 계수 생성 수단과, 상기 화상내 예측 변환 계수 생성 수단 및 화상내 예측 변환 계수 생성 수단으로 생성한 각 변환 계수의 정보량에 기초하여 어떤 변환 계수를 선택하는 변환 계수 선택 수단을 가지는 것으로 할 수도 있다.
즉, 본 발명의 화상 부호화 방법 및 장치에서는, 영상 신호에 대하여 프레임으로 블럭을 형성하여 DCT 를 행하는 계와, 필드로 블럭을 형성하여 DCT 를 행하는 계와, 상기 2 개의 계로부터 상기 프레임의 블럭에서 DCT 된 영상 신호와 상기 필드의 블럭으로 DCT 된 영상 신호의 어느 것을 선택하는 수단을 가지며, 상기 프레임 DCT 된 변환 계수와, 상기 필드로 DCT 된 변환 계수의 정보량을 비교하고, 이 비교 결과에 기초하여 상기 프레임으로 DCT 가 된 영상 신호와 상기 필드로 DCT 가 된 영상 신호의 선택을 행하는 것이다.
여기에서, 본 발명의 화상 부호화 방법에서는, DCT 계수는 가변 길이 부호화하여 전송되기 때문에 발생 비트량은 DCT 계수의 크기 및 개수와 비례한다. 이 때문에, 프레임 변환된 휘도 블럭의 DCT 계수의 절대치 합계를 계산하고, 필드 변환된 휘도 블럭의 DCT 계수의 절대치 합계를 계산하고, 이들 프레임에서의 DCT 및 필드에서의 DCT 계수의 절대치 합계 중 작은 쪽의 DCT 모드의 영상 신호를 선택하므로서, 종래에 비교하여 발생 비트량에 대하여 충실한, 보다 좋은 모드 판단을 행하는 것이 가능하다.
본 발명에 의하면, 영상 신호에 대하여 화상내 예측(인트라 부호화)를 행하여 DCT를 행하는 계와, 화상간에서의 예측(인터 부호화)을 행하여 DCT를 행하는 계와, 상기 인트라 부호화에 대하여 DCT 를 실시한 영상 신호와 인터 부호화에 대하여 DCT 를 실시하는 영상 신호의 어느 것을 선택하는 수단을 가지며, 상기 인트라 부호화에 대하여 DCT 를 행해 얻은 DCT 계수와, 상기 인터 부호화에 대하여 DCT 를 행해 얻은 DCT 계수의 정보량을 비교하고, 이 비교 결과에 기초하여 상기 인트라 부호화에 대하여 DCT 가 실시된 영상 신호와, 상기 인터 부호화에 대하여 DCT 가 실시된 영상 신호를 선택하도록 하고 있다.
이때 본 발명의 화상 부호화 방법에서도, DCT 계수는 가변 길이 부호화하여 전송되기 때문에 발생 비트량은 DCT 계수의 크기 및 개수와 비례하고, 이 때문에 각 부호화의 예측 모드에 있어서 DCT 된 DCT 계수의 절대치 합계를 계산하고, 절대치 합계의 최소 예측 모드의 영상 신호를 선택하는 것에 의하여, 종래에 비교하여 발생 비트량에 대하여 보다 충실한 모드 판단을 행하는 것이 가능하다.
작용
본 발명에 의하면, 영상 신호에 대하여 프레임으로 블럭을 형성하여 DCT 를 행하고, 필드로 블럭을 형성하여 DCT 를 행하고, 이들 프레임의 블럭으로 DCT 된 영상 신호와 필드의 블럭으로 DCT 된 영상 신호의 어느 것을 선택한다. 즉, 프레임에서의 DCT 에 의한 계수와 필드에서의 DCT 에 의한 계수의 정보량을 비교하여, 이비교 결과에 기초하여 프레임으로 DCT 가 된 영상 신호와 필드로 DCT 가 된 영상 신호를 선택한다.
또한 본 발명에 의하면, 영상 신호에 대하여, 화상내 예측(인트라 부호화)를 행하여 DCT 를 시행하고, 화상간에서의 예측(인터 부호화)을 행하여 DCT 를 실시하고, 인프라 부호화에 대하여 DCT 가 실시된 영상 신호와, 인터 부호화에 대하여 DCT 가 실시된 영상 신호의 어느 것을 선택한다. 즉, 인트라 부호화에 대하여 DCT 를 실시하여 얻은 계수와, 인터 부호화에 대하여 DCT 를 실시하여 얻은 계수의 정보량을 비교하여, 이 비교 결과에 기초하여 인트라 부호화에 대하여 DCT 가 된 영상 신호와 인터 부호화에 대하여 DCT 가 된 영상 신호를 선택한다.
이에 의하여 종래에 비교하여 발생 비트량에 충실한 보다 양호한 모드 판단을 행할 수 있다.
실시예
이하 본 발명의 실시예에 대하여 도면을 참조하여 설명한다.
본 실시예의 화상 부호화 방법이 적용되는 화상 부호화 장치는, 제 1 도에서와 같이 상기 매크로 블럭마다 프레임 단위의 블럭화 또는 필드 단위의 블럭화를 선택하여 소정의 변환으로서 상기 DCT 를 행하는 화상 부호화 장치로서, 화상 신호를 프레임 단위로 블럭화하여 상기 DCT 를 행하여 제 1 의 변환 계수(DCT 계수)를 생성하는 제 1 변환 계수 생성 수단으로서 프레임 DCT 회로(200)와, 화상 신호를 필드 단위로 블럭화하여 상기 DCT 를 행해 제 2 의 변환 계수(DCT 계수)를 생성하는 제 2 의 변환 계수 생성 수단인 필드 DCT 회로(201)와, 상기 프레임 DCT회로(200), 필드 DCT 회로(201)에서 생성된 DCT 계수의 정보량에 기초하여 상기 프레임/필드에서의 DCT 계수의 어느 것을 선택하는 변환 계수 선택 수단으로서의 프레임/필드 DCT 모드 전환 회로(255)를 가지는 것이다.
또 제 1 도에 있어서 전술한 제 11 도와 동일한 구성 요소에는 동일한 지시부호를 부여하고 있다.
먼저, 본 발명의 제 1 실시예 장치에 있어서 프레임에서의 DCT 와 필드에서의 DCT 의 선택 수법에 관하여 설명한다. 또 인트라 부호화 및 인터 부호화는 전술한 종래와 마찬가지지 수법을 행한다. 또 제 1 실시예의 화상 부호화 장치에서는 처리를 매크로 블럭 단위로 행할 수 있다.
제 1 도에 있어서, 상기 블럭 포맷의 화상은 프레임 메모리(51)에 기억된다. 움직임 벡터 검출 회로(50)는 미리 설정된 화상 시퀀스(I 픽쳐, P 픽쳐, B 픽쳐)에 따라서 프레임 메모리(51)로부터 필요한 화상을 매크로 블럭 단위로 판독하고, 참조 화상과 전방 원화상 및/또는 후방 원화상 사이에서 움직임 벡터의 검출을 행한다. 여기에서, I 픽쳐는 필드내 혹은 프레임내 부호화 된다. 또, P 픽쳐는 전방향으로부터의 예측 가능으로 되어 필드간 또는 프레임간 부호화된다. 실제로는 움직임 보상된 예측 화상(차분을 하는 기준으로 된 화상)의 차분을 부호화하는 경우와, 차를 내어 그대로 부호화하는(인트라 부호화) 경우 중 효율이 좋은 쪽이 매크로 블럭 단위로 선택된다. 또 B 픽쳐는 전방향으로부터 후방향으로부터 및 양방향으로부터 예측 가능하게 되어 필드간 혹은 프레임간 부호화된다. 실제로는 상기 3 종류의 움직인 보상후의 예측 화상과의 차이를 부호화하는 경우와 차이를 취하여 그대로부호화하는 경우 중에서 가장 효율이 좋은 것이 매크로 블럭 단위로 선택된다.
움직임 벡터 검출은 움직임 벡터 검출 회로(50)에 의해 프레임 메모리(51)에 기억된 전방 원화상 및 또는 후방 원화상을 사용하여 현재의 참조 화상의 사이에서 행한다. 여기에서 블럭 단위에서의 프레임간 차분의 절대치 합계가 최소로 되는 것을 그 움직임 벡터로 한다. 움직임 벡터의 검출은 프레임 예측 모드 및 필드 예측 모드의 양방에 관해 행하여 프레임 예측에 대한 1 개의 움직임 벡터 및 필드 예측에 대한 2 개의 움직임 벡터의 양자가 구해진다.
움직임 벡터 검출 회로(50)에서 계산된 블럭 단위로의 프레임 및 필드간 차분의 절대치 합계는 프레임/필드 예측 모드 전환 회로(52)에 보내진다. 프레임/필드 예측 모드 전환 회로(52)는 그 값을 기초로 프레임 예측 모드와 필드 예측 모드를 결정한다. 이 판단 결과는 프레임/필드 예측 플래그로서 가변 길이 부호화 회로(58)에 보내져 부호화된다. 또 프레임/필드 예측 모드에 응하여 블럭화된 데이타는 프레임내/전방/양방향의 예측 판정 회로(54)에 공급된다.
프레임내/전방/양방향 예측 판정 회로(54)는 움직임 벡터 검출 회로(50)로 계산된 블럭 단위에서의 프레임간 차분의 절대치 합계를 기초로 참조 블럭의 매크로 블럭 형태를 결정한다. 이 매크로 블럭 형태를 기초로 해서 블럭 단위로 프레임내/전방/후방/양방향 예측 전환을 제어하고 프레임내 부호화 모드의 경우는 입력화상 그것을 전방/후방/양방향 예측 모드 때 각각의 예측 화상으로부터의 프레임간 부호화 데이타를 발생한다.
이상은 전술한 종래 예와 마찬가지이나 본 발명의 실시예에서는 이하의 구성에 있어서 아래와 같이 종래 예와 다르게 된다.
상기 예측 모드 선택이된 블럭은, 프레임 단위로 블럭화 및 필드 단위로 블럭화되어, 각각 프레임 DCT 회로(200) 및 필드 DCT 회로(201)에 공급된다. 프레임 DCT 회로(200)로부터는 프레임 단위의 DCT 계수가 필드 DCT 회로(201)로부터는 필드 단위의 DCT 계수가 각각 출력되고 프레임/필드 OCT 모드 전환 회로(255)로 출력된다.
상기 프레임/필드 DCT 모드 전환 회로(255)는 부호화 효율을 고려하여 DCT를 위한 프레임 단위의 블럭화의 모드(프레임 DCT 모드) 혹은 필드 단위의 블럭화의 모드(필드 DCT 모드)의 어느 것을 선택적으로 출력하고 양자화 회로(57)로 출력하도록 되어 있다. 또 이 판단 결과는 프레임/필드 DCT 플래그로서 가변 길이 부호화 회로(58)로 보내져 여기에서 부호화된다. 또 프레임/필드 DCT 모드의 판단의 알고리즘에 관하여는 다음에 상세히 설명한다.
상기 양자화 회로(57)는 매크로 블럭 및 슬라이스마다 정해진 양자화 스텝 사이즈로 DCT 변환 데이타를 양자화하고, 그 결과 출력단에 얻어지는 양자화 데이타를 가변 길이 부호화(VLC(Variable length lode)) 회로(58) 및 역양자화 회로(60)에 공급한다. 양자화에 사용하는 양자화 스케일은 송신 버퍼(59)의 버퍼 잔량을 피드백함으로서 송신 버퍼(59)가 파종되지 않는 값으로 결정된다. 이 양자화 스케일도 가변 길이 부호화 회로(58) 및 역양자화 회로(60)로 양자화 데이타와 동시에 공급된다.
여기에서 가변 길이 부호화 회로(58)는 양자화 데이타를 양자화 스케일, 매크로 블럭 형태, 움직임 벡터와 함께 가변 길이 부호화 처리하여 전송 데이타로 하여 송신 버퍼(59)로 공급한다.
송신 버퍼(59)는 전송 데이타를 일단 메모리로 격납한 후, 소정의 타이밍으로 비트 스트림으로서 출력함과 동시에, 메모리에 잔류되어 있는 잔류 데이타량에 응하여 매크로 블럭 단위의 양자화 제어 신호를 양자화 회로(57)로 피드백하여 양자화 스케일을 제어하도록 되어 있다. 이에 의해 송신 버퍼(59)는 비트 스트림으로서 발생되는 데이타량을 조정하고 메모리내에 적정한 잔량(오버플로우 또는 언더플로우를 생기지 않게 하는 데이타량)의 데이타를 유지하도록 되어 있다.
따라서 송신 버퍼(59)의 데이타 잔량이 허용 상한에까지 증량하면 송신 버퍼(59)는 양자화 제어 신호에 의해 양자화 회로(57)의 양자화 스케일을 크게 함으로써 양자화 데이타의 데이타량을 저하시킨다.
또 이리하면 역으로 송신 버퍼(59)의 데이타 잔량이 허용 하한치까지 감량되면 송신 버퍼(59)는 양자화 제어 신호에 의해 양자화 회로(57)의 양자화 스케일을 작게 함으로써 양자화 데이타의 데이타량을 증대시킨다.
역 양자화 회로(60)는 양자화 회로(57)로부터 송출되는 양자화 데이타를 대표치로 역양자화하여 역양자화 데이타로 변환하고, 출력 데이타의 양자화 회로(57)에 있어서 변환전의 변환 데이타를 복호하고, 역양자화 데이타를 디스크리트코사인역변환 IDCT(inverse discrete cosine transform) 회로(61)에 공급하도록 한다.
IDCT 회로(61)는 역 양자화 회로(60)로 복호된 역 양자화 데이타를 DCT 회로(200 또는 201)와는 역 변환 처리를 복호 화상 데이타로 변환하고 연산기(62)를 거쳐 프레임 메모리(63)로 보내도록 한다.
또한, 움직임 보상 회로(64)는 IDCT 회로(61)의 출력 데이타와 매크로 블럭 형태, 움직임 벡터, 프레임/필드 예측 플래그, 프레임/필드 DCT 플래그를 기초로 하여 국소 복호를 행하고 복호 화상이 전방 예측 화상 또는 후방 예측 화상으로서 프레임 메모리(63)에 기록한다.
프레임 메모리(63)에서는 백 전환이 행해진다. 이에 따라, 부호화한 화상에 응하여 단일의 프레임이 후방 예측 화상으로서 출력되며 전방 예측 화상으로서 출력되게 된다. 전방/양방향 예측의 경우는 예측 화상으로부터의 차분이 IDCT 회로(61)의 출력으로서 전송되기 때문에 이 차분을 예측 화상에 대하여 족입(足入)하는 것으로 국소 복호를 행하고 있다. 이 예측 화상은 디코더에서 복호된 화상과 완전히 동일한 화상이며 다음의 처리 화상은 이 예측 화상을 원으로 전방 양방향 예측을 행한다.
여기에서 상기 DCT 모드 전환 회로(255)에 있어서 프레임/필드 DCT 의 모드 결정(판단) 법에 관하여 이하에 설명한다.
먼저 제 1 실시예에 있어서 제 1 의 프레임/필드 DCT 모드의 모드 결정법으로 하여 DCT 계수에 착안한 프레임/필드 DCT 모드의 모드 결정법에 관해 설명한다.
상기 DCT 모드 전환 회로(255)에 있어서는 프레임 DCT 회로(200)에 의해 프레임 단위로 DCT 된 4 개의 휘도 블럭의 DCT 계수(각 64 개)의 절대치 합계(FrameWeight 라함)를 다음의 수식 (1)로 계산한다.
단, 이 수식 (1)에 있어서 i 는 블럭 번호, j 는 계수의 번호이다.
다음에 필드 DCT 회로(201)에 의하여 필드 단위로 DCT 된 4 개의 휘도 블럭의 DCT 계수(64 개)의 절대치 합계(Field Weight 라 함)를 다음의 수식 (2)에서 계산한다.
이 수식 (2)에 있어서도 i 는 블럭 번호, j 는 계수의 번호이다.
이들 수식 (1), (2)로 계산된 값중에, 먼저 상기 프레임에 있어서 절대치 합계(Frame Weight)가 어느 임계값(TH1)과 비교된다.
여기에서,
Frame Weight 〈 TH1
의 경우, 무조건으로 프레임 DCT 모드로 판정된다. 이것은 프레임 모드로 되기 쉽도록 설치된 핸디(가중치)이다.
다음에 상기 프레임에 있어서 절대치 합계(Frame Weight)와 필드에 있어서 절대치 합계(Field Weight)가 비교된다. 이때 각각의 값(Weight)의 작은 쪽이 선택된다. 또 이때 프레임 DCT 모드로 되기 쉽도록 하여 해당 비교에 핸디를 부여하는(가중시키는) 것도 된다.
예를 들면,
Frame Weight 〈 Field Weight * β1+ α1
α1, β1: 비교에 있어서의 핸디
의 계산을 하고, 이것이 참일 경우, 프레임 DCT 모드로, 거짓일 경우 필드 DCT 모드로 판정된다.
상기 DCT 모드 전환 회로(255)에 있어서는 상술한 판단법에 의해 프레임/필드 DCT 모드가 결정된다. 또 상술한 프레임에 있어서 절대치 합계(Frame Weight)와 필드에 있어서 절대치 합계(Field Weight)는 블럭의 모두에서의 DCT 계수의 절대치 가산에 의한 것이 아니고, 이러한 지그재그 스캔 순으로 선두에서 N 번째(1≤N≤64)까지의 계수를 절대치 가산된 값을 사용해도 좋다. 또한, 비교에 사용하는 블럭도 휘도 블럭만으로 하지 않고 색차 블럭을 포함한 6 개의 블럭에 대하여 행하여도 좋다.
다음에, 본 발명의 제 1 실시예의 DCT 모드 전환 회로에 있어서 DCT 계수에 착안한 제 2 프레임/필드 DCT 모드의 모드 결정법에 관하여 설명한다.
이 제 2 의 모드 결정법에는, DCT 된 블럭에 있어서 DCT 계수중 인터레이스 구조로 기여하는 경우의 높은 계수(DCT 계수가 고차행의 계수)에 주목한다. 이것을 제 2 도에 나타낸다. 또 이 제 2 도에 있어서 도면중 ○ 및 ●는 DCT 계수를 나타내며 도면중 파선으로 둘러싸인 부분이 상기 주목하는 계수이다.
이 경우의 상기 DCT 모드 전환 회로(255)에서는 상술한 제 2 도에 나타낸 것과 같이 인터레이스 구조에 대하여 기여도가 높은 계수 N 개의 절대치 합계(Interlace Weight 라 함)를 계산한다. 상기 절대치 합계(Interlace Weight)가 큰 경우는 인터레이스가 강하고, 이러한 경우는 필드 단위로 DCT 를 행하는 쪽이 압축 효율이 높아진다.
따라서, 프레임 단위로 DCT 및 필드 단위로 DCT 된 계수중, 이 인터레이스에 기여도가 높은 상기 N 개의 DCT 계수의 절대치 합계를 각각(Interlace Weight(Frame)) 및 (Interlacc Weight (Field))로 된 때,
Interlace Weight (Frame) 〈 Interlace Weight (Field)
의 경우에는 프레임 DCT 모드에 판정된다. 반대의 경우는 필드 DCT 모드로 판정된다.
또한, 프레임 DCT 모드로 되기 쉽도록 당해 비교에 핸디를 부여하는(가중시키는) 것도 된다.
예를 들면,
Interlace Weight (Frame) 〈 Interlace Weight (Field) * β2+ α2
α2, β2: 비교에 있어서 핸디
로서, 이것이 참인 경우에는 프레임 DCT 모드로, 거짓의 경우에는 필드 DCT 모드로 판정된다.
또 상기 절대치 합계(Interlace Weight)는 인터레이스 구조에 대하여 기여도가 높은 계수 N 개의 2 제곱 합계를 사용하도록 하여도 좋다.
다음에 본 발명의 제 2 의 실시예에 대해 설명한다. 이 제 2 의 실시예는 제 1 실시예에 또한 본 발명의 인트라 부호화 및 인터 부호화의 선택 수법을 적용한 예이다. 제 3 도에 제 2 의 실시예의 화상 부호화 장치의 주요부의 개략 구성을 나타낸다. 또 이 제 2 실시예의 화상 부호화 장치는 전술한 제 11 도의 구성의 예측 모드 전환 회로(52)의 후로부터 양자화 회로(57)의 전까지의 구성만을 제 3 도에 나타낸 구성으로 변경한 것이며 다른 구성요소에 대하여는 도면 및 설명을 생략한다.
즉, 제 2 실시예의 화상 부호화 장치는 제 3 도에서와 같이 인트라 부호화(화상내 예측) 또는 인터 부호화(화상간 예측)된 화상 신호에 DCT 를 실시하여 부호화를 행하는 화상 부호화 장치이며, 상기 인트라 부호화된 신호를 프레임 단위로 블럭화 및 필드 단위로 블럭화하여 DCT 를 행하여 DCT 계수를 생성하는 프레임 DCT 회로(303) 및 필드 DCT 회로(304)와, 상기 인터 부호화된 신호를 프레임 단위로 블럭화 및 필드 단위로 블럭화하여 DCT 를 행해 DCT 계수를 생성하는 프레임 DCT 회로(305, 307, 309) 및 필드 DCT 회로(306, 308, 310)과, 상기 각 프레임 DCT 회로 및 필드 DCT 회로에서 생성된 각 DCT 계수의 정보량에 기초하여 어느 것의 DCT 계수를 선택하는 변환 계수 선택 수단으로서의 프레임/필드 DCT 모드 전환 회로(311∼314) 및 예측 모드 선택 회로(315)를 가지는 것이다.
이 제 3 도에 있어서 연산부(320)의 단자(300)에는 제 11 도의 예측 모드 전환 회로(53)의 출력이 공급되고, 단자(301)에는 상기와 마찬가지로 연산기(53a 및 53c)에 전송하는 제 11 도의 움직임 보상 회로(64)로부터의 예측 화상 데이타가,단자(302)에는 전술한 바와 마찬가지로 연산기(53b 및 53c)로 전송되는 제 11 도의 움직임 보상 회로(64)로부터의 예측 화상 데이타가 공급된다.
이 제 2 실시예 장치에 있어서 필드에서의 DCT 및 프레임에서의 DCT 의 선택과, 인트라 부호화(화상내) 및 인터 부호화(전방 예측, 후방 예측, 양방향 예측)의 선택의 모두를 행하는 것이 제 3 도에 나타낸 연산부(320)이다.
즉, 상기 입력된 화상 신호는 제 3 도에는 도시되지 않은 상기 움직임 벡터 검출 회로(5(1) 및 상기 프레임/필드 예측 모드 전환 회로(52)를 거치고 다시 상기 단자(300)를 거쳐 제 3 도의 연산부(320)에 입력된다.
이 연산부(320)에는 입력 신호에 대하여 전술한 제 11 도와 마찬가지로 화상내 예측 신호, 전방 예측 신호, 후방 예측 신호, 양방향 예측 신호를 생성한다. 이 4 개의 신호에 대하여 각각 대응하는 프레임 DCT 회로(303, 305, 307, 309) 및 필드 DCT 회로(304, 306, 308, 310)에 의해 프레임 단위의 DCT 혹은 필드 단위의 DCT 가 실시되고 이들 각 DCT 회로로부터의 8 개의 DCT 계수 데이타가 얻어진다.
여기에서 먼저 인트라 부호화(화상내 예측 신호)용의 프레임 DCT 회로(303) 및 필드 DCT 회로(304)에 있어서의 선택 수법에 관하여 이하에 설명한다. 여기에서의 DCT 의 모드 판정은 이들 DCT 회로(303, 304)의 출력이 공급되는 프레임/필드 DCT 모드 변환 회로(311)에서 행해진다.
해당 모드 전환 회로(311)에서는 프레임 단위로 DCT 처리하여 얻어진 4 개의 휘도 블럭의 DCT 계수(각 64 개)중 AC 성분 63 개의 절대치 합계(Intra FrameWeight 라 함)을 다음의 수식 (3)을 이용하여 계산한다.
단, 이 수식 (3)에 있어서, i 는 블럭 번호, j 는 DCT 계수의 번호이다. 또 j = 1 은 DC 성분이다.
다음에, 상기 필드에서 DCT 된 4 개의 휘도 블럭의 DCT 계수(각 6 개)중 AC 성분 63 개의 절대치 합계(Intra Field Weight 라 함)를 다음의 수식 (4)을 사용하여 계산한다.
단, 이 수식 (4)에 있어서도, i 는 블럭 번호, j 는 DCT 계수의 번호이다. 또 j = 1 은 DC성분이다.
이들로부터 계산된 값 중, 먼저 상기 절대치 합계(intra Frame Weight)가 임계치 (TH2)와 비교된다.
이때,
Intra Frame Weight 〈 TH2
의 경우는 무조건으로 프레임의 DCT 모드로 판정된다. 이것은 프레임 DCT 모드로 되기 쉽도록 설치된 핸디이다.
다음에 상기 프레임에 있어서 절대치 합계(intra Frame Weight)와 필드에 있어서 절대치 합계(intra Frame Weight)가 비교된다 이 때, 각각의 값(Weight)이 적은 쪽이 선택된다. 또 프레임 DCT 모드로 되기 쉽도록 비교로 핸디를 부여할 수도 있다.
예를 들면,
Intra Frame Weight 〈 Intra Frame Weight * β3+ α3
α3, β3은 비교에서의 핸디
를 행하여, 이들이 참일 경우는 프레임의 DCT 모드로, 거짓의 경우는 필드의 DCT 모드로 판정된다.
또, 상술한 프레임에 있어서 절대치 합계(Frame Weight)와 필드에 있어서 절대치 합계(Field weight)는, 블럭 모두의 DCT 계수의 절대치 가산을 하지 않고, 예컨대 지그재그 스캔의 순으로, 선두로부터 N 번째(1 ≤ N ≤ 64)까지의 DCT 계수를 절대치 가산한 값을 사용하여도 좋다. 또 비교에 사용하는 블럭도, 휘도 블럭만이 아니고 색차 블럭을 포함한 6 개의 블럭에 대하여 행해도 좋다.
다음에 인터 부호화인, 전방 예측 신호의 프레임 DCT 회로(305) 및 필드 DCT 회로(306)와, 후방 예측 신호의 프레임 DCT 회로(307) 및 필드 DCT 회로(308)와, 양방향 예측 신호의 프레임 DCT 회로(309) 및 필드 DCT 회로(310)의 선택 수법에 관하여 설명한다.
이들의 DCT 모드 판정은, 각각 대응하는 프레임/필드 DCT 모드 전환 회로(312∼314)에서 행해진다. 각 프레임 DCT 회로(305, 307, 309)에서 DCT 된 각각 4 개의 휘도 블럭의 DCT 계수(각각 64 개)의 절대치 합계(Intra Frame Weight라 함)를 전방 예측 신호, 후방 예측 신호, 양방향 예측 신호에 대하여 다음의 수식 (5)를 사용하여 계산한다.
단, 수식 (5)의 i 는 블럭 번호, j 는 계수의 번호이다.
또, 각 필드 DCT 회로(306, 308, 310)에서 DCT 된 각각 4 개의 휘도 블럭의 DCT 계수(각각 64 개)의 절대치 합계(Intra Frame Weight 라 함)를 다음의 수식(6)을 사용하여 계산한다.
단, 수식 (6)의 i 는 블럭 번호, j 는 계수의 번호이다.
이 각 절대치 합계(Intra Frame Weight) 및 절대치 합계(Intra Frame Weight)에 관하여 인트라 부호화의 경우와 마찬가지의 판단에 의해 각각 대응하는 DCT 모드 전환 회로(312∼314)에 의해 필드 DCT인지 프레임 DCT 인지를 선택한다.
여기까지의 처리에 의해 프레임/필드 DCT 모드 전환 회로(311∼314)로부터는, 각각 절대치 합계의 값(Weight)에 기초하여 판단되는 DCT 계수 데이타가 출력된다. 이 데이타는 그 절대치 합계의 값(Weight)과 한꺼번에 예측 모드 선택 회로(315)에 공급된다. 해당 예측 모드 선택 회로(315)에서는, 인트라 부호화에 있어서 절대치 합계(Intra Weight)와 인터 부호화에 의한 절대치 합계(Intra Weight)에 대하여 이하의 판단을 행하여 예측 모드를 결정한다.
여기에서의 예측 모드의 결정에는 상기 픽쳐 형태(I, P, B 픽쳐)가 고려된다.
먼저, 전방 예측 신호, 후방 예측 신호, 양방향 예측 신호의 인트라 부호화에 의한 절대치 합계(Intra Weight)는 픽쳐 형태(I, P, B 픽쳐)를 고려하여 값(Weight)이 작은 모드가 선택된다. 다음, 어느 임계치(TH3)와 비교된다.
여기에서 이 인트라 부호화에 의한 절대치 합계(Intra Weight)에 있어서,
Inter Weight 〈 TH3
의 경우, 무조건으로 인터 부호화의 전방 예측 신호, 후방 예측 신호 또는 양방향 예측 신호로 판정된다. 이것은 인터 부호화의 예측 모드로 되기 쉽도록 설치된 핸디이다.
다음에 인트라 부호화에 의한 절대치 합계(Intra Weight)와 인터 부호화에 의한 절대치 합계(Inter Weight)가 비교된다. 이때 각각의 값(Weight)의 작은 쪽이 선택된다. 또 인터 부호화의 예측 모드로 되기 쉽도록 비교에 핸디를 부여할 수도 있다.
예를 들면,
Inter Weight 〈 Intra Weight * β4+ α4
α4, β4는 비교에 의한 핸디
를 행하여 이것이 참인 경우는 인터부호화로, 거짓인 경우는 인트라 부호화로 판정된다.
이것까지의 처리에 의해 부호화의 예측 모드(화상의 전방, 예측 후방 예측,양방향 예측)의 선택 및 DCT 모드(프레임, 필드)의 선택이 연산부(326)에 의해 행해지고, 해당 연산부(326)의 출력이 단자(318)로부터 후단의 제 3 도에는 도시되지 않은 양자화 회로(57)로 전송된다. 또 상술한 바와 같이 구해진 프레임/필드 DCT 모드 전환 회로(311∼314)의 판단 결과는 프레임/필드 DCT 플래그로서 단자(317)를 거쳐 가변 길이 부호화 회로(58)로 보내진다.
기타의 처리에 관하여는 제 1 의 실시예와 마찬가지이며 이들에 대한 설명은 생략한다.
또 제 4 도는 상기 제 2 실시예에 있어서 DCT 계수의 절대치 합계를 프레임/필드 DCT 모드, 인트라/인터 부호화의 예측 모드의 양방의 판단에 사용하는 경우의 처리의 흐름을 나타내는 기능 블럭도이다.
이 제 4 도에 있어서, 인터/인트라 부호화로서, 먼저 각각 프레임 DCT 기능블럭(101, 111)과 필드 DCT 기능 블럭(102, 112)에서 각각 프레임/필드의 DCT 가 실시된다. 이들 DCT 계수는 각각 전술한 바와 같이 절대치 합계 연산 기능 블럭(103, 104, 113, 114)에서 구해진 절대치 합계와 함께, 인터 부호화, 인트라 부호화 기능 블럭(105, 115)에 보내진다.
해당 인터 부호화, 인트라 부호화 기능 블럭(105, 115)에서 구해진 데이타는 인터/인트라의 선택 기능 블럭(120)에 보내져, 이 선택 기능 블럭(120)의 선택 출력이 데이타로서 얻어진다.
또 제 5 도는 상기 제 2 의 실시예에 있어서 DCT 계수의 절대치 합계를 인트라/인터 부호화의 예측 모드의 판단에, 인터 레이스 구조로 기여도가 높은 제 2 도의 8 행째의 DCT 계수의 절대치 합계를 상기 프레임/필드 DCT 모드의 판단에 사용하는 경우의 흐름을 표시하는 기능 블럭도이다.
이 제 5 도에 있어서 인터/인트라 부호화로서, 먼저 각각 프레임 DCT 기능 블럭(131, 141)과 필드 DCT 기능 블럭(132, 142)에서 각각 프레임/필드의 DCT가 실시된다. 이들 DCT 계수는 각각 전술한 절대치 합계 연산 기능 블럭(133, 134, 143, 144)에서 구해진 절대치 합계와 함께, 인터 부호화, 인트라 부호화 기능 블럭(135, 145)에 보내진다.
해당 인터 부호화, 인트라 부호화 기능 블럭(135, 145)에서 구해진 데이타는 인터/인트라의 선택 기능 블럭(150)에 보내지고 그 선택 기능 블럭(150)의 선택 출력이 데이타로서 취출된다.
제 1 도는 제 1 의 실시예 장치의 개략 구성을 나타내는 블럭 회로도.
제 2 도는 본 발명의 실시예에 있어서 인터레이스 구조에 기여하는 정도가 높은 DCT 계수의 설명도.
제 3 도는 제 2 실시예 장치의 요부의 개략 구성을 나타내는 블럭 회로도.
제 4 도는 제 2 실시예에서 DCT 계수의 절대치 합계를 프레임/ 필드, 인트라/인터 부호화의 양쪽의 판단에 사용하는 경우의 처리 흐름을 나타내는 기능 블럭도.
제 5 도는 제 2 실시예에 있어서 DCT 계수의 절대치 합계를 인트라/인터 부호화의 판단에 인터레이스 구조에 기여도가 높은 제 2 도의 8 행째의 절대치 합계를 프레임/필드의 판단에 사용한 경우의 처리 흐름을 나타내는 기능 블럭도.
제 6 도는 고능율 부호화의 원리 설명도.
제 7 도는 동화상 신호를 부호화하는 원리의 설명도.
제 8 도는 화상 데이타를 압축하는 경우에 있어서 픽쳐의 유형의 설명도.
제 9 도는 종래의 화상 부호화 장치와 복호화 장치의 구성예의 블럭도.
제 10 도는 제 9 도에서의 포맷 변환 회로(17)의 포맷 변환 동작 설명도.
제 11 도는 제 9 도에서 인코더(18)의 구성예를 나타내는 블럭도.
제 12 도는 제 11 도의 예측 모드 전환 회로(52)의 동작 설명도.
제 13 도는 제 11 도의 DCT 모드 전환 회로(55)의 동작 설명도.
제 14 도는 프레임/필드 DCT 의 모드 판단을 위한 연산을 행하는 구체적 구성을 나타내는 블럭 회로도.
제 15 도는 제 9 도의 디코더(31)의 구성예를 나타내는 블럭도.
제 16 도는 픽쳐 유형으로 되어 있는 레이트 제어를 설명하는 도면.
*도면의 주요 부분에 대한 부호의 설명
1 : 부호화 장치 2 : 복호화 장치
3 : 기록 매체 12, 13 : A/D 변환기
14, 33, 51 : 프레임 메모리 15, 34 : 휘도 신호 프레임 메모리
16, 35 : 색차 신호 프레임 메모리
17, 32 : 포맷 변환 회로 18 : 인코더
이상 설명에서와 같이, 본 발명의 화상 부호화 방법 및 복호화 방법에 의하면, 영상 신호에 대하여 프레임 단위의 블럭을 형성하여 DCT 를 행하는 계와, 필드 단위의 블럭을 형성하여 DCT 를 행하는 계와, 이들 2개의 계에 의해 프레임으로 DCT된 영상 신호와 필드로 DCT된 영상 신호의 어느 것을 선택하는 수단을 가지며, 프레임 변환된 계수와, 필드 변환된 계수의 정보량을 비교하고, 이 비교 결과에 기초하여 상기 프레임 변환된 영상 신호와, 필드 변환된 영상 신호를 선택한다. 또한, 본 발명에 의하면, 영상 신호에 대하여 화상내 예측(인트라 부호화)을 행하여 DCT 를 하는 계와, 화상간에서의 예측(인터 부호화)을 행하여 DCT 를 행하는 계와, 인트라 부호화에 대하여 DCT 를 시행한 영상 신호와 인터 부호화에 대하여 DCT 를 실시한 영상 신호의 어느 것을 선택하는 수단을 가지며, 인트라 부호화에 대하여 DCT 된 계수와, 상기 인터 부호화에 대하여 DCT 된 계수의 정보량을 비교하고, 이 비교 결과에 기초하여 상기 인트라 부호화에 대하여 DCT 된 영상 신호와, 인터 부호화에 대하여 DCT 된 영상 신호를 선택하도록 한다.
이에 따라서 종래와 비교하여, 발생 비트량에 충실한 보다 양호한 모드 판단을 행하는 것이 가능하게 된다. 이리하여 부호화 효율의 면에서 최적의 프레임/필드 예측 모드의 판단 및 프레임/필드 DCT 모드의 판단을 실현할 수 있다.

Claims (29)

  1. 화상 신호들을 부호화하는 방법에 있어서,
    화상 신호 데이타를 기수 필드 데이타가 우수 필드 데이타와 교호하는 프레임 포맷 블럭들 내에 배열하는 단계와,
    프레임 단위 계수 데이타를 형성하도록 상기 프레임 포맷 블럭들을 직교 변환하는 단계(200, 303, 305, 307, 309)와;
    상기 기수 필드 데이타 또는 상기 우수 필드 데이타중 어느 하나를 각각 포함하는 필드 포맷 블럭들 내에 상기 화상 신호 데이타를 배열하는 단계와;
    필드 단위 계수 데이타를 형성하도록 상기 필드 포맷 블럭들을 직교 변환하는 단계(201, 304, 305, 308, 310)와;
    상기 프레임 포맷 블럭들 및 상기 필드 포맷 블럭들의 적어도 일부분들의 계수들의 절대치들의 합계 또는 상기 프레임 포맷 블럭들 및 상기 필드 포맷 블럭들의 적어도 일부분들의 계수들의 값들의 제곱들의 합계를 결정하는 단계(255, 311∼314)와,
    프레임 포맷 블럭들 및 필드 포맷 블럭들에 대해 계산된 상기 합계들의 비교에 의존하여 보다 작은 양의 계수 데이타를 갖는 상기 필드 및 프레임 포맷 블럭들중 하나를 선택하는 단계(255, 318, 319)와;
    전송을 위해 상기 선택된 데이타를 부호화하는 단계(57∼59)를 포함하는, 화상 신호 부호화 방법.
  2. 제 1 항에 있어서,
    상기 선택된 데이타를 양자화하는 단계(57)를 더 포함하는 화상 신호 부호화 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 화상 신호 데이타는 상기 프레임 포맷 블럭들 및 상기 필드 포맷 블럭들 내에 매크로 블럭 단위로 배열되고, 상기 선택된 데이타는 매크로 블럭 단위로 선택되는, 화상 신호 부호화 방법.
  4. 화상 신호들을 부호화하는 장치에 있어서,
    화상 신호 데이타를 기수 필드 데이타가 우수 필드 데이타와 교호하는 프레임 포맷 블럭들 내에 배열하는 수단과;
    프레임 단위 계수 데이타를 형성하도록 상기 프레임 포맷 블럭들을 직교 변환하는 수단(200, 303, 305, 307, 309)과,
    상기 기수 필드 데이타 또는 상기 우수 필드 데이타중 어느 하나를 각각 포함하는 필드 포맷 블럭들 내에 상기 화상 신호 데이타를 배열하는 수단과;
    필드 단위 계수 데이타를 형성하도록 상기 필드 포맷 블럭들을 직교 변환하는 수단(201, 304, 306, 308, 310)과;
    상기 프레임 포맷 블럭들 및 상기 필드 포맷 블럭들의 적어도 일부분들의 계수들의 절대치들의 합계 또는 상기 프레임 포맷 블럭들 및 상기 필드 포맷 블럭들의 적어도 일부분들의 계수들의 값들의 제곱들의 합계를 결정하는 수단(255, 311∼314)과;
    프레임 포맷 블럭들 및 필드 포맷 블럭들에 대해 계산된 상기 합계들의 비교에 의존하여 보다 작은 양의 계수 데이타를 갖는 상기 필드 및 프레임 포맷 블럭들중 하나를 선택하는 수단(255, 318, 319)과;
    전송을 위해 상기 선택된 데이타를 부호화하는 수단(57∼59)을 포함하는, 화상 신호 부호화 장치.
  5. 제 4 항에 있어서,
    상기 선택된 데이타를 양자화하는 수단(57)을 더 포함하는, 화상 신호 부호화 장치.
  6. 제 4 항또는 제 5 항에 있어서,
    상기 화상 신호 데이타는 상기 프레임 포맷 블럭들 및 상기 필드 포맷 블럭들 내에 매크로 블럭 단위로 배열되고, 상기 선택된 데이타는 매크로 블럭 단위로 선택되는, 화상 신호 부호화 장치.
  7. 제 1 항 또는 제 2 항에 있어서,
    상기 프레임 포맷 블럭들을 직교 변환하는 상기 단계(200)는 프레임 단위 계수들의 어레이들을 형성하고, 각각의 어레이는 상기 프레임 포맷 블럭들 중의 하나에 각기 대응하며;
    상기 결정 단계(255)는 프레임 단위 합계를 형성하도록 프레임 단위 계수들의 각 어레이의 적어도 일부분의 각각의 크기들을 조합하고;
    상기 필드 포맷 블럭들을 직교 변환하는 상기 단계(201)는 필드 단위 계수들의 어레이들을 형성하고, 상기 각각의 어레이는 상기 필드 포맷 블럭들중 하나에 각기 대응하며;
    상기 결정 단계(255)는 필드 단위 합계를 형성하도록 필드 단위 계수들의 각 어레이의 적어도 일부분의 각각의 크기들을 조합하고;
    상기 선택 단계는 상기 프레임 단위 합계 및 상기 필드 단위 합계의 비교에 의존하여 보다 작은 양의 계수 데이타를 갖는 프레임 단위 계수들의 상기 어레이들 및 필드 단위 계수들의 상기 어레이들 중의 하나를 선택하는, 화상 신호 부호화 방법.
  8. 제 1 항 또는 제 2 항에 있어서,
    상기 프레임 포맷 블럭들을 직교 변환하는 상기 단계(200)는 상기 프레임 포맷 블럭들을 이산 코사인 변환하는 단계를 포함하고, 상기 필드 포맷 블럭들을 직교 변환하는 상기 단계(201)는 상기 필드 포맷 블럭들을 이산 코사인 변환하는 단계를 포함하는, 화상 신호 부호화 방법.
  9. 제 7 항에 있어서,
    상기 화상 신호 데이타는 휘도 데이타 및 색차 데이타를 포함하고, 상기 프레임 포맷 블럭들 각각 및 상기 필드 포맷 블럭들 각각은 상기 휘도 데이타 또는 상기 색차 데이타중 어느 하나를 나타내고, 상기 색차 데이타를 나타내는 상기 필드 포맷 블럭들은 우수 필드 데이타로부터 분리된 기수 필드 데이타를 포함하는, 화상 신호 부호화 방법.
  10. 제 7 항에 있어서,
    프레임 단위 계수들의 각 어레이의 상기 일부분 및 필드 단위 계수들의 각 어레이의 상기 일부분은 고주파수 계수들을 포함하는, 화상 신호 부호화 방법.
  11. 제 7 항에 있어서,
    상기 프레임 단위 계수들은 상기 프레임 단위 합계가 미리 정해진 임계값보다 더 작은 값을 갖는 경우에 선택되는, 화상 신호 부호화 방법.
  12. 제 7 항에 있어서,
    상기 프레임 단위 계수들은 상기 프레임 단위 합계가 상기 필드 단위 합계보다 더 작은 값인 경우에 선택되고, 상기 필드 단위 계수들은 상기 프레임 단위 합계가 상기 필드 단위 합계보다 더 큰 값인 경우에 선택되는, 화상 신호 부호화 방법.
  13. 제 7 항에 있어서,
    상기 프레임 단위 계수들은
    Sum,frame〈 Sum,field* β + α
    인 경우에 선택되고, 여기서
    Sum,frame= 상기 프레임 단위 합계,
    Sum,field= 상기 필드 단위 합계,
    β, α = 미리 정해진 값들
    이고;
    상기 필드 단위 계수들은
    Sum,frame≥ Sum,field* β + α
    인 경우에 선택되는, 화상 신호 부호화 방법.
  14. 제 4 항 또는 제 5 항에 있어서,
    상기 프레임 포맷 블럭들을 직교 변환하는 상기 수단은 프레임 단위 계수들의 어레이들을 형성하고, 각각의 어레이는 상기 프레임 포맷 블럭들 중의 하나에 각기 대응하며;
    상기 결정 수단은 프레임 단위 합계를 형성하도록 프레임 단위 계수들의 각 어레이의 적어도 일부분의 각각의 크기들을 조합하고;
    상기 필드 포맷 블럭들을 직교 변환하는 상기 수단은 필드 단위 계수들의 어레이들을 형성하고, 상기 각각의 어레이는 상기 필드 포맷 블럭들중 하나에 각기 대응하며;
    상기 결정 수단은 필드 단위 합계를 형성하도록 필드 단위 계수들의 각 어레이의 적어도 일부분의 각각의 크기들을 조합하고;
    상기 선택 수단(255)은 상기 프레임 단위 합계 및 상기 필드 단위 합계의 비교에 의존하여 보다 작은 양의 계수 데이타를 갖는 프레임 단위 계수들 및 필드 단위 계수들의 상기 어레이들 중의 하나를, 프레임 단위 계수들의 상기 어레이들 및 필드 단위 계수들의 상기 어레이들로부터 선택하는, 화상 신호 부호화 장치.
  15. 제 4 항 또는 제 5 항에 있어서,
    상기 프레임 포맷 블럭들을 직교 변환하는 상기 수단(200)은 상기 프레임 포맷 블럭들의 이산 코사인 변환을 포함하고, 상기 필드 포맷 블럭들을 직교 변환하는 상기 수단(201)은 상기 필드 포맷 블럭들의 이산 코사인 변환을 포함하는, 화상 신호 부호화 장치.
  16. 제 14 항에 있어서,
    상기 화상 신호 데이타는 휘도 데이타 및 색차 데이타를 포함하고, 상기 프레임 포맷 블럭들 각각 및 상기 필드 포맷 블럭들 각각은 상기 휘도 데이타 또는 상기 색차 데이타중 어느 하나를 나타내고, 상기 색차 데이타를 나타내는 상기 필드 포맷 블럭들은 우수 필드 데이타로부터 분리된 기수 필드 데이타를 포함하는, 화상 신호 부호화 장치.
  17. 제 14 항에 있어서,
    프레임 단위 계수들의 각 어레이의 상기 일부분 및 필드 단위 계수들의 각 어레이의 상기 일부분은 고주파수 계수들을 포함하는, 화상 신호 부호화 장치.
  18. 제 14 항에 있어서,
    상기 프레임 단위 계수들은 상기 프레임 단위 합계가 미리 정해진 임계값보다 더 작은 값을 갖는 경우에 선택되는, 화상 신호 부호화 장치.
  19. 제 14 항에 있어서,
    상기 프레임 단위 계수들은 상기 프레임 단위 합계가 상기 필드 단위 합계보다 더 작은 값인 경우에 선택되고, 상기 필드 단위 계수들은 상기 프레임 단위 합계가 상기 필드 단위 합계보다 더 큰 값인 경우에 선택되는, 화상 신호 부호화 장치.
  20. 제 14 항에 있어서,
    상기 프레임 단위 계수들은
    Sum,frame〈 Sum,field* β + α
    인 경우에 선택되고, 여기서
    Sum,frame= 상기 프레임 단위 합계,
    Sum,field= 상기 필드 단위 합계,
    β, α = 미리 정해진 값들
    이고,
    상기 필드 단위 계수들은
    Sum,frame≥ Sum,field* β + α
    인 경우에 선택되는, 화상 신호 부호화 장치.
  21. 제 1 항 또는 제 2 항에 있어서,
    화상 신호 데이타는 기수 필드 데이타가 우수 필드 데이타와 교호하는 인터부호화 프레임 포맷 블럭들 및 인트라 부호화 프레임 포맷 블럭들내에 배열되고;
    상기 인트라 부호화 프레임 포맷 블럭들 및 상기 인터 부호화 프레임 포맷 블럭들은 인트라 부호화 프레임 단위 계수 데이타 및 인터 부호화 프레임 단위 계수 데이타를 각각 형성하도록 직교 변환(303, 305, 307, 309)되고;
    화상 신호 데이타는 상기 기수 필드 데이타 또는 상기 우수 필드 데이타중 어느 하나를 각각 포함하는 인트라 부호화 필드 포맷 블럭들 및 인터 부호화 필드 포맷 블럭들 내에 배열되고;
    상기 인트라 부호화 필드 포맷 블럭들 및 상기 인터 부호화 필드 포맷 블럭들은 인트라 부호화 필드 단위 계수 데이타 및 인터 부호화 필드 단위 계수 데이타를 각각 형성하도록 직교 변환되고;
    상기 결정 단계는,
    a1) 상기 인트라 부호화 필드 포맷 블럭들의 적어도 일부분들의 계수들의 절대값들의 합계(인트라 부호화 필드 단위 합계) 및 상기 인트라 부호화 프레임 포맷 블럭들의 적어도 일부분들의 계수들의 절대값들의 합계(인트라 부호화 프레임 단위 합계)(311), 또는
    a2) 상기 인트라 부호화 필드 포맷 블럭들의 적어도 일부분들의 계수들의 값들의 제곱들의 합계(인트라 부호화 필드 단위 합계) 및 상기 인트라 부호화 프레임 포맷 블럭들의 적어도 일부분들의 계수들의 값들의 제곱들의 합계(인트라 부호화 프레임 단위 합계)(311); 및
    b1) 상기 인터 부호화 필드 포맷 블럭들의 적어도 일부분들의 계수들의 절대값들의 합계(인터 부호화 필드 단위 합계) 및 상기 인터 부호화 프레임 포맷 블럭들의 적어도 일부분들의 계수들의 절대값들의 합계(인터 부호화 프레임 단위 합계)(312, 313, 314), 또는
    b2) 상기 인터 부호화 필드 포맷 블럭들의 적어도 일부분들의 계수들의 값들의 제곱들의 합계(인터 부호화 필드 단위 합계) 및 상기 인터 부호화 프레임 포맷 블럭들의 적어도 일부분들의 계수들의 값들의 제곱들의 합계(인터 부호화 프레임 단위 합계)(312, 313, 314)를, 선택하고;
    상기 선택 단계(318, 319)는, 상기 결정된 합계들의 비교에 기초하여 최소량의 계수 데이타를 갖는, 인트라 부호화 필드 포맷 블럭들, 인트라 부호화 프레임 포맷 블럭들, 인터 부호화 필드 포맷 블럭들, 및 인터 부호화 프레임 포맷 블럭들 중의 하나를 선택하는, 화상 신호 부호화 방법.
  22. 제 21 항에 있어서,
    상기 선택 단계는,
    선택된 인트라 부호화 계수 데이타로서 보다 작은 양의 계수 데이타를 갖는 상기 인트라 부호화 프레임 단위 계수 데이타 및 상기 인트라 부호화 필드 단위 계수 데이타 중의 하나를 선택하는 단계(311)와;
    선택된 인터 부호화 계수 데이타로서 보다 작은 양의 계수 데이타를 갖는 상기 인터 부호화 프레임 단위 계수 데이타 및 상기 인터 부호화 필드 단위 계수 데이타 중의 하나를 선택하는 단계(312∼314)와;
    상기 선택된 인트라 부호화 계수 데이타 및 상기 선택된 인터 부호화 계수 데이타로부터 보다 작은 양의 계수 데이타를 갖는 것을 선택하는 단계(318, 319)를 포함하는, 화상 신호 부호화 방법.
  23. 제 22 항에 있어서,
    상기 인트라 부호화 프레임 단위 계수 데이타는 상기 인트라 부호화 프레임 단위 합계가 제 1 의 미리 정해진 임계값보다 더 작은 값인 경우에 상기 선택된 인트라 부호화 계수 데이타로서 선택되고, 상기 인터 부호화 프레임 단위 계수 데이타는 상기 인터 부호화 프레임 단위 합계가 제 2 의 미리 정해진 임계값보다 더 작은 값인 경우에 상기 선택된 인터 부호화 계수 데이타로서 선택되는, 화상 신호 부호화 방법.
  24. 제 22 항에 있어서,
    상기 인트라 부호화 프레임 단위 계수 데이타는 상기 인트라 부호화 프레임 단위 합계가 상기 인트라 부호화 필드 단위 합계보다 더 작은 값인 경우에 상기 선택된 인트라 부호화 계수 데이타로서 선택되고, 상기 인트라 부호화 필드 단위 계수 데이타는 상기 인트라 부호화 프레임 단위 합계가 상기 인트라 부호화 필드 단위 합계보다 더 큰 값인 경우에 상기 선택된 인트라 부호화 계수 데이타로서 선택 되며,
    상기 인터 부호화 프레임 단위 계수 데이타는 상기 인터 부호화 프레임 단위 합계가 상기 인터 부호화 필드 단위 합계보다 더 작은 값인 경우에 상기 선택된 인터 부호화 계수 데이타로서 선택되고, 상기 인터 부호화 프레임 단위 합계가 상기 인터 부호화 필드 단위 합계보다 더 큰 값인 경우에는 상기 인터 부호화 필드 단위 계수 데이타가 선택되는, 화상 신호 부호화 방법.
  25. 제 22 항에 있어서,
    상기 인트라 부호화 프레임 단위 계수 데이타는
    Sumintra, frame〈 Sumintra, field* β + α
    인 경우에 선택되고,
    Sumintra, frame= 상기 인트라 부호화 프레임 단위 합계,
    Sumintra, field= 상기 인트라 부호화 필드 단위 합계,
    β, α = 미리 정해진 값들
    이고;
    상기 인트라 부호화 필드 단위 계수 데이타는
    Sumintra, frame≥ Sumintra, field* β + α
    인 경우에 상기 선택된 인트라 부호화 계수 데이타로서 선택되는, 화상 신호 부호화 방법.
  26. 제 22 항에 있어서,
    상기 인터 부호화 프레임 단위 계수 데이타는
    Suminter, frame〈 Suminter, field* β + α
    인 경우에 상기 선택된 인터 부호화 계수 데이타로서 선택되고,
    Suminter, frame= 상기 인터 부호화 프레임 단위 합계,
    Suminter, field= 상기 인터 부호화 필드 단위 합계,
    β, α= 미리 정해진 값들
    이고,
    상기 인터 부호화 필드 단위 계수 데이타는
    Suminter, frame≥ Suminter, field* β + α
    인 경우에 상기 선택된 인터 부호화 계수 데이타로서 선택되는, 화상 신호 부호화 방법.
  27. 제 21 항에 있어서,
    상기 결정된 합계들은 AC 계수들의 값들의 제곱들 또는 절대값들의 합계들인, 화상 신호 부호화 방법.
  28. 제 27 항에 있어서,
    상기 AC 계수들은 고주파수 계수들인, 화상 신호 부호화 방법.
  29. 제 4 항 또는 제 5 항에 있어서,
    상기 화상 신호 데이타를 프레임 포맷 블럭들내에 배열하는 수단은 그 데이타를 기수 필드 데이타가 우수 필드 데이타와 교호하는 인터 부호화 프레임 포맷 블럭들 및 인트라 부호화 프레임 포맷 블럭들내에 배열하고;
    프레임 포맷 블럭들을 직교 변환하는 수단(303, 305, 307, 309)은 인트라 부호화 프레임 단위 계수 데이타 및 인터 부호화 프레임 단위 계수 데이타를 각각 형성하도록 상기 인트라 부호화 프레임 포맷 블럭들 및 상기 인터 부호화 프레임 포맷 블럭들을 변환시키고;
    화상 신호 데이타를 필드 포맷 블럭들내에 배열하는 수단은 그 데이타를 상기 기수 필드 데이타 또는 상기 우수 필드 데이타중 어느 하나를 각각 포함하는 인트라 부호화 필드 포맷 블럭들 및 인터 부호화 필드 포맷 블럭들 내에 배열하고;
    필드 포맷 블럭들을 직교 변환하는 수단(304, 306, 308, 310)은 인트라 부호화 필드 단위 계수 데이타 및 인터 부호화 필드 단위 계수 데이타를 각각 형성하도록 상기 인트라 부호화 필드 포맷 블럭들 및 상기 인터 부호화 필드 포맷 블럭들을 변환시키고;
    상기 결정 수단(311∼314)은,
    a1) 상기 인트라 부호화 프레임 포맷 블럭들의 적어도 일부분들 및 상기 인트라 부호화 필드 포맷 블럭들의 적어도 일부분들의 계수들의 절대값들의 합계(311), 또는
    a2) 상기 인트라 부호화 프레임 포맷 블럭들의 적어도 일부분들 및 상기 인트라 부호화 필드 포맷 블럭들의 적어도 일부분들의 계수들의 값들의 제곱들의 합계(311); 및
    b1) 상기 인터 부호화 프레임 포맷 블럭들의 적어도 일부분들 및 상기 인터 부호화 필드 포맷 블럭들의 적어도 일부분들의 계수들의 절대값들의 합계(312, 313, 314), 또는
    b2) 상기 인터 부호화 프레임 포맷 블럭들의 적어도 일부분들 및 상기 인터부호화 필드 포맷 블럭들의 적어도 일부분들의 계수들의 값들의 제곱들의 합계(312, 313, 314)를, 선택하고;
    상기 선택 수단(318, 319)은, 상기 결정된 합계들의 비교에 기초하여 최소량의 계수 데이타를 갖는, 인트라 부호화 필드 포맷 블럭들, 인트라 부호화 프레임 포맷 블럭들, 인터 부호화 필드 포맷 블럭들, 및 인터 부호화 프레임 포맷 블럭들중의 하나를 선택하는, 화상 신호 부호화 장치.
KR1019940006683A 1993-03-31 1994-03-31 화상부호화방법및장치 Expired - Lifetime KR100340369B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP9715193 1993-03-31
JP93-097151 1993-03-31

Publications (2)

Publication Number Publication Date
KR940023254A KR940023254A (ko) 1994-10-22
KR100340369B1 true KR100340369B1 (ko) 2002-09-25

Family

ID=14184576

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019940006683A Expired - Lifetime KR100340369B1 (ko) 1993-03-31 1994-03-31 화상부호화방법및장치

Country Status (6)

Country Link
US (1) US5657086A (ko)
EP (1) EP0618731B1 (ko)
KR (1) KR100340369B1 (ko)
CN (1) CN1087557C (ko)
DE (1) DE69418525T2 (ko)
TW (1) TW301098B (ko)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5614952A (en) 1994-10-11 1997-03-25 Hitachi America, Ltd. Digital video decoder for decoding digital high definition and/or digital standard definition television signals
JP3050736B2 (ja) * 1993-12-13 2000-06-12 シャープ株式会社 動画像符号化装置
US5715009A (en) 1994-03-29 1998-02-03 Sony Corporation Picture signal transmitting method and apparatus
JP3491366B2 (ja) * 1995-01-31 2004-01-26 ソニー株式会社 符号化データの特殊再生方法および特殊再生装置
KR0171145B1 (ko) * 1995-03-20 1999-03-20 배순훈 이미지 부호화 시스템용 움직임 보상 장치
US5878166A (en) * 1995-12-26 1999-03-02 C-Cube Microsystems Field frame macroblock encoding decision
JP3681835B2 (ja) * 1995-12-27 2005-08-10 三菱電機株式会社 画像符号化装置及び画像復号化装置及び符号化・復号化システム
KR970057947A (ko) * 1995-12-28 1997-07-31 배순훈 영상 부호화기에서의 타입 결정 및 버퍼 제어 장치
US6101276A (en) * 1996-06-21 2000-08-08 Compaq Computer Corporation Method and apparatus for performing two pass quality video compression through pipelining and buffer management
JP3355964B2 (ja) * 1996-10-29 2002-12-09 ケイディーディーアイ株式会社 適応直交変換モード判定方法
US6263024B1 (en) * 1996-12-12 2001-07-17 Matsushita Electric Industrial Co., Ltd. Picture encoder and picture decoder
US6370276B2 (en) * 1997-04-09 2002-04-09 Matsushita Electric Industrial Co., Ltd. Image predictive decoding method, image predictive decoding apparatus, image predictive coding method, image predictive coding apparatus, and data storage media
JP3633204B2 (ja) * 1997-05-14 2005-03-30 ソニー株式会社 信号符号化装置、信号符号化方法、信号記録媒体及び信号伝送方法
EP0921683B1 (en) * 1997-12-02 2010-09-08 Daewoo Electronics Corporation Method and apparatus for encoding mode signals for use in a binary shape coder
EP0923250A1 (en) * 1997-12-03 1999-06-16 Daewoo Electronics Co., Ltd Method and apparatus for adaptively encoding a binary shape signal
KR100559713B1 (ko) * 1998-03-04 2006-09-27 주식회사 팬택앤큐리텔 격행주사를 위한 색상 정보 부호화/복호화 장치 및 그 방법
CN1882093B (zh) * 1998-03-10 2011-01-12 索尼公司 利用编码历史信息的编码转换系统
CA2265089C (en) * 1998-03-10 2007-07-10 Sony Corporation Transcoding system using encoding history information
US7236526B1 (en) 1999-02-09 2007-06-26 Sony Corporation Coding system and its method, coding device and its method, decoding device and its method, recording device and its method, and reproducing device and its method
IL145956A0 (en) * 1999-04-17 2002-07-25 Pulsent Corp Method and apparatus for efficient video processing
US7050503B2 (en) * 1999-04-17 2006-05-23 Pts Corporation Segment-based encoding system using residue coding by basis function coefficients
US6600786B1 (en) * 1999-04-17 2003-07-29 Pulsent Corporation Method and apparatus for efficient video processing
US7082162B2 (en) * 1999-04-17 2006-07-25 Pts Corporation Segment-based encoding system including segment-specific metadata
US7085319B2 (en) * 1999-04-17 2006-08-01 Pts Corporation Segment-based encoding system using segment hierarchies
US6697430B1 (en) * 1999-05-19 2004-02-24 Matsushita Electric Industrial Co., Ltd. MPEG encoder
JP3694888B2 (ja) * 1999-12-03 2005-09-14 ソニー株式会社 復号装置および方法、符号化装置および方法、情報処理装置および方法、並びに記録媒体
US6888894B2 (en) * 2000-04-17 2005-05-03 Pts Corporation Segmenting encoding system with image segmentation performed at a decoder and encoding scheme for generating encoded data relying on decoder segmentation
US7082166B2 (en) * 2000-04-17 2006-07-25 Pts Corporation Decoder for decoding segment-based encoding of video data using segmentation performed at a decoder
EP1189452A3 (de) 2000-09-13 2003-11-12 Siemens Aktiengesellschaft Verfahren und Vorrichtung zum Codieren und Dekodieren eines digitalisierten Bildes
US6985529B1 (en) 2002-01-07 2006-01-10 Apple Computer, Inc. Generation and use of masks in MPEG video encoding to indicate non-zero entries in transformed macroblocks
US7145952B1 (en) * 2002-01-07 2006-12-05 Apple Computer, Inc. Dynamic selection of field/frame-based MPEG video encoding
US7327788B2 (en) 2002-07-02 2008-02-05 Matsushita Electric Industrial.Co., Ltd. Motion vector derivation method, dynamic image encoding method, and dynamic image decoding method
JP4196726B2 (ja) * 2003-05-14 2008-12-17 ソニー株式会社 画像処理装置および画像処理方法、記録媒体、並びに、プログラム
US7324595B2 (en) * 2003-09-22 2008-01-29 Lsi Logic Corporation Method and/or apparatus for reducing the complexity of non-reference frame encoding using selective reconstruction
EP1599046A1 (en) * 2004-05-19 2005-11-23 THOMSON Licensing Method for coding video data of a sequence of pictures
US20060222251A1 (en) * 2005-04-01 2006-10-05 Bo Zhang Method and system for frame/field coding
KR100761846B1 (ko) * 2006-05-18 2007-09-28 삼성전자주식회사 연속되는 영상에 모션이 있는가를 검출하는 모션 검출 장치및 모션 검출 방법
JP4250638B2 (ja) * 2006-06-30 2009-04-08 株式会社東芝 動画像符号化装置及びその方法
JP4799477B2 (ja) * 2007-05-08 2011-10-26 キヤノン株式会社 画像符号化装置及び画像符号化方法
US8179960B2 (en) * 2008-11-12 2012-05-15 Alcatel Lucent Method and apparatus for performing video coding and decoding with use of virtual reference data

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58127488A (ja) * 1982-01-25 1983-07-29 Kokusai Denshin Denwa Co Ltd <Kdd> テレビジヨン信号の適応予測符号化方式
JPH082106B2 (ja) * 1986-11-10 1996-01-10 国際電信電話株式会社 動画像信号のハイブリツド符号化方式
US5091782A (en) * 1990-04-09 1992-02-25 General Instrument Corporation Apparatus and method for adaptively compressing successive blocks of digital video
US5068724A (en) * 1990-06-15 1991-11-26 General Instrument Corporation Adaptive motion compensation for digital television
JPH04177992A (ja) * 1990-11-09 1992-06-25 Victor Co Of Japan Ltd 階層性を有する画像符号化装置
US5347309A (en) * 1991-04-25 1994-09-13 Matsushita Electric Industrial Co., Ltd. Image coding method and apparatus
JP3338460B2 (ja) * 1991-05-09 2002-10-28 ソニー株式会社 映像信号符号化装置及び映像信号符号化方法
JPH0556415A (ja) * 1991-08-23 1993-03-05 Nippon Telegr & Teleph Corp <Ntt> 動画像符号化装置
JP2991833B2 (ja) * 1991-10-11 1999-12-20 松下電器産業株式会社 インターレス走査ディジタルビデオ信号の符号化装置及びその方法

Also Published As

Publication number Publication date
DE69418525D1 (de) 1999-06-24
TW301098B (ko) 1997-03-21
EP0618731B1 (en) 1999-05-19
CN1087557C (zh) 2002-07-10
KR940023254A (ko) 1994-10-22
EP0618731A2 (en) 1994-10-05
US5657086A (en) 1997-08-12
CN1100871A (zh) 1995-03-29
DE69418525T2 (de) 1999-11-18
EP0618731A3 (en) 1995-01-11

Similar Documents

Publication Publication Date Title
KR100340369B1 (ko) 화상부호화방법및장치
KR100289852B1 (ko) 화상 부호화 방법, 화상 부호화 장치 및 화상 기록 매체
KR100340370B1 (ko) 화상신호전송방법및장치
EP0595562B1 (en) Method and apparatus for quantization and inverse-quantization of picture data
KR100563756B1 (ko) 디지탈 신호 변환 방법 및 디지탈 신호 변환 장치
KR970005831B1 (ko) 적응적 프레임/필드 변환 부호화를 이용한 영상 부호화기
US5347308A (en) Adaptive coding method for interlaced scan digital video sequences
JP3358620B2 (ja) 画像符号化方法及び画像符号化装置
EP0651574A1 (en) Method and apparatus for coding/decoding motion vector, and method and apparatus for coding/decoding image signal
EP0616472B1 (en) Transmission and decoding of picture signals
JPH05276502A (ja) 映像データ圧縮システムにおいてフィールド群を処理する装置及び方法
WO2003043344A2 (en) Reduced-complexity video decoding using larger pixel-grid motion compensation
JP3092280B2 (ja) 画像信号の高能率符号化及び復号化装置
KR100345968B1 (ko) 화상신호의고능률부호화,복호화장치및기록매체
JP4360093B2 (ja) 画像処理装置および符号化装置とそれらの方法
JP3633204B2 (ja) 信号符号化装置、信号符号化方法、信号記録媒体及び信号伝送方法
JPH0818979A (ja) 画像処理装置
JP3257052B2 (ja) 画像信号の高能率符号化装置及びその方法
JP4292659B2 (ja) 画像情報変換装置及び画像情報変換方法
JPH06343171A (ja) 画像符号化方法及び装置
JP3246074B2 (ja) 動画像符号化装置及び動画像復号化装置
JPH0698311A (ja) 画像信号の高能率符号化及び復号化装置
JP3240737B2 (ja) 画像信号符号化方法、装置、復号化方法及び装置
JPH07107464A (ja) 画像符号化装置および復号化装置
JP3166835B2 (ja) 動画像の高能率符号化方法及び装置

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 19940331

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 19990114

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 19940331

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20010329

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20020319

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20020530

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20020531

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20050502

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20060502

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20070430

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20080428

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20090429

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20100528

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20110525

Start annual number: 10

End annual number: 10

FPAY Annual fee payment

Payment date: 20120518

Year of fee payment: 11

PR1001 Payment of annual fee

Payment date: 20120518

Start annual number: 11

End annual number: 11

FPAY Annual fee payment

Payment date: 20130521

Year of fee payment: 12

PR1001 Payment of annual fee

Payment date: 20130521

Start annual number: 12

End annual number: 12

EXPY Expiration of term
PC1801 Expiration of term

Termination date: 20140930

Termination category: Expiration of duration