[go: up one dir, main page]

KR100747958B1 - 화상 부호화 방법 및 화상 복호화 방법 - Google Patents

화상 부호화 방법 및 화상 복호화 방법 Download PDF

Info

Publication number
KR100747958B1
KR100747958B1 KR1020057018217A KR20057018217A KR100747958B1 KR 100747958 B1 KR100747958 B1 KR 100747958B1 KR 1020057018217 A KR1020057018217 A KR 1020057018217A KR 20057018217 A KR20057018217 A KR 20057018217A KR 100747958 B1 KR100747958 B1 KR 100747958B1
Authority
KR
South Korea
Prior art keywords
pixel
image
pixel interpolation
unit
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
KR1020057018217A
Other languages
English (en)
Other versions
KR20050098282A (ko
Inventor
마코토 하가이
신야 가도노
사토시 곤도
기요후미 아베
Original Assignee
마쯔시다덴기산교 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2002109009A external-priority patent/JP2003304538A/ja
Application filed by 마쯔시다덴기산교 가부시키가이샤 filed Critical 마쯔시다덴기산교 가부시키가이샤
Publication of KR20050098282A publication Critical patent/KR20050098282A/ko
Application granted granted Critical
Publication of KR100747958B1 publication Critical patent/KR100747958B1/ko
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

예측 화상의 생성에 화소 보간을 수반하는 화상 부호화 장치(400)는, 화상 종별 신호(PicType)의 값에 따라, 화소 보간부 A(403) 및 화소 보간부 B(404) 중 한쪽을 선택한다. 화상 종별 신호(PicType)의 값이 B 화상을 나타내는 "0"인 경우, 예측 화상의 1/2 화소의 화소 값을 산출하는 필터 탭 수 「4」의 화소 필터로 실현되는 화소 보간부 A(403)가 선택되고, 화상 종별 신호(PicType)의 값이 B 화상 이외의 프레임을 나타내는 "1"인 경우, 필터 탭 수 「8」의 화소 필터로 실현되는 화소 보간부 B(404)가 선택된다.

Description

화상 부호화 방법 및 화상 복호화 방법{IMAGE ENCODING METHOD AND IMAGE DECODING METHOD}
도 1은 동화상에 있어서의 움직임 보상 개념을 나타내는 도면,
도 2는 종래의 화상 부호화 장치의 구성을 나타낸 블록도,
도 3은 종래의 화상 복호화 장치의 구성을 나타낸 블록도,
도 4는 본 발명의 화상 부호화 장치의 구성을 나타낸 블록도,
도 5는 본 발명의 화상 복호화 장치의 구성을 나타낸 블록도,
도 6(a)은 1/2 화소 필터에 있어서, 기존의 화소로부터 i축 방향으로 1/2 화소 어긋난 위치에 있는 화소의 화소 값을 계산하는 방법의 일례를 나타낸 도면, 도 6(b)은 1/2 화소 필터에 있어서, 기존의 화소로부터 j축 방향으로 1/2 화소 어긋난 위치에 있는 화소의 화소 값을 계산하는 방법의 일례를 나타낸 도면,
도 7(a)은 동화상을 나타내는 각 프레임의 화상 종별과 화소 보간 방법의 관계를 나타내는 도면, 도 7(b)은 본 발명의 화상 부호화 장치 및 화상 복호화 장치에 있어서의 보간 방법 선택의 순서를 나타낸 흐름도,
도 8은 프레임 단위로 화소 보간 방법을 전환하는 화상 부호화 장치의 구성을 나타낸 블록도,
도 9는 화상 부호화 장치에 있어서의 보간 방법 선택의 순서를 나타낸 흐름 도,
도 10(a)은 본 발명의 부호화 신호(Bitstream)의 스트림 구성을 나타낸 도면, 도 10(b)은 프레임을 단위로 하여 화소 보간 방법을 전환하는 경우의 부호화 신호(Bitstream)의 스트림 구성을 나타낸 도면,
도 11은 본 실시형태의 다른 화상 복호화 장치의 구성을 나타낸 블록도,
도 12는 도 11에 나타낸 화소 보간 종별 변환부에 유지되어 있는 보간 종별표의 일례를 나타낸 도면,
도 13은 본 발명의 실시형태 2의 화상 부호화 장치의 구성을 나타낸 블록도,
도 14는 도 13에 도시한 화상 부호화 장치의 출력인 부호화 신호(Bitstream3)를 복호화하는 화상 복호화 장치의 구성을 나타낸 블록도,
도 15는 상기 실시형태 1부터 실시형태 3의 화상 부호화 방법 또는 화상 복호화 방법을 저장한 플렉시블 디스크를 사용하여, 컴퓨터 시스템에 의해 실시하는 경우의 설명도로서, 도 15(a)는 기록 매체 본체인 플렉시블 디스크의 물리 포맷의 예를 나타내고, 도 15(b)는 플렉시블 디스크의 정면에서 본 외관, 단면 구조, 및 플렉시블 디스크를 나타내고, 도 15(c)는 플렉시블 디스크(FD)에 상기 프로그램의 기록 재생을 행하기 위한 구성을 나타내고,
도 16은 콘텐츠 배포 서비스를 실현하는 콘텐츠 공급 시스템의 전체 구성도를 나타낸 블록도,
도 17은 휴대전화의 외관의 일례를 나타낸 도면,
도 18은 휴대전화의 구성을 나타낸 블록도,
도 19는 상기 실시형태에서 나타낸 부호화 처리 또는 복호화 처리를 행하는 기기, 및 이 기기를 이용한 시스템을 설명하는 도면이다.
본 발명은 화상의 움직임을 예측하여 화상 신호를 압축 부호화하는 화상 부호화 장치, 화상 복호화 장치, 화상 부호화 방법, 화상 복호화 방법 및 이를 소프트웨어로 실시하기 위한 프로그램이 기록된 기록 매체에 관한 것이다.
최근, 멀티미디어 어플리케이션의 발전에 따라, 화상 ·음성 ·텍스트 등, 모든 미디어의 정보를 통일적으로 취급하는 것이 일반적이 되어 왔다. 이 때, 모든 미디어를 디지털화함으로써, 통일적으로 미디어를 취급하는 것이 가능해진다. 그러나, 디지털화 된 화상은 방대한 데이터 량을 갖기 때문에, 축적 ·전송을 위해서는 화상의 정보 압축 기술이 불가결하다. 한편, 압축한 화상 데이터를 상호 운용하기 위해서는 압축 기술의 표준화도 중요하다. 화상 압축 기술의 표준 규격으로는, ITU-T(국제 전기통신연합 전기통신 표준화 부문)의 H.261, H.263, ISO(국제 표준화 기구)의 MPEG(Moving Picture Experts Group)-1, MPEG-2, MPEG-4 등이 있다.
도 1은 동화상에 있어서의 움직임 보상의 개념을 나타내는 도면이다. 단, 참조 화상 신호(Ref) 내의 피사체(Car)와, 입력된 화상 신호(Img) 내의 피사체(CurCar)는 동일 피사체로 한다. 또, 화상 신호(Img) 내의 파선으로 표현된 피사 체는, 참조화상 신호(Ref) 내에서의 피사체의 위치를 나타낸다. 화상 부호화 장치가 화상 신호(Img) 내의 화소 블록(CurBlk)을 부호화하는 경우, 예측 화상 신호(Pred)로서는, 참조 화상 신호(Ref) 내의 같은 피사체(CurCar)의 화상에서, 피사체(CurCar)의 화상의 동일 위치에 상당하는 위치의 화상을 나타내고 있는 예측 화상 블록(PredBlk)의 화소를 사용하면 예측 효율이 높아진다. 즉, 참조 화상 신호(Ref) 내의 같은 피사체(CurCar)의 화상을 화상신호(Img) 내의 피사체(CurCar)와 같은 위치로 이동시켜, 화소 값의 차분을 구하면, 화소 값의 차분의 절대치가 작아져, 데이터 량의 진폭이 작아지기 때문에 압축이 용이해진다. 예측 화상 블록(PredBlk)의 화소 위치로부터 화소 블록(CurBlk)의 화소 위치로의 사상(寫像)에 필요한 정보를 움직임 파라미터 신호(MotionParam)라고 부른다. 이 움직임 파라미터 신호(MotionParam)로서, 예를 들면 MPEG-1, 2, 4, H.261, H.263에서는, 블록의 평행이동을 표현한 움직임 벡터가 사용된다.
도 2는 종래의 화상 부호화 장치(100)의 구성을 나타내는 블록도이다. 화상부호화 장치(100)는, 차분기(101), 화상 부호화부(102), 가변 길이 부호화부(103), 화상 복호화부(104), 가산기(105), 화상 메모리(106), 화소 블록 취득부(107), 스위치(108), 스위치(109), 화소 보간부(110), 움직임 추정부(111) 및 화소 보간 사용 판정부(112)를 구비한다. 먼저, 화상 부호화 장치(100)는 외부에서 화상신호(Img)를 입력한다. 다음에, 차분기(101)는, 외부에서 입력된 화상신호(Img)와, 참조 화상 신호(Ref)에서 얻어진 예측 화상 신호(Pred)의 화소 값의 차분인 차분 화상 신호(Res)를 출력한다. 예측 화상 신호(Pred)는, 이미 부호화된 프레임으로서, 화상 복호화부(104)에서 복호화되고, 경우에 따라 화소 보간부(110)에 의해서 보간되어, 움직임 추정부(111)로부터의 움직임 벡터에 기초하여 블록별로 잘려진 화상이다. 화상 부호화부(102)는 차분 화상 신호(Res)를 부호화하여, 차분 화상 부호화 신호(CodedRes)를 출력한다. 화면 내 부호화의 경우에는, 화면간 움직임 보상을 행하지 않기 때문에, 예측 화상의 화소 값은 "0"으로 생각한다. 가변 길이 부호화부(103)는, 차분 화상 부호화 신호(CodedRes)와 움직임 파라미터 신호(MotionParam)를 가변 길이 부호화하여, 하나의 부호화 신호(Bitstream)로서 화상 부호화 장치(100)의 외부로 출력한다. 화상 복호화부(103)는, 움직임 예측의 참조 화상으로서 사용하기 위해, 차분 화상 부호화 신호(CodedRes)를 복호화 하여, 복호 차분 화상 신호(ReconRes)를 출력한다. 가산기(105)는, 복호 차분 화상 신호(ReconRes)와 예측 화상 신호(Pred)의 화소 값을 가산하여, 복호 화상 신호(Recon)로서 출력한다. 복호 화상 신호(Recon)는 화상 메모리(106)에 저장되어, 이후의 프레임을 부호화할 때 참조 화상으로서 사용된다. 화상 메모리(106)는, 가산기(105)로부터 출력된 부호화가 끝난 프레임의 몇 장 정도를 예측용 참조 화상 신호(Ref)로서 유지하고 있다.
화소 블록 취득부(107)는, 화상 메모리(106)에 유지되어 있는 참조 프레임이 되는 프레임으로부터, 움직임 추정부(111)로부터의 움직임 벡터에 따라 화소 블록(Blk)을 잘라내어 스위치(108)에 출력한다. 스위치(108)는, 화소 보간 사용 판정부(112)로부터의 보간 판정 신호(UsePolator)에 따라 단자 "1"과 단자 "2"를 전환한다. 단자 "1"은 스위치(109)의 단자 "1"과 접속되고, 단자 "2"는 화소 보간부 (110)에 접속되어 있다. 화소 보간부(110)는 움직임 벡터에 의해 나타나는 블록의 이동량이 정수 화소 단위보다 작은 단위의 이동량을 포함하고 있는 경우, 그에 대응하는 위치의 화소 값을 생성하여, 스위치(109)의 단자 "2"에 출력한다. 스위치(109)는, 화소 보간 사용 판정부(112)로부터의 보간 판정 신호(UsePolator)에 따라서 단자 "1"과 단자 "2"를 전환하여 접속한다. 움직임 추정부(111)는 외부로부터 입력된 화상신호(Img)와 참조 화상 신호(Ref)로부터, 움직임 파라미터 신호(MotionParam)를 구한다. 화소 보간 사용 판정부(112)는, 움직임 추정부(111)에 의해서 구해진 움직임 파라미터 신호(MotionParam)에 따라, 참조 화상 신호(Ref)로부터 예측 화상 신호(Pred)를 생성할 때 화소 보간을 행하는지 여부를 판정한다.
즉, 도 1에 도시한 피사체의 움직임에 따라서는, 정수 화소 단위보다 작은 단위의 움직임으로 예측을 행하면 예측 효과가 높은 경우가 있기 때문이고, 일반적으로, 정수 화소 단위보다 작은 단위의 움직임을 수반하는 예측 화상의 화소 값의 계산에는 화소 보간을 사용한다. 이 화소 보간은, 참조 화상의 화소 값에 대해서 선형 필터에 의한 필터링을 행함으로써 실행된다. 이 선형 필터의 탭 수를 늘리면 양호한 주파수 특성을 갖는 필터를 실현할 수 있어, 예측 효과가 높아지지만 처리량은 커진다. 한편, 필터의 탭 수가 적으면 필터의 주파수 특성은 나빠져, 예측 효과는 낮아지지만 처리량은 작아진다.
화소 보간 사용 판정부(112)는, 움직임 파라미터 신호(MotionParam)로부터 예측 화상의 생성에 화소 보간을 행해야 하는지 여부를 판단한다. 구체적으로는, 화소 보간 사용 판정부(112)는, 움직임 파라미터 신호(MotionParam)가, 정수 화소 단위보다 작은 단위의 이동량을 포함하고 있는 경우에는 화소 보간을 사용한다고 판단하여, 값 "1"의 화소 보간 사용 제어 신호(UsePolator)를 출력한다. 움직임 파라미터 신호(MotionParam)가 정수 화소 단위의 움직임을 나타내고 있는 경우에는 화소 보간을 사용하지 않아야 된다고 판단하여, 값 "0"의 화소 보간 사용 제어 신호(UsePolator)를 출력한다. 화소 보간 사용 제어 신호(UsePolator)가 "0"인 경우에는, 스위치(108)와 스위치(109)는 단자 "1"측으로 전환되고, 화소 보간 사용 제어 신호(UsePolator)가 "1"인 경우에는 스위치(108)와 스위치(109)는 단자 "2"측으로 전환된다고 한다. 스위치(108)와 스위치(109)가 단자 "2"측에 접속된 경우에는 화소 보간부(110)를 사용하여, 화소 블록(Blk)을 화소 보간하여 예측 화상 신호(Pred)로 한다. 스위치(108)와 스위치(109)가 "0"이면, 화소 보간은 행해지지 않고, 화소 블록(Blk)을 그대로 예측 화상 신호(Pred)로서 사용한다.
도 3은 종래의 화상 복호화 장치(200)의 구성을 나타낸 블록도이다. 먼저, 화상 복호화 장치(200)는 외부로부터 부호화 신호(Bitstream)를 입력한다. 다음에 가변 길이 복호화부(201)에 의해 부호화 신호(Bitstream)를 가변 길이 복호화 하여, 차분 화상 부호화 신호(CodedRes)와 움직임 파라미터 신호(MotionParam)로 분리한다. 화상 복호화부(202)는 차분 화상 부호화 신호(CodedRes)를 복호하여, 복호 차분 화상 신호(ReconRes)로서 출력한다. 가산기(203)는, 예측 화상 신호(Pred)와 복호 차분 화상 신호(ReconRes)를 가산하여, 복호 화상 신호(Recon)로서 출력한다. 또한, 복호 화상 신호(Recon)의 몇 장 정도를 참조 화상(Ref)으로서 화상 메모리(204)에 저장해 둔다. 화소 블록 취득부(207)는, 참조 화상 신호(Ref) 내에서 움직임 파라미터 신호(MotionParam)가 나타내는 위치로부터 화소 집합을 취득한다(단, 보간 처리를 위해 실제의 예측 블록보다 큰 영역이 취득되는 경우가 있다).
화소 보간 사용 판정부(212)는 움직임 파라미터 신호(MotionParam)로부터, 예측 화상의 취득에 화소 보간을 사용해야할지 여부를 판단한다. 예를 들면, MPEG-1, 2, 4처럼 화소 블록의 병행이동을 나타내는 움직임 벡터의 경우에는, 움직임 벡터가 정수로 나누어 떨어지는지 여부로, 화소 보간을 행해야 하는지 여부를 판단할 수 있다. 화소 보간 사용 판정부(212)는, 화소 보간을 사용해야 한다고 판단했을 때는 값 "1"의 화소 보간 사용 제어 신호(UsePolator)를, 화소 보간을 사용하지 않아야 된다고 판단했을 때는 값 "0"의 화소 보간 사용 제어 신호(UsePolator)를 출력한다. 화소 보간 사용 제어 신호(UsePolator)가 "0"인 경우에는 스위치(208)와 스위치(209)는 단자 "1"측으로 전환되고, 화소 보간 사용 제어 신호(UsePolator)가 "1"인 경우에는 스위치(208)와 스위치(209)는 단자 "2"측으로 전환된다. 스위치(208)와 스위치(209)가 "2"이면, 화소 보간부(209)에 의한 화소 보간을 사용하여, 화소 블록(Blk)을 화소 보간하여 예측 화상 신호(Pred)로 한다. 스위치(208)와 스위치(209)가 단자 "1"이면, 화소 보간은 행하지 않고, 화소 블록(Blk)을 그대로 예측 화상 신호(Pred)로서 사용한다.
그러나, 휴대 전화기나 PDA(Personal Digital Assistant) 등의 휴대기기에서는, 배터리 등을 전원으로서 장시간 사용할 수 있도록 소비 전력을 억제하므로, 처리 능력이 낮은 연산기밖에 사용할 수 없어, 처리량이 작은 화소 보간 방법밖에 사 용할 수 없는 경우가 있다. 한편, 화상에 따라서는, 높은 부호화 효율을 실현하기 위해, 처리량이 큼에도 불구하고, 예측 효과가 높은 화소 보간 방법을 사용하고자 하는 경우도 있다. 동화상의 부호화 방식이 이들 요구에 유연하게 대응할 수 있으면, 운용범위가 넓어져 유익하다.
상기 과제를 감안하여, 본 발명은, 부호화되는 화상 신호에 따라 다른 화소 보간 방법을 선택할 수 있는 화상 부호화 방법 및 화상 복호화 방법을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위해 본 발명의 화상 부호화 방법에서는, 참조 화상으로부터 생성된 예측 화상을 이용하여 부호화 신호를 복호화하는 화상 복호화 방법에 있어서, 상기 예측 화상의 생성에는, 상기 참조 화상의 소수 위치 화소에 대한 화소값을, 상기 소수 위치 화소의 주변에 위치하는 복수의 정수 위치 화소의 화소값으로부터 화소 보간에 의해 구하는 화소 보간 방법이 이용되고 있고, N개의 화소를 이용하여 하나의 보간 화소를 생성하는 필터 처리에 있어서, N의 수가 상이한 복수의 상기 필터 처리를 가지는 화소 보간 방법으로부터 하나의 화소 보간 방법을 선택하는 선택 단계와, 선택된 화소 보간 방법을 이용하여 상기 참조 화상으로부터 상기 예측 화상을 생성하는 예측 화상 생성 단계와, 상기 예측 화상을 이용하여 상기 부호화 신호를 복호화하는 복호화 단계를 포함하는 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위해 본 발명의 다른 화상 부호화 방법에서는, 상기 화소 보간 방법은 프레임마다 선택되고, 상기 화소 보간 방법의 선택은 부호화 신호로써 프레임 헤더 중에 배치된 화소 보간 종별 신호에 기초하여 선택되는 것을 특징으로 한다.
또한, 상기 목적을 달성하기 위한 본 발명의 또 다른 화상 부호화 방법에서는, N개의 화소를 이용하여 하나의 보간 화소를 생성하는 상기 필터 처리는, 탭 수가 N인 필터에 의한 연산 처리인 것을 특징으로 한다.
이하, 본 발명의 구체적인 실시형태에 대해, 도면을 참조하면서 설명한다.
(실시형태 1)
도 4는 본 발명의 화상 부호화 장치(400)의 구성을 나타낸 블록도이다. 또한, 도 2에 나타낸 종래의 화상 부호화 장치(100)에 있어서의 각 구성 요소와 같은 동작을 하는 구성 요소 및 신호에 대해서는, 같은 참조 부호를 붙이고 설명을 생략한다.
화상 부호화 장치(400)는 외부로부터 입력되는 화상 종별 신호(PicType)에 따라 선택적으로 정밀도가 다른 화소 보간을 행하는 화상 부호화 장치로서, 차분기(101), 화상 부호화부(102), 가변 길이 부호화부(103), 화상 복호화부(104), 가산기(105), 화상 메모리(106), 화소 블록 취득부(107), 스위치(108), 스위치(109), 스위치(401), 스위치(402), 화소 보간부 A(403), 화소 보간부 B(404), 움직임 추정부(111) 및 화소 보간 사용 판정부(112)를 구비한다. 화상 부호화 장치(400)는 화상 종별 신호(PicType)를 포함한 화상 신호(Img)를 외부에서 입력한다. 스위치 (401) 및 스위치(402)에 화상 종별 신호(PicType)로서, 예를 들면 통상, 다른 프레임에 참조되지 않는, B 화상을 나타내는 "1"이 입력된 경우에는, 스위치(401) 및 스위치(402)는 단자 "1"측으로 전환되어, 화소 보간부 A(403)에 의한 화소 보간이 행해진다. 즉, 스위치(401) 및 스위치(402)가 각각 단자 "1"에 접속되어 있을 때, 화소 블록 신호(Blk)에 대해서 화소 보간부 A(403)에 의한 화소 보간이 적용된다. 화소 보간부 A(403)에서는, 필터 탭 수가 적은, 예를 들면, 탭 수 "4"의 간소화된 보간 방법이 이용된다. 화상 종별 신호(PicType)로서, 예를 들면 다른 프레임에 참조되는 P 화상을 나타내는 "2"가 입력된 경우에는, 즉 B 화상을 나타내는 "1" 이외의 값이 입력된 경우에는, 스위치(401) 및 스위치(402)가 단자 "2"측으로 전환되어, 화소 블록신호(Blk)에 대해 화소 보간부 B(404)에 의한 화소 보간이 적용된다. 화소 보간부 B(404)에서는, 필터 탭 수가 많은, 예를 들면, 탭 수가 "8"인 정밀도가 높은 보간 방법이 이용된다. 이렇게 화소 보간된 화소 블록(Blk)은 예측 화상 신호(Pred)로서 차분기(101)에 입력된다.
또한, B 화상은 동시에 2개의 화상을 참조하여 예측 화상을 생성하기 때문에, 참조하는 각 화상에서 화소 보간이 필요해진다. 따라서, 하나의 화상만을 참조하는 P 화상과 비교하여 화소 보간의 연산량이 2배가 되므로, B 화상에서 간소화된 보간 방법을 사용하는 것은, 각 화상에서 필요한 연산량을 평활화할 수 있는 점에서도 유효하다. 따라서, 다른 프레임에서 참조되는 B 화상에 있어서도, 간소화된 보간 방법을 사용하는 것은 유익하다.
또한, 화상 종별 신호(PicType)의 값 "2", "1", "0"은 설명의 편의상 정의한 값으로, 다수의 화소 보간 방법을 구별할 수 있는 값이면, 어떠한 값이어도 된다. 사용한 화소 보간 방법을 나타내는 화상 종별 신호(PicType)를 화상 복호화 장치에 통지함으로써, 화상 복호화 장치에서는 화상 부호화 장치가 사용한 화소 보간부와 동일한 화소 보간 방법을 사용할 수 있다.
도 5는 본 발명의 화상 복호화 장치(500)의 구성을 나타낸 블록도이다. 또한, 동일 도면에 있어서, 도 3에 도시한 화상 복호화 장치(200)와 동일한 구성 요소에 관해서는 이미 설명했기 때문에, 동일 부호를 붙이고 설명을 생략한다. 화상 복호화 장치(500)는, 화상의 종별마다 다른 화소 보간 방법이 사용된 부호화 신호(Bitstream)를 복호화하는 화상 복호화 장치로서, 가변 길이 복호화부(201), 화상 복호화부(202), 가산기(203), 화상 메모리(204), 화소 블록 취득부(207), 스위치(208), 스위치(209), 화소 보간 사용 판정부(212), 스위치(501), 스위치(502), 화소 보간부 A(503) 및 화소 보간부 B(504)를 구비한다. 화상 복호화 장치(500)에 있어서, 가변 길이 부호화부(505)는, 외부로부터 입력된 부호화 신호(Bitstream)를 가변 길이 복호화 하여, 가변 길이 복호화 된 부호화 신호(Bitstream)로부터, 화상 종별 신호(PicType)와 차분 화상 부호화 신호(CodedRes)와 움직임 파라미터 신호(MotionParam)를 분리하여, 화상 종별 신호(PicType)를 스위치(501) 및 스위치(502)에, 움직임 파라미터 신호(MotionParam)를 화소 보간 사용 판정부(212) 및 화소 블록 취득부(207)에, 차분 화상 부호화 신호(CodedRes)를 화상 복호화부(202)에 각각 출력한다. 스위치(501) 및 스위치(502)에 화상 종별 신호(PicType)로서, 예를 들면 다른 프레임에 참조되지 않는 B 화상을 나타내는 "1"이 입력된 경우에는, 스위치(501) 및 스위치(502)는 단자 "1"측으로 전환되어, 화소 보간부 A(503)에 의한 화소 보간이 행해진다. 즉, 스위치(501) 및 스위치(502)가 각각 단자 "1"에 접속되어 있을 때, 화소 블록신호(Blk)에 대해 화소 보간부 A(503)에 의한 화소 보간이 적용된다. 화소 보간부 A(503)에서는, 필터 탭 수가 적은, 예를 들면, 탭 수 "4"인 간소화된 보간 방법이 이용된다. 화상 종별 신호(PicType)로서, 예를 들면 다른 프레임에 참조되는 P 화상을 나타내는 "2"가 입력된 경우에는, 즉 B 화상을 나타내는 "1" 이외의 값이 입력된 경우에는, 스위치(501) 및 스위치(502)가 단자 "2"측으로 전환되어, 화소 블록신호(Blk)에 대해 화소 보간부 B(504)에 의한 화소 보간이 적용된다. 화소 보간부 B(504)에서는, 필터 탭 수가 많은, 예를 들면, 탭 수가 "8"인 정밀도 높은 보간 방법이 이용된다.
또한, B 화상은 동시에 2개의 화상을 참조하여 예측 화상을 생성하기 때문에, 참조하는 각 화상에서 화소 보간이 필요하다. 따라서, 하나의 화상만을 참조하는 P 화상과 비교하여 화소 보간의 연산량이 2배가 되기 때문에, B 화상에서 간소화된 보간 방법을 사용하는 것은, 각 화상에서 필요한 연산량을 평활화할 수 있는 점에서도 유효하다. 따라서, 다른 프레임에서 참조되는 B 화상에 있어서도, 간소화된 보간 방법을 사용하는 것은 유익하다.
또한, 화상 부호화 장치에서 P, B 화상과도 같은 화소 보간 필터를 사용한 비트 스트림을 복호하는 경우라도, 화상 복호화 장치(500)에서는, B 화상만 간소화된 화소 보간 필터를 사용할 수가 있다. 이 경우, B 화상의 화소 보간 필터는 화상 부호화 장치에서 사용한 화소 보간 필터와는 다르기 때문에 B 화상에서는 화질 열화가 발생하지만, B 화상은 다른 화상으로부터 참조되는 것은 적기 때문에, P 화상에서 화질 열화가 발생한 경우와 비교하여, 이후의 화상에 대해 화질 열화가 전파되는 것이 적다.
또한, 화상 부호화 장치에서 사용한 화소 보간 필터와 같은 필터가 화상 복호 장치(500)에 실장되어 있지 않은 경우에는, 화상 부호화 장치에서 사용된 화소 보간 필터의 탭 수 이하에서 가장 가까운 탭 수를 갖는 화소 보간 필터를 대신 사용할 수도 있다. 이 경우, 화상 부호화 장치에서 사용한 화소 보간 필터와 다른 화소 보간 필터를 사용하게 되므로, 화질 열화가 발생하지만, 비트 스트림의 복호를 계속할 수 있다.
도 6(a)은 1/2 화소 필터에 있어서, 기존의 화소로부터 i축 방향으로 1/2 화소 어긋난 위치에 있는 화소의 화소 값을 계산하는 방법의 일례를 나타낸 도면이다. 도 6(b)은 1/2 화소 필터에 있어서, 기존의 화소로부터 j축 방향으로 1/2 화소 어긋난 위치에 있는 화소의 화소 값을 계산하는 방법의 일례를 나타낸 도면이다. 도 6(a) 및 도 6(b)에 있어서, O는 정수 위치의 화소를 나타내고, ×는 소수 위치의 화소를 나타내고 있다. 또, 동 도면에 있어서, i, j는 정수이다. I(x, y)는, 좌표(x, y)에 있어서의 화소 값을 나타내고 있다. 1/2 화소 필터는, O로 표시되는 정수 위치의 화소에 있어서의 화소 값으로부터, ×로 표시되는 실제로는 화소가 존재하지 않는 소수 위치의 화소의 화소 값을 계산하는 소프트웨어 및 집적 회로 등에 의해서 실현된다. 도 6(a)에서는, 좌표 (i-0.5, j)의 위치에 있는 화소의 화소 값 I(i-0.5, j)를 구하는 경우에 대해 설명한다. 예를 들면, 탭 수 N(N은 짝 수의 자연수)이 "2"인 경우, 좌표(i-0.5, j)의 위치에 있는 화소에 대해, i축 방향의 양측에 인접하는 2개의 화소의 화소 값 I(i-1, j) 및 화소 값 I(i, j)가 이용된다. 화소 값 I(i-0.5, j)는, i축 방향의 화소 값의 곱의 합인 식 1을 이용하여, 이하와 같이 표시된다.
Figure 112005054203148-pat00002
‥·(식 1)
식 1에 있어서, ak는 필터 계수를 나타내고, trunc(n)는 n에 대한 소수 이하 버림을 나타내고 있다. 이렇게, 식 1에서 적당한 필터 계수 ak를 선택함으로써, 1/2 화소인 (i-0.5, j)의 위치에 있는 화소의 화소 값 I(i-0.5, j)가, 그 양측의 화소에 있어서의 N개의 화소 값의 평균치로서 구해진다. 또, 예를 들면 탭 수 N이 "4"인 경우, (i-0.5, j)의 위치에 있는 화소에 대해, i축 방향의 양측에 인접하는 2개의 화소의 화소 값 I(i-1, j) 및 화소 값 I(i, j) 외에, 또한 i축 방향의 양측에 인접하는 화소의 화소 값 I(i-2, j) 및 화소 값 I(i+1, j)가 이용된다. 마찬가지로, 탭 수 N이 "6", "8"로 증가한 경우에는, 식 1의 N에 그 값을 대입함으로써 용이하게 구할 수 있다.
도 6(b)에서는, 좌표(i, j-0.5)의 위치에 있는 화소의 화소 값 I(i, j-0.5)를 구하는 경우에 대해 설명한다. 즉, 예측 화상이 참조 화상의 j축 방향으로 소수 화소만큼 이동하는 경우이다. 예를 들면, 탭 수 M(M은 짝수의 자연수)이 "2"인 경우, 좌표(i, j-0.5)의 위치에 있는 화소에 대해, j축 방향의 양측에 인접하는 2개의 화소의 화소 값 I(i, j-1) 및 화소 값 I(i, j)가 이용된다. 이 화소 값 I(i, j-0.5)는, j축 방향의 화소 값의 곱의 합인 식 2를 이용하여, 이하와 같이 표시된다.
Figure 112005054203148-pat00003
‥·(식 2)
식 2에 있어서, am은 필터 계수를 나타내고 있다. 이 경우도, 탭 수가 "4", "6", "8"로 증가한 경우에는, 식 2의 M에 이 값을 대입함으로써, 좌표(i, j-0.5)의 위치의 화소에 대해 화소 값을 구할 수 있다.
또, 도시하지 않았으나, 예측 화상이 참조 화상의 i축 방향으로도 j축 방향으로도 각각 1/2 화소씩 이동하는 경우에는, 좌표 (i-0.5, j-05)에 있어서의 예측 화상의 화소 값 I(i-0.5, j-0.5)는, I축 방향과 j축 방향과의 화소 값의 곱의 합인 식 3을 이용하여 이하와 같이 표시된다.
Figure 112005054203148-pat00004
‥·(식 3)
이상의 식으로부터 알 수 있듯이, 화소 보간부 A 및 화소 보간부 B를 실현하는 화소 필터는 필터 탭 수가 많을수록 예측 정밀도가 높아지는 반면, 연산 처리량이 많아져, 화상 부호화 장치의 처리 부하가 무거워진다.
상기와 같이, 화상 부호화 장치(400) 및 화상 복호화 장치(500)의 화소 보간부에는, 다른 예측 성능 ·처리량의 화소 보간부를 여러 개 사용할 수 있다. 다른 예측 성능 ·처리량의 화소 보간부를 사용하는 것에는 다음 이점이 있다. 간단히 설명하기 위해, 화소 보간부 A는 화소 보간부 B에 비하여 처리량이 적고, 화소 보간부 B는 화소 보간부 A에 비하여 예측 효율이 높다고 한다. 본 발명의 화상 부호화 장치가 출력하는 부호화 신호를 복호화하는 화상 복호화 장치로서, 화소 보간부 A만을 구비한 화상 복호화 장치와 화소 보간부 A와 화소 보간부 B의 양쪽을 구비한 화상 복호화 장치의 2종류의 화상 부호화 장치를 생각한다.
전자의 화상 부호화 장치는 요구되는 처리량이 작고 처리 능력이 낮은 기기에 적합하다. 후자의 화상 복호화 장치는 처리량이 큰 기기에 적합하다. 후자의 화상 복호화 장치는 화소 보간부 A 및 화소 보간부 B의 어느 화소 보간부를 사용한 부호화 신호도 복호화하는 것이 가능하고, 전자의 화상 복호화 장치에 대해 상위 호환성을 가질 수 있다. 상기 설명과 같이 화상 복호화 장치에 따라 적절한 예측 성능 ·처리량의 화소 보간부를 선택함으로써, 폭넓은 종류의 기기에 부호화 방식을 적용할 수 있다.
또, 화상 복호화 장치의 처리 능력에 따른 부호화 신호의 생성이라는 용도 이외에도, 화상 부호화 장치의 처리 능력에 따라 화소 보간부를 전환할 수 있다. 예를 들면, 부호화하는 화상 사이즈나 프레임 레이트가 큰 경우에는, 부호화 처리 전체에 필요한 처리량이 커진다. 따라서, 부호화하는 화상 사이즈나 프레임 레이트가 일정치 이하인 경우에는 화소 보간부 B를 사용하고, 부호화하는 화상 사이즈나 프레임 레이트가 일정치 이상인 경우에는, 요구되는 처리 능력이 낮은, 즉 처리 부하가 작은 화소 보간부 A를 사용하여, 부호화 처리 전체에 요하는 처리량이 높아지지 않도록 할 수 있다.
또, 다수의 처리를 동시에 실행하는 시분할 시스템 상에서 화상 부호화를 실현하는 경우에는, 다른 처리의 영향으로 화상 부호화에 소비할 수 있는 처리량이 동적으로 변화할 가능성이 있다. 그래서, 화상 부호화에 소비할 수 있는 처리량이 일정 이상인 경우에는 처리량이 많은 화소 보간부 B를 사용하고, 화상 부호화에 소비할 수 있는 처리량이 일정 이하인 경우에는 처리량이 보다 적은 화소 보간부 A를 사용할 수 있다.
또, 특정한 성질의 화상에 적합한 화소 보간부를 다수 구비하여, 화상의 성질에 따라 프레임 단위로 화소 보간부를 전환해도 된다. 예를 들면, 문자 등 에지 정보가 중요한 경우에는 에지의 보존성이 뛰어난 화소 보간부를 사용한다. 다수의 화소 보간부의 전환이 가능해지면, 화상의 성질에 적절한 화소 보간 방법을 선택할 수 있기 때문에, 보다 예측 효율을 향상시킬 수 있다.
또한, B 화상 등과 같이 동시에 2개의 화상을 참조하여 예측 화상을 생성하는 경우는, 참조하는 각 화상에서 화소 보간이 필요하게 되어, 하나의 화상만을 참조하는 P 화상과 비교하여 화소 보간의 연산량이 2배가 되기 때문에, B 화상만으로 간소화된 보간 방법을 사용하면, 각 화상에서 필요한 연산량을 평활화할 수 있기 때문에, 실시간으로 동작하는 소프트웨어에서의 실현이 용이해진다.
도 7(a)은 동화상을 표시하는 각 프레임의 화상 종별과 화소 보간 방법의 관계를 나타낸 도면이다. 도 7(b)은 본 발명의 화상 부호화 장치(400) 및 화상 복호화 장치(500)에 있어서의 보간 방법 선택의 순서를 나타낸 흐름도이다. 도 7(a)에 나타낸 바와 같이, 화상 부호화 장치(400)는, 각 프레임이 I 화상인지, B 화상인 지, P 화상인지를 나타내는 화상 종별 신호(PicType)가 외부에서 주어진다. I 화상에서는, 화면 내 부호화를 행하므로, 예측 화상의 화소 값은 "0"이다. 따라서, 화소 보간 사용 판정부(112)는 스위치(108)와 스위치(109)를 단자 "1"로 전환하고, 화소 보간 그 자체를 행하지 않는다. 또, B 화상에서는, 화상 종별 신호(PicType)의 값에 따라서 스위치(401)와 스위치(402)가 단자 "1"로 전환되어, 화소 보간부 A(403)에 의한 간이적인 화소 보간 A가 이용된다. 또, P 화상에서는, 화상 종별 신호(PicType)의 값에 따라서, 스위치(401)와 스위치(402)가 단자 "2"로 전환되어, 화소 보간부 B(404)에 의한 고정밀도의 화소 보간 B가 이용된다.
즉, 화상 부호화 장치(400)에서는, 화상 종별 신호(PicType)의 값에 따라 스위치(401)와 스위치(402)를 전환함으로써, 도 7(b)의 흐름도에 나타낸 선택 처리를 행하고 있다. 스위치(401)와 스위치(402)는, 입력되는 화상 종별 신호(PicType)의 값이 B 화상을 나타내는 값인지 여부를 판정하여(S701), B 화상을 나타내는 값이면, 각각이 단자 "1"을 접속함으로써 화소 보간부 A(403)에 의한 보간 방법 A를 선택한다(S702). 또, 화상 종별 신호(PicType)의 값이 B 화상을 나타내는 값이 아닌 경우에는, 각각이 단자 "2"를 접속함으로써 화소 보간부 B(404)에 의한 보간 방법 B를 선택한다(S703). 화상 부호화 장치(400)에서는, 상기 단계 S701부터 S703의 처리를, 입력되는 화상신호(Img)의 프레임별로 반복한다.
상기와 같이, 화상 부호화 장치(400)에 의하면, 원래 화상 부호화 처리를 위한 처리 부하가 비교적 큰 B 화상에 대해, 보다 처리 부하가 작은 화소 보간부를 선택하므로, 처리 능력이 비교적 낮은 화상 부호화 장치에서도 화소 보간을 행할 수 있다. 또, 다른 프레임에 참조되기 어려운 B 화상에 대해, 보다 정밀도가 낮은 화소 보간부를 선택하기 때문에, 보다 정밀도가 낮은 화소 보간부를 선택한 것에 의한 영향이 다른 프레임에 미치는 것을 작게 억제할 수 있다. 또한, 통상, 화상 신호에 포함되어 있는 화상 종별 신호(PicType)에 기초하여 화소 보간부를 선택하므로, 부호화 신호(Bitstream) 내에, 어느 프레임에 대해 어느 화소 보간부를 나타내는 정보를 포함시킬 필요가 없어, 그만큼 가변 길이 부호화부의 처리량을 저감할 수 있다. 또, 원래 화상 부호화 장치의 처리 부하가 비교적 적은 P 화상에 대해서는, 처리 부하는 커지지만, 보다 예측 정밀도가 높은 화소 보간부를 선택하므로, 처리 능력이 비교적 낮은 화상 부호화 장치로도, 보다 예측 정밀도가 높은 화소 보간을 행할 수 있다. 또, 다른 프레임에 참조되는 P 화상에 대해서는, 보다 예측 정밀도가 높은 화소 보간을 행할 수 있으므로, 화질의 열화를 최저한으로 방지할 수 있다.
도 8은 프레임 단위로 화소 보간 방법을 전환하는 화상 부호화 장치(800)의 구성을 나타낸 블록도이다. 도 8에 있어서, 도 2의 화상 부호화 장치(100) 및 도 4의 화상 부호화 장치(400)와 동일한 구성 요소 및 신호에는 같은 부호를 붙이고 설명을 생략한다. 화상 부호화 장치(800)는, 차분기(101), 화상 부호화부(102), 화상 복호화부(104), 가산기(105), 화상 메모리(106), 화소 블록 취득부(107), 스위치(108), 스위치(109), 움직임 추정부(111), 화소 보간 사용 판정부(112), 화소 보간부 A(403), 화소 보간부 B(404), 화소 보간 전환 위치 판정부(801), 스위치(802), 가변 길이 부호화부(803), 스위치(804) 및 스위치(805)를 구비한다. 화소 보간 전환 위치 판정부(801)는 입력된 화상신호(Img)로부터 화소 보간부 A(403)와 화소 보간부 B(404)를 전환하는 단위(프레임, 슬라이스, 마크로 블록, 블록 등)를 검출한 경우에는, 화소 보간 전환 제어 신호(SetPolatorType) "1"을 출력함으로써, 스위치(802)를 온(도통 상태)으로 한다.
여기서는, 예를 들면 화상 신호(Img)의 프레임을, 화소 보간 방법의 전환 단위로 하여 스위치(802)를 전환한다. 스위치(802)는, 전환 단위가 되는 각 프레임의 선두에서 극히 짧은 시간대만 화소 보간 종별 신호(PolatorType)를 스위치(804) 및 스위치(805)에 도통시키고, 상기 전환 단위의 다른 시간대에는, 화소 보간 종별 신호(PolatorType)가 스위치(804) 및 스위치(805)에 입력되는 것을 차단하는 기능을 갖고 있다. 이것은, 전환 단위의 부호화 도중에서 화소 보간부 A(403)와 화소 보간부 B(404)가 전환되는 것을 방지하기 위해서이다. 스위치(802)는, 각 프레임의 선두를 전환 타이밍으로 하여 화소 보간 전환 제어신호(SetPolatorType) "1"에 의해 온으로 되면, 일정 시간 단자를 닫아, 외부에서 입력되는 화소 보간 종별 신호(PolatorType)를 스위치(804) 및 스위치(805)로 도통한다. 이 화소 보간 종별 신호(PolatorType)는, 화상 부호화 장치(800) 내의 도시하지 않은 송신 버퍼 내의 데이터 잔량 등을 기준으로 하여 측정된, 화상 부호화 장치(800)의 처리 부하에 따라, 또는 화상 복호화 장치로 상정되는 복호화 능력에 따라, 화소 보간의 종별을 선택하기 위해 외부에서 입력되는 신호이다. 스위치(802)는, 상기 일정 시간이 경과하면 단자를 열어 오프가 되고, 다시 화소 보간 전환 제어 신호(SetPolatorType) "1"이 입력되면 온이 되는 동작을 한다. 또, 스위치(804)와 스위치(805)는, 일단 스위치(802)를 통해 외부에서 화소 보간 종별 신호(PolatorType)가 입력되면, 다음에 다른 값의 화소 보간 종별 신호(PolatorType)가 입력될 때까지, 해당 화소 보간 종별 신호(PolatorType)의 값에 의해 표시되는 접속 단자를 접속한 채의 상태를 유지한다.
예를 들면, 한 프레임의 선두에서 스위치(802)가 도통된 짧은 시간대에 입력된 화소 보간 종별 신호(PolatorType)의 값이 "1"이었다고 하면, 스위치(804)와 스위치(805)는 각각 단자 "1"을 접속하여, 그 상태를 유지한다. 그 후, 다음 프레임의 선두에서 스위치(802)가 도통된 짧은 시간대에 입력된 화소 보간 종별 신호(PolatorType)의 값이 "0"이었다고 하면, 스위치(804)와 스위치(805)는 각각 단자 "2"에 접속하여, 그 상태를 유지한다. 이것에 의해, 프레임의 선두에서만 화소 보간 방법의 전환이 일어나, 프레임의 부호화 도중에 화소 보간 방법이 전환되는 것을 방지할 수 있다.
전환 판정을 이용한 화소 보간에서는, 예측 정밀도가 다른 다수의 화소 보간부를 구비하고, 프레임마다, 다수의 화소 보간 방법 중에서 처리량의 제한을 넘지 않은 범위에서 예측 효율이 최적인 필터를 선택적으로 실행함으로써 행한다. 또, 전환 판정을 이용한 다른 화소 보간으로서, 각 프레임의 부호화 도중에 화상 부호화 장치의 처리능력이 부족하게 된 경우에, 다음 프레임에서 처리량이 적은 화소 보간 방법으로 전환해도 된다. 그 결과, 화소 보간 종별 신호(PolatorType)에 의해 새로운 화소 보간부가 선택된다.
도 9는 화상 부호화 장치(800)에 있어서의 보간 방법 선택의 순서를 나타낸 흐름도이다. 구체적으로는, 화상 부호화 장치(800)에서는, 화소 보간 전환 제어 신호(SetPolatorType)의 값에 따라 스위치(802)를 접속하고, 스위치(802)가 접속되어 있는 동안에 외부로부터 입력되는 화소 보간 종별 신호(PolatorType)의 값에 따라 스위치(804)와 스위치(805)를 전환함으로써, 도 9의 흐름도에 나타낸 선택 처리를 행하고 있다. 화상 부호화 장치(800)는, 각 프레임의 선두를 나타내는 프레임 헤더 등을 화상 신호(Img)로부터 검출하여(S901), 화소 보간 전환 위치 판정부(801)로부터, 예를 들면, 화소 보간 전환 제어 신호(SetPolatorType) "1"을 출력하여 스위치(802)를 온으로 한다(S902). 화상 부호화 장치(800)는, 스위치(802)가 온이 되어 있는 동안에 입력된 화소 보간 종별 신호(PolatorType)의 값이 "1"인지 여부를 판정하여(S903), "1"이면, 스위치(804)와 스위치(805)를 각각 단자 "1"에 접속시켜 화소 보간부 A(403)에 의한 보간 방법 A를 선택한다(S904). 화소 보간 종별 신호(PolatorType)의 값이 "1"이 아니면, 스위치(804)와 스위치(805)를 각각 단자 "2"에 접속시켜 화소 보간부 B(404)에 의한 보간 방법 B를 선택한다(S905). 화상 부호화 장치(800)는, 상기 단계 S901부터 S905까지의 처리를, 입력되는 화상신호(Img)의 프레임마다 반복한다.
화상 부호화 장치(800)는, 또한 가변 길이 부호화부(803)에 있어서, 화소 보간 종별의 전환 단위를 프레임으로 한 경우, 화상 부호화 장치(800)의 출력인 부호화 신호(Bitstream)의 프레임마다, 예를 들면 부호화 신호(Bitstream)의 각 프레임 헤더에 화소 보간 종별 신호(PolatorType)의 값을 기록하여 출력한다. 도 10(a)은 본 발명의 부호화 신호(Bitstream)의 스트림 구성을 나타내는 도면이다. 도 10(b) 은 프레임을 단위로 하여 화소 보간 방법을 전환하는 경우의 부호화 신호(Bitstream)의 스트림 구성을 나타내는 도면이다. 본 발명의 부호화 신호의 특징은, 화소 보간 종별 신호(PolatorType)를 부호화 신호(Bitstream)에 포함하는 것이다. 이 스트림 구성에 의해, 본 발명의 부호화 신호(Bitstream)를 복호화하는 화상 복호화 장치에서는, 화소 보간 종별 신호를 조사함으로써, 부호화에 사용한 화소 보간부와 동일한 화소 보간 방법을 사용할 수 있다.
도 10(a)에 나타낸 부호화 신호(Bitstream)에서는, 부호화 신호(Bitstream) 전체에 부가되는 헤더(1001) 중(예를 들면, 사선부)에, 각 프레임의 화소 보간에 사용된 보간 방법을 나타내는 화소 보간 종별 신호(PolatorType)의 값이 기술되어 있다. 또, 도 10(b)에 나타낸 부호화 신호(Bitstream)에서는, 프레임마다 설치되는 프레임 헤더(1002) 중(예컨대, 사선부)에, 해당 프레임의 화소 보간에 이용된 보간 방법을 나타내는 화소 보간 종별 신호(PolatorType)의 값이 기술된다. 이렇게, 화소 보간 종별 신호(PolatorType)를 부호화 신호(Bitstream)의 선두 부분인 헤더(1001)나, 랜덤 액세스 포인트의 선두가 되는 프레임 헤더(1002) 등에 저장함으로써, 화상 복호화 장치에서는, 헤더(1001) 또는 랜덤 액세스 포인트로부터 부호화 신호(Bitstream)를 입력함으로써, 해당 프레임의 복호화 전에 그 프레임의 화소 보간 종별을 특정할 수 있다.
또한, 여기서는 프레임 단위로 화소 보간부를 전환한다고 설명했지만, 프레임 단위뿐만 아니라, 프레임보다 작은 화상 영역 단위(1화소 이상이 집합한 영역이면 되는, 예를 들면, MPEG의 슬라이스 ·마크로 블록 ·블록 등)로 화소 보간부를 전환해도 된다. 예를 들면, 슬라이스를 전환 단위로 하는 경우에는, 각 슬라이스에 대응하는 화소 보간 종별 신호(PolatorType)의 값을, 부호화 신호(Bitstream) 전체에 대해 부가되는 헤더에 기술해도 되고, 프레임별로 정리하여 프레임 헤더에 기술해도 된다. 또, 각각의 슬라이스에 대응하는 슬라이스 헤더에, 각 슬라이스의 화소 보간 종별 신호의 값을 기술해 두어도 된다. 또, 마크로 블록 또는 블록을 화소 보간 방법의 전환 단위로 하는 경우에는, 각 마크로 블록 또는 각 블록의 화소 보간 종별 신호의 값을 슬라이스별로 정리하여, 슬라이스 헤더에 기술해 두면 된다.
이상 설명한 바와 같이, 본 발명의 화상 부호화 장치에 입력되는 화소 보간 종별 신호(PolatorType)의 값을, 화상 복호화 장치의 처리 능력에 따른 화소 보간부를 선택하도록 설정함으로써, 본 발명의 화상 부호화 장치가 출력하는 부호화 신호를 재생하는 화상 복호화 장치의 처리 능력에 따른 부호화 신호를 작성하는 것이 가능해진다. 또, 화상 부호화 장치의 처리 능력에 따라 화소 보간부를 선택할 수 있다.
또한, 기존의 화상 부호화 방식에는, 예측 화상 신호의 위치에 따라, 그 위치의 화소 값을 생성하는 화소 보간 방법을 전환하는 부호화 방식이 있다. 예를 들면, 1/2 화소 위치의 화소 값을 생성하는 경우에는 1/2 화소 위치용 화소 보간 방법을 선택하고, 1/4 화소 위치의 화소 값을 생성하는 경우에는 1/4 화소 위치용 화소 보간 방법을 선택하는 것과 같은 부호화 방식이다. 그러나, 이들 부호화 방식은, 원하는 화소 위치에 대해서, 어느 한쪽의 화소 보간 방법을 선택하지 않을 수 없는 것에 비해, 본 발명의 부호화 방식에서는, 예측 화상 신호의 동일 위치의 화소 값의 계산에 있어 다수의 화소 보간부를 구비하기 때문에, 동일 화소 위치의 화소 값의 계산에 대해 다수의 화소 보간 방법을 자유롭게 선택할 수 있는 점에서 다르다. 본 발명의 화상 부호화 방식에, 다른 화소 위치에 대해 다수의 화소 보간 방법을 전환하는 상기 방법을 조합할 수도 있다. 이 경우, 다른 화소 위치에 대해 각각의 화소 값을 계산하는 다수의 화소 보간부를 구비하는 동시에, 동일 화소 위치에 대해 예측 정밀도가 다른 화소 값을 계산하는 다수의 화소 보간부를 구비하는 것으로 한다.
또한, 상기 실시형태에서는, 2개의 화소 보간부를 구비한 화상 부호화 장치에 관해서 설명했지만, 3개 이상의 화소 보간부를 구비하도록 해도 된다. 그 경우에는, 3개 이상의 화소 보간부 중 어느 하나를 선택하여 사용하여, 사용한 화소 보간부의 종별을 나타내는 화소 보간 종별 신호를 부호화 신호에 포함시키면 된다.
도 11은 본 실시형태의 다른 화상 복호화 장치(1100)의 구성을 나타낸 블록도이다. 도 11에서 도 5에 도시한 화상 복호화 장치(500)와 같은 동작을 하는 구성 요소 및 신호에 대해서는 이미 설명했기 때문에, 같은 부호를 붙이고 설명을 생략한다. 화상 복호화 장치(1100)는, 화상 복호화부(202), 가산기(203), 화상 메모리(204), 화소 블록 취득부(207), 스위치(208), 스위치(209), 화소 보간 사용 판정부(212), 화소 보간부 A(503), 화소 보간부 B(504), 가변 길이 복호화부(1101), 화소 보간 종별 변환부(1102), 스위치(1103) 및 스위치(1104)를 구비한다. 화상 복호화 장치(1100)에는, 도 8에 도시한 화상 부호화 장치(800)에 의해서 출력된 부호 화 신호(Bitstream2)가 입력된다. 즉, 화상 복호화 장치(1100)에 입력되는 부호화 신호(Bitstream2)에는, 화소 보간 종별 신호(PolatorType1)가 기술되어 있다. 화상 복호화 장치(1100)는, 부호화 신호(Bitstream2) 중의 화소 보간 종별 신호(PolatorType1)로 표시되는 화소 보간부가 화상 복호화 장치(1100)에 구비되어 있지 않은 경우에는, 화상 부호화 장치(1100)가 구비하고 있는 화소 보간부 중 어느 하나를 대신 사용하는 것을 특징으로 한다.
화상 복호화 장치(1100)는, 화소 보간 종별 신호(PolatorType1)의 값 "1"과 "2"가 나타내는 2종류의 화소 보간부, 즉, 화소 보간부 A(503)(필터 탭 수 N=4) 및 화소 보간부 B(504)(필터 탭 수 N=8)밖에 구비하고 있지 않은 것으로 한다. 화상 복호화 장치(1100)에서 가변 길이 복호화부(1101)는, 부호화 신호(Bitstream2)를 가변 길이 복호화 하여, 차분 화상 부호화 신호(CodedRes)와 움직임 파라미터 신호(MotionParam)와 화소 보간 종별 신호(PolatorType1)로 분리한다. 화소 보간 종별 변환부(1102)는, 화소 보간 종별 신호(PolatorType1)에 의해서 지정될 수 있는 화소 보간부의 종별과, 해당 각 화소 보간부의 특성을 나타낸 파라미터와, 실장 유무를 나타내는, 미리 작성된 보간 종별표를 내부에 보유하고 있다. 화소 보간 종별 변환부(1102)는 해당 보간 종별표에 기초하여, 화소 보간 종별 신호(PolatorType1)의 값으로 표시되는 화소 보간부가 화상 복호화 장치(1100)에 실장되어 있는지 여부를 판단한다.
도 12는 도 11에 도시한 화소 보간 종별 변환부(1102)에 보유되어 있는 보간 종별표(1200)의 일례를 나타내는 도면이다. 도면과 같이, 보간 종별표(1200)에는, 화소 보간 종별 신호(PolatorType1)의 값으로 표시되는 각 화소 보간부의 실장 유무(1201)와, 화소 보간 종별 신호(PolatorType1)의 값(1201) 및 화소 보간 종별 신호(PolatorType1)의 값으로 표시되는 각 화소 보간부의 특성을 나타낸 필터 탭 수(N)(1203)가 기술되어 있다. 화소 보간 종별 변환부(1102)는, 화소 보간 종별 신호(PolatorType1)의 값이, 화상 복호화 장치(1100)에 실장되어 있지 않은 화소 보간부 C(필터 탭 수 N=16)를 나타내는 값, 예를 들면 "3"이었던 경우에는, 실장되어 있는 화소 보간부 중에서, 보간 종별표(1200)에 기술되어 있는 필터 탭 수(N)(1203)가 화소 보간 종별 신호(PolatorType1)로 표시되는 화소 보간부 C에 가장 가까운 화소 보간부 B(504)(필터 탭 수 N=8)를 선택하여, 화소 보간 종별 신호(PolatorType1)의 값을, 예를 들면 "2"로 변환하고, 화소 보간 종별 신호(PolatorType2)로서 출력한다. 이 변환 처리에 의해서 화상 복호화 장치(1100)에서는, 부호화 시에 사용된 화소 보간부와는 다른 화소 보간부를 이용하므로 화질 열화를 발생시키는 것은 부정할 수 없으나, 차분 화상 부호화 신호(CodedRes)와 움직임 파라미터 신호(MotionParam)의 복호화 처리는 가능하기 때문에, 복호화 된 영상의 개관(프리뷰)이 가능해진다. 화소 보간 종별 신호(PolatorType2)로서 "1"이 입력된 경우에는, 스위치(1103)와 스위치(1104)는 단자 "1"측으로 전환되어, 복호 화상 신호(Recon)에 대해 화소 보간부 A(503)가 사용된다. 화소 보간 종별 신호(PolatorType2)로서 "2"가 입력된 경우에는, 스위치(1103)와 스위치(1104)가 단자 "2"측으로 전환되어, 복호 화상 신호(Recon)에 대해 화소 보간부 B(504)가 사용된다.
이상 설명한 바와 같이, 본 발명의 화상 복호화 장치(1100)에 의하면, 화상 복호화 장치(1100)에 실장되어 있지 않은 화소 보간부를 나타내는 화소 보간 종별 신호(PolatorType2)가 포함되어 있는 부호화 신호(Bitstream)가 입력된 경우라도, 입력 부호화 신호(Bitstream)를 지장 없이 복호화 할 수 있다는 효과가 있다. 또, 화상 복호화 장치(1100)가 갖는 화소 보간부가 1개인 경우에는 강제적으로 그 화소 보간부를 사용함으로써, 입력 부호화 신호(Bitstream)를 복호화할 수 있다. 또, 본 실시형태의 화상 복호화 장치(1100)에서는, 2개의 화소 보간부를 구비하고 있지만, 3개 이상의 화소 보간부가 있어도 동일한 처리가 가능하다. 또한, 실시형태 1에서 나타낸 바와 같이, 화소 보간 종별이 프레임 단위, 또는 프레임보다 작은 화상 영역의 단위로 전환되는 경우에는, 화상 복호화 장치(1100)는 화소 보간 종별이 변경된 시점에서 화소 보간부를 전환하는 것으로 한다. 또한, 여기서는, 다수의 화소 보간부의 특성을 필터 탭 수로 표시했으나, 반드시 필터 탭 수일 필요는 없고, 다른 파라미터이어도 된다. 또한, 화상 복호화 장치(1100)가 화상 부호화 장치에서 사용될 가능성이 있는 화소 보간 필터를 모두 구비하고 있는 것이 분명한 경우에는, 화상 복호화장치(1100)의 화소 보간 종별 변환부(1102)는 없어도 된다. 이 경우에는, 화소 보간 종별 신호(PolatorType1)를 그대로 화소 보간 종별 신호(PolatorType2)로서 사용한다.
(실시형태 2)
도 13은 본 발명의 실시형태 2의 화상 부호화 장치(1300)의 구성을 나타낸 블록도이다. 또한, 도 2, 도 4 및 도 8에 나타낸 화상 부호화 장치(100), 화상 부 호화 장치(400) 및 화상 부호화 장치(800)에 있어서의 각 구성 요소와 같은 동작을 하는 구성 요소 및 신호에 대해서는, 같은 참조 부호를 붙이고 설명을 생략한다. 화상 부호화 장치(1300)는, 부호화의 대상이 되는 프레임이 다른 프레임에 참조되지 않는 프레임인 경우는, 화소 보간에서의 처리량이 보다 작은 화소 보간부를 사용하고, 다른 프레임에서 참조 프레임으로서 사용되는 경우에는, 예측 효율은 높지만 처리량이 큰 화소 보간부를 사용하는 화상 부호화 장치로서, 차분기(101), 화상 부호화부(102), 화상 복호화부(104), 가산기(105), 화상 메모리(106), 화소 블록 취득부(107), 스위치(108), 스위치(109), 화소 보간 사용 판정부(112), 스위치(1301), 스위치(1302), 가변 길이 부호화부(1303), 스위치(1304) 및 움직임 추정부(1305)를 구비한다. 움직임 추정부(1305)에는, 외부로부터 부호화 대상 프레임이 후에 참조 프레임으로서 사용되는지 여부를 나타내는 참조 지시 신호(AvairableRef)가 입력된다. 참조 지시 신호(AvairableRef)는, 화상 부호화 장치(1300)의 오퍼레이터가 도시하지 않은 키보드 등의 입력부를 이용하여 입력한 설정에 기초하여 외부로부터 입력되는 신호이고, 값이 "0"일 때, 해당 부호화 대상 프레임이 참조 프레임으로서 사용되지 않는 것을 나타내고, 값이 "1"일 때, 해당 부호화 대상 프레임이 후에 참조 프레임으로서 사용되는 것을 나타내고 있다.
이것에 대응하여, 스위치(1301) 및 스위치(1302)는, 참조 지시 신호(AvairableRef)의 값이 "0"일 때, 즉, 다른 프레임에 참조되지 않는 부호화 대상 프레임에 대해서는, 각각 단자 "1"을 접속하고, 처리량이 보다 작은 화소 보간부 A(403)를 선택한다. 또, 참조 지시 신호(AvairableRef)의 값이 "1"일 때, 즉, 후 에 참조 프레임으로서 사용되는 부호화 대상 프레임에 대해서는 각각 단자 "2"를 접속하고, 예측효율은 높지만 처리량은 보다 큰 화소 보간부 B(404)를 선택한다. 또, 스위치(1304)는, 참조 지시 신호(AvairableRef)의 값이 "0"일 때 오프가 되어, 해당 프레임의 복호 차분 화상 신호(ReconRes)는 화상 메모리(106)에 저장되지 않는다. 반대로, 참조 지시 신호(AvairableRef)의 값이 "1"일 때, 스위치(1304)는 온이 되어, 해당 프레임의 복호 차분 화상 신호(ReconRes)가 화상 메모리(106)에 저장된다. 가변 길이 부호화부(1303)는, 화상 부호화 장치(1300)의 출력인, 도 10에 도시한 스트림 구성을 갖는 부호화 신호(Bitstream3)의 프레임마다, 예를 들면 부호화 신호(Bitstream3)의 각 프레임 헤더에 참조 지시 신호(AvairableRef)의 값을 기록하여 출력한다.
도 14는 도 13에 나타낸 화상 부호화 장치(1300)의 출력인 부호화 신호(Bitstream3)를 복호화하는 화상 복호화 장치(1400)의 구성을 나타낸 블록도이다. 동 도면에 있어서, 도 3, 도 5 및 도 11에 도시한 화상 복호화 장치(200), 화상 복호화 장치(500) 및 화상 복호화 장치(1100)에 있어서의 각 구성 요소와 같은 동작을 하는 구성 요소 및 신호에 대해서는 이미 설명했기 때문에, 같은 참조 부호를 붙이고 설명을 생략한다. 화상 복호화 장치(1400)는, 상술한 참조 지시 신호(AvairableRef)를 포함한 부호화 신호(Bitstream3)를 복호화하는 화상 복호화 장치로서, 화상 복호화부(202), 가산기(203), 화상 메모리(204), 화소 블록 취득부(207), 스위치(208), 스위치(209), 화소 보간 사용 판정부(212), 가변 길이 복호화부(1401), 스위치(1402), 스위치(1403) 및 스위치(1404)를 구비한다. 가변 길이 복호화부(1401)는, 입력된 부호화 신호(Bitstream3)를 가변 길이 복호화 하여, 차분 화상 부호화 신호(CodedRes)와 움직임 파라미터 신호(MotionParam)와 참조 지시 신호(AvairableRef)로 분리한다. 분리된 참조 지시 신호(AvairableRef)는, 스위치(1402)와 스위치(1403)와 스위치(1404)에 입력된다. 스위치(1404)는, 참조 지시 신호(AvairableRef)의 값이 "0"일 때, 즉 해당 프레임의 복호 화상 신호(Recon)가 참조 프레임으로서 사용되지 않는 경우, 오프가 된다. 따라서, 해당 프레임의 복호 화상 신호(Recon)는, 화상 메모리(204)에 저장되지 않는다. 반대로, 참조 지시 신호(AvalrableRef)의 값이 "1"일 때, 즉, 해당 프레임의 복호 화상 신호(Recon)가 참조 프레임이 되는 경우, 온이 된다. 따라서, 해당 프레임의 복호 화상 신호(Recon)가 화상 메모리(204)에 저장된다. 또, 스위치(1402)와 스위치(1403)는, 참조 지시 신호(AvairableRef)의 값이 "0"일 때, 즉 해당 프레임의 복호 화상 신호(Recon)가 참조 프레임으로서 사용되지 않는 경우, 각각 단자 "1"을 접속하고, 화소 보간의 처리량이 적은 화소 보간부 A(503)를 선택한다. 반대로, 참조 지시 신호(AvairableRef)의 값이 "1"일 때, 각각 단자 "2"를 접속하고, 화소 보간의 처리량은 많아지지만 예측 효율이 높은 화소 보간부 B(504)를 선택한다.
이상과 같이, 본 실시형태의 화상 부호화 장치(1300) 및 화상 복호화 장치(1400)에서는, 다른 프레임에 참조되는 부호화 대상 프레임에 있어서 처리량이 적은 화소 보간 방법을 사용하면, 처리량이 적은 화소 보간 방법의 예측 정밀도의 낮음에 의한 화질의 열화가 다른 프레임의 화질에도 영향을 주게 되나, 다른 프레임에 참조되지 않는 부호화 대상 프레임에 대해서만, 처리량이 적은 화소 보간 방법 을 사용하므로, 예측 정밀도의 낮음에 의한 부호화 대상 프레임의 화질의 열화가 다른 프레임에 영향을 주지 않고, 화상 부호화 장치(1300) 및 화상 복호화 장치에 있어서의 화소 보간을 위한 처리 부하를 경감할 수 있다. 따라서, 화상 부호화 장치(1300) 및 화상 복호화 장치로서는, 예측 정밀도의 열화를 최소한으로 억제하면서, 화상 부호화 처리에 있어서의 처리 부하를 크게 저감할 수 있다.
또한, 본 실시형태의 화상 복호화 장치(1400)에서는, 스위치(1404)를 설치하여, 다른 프레임에 참조되지 않는 프레임의 복호 화상 신호(Recon)가 화상 메모리(204)에 저장되지 않도록 했지만, 이미 설명한 본 발명의 다른 화상 복호화 장치에도 스위치(1404)를 구비하도록 해도 된다.
또, 상기 실시형태 1 및 실시형태 2에서는, 화소 보간부 A(403)와 화소 보간부 B(404)를 스위치로 전환하여 사용한다고 설명했는데, 본 발명은 이것에 한정되지 않고, 화소 보간부 A(403)와 화소 보간부 B(404)를 다수의 동작 모드로 동작하는 하나의 화소 보간부로 치환해도 된다. 이 화소 보간부는, 예를 들면 목적으로 하는 예측 정밀도 또는 처리 부하에 따라, 다수의 연산 방법 또는 다수의 연산식에 따라 연산을 행하는 하나의 화소 필터이며, 외부에서 주어지는 파라미터에 따라 하나의 동작 모드(연산 방법 또는 연산식)가 결정되는 것으로 한다.
(실시형태 3)
또한, 상기 각 실시형태에서 나타낸 화상 부호화 방법 또는 화상 복호화 방법의 구성을 실현하기 위한 프로그램을 플렉시블 디스크 등의 기록 매체에 기록하 도록 함으로써, 상기 각 실시형태에서 나타낸 처리를, 독립적인 컴퓨터 시스템에서 간단히 실시하는 것이 가능해진다.
도 15는 상기 실시형태 1부터 실시형태 3의 화상 부호화 방법 또는 화상 복호화 방법의 프로그램을 저장한 플렉시블 디스크를 이용하여, 컴퓨터 시스템에 의해 실시하는 경우의 설명도이다.
도 15(b)는 플렉시블 디스크의 정면에서 본 외관, 단면 구조, 및 플렉시블 디스크를 나타내고, 도 15(a)는 기록 매체 본체인 플렉시블 디스크의 물리 포맷의 예를 나타내고 있다. 플렉시블 디스크(FD)는 케이스(F) 내에 내장되고, 이 디스크의 표면에는, 동심원상으로 외주로부터 내주를 향해 다수의 트랙(Tr)이 형성되고, 각 트랙은 각도 방향으로 16개의 섹터(Se)로 분할되어 있다. 따라서, 상기 프로그램을 저장한 플렉시블 디스크에서는, 상기 플렉시블 디스크(FD) 상에 할당된 영역에, 상기 프로그램으로서의 화상 부호화 방법이 기록되어 있다.
또, 도 15(c)는 플렉시블 디스크(FD)에 상기 프로그램의 기록 재생을 행하기 위한 구성을 나타낸다. 상기 프로그램을 플렉시블 디스크(FD)에 기록하는 경우는, 컴퓨터 시스템(Cs)으로부터 상기 프로그램으로서의 화상 부호화 방법 또는 화상 복호화 방법을 플렉시블 디스크 드라이브(FDD)를 통해 기입한다. 또, 플렉시블 디스크 내의 프로그램에 의해 상기 화상 부호화 방법을 컴퓨터 시스템 내에 구축하는 경우는, 플렉시블 디스크 드라이브에 의해 프로그램을 플렉시블 디스크로부터 독출하여 컴퓨터 시스템으로 전송한다.
또, 상기 설명에서는, 기록 매체로서 플렉시블 디스크를 사용하여 설명을 행 했으나, 광디스크를 사용해도 마찬가지로 행할 수 있다. 또, 기록 매체는 이것에 한정되지 않고, IC 카드, ROM 카세트 등, 프로그램을 기록할 수 있는 것이면 동일하게 실시할 수 있다.
도 16 내지 도 19는 상기 실시형태에서 나타낸 부호화 처리 또는 복호화 처리를 행하는 기기, 및 이 기기를 사용한 시스템을 설명하는 도면이다.
도 16은 콘텐츠 배포 서비스를 실현하는 콘텐츠 공급 시스템(ex100)의 전체 구성을 나타낸 블록도이다. 통신 서비스의 제공 영역을 원하는 크기로 분할하고, 각 셀 내에 각각 고정 무선국인 기지국(ex107∼ex110)이 설치되어 있다. 이 콘텐츠 공급 시스템(ex100)은, 예를 들면 인터넷(ex101)에 인터넷 서비스 프로바이더(ex102) 및 전화망(ex104)을 통해, 컴퓨터(ex111), PDA(personal digital assistant)(ex112), 카메라(ex113), 휴대전화(ex114)가 접속된다. 그러나, 콘텐츠 공급 시스템(ex100)은 도 16과 같은 조합에 한정되지 않고, 어느 하나를 조합하여 접속하도록 해도 된다. 또, 고정 무선국인 기지국(ex107∼ex110)을 통하지 않고, 전화망(ex104)에 직접 접속되어도 된다.
카메라(ex113)는 디지털 비디오 카메라 등의 동화상 촬영이 가능한 기기이다. 또, 휴대전화는, PDC(Personal Digital Communications) 방식, CDMA(Code Division Multiple Access) 방식, W-CDMA(Wideband-Code Division Multiple Access) 방식, 혹은 GSM(Global System for Mobile Communications) 방식의 휴대전화기, 또는 PHS(Personal Handyphone System) 등이고, 어느 것이어도 상관없다.
또, 스트리밍 서버(ex103)는, 카메라(ex113)로부터 기지국(ex109), 전화망 (ex104)을 통해 접속되어 있고, 카메라(ex113)를 이용하여 사용자가 송신하는 부호화 처리된 데이터에 기초한 라이브 배송 등이 가능해진다. 촬영한 데이터의 부호화 처리는 카메라(ex113)로 행해도 되고, 데이터의 송신 처리를 하는 서버 등으로 행해도 된다. 또, 카메라(116)로 촬영한 동화상 데이터는 컴퓨터(ex111)를 통해 스트리밍 서버(ex103)로 송신되어도 된다. 카메라(ex116)는 디지털 카메라 등의 정지화상, 동화상이 촬영 가능한 기기이다. 이 경우, 동화상 데이터의 부호화는 카메라(ex116)로 행해도 되고 컴퓨터(ex111)로 행해도 된다. 또, 부호화 처리는 컴퓨터(ex111)나 카메라(ex116)가 갖는 LSI(ex117)에서 처리하게 된다. 또한, 화상 부호화 ·복호화용 소프트웨어를 컴퓨터(ex111) 등으로 읽기 가능한 기록 매체인 어떠한 축적 미디어(CD-ROM, 플로피 디스크, 하드디스크 등)에 설치해도 된다. 또, 카메라 부착 휴대전화(ex115)로 동화상 데이터를 송신해도 된다. 이 때의 동화상 데이터는 휴대전화(ex115)가 갖는 LSI에서 부호화 처리된 데이터이다.
도 17은 휴대전화(ex115)의 일례를 나타낸 도면이다. 휴대전화(ex115)는, 기지국(ex110)과의 사이에서 전파를 송수신하기 위한 안테나(ex201), CCD 카메라 등의 영상, 정지화상을 찍는 것이 가능한 카메라부(ex203), 카메라부(ex203)로 촬영한 영상, 안테나(ex201)로 수신한 영상 등이 복호화 된 데이터를 표시하는 액정 디스플레이 등의 표시부(ex202), 조작 키군으로 구성되는 본체부(ex204), 음성 출력을 하기 위한 스피커 등의 음성 출력부(ex208), 음성 입력을 하기 위한 마이크 등의 음성 입력부(ex205), 촬영한 동화상 또는 정지화상의 데이터, 수신한 메일의 데이터, 동화상 데이터 또는 정지화상 데이터 등, 부호화된 데이터 또는 복호화 된 데이터를 저장하기 위한 기억 미디어(ex207), 휴대전화(ex115)에 기억 미디어(ex207)를 장착 가능하게 하기 위한 슬롯부(ex206)를 갖고 있다. 기억 미디어(ex207)는 SD 카드 등의 플라스틱 케이스 내에 전기적으로 고쳐쓰기나 삭제가 가능한 불휘발성 메모리인 EEPROM(Electrically Erasable and Programmable Read Only Memory)의 일종인 플래시 메모리 소자를 저장한 것이다.
이 콘텐츠 공급 시스템(ex100)에서는, 사용자가 카메라(ex113), 카메라(ex116) 등으로 촬영하고 있는 콘텐츠(예를 들면, 음악 라이브를 촬영한 영상 등)를 상기 실시형태와 동일하게 부호화 처리하여 스트리밍 서버(ex103)로 송신하는 한편, 스트리밍 서버(ex103)는 요구가 있었던 클라이언트에 대해 상기 콘텐츠 데이터를 스트림 배포한다. 클라이언트로서는, 상기 부호화 처리된 데이터를 복호화하는 것이 가능한, 컴퓨터(ex111), PDA(ex112), 카메라(ex113), 휴대전화(ex114) 등이 있다. 이와 같이 함으로써 콘텐츠 공급 시스템(ex100)은 부호화된 데이터를 클라이언트에서 수신하여 재생할 수 있고, 또한 클라이언트에서 실시간으로 수신하여 복호화 하여 재생함으로써, 개인 방송도 실시 가능한 시스템이다.
또한, 휴대전화(ex115)에 대해 도 18을 사용하여 설명한다. 도 18은 휴대전화(ex115)의 구성을 나타낸 블록도이다. 휴대전화(ex115)는 표시부(ex202) 및 본체부(ex204)의 각 부를 통괄적으로 제어하도록 이루어진 주 제어부(ex311)에 대해, 전원 회로부(ex310), 조작 입력 제어부(ex304), 화상 부호화부(ex312), 카메라 인터페이스부(ex303), LCD(Liquid Crystal Display) 제어부(ex302), 화상 복호화부(ex309), 다중분리부(ex308), 기록 재생부(ex307), 변복조 회로부(ex306) 및 음성 처리부(ex305)가 동기 버스(ex313)를 통해 서로 접속되어 있다. 전원 회로부(ex310)는, 사용자의 조작에 의해 종화(終話) 및 전원 키가 온 상태로 되면, 배터리팩으로부터 각 부에 대해 전력을 공급함으로써 카메라 부착 디지털 휴대전화(ex115)를 동작 가능한 상태로 기동한다. 휴대전화(ex115)는, CPU, ROM 및 RAM 등으로 이루어지는 주 제어부(ex311)의 제어에 기초하여, 음성 통화 모드 시에 음성 입력부(ex205)에서 집음한 음성 신호를 음성 처리부(ex305)에 의해서 디지털 음성 데이터로 변환하고, 이것을 변복조 회로부(ex306)에서 스펙트럼 확산 처리하여, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex201)를 통해 송신한다. 또 휴대전화기(ex115)는, 음성 통화 모드 시에 안테나(ex201)로 수신한 수신 신호를 증폭하여 주파수 변환 처리 및 아날로그 디지털 변환 처리를 실시하여, 변복조 회로부(ex306)에서 스펙트럼 역확산 처리하여, 음성 처리부(ex305)에 의해서 아날로그 음성 신호로 변환한 후, 이것을 음성 출력부(208)를 통해 출력한다. 또한, 데이터 통신 모드 시에 이메일을 송신하는 경우, 본체부(ex204)의 조작키의 조작에 의해 입력된 이메일의 텍스트 데이터는 조작 입력 제어부(ex304)를 통해 주 제어부(ex311)로 송출된다. 주 제어부(ex311)는, 텍스트 데이터를 변복조 회로부(ex306)에서 스펙트럼 확산 처리하고, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 행한 후에 안테나(ex201)를 통해 기지국(ex110)으로 송신한다.
데이터 통신 모드 시에 화상 데이터를 송신하는 경우, 카메라부(ex203)에서 촬상된 화상 데이터를 카메라 인터페이스부(ex303)를 통해 화상 부호화부(ex312)로 공급한다. 또, 화상 데이터를 송신하지 않는 경우에는, 카메라부(ex203)에서 촬상한 화상 데이터를 카메라 인터페이스부(ex303) 및 LCD 제어부(ex302)를 통해 표시부(ex202)에 직접 표시하는 것도 가능하다.
화상 부호화부(ex312)는, 카메라부(ex203)로부터 공급된 화상 데이터를 상기실시형태에서 나타낸 부호화 방법에 의해 압축 부호화함으로써 부호화 화상 데이터로 변환하여, 이것을 다중분리부(ex308)로 송출한다. 또, 이 때 동시에 휴대전화기(ex115)는, 카메라부(ex203)에서 촬상중에 음성 입력부(ex205)에서 집음한 음성을 음성처리부(ex305)를 통해 디지털 음성 데이터로서 다중분리부(ex308)로 송출한다.
다중분리부(ex308)는, 화상 부호화부(ex312)로부터 공급된 부호화 화상 데이터와 음성 처리부(ex305)로부터 공급된 음성 데이터를 소정의 방식으로 다중화 하여, 그 결과 얻어지는 다중화 데이터를 변복조 회로(ex306)에서 스펙트럼 확산 처리하여, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex201)를 통해 송신한다.
데이터 통신 모드 시에 홈페이지 등에 링크된 동화상 파일의 데이터를 수신하는 경우, 안테나(ex201)를 통해 기지국(ex110)으로부터 수신한 수신 신호를 변복조 회로(ex306)에서 스펙트럼 역확산 처리하여, 그 결과 얻어지는 다중화 데이터를 다중분리부(ex308)로 송출한다.
또, 안테나(ex201)를 통해 수신된 다중화 데이터를 복호화하기 위해서는, 다중분리부(ex308)는, 다중화 데이터를 분리함으로써 부호화 화상 데이터와 음성 데 이터로 나누어, 동기 버스(ex313)를 통해 해당 부호화 화상 데이터를 화상 복호화부(ex309)로 공급하는 동시에 해당 음성 데이터를 음성 처리부(ex305)로 공급한다.
다음으로, 화상 복호화부(ex309)는, 부호화 화상 데이터를 상기 실시형태에서 나타낸 부호화 방법에 대응한 복호화 방법으로 복호함으로써 재생 동화상 데이터를 생성하여, 이것을 LCD 제어부(ex3O2)를 통해 표시부(ex202)로 공급하고, 이에 의해 예를 들면 홈페이지에 링크된 동화상 파일에 포함되는 동화상 데이터가 표시된다. 이 때 동시에 음성 처리부(ex305)는, 음성 데이터를 아날로그 음성 신호로 변환한 후, 이것을 음성 출력부(ex208)로 공급하고, 이에 의해 예를 들면 홈페이지에 링크된 동화상 파일에 포함되는 음성 데이터가 재생된다.
또한, 상기 시스템의 예에 한정되지 않고, 최근에는 위성, 지상파에 의한 디지털 방송이 화제가 되고 있고, 도 19에 나타낸 바와 같이 디지털 방송용 시스템에도 상기 실시형태의 적어도 부호화 방법 또는 복호화 방법 중 어느 하나를 설치할 수 있다. 구체적으로는, 방송국(ex409)에서는 영상 정보의 부호화 비트 스트림이 전파를 통해 통신 또는 방송 위성(ex410)으로 전송된다. 이것을 받은 방송 위성(ex410)은 방송용 전파를 발신하고, 이 전파를 위성방송 수신설비를 가진 가정의 안테나(ex406)로 수신하여, TV 수신기(ex401) 또는 셋탑 박스(ex407) 등의 장치에 의해 부호화 비트 스트림을 복호화 하여 이것을 재생한다. 또, 기록 매체인 축적 미디어(ex402)에 기록한 부호화 비트 스트림을 독출하여, 복호화하는 재생 장치(ex403)에도 상기 실시형태에서 나타낸 복호화 방법을 실장하는 것이 가능하다. 이 경우, 재생된 영상 신호는 모니터(ex404)에 표시된다. 또, CATV용 케이블 (ex405) 또는 위성/지상파 방송의 안테나(ex406)에 접속된 셋탑 박스(ex407) 내에 복호화 장치를 설치하여, 이것을 TV 모니터(ex408)로 재생하는 구성도 생각할 수 있다. 이 때 셋탑 박스가 아니라, TV 내에 부호화 장치를 설치해도 된다. 또, 안테나(ex411)를 갖는 차(ex412)에서 위성(ex410)으로부터 또는 기지국(ex107) 등으로부터 신호를 수신하여, 차(ex412)가 갖는 카 네비게이션(ex413) 등의 표시 장치에 동화상을 재생하는 것도 가능하다.
또한, 카 네비게이션(ex413)의 구성은 예를 들면 도 18에 나타낸 구성 중, 카메라부(ex203)와 카메라 인터페이스부(ex303)를 제외한 구성을 생각할 수 있고, 같은 것을 컴퓨터(ex111)나 TV 수신기(ex401) 등에서도 생각할 수 있다. 또, 상기 휴대전화(ex114) 등의 단말은, 부호화기 ·복호화기 양쪽을 갖는 송수신형 단말 외에, 부호화기만의 송신 단말, 복호화기만의 수신 단말의 3가지 실장 형식을 생각할 수 있다.
이렇게 본 명세서에 나타낸 부호화 방법, 복호화 방법을 실장함으로써 본 실시형태에서 나타낸 어느 장치 ·시스템에 관해서도 실현 가능해진다.
이상과 같이, 본 발명의 화상 부호화 장치 및 화상 복호화 장치는, 화상을 전송하는 휴대전화기에 구비되는 화상 부호화 장치 및 화상 복호화 장치로서, 또 카 네비게이션 시스템에 구비되는 화상 부호화 장치 및 화상 복호화 장치로서 유용하다. 또, 본 발명의 화상 부호화 방법 및 화상 복호화 방법을 실행하는 프로그램 및 그것을 기록한 기록매체로서 유용하다. 또한, 본 발명의 화상 부호화 장치에 의해 생성되는 부호화 신호를 기록한 기록 매체로서 유용하다.
본 발명의 화상 부호화 장치에 의하면, 복수의 화소 보간 방법으로부터 하나의 화소 보간 방법을 선택함으로써, 화상 부호화 장치의 처리 능력이나 부호화 신호를 수신하는 화상 복호화 장치의 처리 능력에 따른 부호화 신호를 작성하는 것이 가능해진다.
본 발명의 화상 복호화 장치에 의하면, 다른 화상에 참조되지 않는 화상에 대해, 처리 부하가 가벼운 화소 보간 방법을 선택하므로, 해당 화상을 사용하여 생성되는 예측 화상에 대해 처리 부하가 가벼운 화소 보간 방법을 사용하여 화소 값을 생성함으로써 화질의 열화가 다른 화상에 영향을 주지 않고, 전체적으로 화상 복호화 처리에서의 처리 부하를 경감할 수 있다.
본 발명의 화상 부호화 장치 및 화상 복호화 장치에 의하면, 예측에서 참조하는 화상 수가 다수이며 특히 처리 부하가 무거운 예측을 행하는 경우에, 처리 부하가 가벼운 화소 보간 방법을 선택하므로, 해당 화상의 화상 부호화 및 화상 복호화의 부하 처리를 경감할 수 있고, 전체적으로 화상 부호화 및 화상 복호화처리에 있어서의 처리 부하를 평탄화할 수 있다.

Claims (3)

  1. 참조 화상으로부터 생성된 예측 화상을 이용하여 부호화 신호를 복호화하는 화상 복호화 방법에 있어서,
    상기 예측 화상의 생성에는, 상기 참조 화상의 소수 위치 화소에 대한 화소값을, 상기 소수 위치 화소의 주변에 위치하는 복수의 정수 위치 화소의 화소값으로부터 화소 보간에 의해 구하는 화소 보간 방법이 이용되고 있고,
    N개의 화소를 이용하여 하나의 보간 화소를 생성하는 필터 처리에 있어서, N의 수가 상이한 복수의 상기 필터 처리를 가지는 화소 보간 방법으로부터 하나의 화소 보간 방법을 선택하는 선택 단계와,
    선택된 화소 보간 방법을 이용하여 상기 참조 화상으로부터 상기 예측 화상을 생성하는 예측 화상 생성 단계와,
    상기 예측 화상을 이용하여 상기 부호화 신호를 복호화하는 복호화 단계를 포함하는 것을 특징으로 하는 화상 복호화 방법.
  2. 제1항에 있어서, 상기 화소 보간 방법은 프레임마다 선택되고, 상기 화소 보간 방법의 선택은 부호화 신호로써 프레임 헤더 중에 배치된 화소 보간 종별 신호에 기초하여 선택되는 것을 특징으로 하는 화상 복호화 방법.
  3. 제2항에 있어서, N개의 화소를 이용하여 하나의 보간 화소를 생성하는 상기 필터 처리는, 탭 수가 N인 필터에 의한 연산 처리인 것을 특징으로 하는 화상 복호화 방법.
KR1020057018217A 2001-09-18 2002-08-12 화상 부호화 방법 및 화상 복호화 방법 Expired - Lifetime KR100747958B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2001283265 2001-09-18
JPJP-P-2001-00283265 2001-09-18
JP2002109009A JP2003304538A (ja) 2002-04-11 2002-04-11 画像符号化装置、画像復号化装置及びそれらの方法
JPJP-P-2002-00109009 2002-04-11

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020037006687A Division KR100557911B1 (ko) 2001-09-18 2002-08-12 화상 부호화 방법 및 화상 복호화 방법

Publications (2)

Publication Number Publication Date
KR20050098282A KR20050098282A (ko) 2005-10-11
KR100747958B1 true KR100747958B1 (ko) 2007-08-08

Family

ID=26622417

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020037006687A Expired - Lifetime KR100557911B1 (ko) 2001-09-18 2002-08-12 화상 부호화 방법 및 화상 복호화 방법
KR1020057018217A Expired - Lifetime KR100747958B1 (ko) 2001-09-18 2002-08-12 화상 부호화 방법 및 화상 복호화 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020037006687A Expired - Lifetime KR100557911B1 (ko) 2001-09-18 2002-08-12 화상 부호화 방법 및 화상 복호화 방법

Country Status (5)

Country Link
US (1) US20040247190A1 (ko)
EP (1) EP1432249A4 (ko)
KR (2) KR100557911B1 (ko)
CN (1) CN1298171C (ko)
WO (1) WO2003030556A1 (ko)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4120301B2 (ja) * 2002-04-25 2008-07-16 ソニー株式会社 画像処理装置およびその方法
EP2824927B1 (en) 2002-08-08 2017-10-04 Godo Kaisha IP Bridge 1 Moving picture decoding method
US8284835B2 (en) * 2004-04-21 2012-10-09 Panasonic Corporation Motion compensating apparatus
US20070183508A1 (en) * 2004-08-05 2007-08-09 Shintaro Kudo Image decoding device and image encoding device
US20080018810A1 (en) * 2004-11-25 2008-01-24 Toshihiro Moriiwa Picture Display Device
JP2006254231A (ja) * 2005-03-11 2006-09-21 Toshiba Corp 情報処理装置および同装置で用いられるプログラム
KR100759870B1 (ko) * 2006-03-24 2007-09-18 경희대학교 산학협력단 Ｃｂｐ에 기초하여 선택된 보간 필터를 이용하여 공간 계층 간의 예측을 수행하는 ｈ.264 스케일러블 영상 부호화/복호화 방법 및 그 장치
RU2009124928A (ru) * 2006-11-30 2011-01-10 НТТ ДоКоМо, Инк. (JP) Устройство динамического кодирования изображения, способ динамического кодирования изображения, программа динамического кодирования изображения, устройство динамического декодирования изображения, способ динамического декодирования изображения и программа динамического декодирования изображения
US8509316B2 (en) 2007-01-09 2013-08-13 Core Wireless Licensing, S.a.r.l. Adaptive interpolation filters for video coding
RU2505938C2 (ru) * 2008-04-10 2014-01-27 Квэлкомм Инкорпорейтед Интерполяция на основе искажений в зависимости от скорости передачи для кодирования видео на основе неперестраиваемого фильтра или адаптивного фильтра
US9967590B2 (en) 2008-04-10 2018-05-08 Qualcomm Incorporated Rate-distortion defined interpolation for video coding based on fixed filter or adaptive filter
US8804831B2 (en) 2008-04-10 2014-08-12 Qualcomm Incorporated Offsets at sub-pixel resolution
US8831086B2 (en) 2008-04-10 2014-09-09 Qualcomm Incorporated Prediction techniques for interpolation in video coding
US8971412B2 (en) * 2008-04-10 2015-03-03 Qualcomm Incorporated Advanced interpolation techniques for motion compensation in video coding
US8811484B2 (en) * 2008-07-07 2014-08-19 Qualcomm Incorporated Video encoding by filter selection
US10123050B2 (en) * 2008-07-11 2018-11-06 Qualcomm Incorporated Filtering video data using a plurality of filters
KR101377527B1 (ko) * 2008-10-14 2014-03-25 에스케이 텔레콤주식회사 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
US9143803B2 (en) 2009-01-15 2015-09-22 Qualcomm Incorporated Filter prediction based on activity metrics in video coding
US9788010B2 (en) 2009-05-07 2017-10-10 Texas Instruments Incorporated Reducing computational complexity when video encoding uses bi-predictively encoded frames
WO2010131537A1 (ja) * 2009-05-11 2010-11-18 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、方法およびプログラム、並びに、動画像復号化装置、方法およびプログラム
US9219921B2 (en) * 2010-04-12 2015-12-22 Qualcomm Incorporated Mixed tap filters
JP5066232B2 (ja) * 2010-07-28 2012-11-07 株式会社東芝 情報処理装置および画像処理方法
US8989261B2 (en) 2011-02-23 2015-03-24 Qualcomm Incorporated Multi-metric filtering
WO2012134046A2 (ko) 2011-04-01 2012-10-04 주식회사 아이벡스피티홀딩스 동영상의 부호화 방법
BR112014004645B1 (pt) 2011-11-08 2022-04-26 Kabushiki Kaisha Toshiba Método de codificação de imagem e aparelho de codificação de imagem
KR20150128664A (ko) * 2013-01-09 2015-11-18 빈첸초 리구오리 픽셀의 2개의 블록을 비교하기 위한 방법 및 장치
WO2017178782A1 (en) * 2016-04-15 2017-10-19 Magic Pony Technology Limited Motion compensation using temporal picture interpolation

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09322175A (ja) * 1996-05-30 1997-12-12 Sony Corp 動画像復号化方法及び装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR950006058B1 (ko) * 1992-10-28 1995-06-07 주식회사금성사 슈도우메디안 필터를 이용한 주사선 보간기의 보간성분 발생기
US5557331A (en) * 1993-03-11 1996-09-17 Matsushita Electric Industrial Co., Ltd. Image encoding method, an image encoding circuit, an image encoding apparatus, and an optical disk
JPH06268992A (ja) * 1993-03-15 1994-09-22 Sony Corp 画像符号化方法、画像復号化方法、画像符号化装置、画像復号化装置及び記録媒体
JP3240737B2 (ja) * 1993-03-19 2001-12-25 ソニー株式会社 画像信号符号化方法、装置、復号化方法及び装置
JP2963362B2 (ja) * 1995-03-24 1999-10-18 株式会社グラフィックス・コミュニケーション・ラボラトリーズ 階層型動きベクトル検出方法及びその装置
DE19524808A1 (de) * 1995-07-07 1997-01-09 Thomson Brandt Gmbh Verfahren, Encoder und Decoder zur Resynchronisierung auf einen fehlerbehafteten Datenstrom
US5757670A (en) * 1995-07-28 1998-05-26 S3, Incorporated Frame reconstruction for video data compression
JP2868445B2 (ja) * 1995-11-02 1999-03-10 株式会社グラフィックス・コミュニケーション・ラボラトリーズ 動画像圧縮方法および装置
JPH09326958A (ja) * 1996-06-05 1997-12-16 Sony Corp 画像処理装置および処理方法
EP2288164B1 (en) * 1997-06-09 2013-09-11 Hitachi, Ltd. Image decoding method and image decoder
ES2209041T3 (es) * 1997-12-03 2004-06-16 Fuji Photo Film Co., Ltd. Procedimiento y aparato para la interpolacion de señales de imagen.
US6259734B1 (en) * 1998-04-03 2001-07-10 Matsushita Electric Industrial Co., Ltd. Image processing method, image processing apparatus, and data storage media
JP3937599B2 (ja) * 1998-07-23 2007-06-27 ソニー株式会社 画像復号装置及び画像復号方法
JP4026238B2 (ja) * 1998-07-23 2007-12-26 ソニー株式会社 画像復号装置及び画像復号方法
AUPQ377599A0 (en) * 1999-10-29 1999-11-25 Canon Kabushiki Kaisha Colour clamping
JP2001257892A (ja) * 2000-03-14 2001-09-21 Fuji Xerox Co Ltd 画像符号化装置および画像符号化方法
DE10120395A1 (de) * 2001-04-25 2002-10-31 Bosch Gmbh Robert Einrichtung zur Interpolation von Abtastwerten sowie Bildencoder und Bilddecoder
US6950469B2 (en) * 2001-09-17 2005-09-27 Nokia Corporation Method for sub-pixel value interpolation
JP3861698B2 (ja) * 2002-01-23 2006-12-20 ソニー株式会社 画像情報符号化装置及び方法、画像情報復号装置及び方法、並びにプログラム
US20030147564A1 (en) * 2002-02-01 2003-08-07 Chulhee Lee Fast hybrid interpolation methods
US20040234143A1 (en) * 2002-07-02 2004-11-25 Makoto Hagai Image encoding method and picture decoding method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09322175A (ja) * 1996-05-30 1997-12-12 Sony Corp 動画像復号化方法及び装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
일본공개특허공보 평9-322175호

Also Published As

Publication number Publication date
EP1432249A1 (en) 2004-06-23
CN1473439A (zh) 2004-02-04
EP1432249A4 (en) 2007-12-05
KR20030062345A (ko) 2003-07-23
KR100557911B1 (ko) 2006-03-10
US20040247190A1 (en) 2004-12-09
KR20050098282A (ko) 2005-10-11
CN1298171C (zh) 2007-01-31
WO2003030556A1 (en) 2003-04-10

Similar Documents

Publication Publication Date Title
KR100747958B1 (ko) 화상 부호화 방법 및 화상 복호화 방법
KR100985236B1 (ko) 움직임 보상 방법, 화상 부호화 방법 및 화상 복호화 방법
KR100656296B1 (ko) 화상 부호화 방법 및 화상 복호화 방법
KR100944852B1 (ko) 동화상 부호화 방법 및 동화상 복호화 방법
KR101075270B1 (ko) 움직임 검출 방법 및 동화상 부호화 방법
KR100956910B1 (ko) 움직임 벡터 도출 방법, 동화상 부호화 방법, 및 동화상복호화 방법
KR20060044356A (ko) 동영상 코딩 장치
KR20050061396A (ko) 동화상 부호화 방법 및 동화상 복호화 방법
KR20050049422A (ko) 화상 부호화 장치, 화상 복호화 장치 및 이들의 방법
JP4129374B2 (ja) 画像符号化方法および画像復号化方法
JP3824268B2 (ja) 動きベクトル導出方法、および動きベクトル導出装置
JP2004040512A (ja) 画像符号化方法および画像復号方法
JP4519676B2 (ja) 動き検出方法および動画像符号化方法
JP2005303994A (ja) 動画符号化装置
JP2005341545A (ja) 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラムおよび動画像復号プログラム
KR20050018729A (ko) 화상 부호화 방법 및 화상 복호화 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
PA0104 Divisional application for international application

Comment text: Divisional Application for International Patent

Patent event code: PA01041R01D

Patent event date: 20050927

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20070618

Comment text: Request for Examination of Application

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20070628

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20070802

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20070802

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20100729

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20110630

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20120724

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20120724

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20130722

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20130722

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20140722

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20140722

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20150716

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20150716

Start annual number: 9

End annual number: 9

FPAY Annual fee payment

Payment date: 20160701

Year of fee payment: 10

PR1001 Payment of annual fee

Payment date: 20160701

Start annual number: 10

End annual number: 10

FPAY Annual fee payment

Payment date: 20170720

Year of fee payment: 11

PR1001 Payment of annual fee

Payment date: 20170720

Start annual number: 11

End annual number: 11

FPAY Annual fee payment

Payment date: 20180719

Year of fee payment: 12

PR1001 Payment of annual fee

Payment date: 20180719

Start annual number: 12

End annual number: 12

PR1001 Payment of annual fee

Payment date: 20200622

Start annual number: 14

End annual number: 14

PR1001 Payment of annual fee

Payment date: 20210621

Start annual number: 15

End annual number: 15

PC1801 Expiration of term

Termination date: 20230212

Termination category: Expiration of duration