[go: up one dir, main page]

KR101649805B1 - 화상 복호 장치, 화상 복호 방법 및 기록 매체 - Google Patents

화상 복호 장치, 화상 복호 방법 및 기록 매체 Download PDF

Info

Publication number
KR101649805B1
KR101649805B1 KR1020147012585A KR20147012585A KR101649805B1 KR 101649805 B1 KR101649805 B1 KR 101649805B1 KR 1020147012585 A KR1020147012585 A KR 1020147012585A KR 20147012585 A KR20147012585 A KR 20147012585A KR 101649805 B1 KR101649805 B1 KR 101649805B1
Authority
KR
South Korea
Prior art keywords
unit
filter processing
processing
image
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020147012585A
Other languages
English (en)
Other versions
KR20140065021A (ko
Inventor
겐지 곤도
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20140065021A publication Critical patent/KR20140065021A/ko
Application granted granted Critical
Publication of KR101649805B1 publication Critical patent/KR101649805B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

본 발명은, 부호화 시 또는 복호 시의 필터 처리의 국소적인 제어에 의한 필터 처리 효과의 저감을 억제할 수 있는 화상 처리 장치 및 방법에 관한 것이다. 제어 정보 생성부(112)의 경계 제어 플래그 생성부(132)는, 시스템 사양 관리부(141)가 관리하는 시스템 사양 정보에 기초하여, 경계 제어 플래그를 생성한다. 적응 필터 처리부(113)의 제어부(171)는, 그 경계 제어 플래그의 값에 따라, 슬라이스 경계 부근의 화소에 대하여 행하는 필터 처리의 처리 방법을 결정한다. 예를 들어, 슬라이스를 넘는 필터 처리를 행하거나, 혹은, 당해 슬라이스에서 폐쇄한 필터 처리를 행할지를 선택한다. 본 발명은, 예를 들어 화상 처리 장치에 적용할 수 있다.

Description

화상 복호 장치, 화상 복호 방법 및 기록 매체 {IMAGE DECODING APPARATUS, IMAGE DECODING METHOD AND RECORDING MEDIUM}
본 발명은, 화상 처리 장치 및 방법에 관한 것으로, 특히, 부호화 시 또는 복호 시의 필터 처리의 국소적인 제어에 의한 필터 처리 효과의 저감을 억제할 수 있도록 한 화상 처리 장치 및 방법에 관한 것이다.
최근, 화상 정보를 디지털로서 취급하고, 그 때, 효율이 높은 정보의 전송, 축적을 목적으로 하고, 화상 정보 특유의 장황성을 이용하여, 이산 코사인 변환 등의 직교 변환과 움직임 보상에 의해 압축하는 MPEG(Moving Picture Experts Group) 등의 방식에 준거한 장치가, 방송국 등의 정보 배신 및 일반 가정에 있어서의 정보 수신의 양쪽에 있어서 보급되고 있다.
특히, MPEG2(ISO(International Organization for Standardization)/IEC (International Electrotechnical Commission)13818-2)는, 범용 화상 부호화 방식으로서 정의되고 있어, 비월 주사 화상 및 순차 주사 화상의 양쪽, 및 표준 해상도 화상 및 고정밀 화상을 망라하는 표준에서, 프로페셔널 용도 및 소비자 용도가 광범위한 어플리케이션에 현재 널리 사용되고 있다. MPEG2 압축 방식을 사용함으로써, 예를 들어 720×480 화소를 갖는 표준 해상도의 비월 주사 화상이면 4 내지 8Mbps, 1920×1088 화소를 갖는 고해상도의 비월 주사 화상이면 18 내지 22Mbps의 부호량(bit rate)을 할당하는 것으로, 높은 압축률과 양호한 화질의 실현이 가능하다.
MPEG2는 주로 방송용에 적합한 고화질 부호화를 대상으로 하고 있었지만, MPEG1보다 낮은 부호량(bit rate), 끝보다 높은 압축률의 부호화 방식에는 대응하지 않고 있었다. 휴대 단말기의 보급에 의해, 금후 그러한 부호화 방식의 요구는 높아진다고 생각되어, 이것에 대응하여 MPEG4 부호화 방식의 표준화가 행해졌다. 화상 부호화 방식에 관해서는, 1998년 12월에 ISO/IEC14496-2로서 그 규격이 국제 표준에 승인되었다.
또한, 최근, 당초 텔레비전 회의용의 화상 부호화를 목적으로 하고, H.26L(ITU-T(ITU Telecommunication Standardization Sector)Q6/16 VCEG(Video Coding Experts Group))라는 표준의 규격화가 진행하고 있다. H.26L은 MPEG2이나 MPEG4와 같은 종래의 부호화 방식에 비해, 그 부호화, 복호화에 보다 많은 연산량이 요구되지만, 보다 높은 부호화 효율이 실현되는 것이 알려져 있다. 또한, 현재, MPEG4의 활동의 일환으로서, 이 H.26L을 기초로, H.26L에서는 서포트되지 않는 기능도 받아들여, 보다 높은 부호화 효율을 실현하는 표준화가 Joint Model of Enhanced-Compression Video Coding으로서 행해지고 있다. 표준화의 스케줄로서는, 2003년 3월에는 H.264 및 MPEG4 Part10(AVC(Advanced Video Coding))이라고 하는 이름의 바탕으로 국제 표준이 되었다.
또한, 최근, 검토되고 있는 차세대의 비디오 부호화 기술로서 적응 루프 필터(ALF(Adaptive Loop Filter))가 있다(예를 들어, 비특허문헌 1 참조). 이 적응 필터에 의해, 프레임마다 최적의 필터 처리가 행해지고, 디블록 필터로 전부 취할 수 없었던 블록 왜곡이나 양자화에 의한 왜곡을 저감할 수 있다.
그러나, 일반적으로 화상은 국소적으로는 여러가지 특징을 가지고 있기 때문에, 국소적으로는 최적인 필터 계수는 상이하다. 비특허문헌 1에 기재된 방법에서는, 1 프레임 내의 모두 화소에 대하여 동일한 필터 계수가 적용되기 때문에, 프레임 전체에서는 화질을 개선하지만, 국소적으로는 악화시킬 우려가 있었다.
따라서, 국소적으로 악화된 영역에는 필터 처리를 행하지 않는 방법이 생각되었다(예를 들어 비특허문헌 2 및 비특허문헌 3 참조). 이 방법의 경우, 화상 부호화 장치는, 화상의 영역에, 완전히 깔리도록 간극 없게 배열된 복수의 제어 블록을 대응시켜, 그 제어 블록마다 화상에 필터 처리를 행할지의 여부를 제어한다. 화상 부호화 장치는, 블록마다 플래그 정보를 설정하고, 그 플래그 정보에 따라서 적응 필터 처리를 행한다. 화상 복호 장치도 마찬가지로, 이 플래그 정보에 기초하여 적응 필터 처리를 행한다.
Yi-Jen Chiu and L.Xu, "Adaptive(Wiener) Filter for Video Compression," ITU-T SG16 Contribution, C437, Geneva, April 2008. Takeshi.Chujoh, et al., "Block-based Adaptive Loop Filter" ITU-T SG16 Q6 VCEG Contribution, AI18, Germany, July, 2008 T.Chujoh, N.Wada and G.Yasuda, "Quadtree-based Adaptive Loop Filter," ITU-T SG16 Q6 VCEG Contribution, VCEG-AK22(r1), Japan, April, 2009
그러나, 1 프레임을 복수의 슬라이스로 분할하고, 그 슬라이스마다 화상의 부호화 처리나 복호 처리를 행하는 방법(멀티슬라이스)이 있다. 비특허문헌 2 및 비특허문헌 3에는, 이러한 멀티슬라이스의 경우에 있어서의, 슬라이스의 경계 부근의 화소의 처리에 대하여 기재되어 있지 않아, 어떻게 처리해야 할지 불분명했다.
본 발명은, 이러한 상황을 감안하여 제안된 것으로, 부호화 시 또는 복호 시의 필터 처리의 국소적인 제어에 의한 필터 처리 효과의 저감을 억제하는 것을 목적으로 한다.
본 발명의 일측면은, 화상에 대하여 국소적으로 행해지는 필터 처리의 처리 대상 화소의 주변 화소에, 상기 처리 대상 화소가 포함되는 슬라이스의 이웃한 슬라이스의 화소가 포함되는지의 여부를 판정하는 판정 수단과, 상기 판정 수단에 의해 상기 주변 화소에 상기 이웃한 슬라이스의 화소가 포함된다고 판정된 경우, 경계 제어 플래그에 기초하여, 상기 처리 대상 화소에 대한 상기 필터 처리의 방법을 복수의 방법 중에서 선택하는 선택 수단과, 상기 선택 수단에 의해 선택된 방법으로, 상기 처리 대상 화소에 대하여 상기 필터 처리를 행하는 필터 처리 수단을 구비하는 화상 처리 장치이다.
상기 선택 수단은, 상기 이웃한 슬라이스에 위치하는 상기 주변 화소가 얻어지고 나서 상기 처리 대상 화소에 대한 상기 필터 처리를 행하는 방법과, 상기 처리 대상 화소를 포함하는 슬라이스에 위치하는 상기 주변 화소를 복제함으로써, 상기 이웃한 슬라이스에 위치하는 상기 주변 화소의 더미 데이터를 생성하고, 상기 처리 대상 화소에 대한 상기 필터 처리를 행하는 방법 중, 어느 한쪽을 선택할 수 있다.
상기 선택 수단은, 상기 이웃한 슬라이스에 위치하는 상기 주변 화소가 얻어지고 나서 상기 처리 대상 화소에 대한 상기 필터 처리를 행하는 방법과, 상기 처리 대상 화소에 대한 상기 필터 처리를 생략하는 방법 중, 어느 한쪽을 선택할 수 있다.
시스템 사양에 기초하여 상기 경계 제어 플래그를 생성하는 생성 수단을 더 구비하고, 상기 선택 수단은, 상기 생성 수단에 의해 생성된 상기 경계 제어 플래그에 기초하여, 상기 처리 대상 화소에 대한 상기 필터 처리의 방법을 선택할 수 있다.
상기 시스템 사양은, 상기 화상 처리 장치의 하드웨어 자원을 포함할 수 있다.
상기 시스템 사양은, 상기 화상 처리 장치의 사용 목적을 포함할 수 있다.
상기 화상을 부호화하고, 부호화 데이터를 생성하는 부호화 수단을 더 구비하고, 상기 부호화 수단은, 또한, 상기 생성 수단에 의해 생성된 상기 경계 제어 플래그를 부호화하고, 상기 부호화 데이터에 부가할 수 있다.
상기 화상이 부호화된 부호화 데이터를 복호하고, 상기 화상을 생성하는 복호 수단을 더 구비하고, 상기 복호 수단은, 또한, 상기 부호화 데이터에 부가된, 부호화된 상기 경계 제어 플래그를 복호하고, 상기 선택 수단은, 상기 복호 수단에 의해 복호된 상기 경계 제어 플래그에 기초하여, 상기 처리 대상 화소에 대한 상기 필터 처리의 방법을 선택할 수 있다.
본 발명의 일측면은, 또한, 화상 처리 장치의 판정 수단이, 화상에 대하여 국소적으로 행해지는 필터 처리의 처리 대상 화소의 주변 화소에, 상기 처리 대상 화소가 포함되는 슬라이스의 이웃한 슬라이스의 화소가 포함되는지의 여부를 판정하여, 상기 화상 처리 장치의 선택 수단이, 상기 주변 화소에 상기 이웃한 슬라이스의 화소가 포함된다고 판정된 경우, 경계 제어 플래그에 기초하여, 상기 처리 대상 화소에 대한 상기 필터 처리의 방법을 복수의 방법 중에서 선택하고, 상기 화상 처리 장치의 필터 처리 수단이, 선택된 방법으로, 상기 처리 대상 화소에 대하여 상기 필터 처리를 행하는 화상 처리 방법이다 .
본 발명의 일측면에 있어서는, 화상에 대하여 국소적으로 행해지는 필터 처리의 처리 대상 화소의 주변 화소에, 처리 대상 화소가 포함되는 슬라이스의 이웃한 슬라이스의 화소가 포함되는지의 여부가 판정되어, 주변 화소에 이웃한 슬라이스의 화소가 포함된다고 판정된 경우, 경계 제어 플래그에 기초하여, 처리 대상 화소에 대한 필터 처리의 방법이 복수의 방법 중에서 선택되어, 선택된 방법으로, 처리 대상 화소에 대하여 필터 처리가 행해진다.
본 발명에 따르면, 화상을 부호화 또는 복호할 수 있다. 특히, 부호화 시 또는 복호 시의 필터 처리의 국소적인 제어에 의한 필터 처리 효과의 저감을 억제할 수 있다. 예를 들어, 화상의 각 프레임을 복수로 나누어 부호화 또는 복호하는 경우에 있어서도, 필터 처리 효과의 저감을 억제할 수 있다.
도 1은 본 발명을 적용한 화상 부호화 장치의 주된 구성예를 도시하는 블록도이다.
도 2는 가변 블록 사이즈 움직임 예측·보상 처리를 설명하는 도면이다.
도 3은 제어 정보 생성부의 주된 구성예를 도시하는 블록도이다.
도 4는 ALF 블록 및 필터 블록 플래그를 설명하는 도면이다.
도 5는 멀티슬라이스의 예를 설명하는 도면이다.
도 6은 필터 처리에 사용되는 주변 화소를 설명하는 도면이다.
도 7은 경계 부근의 필터 처리의 모습을 설명하는 도면이다.
도 8은 적응 필터 처리부의 주된 구성예를 도시하는 블록도이다.
도 9는 부호화 처리의 흐름의 예를 설명하는 흐름도이다.
도 10은 제어 정보 생성 처리의 흐름의 예를 설명하는 흐름도이다.
도 11은 경계 제어 플래그 설정 처리의 흐름의 예를 설명하는 흐름도이다.
도 12는 적응 필터 제어 처리의 흐름의 예를 설명하는 흐름도이다.
도 13은 필터 처리의 흐름의 예를 설명하는 흐름도이다.
도 14는 필터 처리의 흐름의 예를 설명하는 흐름도이다.
도 15는 본 발명을 적용한 화상 복호 장치의 주된 구성예를 도시하는 블록도이다.
도 16은 복호 처리의 흐름의 예를 설명하는 흐름도이다.
도 17은 본 발명을 적용한 화상 부호화 장치의 다른 구성예를 도시하는 블록도이다.
도 18은 본 발명을 적용한 화상 복호 장치의 다른 구성예를 도시하는 블록도이다.
도 19는 사양 정보의 수수를 행하는 처리의 흐름의 예를 설명하는 흐름도이다.
도 20은 ALF 블록 및 필터 블록 플래그의 다른 예를 설명하는 도면이다.
도 21은 ALF 블록 및 필터 블록 플래그의 다른 예를 설명하는 도면이다.
도 22는 멀티슬라이스의 경우의 처리의 모습을 설명하는 도면이다.
도 23은 본 발명을 적용한 퍼스널 컴퓨터의 주된 구성예를 도시하는 블록도이다.
도 24는 본 발명을 적용한 텔레비전 수상기의 주된 구성예를 도시하는 블록도이다.
도 25는 본 발명을 적용한 휴대 전화기의 주된 구성예를 도시하는 블록도이다.
도 26은 본 발명을 적용한 하드 디스크 레코더의 주된 구성예를 도시하는 블록도이다.
도 27은 본 발명을 적용한 카메라의 주된 구성예를 도시하는 블록도이다.
도 28은 매크로 블록의 예를 나타내는 도면이다.
이하, 발명을 실시하기 위한 형태(이하 실시 형태로 한다)에 대하여 설명한다. 또한, 설명은 이하의 순서로 행한다.
1. 제1 실시 형태(화상 부호화 장치)
2. 제2 실시 형태(화상 복호 장치)
3. 제3 실시 형태(화상 부호화·복호 시스템)
4. 제4 실시 형태(QALF)
5. 제5 실시 형태(퍼스널 컴퓨터)
6. 제6 실시 형태(텔레비전 수상기)
7. 제7 실시 형태(휴대 전화기)
8. 제8 실시 형태(하드 디스크 레코더)
9. 제9 실시 형태(카메라)
<1. 제1 실시 형태>
[디바이스의 구성]
도 1은, 본 발명을 적용한 화상 처리 장치로서의 화상 부호화 장치의 일 실시 형태의 구성을 표현하고 있다.
도 1에 도시되는 화상 부호화 장치(100)는, 예를 들어 H.264 및 MPEG4 Part10(Advanced Video Coding)(이하 H.264/AVC라고 기재한다) 방식으로 화상을 압축 부호화하는 부호화 장치이며, 또한, 적응 루프 필터를 채용하고 있다.
도 1의 예에 있어서, 화상 부호화 장치(100)는, A/D(Analog/Digital) 변환부(101), 화면 재배열 버퍼(102), 연산부(103), 직교 변환부(104), 양자화부(105), 가역 부호화부(106) 및 축적 버퍼(107)를 갖는다. 화상 부호화 장치(100)는, 역양자화부(108), 역직교 변환부(109), 연산부(110) 및 디블록 필터(111)를 더 갖는다. 또, 화상 부호화 장치(100)는, 제어 정보 생성부(112), 적응 필터 처리부(113) 및 프레임 메모리(114)를 더 갖는다. 화상 부호화 장치(100)는, 인트라 예측부(115), 움직임 보상부(116), 움직임 예측부(117) 및 예측 화상 선택부(118)를 더 갖는다. 화상 부호화 장치(100)는, 레이트 제어부(119)를 더 갖는다.
A/D 변환부(101)는, 입력된 화상을 A/D 변환하여, 화면 재배열 버퍼(102)에 출력하고, 기억시킨다. 화면 재배열 버퍼(102)는, 기억한 표시 순서의 프레임 화상을 GOP(Group of Picture) 구조에 따라, 부호화를 위한 프레임의 순서대로 나란히 정리한다. 연산부(103)는, 화면 재배열 버퍼(102)로부터 판독된 화상으로부터, 예측 화상 선택부(118)에 의해 선택된 인트라 예측부(115)로부터의 예측 화상 또는 움직임 보상부(116)로부터의 예측 화상을 감산하고, 그 차분 정보를 직교 변환부(104)에 출력한다. 직교 변환부(104)는, 연산부(103)로부터의 차분 정보에 대하여, 이산 코사인 변환, 카루넨 루베 변환 등의 직교 변환을 실시하고, 그 변환 계수를 출력한다. 양자화부(105)는, 직교 변환부(104)가 출력하는 변환 계수를 양자화한다.
양자화부(105)의 출력이 되는 양자화된 변환 계수는, 가역 부호화부(106)에 입력된다. 가역 부호화부(106)는, 그 양자화된 변환 계수에 대하여, 가변장 부호화, 산술 부호화 등의 가역 부호화를 실시하고, 압축한다.
가역 부호화부(106)는, 인트라 예측을 나타내는 정보 등을 인트라 예측부(115)로부터 취득하고, 인터 예측 모드를 나타내는 정보 등을 움직여 예측부(117)로부터 취득한다. 또한, 인트라 예측을 나타내는 정보는, 이하, 인트라 예측 모드 정보라고도 칭한다. 또한, 인터 예측을 나타내는 정보 모드를 나타내는 정보는, 이하, 인터 예측 모드 정보라고도 칭한다.
가역 부호화부(106)는, 또한, 적응 필터 처리부(113)에 있어서 행해지는 적응 필터 처리의 제어 정보를, 제어 정보 생성부(112)로부터 취득한다.
가역 부호화부(106)는, 양자화된 변환 계수를 부호화함과 동시에, 적응 필터 처리의 제어 정보, 인트라 예측을 나타내는 정보나 인터 예측 모드를 나타내는 정보 및 양자화 파라미터 등을 부호화하고, 압축 화상에 있어서의 헤더 정보의 일부로 한다(다중화한다). 가역 부호화부(106)는, 부호화한 데이터를 축적 버퍼(107)에 공급하여 축적시킨다.
예를 들어, 가역 부호화부(106)에 있어서는, 가변장 부호화 또는 산술 부호화 등의 가역 부호화 처리가 행해진다. 가변장 부호화로서는, H.264/AVC 방식으로 정해져 있는 CAVLC(Context-Adaptive Variable Length Coding) 등을 들 수 있다. 산술 부호화로서는, CABAC(Context-Adaptive Binary Arithmetic Coding) 등을 들 수 있다.
축적 버퍼(107)는, 가역 부호화부(106)로부터 공급된 데이터를, 일시적으로 유지하고, 소정의 타이밍에서, H.264/AVC 방식으로 부호화된 압축 화상으로 하여, 예를 들어 후단의 도시하지 않은 기록 장치나 전송로 등으로 출력한다.
또한, 양자화부(105)에 있어서 양자화된 변환 계수는, 역양자화부(108)에도 입력된다. 역양자화부(108)는, 그 양자화된 변환 계수를, 양자화부(105)에 의한 양자화에 대응하는 방법으로 역양자화하고, 얻어진 변환 계수를, 역직교 변환부(109)에 공급한다.
역직교 변환부(109)는, 공급된 변환 계수를, 직교 변환부(104)에 의한 직교 변환 처리에 대응하는 방법으로 역직교 변환한다. 역직교 변환된 출력은, 연산부(110)에 공급된다. 연산부(110)는, 역직교 변환부(109)로부터 공급된 역직교 변환 결과, 즉, 복원된 차분 정보에, 예측 화상 선택부(118)로부터 공급되는 예측 화상을 가산하고, 국부적으로 복호된 화상(복호 화상)을 얻는다. 그 가산 결과는, 디블록 필터(111)에 공급된다.
디블록 필터(111)는, 복호 화상의 블록 왜곡을 제거한다. 디블록 필터(111)는, 그 왜곡 제거 결과를 제어 정보 생성부(112) 및 적응 필터 처리부(113)에 공급한다.
제어 정보 생성부(112)는, 디블록 필터(111)로부터 공급되는 복호 화상과, 화면 재배열 버퍼(102)로부터 판독된 현재의 입력 화상을 취득하고, 그들로부터, 적응 필터 처리부(113)에 있어서 행해지는 적응 필터의 제어 정보를 생성한다. 상세에 대해서는 후술하지만, 제어 정보에는, 필터 계수, 블록 사이즈, 필터 블록 플래그 및 경계 제어 플래그 등이 포함된다.
제어 정보 생성부(112)는, 생성한 제어 정보를 적응 필터 처리부(113)에 공급한다. 또한, 제어 정보 생성부(112)는, 생성한 제어 정보를 가역 부호화부(106)에도 공급한다. 상술한 바와 같이 제어 정보는, 가역 부호화부(106)에 의해, 가역 압축 처리되어, 화상 압축 정보에 포함된다(다중화된다). 즉, 제어 정보는, 화상 압축 정보와 함께 화상 복호 장치에 보내진다.
적응 필터 처리부(113)는, 제어 정보 생성부(112)로부터 공급된 제어 정보의 필터 계수, 블록 사이즈 지정 및 필터 블록 플래그 등을 사용하여, 디블록 필터(111)로부터 공급되는 복호 화상에 필터 처리를 행한다. 이 필터로서, 예를 들어 위너 필터(Wiener Filter)가 사용된다. 물론 위너 필터 이외의 필터를 사용해도 좋다. 적응 필터 처리부(113)는, 필터 처리 결과를 프레임 메모리(114)에 공급하고, 참조 화상으로 하여 축적시킨다.
프레임 메모리(114)는, 소정의 타이밍에 있어서, 축적되어 있는 참조 화상을 움직임 보상부(116) 및 움직임 예측부(117)에 출력한다.
이 화상 부호화 장치(100)에 있어서는, 예를 들어 화면 재배열 버퍼(102)로부터의 I 픽처, B 픽처 및 P 픽처가, 인트라 예측(인트라 처리라고도 칭한다)하는 화상으로서, 인트라 예측부(115)에 공급된다. 또한, 화면 재배열 버퍼(102)로부터 판독된 B 픽처 및 P 픽처가, 인터 예측(인터 처리라고도 칭한다)하는 화상으로서, 움직임 예측부(117)에 공급된다.
인트라 예측부(115)는, 화면 재배열 버퍼(102)로부터 판독된 인트라 예측하는 화상과 프레임 메모리(114)로부터 공급된 참조 화상에 기초하여, 후보가 되는 모든 인트라 예측 모드의 인트라 예측 처리를 행하고, 예측 화상을 생성한다.
인트라 예측부(115)에 있어서, 당해 블록/매크로 블록에 대하여 적용된 인트라 예측 모드에 관한 정보는, 가역 부호화부(106)에 전송되어, 화상 압축 정보에 있어서의 헤더 정보의 일부로서 부호화된다. H.264 화상 정보 부호화 방식에 있어서, 휘도 신호에 대하여는, 인트라 4×4 예측 모드, 인트라 8×8 예측 모드 및 인트라 16×16 예측 모드가 정의되어 있고, 또한, 색차 신호에 관해서는, 각각의 매크로 블록마다, 휘도 신호와는 독립한 예측 모드를 정의하는 것이 가능하다. 인트라 4×4 예측 모드에 대해서는, 각각의 4×4 휘도 블록에 대하여 1개의 인트라 예측 모드가 정의되게 된다. 인트라 8×8 예측 모드에 대해서는, 각각의 8×8 휘도 블록에 대하여 1개의 인트라 예측 모드가 정의되게 된다. 인트라 16×16 예측 모드, 및, 색차 신호에 대하여는, 1개의 매크로 블록에 대하여 각각 1개의 예측 모드가 정의되게 된다.
인트라 예측부(115)는, 예측 화상을 생성한 인트라 예측 모드에 대하여 비용 함수값을 산출하고, 산출한 비용 함수값이 최소값을 부여하는 인트라 예측 모드를, 최적 인트라 예측 모드로서 선택한다. 인트라 예측부(115)는, 최적 인트라 예측 모드에서 생성된 예측 화상을, 예측 화상 선택부(118)에 공급한다.
움직임 예측부(117)는, 인터 부호화가 행해지는 화상에 대해서, 화면 재배열 버퍼(102)로부터 공급되는 화상 정보(입력 화상)와 프레임 메모리(114)로부터 공급되는 참조 프레임이 되는 화상 정보(복호 화상)를 취득하고, 움직임 벡터를 산출한다. 움직임 예측부(117)는, 산출한 움직임 벡터를 나타내는 움직임 벡터 정보를 가역 부호화부(106)에 공급한다. 이 움직임 벡터 정보는, 가역 부호화부(106)에 의해, 가역 압축 처리되어, 화상 압축 정보에 포함할 수 있다. 즉, 움직임 벡터 정보는, 화상 압축 정보와 함께 화상 복호 장치에 보내진다.
또한, 움직임 예측부(117)는, 움직임 벡터 정보를 움직임 보상부(116)에도 공급한다.
움직임 보상부(116)는, 움직임 예측부(117)로부터 공급된 움직임 벡터 정보에 따라서 움직임 보상 처리를 행하고, 인터 예측 화상 정보를 생성한다. 움직임 보상부(116)는, 생성한 예측 화상 정보를, 예측 화상 선택부(118)에 공급한다.
예측 화상 선택부(118)는, 인트라 부호화를 행하는 화상의 경우, 인트라 예측부(115)의 출력을 연산부(103)에 공급하고, 인터 부호화를 행하는 화상의 경우, 움직임 보상부(116)의 출력을 연산부(103)에 공급한다.
레이트 제어부(119)는, 축적 버퍼(107)에 축적된 압축 화상에 기초하여, 오버플로우 혹은 언더플로우가 발생하지 않도록, 양자화부(105)의 양자화 동작의 레이트를 제어한다.
MPEG(Moving Picture Experts Group) 2에 있어서는, 움직임 예측·보상 처리의 단위는, 움직임 보상 블록이며, 움직임 보상 블록마다 독립한 움직임 벡터 정보를 가질 수 있다. 그 움직임 보상 블록의 크기에는, 프레임 움직임 보상 모드인 경우에는 16×16 화소, 필드 움직임 보상 모드인 경우에는 제1 필드, 제2 필드 각각에 대하여, 16×8 화소가 있다.
이에 대해, AVC(Advanced Video Coding)에 있어서는, 도 2의 상측에 도시한 바와 같이, 16×16 화소에 의해 구성되는 하나의 매크로 블록을, 16×16, 16×8, 8×16 혹은 8×8 중 어느 한 파티션으로 분할하여, 각각 독립한 움직임 벡터 정보를 갖는 것이 가능하다. 또한, 8×8 파티션에 관해서는, 도 2의 하측에 나타내는 대로, 8×8, 8×4, 4×8, 4×4의 어느 한쪽의 서브 파티션으로 분할하여, 각각 독립된 움직임 벡터 정보를 갖는 것이 가능하다. 이 움직임 보상 블록을 단위로서 움직임 예측·보상 처리가 행해진다.
도 3은, 제어 정보 생성부(112)의 주된 구성예를 도시하는 블록도이다.
제어 정보 생성부(112)는, 상술한 바와 같이, 적응 필터 처리부(113)에 있어서 행해지는, 루프 필터인 적응 필터(ALF(Adaptive Loop Filter))에 사용되는 제어 정보를 생성한다. 제어 정보 생성부(112)는, 그 제어 정보로서, 예를 들어 필터 계수, ALF 블록 사이즈, 필터 블록 플래그 및 경계 제어 플래그를 생성한다.
제어 정보 생성부(112)는, 필터 계수 산출부(131), 경계 제어 플래그 생성부(132) 및 블록 정보 생성부(133)를 갖는다.
필터 계수 산출부(131)는, 디블록 필터(111)로부터 공급되는 복호 화상과, 화면 재배열 버퍼(102)로부터 판독된 현재의 입력 화상을 취득하고, 그들로부터, 프레임마다 ALF의 필터 계수를 산출한다.
경계 제어 플래그 생성부(132)는, 프레임에 복수 형성되는 슬라이스의 경계 부근의 화소에 대하여 어떻게 필터 처리를 행할지를 제어하는(필터 처리 방법을 지정하는) 슬라이스 제어 데이터, 예를 들어, 경계 제어 플래그(alf_enable_in_slice_boundary)를 생성한다. 상세에 대해서는 후술한다.
블록 정보 생성부(133)는, 디블록 필터(111)로부터 공급되는 복호 화상과, 필터 계수 산출부(131)에 의해 산출된 필터 계수에 기초하여, ALF 블록 사이즈를 결정하고, 처리 대상 슬라이스내의 각 ALF 블록에 대하여 필터 블록 플래그를 생성한다.
여기서, ALF 블록 및 필터 블록 플래그에 대하여 설명한다. 도 4는, ALF 블록 및 필터 블록 플래그를 설명하는 도면이다.
상술한 바와 같이, 적응 필터는, 프레임마다 필터 계수가 설정된다. 즉, 프레임 단위로 최적인 필터 처리가 행해진다. 그러나, 일반적으로, 프레임 화상은, 전체가 균일하지 않고, 국소적으로 여러가지 특징을 갖고 있다. 그로 인해, 국소적으로는 최적인 필터 계수가 상이하다. 따라서, 상술한 바와 같이 프레임마다 결정되는 필터 계수를 사용한 필터 처리에서는, 프레임 전체에서는 화질을 개선하지만, 국소적으로는 반대로 악화시켜 버릴 우려가 있었다.
따라서, 국소적으로 화질이 악화된 영역에는 필터 처리를 행하지 않도록 하는 BALF(Block based Adaptive Loop Filter)를 생각할 수 있다.
도 4의 A의 프레임(151)은, 디블록 필터 처리 후의 복호 화상을 나타낸다. 블록 정보 생성부(133)는, 도 4의 B에 도시된 바와 같이, 각각이, 국소적으로 행해지는 적응 필터 처리의 제어 단위가 되는 제어 블록인, 복수의 ALF 블록(152)을, 이 프레임(151)의 영역 전체에 깔리도록 간극없이 배치한다. 이 ALF 블록(152)이 배치되는 영역은, 프레임(151)의 영역과 동일하지 않아도 좋지만, 적어도 프레임의 영역 전체를 포함한다. 결과적으로, 프레임(151)의 영역은, 각 ALF 블록(152)의 영역(복수의 영역)으로 분할된다.
블록 정보 생성부(133)는, ALF 블록(152)의 수평 방향의 크기(양쪽 화살표153)와, 수직 방향의 크기(양쪽 화살표(154))를 결정한다. ALF 블록의 크기는, 예를 들어 8×8, 16×16, 24×24, 32×32, 48×48, 64×64, 96×96, 혹은 128×128 중 어느 1개를 슬라이스마다 지정할 수 있다. 또한, 그 ALF 블록의 크기를 지정하는 정보를 블록 사이즈 인덱스라고 칭한다.
블록 사이즈가 결정되면, 프레임 사이즈는 고정이므로, 1 프레임당의 ALF 블록수도 결정된다.
블록 정보 생성부(133)는, 도 4의 C에 도시된 바와 같이, ALF 블록(152)마다, 필터 처리를 행할지의 여부를 제어하는 블록 제어 데이터, 예를 들어, 필터 블록 플래그(155)를 설정한다. 예를 들어, 적응 필터에 의해 화질이 개선되는 영역에 대해서는, 값이 「1」의 필터 블록 플래그(155)가 생성되고, 적응 필터에 의해 화질이 악화된 영역에 대해서는, 값이 「0」의 필터 블록 플래그(155)가 생성된다. 필터 블록 플래그(155)에 있어서, 값 「1」은, 필터 처리를 행하는 것을 나타내는 값이고, 값 「0」은, 필터 처리를 행하지 않는 것을 나타내는 값이다.
적응 필터 처리부(113)는 이 필터 블록 플래그(155)의 값에 기초하여 적응 필터 처리를 제어한다. 예를 들어, 적응 필터 처리부(113)는, 필터 블록 플래그(155)의 값이 「1」의 ALF 블록(152)의 영역에만 필터 처리를 행하고, 필터 블록 플래그(155)의 값이 「0」의 ALF 블록(152)의 영역에는 필터 처리를 행하지 않는다.
또한, 상술한 블록 사이즈 인덱스와 필터 블록 플래그는, 화상 압축 정보의 슬라이스 헤더에 포함할 수 있어, 화상 부호화 장치(100)로부터 화상 복호화 장치에 보내진다. ALF 블록의 수에 따른 1개 이상의 필터 블록 플래그는, 예를 들어 래스터 스캔의 순서로 슬라이스 헤더에 포함할 수 있다.
따라서, ALF 블록의 크기가 작을수록, 보다 잔 필터 제어가 가능하게 되고, 보다 적절한 ALF 필터가 가능하게 된다. 단, ALF 블록의 크기를 작게 하면, 필터 블록 플래그의 비트량이 증가한다. 즉, ALF 블록의 크기가 작을수록, 화상 압축 정보의 부호화 효율이 저감한다. 이와 같이, 적응 필터의 성능과 화상 압축 정보의 부호화 효율은, 상반의 관계에 있다.
ALF 블록의 수는 다음 식(1)과 같이 산출된다.
Figure 112014043808697-pat00001
식(1)에 있어서, NALFBLOCK은, ALF 블록의 수를 나타낸다. 또한, NMBw는, 픽처의 수평 방향의 매크로 블록수를 나타내고, NMBh는, 픽처의 수직 방향의 매크로 북수를 나타낸다. 또한, NSIZE는, ALF 블록의 1변의 크기를 나타낸다. 또한, floor [x]은, x의 소수점 이하를 버리고, 정수로 하는 함수이다.
그런데, H.264/AVC에서는, 1 프레임을 복수 슬라이스로 분할하고, 그 슬라이스마다 화상 압축 정보를 출력하도록 할 수 있다. 도 5는, 멀티슬라이스의 예를 설명하는 도면이다. 도 5의 예의 경우, 프레임(151)은, 슬라이스 0, 슬라이스 1 및 슬라이스 2의 3개의 슬라이스로 분할되어 있다.
이러한 프레임보다 잔 슬라이스 단위로 화상 압축 정보를 출력함으로써, 화상 부호화 장치는, 화상 압축 정보를 보다 짧은 간격으로 생성하고, 출력할 수 있다. 즉, 그 화상 압축 정보를 복호하는 화상 복호 장치는, 보다 조기에 화상 압축 정보의 복호를 개시할 수 있다. 즉, 화상이 입력되고 나서, 부호화 처리 및 복호 처리가 행해지고, 화상이 출력될 때까지의 지연 시간을 짧게 할 수 있다.
BALF에 대하여 기재되어 있는 비특허문헌 2에는, 이 멀티슬라이스에 대하여 개시 되어 있지 않다. 즉, ALF 블록을 프레임 전체에 대하여 설정하는 것밖에 기재 되어 있지 않다. 그러나 멀티슬라이스의 경우, 슬라이스의 경계 부근의 화소에 대하여는, 필터 처리를 통상과 같이 행할 수 없을 경우가 있다.
도 6은, 슬라이스의 경계 부근의 화소에 대한 필터 처리의 모습을 도시하는 도면이다. 적응 필터 처리부(113)는, 처리 대상 화소에 대하여 필터 처리를 행하는 경우, 그 처리 대상 화소 주변의 소정 범위 내의 화소(주변 화소)를 사용하여 행한다. 예를 들어, 도 6의 경우, 처리 대상 화소(161)를 필터 처리하는 경우, 적응 필터 처리부(113)는, 사선 모양으로 나타내는 9×9의 주변 화소(162)를 사용하여 그 필터 처리를 행한다.
단, 도 6에 도시된 바와 같이, 처리 대상 화소(161)는, 슬라이스 경계(163) 부근의 화소이다. 여기서, 슬라이스 경계(163)는, 현재, 처리 대상으로 되는 슬라이스(당해 슬라이스)와, 그 처리 대상 슬라이스에 인접하는 슬라이스(이웃한 슬라이스)의 경계를 나타낸다. 즉, 슬라이스 경계(163)는, 당해 슬라이스의 외측 프레임을 나타낸다.
도 6에 도시된 바와 같이, 그 슬라이스 경계(163) 근방의 처리 대상 화소(161)에 대한 필터 처리에 사용되는 주변 화소(162)는, 그 일부가 슬라이스 경계(163)를 초과하고, 이웃한 슬라이스의 영역에 걸쳐 있다. 즉, 이 처리 대상 화소(161)에 대하여, 예를 들어 도 7의 A에 도시된 바와 같이, 통상의 경우와 마찬가지로 필터 처리를 행하기 위해서는, 이웃한 슬라이스의 화소값이 필요하게 된다.
도 7의 A의 예의 경우, 적응 필터 처리부(113)는, 당해 슬라이스와 이웃한 슬라이스의 양쪽의 화소 AA 내지 화소 JJ를 사용하여 처리 대상 화소인 화소 EE에 대한 필터 처리를 행한다.
그러나, 그러기 위해서는 이웃한 슬라이스의 복호 화상이 생성될 때까지 대기해야 한다. 따라서, 이 경우, 부호화 처리의 지연 시간이 증대할 우려가 있었다.
이에 대해, 예를 들어 도 7의 B에 도시된 바와 같이, 더미 데이터를 생성하여 이용하는 방법이 있다. 도 7의 B의 예의 경우, 적응 필터 처리부(113)는, 화살표로 나타낸 바와 같이, 슬라이스 경계(163)에 접하는 화소 EA 내지 화소 EJ를 복제함으로써, 주변 화소(162)의 이웃한 슬라이스 내의 화소(더미 데이터)를 생성한다. 필터 처리부(113)는, 생성한 더미 데이터를 사용하여 화소 EE에 대한 필터 처리를 행한다.
이와 같이 함으로써, 적응 필터 처리부(113)는, 이웃한 슬라이스의 화소가 생성되는 것을 기다릴 필요가 없어, 도 7의 A의 경우보다도 조기에 화소 EE를 필터 처리할 수 있다.
즉, 인접 슬라이스의 화소를 사용하는 도 7의 A의 방법의 경우, 적응 필터 처리부(113)는, 실제의 데이터를 사용하므로, 실제의 화상의 내용에 의해 적합한 필터 처리를 행할 수 있다. 즉, 필터 처리에 의한 화질의 보다 큰 개선을 기대할 수 있다.
이에 대해 도 7의 B의 방법의 경우, 적응 필터 처리부(113)는, 필터 처리에 이웃한 슬라이스의 데이터를 필요로 하지 않아, 당해 슬라이스의 데이터만으로 처리를 행할 수 있으므로, 보다 조기에 필터 처리를 행할 수 있다.
어느 쪽 방법이 바람직한지는, 시스템의 사양이나 유저 요구 등에 의해 상이하다. 예를 들어, 화질 중시의 시스템이면, 도 7의 A에 나타나는 방법쪽이 바람직하지만, 도 7의 A의 방법은, 도 7의 B의 방법보다 메모리 소비량이 많고, 지연 시간이 더욱 증대할 우려가 있다. 따라서, 시스템에 있어서 사용 가능한 메모리의 용량이나 허용되는 지연 시간의 길이에 따라서는, 도 7의 B의 방법이 더 바람직한 경우도 생각할 수 있다.
경계 제어 플래그는, 이러한 경계 부근의 화소에 대한 필터 처리의 방법을 제어한다.
도 3으로 되돌아가, 경계 제어 플래그 생성부(132)는, 이러한 경계 제어 플래그를 생성한다. 경계 제어 플래그 생성부(132)는, 시스템 사양 관리부(141), 판정부(142) 및 생성부(143)를 갖는다.
시스템 사양 관리부(141)는, 화상 부호화 장치(100)를 포함한, 화상 처리를 행하는 시스템의 사양(하드웨어 자원이나 사용 목적 등)을 관리한다. 예를 들어, 시스템 사양 관리부(141)가, 화상 부호화 장치(100)에 있어서 부호화된 화상 복호 장치의 사양(하드웨어 자원이나 사용 목적 등)도 관리하도록 해도 된다.
판정부(142)는, 처리 대상 화소가 경계 부근의 화소인지 여부를 판정한다. 생성부(143)는, 경계 부근의 화소와 판정된 처리 대상 화소에 대하여 경계 제어 플래그를 생성한다.
도 8은, 도 1의 적응 필터 처리부(113)의 주된 구성예를 도시하는 블록도이다.
적응 필터 처리부(113)는, 제어 정보 생성부(112)로부터 공급되는 제어 정보를 사용하여, 디블록 필터(111)로부터 공급되는 복호 화상에 필터 처리를 행한다.
적응 필터 처리부(113)는, 도 9에 도시된 바와 같이, 제어부(171), 적응 필터(172) 및 선택부(173)를 갖는다.
제어부(171)는, 적응 필터(172) 및 선택부(173)를 제어한다. 예를 들어, 제어부(171)는, 제어 정보 생성부(112)로부터 제어 정보를 취득하고, 그 제어 정보에 기초하여 필터 처리를 제어한다.
적응 필터(172)는, 디블록 필터(111)로부터 공급되는 복호 화상의, 제어부(171)로부터 처리 대상 ALF 블록으로서 지정되는 영역을, 제어부(171)에 의해 설정된 필터 계수를 사용하여 필터 처리한다.
적응 필터(172)는, 버퍼(181), 슬라이스 내용 적응 필터(182), 경계용 제1 적응 필터(183) 및 경계용 제2 적응 필터(184)를 갖는다.
버퍼(181)는, 디블록 필터(111)로부터 공급되는 복호 화상을 일시적으로 유지한다. 버퍼(181)는, 처리 대상 슬라이스뿐만 아니라, 처리 대상 슬라이스에 인접한 슬라이스(이웃한 슬라이스)도 유지할 수 있다.
슬라이스 내용 적응 필터(182)는, 제어부(171)에 제어되고, 주변 화소에 이웃한 슬라이스의 화소가 포함되지 않는, 슬라이스 경계 부근이 아닌 처리 대상 화소에 대한 필터 처리를 행한다. 즉, 슬라이스 내용 적응 필터(182)는, 당해 슬라이스의 화소만을 사용하여 필터 처리를 행한다.
경계용 제1 적응 필터(183)는, 제어부(171)에 제어되고, 주변 화소에 이웃한 슬라이스의 화소가 포함되는, 슬라이스 경계 부근의 처리 대상 화소에 대하여, 슬라이스를 넘는 필터 처리를 행한다. 즉, 경계용 제1 적응 필터(183)는, 도 7의 A에 나타낸 바와 같은 방법으로 당해 슬라이스와 이웃한 슬라이스의 화소를 사용하여 필터 처리를 행한다. 따라서, 경계용 제1 적응 필터(183)는, 버퍼(181)에 이웃한 슬라이스의 화소가 축적되고 나서 필터 처리를 개시한다.
경계용 제2 적응 필터(184)는, 제어부(171)에 제어되고, 주변 화소에 이웃한 슬라이스의 화소가 포함되는 슬라이스 경계 부근의 처리 대상 화소에 대하여, 당해 슬라이스에서 폐쇄한 필터 처리를 행한다. 즉, 경계용 제2 적응 필터(184)는, 도 7의 B에 나타낸 바와 같은 방법으로, 당해 슬라이스의 화소만을 사용하고, 필요에 따라 더미 데이터를 생성하여 필터 처리를 행한다. 따라서, 경계용 제2 적응 필터(184)는, 버퍼(181)에 당해 슬라이스의 화소가 축적되는 대로 필터 처리를 개시한다.
제어부(171)는, 처리 대상 화소의 위치와, 제어 정보에 포함되는 경계 제어 플래그의 값에 따라, 슬라이스 내용 적응 필터(182), 경계용 제1 적응 필터(183) 또는 경계용 제2 적응 필터(184) 중, 어느 하나를 선택하고, 선택한 처리부에, 각자의 방법으로 필터 처리를 실행시킨다.
또한, 제어부(171)는, 버퍼(181)의 화상의 축적 상황에 따라, 선택한 처리부(슬라이스 내용 적응 필터(182), 경계용 제1 적응 필터(183) 또는 경계용 제2 적응 필터(184)의 필터 처리 개시 타이밍을 제어한다.
적응 필터(172)(슬라이스 내용 적응 필터(182), 경계용 제1 적응 필터(183) 또는 경계용 제2 적응 필터(184))는, 필터 처리 결과를 선택부(173)에 공급한다.
선택부(173)는, 제어부(171)에 제어되고, 디블록 필터(111)로부터 공급된 복호 화상(적응 필터 처리되어 있지 않은 복호 화상)과, 적응 필터(172)로부터 공급된 복호 화상(적응 필터 처리된 복호 화상) 중, 어느 한쪽을 선택하고, 프레임 메모리(114)에 공급하여, 참조 화상으로서 축적시킨다.
제어부(171)는, 제어 정보에 포함되는 필터 블록 플래그의 값에 따라, 선택부(173)를 제어하고, 적응 필터 처리되어 있지 않은 복호 화상, 혹은, 적응 필터 처리된 복호 화상 중 어느 한쪽을 선택시킨다.
즉, 적응 필터 처리부(113)는, 디블록 필터(111)로부터 공급되는 복호 화상의, 필터 블록 플래그에 의해 필터 처리를 행하는 것이 나타난 영역(필터 처리에 의해 화질이 개선된다고 판정된 영역)만 필터 처리를 행한다.
[처리의 흐름]
이어서, 이상과 같이 구성되는 각 부를 사용한 처리의 흐름에 대하여 설명한다. 최초로, 화상 부호화 장치(100)에 의해 행해지는 부호화 처리의 흐름의 예를, 도 9의 흐름도를 참조하여 설명한다.
스텝 S101에 있어서, A/D 변환부(101)는 입력된 화상을 A/D 변환한다. 스텝 S102에 있어서, 화면 재배열 버퍼(102)는, A/D 변환된 화상을 기억하고, 각 픽처의 표시하는 순서로부터 부호화하는 순서에 대한 재배열을 행한다.
스텝 S103에 있어서, 연산부(103)는, 스텝 S102의 처리에 의해 재배열할 수 있던 화상과, 예측 화상과의 차분을 연산한다. 예측 화상은, 인터 예측하는 경우에는 움직임 보상부(116)로부터, 인트라 예측하는 경우에는 인트라 예측부(115)로부터, 각각 예측 화상 선택부(118)를 통하여 연산부(103)에 공급된다.
차분 데이터는 원래의 화상 데이터에 비교하여 데이터량이 작아져 있다. 따라서, 화상을 그대로 부호화한 경우에 비교하여, 데이터량을 압축할 수 있다.
스텝 S104에 있어서, 직교 변환부(104)는, 스텝 S103의 처리에 의해 생성된 차분 정보를 직교 변환한다. 구체적으로는, 이산 코사인 변환, 카루넨 루베 변환 등의 직교 변환이 행해져, 변환 계수가 출력된다. 스텝 S105에 있어서, 양자화부(105)는 변환 계수를 양자화한다. 이 양자화 시에는, 후술하는 스텝 S119의 처리에서 설명한 바와 같이 레이트가 제어된다.
이상과 같이 하여 양자화된 차분 정보는, 다음과 같이 하여 국부적으로 복호된다. 즉, 스텝 S106에 있어서, 역양자화부(108)는 양자화부(105)에 의해 양자화된 변환 계수를 양자화부(105)의 특성에 대응하는 특성으로 역양자화한다. 스텝 S107에 있어서, 역직교 변환부(109)는 역양자화부(108)에 의해 역양자화된 변환 계수를 직교 변환부(104)의 특성에 대응하는 특성으로 역직교 변환한다.
스텝 S108에 있어서, 연산부(110)는, 예측 화상 선택부(118)를 통하여 입력되는 예측 화상을 국부적으로 복호된 차분 정보에 가산하고, 국부적으로 복호된 화상(연산부(103)에의 입력에 대응하는 화상)을 생성한다. 스텝 S109에 있어서 디블록 필터(111)는, 연산부(110)로부터 출력된 화상을 필터링한다. 이에 의해 블록 왜곡이 제거된다.
이상의 처리가, 1 슬라이스분 행해지면, 스텝 S110에 있어서, 제어 정보 생성부(112)는, 적응 필터 처리에 사용되는 제어 정보를 생성한다. 제어 정보의 생성 처리의 상세에 대해서는 후술한다.
스텝 S110의 처리에 의해, 필터 계수, ALF 블록 사이즈 및 필터 블록 플래그 등의 제어 정보가 생성되면, 적응 필터 처리부(113)는, 스텝 S111에 있어서, 그 제어 정보를 사용하여, 스텝 S109의 처리에 의해 디블록 필터 처리된 복호 화상에 대하여 적응 필터 처리를 행한다. 이 적응 필터 처리의 상세에 대해서는 후술한다.
스텝 S112에 있어서, 프레임 메모리(114)는, 스텝 S111에 있어서 적응 필터 처리된 화상을 기억한다.
스텝 S113에 있어서, 인트라 예측부(115)는, 인트라 예측 모드의 인트라 예측 처리를 행한다. 스텝 S114에 있어서, 움직임 예측부(117) 및 움직임 보상부(116)는, 인터 예측 모드의 인터 움직임 예측·보상 처리를 행한다.
스텝 S115에 있어서, 예측 화상 선택부(118)는, 처리 대상 프레임의 예측 모드에 따라, 인트라 예측 처리에 의해 생성된 예측 화상 또는, 인터 움직임 예측·보상 처리에 의해 생성된 예측 화상 중, 어느 한쪽을 선택한다. 예측 화상 선택부(118)는, 선택한 예측 화상을 연산부(103) 및 연산부(110)에 공급한다. 이 예측 화상이, 상술한 바와 같이, 스텝 S103 및 스텝 S108의 연산에 이용된다.
스텝 S116에 있어서, 가역 부호화부(106)는 양자화부(105)로부터 출력된 양자화된 변환 계수를 부호화한다. 즉, 차분 화상이 가변장 부호화, 산술 부호화 등의 가역 부호화되어, 압축된다. 이때, 가역 부호화부(106)는, 스텝 S110에 있어서 생성된 제어 정보, 스텝 S113의 인트라 예측 처리의 인트라 예측 모드 정보 및, 스텝 S114의 인터 움직임 예측·보상 처리의 인터 예측 모드 등도 부호화한다.
스텝 S117에 있어서, 가역 부호화부(106)는, 부호화한 제어 정보 등의 메타데이터를 슬라이스 헤더에 매립한다(기술한다). 이 메타데이터는, 화상 복호 시에 판독되어 이용된다. 이렇게 복호 처리에 필요한 메타데이터를 슬라이스 헤더에 포함하는(다중화하는) 것에 의해, 프레임 단위보다 미세한 단위에서의 복호 처리의 실행이 가능하게 되고, 지연 시간의 증대를 억제할 수 있다.
스텝 S118에 있어서 축적 버퍼(107)는, 차분 화상을 압축 화상으로 하여 축적한다. 축적 버퍼(107)에 축적된 압축 화상은, 적절히 판독되어, 전송로를 통하여 복호측에 전송된다.
스텝 S119에 있어서 레이트 제어부(119)는, 축적 버퍼(107)에 축적된 압축 화상에 기초하여, 오버플로우 혹은 언더플로우가 발생하지 않도록, 양자화부(105)의 양자화 동작의 레이트를 제어한다.
이어서, 도 10의 스텝 S110에 있어서 제어 정보 생성부(112)에 의해 실행되는 제어 정보 생성 처리의 흐름의 예를, 도 11의 흐름도를 참조하여 설명한다.
제어 정보 생성 처리가 개시되면, 제어 정보 생성부(112)의 필터 계수 산출부(131)는, 스텝 S131에 있어서, 화면 재배열 버퍼(102)로부터 공급되는 입력 화상과, 디블록 필터(111)로부터 공급되는 디블록 필터 처리된 복호 화상을 사용하여 필터 계수를 산출한다. 예를 들어, 필터 계수 산출부(131)는, 입력 화상과 복호 화상의 잔차가 최소로 되도록 필터 계수의 값을 결정한다.
필터 계수가 산출되면, 경계 제어 플래그 생성부(132)는, 스텝 S132에 있어서, 경계 부근의 화소에 대한 적응 필터 처리 방법을 제어하기 위한 경계 제어 플래그를 생성한다. 상세에 대해서는 후술한다.
경계 제어 플래그가 생성되면, 블록 정보 생성부(133)는, 스텝 S133에 있어서, ALF 블록 사이즈나 필터 블록 플래그를 포함하는 블록 정보를 생성한다. ALF 블록 사이즈는 미리 정해져 있어도 좋고, 화상 내용에 맞춰서 적절히 설정되도록 해도 좋다. 그 경우, 블록 정보 생성부(133)는, 예를 들어 비용 함수를 사용하여 필터 처리 결과를 평가하는 비용값을 산출하고, 그 비용값이 최소로 되도록 ALF 블록 사이즈를 결정한다.
또한, 블록 정보 생성부(133)는, 필터 블록 플래그의 값을, 처리 대상 ALF 블록에 필터 처리를 실시했을 경우에 화질이 개선될지의 여부에 따라 결정한다. 예를 들어, 블록 정보 생성부(133)는, 필터 처리를 실시함으로써 화질이 개선된다고 판정된 경우, 필터 블록 플래그의 값을, 필터 처리를 행하는 것을 나타내는 값 「1」에 설정하고, 필터 처리를 실시함으로써 화질이 악화된다고 판정된 경우, 필터 블록 플래그의 값을, 필터 처리를 행하지 않는 것을 나타내는 값 「0」에 설정한다.
블록 정보가 생성되면, 도 9의 스텝 S110으로 되돌아가, 스텝 S111 이후의 처리가 실행된다.
또한, 스텝 S131에 있어서 행해지는 필터 계수의 산출은, 프레임 단위로 행하도록 해도 좋다. 그 경우, 스텝 S131의 처리는, 프레임 내의 소정의 슬라이스(예를 들어, 프레임 내에서 식별 번호가 소정의 값의(예를 들어 「0」의) 슬라이스, 혹은, 프레임 내에서 최초로 처리되는 슬라이스 등)에 있어서만 행해지고, 그 밖의 슬라이스에 있어서는, 그 값이 유용되도록 해도 좋다. 또한, 필터 계수의 산출에는, 임의의 화상을 이용할 수 있다. 예를 들어, 과거의 프레임 화상에 기초하여 산출하도록 해도 좋다.
이어서, 도 11의 흐름도를 참조하여, 도 10의 스텝 S132에 있어서 실행되는 경계 제어 플래그 설정 처리의 흐름의 예를 설명한다.
경계 제어 플래그 설정 처리가 개시되면, 경계 제어 플래그 생성부(132)의 시스템 사양 관리부(141)는, 스텝 S151에 있어서, 시스템 사양 정보를 취득한다.
이 시스템 사양 정보는, 예를 들어 화상 부호화 장치(100)를 포함하는 시스템의 하드웨어 자원이나 사용 목적 등을 포함하는 정보이다. 하드웨어 자원이란, 시스템을 구성하는 각 장치(화상 부호화 장치(100)를 포함한다)의 하드웨어 자원인 것으로, 예를 들어 처리 능력, 사용 가능한 메모리 용량, 버스의 전송 속도 등을 포함한다. 또한, 사용 목적이란, 시스템 전체 또는 각 장치의 동작 모드인 것으로, 예를 들어 화질 중시로 동작할 것인지, 속도 중시로 동작할 것인지 등을 포함한다. 물론, 시스템 사양 정보가 이들 이외의 정보를 포함하도록 해도 좋다.
이 시스템 사양 정보는, 시스템 사양 관리부(141)에 내장되는 메모리 등에 미리 저장되어 있도록 해도 좋다. 이 경우, 시스템 사양 관리부(141)는, 스텝 S151의 처리에 의해, 그 시스템 사양 정보를 메모리로부터 판독한다. 또한, 스텝 S151의 처리 시에, 시스템 사양 관리부(141)가, 화상 부호화 장치(100)의 각 부나 다른 장치 등으로부터, 상술한 바와 같은 사양 정보를 수집하도록 해도 좋다.
시스템 사양 관리부(141)는, 시스템 사양 정보를 취득하면, 그것을 판정부(142)에 공급한다.
판정부(142)는, 스텝 S152에 있어서, 공급된 시스템 사양 정보(하드웨어 자원이나 사용 목적 등)에 기초하여, 경계 부근의 필터 처리에 다음 슬라이스를 이용할지 여부를 판정한다. 즉, 판정부(142)는, 주변 화소에 이웃한 슬라이스가 포함되는 경계 부근의 화소를 처리 대상 화소로 하는 경우에, 슬라이스를 넘는 필터 처리를 행할 것인지, 혹은, 당해 슬라이스에서 폐쇄한 필터 처리를 행할지를 판정한다.
예를 들어, 판정부(142)는, 지연 시간의 증대가 허용되고, 또한, 화상 부호화 장치(100)나 화상 복호 장치 등에 있어서 사용 가능한 메모리 용량이 충분할 경우, 슬라이스를 넘는 필터 처리를 선택한다. 또한, 예를 들어 판정부(142)는, 지연 시간의 증대가 허용되지 않거나, 시스템의 각 장치의 하드웨어 자원이 충분하지 않거나 하는 경우, 당해 슬라이스에서 폐쇄한 필터 처리를 선택한다.
다음의 슬라이스를 이용하는, 즉, 슬라이스를 넘는 필터 처리를 행한다고 판정된 경우, 스텝 S153으로 진행한다. 스텝 S153에 있어서, 생성부(143)는, 값 「1」의 경계 제어 플래그를 생성한다.
또한, 다음의 슬라이스를 이용하지 않는, 즉, 당해 슬라이스에서 폐쇄한 필터 처리를 행하면 판정된 경우, 스텝 S154로 진행한다. 스텝 S154에 있어서, 생성부(143)는, 값 「0」의 경계 제어 플래그를 생성한다.
생성부(143)는, 경계 제어 플래그를 생성하면, 그것을 적응 필터 처리부(113)이나 가역 부호화부(106)에 공급한다. 가역 부호화부(106)는, 생성부(143)로부터 공급된 경계 제어 플래그를 제어 정보로서 부호화하고, 당해 슬라이스의 슬라이스 헤더 등에 매립한다. 적응 필터 처리부(113)는, 생성부(143)로부터 공급된 경계 제어 플래그를 사용하여 적응 필터 처리를 제어한다.
스텝 S153 또는 스텝 S154의 처리가 종료되면, 경계 제어 플래그 설정 처리가 종료되어, 도 10의 스텝 S132로 되돌아가, 스텝 S133 이후의 처리가 행해진다.
이어서, 도 12의 흐름도를 참조하여, 도 9의 스텝 S111에 있어서 실행되는 적응 필터 처리의 흐름의 예를 설명한다.
적응 필터 처리가 개시되면, 버퍼(181)는, 스텝 S171에 있어서, 디블록 필터(111)로부터, 처리 대상 슬라이스의 복호 화상을 취득한다. 처리 대상 슬라이스가 취득되면, 스텝 S172에 있어서, 제어부(171)는, 그 처리 대상 슬라이스의 영역을 특정한다.
처리 대상인 당해 슬라이스의 영역을 알기 위해서는, 당해 슬라이스에 포함되어 있는 매크로 블록을 알고, 거기에서 그 매크로 블록에 포함되는 화소를 아는 것으로 알았다. 제어부(171)는, 슬라이스 헤더로부터 당해 슬라이스의 선두 매크로 블록 어드레스를 얻는다.
여기서 선두 매크로 블록 어드레스란, 화면의 좌측 상단부터 래스터 스캔 순서로 매크로 블록에 대하여 붙여진 번호이다. 도 5에 도시된 바와 같이, 화상(프레임(151))의 좌측 상단의 매크로 블록 어드레스는 0이 된다. 슬라이스 0은, 프레임(151)의 좌측 상단으로부터 개시되어 있으므로, 슬라이스 0의 선두 매크로 블록156-1의 매크로 블록 어드레스는 0이 된다. 이 순서에 따라 슬라이스 0의 최종 매크로 블록 156-2의 매크로 블록 어드레스를 E0으로 한다. 또한, 이 슬라이스 0과 마찬가지로, 슬라이스1의 선두 매크로 블록 157-1의 매크로 블록 어드레스를 S1로 하고, 최종 매크로 블록 157-2의 매크로 블록 어드레스를 E1로 한다. 또한, 슬라이스2의 선두 매크로 블록158-1의 매크로 블록 어드레스를 S2로 하고, 최종 매크로 블록 158-2의 매크로 블록 어드레스를 E2로 한다.
당해 슬라이스를 디코드해 가면, 1개의 매크로 블록의 디코드 처리가 완료할 때마다 매크로 블록 어드레스는 1 추가되어 가고, 드디어 당해 슬라이스의 최종 매크로 북에 도달한다. 최종 매크로 블록에는 슬라이스의 마지막 매크로 블록인 플래그가 세트되어 있다. 이들에 의해, 당해 슬라이스가 보유하고 있는 매크로 블록 어드레스를 모두 알 수 있었다. 즉, 선두 매크로 블록 어드레스로부터, 최종 매크로 블록 어드레스까지가 된다.
그런데, 1 프레임의 화상 크기는, AVC 스트림(화상 압축 정보)의 시퀀스·파라미터·세트(SPS(Sequence Parameter Set))에 있어서, 매크로 블록의 수에 의해 나타난다. pic_height_in_map_units_minus1은, 화상의 세로 방향의 매크로 블록수를 나타낸다. pic_width_in_mbs_minus1은, 화상의 가로 방향의 매크로 블록수를 나타낸다.
따라서, 매크로 블록 어드레스로부터 그 매크로 블록의 위치는, 이하의 식(2) 및 식(3)으로 나타난다.
Figure 112014043808697-pat00002
Figure 112014043808697-pat00003
식(2) 및 식(3)에 있어서, mbx는, 매크로 블록이 좌측으로부터 몇 번째인가를 나타내고, mby는, 매크로 블록이 위에서부터 몇 번째인가를 나타낸다. 또한, floor [z]는, z의 소수점 이하를 잘라서 정수로 하고, A%B는, A를 B로 나눈 나머지 수를 나타낸다.
매크로 블록의 크기는 16×16 화소로 정해져 있다고 하면, 매크로 블록의 좌측 상단의 화소의 세로 방향 및 가로 방향의 위치는, (16×mbx, 16×mby)가 되고, 그 매크로 블록에 포함되는 화소는, 그 좌측 상단의 화소 위치로부터 하측 방향에 16 화소 및 우측 방향에 16 화소의 범위에 포함되는 화소가 된다. 여기까지에서, 당해 슬라이스의 화소를 모두 알 수 있었다. 즉, 처리 대상 슬라이스의 영역이 특정된다.
스텝 S173에 있어서, 제어부(171)는, 제어 정보 생성부(112)에 있어서 생성된 필터 블록 플래그를 1개 취득한다.
스텝 S174에 있어서, 제어부(171)는, 미처리의 ALF 블록 중에서 1개를, 처리 대상 ALF 블록으로 결정한다. 이 ALF 블록의 선택순은, 미리 정해져 있고, 제어 정보 생성부(112)에 있어서의 선택순과 공통이다. 또한, 제어부(171)는, 결정한 처리 대상 ALF 블록의 영역을 특정한다.
프레임의 화상 크기는 미리 정해져 있으므로, ALF 블록 사이즈가 결정되면, 프레임의 좌측 상단을 원점으로 하여 ALF 블록을 깔기 위해 필요한 ALF 블록의 수(프레임 내 ALF 블록수)도 산출할 수 있다. ALF 블록의 세로 방향의 크기(화소수)와 가로 방향의 크기(화소수)의 설정값은 미리 준비되어 있으므로, 제어부(171)는, 그 설정값을 따라서 각 ALF 블록의 크기와 ALF 블록수를 결정하고, ALF 블록을 복호 화상에 대하여 배치한다.
또한, ALF 블록의 수는, 이하의 식(4) 및 식(5)에 의해 산출된다.
Figure 112014043808697-pat00004
Figure 112014043808697-pat00005
식(4) 및 식(5)에 있어서, num_alf_block_x 및 num_alf_block_y는, 각각, 화상에 포함되는 ALF 블록의 가로와 세로의 수이다. 또한, alf_block_size는, ALF 블록의 1변의 크기를 나타낸다. 여기에서는 설명의 간략화 때문에, ALF 블록은 정사각형인 것으로 한다. 물론, ALF 블록의 세로 방향의 크기와 가로 방향의 크기가 서로 상이하도록 해도 좋다.
i번째의 ALF 블록의 위치는, 이하의 식(6) 및 식(7)로 나타낸다.
Figure 112014043808697-pat00006
Figure 112014043808697-pat00007
식(6) 및 식(7)에 있어서, alf_block_x와 alf_block_y는, 각각, i번째의 ALF 블록이 가로 방향과 세로 방향에 몇 번째일지를 나타내고 있다. i번째의 ALF 블록의 좌측 상단의 화소의 위치는, alf_block_x와 aof_block_y 각각에, alf_block_size를 곱한 위치가 된다. 즉, 가로 방향은 16×alf_block_x가 되고, 세로 방향은 16×alf_block_y가 된다. 따라서, i번째의 ALF 블록의 영역은, 좌측 상단의 그 화소로부터 alf_block_size×alf_block_size의 범위가 된다.
스텝 S175에 있어서, 제어부(171)는, 이상과 같이 특정된 처리 대상 ALF 블록의 영역 내에, 처리 대상 슬라이스의 영역이 포함되는지의 여부를 판정한다. 처리 대상 슬라이스의 영역을 포함한다고 판정된 경우, 스텝 S176으로 진행한다.
스텝 S176에 있어서, 제어부(171)는, 필터 블록 플래그의 값이 1인지의 여부를 판정한다. 필터 블록 플래그의 값이 1이며, 처리 대상 ALF 블록의 영역에 대하여 필터 처리를 행하도록 지시되어 있는 경우, 선택부(173)가 적응 필터(172)의 출력을 선택하도록 제어하고, 스텝 S177로 진행한다. 스텝 S177에 있어서, 제어부(171)는, 미처리의 화소로부터 예를 들어 래스터 스캔순 등의 소정순으로 처리 대상 화소를 선택한다.
스텝 S178에 있어서, 제어부(171)는, 선택된 처리 대상 화소의 필터 처리에 이웃한 슬라이스의 화소가 필요한지의 여부를 판정한다. 처리 대상 화소의 주변 화소에 이웃한 슬라이스의 화소가 포함되어 있고, 처리 대상 화소가 슬라이스 경계 부근의 화소라고 판정된 경우, 스텝 S179로 진행한다.
스텝 S179에 있어서, 제어부(171)는, 제어 정보 생성부(112)에서 취득한 제어 정보에 포함되는 경계 제어 플래그의 값이 「1」인지의 여부를 판정한다. 경계 제어 플래그의 값이 「1」이라고 판정된 경우, 스텝 S180으로 진행한다.
스텝 S180에 있어서, 제어부(171)는, 적응 필터로서 경계용 제1 적응 필터(183)를 선택하고, 그 경계용 제1 적응 필터(183)에, 도 7의 A에 도시된 바와 같이 슬라이스를 넘는 필터 처리를 실행시킨다. 스텝 S180의 처리가 종료하면, 스텝 S183으로 진행한다.
또한, 스텝 S179에 있어서, 경계 제어 플래그의 값이 「0」이라고 판정된 경우, 스텝 S181로 진행한다.
스텝 S181에 있어서, 제어부(171)는, 적응 필터로서 경계용 제2 적응 필터(184)를 선택하고, 그 경계용 제2 적응 필터(184)에, 도 7의 B에 도시된 바와 같이 당해 슬라이스에서 폐쇄한 필터 처리를 실행시킨다. 스텝 S181의 처리가 종료하면, 스텝 S183으로 진행한다.
또한, 스텝 S178에 있어서, 처리 대상 화소가 슬라이스 경계 부근의 화소가 아니라고 판정된 경우, 스텝 S182로 진행한다.
스텝 S182에 있어서, 제어부(171)는, 적응 필터로서 슬라이스 내용 적응 필터(182)를 선택하고, 그 슬라이스 내용 적응 필터(182)에, 통상의, 당해 슬라이스의 화소만을 사용한 필터 처리를 실행시킨다. 스텝 S182의 처리가 종료하면, 스텝 S183으로 진행한다.
또한, 스텝 S176에 있어서, 필터 블록 플래그의 값이 「0」이라고 판정된 경우, 스텝 S183으로 진행한다. 또한, 스텝 S175에 있어서, 처리 대상 ALF 블록이 처리 대상 슬라이스의 영역을 포함하지 않는다고 판정된 경우, 스텝 S183으로 진행한다.
스텝 S183에 있어서, 제어부(171)는, 처리 대상 ALF 블록 내의 모든 화소를 처리했는지의 여부를 판정한다. 미처리의 화소가 존재한다고 판정된 경우, 스텝 S177로 되돌아가, 그 이후의 처리가 반복된다.
또한, 스텝 S183에 있어서, 처리 대상 ALF 블록 내의 모든 화소가 처리되었다고 판정된 경우, 스텝 S184로 진행한다.
스텝 S184에 있어서, 제어부(171)는, 프레임 내의 모든 ALF 블록을 처리했는지의 여부를 판정한다. 미처리의 ALF 블록이 존재한다고 판정된 경우, 스텝 S173으로 되돌아가, 그 이후의 처리가 반복된다. 또한, 스텝 S184에 있어서, 모든 ALF 블록이 처리되었다고 판정된 경우, 적응 필터 제어 처리가 종료되어, 도 9의 스텝 S111로 되돌아가, 스텝 S112 이후의 처리가 행해진다.
또한, 스텝 S180 내지 스텝 S182에 있어서 행해지는, 각 처리 대상 화소에 대한 필터 처리는, 각각 적응 필터 제어 처리와는 다른 태스크로서 독립하여 실행된다. 즉, 스텝 S180 내지 스텝 S182에 있어서, 적응 필터 처리의 실행이 지정되면, 그 적응 필터 처리는 적절히 실행된다. 즉, 이들의 적응 필터 처리는, 적응 필터 제어 처리나 다른 화소에 대한 적응 필터 처리와 병행하여 실행할 수 있다.
도 13 및 도 14의 흐름도를 참조하여, 이들의 필터 처리에 대하여 설명한다. 우선, 도 13의 흐름도를 참조하여, 경계용 제1 적응 필터(183)에 의해 실행되는 필터 처리의 흐름의 예를 설명한다.
도 12의 스텝 S180에 있어서 실행이 지시되는 슬라이스를 넘는 필터 처리의 실행이 지시되면, 경계용 제1 적응 필터(183)는, 스텝 S201에 있어서, 버퍼(181)를 감시하고, 처리 대상 화소의 주변 영역의 화소가 모두 정렬된 것인가 여부를 판정하고, 정렬될 때까지 대기한다. 이 주변 영역의 화소(즉, 주변 화소)란, 이웃한 슬라이스의 화소도 포함한다. 버퍼(181)에 주변 화소가 모두 정렬되었다고 판정된 경우, 스텝 S202로 진행한다.
경계용 제1 적응 필터(183)는, 스텝 S202에 있어서, 버퍼(181)로부터 주변 영역의 화소(주변 화소)를 취득하고, 스텝 S203에 있어서, 그 주변 화소와, 제어부(171)에 설정된 필터 계수를 사용하여, 처리 대상 화소의 필터 처리를 행한다. 필터 처리가 종료하면, 경계용 제1 적응 필터(183)는, 필터 처리 결과를 선택부(173)에 공급하고, 필터 처리를 종료한다.
선택부(173)는, 필터 블록 플래그의 값이 「1」인 경우, 그 필터 처리 결과를 선택하고, 필터 처리된 복호 화상으로 하고, 프레임 메모리(114)에 공급하여, 축적시킨다.
이어서, 도 14의 흐름도를 참조하여, 경계용 제2 적응 필터(184)에 의해 실행되는 필터 처리의 흐름의 예를 설명한다.
도 12의 스텝 S181에 있어서 실행이 지시되는 당해 슬라이스에서 폐쇄한 필터 처리의 실행이 지시되면, 경계용 제2 적응 필터(184)는, 스텝 S221에 있어서, 버퍼(181)에 이미 유지되어 있는 당해 슬라이스에 위치하는 주변 화소를 복제하고, 이웃한 슬라이스에 위치하는 주변 화소의 더미 데이터를 생성한다.
더미 데이터를 생성하면, 경계용 제2 적응 필터(184)는, 스텝 S212에 있어서, 더미 데이터를 포함하는 주변 화소와, 제어부(171)에 설정된 필터 계수를 사용하여, 처리 대상 화소의 필터 처리를 행한다. 필터 처리가 종료하면, 경계용 제2 적응 필터(184)는, 필터 처리 결과를 선택부(173)에 공급하고, 필터 처리를 종료한다.
선택부(173)는, 필터 블록 플래그의 값이 「1」인 경우, 그 필터 처리 결과를 선택하고, 필터 처리된 복호 화상으로 하고, 프레임 메모리(114)에 공급하여, 축적시킨다.
이상과 같이 경계 제어 플래그의 값에 기초하여, 경계 부근의 화소에 대한 필터 처리의 방법을 복수의 방법 중에서 적절히 선택함으로써, 적응 필터 처리부(113)는, 부호화 시의 필터 처리의 국소적인 제어에 의한 필터 처리 효과의 저감을 억제할 수 있다. 예를 들어, 슬라이스를 걸치도록 필터 처리를 행함으로써, 적응 필터 처리부(113)는, 필터 처리 결과의 화질을 향상시킬 수 있다. 또한, 예를 들어 당해 슬라이스에서 폐쇄한 필터 처리를 행함으로써, 적응 필터 처리부(113)는, 저 지연으로 필터 처리를 행할 수 있다.
이때, 적응 필터 처리부(113)는, 시스템 사양 정보에 기초하여 정해진 경계 제어 플래그에 기초하여 필터 처리 방법을 선택하므로, 처리를 파탄시키지 않고 필터 처리를 행할 수 있다.
또한, 경계 제어 플래그 생성부(132)는, 시스템 사양 정보에 기초하여 경계 제어 플래그를 설정함으로써, 적응 필터 처리부(113)에, 효과의 저감을 억제하도록 필터 처리를 실행시킬 수 있다.
즉, 화상 부호화 장치(100)는, 부호화 시의 필터 처리의 국소적인 제어에 의한 필터 처리 효과의 저감을 억제할 수 있다.
또한, 가역 부호화부(106)는, 경계 제어 플래그를 부호화하고, 화상 압축 정보에 부가한다(예를 들어 슬라이스 헤더에 매립한다). 따라서, 화상 부호화 장치(100)는, 화상 부호화 장치(100)가 출력하는 화상 압축 정보를 복호하는 화상 복호 장치에, 복호 시에 행해지는 필터 처리의 국소적인 제어에 의한 필터 처리 효과의 저감을 억제시킬 수 있다.
또한, 여기에서 「부가하는」이란, 임의의 형태에서 경계 제어 플래그를 화상 압축 정보에 관련시키는 것을 나타낸다. 예를 들어, 화상 압축 정보의 구문으로서 기술하도록 해도 좋고, 유저 데이터로서 기술하도록 해도 좋다. 또한, 경계 제어 플래그를 메타데이터로서 화상 압축 정보와 링크된 상태로 하도록 해도 좋다. 즉, 「부가」는, 「매립」, 「기술」, 「다중화」 및 「연결」 등을 포함한다.
또한, 이상에 있어서는, 슬라이스 경계 부근의 화소에 대하여, 슬라이스를 넘는 필터 처리, 혹은, 당해 슬라이스에서 폐쇄한 필터 처리를 행하도록 설명했지만, 이외의 방법으로 필터 처리를 행하도록 해도 좋다. 또한, 예를 들어 당해 슬라이스에서 폐쇄한 필터 처리 대신에 필터 처리를 생략하도록 해도 좋다.
또한, 슬라이스 경계 부근의 화소에 대한 필터 처리 방법은, 복수 준비되어 있으면 좋고, 3종류 이상의 방법이 선택지로 하여 준비되도록 해도 좋다. 그 경우, 경계 제어 플래그의 비트수는 2비트 이상 필요하다. 또한, 경계 제어 플래그의 비트수는 임의이다. 단, 이 비트수가 적을수록, 화상 압축 정보의 부호화 효율의 저감이 억제되므로, 불필요에 비트수를 증대시키는 것은 바람직하지 않다.
<2. 제2 실시 형태>
[디바이스의 구성]
이어서, 제1 실시 형태에 있어서 설명한 화상 부호화 장치(100)에 대응하는 화상 복호 장치에 대하여 설명한다. 도 15는, 본 발명을 적용한 화상 처리 장치로서의 화상 복호 장치의 일 실시 형태의 구성예를 도시하는 블록도이다.
화상 복호 장치(200)는, 화상 부호화 장치(100)로부터 출력되는 화상 압축 정보를 복호하여, 복호 화상을 생성한다.
화상 복호 장치(200)는, 축적 버퍼(201), 가역 복호부(202), 역양자화부(203), 역직교 변환부(204), 연산부(205) 및 디블록 필터(206)를 갖는다. 화상 복호 장치(200)는, 적응 필터 처리부(207)를 더 갖는다. 화상 복호 장치(200)는, 화면 재배열 버퍼(208) 및 D/A(Digital/Analog l) 변환부(209)를 더 갖는다. 화상 복호 장치(200)는, 프레임 메모리(210), 인트라 예측부(211), 움직임 보상부(212) 및 선택부(213)를 더 갖는다.
축적 버퍼(201)는, 전송되어 온 화상 압축 정보를 축적한다. 가역 복호부(202)는, 축적 버퍼(201)로부터 공급된 도 1의 가역 부호화부(106)에 의해 부호화된 정보를, 가역 부호화부(106)의 부호화 방식에 대응하는 방식으로 복호한다.
당해 매크로 블록이 인트라 부호화된 것인 경우, 가역 복호부(202)는, 화상 압축 정보의 헤더부에 저장된 인트라 예측 모드 정보를 복호하고, 그 정보를 인트라 예측부(211)에 전송한다. 또한, 당해 매크로 블록이 인터 부호화된 것인 경우, 가역 복호부(202)는, 화상 압축 정보의 헤더부에 저장된 움직임 벡터 정보를 복호하고, 그 정보를 움직임 보상부(212)에 전송한다.
또한, 가역 복호부(202)는, 화상 압축 정보의 슬라이스 헤더로부터, 적응 필터용의 제어 정보(제어 정보 생성부(112)에 의해 생성된 제어 정보)를 추출하여 복호하고, 그 정보를 적응 필터 처리부(207)에 공급한다.
역양자화부(203)는 가역 복호부(202)에 의해 복호된 화상을, 도 1의 양자화부(105)의 양자화 방식에 대응하는 방식으로 역양자화한다. 역직교 변환부(204)는, 도 1의 직교 변환부(104)의 직교 변환 방식에 대응하는 방식으로 역양자화부(203)의 출력을 역직교 변환한다.
연산부(205)는, 역직교 변환된 차분 정보에, 선택부(213)로부터 공급되는 예측 화상을 가산하고, 복호 화상을 생성한다. 디블록 필터(206)는, 그 가산 처리되어서 생성된 복호 화상의 블록 왜곡을 제거한다.
적응 필터 처리부(207)는, 가역 복호부(202)로부터 공급된 제어 정보에 포함되는 필터 계수, ALF 블록 사이즈, 필터 블록 플래그 및 경계 제어 플래그 등의 정보에 기초하여, 디블록 필터(206)로부터 공급되는 화상에 대하여 필터 처리를 행한다. 적응 필터 처리부(207)는, 도 1의 적응 필터 처리부(113)와 같은 적응 필터 처리를 행한다. 이에 의해, 적응 필터 처리부(207)는, 디블록 필터(206)에서는 전부 취할 수 없었던 블록 왜곡이나 양자화에 의한 왜곡을 저감할 수 있다.
적응 필터 처리부(207)는, 필터 처리 후의 화상을 프레임 메모리(210)에 공급하고, 참조 화상 정보로서 축적시킴과 동시에, 화면 재배열 버퍼(208)에 출력한다.
화면 재배열 버퍼(208)는, 화상의 재배열을 행한다. 즉, 도 1의 화면 재배열 버퍼(102)에 의해 부호화의 순서를 위하여 나란히 정리할 수 있었던 프레임의 순서가, 원래의 표시의 순서대로 나란히 정리할 수 있다. D/A 변환부(209)는, 화면 재배열 버퍼(208)로부터 공급된 화상을 D/A 변환하여, 출력한다. 예를 들어, D/A 변환부(209)는, D/A 변환하여 얻어진 출력 신호를 도시하지 않은 디스플레이에 출력하고, 화상을 표시시킨다.
인트라 예측부(211)는, 당해 프레임이 인트라 부호화된 것인 경우, 가역 복호부(202)로부터 공급되는 정보에 기초하여, 예측 화상을 생성하고, 생성한 예측 화상을, 선택부(213)에 출력한다.
움직임 보상부(212)는, 당해 프레임이 인터 부호화된 것인 경우, 가역 복호부(202)로부터 공급된 움직임 벡터 정보에 기초하여, 프레임 메모리(210)에 저장된 참조 화상 정보에 대하여 움직임 보상 처리를 행한다.
선택부(213)는, 당해 매크로 블록이 인트라 부호화된 것인 경우, 인트라 예측부(211)에 접속하고, 인트라 예측부(211)로부터 공급되는 화상을 예측 화상으로서 연산부(205)에 공급한다. 또한, 당해 매크로 블록이 인터 부호화된 것인 경우, 선택부(213)는, 움직임 보상부(212)에 접속하고, 움직임 보상부(212)로부터 공급되는 화상을 예측 화상으로서 연산부(205)에 공급한다.
[처리의 흐름]
도 16의 흐름도를 참조하여, 이 화상 복호 장치(200)가 실행하는 복호 처리의 흐름의 예를 설명한다.
스텝 S301에 있어서, 축적 버퍼(201)는 전송되어 온 화상을 축적한다. 가역 복호부(202)는, 스텝 S302에 있어서, 화상 압축 정보의 슬라이스 헤더로부터 적응 필터 처리용의 제어 정보를 추출하고, 스텝 S303에 있어서 복호한다. 복호된 제어 정보는, 적응 필터 처리부(207)에 공급된다.
또한, 스텝 S303에 있어서, 가역 복호부(202)는, 축적 버퍼(201)로부터 공급되는 압축 화상을 복호한다. 즉, 도 1의 가역 부호화부(106)에 의해 부호화된 I 픽처, P 픽처, 및 B 픽처가 복호된다.
이때, 움직임 벡터 정보, 참조 프레임 정보, 예측 모드 정보(인트라 예측 모드 또는 인터 예측 모드를 나타내는 정보) 등도 복호된다.
즉, 예측 모드 정보가 인트라 예측 모드 정보인 경우, 예측 모드 정보는, 인트라 예측부(211)에 공급된다. 예측 모드 정보가 인터 예측 모드 정보인 경우, 예측 모드 정보와 대응하는 움직임 벡터 정보 및 참조 프레임 정보는, 움직임 보상부(212)에 공급된다.
스텝 S304에 있어서, 역양자화부(203)는, 스텝 S302에 있어서 복호된 변환 계수를, 도 1의 양자화부(105)의 특성에 대응하는 특성으로 역양자화한다. 스텝 S305에 있어서 역직교 변환부(204)는, 스텝 S204의 처리에 의해 역양자화된 변환 계수를, 도 1의 직교 변환부(104)의 특성에 대응하는 특성으로 역직교 변환한다. 이에 의해 도 1의 직교 변환부(104)의 입력(연산부(103의 출력)에 대응하는 차분 정보가 복호되게 된다.
스텝 S306에 있어서, 연산부(205)는, 후술하는 스텝 S212의 처리에서 선택되는 예측 화상을 차분 정보와 가산한다. 이에 의해 원의 화상이 복호된다. 스텝 S307에 있어서, 디블록 필터(206)는, 연산부(205)로부터 출력된 화상을 필터링한다. 이에 의해 블록 왜곡이 제거된다.
스텝 S308에 있어서, 적응 필터 처리부(207)는, 디블록 필터 처리된 화상에, 또한 적응 필터 처리를 실시하기 위한 적응 필터 제어 처리를 행한다. 이 적응 필터 제어 처리는, 도 1의 적응 필터 처리부(113)가 행하는 처리와 마찬가지이다. 즉, 이 적응 필터 제어 처리는, 가역 복호부(202)로부터 공급된 제어 정보를 사용하는 것 이외에, 도 12의 흐름도를 참조하여 설명한 경우와 마찬가지로 행해진다. 단, 이 가역 복호부(202)로부터 공급되는 제어 정보도, 도 1의 제어 정보 생성부(112)가 생성한 것이며, 실질적으로 도 1의 적응 필터 처리부(113)가 이용하는, 제어 정보 생성부(112)로부터 공급되는 제어 정보와 동등하다.
이 적응 필터 제어 처리에 의해, 디블록킹 필터 처리에 의해 전부 취할 수 없었던 블록 왜곡이나 양자화에 의한 왜곡을 저감할 수 있다.
스텝 S309에 있어서, 프레임 메모리(210)는, 필터링된 화상을 기억한다.
인트라 예측 모드 정보가 공급된 경우, 인트라 예측부(211)는, 스텝 S310에 있어서, 인트라 예측 모드의 인트라 예측 처리를 행한다. 또한, 인터 예측 모드 정보가 공급된 경우, 움직임 보상부(212)는, 스텝 S311에 있어서, 인터 예측 모드의 움직임 보상 처리를 행한다.
스텝 S312에 있어서, 선택부(213)는, 예측 화상을 선택한다. 즉, 인트라 예측부(211)에 의해 생성된 예측 화상 또는 움직임 보상부(212)에 의해 생성된 예측 화상 중 어느 한쪽을 선택하고, 선택한 예측 화상을 연산부(205)에 공급한다.
예를 들어, 인트라 부호화된 화상의 경우, 선택부(213)는, 인트라 예측부(211)에 의해 생성된 예측 화상을 선택하여, 연산부(205)에 공급한다. 또한, 인터 부호화된 화상의 경우, 선택부(213)는, 움직임 보상부(212)에 의해 생성된 예측 화상을 선택하여, 연산부(205)에 공급한다.
스텝 S313에 있어서, 화면 재배열 버퍼(208)는, 재배열을 행한다. 즉, 도 1의 화상 부호화 장치(100)의 화면 재배열 버퍼(102)에 의해 부호화를 위하여 나란히 정리할 수 있었던 프레임의 순서가, 원래의 표시의 순서로 나란히 정리할 수 있다.
스텝 S314에 있어서, D/A 변환부(209)는, 화면 재배열 버퍼(208)로부터의 화상을 D/A 변환한다. 이 화상이 도시하지 않은 디스플레이에 출력되어, 화상이 표시된다.
이와 같이, 화상 복호 장치(200)는, 가역 복호부(202)가, 화상 부호화 장치(100)로부터 공급된 제어 정보를 추출하여 복호하고, 적응 필터 처리부(207)가, 그 제어 정보를 사용하여, 화상 부호화 장치(100)의 적응 필터 처리부(113)와 마찬가지로, 적응 필터 제어 처리(및 필터 처리)를 행한다.
이상과 같이 적응 필터 제어 처리를 행함으로써, 적응 필터 처리부(207)는, 복호 시의 필터 처리의 국소적인 제어에 의한 필터 처리 효과의 저감을 억제할 수 있다.
따라서, 화상 복호 장치(200)는, 복호 시에 행해지는 필터 처리의 국소적인 제어에 의한 필터 처리 효과의 저감을 억제할 수 있다.
<3. 제3 실시 형태>
[화상 처리 시스템]
또한, 이상에 있어서는, 제어 정보 생성부(112)의 시스템 사양 관리부(141)가, 시스템 사양 정보를 유지 또는 수집하도록 설명했지만, 이 시스템 사양 정보에 화상 복호 장치의 사양 정보를 포함하도록 해도 좋다.
이 경우, 화상 복호 장치의 사양 정보를 화상 부호화 장치가 미리 파악하지 않고 있을 때는, 예를 들어 화상 부호화 장치와 화상 복호 장치를 통신 가능하게 접속할 때 등, 소정의 타이밍에 있어서, 화상 부호화 장치가 화상 복호 장치의 사양 정보를 수집할 필요가 있다. 이때, 화상 부호화 장치는, 화상 복호 장치와 통신을 행하여, 화상 복호 장치로부터 사양 정보를 취득해도 좋고, 예를 들어 유저에 의해 입력된 사양 정보를 취득하도록 해도 좋다.
여기서, 도시하지 않은 화상 처리 시스템은, 도 17에 도시하는 화상 부호화 장치(300)와 도 18에 도시하는 화상 복호 장치(400)가 네트워크 등의 통신 매체를 통하여 통신 가능하게 접속되는 시스템이다. 이하에, 각 장치의 구성에 대하여 설명한다.
도 17은, 본 발명을 적용한 화상 처리 장치로서의 화상 부호화 장치의 다른 예를 나타내는 블록도이다.
도 17에 도시하는 화상 부호화 장치(300)는, 기본적으로 도 1의 화상 부호화 장치(100)와 마찬가지의 장치이며, 화상 부호화부(301)를 갖는다.
화상 부호화부(301)의 구성은, 화상 부호화 장치(100)의 구성과 마찬가지이며, A/D 변환부(101) 내지 레이트 제어부(119)를 갖고, 제1 실시 형태에서 설명한 경우와 마찬가지로 동작한다.
화상 부호화 장치(300)는, 이 화상 부호화부(301) 이외에, 입력부(302), 통신부(303) 및 정보 수집부(304)를 더 갖는다.
입력부(302)는, 유저 등의 조작을 접수한다. 통신부(303)는, 화상 복호 장치(400)와 네트워크 등을 통하여 통신을 행한다. 정보 수집부(304)는, 입력부(302)를 통하여 입력된 화상 복호 장치(400)의 사양 정보, 혹은, 통신부(303)를 통하여 화상 복호 장치(400)로부터 공급된 사양 정보를 수집한다. 정보 수집부(304)는, 수집한 사양 정보를 제어 정보 생성부(112)의 시스템 사양 관리부(141)에 공급한다.
도 18은, 본 발명을 적용한 화상 처리 장치로서의 화상 복호 장치의 다른 예를 도시하는 블록도이다.
도 18에 도시하는 화상 복호 장치(400)는, 기본적으로 도 15의 화상 복호 장치(200)와 마찬가지의 장치이며, 화상 복호부(401)를 갖는다.
화상 복호부(401의 구성은, 화상 복호 장치(200)의 구성과 마찬가지이며, 축적 버퍼(201) 내지 선택부(213)를 갖고, 제2 실시 형태에서 설명한 경우와 마찬가지로 동작한다.
화상 복호 장치(400)는, 이 화상 복호부(401) 이외에, 또한, 정보 제공부(402) 및 통신부(403)를 갖는다.
정보 제공부(402)는, 화상 복호 장치(400)의 사양 정보를 갖고 있으며, 화상 부호화 장치(300)로부터의 요구에 기초하여, 그 사양 정보를 제공한다. 통신부(403)는, 화상 부호화 장치(300)와 네트워크 등을 통하여 통신을 행한다. 통신부(403)는, 화상 부호화 장치(300)로부터의 요구를 접수하고, 정보 제공부(402)에 공급한다. 또한, 통신부(403)는, 그 요구에 따라서 정보 제공부(402)로부터 공급되는 화상 복호 장치(400)의 사양 정보를, 화상 부호화 장치(300)에 공급한다.
[처리의 흐름]
이러한 화상 처리 시스템에 있어서의 사양 정보의 수수의 흐름의 예를 도 19의 흐름도를 참조하여 설명한다.
스텝 S401에 있어서, 화상 부호화 장치(300)의 정보 수집부(304)는, 통신부(303)를 통하여, 화상 복호 장치(400)에 대하여, 화상 복호 장치(400)의 사양 정보를 요구한다. 화상 복호 장치(400)의 통신부(403)는, 스텝 S421에 있어서, 그 요구를 취득하면, 그 요구를 정보 제공부(402)에 공급한다.
정보 제공부(402)는, 스텝 S422에 있어서, 그 요구에 대한 응답으로서 화상 복호 장치(400)의 사양 정보를, 통신부(403)를 통하여, 요구원(要求元)인 화상 부호화 장치(300)에 공급한다.
화상 부호화 장치(300)의 정보 수집부(304)는, 스텝 S402에 있어서, 통신부(303)를 통하여, 그 사양 정보를 취득하면, 그것을 제어 정보 생성부(112)의 시스템 사양 관리부(141)에 공급한다.
화상 부호화부(301)는, 스텝 S403에 있어서, 그 사양 정보에 기초하여 부호화 처리를 행하고, 코드 스트림을 생성한다. 화상 부호화부(301)는, 스텝 S404에 있어서, 생성된 코드 스트림을, 화상 복호 장치(400)에 공급한다.
화상 복호 장치(400)의 화상 복호부(401)는, 스텝 S423에 있어서, 화상 부호화 장치(300)로부터 공급된 코드 스트림을 취득한다. 화상 복호부(401)는, 스텝 S424에 있어서, 그 코드 스트림에 대하여 복호 처리를 행한다.
이와 같이, 화상 부호화 처리나 화상 복호 처리 전에, 화상 복호 장치(400)의 사양 정보가 수수되게 함으로써, 화상 부호화 장치(300)는, 그 화상 복호 장치(400)의 사양 정보를 포함하는 시스템 사양 정보에 기초하여 경계 제어 플래그를 작성할 수 있다.
이에 의해 화상 부호화 장치(300) 및 화상 복호 장치(400)는, 제1 실시 형태와 제2 실시 형태에서 설명한 바와 같이, 부호화 시 또는 복호 시의 필터 처리의 국소적인 제어에 의한 필터 처리 효과의 저감을 억제할 수 있다.
<4. 제4 실시 형태>
[QALF의 설명]
비특허문헌 3에 도시된 바와 같이, ALF 블록을 쿼드 트리 구조로 해도 된다. 이 기술은 QALF(Quad tree-based Adaptive Loop Filter)라고 칭한다. 쿼드 트리 구조란, 하위 계층에 있어서 1개 상위의 계층의 1개의 ALF 블록의 영역이 4 분할되는 계층 구조이다.
도 20에 ALF 블록 분할을 최대 레이어 수가 3인 쿼드 트리 구조에 의해 표현하고, 각 ALF 블록에 필터 블록 플래그를 지정하는 예를 나타낸다.
도 20의 A는, 쿼드 트리 구조의 뿌리가 되는 ALF 블록인 레이어 0을 나타낸다. 쿼드 트리 구조에 있어서 각 ALF 블록은, 하위의 계층에 있어서 4 분할될 것인가의 여부를 나타내는 블록 파티셔닝 플래그를 갖고 있다. 도 20의 A에 나타나는 ALF 블록의 블록 파티셔닝 플래그의 값은 「1」이다. 즉, 이 ALF 블록은, 하위의 계층(레이어 1)에 있어서 4 분할된다. 도 20의 B는, 그 레이어 1을 나타낸다. 즉, 레이어 1에는, 4개의 ALF 블록이 형성된다.
블록 파티셔닝 플래그가 「0」인 경우, 이것보다 하위의 계층에 있어서 4 분할되지 않는다. 즉, 더 이상의 분할은 없고, 그 ALF 블록에 대하여 필터 블록 플래그가 생성된다. 즉, 블록 파티셔닝 플래그가 「0」인 ALF 블록은, 필터 블록 플래그도 갖는다. 도 20의 B에 나타나는 「0-1」의 좌의 「0」이, 그 ALF 블록의 블록 파티셔닝 플래그를 나타내고, 우측의 「1」이, 그 ALF 블록의 필터 블록 플래그를 나타낸다.
레이어 1의 블록 파티셔닝 플래그가 「1」인 2개의 ALF 블록은, 또한 하위의 계층(레이어 2)에 있어서 4 분할된다. 도 20의 C는, 그 레이어 2를 나타낸다. 즉, 레이어 2에는, 10개의 ALF 블록이 형성된다.
마찬가지로, 레이어 2에 있어서 블록 파티셔닝 플래그가 「0」인 ALF 블록에는, 필터 블록 플래그도 할당된다. 도 20의 C에 있어서는, 1개의 ALF 블록의 블록 파티셔닝 플래그가 「1」이다. 즉, 그 ALF 블록은, 또한 하위의 계층(레이어 3)에 있어서 4 분할된다. 도 20의 D는, 그 레이어 3을 나타낸다. 즉, 레이어 3에는, 13개의 ALF 블록이 형성된다.
도 20과 같이 쿼드 트리화함으로써, ALF 블록의 구성은, 최종적으로 도 21에 나타나게 된다. 이와 같이, 쿼드 트리 구조에 있어서는, ALF 블록의 크기는, 그 계층마다 상이하다. 즉, ALF 블록은, 쿼드 트리 구조를 취하는 것에 의해, 프레임 내에 있어서 그 크기를 서로 다른 것으로 할 수 있다.
각 ALF 블록에 있어서의 필터 블록 플래그의 제어는, 상술한 다른 실시 형태의 경우와 마찬가지이다. 즉, 필터 블록 플래그의 값이 「0」인 ALF 블록의 영역(도 21의 사선 모양 부분)은, 필터 처리가 행해지지 않는다.
도 22는, 도 5의 슬라이스 1의 영역을 QALF의 기술을 사용하여 부호화하는 예를 나타내고 있다. 여기서 굵은 선 521의 영역은 슬라이스 1의 영역을 나타낸다. ALF의 구성에 관계없이, 슬라이스 경계 부근의 화소에 대하여 필터 처리를 행하는 경우, 주변 화소가 복수의 슬라이스에 걸칠 경우가 있다. 따라서, 슬라이스 경계 부근의 화소에 대한 필터 처리의 제어 방법은, 이 QALF의 경우도, 상술한 다른 실시 형태의 경우와 마찬가지로 행할 수 있다.
즉, 쿼드 트리 구조의 ALF 블록의 경우에도, 화상 부호화 장치 및 화상 복호 장치는, 부호화 시 또는 복호 시의 필터 처리의 국소적인 제어에 의한 필터 처리 효과의 저감을 억제할 수 있다.
<5. 제5 실시 형태>
[퍼스널 컴퓨터]
상술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다. 이 경우, 예를 들어 도 23에 나타낸 바와 같은 퍼스널 컴퓨터로서 구성되도록 해도 좋다.
도 23에 있어서, 퍼스널 컴퓨터 (600)의 CPU(601)는, ROM(Read Only Memory) (602)에 기억되어 있는 프로그램 또는 기억부(613)로부터 RAM(Random Access Memory)(603)에 로드된 프로그램에 따라서 각종 처리를 실행한다. RAM(603)에는 또한, CPU(601)가 각종 처리를 실행하는 상에 있어서 필요한 데이터 등도 적절히 기억된다.
CPU(601), ROM(602) 및 RAM(603)은, 버스(604)를 통하여 서로 접속되어 있다. 이 버스(604)에는 또한, 입출력 인터페이스(610)도 접속되어 있다.
입출력 인터페이스(610)에는, 키보드, 마우스 등으로 이루어지는 입력부(611), CRT(Cathode Ray Tube)나 LCD(Liquid Crystal Display) 등으로 이루어지는 디스플레이, 및 스피커 등으로 되는 출력부(612), 하드 디스크 등으로 구성되는 기억부(613), 모뎀 등으로 구성되는 통신부(614)가 접속되어 있다. 통신부(614)는, 인터넷을 포함하는 네트워크를 통한 통신 처리를 행한다.
입출력 인터페이스(610)에는 또한 필요에 따라 드라이브(615)가 접속되고, 자기 디스크, 광 디스크, 광자기 디스크, 혹은 반도체 메모리 등의 리무버블 미디어(621)가 적절히 장착되어, 그들로부터 판독된 컴퓨터 프로그램이, 필요에 따라 기억부(613)에 인스톨된다.
상술한 일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 네트워크나 기록 매체로부터 인스톨된다.
이 기록 매체는, 예를 들어 도 23에 도시된 바와 같이, 장치 본체와는 별도로, 유저에게 프로그램을 배신하기 위하여 배포되는, 프로그램이 기록되어 있는 자기 디스크(플렉시블 디스크를 포함한다), 광 디스크(CD-ROM(Compact Disc-Read Only Memory), DVD(Digital Versatile Disc)를 포함한다), 광자기 디스크(MD(Mini Disc)를 포함한다), 혹은 반도체 메모리 등으로 이루어지는 리무버블 미디어(621)에 의해 구성될 뿐만 아니라, 장치 본체에 미리 내장된 상태에서 유저에게 배신되는, 프로그램이 기록되어 있는 ROM(602)이나, 기억부(613)에 포함되는 하드 디스크 등으로 구성된다.
또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서를 따라서 시계열로 처리가 행해지는 프로그램이어도 좋고, 병렬로, 혹은 호출이 행해졌을 때 등이 필요한 타이밍에 처리가 행해지는 프로그램이어도 좋다.
또한, 본 명세서에 있어서, 기록 매체에 기록되는 프로그램을 기술하는 스텝은, 기재된 순서를 따라서 시계열적으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지 않고도, 병렬적 혹은 개별로 실행되는 처리도 포함하는 것이다.
또한, 본 명세서에 있어서, 시스템이란, 복수의 디바이스(장치)에 의해 구성되는 장치 전체를 표현하는 것이다.
또한, 이상에 있어서, 1개의 장치(또는 처리부)로서 설명한 구성을 분할하고, 복수의 장치(또는 처리부)로서 구성하도록 해도 좋다. 반대로, 이상에 있어서 복수의 장치(또는 처리부)로서 설명한 구성을 통합하여 1개의 장치(또는 처리부)로서 구성되도록 해도 좋다. 또한, 각 장치(또는 각 처리부)의 구성에 상술한 이외의 구성을 부가하도록 해도 물론 좋다. 또한, 시스템 전체적으로의 구성이나 동작이 실질적으로 동일하면, 어떤 장치(또는 처리부)의 구성의 일부를 다른 장치(또는 다른 처리부)의 구성에 포함하도록 해도 좋다. 즉, 본 발명의 실시 형태는, 상술한 실시 형태에 한정되는 것이 아니라, 본 발명의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다.
예를 들어, 상술한 화상 부호화 장치(100), 화상 복호 장치(200), 화상 부호화 장치(300) 및 화상 복호 장치(400)는, 임의의 전자 기기에 적용할 수 있다. 이하에 그 예에 대하여 설명한다.
<6. 제6 실시 형태>
[텔레비전 수상기]
도 24는, 본 발명을 적용한 화상 복호 장치(200) 또는 화상 복호 장치(400)를 사용하는 텔레비전 수상기의 주된 구성예를 도시하는 블록도이다.
도 24에 도시하는 텔레비전 수상기(1000)는, 지상파 튜너(1013), 비디오 디코더(1015), 영상 신호 처리 회로(1018), 그래픽 생성 회로(1019), 패널 구동 회로(1020) 및 표시 패널(1021)을 갖는다.
지상파 튜너(1013)는, 지상 아날로그 방송의 방송파 신호를, 안테나를 통하여 수신하고, 복조하고, 영상 신호를 취득하고, 그것을 비디오 디코더(1015)에 공급한다. 비디오 디코더(1015)는, 지상파 튜너(1013)로부터 공급된 영상 신호에 대하여 디코드 처리를 실시하고, 얻어진 디지털의 컴포넌트 신호를 영상 신호 처리 회로(1018)에 공급한다.
영상 신호 처리 회로(1018)는, 비디오 디코더(1015)로부터 공급된 영상 데이터에 대하여 노이즈 제거 등의 소정의 처리를 실시하고, 얻어진 영상 데이터를 그래픽 생성 회로(1019)에 공급한다.
그래픽 생성 회로(1019)는, 표시 패널(1021)에 표시시키는 프로그램의 영상 데이터나, 네트워크를 통하여 공급되는 어플리케이션에 기초하는 처리에 의한 화상 데이터 등을 생성하고, 생성한 영상 데이터나 화상 데이터를 패널 구동 회로(1020)에 공급한다. 또한, 그래픽 생성 회로(1019)는, 항목의 선택 등에 유저에 의해 이용되는 화면을 표시하기 위한 영상 데이터(그래픽)를 생성하고, 그것을 프로그램의 영상 데이터에 중첩하거나 함으로써 얻어진 영상 데이터를 패널 구동 회로(1020)에 공급한다는 처리도 적절히 행한다.
패널 구동 회로(1020)는, 그래픽 생성 회로(1019)로부터 공급된 데이터에 기초하여 표시 패널(1021)을 구동하여, 프로그램의 영상이나 상술한 각종 화면을 표시 패널(1021)에 표시시킨다.
표시 패널(1021)은 LCD(Liquid Crystal Display) 등으로 되고, 패널 구동 회로(1020)에 의한 제어에 따라서 프로그램의 영상 등을 표시시킨다.
또한, 텔레비전 수상기(1000)는, 음성 A/D(Analog/Digital) 변환 회로(1014), 음성 신호 처리 회로(1022), 에코 캔슬/음성 합성 회로(1023), 음성 증폭 회로(1024) 및 스피커(1025)도 갖는다.
지상파 튜너(1013)는, 수신한 방송파 신호를 복조함으로써, 영상 신호뿐만 아니라 음성 신호도 취득한다. 지상파 튜너(1013)는, 취득한 음성 신호를 음성 A/D 변환 회로(1014)에 공급한다.
음성 A/D 변환 회로(1014)는, 지상파 튜너(1013)로부터 공급된 음성 신호에 대하여 A/D 변환 처리를 실시하고, 얻어진 디지털의 음성 신호를 음성 신호 처리 회로(1022)에 공급한다.
음성 신호 처리 회로(1022)는, 음성 A/D 변환 회로(1014)로부터 공급된 음성 데이터에 대하여 노이즈 제거 등의 소정의 처리를 실시하여, 얻어진 음성 데이터를 에코 캔슬/음성 합성 회로(1023)에 공급한다.
에코 캔슬/음성 합성 회로(1023)는, 음성 신호 처리 회로(1022)로부터 공급된 음성 데이터를 음성 증폭 회로(1024)에 공급한다.
음성 증폭 회로(1024)는, 에코 캔슬/음성 합성 회로(1023)로부터 공급된 음성 데이터에 대하여 D/A 변환 처리, 증폭 처리를 실시하고, 소정의 음량으로 조정한 후, 음성을 스피커(1025)로부터 출력시킨다.
또한, 텔레비전 수상기(1000)는, 디지털 튜너(1016) 및 MPEG 디코더(1017)도 갖는다.
디지털 튜너(1016)는, 디지털 방송(지상 디지털 방송, BS(Broadcasting Satellite)/CS(Communications Satellite) 디지털 방송)의 방송파 신호를, 안테나를 통하여 수신하고, 복조하고, MPEG-TS(Moving Picture Experts Group-Transport Stream)을 취득하고, 그것을 MPEG 디코더(1017)에 공급한다.
MPEG 디코더(1017)는, 디지털 튜너(1016)로부터 공급된 MPEG-TS에 실시되어 있는 스크램블을 해제하고, 재생 대상(시청 대상)으로 되어 있는 프로그램의 데이터를 포함하는 스트림을 추출한다. MPEG 디코더(1017)는, 추출한 스트림을 구성하는 음성 패킷을 디코드하고, 얻어진 음성 데이터를 음성 신호 처리 회로(1022)에 공급함과 동시에, 스트림을 구성하는 영상 패킷을 디코드하고, 얻어진 영상 데이터를 영상 신호 처리 회로(1018)에 공급한다. 또한, MPEG 디코더(1017)는, MPEG-TS로부터 추출한 EPG(Electronic Program Guide) 데이터를 도시하지 않은 경로를 통하여 CPU(1032)에 공급한다.
텔레비전 수상기(1000)는, 이렇게 영상 패킷을 디코드하는 MPEG 디코더(1017)로서, 상술한 화상 복호 장치(200) 또는 화상 복호 장치(400)를 사용한다. 또한, 방송국 등으로부터 송신되는 MPEG-TS는, 화상 부호화 장치(100) 또는 화상 부호화 장치(300)에 의해 부호화되어 있다.
MPEG 디코더(1017)는, 화상 복호 장치(200) 또는 화상 복호 장치(400)의 경우와 마찬가지로, 화상 부호화 장치(100) 또는 화상 부호화 장치(300)로부터 공급된 제어 정보를 추출하여 복호하고, 그 제어 정보를 사용하여 적응 필터 제어 처리(및 필터 처리)를 행한다. 이에 의해, MPEG 디코더(1017)는, 필터 처리의 국소적인 제어에 의한 효과의 저감을 억제할 수 있다.
MPEG 디코더(1017)로부터 공급된 영상 데이터는, 비디오 디코더(1015)로부터 공급된 영상 데이터의 경우와 마찬가지로, 영상 신호 처리 회로(1018)에 있어서 소정의 처리가 실시되어, 그래픽 생성 회로(1019)에 있어서, 생성된 영상 데이터 등이 적절히 중첩되어, 패널 구동 회로(1020)를 통하여 표시 패널(1021)에 공급되어, 그 화상이 표시된다.
MPEG 디코더(1017)로부터 공급된 음성 데이터는, 음성 A/D 변환 회로(1014)로부터 공급된 음성 데이터의 경우와 마찬가지로, 음성 신호 처리 회로(1022)에 있어서 소정의 처리가 실시되어, 에코 캔슬/음성 합성 회로(1023)를 통하여 음성 증폭 회로(1024)에 공급되어, D/A 변환 처리나 증폭 처리가 실시된다. 그 결과, 소정의 음량으로 조정된 음성이 스피커(1025)로부터 출력된다.
또한, 텔레비전 수상기(1000)는, 마이크로폰(1026) 및 A/D 변환 회로(1027)도 갖는다.
A/D 변환 회로(1027)는, 음성 회화용인 것으로서 텔레비전 수상기(1000)에 설치되는 마이크로폰(1026)에 의해 도입된 유저의 음성의 신호를 수신하고, 수신한 음성 신호에 대하여 A/D 변환 처리를 실시하고, 얻어진 디지털의 음성 데이터를 에코 캔슬/음성 합성 회로(1023)에 공급한다.
에코 캔슬/음성 합성 회로(1023)는, 텔레비전 수상기(1000)의 유저(유저 A)의 음성 데이터가 A/D 변환 회로(1027)로부터 공급되어 있는 경우, 유저 A의 음성 데이터를 대상으로 하여 에코 캔슬을 행하고, 다른 음성 데이터와 합성하거나 하여 얻어진 음성의 데이터를, 음성 증폭 회로(1024)를 통하여 스피커(1025)로부터 출력시킨다.
또한, 텔레비전 수상기(1000)는, 음성 코덱(1028), 내부 버스(1029), SDRAM(Synchronous Dynamic Random Access Memory)(1030), 플래시 메모리(1031), CPU(1032), USB(Universal Serial Bus) I/F(1033) 및 네트워크 I/F(1034)도 갖는다.
A/D 변환 회로(1027)는, 음성 회화용인 것으로서 텔레비전 수상기(1000)에 설치되는 마이크로폰(1026)에 의해 도입된 유저의 음성의 신호를 수신하고, 수신한 음성 신호에 대하여 A/D 변환 처리를 실시하고, 얻어진 디지털의 음성 데이터를 음성 코덱(1028)에 공급한다.
음성 코덱(1028)은, A/D 변환 회로(1027)로부터 공급된 음성 데이터를, 네트워크 경유로 송신하기 위한 소정의 포맷의 데이터로 변환하여, 내부 버스(1029)를 통하여 네트워크 I/F(1034)에 공급한다.
네트워크 I/F(1034)는, 네트워크 단자(1035)에 장착된 케이블을 통하여 네트워크에 접속된다. 네트워크 I/F(1034)는, 예를 들어 그 네트워크에 접속되는 다른 장치에 대하여, 음성 코덱(1028)으로부터 공급된 음성 데이터를 송신한다. 또한, 네트워크 I/F(1034)는, 예를 들어 네트워크를 통하여 접속되는 다른 장치로부터 송신되는 음성 데이터를, 네트워크 단자(1035)를 통하여 수신하고, 그것을, 내부 버스(1029)를 통하여 음성 코덱(1028)에 공급한다.
음성 코덱(1028)은, 네트워크 I/F(1034)로부터 공급된 음성 데이터를 소정의 포맷의 데이터로 변환하여, 그것을 에코 캔슬/음성 합성 회로(1023)에 공급한다.
에코 캔슬/음성 합성 회로(1023)는, 음성 코덱(1028)으로부터 공급되는 음성 데이터를 대상으로 하여 에코 캔슬을 행하고, 다른 음성 데이터와 합성하거나 하여 얻어진 음성의 데이터를, 음성 증폭 회로(1024)를 통하여 스피커(1025)로부터 출력시킨다.
SDRAM(1030)은, CPU(1032)의 처리를 행하는 동시에 필요한 각종 데이터를 기억한다.
플래시 메모리(1031)는, CPU(1032)에 의해 실행되는 프로그램을 기억한다. 플래시 메모리(1031)에 기억되어 있는 프로그램은, 텔레비전 수상기(1000)의 기동시 등의 소정의 타이밍에 CPU(1032)에 의해 판독된다. 플래시 메모리(1031)에는, 디지털 방송을 통하여 취득된 EPG 데이터, 네트워크를 통하여 소정의 서버로부터 취득된 데이터 등도 기억된다.
예를 들어, 플래시 메모리(1031)에는, CPU(1032)의 제어에 의해 네트워크를 통하여 소정의 서버로부터 취득된 콘텐츠 데이터를 포함하는 MPEG-TS가 기억된다. 플래시 메모리(1031)는, 예를 들어 CPU(1032)의 제어에 의해, 그 MPEG-TS를, 내부 버스(1029)를 통하여 MPEG 디코더(1017)에 공급한다.
MPEG 디코더(1017)는, 디지털 튜너(1016)로부터 공급된 MPEG-TS의 경우와 마찬가지로, 그 MPEG-TS를 처리한다. 이렇게 텔레비전 수상기(1000)는, 영상이나 음성 등으로 이루어지는 콘텐츠 데이터를, 네트워크를 통하여 수신하고, MPEG 디코더(1017)를 사용하여 디코드하고, 그 영상을 표시시키거나, 음성을 출력시키거나 할 수 있다.
또한, 텔레비전 수상기(1000)는, 리모트 컨트롤러(1051)로부터 송신되는 적외선 신호를 수광하는 수광부(1037)도 갖는다.
수광부(1037)는, 리모트 컨트롤러(1051)로부터의 적외선을 수광하고, 복조하여 얻어진 유저 조작의 내용을 표현하는 제어 코드를 CPU(1032)에 출력한다.
CPU(1032)는, 플래시 메모리(1031)에 기억되어 있는 프로그램을 실행하고, 수광부(1037)로부터 공급되는 제어 코드 등에 따라 텔레비전 수상기(1000)의 전체의 동작을 제어한다. CPU(1032)와 텔레비전 수상기(1000)의 각 부는, 도시하지 않은 경로를 통하여 접속되어 있다.
USB I/F(1033)는, USB 단자 1036에 장착된 USB 케이블을 통하여 접속되는, 텔레비전 수상기(1000)의 외부의 기기 사이에서 데이터의 송수신을 행한다. 네트워크 I/F(1034)는, 네트워크 단자(1035)에 장착된 케이블을 통하여 네트워크에 접속하고, 네트워크에 접속되는 각종 장치와 음성 데이터 이외의 데이터의 송수신도 행한다.
텔레비전 수상기(1000)는, MPEG 디코더(1017)로서 화상 복호 장치(200) 또는 화상 복호 장치(400)를 사용함으로써, 안테나를 통하여 수신하는 방송파 신호나, 네트워크를 통하여 취득하는 콘텐츠 데이터에 대한 필터 처리의, 국소적인 제어에 의한 효과의 저감을 억제할 수 있다.
<7. 제7 실시 형태>
[휴대 전화기]
도 25는, 본 발명을 적용한 화상 부호화 장치 및 화상 복호 장치를 사용하는 휴대 전화기의 주된 구성예를 도시하는 블록도이다.
도 25에 도시하는 휴대 전화기(1100)는, 각 부를 통괄적으로 제어하도록 이루어진 주제어부(1150), 전원 회로부(1151), 조작 입력 제어부(1152), 화상 인코더(1153), 카메라 I/F부(1154), LCD 제어부(1155), 화상 디코더(1156), 다중 분리부(1157), 기록 재생부(1162), 변복조 회로부(1158) 및 음성 코덱(1159)을 갖는다. 이들은, 버스(1160)를 통하여 서로 접속되어 있다.
또한, 휴대 전화기(1100)는, 조작 키(1119), CCD(Charge Coupled Devices) 카메라(1116), 액정 디스플레이(1118), 기억부(1123), 송수신 회로부(1163), 안테나(1114), 마이크로폰(마이크)(1121) 및 스피커(1117)를 갖는다.
전원 회로부(1151)는, 유저의 조작에 의해 종화(終話) 및 전원 키가 온 상태로 되면, 배터리 팩으로부터 각 부에 대하여 전력을 공급함으로써 휴대 전화기(1100)를 동작 가능한 상태로 기동한다.
휴대 전화기(1100)는, CPU, ROM 및 RAM 등으로 이루어지는 주제어부(1150)의 제어에 기초하여, 음성 통화 모드나 데이터 통신 모드 등의 각종 모드에서, 음성 신호의 송수신, 전자 메일이나 화상 데이터의 송수신, 화상 촬영 또는 데이터 기록 등의 각종 동작을 행한다.
예를 들어, 음성 통화 모드에서, 휴대 전화기(1100)는, 마이크로폰(마이크) (1121)에서 집음한 음성 신호를, 음성 코덱(1159)에 의해 디지털 음성 데이터로 변환하여, 이것을 변복조 회로부(1158)에서 스펙트럼 확산 처리하고, 송수신 회로부(1163)에서 디지털/아날로그 변환 처리 및 주파수 변환 처리한다. 휴대 전화기(1100)는, 그 변환 처리에 의해 얻어진 송신용 신호를, 안테나(1114)를 통하여 도시하지 않은 기지국에 송신한다. 기지국에 전송된 송신용 신호(음성 신호)는, 공중 전화 회선망을 통하여 통화 상대의 휴대 전화기에 공급된다.
또한, 예를 들어 음성 통화 모드에서, 휴대 전화기(1100)는, 안테나(1114)로 수신한 수신 신호를 송수신 회로부(1163)로 증폭하고, 또한 주파수 변환 처리 및 아날로그/디지털 변환 처리하고, 변복조 회로부(1158)로 스펙트럼 역확산 처리하고, 음성 코덱(1159)에 의해 아날로그 음성 신호로 변환한다. 휴대 전화기(1100)는, 그 변환하여 얻어진 아날로그 음성 신호를 스피커(1117)로부터 출력한다.
또한, 예를 들어 데이터 통신 모드에서 전자 메일을 송신하는 경우, 휴대 전화기(1100)는, 조작 키(1119)의 조작에 의해 입력된 전자 메일의 텍스트 데이터를, 조작 입력 제어부(1152)에서 접수한다. 휴대 전화기(1100)는, 그 텍스트 데이터를 주제어부(1150)에서 처리하고, LCD 제어부(1155)를 통하여, 화상으로서 액정 디스플레이(1118)에 표시시킨다.
또한, 휴대 전화기(1100)는, 주제어부(1150)에서, 조작 입력 제어부(1152)가 접수한 텍스트 데이터나 유저 지시 등에 기초하여 전자 메일 데이터를 생성한다. 휴대 전화기(1100)는, 그 전자 메일 데이터를, 변복조 회로부(1158)로 스펙트럼 확산 처리하고, 송수신 회로부(1163)에 디지털/아날로그 변환 처리 및 주파수 변환 처리한다. 휴대 전화기(1100)는, 그 변환 처리에 의해 얻어진 송신용 신호를, 안테나(1114)를 통하여 도시하지 않은 기지국에 송신한다. 기지국에 전송된 송신용 신호(전자 메일)는, 네트워크 및 메일 서버 등을 통하여, 소정의 수신처에 공급된다.
또한, 예를 들어 데이터 통신 모드에서 전자 메일을 수신하는 경우, 휴대 전화기(1100)는, 기지국으로부터 송신된 신호를, 안테나(1114)를 통하여 송수신 회로부(1163)로 수신하고, 증폭하고, 또한 주파수 변환 처리 및 아날로그/디지털 변환 처리한다. 휴대 전화기(1100)는, 그 수신 신호를 변복조 회로부(1158)에 스펙트럼 역확산 처리하여 원래의 전자 메일 데이터를 복원한다. 휴대 전화기(1100)는, 복원된 전자 메일 데이터를, LCD 제어부(1155)를 통하여 액정 디스플레이(1118)에 표시한다.
또한, 휴대 전화기(1100)는, 수신한 전자 메일 데이터를, 기록 재생부(1162)를 통하여, 기억부(1123)에 기록하는(기억시키는) 것도 가능하다.
이 기억부(1123)는, 재기입 가능한 임의의 기억 매체이다. 기억부(1123)는, 예를 들어 RAM이나 내장형 플래시 메모리 등의 반도체 메모리이어도 좋고, 하드 디스크이어도 좋고, 자기 디스크, 광자기 디스크, 광 디스크, USB 메모리 또는 메모리 카드 등의 리무버블 미디어이어도 좋다. 물론, 이들 이외의 것이어도 좋다.
또한, 예를 들어 데이터 통신 모드에서 화상 데이터를 송신하는 경우, 휴대 전화기(1100)는, 촬상에 의해 CCD 카메라(1116)에 화상 데이터를 생성한다. CCD 카메라(1116)는, 렌즈나 조리개 등의 광학 디바이스와 광전 변환 소자로서의 CCD를 갖고, 피사체를 촬상하고, 수광한 광의 강도를 전기 신호로 변환하여, 피사체의 화상의 화상 데이터를 생성한다. CCD 카메라(1116)는, 그 화상 데이터를, 카메라 I/F부(1154)를 통하여, 화상 인코더(1153)로 부호화하고, 부호화 화상 데이터로 변환한다.
휴대 전화기(1100)는, 이러한 처리를 행하는 화상 인코더(1153)로서, 상술한 화상 부호화 장치(100) 또는 화상 부호화 장치(300)를 사용한다. 따라서, 화상 인코더(1053)는, 화상 부호화 장치(100) 또는 화상 부호화 장치(300)의 경우와 마찬가지로, 필터 처리의 국소적인 제어에 의한 효과의 저감을 억제할 수 있다.
또한, 휴대 전화기(1100)는, 이때 동시에, CCD 카메라(1116)로 촬상 중에 마이크로폰(마이크)(1121)으로 집음한 음성을, 음성 코덱(1159)에서 아날로그/디지털 변환하여, 재차 부호화한다.
휴대 전화기(1100)는, 다중 분리부(1157)에 있어서, 화상 인코더(1153)로부터 공급된 부호화 화상 데이터와, 음성 코덱(1159)으로부터 공급된 디지털 음성 데이터를, 소정의 방식으로 다중화한다. 휴대 전화기(1100)는, 그 결과 얻어지는 다중화 데이터를, 변복조 회로부(1158)로 스펙트럼 확산 처리하고, 송수신 회로부(1163)로 디지털/아날로그 변환 처리 및 주파수 변환 처리한다. 휴대 전화기(1100)는, 그 변환 처리에 의해 얻어진 송신용 신호를, 안테나(1114)를 통하여 도시하지 않은 기지국에 송신한다. 기지국에 전송된 송신용 신호(화상 데이터)는, 네트워크 등을 통하여, 통신 상대에게 공급된다.
또한, 화상 데이터를 송신하지 않은 경우, 휴대 전화기(1100)는, CCD 카메라(1116)로 생성한 화상 데이터를, 화상 인코더(1153)를 통하지 않고, LCD 제어부(1155)를 통하여 액정 디스플레이(1118)에 표시시킬 수도 있다.
또한, 예를 들어 데이터 통신 모드에서, 간이 홈 페이지 등에 링크된 동화상 파일의 데이터를 수신하는 경우, 휴대 전화기(1100)는, 기지국으로부터 송신된 신호를, 안테나(1114)를 통하여 송수신 회로부(1163)로 수신하고, 증폭하고, 재차 주파수 변환 처리 및 아날로그/디지털 변환 처리한다. 휴대 전화기(1100)는, 그 수신 신호를 변복조 회로부(1158)로 스펙트럼 역확산 처리하여 원래의 다중화 데이터를 복원한다. 휴대 전화기(1100)는, 다중 분리부(1157)에서, 그 다중화 데이터를 분리하여, 부호화 화상 데이터와 음성 데이터로 나눈다.
휴대 전화기(1100)는, 화상 디코더(1156)에서 부호화 화상 데이터를 디코드 함으로써, 재생 동화상 데이터를 생성하고, 이것을, LCD 제어부(1155)를 통하여 액정 디스플레이(1118)에 표시시킨다. 이에 의해, 예를 들어 간이 홈 페이지에 링크된 동화상 파일에 포함되는 동화상 데이터가 액정 디스플레이(1118)에 표시된다.
휴대 전화기(1100)는, 이러한 처리를 행하는 화상 디코더(1156)로서, 상술한 화상 복호 장치(200) 또는 화상 복호 장치(400)를 사용한다. 따라서, 화상 디코더(1156)는, 화상 복호 장치(200) 또는 화상 복호 장치(400)의 경우와 마찬가지로, 화상 부호화 장치(100) 또는 화상 부호화 장치(300)로부터 공급된 제어 정보를 추출하여 복호하고, 그 제어 정보를 사용하여 적응 필터 제어 처리(및 필터 처리)를 행한다. 이에 의해, 화상 디코더(1156)는, 필터 처리의 국소적인 제어에 의한 효과의 저감을 억제할 수 있다.
이때, 휴대 전화기(1100)는, 동시에, 음성 코덱(1159)에 있어서, 디지털의 음성 데이터를 아날로그 음성 신호로 변환하여, 이것을 스피커(1117)로부터 출력시킨다. 이에 의해, 예를 들어 간이 홈 페이지에 링크된 동화상 파일에 포함되는 음성 데이터가 재생된다.
또한, 전자 메일의 경우와 마찬가지로, 휴대 전화기(1100)는, 수신한 간이 홈 페이지 등에 링크된 데이터를, 기록 재생부(1162)를 통하여, 기억부(1123)에 기록하는(기억시키는) 것도 가능하다.
또한, 휴대 전화기(1100)는, 주제어부(1150)에서, 촬상되어 CCD 카메라(1116)에서 얻어진 2차원 코드를 해석하고, 2차원 코드에 기록된 정보를 취득할 수 있다.
또한, 휴대 전화기(1100)는, 적외선 통신부(1181)로 적외선에 의해 외부의 기기와 통신할 수 있다.
휴대 전화기(1100)는, 화상 인코더(1153)로서 화상 부호화 장치(100) 또는 화상 부호화 장치(300)를 사용함으로써, 예를 들어 CCD 카메라(1116)에 있어서 생성된 화상 데이터를 부호화하여 생성하는 부호화 데이터에 대한 필터 처리의 국소적인 제어에 의한 효과의 저감을 억제할 수 있다.
예를 들어, 휴대 전화기(1100)는, 슬라이스를 걸치도록 필터 처리를 행함으로써, 필터 처리 결과의 화질을 향상시킬 수 있고, 보다 고화질의 부호화 데이터를 다른 휴대 전화기에 공급할 수 있다. 또한, 예를 들어 휴대 전화기(1100)는, 당해 슬라이스에서 폐쇄한 필터 처리를 행함으로써, 저 지연으로 필터 처리를 행할 수 있고, 부호화 데이터를 보다 저 지연으로 다른 휴대 전화기에 공급할 수 있다.
또한, 휴대 전화기(1100)는, 화상 디코더(1156)로서 화상 복호 장치(200) 또는 화상 복호 장치(400)를 사용함으로써, 예를 들어 간이 홈 페이지 등에 링크된 동화상 파일의 데이터에 대한 필터 처리의, 국소적인 제어에 의한 효과의 저감을 억제할 수 있다.
예를 들어, 휴대 전화기(1100)는, 슬라이스를 걸치도록 필터 처리를 행함으로써, 필터 처리 결과의 화질을 향상시킬 수 있고, 복호 화상의 고화질화를 실현할 수 있다. 또한, 예를 들어 휴대 전화기(1100)는, 당해 슬라이스에서 폐쇄한 필터 처리를 행함으로써, 저 지연으로 필터 처리를 행할 수 있고, 부호화 데이터를 더욱 저 지연으로 복호할 수 있다.
또한, 이상에서, 휴대 전화기(1100)가, CCD 카메라(1116)를 사용하도록 설명했지만, 이 CCD 카메라(1116) 대신에 CMOS(Complementary Metal Oxide Semi-conductor)를 사용한 이미지 센서(CMOS 이미지 센서)를 사용하도록 해도 좋다. 이 경우도, 휴대 전화기(1100)는, CCD 카메라(1116)를 사용하는 경우와 마찬가지로, 피사체를 촬상하고, 피사체의 화상의 화상 데이터를 생성할 수 있다.
또한, 이상에서는 휴대 전화기(1100)로서 설명했지만, 예를 들어 PDA(Personal Digital Assistants), 스마트 폰, UMPC(Ultra Mobile Personal Computer), 인터넷북, 노트북형 퍼스널 컴퓨터 등, 이 휴대 전화기(1100)와 마찬가지의 촬상 기능이나 통신 기능을 갖는 장치이면, 어떤 장치에서도 휴대 전화기(1100)의 경우와 마찬가지로, 화상 부호화 장치(100) 및 화상 복호 장치(200)를 적용할 수 있다.
<8. 제8 실시 형태>
[하드 디스크 레코더]
도 26은, 본 발명을 적용한 화상 부호화 장치 및 화상 복호 장치를 사용하는 하드 디스크 레코더의 주된 구성예를 도시하는 블록도이다.
도 26에 도시하는 하드 디스크 레코더(HDD 레코더) (1200)는, 튜너에 의해 수신된, 위성이나 지상의 안테나 등에서 송신되는 방송파 신호(텔레비젼 신호)에 포함되는 방송 프로그램의 오디오 데이터와 비디오 데이터를, 내장하는 하드 디스크에 보존하고, 그 보존한 데이터를 유저의 지시에 따른 타이밍에 유저에게 제공하는 장치이다.
하드 디스크 레코더(1200)는, 예를 들어 방송파 신호로부터 오디오 데이터와 비디오 데이터를 추출하고, 그들을 적절히 복호하여, 내장하는 하드 디스크에 기억시킬 수 있다. 또한, 하드 디스크 레코더(1200)는, 예를 들어 네트워크를 통하여 다른 장치로부터 오디오 데이터나 비디오 데이터를 취득하고, 그들을 적절히 복호하여, 내장하는 하드 디스크에 기억시킬 수도 있다.
또한, 하드 디스크 레코더(1200)는, 예를 들어 내장하는 하드 디스크에 기록되어 있는 오디오 데이터나 비디오 데이터를 복호하여 모니터(1260)에 공급하고, 모니터(1260)의 화면에 그 화상을 표시시켜, 모니터(1260)의 스피커로부터 그 음성을 출력시킬 수 있다. 또한, 하드 디스크 레코더(1200)는, 예를 들어 튜너를 통하여 취득된 방송파 신호로부터 추출된 오디오 데이터와 비디오 데이터 또는, 네트워크를 통하여 다른 장치로부터 취득한 오디오 데이터나 비디오 데이터를 복호하여 모니터(1260)에 공급하고, 모니터(1260)의 화면에 그 화상을 표시시켜, 모니터(1260)의 스피커로부터 그 음성을 출력시킬 수도 있다.
물론, 이밖의 동작도 가능하다.
도 26에 도시된 바와 같이, 하드 디스크 레코더(1200)는, 수신부(1221), 복조부(1222), 디멀티플렉서(1223), 오디오 디코더(1224), 비디오 디코더(1225) 및 레코더 제어부(1226)를 갖는다. 하드 디스크 레코더(1200)는, 또한, EPG 데이터 메모리(1227), 프로그램 메모리(1228), 워크 메모리(1229), 디스플레이 컨버터(1230), OSD(On Screen Display) 제어부(1231), 디스플레이 제어부(1232), 기록 재생부(1233), D/A 컨버터(1234) 및 통신부(1235)를 갖는다.
또한, 디스플레이 컨버터(1230)는, 비디오 인코더(1241)를 갖는다. 기록 재생부(1233)는, 인코더(1251) 및 디코더(1252)를 갖는다.
수신부(1221)는, 리모트 컨트롤러(도시하지 않음)로부터의 적외선 신호를 수신하고, 전기 신호로 변환하여 레코더 제어부(1226)에 출력한다. 레코더 제어부(1226)는, 예를 들어 마이크로프로세서 등에 의해 구성되고, 프로그램 메모리(1228)에 기억되어 있는 프로그램에 따라, 각종 처리를 실행한다. 레코더 제어부(1226)는, 이때, 워크 메모리(1229)를 필요에 따라서 사용한다.
통신부(1235)는, 네트워크에 접속되고, 네트워크를 통하여 다른 장치와의 통신 처리를 행한다. 예를 들어, 통신부(1235)는, 레코더 제어부(1226)에 의해 제어되고, 튜너(도시하지 않음)와 통신하고, 주로 튜너에 대하여 선국 제어 신호를 출력한다.
복조부(1222)는, 튜너에서 공급된 신호를, 복조하고, 디멀티플렉서(1223)에 출력한다. 디멀티플렉서(1223)는, 복조부(1222)에서 공급된 데이터를, 오디오 데이터, 비디오 데이터 및 EPG 데이터로 분리하고, 각각, 오디오 디코더(1224), 비디오 디코더(1225) 또는 레코더 제어부(1226)에 출력한다.
오디오 디코더(1224)는, 입력된 오디오 데이터를 디코드하고, 기록 재생부(1233)에 출력한다. 비디오 디코더(1225)는, 입력된 비디오 데이터를 디코드하고, 디스플레이 컨버터(1230)에 출력한다. 레코더 제어부(1226)는, 입력된 EPG 데이터를 EPG 데이터 메모리(1227)에 공급하고, 기억시킨다.
디스플레이 컨버터(1230)는, 비디오 디코더(1225) 또는 레코더 제어부(1226)로부터 공급된 비디오 데이터를, 비디오 인코더(1241)에 의해, 예를 들어 NTSC(National Television Standards Committee) 방식의 비디오 데이터에 인코드하고, 기록 재생부(1233)에 출력한다. 또한, 디스플레이 컨버터(1230)는, 비디오 디코더(1225) 또는 레코더 제어부(1226)로부터 공급되는 비디오 데이터 화면의 크기를, 모니터(1260)의 크기에 대응하는 크기로 변환하여, 비디오 인코더(1241)에 의해 NTSC 방식의 비디오 데이터로 변환하고, 아날로그 신호로 변환하여, 디스플레이 제어부(1232)에 출력한다.
디스플레이 제어부(1232)는, 레코더 제어부(1226)의 제어 하에서, OSD(On Screen Display) 제어부(1231)가 출력한 OSD 신호를, 디스플레이 컨버터(1230)에서 입력된 비디오 신호에 중첩하고, 모니터(1260)의 디스플레이에 출력하여, 표시시킨다.
모니터(1260)에는 또한, 오디오 디코더(1224)가 출력한 오디오 데이터가, D/A 컨버터(1234)에 의해 아날로그 신호로 변환되어서 공급되어 있다. 모니터(1260)는, 이 오디오 신호를 내장하는 스피커로부터 출력한다.
기록 재생부(1233)는, 비디오 데이터나 오디오 데이터 등을 기록하는 기억 매체로 하여 하드 디스크를 갖는다.
기록 재생부(1233)는, 예를 들어 오디오 디코더(1224)로부터 공급되는 오디오 데이터를, 인코더(1251)에 의해 인코드한다. 또한, 기록 재생부(1233)는, 디스플레이 컨버터(1230)의 비디오 인코더(1241)로부터 공급되는 비디오 데이터를, 인코더(1251)에 의해 인코드한다. 기록 재생부(1233)는, 그 오디오 데이터의 부호화 데이터와 비디오 데이터의 부호화 데이터를 멀티플렉서에 의해 합성한다. 기록 재생부(1233)는, 그 합성 데이터를 채널 코딩하여 증폭하고, 그 데이터를, 기록 헤드를 통하여 하드 디스크에 기입한다.
기록 재생부(1233)는, 재생 헤드를 통하여 하드 디스크에 기록되어 있는 데이터를 재생하고, 증폭하고, 디멀티플렉서에 의해 오디오 데이터와 비디오 데이터로 분리한다. 기록 재생부(1233)는, 디코더(1252)에 의해 오디오 데이터 및 비디오 데이터를 디코드한다. 기록 재생부(1233)는, 복호한 오디오 데이터를 D/A 변환하여, 모니터(1260)의 스피커에 출력한다. 또한, 기록 재생부(1233)는, 복호한 비디오 데이터를 D/A 변환하여, 모니터(1260)의 디스플레이에 출력한다.
레코더 제어부(1226)는, 수신부(1221)를 통하여 수신되는 리모트 컨트롤러로부터의 적외선 신호에 의해 나타나는 유저 지시에 기초하여, EPG 데이터 메모리(1227)로부터 최신의 EPG 데이터를 판독하고, 그것을 OSD 제어부(1231)에 공급한다. OSD 제어부(1231)는, 입력된 EPG 데이터에 대응하는 화상 데이터를 발생하고, 디스플레이 제어부(1232)에 출력한다. 디스플레이 제어부(1232)는, OSD 제어부(1231)에서 입력된 비디오 데이터를 모니터(1260)의 디스플레이에 출력하여, 표시시킨다. 이에 의해, 모니터(1260)의 디스플레이에는, EPG(전자 프로그램 가이드)가 표시된다.
또한, 하드 디스크 레코더(1200)는, 인터넷 등의 네트워크를 통하여 다른 장치로부터 공급되는 비디오 데이터, 오디오 데이터 또는 EPG 데이터 등의 각종 데이터를 취득할 수 있다.
통신부(1235)는, 레코더 제어부(1226)에 제어되고, 네트워크를 통하여 다른 장치로부터 송신되는 비디오 데이터, 오디오 데이터 및 EPG 데이터 등의 부호화 데이터를 취득하고, 그것을 레코더 제어부(1226)에 공급한다. 레코더 제어부(1226)는, 예를 들어 취득한 비디오 데이터나 오디오 데이터의 부호화 데이터를 기록 재생부(1233)에 공급하고, 하드 디스크에 기억시킨다. 이때, 레코더 제어부(1226) 및 기록 재생부(1233)가, 필요에 따라 재인코드 등의 처리를 행하도록 해도 좋다.
또한, 레코더 제어부(1226)는, 취득한 비디오 데이터나 오디오 데이터의 부호화 데이터를 복호하고, 얻어지는 비디오 데이터를 디스플레이 컨버터(1230)에 공급한다. 디스플레이 컨버터(1230)는, 비디오 디코더(1225)로부터 공급되는 비디오 데이터와 마찬가지로, 레코더 제어부(1226)로부터 공급되는 비디오 데이터를 처리하고, 디스플레이 제어부(1232)를 통하여 모니터(1260)에 공급하여, 그 화상을 표시시킨다.
또한, 이 화상 표시에 맞춰서, 레코더 제어부(1226)가, 복호한 오디오 데이터를, D/A 컨버터(1234)를 통하여 모니터(1260)에 공급하고, 그 음성을 스피커로부터 출력시키도록 해도 좋다.
또한, 레코더 제어부(1226)는, 취득한 EPG 데이터의 부호화 데이터를 복호하고, 복호한 EPG 데이터를 EPG 데이터 메모리(1227)에 공급한다.
이상과 같은 하드 디스크 레코더(1200)는, 비디오 디코더(1225), 디코더(1252) 및 레코더 제어부(1226)에 내장되는 디코더로서 화상 복호 장치(200) 또는 화상 복호 장치(400)를 사용한다. 따라서, 비디오 디코더(1225), 디코더(1252) 및 레코더 제어부(1226)에 내장되는 디코더는, 화상 복호 장치(200) 또는 화상 복호 장치(400)의 경우와 마찬가지로, 화상 부호화 장치(100) 또는 화상 부호화 장치(300)로부터 공급된 제어 정보를 추출하여 복호하고, 그 제어 정보를 사용하여 적응 필터 제어 처리(및 필터 처리)를 행한다. 이에 의해, 비디오 디코더(1225), 디코더(1252) 및 레코더 제어부(1226)에 내장되는 디코더는, 필터 처리의 국소적인 제어에 의한 효과의 저감을 억제할 수 있다.
따라서, 하드 디스크 레코더(1200)는, 예를 들어 튜너나 통신부(1235)를 통하여 수신되는 비디오 데이터나, 기록 재생부(1233)의 하드 디스크에 기록되는 비디오 데이터에 대한 필터 처리의, 국소적인 제어에 의한 효과의 저감을 억제할 수 있다.
예를 들어, 하드 디스크 레코더(1200)는, 슬라이스를 걸치도록 필터 처리를 행함으로써, 필터 처리 결과의 화질을 향상시킬 수 있고, 복호 화상의 고화질화를 실현할 수 있다. 또한, 예를 들어 하드 디스크 레코더(1200)는, 당해 슬라이스에서 폐쇄한 필터 처리를 행함으로써, 저 지연으로 필터 처리를 행할 수 있고, 부호화 데이터를 보다 저 지연으로 복호할 수 있다.
또한, 하드 디스크 레코더(1200)는, 인코더(1251)로서 화상 부호화 장치(100) 또는 화상 부호화 장치(300)를 사용한다. 따라서, 인코더(1251)는, 화상 부호화 장치(100) 또는 화상 부호화 장치(300)의 경우와 마찬가지로, 필터 처리의 국소적인 제어에 의한 효과의 저감을 억제할 수 있다.
따라서, 하드 디스크 레코더(1200)는, 예를 들어 하드 디스크에 기록하는 부호화 데이터에 대한 필터 처리의 국소적인 제어에 의한 효과의 저감을 억제할 수 있다.
예를 들어, 하드 디스크 레코더(1200)는, 슬라이스를 걸치도록 필터 처리를 행함으로써, 필터 처리 결과의 화질을 향상시킬 수 있어, 보다 고화질의 부호화 데이터를 하드 디스크에 기록할 수 있다. 또한, 예를 들어 하드 디스크 레코더(1200)는, 당해 슬라이스에서 폐쇄한 필터 처리를 행함으로써, 저 지연으로 필터 처리를 행할 수 있고, 더욱 저 지연으로 부호화 데이터를 생성하고, 하드 디스크에 기록할 수 있다.
또한, 이상에 있어서는, 비디오 데이터나 오디오 데이터를 하드 디스크에 기록하는 하드 디스크 레코더(1200)에 대하여 설명했지만, 물론, 기록 매체는 어떤 것이어도 좋다. 예를 들어 플래시 메모리, 광 디스크 또는 비디오 테이프 등, 하드 디스크 이외의 기록 매체를 적용하는 레코더이어도, 상술한 하드 디스크 레코더(1200)의 경우와 마찬가지로, 화상 부호화 장치(100) 및 화상 복호 장치(200)를 적용할 수 있다.
<9. 제9 실시 형태>
[카메라]
도 27은, 본 발명을 적용한 화상 부호화 장치 및 화상 복호 장치를 사용하는 카메라의 주된 구성예를 도시하는 블록도이다.
도 27에 도시하는 카메라(1300)는, 피사체를 촬상하고, 피사체의 화상을 LCD(1316)에 표시시키거나, 그것을 화상 데이터로 하고, 기록 미디어(1333)에 기록하거나 한다.
렌즈 블록(1311)은, 광(즉, 피사체의 영상)을, CCD/CMOS(1312)에 입사시킨다. CCD/CMOS(1312)는, CCD 또는 CMOS를 사용한 이미지 센서이며, 수광한 광의 강도를 전기 신호로 변환하여, 카메라 신호 처리부(1313)에 공급한다.
카메라 신호 처리부(1313)는, CCD/CMOS(1312)로부터 공급된 전기 신호를, Y, Cr, Cb의 색차 신호로 변환하여, 화상 신호 처리부(1314)에 공급한다. 화상 신호 처리부(1314)는, 컨트롤러(1321)의 제어 하에, 카메라 신호 처리부(1313)로부터 공급된 화상 신호에 대하여 소정의 화상 처리를 실시하거나, 그 화상 신호를 인코더(1341)로 부호화하거나 한다. 화상 신호 처리부(1314)는, 화상 신호를 부호화하여 생성한 부호화 데이터를, 디코더(1315)에 공급한다. 또한, 화상 신호 처리부(1314)는, 온 스크린 디스플레이(OSD)(1320)에 있어서 생성된 표시용 데이터를 취득하고, 그것을 디코더(1315)에 공급한다.
이상의 처리에 있어서, 카메라 신호 처리부(1313)는, 버스(1317)를 통하여 접속되는 DRAM(Dynamic Random Access Memory)(1318)을 적절히 이용하고, 필요에 따라 화상 데이터나, 그 화상 데이터가 부호화된 부호화 데이터 등을 그 DRAM(1318)에 유지시킨다.
디코더(1315)는, 화상 신호 처리부(1314)로부터 공급된 부호화 데이터를 복호하고, 얻어진 화상 데이터(복호 화상 데이터)를 LCD(1316)에 공급한다. 또한, 디코더(1315)는, 화상 신호 처리부(1314)로부터 공급된 표시용 데이터를 LCD(1316)에 공급한다. LCD(1316)는, 디코더(1315)로부터 공급된 복호 화상 데이터의 화상과 표시용 데이터의 화상을 적절히 합성하고, 그 합성 화상을 표시한다.
온 스크린 디스플레이(1320)는, 컨트롤러(1321)의 제어 하에, 기호, 문자 또는 도형으로 이루어지는 메뉴 화면이나 아이콘 등의 표시용 데이터를, 버스(1317)를 통하여 화상 신호 처리부(1314)에 출력한다.
컨트롤러(1321)는, 유저가 조작부(1322)를 사용하여 명령한 내용을 나타내는 신호에 기초하여, 각종 처리를 실행함과 동시에, 버스(1317)를 통하여, 화상 신호 처리부(1314), DRAM(1318), 외부 인터페이스(1319), 온 스크린 디스플레이(1320) 및 미디어 드라이브(1323) 등을 제어한다. FLASH ROM(1324)에는, 컨트롤러(1321)가 각종 처리를 실행하는 동시에 필요한 프로그램이나 데이터 등이 저장된다.
예를 들어, 컨트롤러(1321)는, 화상 신호 처리부(1314)나 디코더(1315)를 대신하여, DRAM(1318)에 기억되어 있는 화상 데이터를 부호화하거나, DRAM(1318)에 기억되어 있는 부호화 데이터를 복호하거나 할 수 있다. 이때, 컨트롤러(1321)는, 화상 신호 처리부(1314)나 디코더(1315)의 부호화·복호 방식과 마찬가지의 방식에 의해 부호화·복호 처리를 행하도록 해도 좋고, 화상 신호 처리부(1314)나 디코더(1315)가 대응하지 않는 방식에 의해 부호화·복호 처리를 행하도록 해도 좋다.
또한, 예를 들어 조작부(1322)로부터 화상 인쇄의 개시가 지시된 경우, 컨트롤러(1321)는, DRAM(1318)로부터 화상 데이터를 판독하고, 그것을, 버스(1317)를 통하여 외부 인터페이스(1319)에 접속되는 프린터(1334)에 공급하여 인쇄시킨다.
또한, 예를 들어 조작부(1322)로부터 화상 기록이 지시된 경우, 컨트롤러(1321)는, DRAM(1318)로부터 부호화 데이터를 판독하고, 그것을, 버스(1317)를 통하여 미디어 드라이브(1323)에 장착되는 기록 미디어(1333)에 공급하여 기억시킨다.
기록 미디어(1333)는, 예를 들어 자기 디스크, 광자기 디스크, 광 디스크 또는 반도체 메모리 등의, 판독 기입 가능한 임의의 리무버블 미디어이다. 기록 미디어(1333)는, 물론, 리무버블 미디어로서의 종류도 임의이며, 테이프 디바이스이어도 좋고, 디스크이어도 좋고, 메모리 카드이어도 좋다. 물론, 비접촉 IC 카드 등이어도 좋다.
또한, 미디어 드라이브(1323)와 기록 미디어(1333)가 일체화되어, 예를 들어 내장형 하드디스크 드라이브나 SSD(Solid State Drive) 등과 같이, 비가반성인 기억 매체에 의해 구성되도록 해도 좋다.
외부 인터페이스(1319)는, 예를 들어 USB 입출력 단자 등으로 구성되고, 화상 인쇄를 행하는 경우에, 프린터(1334)와 접속된다. 또한, 외부 인터페이스(1319)에는, 필요에 따라 드라이브(1331)가 접속되고, 자기 디스크, 광 디스크, 혹은 광자기 디스크 등의 리무버블 미디어(1332)가 적절히 장착되고, 그들로부터 판독된 컴퓨터 프로그램이, 필요에 따라, FLASH ROM(1324)에 인스톨된다.
또한, 외부 인터페이스(1319)는, LAN이나 인터넷 등의 소정의 네트워크에 접속되는 네트워크 인터페이스를 갖는다. 컨트롤러(1321)는, 예를 들어 조작부(1322)로부터의 지시에 따라 DRAM(1318)으로부터 부호화 데이터를 판독하고, 그것을 외부 인터페이스(1319)로부터, 네트워크를 통하여 접속되는 다른 장치에 공급시킬 수 있다. 또한, 컨트롤러(1321)는, 네트워크를 통하여 다른 장치로부터 공급되는 부호화 데이터나 화상 데이터를, 외부 인터페이스(1319)를 통하여 취득하고, 그것을 DRAM(1318)에 유지시키거나, 화상 신호 처리부(1314)에 공급하거나 할 수 있다.
이상과 같은 카메라(1300)는, 디코더(1315)로서 화상 복호 장치(200) 또는 화상 복호 장치(400)를 사용한다. 따라서, 디코더(1315)는, 화상 복호 장치(200) 또는 화상 복호 장치(400)의 경우와 마찬가지로, 화상 부호화 장치(100) 또는 화상 부호화 장치(300)로부터 공급된 제어 정보를 추출하여 복호하고, 그 제어 정보를 사용하여 적응 필터 제어 처리(및 필터 처리)를 행한다. 이에 의해, 디코더(1315)는, 필터 처리의 국소적인 제어에 의한 효과의 저감을 억제할 수 있다.
따라서, 카메라(1300)는, 예를 들어 CCD/CMOS(1312)에서 생성되는 화상 데이터나, DRAM(1318) 또는 기록 미디어(1333)로부터 판독되는 비디오 데이터의 부호화 데이터나, 네트워크를 통하여 취득하는 비디오 데이터의 부호화 데이터에 대한 필터 처리의, 국소적인 제어에 의한 효과의 저감을 억제할 수 있다.
예를 들어, 카메라(1300)는, 슬라이스를 걸치도록 필터 처리를 행함으로써, 필터 처리 결과의 화질을 향상시킬 수 있어, 복호 화상의 고화질화를 실현할 수 있다. 또한, 예를 들어 카메라(1300)는, 당해 슬라이스에서 폐쇄한 필터 처리를 행함으로써, 저 지연으로 필터 처리를 행할 수 있고, 부호화 데이터를 보다 저 지연으로 복호할 수 있다.
또한, 카메라(1300)는, 인코더(1341)로서 화상 부호화 장치(100) 또는 화상 부호화 장치(300)를 사용한다. 따라서, 인코더(1341)는, 화상 부호화 장치(100) 또는 화상 부호화 장치(300)의 경우와 마찬가지로, 필터 처리의 국소적인 제어에 의한 효과의 저감을 억제할 수 있다.
따라서, 카메라(1300)는, 예를 들어 DRAM(1318)이나 기록 미디어(1333)에 기록하는 부호화 데이터나, 다른 장치에 제공하는 부호화 데이터에 대한 필터 처리의 국소적인 제어에 의한 효과의 저감을 억제할 수 있다.
예를 들어, 카메라(1300)는, 슬라이스를 걸치도록 필터 처리를 행함으로써, 필터 처리 결과의 화질을 향상시킬 수 있고, 보다 고화질인 부호화 데이터를 DRAM(1318)이나 기록 미디어(1333)에 기록하거나, 다른 장치에 제공하거나 할 수 있다. 또한, 예를 들어 카메라(1300)는, 당해 슬라이스에서 폐쇄한 필터 처리를 행함으로써, 저 지연으로 필터 처리를 행할 수 있어, 더욱 저 지연으로 부호화 데이터를 DRAM(1318)이나 기록 미디어(1333)에 기록하거나, 다른 장치에 제공하거나 할 수 있다.
또한, 컨트롤러(1321)가 행하는 복호 처리에 화상 복호 장치(200) 또는 화상 복호 장치(400)의 복호 방법을 적용하도록 해도 좋다. 마찬가지로, 컨트롤러(1321)가 행하는 부호화 처리에 화상 부호화 장치(100) 또는 화상 부호화 장치(300)의 부호화 방법을 적용하도록 해도 좋다.
또한, 카메라(1300)가 촬상하는 화상 데이터는 동화상이어도 좋고, 정지 화상이어도 좋다.
물론, 화상 부호화 장치(100), 화상 복호 장치(200), 화상 부호화 장치(300) 및 화상 복호 장치(400)는, 상술한 장치 이외의 장치나 시스템에도 적용 가능하다.
또한, 매크로 블록의 크기도, 16×16 화소에 제한하지 않는다. 예를 들어 도 28에 도시된 32×32 화소와 같은, 모든 크기의 매크로 블록에 대하여 적용하는 것이 가능하다.
이상에 있어서는, 플래그 정보 등을 비트 스트림에 다중화(기술)하는 것으로서 설명했지만, 다중화하는 것 이외에도, 예를 들어 플래그와 화상 데이터(또는 비트 스트림)를 전송(기록)해도 좋다. 플래그와 화상 데이터(또는 비트 스트림)를 연결하는(부가하는) 형태도 있을 수 있다.
연결(부가)이란, 화상 데이터(또는 비트 스트림)와 플래그가 서로 링크되어 있는 상태(대응이 떨어지고 있는 상태)를 나타내는 것으로, 물리적인 위치 관계는 임의이다. 예를 들어, 화상 데이터(또는 비트 스트림)와 플래그를, 다른 전송로로 전송해도 좋다. 또한, 화상 데이터(또는 비트 스트림)와 플래그를, 서로 다른 기록 매체(또는 동일한 기록 매체 내가 따로 따로인 기록 에리어)에 기록해도 좋다. 또한, 화상 데이터(또는 비트 스트림)와 플래그를 링크시키는 단위는, 임의이며, 예를 들어 부호화 처리 단위(1 프레임, 복수 프레임 등)로 설정해도 좋다.
100: 화상 부호화 장치
112: 제어 정보 생성부
113: 적응 필터 처리부
132: 경계 제어 플래그 생성부
141: 시스템 사양 관리부
142: 판정부
143: 생성부
161: 처리 대상 화소
162: 주변 화소
163: 슬라이스 경계
171: 제어부
172: 적응 필터
173: 선택부
181: 버퍼
182: 슬라이스 내용 적응 필터
183: 경계용 제1 적응 필터
184: 경계용 제2 적응 필터
200: 화상 복호 장치
202: 가역 복호부
207: 적응 필터 처리부
300: 화상 부호화 장치
301: 화상 부호화부
302: 입력부
303: 통신부
304: 정보 수집부
400: 화상 복호 장치
401: 화상 복호부
402: 정보 제공부
403: 통신부

Claims (28)

  1. 복수의 블록을 포함하는 화상 데이터의 부호화 데이터를 복호하는 복호부와,
    상기 블록마다 필터 처리를 행할지를 제어하는 블록 제어 데이터와, 처리 대상의 슬라이스의 경계를 초과하여 상기 필터 처리를 행할지를 제어하는 슬라이스 제어 데이터에 따라, 상기 복호부에 의해 생성된 화상 데이터에 상기 필터 처리를 행하는 필터 처리부를 구비한, 화상 복호 장치.
  2. 제1항에 있어서,
    상기 블록은 쿼드 트리 구조인, 화상 복호 장치.
  3. 제2항에 있어서,
    상기 쿼드 트리 구조는, 상기 블록이 하위 계층에 있어서 4 분할되는지를 나타내는 정보에 의해 정의되는, 화상 복호 장치.
  4. 제3항에 있어서,
    상기 쿼드 트리 구조는, 각 계층에 있어서 상기 정보를 이용하여 상기 블록이 4 분할되지 않을 때까지 재귀적으로 정의되는, 화상 복호 장치.
  5. 제4항에 있어서,
    상기 쿼드 트리 구조는, 3계층 이상의 계층 구조를 갖는, 화상 복호 장치.
  6. 제1항에 있어서,
    상기 필터 처리는 적응 필터 처리인, 화상 복호 장치.
  7. 제1항에 있어서,
    상기 블록마다 필터 처리를 행할지를 제어하는 제어 데이터를 수취하는 수취부를 더 구비하고,
    상기 필터 처리부는, 상기 수취부에 의해 수취된 상기 제어 데이터에 의해 상기 블록에 대해 상기 필터 처리를 행하도록 지시될 경우, 상기 블록에 대해 상기 필터 처리를 행하는, 화상 복호 장치.
  8. 제1항에 있어서,
    상기 블록을 복호하는 복호부를 더 구비하고,
    상기 필터 처리부는, 상기 복호부에 의해 복호된 상기 블록에 대해 상기 필터 처리를 행하는, 화상 복호 장치.
  9. 제1항에 있어서,
    유저의 조작에 의해 종화(終話) 및 전원 키가 온 상태로 되면, 배터리 팩으로부터 각 처리부에 대해 전력을 공급함으로써 동작 가능한 상태로 기동하는 전원부를 더 구비한, 화상 복호 장치.
  10. 제1항에 있어서,
    상기 필터 처리부에 의해 필터 처리된 화상을 디스플레이에 표시시키는 디스플레이 제어부를 더 구비한, 화상 복호 장치.
  11. 제1항에 있어서,
    화상 데이터를 수신하는 수신부를 더 구비하고,
    상기 필터 처리부는, 상기 수신부에 의해 수신된 상기 화상 데이터의 블록에 대해 상기 필터 처리를 행하는, 화상 복호 장치.
  12. 제11항에 있어서,
    상기 수신부는, 스펙트럼 확산 처리에 의해 변조된 화상 데이터를 수신하고,
    상기 수신부에 의해 수신된, 상기 스펙트럼 확산 처리에 의해 변조된 상기 화상 데이터를, 스펙트럼 역확산 처리에 의해 복조하는 복조부를 더 구비하고,
    상기 필터 처리부는, 상기 복조부에 의해 복조된 상기 화상 데이터의 블록에 대해 상기 필터 처리를 행하는, 화상 복호 장치.
  13. 제12항에 있어서,
    상기 수신부는, 스펙트럼 확산 처리에 의해 변조된, 상기 화상 데이터와 다른 데이터가 다중화된 다중화 데이터를 수신하고,
    상기 복조부는, 상기 수신부에 의해 수신된, 상기 스펙트럼 확산 처리에 의해 변조된 상기 다중화 데이터를, 상기 스펙트럼 역확산 처리에 의해 복조하고,
    상기 복조부에 의해 복조된 상기 다중화 데이터를, 상기 화상 데이터와 상기 다른 데이터로 분리하는 분리부를 더 구비하고,
    상기 필터 처리부는, 상기 분리부에 의해 분리되어 얻어진 상기 화상 데이터의 블록에 대해 상기 필터 처리를 행하는, 화상 복호 장치.
  14. 복수의 블록을 포함하는 화상 데이터의 부호화 데이터를 복호하는 단계와,
    상기 블록마다 필터 처리를 행할지를 제어하는 블록 제어 데이터와, 처리 대상의 슬라이스의 경계를 초과하여 상기 필터 처리를 행할지를 제어하는 슬라이스 제어 데이터에 따라, 상기 복호하는 단계에서 생성된 화상 데이터에 상기 필터 처리를 행하는 단계를 포함하는, 화상 복호 방법.
  15. 제14항에 있어서,
    상기 블록은 쿼드 트리 구조인, 화상 복호 방법.
  16. 제15항에 있어서,
    상기 쿼드 트리 구조는, 상기 블록이 하위 계층에 있어서 4 분할되는지를 나타내는 정보에 의해 정의되는, 화상 복호 방법.
  17. 제16항에 있어서,
    상기 쿼드 트리 구조는, 각 계층에 있어서 상기 정보를 이용하여 상기 블록이 4 분할되지 않을 때까지 재귀적으로 정의되는, 화상 복호 방법.
  18. 제17항에 있어서,
    상기 쿼드 트리 구조는, 3계층 이상의 계층 구조를 갖는, 화상 복호 방법.
  19. 제14항에 있어서,
    상기 필터 처리는 적응 필터 처리인, 화상 복호 방법.
  20. 제14항에 있어서,
    상기 블록마다 필터 처리를 행할지를 제어하는 제어 데이터를 수취하는 단계를 더 포함하고,
    상기 필터 처리를 행하는 단계에서는, 상기 수취하는 단계에서 수취된 상기 제어 데이터에 의해 상기 블록에 대해 상기 필터 처리를 행하도록 지시될 경우, 상기 블록에 대해 상기 필터 처리를 행하는, 화상 복호 방법.
  21. 제14항에 있어서,
    상기 블록을 복호하는 복호 단계를 더 구비하고,
    상기 필터 처리를 행하는 단계에서는, 상기 복호 단계에서 복호된 상기 블록에 대해 상기 필터 처리를 행하는, 화상 복호 방법.
  22. 제14항에 있어서,
    유저의 조작에 의해 종화(終話) 및 전원 키가 온 상태로 되면, 배터리 팩으로부터 각 처리부에 대해 전력을 공급함으로써 동작 가능한 상태로 기동하는, 화상 복호 방법.
  23. 제14항에 있어서,
    상기 필터 처리를 행하는 단계에서 필터 처리된 화상을 디스플레이에 표시시키는 디스플레이 제어 단계를 더 구비한, 화상 복호 방법.
  24. 제14항에 있어서,
    화상 데이터를 수신하는 수신 단계를 더 구비하고,
    상기 필터 처리를 행하는 단계에서는, 상기 수신 단계에서 수신된 상기 화상 데이터의 블록에 대해 상기 필터 처리를 행하는, 화상 복호 방법.
  25. 제24항에 있어서,
    상기 수신 단계에서는, 스펙트럼 확산 처리에 의해 변조된 화상 데이터를 수신하고,
    상기 수신 단계에서 수신된, 상기 스펙트럼 확산 처리에 의해 변조된 상기 화상 데이터를, 스펙트럼 역확산 처리에 의해 복조하는 복조 단계를 더 구비하고,
    상기 필터 처리를 행하는 단계에서는, 상기 복조 단계에서 복조된 상기 화상 데이터의 블록에 대해 상기 필터 처리를 행하는, 화상 복호 방법.
  26. 제25항에 있어서,
    상기 수신 단계에서는, 스펙트럼 확산 처리에 의해 변조된, 상기 화상 데이터와 다른 데이터가 다중화된 다중화 데이터를 수신하고,
    상기 복조 단계에서는, 상기 수신 단계에서 수신된, 상기 스펙트럼 확산 처리에 의해 변조된 상기 다중화 데이터를 상기 스펙트럼 역확산 처리에 의해 복조하고,
    상기 복조 단계에서 복조된 상기 다중화 데이터를, 상기 화상 데이터와 상기 다른 데이터로 분리하는 분리 단계를 더 구비하고,
    상기 필터 처리를 행하는 단계에서는, 상기 분리 단계에서 분리되어 얻어진 상기 화상 데이터의 블록에 대해 상기 필터 처리를 행하는, 화상 복호 방법.
  27. 컴퓨터를,
    복수의 블록을 포함하는 화상 데이터의 부호화 데이터를 복호하는 복호부와,
    상기 블록마다 필터 처리를 행할지를 제어하는 블록 제어 데이터와, 처리 대상의 슬라이스의 경계를 초과하여 상기 필터 처리를 행할지를 제어하는 슬라이스 제어 데이터에 따라, 상기 복호부에 의해 생성된 화상 데이터에 상기 필터 처리를 행하는 필터 처리부로서 기능시키는 프로그램을 기록한, 컴퓨터 판독 가능한 기록 매체.
  28. 제1항에 있어서,
    상기 화상 데이터에 대해 디블록 필터 처리를 행하는 디블록 필터부
    를 더 구비하고,
    상기 필터 처리부는, 상기 디블록 필터부에 의해 디블록 필터 처리가 행해진 화상 데이터를 대상으로 하여, 상기 필터 처리를 행하는, 화상 복호 장치.
KR1020147012585A 2009-07-31 2010-07-23 화상 복호 장치, 화상 복호 방법 및 기록 매체 Active KR101649805B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2009-179395 2009-07-31
JP2009179395A JP5344238B2 (ja) 2009-07-31 2009-07-31 画像符号化装置および方法、記録媒体、並びにプログラム
PCT/JP2010/062398 WO2011013580A1 (ja) 2009-07-31 2010-07-23 画像処理装置および方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020127001717A Division KR101649775B1 (ko) 2009-07-31 2010-07-23 화상 처리 장치, 화상 처리 방법 및 기록 매체

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020167021628A Division KR101747063B1 (ko) 2009-07-31 2010-07-23 화상 복호 장치, 화상 복호 방법 및 기록 매체

Publications (2)

Publication Number Publication Date
KR20140065021A KR20140065021A (ko) 2014-05-28
KR101649805B1 true KR101649805B1 (ko) 2016-08-19

Family

ID=43529237

Family Applications (7)

Application Number Title Priority Date Filing Date
KR1020147012585A Active KR101649805B1 (ko) 2009-07-31 2010-07-23 화상 복호 장치, 화상 복호 방법 및 기록 매체
KR1020187017072A Active KR101931730B1 (ko) 2009-07-31 2010-07-23 화상 복호 장치, 화상 복호 방법 및 기록 매체
KR1020127001717A Active KR101649775B1 (ko) 2009-07-31 2010-07-23 화상 처리 장치, 화상 처리 방법 및 기록 매체
KR1020197028620A Expired - Fee Related KR102126165B1 (ko) 2009-07-31 2010-07-23 화상 복호 장치, 화상 복호 방법 및 기록 매체
KR1020167021628A Active KR101747063B1 (ko) 2009-07-31 2010-07-23 화상 복호 장치, 화상 복호 방법 및 기록 매체
KR1020187036591A Active KR102030954B1 (ko) 2009-07-31 2010-07-23 화상 복호 장치, 화상 복호 방법 및 기록 매체
KR1020177011506A Expired - Fee Related KR101872657B1 (ko) 2009-07-31 2010-07-23 화상 복호 장치, 화상 복호 방법 및 기록 매체

Family Applications After (6)

Application Number Title Priority Date Filing Date
KR1020187017072A Active KR101931730B1 (ko) 2009-07-31 2010-07-23 화상 복호 장치, 화상 복호 방법 및 기록 매체
KR1020127001717A Active KR101649775B1 (ko) 2009-07-31 2010-07-23 화상 처리 장치, 화상 처리 방법 및 기록 매체
KR1020197028620A Expired - Fee Related KR102126165B1 (ko) 2009-07-31 2010-07-23 화상 복호 장치, 화상 복호 방법 및 기록 매체
KR1020167021628A Active KR101747063B1 (ko) 2009-07-31 2010-07-23 화상 복호 장치, 화상 복호 방법 및 기록 매체
KR1020187036591A Active KR102030954B1 (ko) 2009-07-31 2010-07-23 화상 복호 장치, 화상 복호 방법 및 기록 매체
KR1020177011506A Expired - Fee Related KR101872657B1 (ko) 2009-07-31 2010-07-23 화상 복호 장치, 화상 복호 방법 및 기록 매체

Country Status (12)

Country Link
US (6) US8805085B2 (ko)
EP (5) EP2802150B1 (ko)
JP (1) JP5344238B2 (ko)
KR (7) KR101649805B1 (ko)
CN (4) CN102511165B (ko)
BR (1) BR112012001639B1 (ko)
ES (2) ES2733072T3 (ko)
HU (2) HUE045448T2 (ko)
PL (2) PL2790409T3 (ko)
RU (4) RU2543306C2 (ko)
TW (5) TWI694711B (ko)
WO (1) WO2011013580A1 (ko)

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295609B2 (en) 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
JP5359657B2 (ja) * 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5344238B2 (ja) 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5604825B2 (ja) 2009-08-19 2014-10-15 ソニー株式会社 画像処理装置および方法
JP5914962B2 (ja) 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
TWI600318B (zh) 2010-05-18 2017-09-21 Sony Corp Image processing apparatus and image processing method
EP4290860A3 (en) 2010-06-04 2024-02-14 Sony Group Corporation Image processing apparatus and method
MY174587A (en) 2010-12-07 2020-04-28 Sony Corp Image processing device and image processing method
MX2013006131A (es) 2010-12-07 2013-06-28 Sony Corp Dispositivo de procesamiento de imagenes y metodo de procesamiento de imagenes.
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
US10116932B2 (en) 2010-12-14 2018-10-30 Sharp Kabushiki Kaisha Image filter device, decoding device, encoding device, and data structure
US10244239B2 (en) * 2010-12-28 2019-03-26 Dolby Laboratories Licensing Corporation Parameter set for picture segmentation
EP2661879B1 (en) 2011-01-03 2019-07-10 HFI Innovation Inc. Method of filter-unit based in-loop filtering
EP3462738A1 (en) 2011-02-10 2019-04-03 Velos Media International Limited Efficient signaling of quantization matrices
WO2012120840A1 (ja) * 2011-03-07 2012-09-13 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置および画像符号化装置
JPWO2012124461A1 (ja) 2011-03-11 2014-07-17 ソニー株式会社 画像処理装置および方法
JP2012213128A (ja) * 2011-03-24 2012-11-01 Sony Corp 画像処理装置および方法
TWI530161B (zh) 2011-06-07 2016-04-11 Sony Corp Image processing apparatus and method
US10484693B2 (en) * 2011-06-22 2019-11-19 Texas Instruments Incorporated Method and apparatus for sample adaptive offset parameter estimation for image and video coding
DK4009638T3 (da) 2011-06-28 2025-01-27 Sony Group Corp Billedbehandlingsindretning, billedbehandlingsfremgangsmåde, program og lagermedie
JP5907367B2 (ja) 2011-06-28 2016-04-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
JP2013074491A (ja) * 2011-09-28 2013-04-22 Sony Corp 画像処理装置および方法
US9462298B2 (en) * 2011-10-21 2016-10-04 Qualcomm Incorporated Loop filtering around slice boundaries or tile boundaries in video coding
US9247258B2 (en) * 2011-10-26 2016-01-26 Qualcomm Incorporated Unified design for picture partitioning schemes
US20130107973A1 (en) * 2011-10-28 2013-05-02 Qualcomm Incorporated Loop filtering control over tile boundaries
BR112014009569B1 (pt) 2011-10-31 2022-07-05 Mitsubishi Electric Corporation Dispositivo e método de decodificação de vídeo
WO2013081085A1 (en) * 2011-11-28 2013-06-06 Canon Kabushiki Kaisha Moving image encoding apparatus, control method thereof and computer program
CN103200400B (zh) * 2012-01-09 2018-03-16 中兴通讯股份有限公司 一种图像层和分片层的编解码方法、编解码器和电子设备
US9930379B2 (en) * 2012-01-31 2018-03-27 Comcast Cable Communications, Llc System and method for data stream fragmentation
US9967563B2 (en) 2012-02-03 2018-05-08 Hfi Innovation Inc. Method and apparatus for loop filtering cross tile or slice boundaries
US20130279882A1 (en) * 2012-04-23 2013-10-24 Apple Inc. Coding of Video and Audio with Initialization Fragments
JP5572811B2 (ja) * 2012-07-02 2014-08-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置および画像符号化復号装置
JP5885604B2 (ja) * 2012-07-06 2016-03-15 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法及び動画像予測復号プログラム
WO2014097596A1 (ja) * 2012-12-19 2014-06-26 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
JP6579393B2 (ja) * 2014-10-06 2019-09-25 ソニー株式会社 画像処理装置および方法
CN104683819A (zh) * 2015-01-31 2015-06-03 北京大学 一种自适应环路滤波方法及装置
TWI575937B (zh) * 2015-07-24 2017-03-21 矽創電子股份有限公司 Image prediction and decoding method and encoding / decoder
WO2018022011A1 (en) * 2016-07-26 2018-02-01 Hewlett-Packard Development Company, L.P. Indexing voxels for 3d printing
CN116489394A (zh) 2016-10-14 2023-07-25 世宗大学校产学协力团 影像解码/编码方法、传送比特流的方法及记录介质
US11057624B2 (en) 2016-10-14 2021-07-06 Industry Academy Cooperation Foundation Of Sejong University Image encoding method/device, image decoding method/device, and recording medium in which bitstream is stored
US10469876B2 (en) * 2016-12-22 2019-11-05 Mediatek Inc. Non-local adaptive loop filter combining multiple denoising technologies and grouping image patches in parallel
CN112136326B (zh) * 2018-05-23 2023-12-12 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法和解码方法
KR20200002011A (ko) * 2018-06-28 2020-01-07 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2020013498A1 (ko) * 2018-07-13 2020-01-16 엘지전자 주식회사 컨텐츠 서비스 시스템에서 영상 서비스 처리 방법 및 그 장치
US10735682B2 (en) * 2018-11-14 2020-08-04 Omnivision Technologies, Inc. Dram with staggered word line transitions for hybrid-bonded photosensor arrays
US20220417506A1 (en) * 2019-06-23 2022-12-29 Lg Electronics Inc. Deblocking filtering method and apparatus in video/image coding system
JP2021033334A (ja) * 2019-08-13 2021-03-01 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、および情報処理プログラム
WO2021101201A1 (ko) 2019-11-18 2021-05-27 엘지전자 주식회사 루프 필터링을 제어하는 영상 코딩 장치 및 방법
CN115023954B (zh) 2019-11-18 2025-04-22 Lg电子株式会社 用于控制环路滤波的图像编码装置和方法
EP4084479A4 (en) * 2019-12-23 2024-01-17 LG Electronics Inc. IMAGE CODING APPARATUS AND METHOD BASED ON A PARTIAL IMAGE
KR20220003812A (ko) * 2020-07-02 2022-01-11 삼성전자주식회사 호 채널의 상태에 기반하여 필터를 사용하여 전처리된 컨텐츠를 전송하는 전자 장치 및 전자 장치의 동작 방법
KR20220021961A (ko) 2020-08-13 2022-02-23 삼성전자주식회사 전자 장치 및 전자 장치의 동작 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007235886A (ja) * 2006-03-03 2007-09-13 Nec Corp 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、フィルタ装置及びプログラム
US20080267297A1 (en) * 2007-04-26 2008-10-30 Polycom, Inc. De-blocking filter arrangements

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5344238B2 (ko) 1973-04-06 1978-11-27
JP3297293B2 (ja) 1996-03-07 2002-07-02 三菱電機株式会社 動画像復号方法および動画像復号装置
US6788880B1 (en) * 1998-04-16 2004-09-07 Victor Company Of Japan, Ltd Recording medium having a first area for storing an audio title set and a second area for storing a still picture set and apparatus for processing the recorded information
AU717480B2 (en) * 1998-08-01 2000-03-30 Korea Advanced Institute Of Science And Technology Loop-filtering method for image data and apparatus therefor
JP2002150281A (ja) * 2000-11-16 2002-05-24 Sony Corp 画像縮小処理装置及び方法
KR100766657B1 (ko) 2001-10-17 2007-10-15 마쯔시다덴기산교 가부시키가이샤 동화상 부호화 방법 및 동화상 복호화 방법
US7423691B2 (en) * 2001-11-19 2008-09-09 Matsushita Electric Industrial Co., Ltd. Method of low latency interlace to progressive video format conversion
US7330596B2 (en) * 2002-07-17 2008-02-12 Ricoh Company, Ltd. Image decoding technique for suppressing tile boundary distortion
US7995849B2 (en) * 2003-03-17 2011-08-09 Qualcomm, Incorporated Method and apparatus for improving video quality of low bit-rate video
JP2005033336A (ja) * 2003-07-08 2005-02-03 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
US7324596B2 (en) * 2003-07-15 2008-01-29 Lsi Logic Corporation Low complexity block size decision for variable block size motion estimation
JP4282399B2 (ja) 2003-07-16 2009-06-17 パナソニック株式会社 無線親機及び無線子機
EP1515561B1 (en) * 2003-09-09 2007-11-21 Mitsubishi Electric Information Technology Centre Europe B.V. Method and apparatus for 3-D sub-band video coding
US20070183508A1 (en) 2004-08-05 2007-08-09 Shintaro Kudo Image decoding device and image encoding device
KR100679035B1 (ko) * 2005-01-04 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
EP1878257A1 (en) * 2005-04-12 2008-01-16 Nokia Corporation Method and system for motion compensated fine granularity scalable video coding with drift control
KR100716998B1 (ko) * 2005-05-24 2007-05-10 삼성전자주식회사 블록화 현상을 감소시키기 위한 부호화 및 복호화 장치 및그 방법과, 이를 구현하기 위한 프로그램이 기록된 기록매체
JP2007027956A (ja) 2005-07-13 2007-02-01 Matsushita Electric Ind Co Ltd デブロッキングフィルタ
US20080130989A1 (en) * 2005-07-22 2008-06-05 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
JP2007129369A (ja) 2005-11-01 2007-05-24 Matsushita Electric Ind Co Ltd 画像再生装置およびその方法
JP4987322B2 (ja) 2006-02-28 2012-07-25 株式会社東芝 動画像復号装置及び動画像復号方法
JP4646234B2 (ja) 2006-03-22 2011-03-09 パナソニック株式会社 薬液供給装置および半導体装置の製造方法
KR100904444B1 (ko) 2006-09-07 2009-06-26 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
CN101401430B (zh) * 2006-11-17 2012-02-29 Lg电子株式会社 用于解码/编码视频信号的方法及装置
US7742532B2 (en) * 2006-11-17 2010-06-22 Lg Electronics Inc. Method and apparatus for applying de-blocking filter to a video signal
US9445128B2 (en) * 2006-12-08 2016-09-13 Freescale Semiconductor, Inc. System and method of determining deblocking control flag of scalable video system for indicating presentation of deblocking parameters for multiple layers
US8718139B2 (en) * 2007-01-12 2014-05-06 Mitsubishi Electric Corporation Image decoding device and image decoding method
JP4847890B2 (ja) * 2007-02-16 2011-12-28 パナソニック株式会社 符号化方式変換装置
US8345968B2 (en) 2007-06-28 2013-01-01 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
JP4821723B2 (ja) 2007-07-13 2011-11-24 富士通株式会社 動画像符号化装置及びプログラム
US8437564B2 (en) * 2007-08-07 2013-05-07 Ntt Docomo, Inc. Image and video compression using sparse orthonormal transforms
WO2009044475A1 (ja) 2007-10-04 2009-04-09 Fujitsu Limited 符号化装置、符号化方法、符号化プログラムおよび符号化回路
US20090316793A1 (en) * 2008-06-20 2009-12-24 Yang Zhijie Michael Method and system for adaptive deblocking for avs1-p2
KR101538704B1 (ko) * 2009-01-28 2015-07-28 삼성전자주식회사 보간 필터를 적응적으로 사용하여 영상을 부호화 및 복호화하는 방법 및 장치
JP5359657B2 (ja) 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5344238B2 (ja) 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5233897B2 (ja) 2009-07-31 2013-07-10 ソニー株式会社 画像処理装置および方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007235886A (ja) * 2006-03-03 2007-09-13 Nec Corp 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、フィルタ装置及びプログラム
US20080267297A1 (en) * 2007-04-26 2008-10-30 Polycom, Inc. De-blocking filter arrangements

Also Published As

Publication number Publication date
BR112012001639B1 (pt) 2021-01-26
KR101931730B1 (ko) 2018-12-24
US20180146215A1 (en) 2018-05-24
US20140270559A1 (en) 2014-09-18
US9392269B2 (en) 2016-07-12
RU2018117534A3 (ko) 2021-09-13
RU2766441C2 (ru) 2022-03-15
RU2660612C2 (ru) 2018-07-06
EP2802150A1 (en) 2014-11-12
RU2014123684A (ru) 2015-12-20
JP2011035620A (ja) 2011-02-17
US9918108B2 (en) 2018-03-13
US8774537B2 (en) 2014-07-08
US20130301942A1 (en) 2013-11-14
TWI472230B (zh) 2015-02-01
RU2012102382A (ru) 2013-07-27
JP5344238B2 (ja) 2013-11-20
CN103957408A (zh) 2014-07-30
CN102511165B (zh) 2015-06-17
TW201114265A (en) 2011-04-16
KR101649775B1 (ko) 2016-08-19
RU2543306C2 (ru) 2015-02-27
KR20170049637A (ko) 2017-05-10
TW201448569A (zh) 2014-12-16
EP3496402A1 (en) 2019-06-12
TWI723849B (zh) 2021-04-01
KR20120039657A (ko) 2012-04-25
EP3661207A1 (en) 2020-06-03
TW202029752A (zh) 2020-08-01
PL2790409T3 (pl) 2019-10-31
KR101872657B1 (ko) 2018-06-28
ES2733068T3 (es) 2019-11-27
PL2802150T3 (pl) 2019-10-31
EP2790409B1 (en) 2019-04-24
EP2461588A1 (en) 2012-06-06
KR20180137038A (ko) 2018-12-26
US20200314454A1 (en) 2020-10-01
WO2011013580A1 (ja) 2011-02-03
EP2461588A4 (en) 2014-11-12
HUE045448T2 (hu) 2019-12-30
CN103957408B (zh) 2018-05-18
US11405652B2 (en) 2022-08-02
TWI595775B (zh) 2017-08-11
US10721494B2 (en) 2020-07-21
RU2656712C2 (ru) 2018-06-06
TWI647947B (zh) 2019-01-11
KR20160099727A (ko) 2016-08-22
EP2790409A3 (en) 2014-11-19
US20120121188A1 (en) 2012-05-17
EP2790409A2 (en) 2014-10-15
ES2733072T3 (es) 2019-11-27
KR102126165B1 (ko) 2020-06-24
RU2014119668A (ru) 2015-11-20
BR112012001639A2 (pt) 2016-04-12
US20160309193A1 (en) 2016-10-20
CN103957407A (zh) 2014-07-30
TWI694711B (zh) 2020-05-21
HUE044436T2 (hu) 2019-10-28
TW201728170A (zh) 2017-08-01
US8805085B2 (en) 2014-08-12
KR102030954B1 (ko) 2019-10-10
RU2018117534A (ru) 2019-11-11
EP3661207B1 (en) 2021-09-01
EP3496402B1 (en) 2020-04-01
CN103957407B (zh) 2017-08-15
KR101747063B1 (ko) 2017-06-14
KR20190114025A (ko) 2019-10-08
KR20180070716A (ko) 2018-06-26
CN102511165A (zh) 2012-06-20
KR20140065021A (ko) 2014-05-28
CN104935937B (zh) 2019-03-19
TW201921930A (zh) 2019-06-01
EP2802150B1 (en) 2019-04-24
CN104935937A (zh) 2015-09-23

Similar Documents

Publication Publication Date Title
KR101649805B1 (ko) 화상 복호 장치, 화상 복호 방법 및 기록 매체
JP6620184B2 (ja) 画像復号装置、画像復号方法、及び、記録媒体
JP6328076B2 (ja) 画像復号装置および方法、記録媒体、並びにプログラム
JP5429418B2 (ja) 画像復号装置および方法、記録媒体、並びにプログラム
JP6826177B2 (ja) 画像復号装置、画像復号方法、及び、記録媒体
JP6229770B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP5999773B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
HK40007990A (en) Image decoding method, image decoding device and computer readable medium
HK40007990B (en) Image decoding method, image decoding device and computer readable medium
JP2015065704A (ja) 画像処理装置および方法、記録媒体、並びにプログラム

Legal Events

Date Code Title Description
A107 Divisional application of patent
PA0104 Divisional application for international application

Comment text: Divisional Application for International Patent

Patent event code: PA01041R01D

Patent event date: 20140509

Application number text: 1020127001717

Filing date: 20120120

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20150212

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20151117

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20160512

A107 Divisional application of patent
PA0104 Divisional application for international application

Comment text: Divisional Application for International Patent

Patent event code: PA01041R01D

Patent event date: 20160808

Application number text: 1020127001717

Filing date: 20120120

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20160812

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20160812

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20190813

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20190813

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20200803

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20210802

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20220722

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20230802

Start annual number: 8

End annual number: 8