[go: up one dir, main page]

KR102440941B1 - 이미지 처리 정보에 따라 크기와 방향을 갖는 초기 위상을 계산할 수 있는 이미지 처리 장치들 - Google Patents

이미지 처리 정보에 따라 크기와 방향을 갖는 초기 위상을 계산할 수 있는 이미지 처리 장치들 Download PDF

Info

Publication number
KR102440941B1
KR102440941B1 KR1020150029874A KR20150029874A KR102440941B1 KR 102440941 B1 KR102440941 B1 KR 102440941B1 KR 1020150029874 A KR1020150029874 A KR 1020150029874A KR 20150029874 A KR20150029874 A KR 20150029874A KR 102440941 B1 KR102440941 B1 KR 102440941B1
Authority
KR
South Korea
Prior art keywords
pixel
output image
input image
initial phase
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020150029874A
Other languages
English (en)
Other versions
KR20160107013A (ko
Inventor
김성운
윤성철
양하나
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150029874A priority Critical patent/KR102440941B1/ko
Priority to US15/057,784 priority patent/US9836670B2/en
Publication of KR20160107013A publication Critical patent/KR20160107013A/ko
Application granted granted Critical
Publication of KR102440941B1 publication Critical patent/KR102440941B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)

Abstract

시스템 온 칩이 개시된다. 상기 시스템 온 칩은 스케일링 비율 정보, 크로마 서브샘플링 포맷 변환 정보, 및 회전 각도 정보를 이용하여 크기와 방향을 갖는 초기 위상을 계산하는 CPU와, 상기 CPU에 접속되고, 상기 초기 위상과 입력 이미지를 수신하고, 상기 초기 위상과 상기 입력 이미지의 첫 번째 픽셀의 위치에 기초하여 상기 출력 이미지의 첫 번째 픽셀의 위치를 결정하는 멀티미디어 처리 회로를 포함한다.

Description

이미지 처리 정보에 따라 크기와 방향을 갖는 초기 위상을 계산할 수 있는 이미지 처리 장치들{IMAGE PROCESSING DEVICES FOR COMPUTING INITIAL PHASE HAVING MAGNITUDE AND DIRECTION BASED ON IMAGE PROCESSING INFORMATION}
본 발명의 개념에 따른 실시 예는 이미지 처리 장치에 관한 것으로, 특히 이미지 처리 모드에 따라 크기와 방향을 갖는 초기 위상을 계산할 수 있는 이미지 처리 장치들에 관한 것이다.
이미지 처리 장치는 다양한 포맷을 갖는 입력 이미지를 수신하고, 수신된 이미지에 대해 이미지 스케일링, 회전(rotation), 및 포맷 변환을 수행할 수 있다.
종래의 이미지 처리 장치는 출력 이미지의 첫 번째 픽셀의 위치를 입력 이미지의 첫 번째 픽셀의 위치와 동일하도록 처리한다. 그러나, 입력 이미지의 포맷, 출력 이미지의 포맷, 스케일링 비율, 회전 각도, 및 플립 여부 중에서 적어도 하나에 기초하여 상기 출력 이미지의 첫 번째 픽셀의 가로 방향 및/또는 세로 방향의 위치가 변경되어야 한다.
종래의 이미지 처리 장치는 가로 방향과 세로 방향으로 약간 시프트된 출력 이미지를 출력했다. 또한, 종래의 이미지 처리 장치는 회전 및/또는 플립에 따라 크로마 픽셀의 위치를 완벽하게 보정할 수 없으므로, 특정한 크로마 서브샘플링 방식에 대해 출력 이미지의 색 정보가 왜곡되었다.
본 발명이 이루고자 하는 기술적인 과제는 출력 이미지의 첫 번째 픽셀 위치와 입력 이미지의 첫 번째 픽셀 위치의 차이에 상응하는 초기 위상을 계산하고, 상기 초기 위상과 상기 입력 이미지의 첫 번째 픽셀 위치에 기초하여 상기 출력 이미지의 첫 번째 픽셀 위치를 결정할 수 있는 장치와 방법을 제공하는 것이다.
본 발명의 실시 예에 따른 시스템 온 칩의 작동 방법은 스케일링 비율 정보, 크로마 서브샘플링 포맷 변환 정보, 및 회전 각도 정보를 이용하여 크기와 방향을 갖는 초기 위상을 계산하는 단계와, 상기 초기 위상과 입력 이미지의 첫 번째 픽셀의 위치에 기초하여 출력 이미지의 첫 번째 픽셀의 위치를 결정하는 단계를 포함한다.
상기 시스템 온 칩의 작동 방법은, 상기 출력 이미지의 상기 첫 번째 픽셀의 위치와 상기 입력 이미지에 포함된 픽셀들에 기초하여, 상기 출력 이미지에 포함된 픽셀들을 생성하는 단계를 더 포함한다.
상기 초기 위상을 계산하는 단계는 상기 스케일링 비율 정보를 이용하여 상기 출력 이미지의 첫 번째 루마 샘플의 초기 위상을 계산하고, 상기 스케일링 비율 정보, 상기 크로마 서브샘플링 포맷 변환 정보, 및 상기 회전 각도 정보를 이용하여 상기 출력 이미지의 첫 번째 크로마 샘플의 초기 위상을 계산한다.
실시 예에 따라, 상기 입력 이미지의 포맷은 YUV444 포맷에 적합하고 상기 출력 이미지의 포맷은 YUV422 포맷 또는 YUV420 포맷에 적합할 수 있다. 실시 예에 따라, 상기 입력 이미지의 포맷은 YUV422 포맷 또는 YUV420 포맷에 적합하고 상기 출력 이미지의 포맷은 YUV444 포맷에 적합할 수 있다. 실시 예에 따라, 상기 입력 이미지의 포맷은 YUV422 포맷과 YUV420 포맷 중에서 어느 하나이고 상기 출력 이미지의 포맷은 상기 YUV422 포맷과 상기 YUV420 포맷 중에서 다른 하나일 수 있다.
상기 시스템 온 칩은 CPU와 멀티미디어 처리 회로를 포함하고, 상기 CPU와 상기 멀티미디어 처리 회로 중에서 어느 하나는 상기 초기 위상을 계산한다.
본 발명의 실시 예에 따른 시스템 온 칩은 스케일링 비율 정보, 크로마 서브샘플링 포맷 변환 정보, 및 회전 각도 정보를 이용하여 크기와 방향을 갖는 초기 위상을 계산하는 CPU와, 상기 CPU에 접속되고, 상기 초기 위상과 입력 이미지를 수신하고, 상기 초기 위상과 상기 입력 이미지의 첫 번째 픽셀의 위치에 기초하여 상기 출력 이미지의 첫 번째 픽셀의 위치를 결정하는 멀티미디어 처리 회로를 포함한다.
본 발명의 실시 예에 따른 데이터 처리 시스템은 입력 이미지를 출력하는 이미지 소스와, 상기 입력 이미지로부터 출력 이미지를 생성하는 시스템 온 칩을 포함한다. 상기 시스템 온 칩은 스케일링 비율 정보, 크로마 서브샘플링 포맷 변환 정보, 및 회전 각도 정보를 이용하여 크기와 방향을 갖는 초기 위상을 계산하는 CPU와, 상기 CPU에 접속되고, 상기 초기 위상과 입력 이미지를 수신하고, 상기 초기 위상과 상기 입력 이미지의 첫 번째 픽셀의 위치에 기초하여 상기 출력 이미지의 첫 번째 픽셀의 위치를 결정하는 멀티미디어 처리 회로를 포함한다.
상기 CPU는 상기 스케일링 비율 정보를 이용하여 상기 출력 이미지의 첫 번째 루마 샘플의 초기 위상을 계산할 수 있다.
상기 CPU는 상기 스케일링 비율 정보, 상기 크로마 서브샘플링 포맷 변환 정보, 및 상기 회전 각도 정보를 이용하여 상기 출력 이미지의 첫 번째 크로마 샘플의 상기 초기 위상을 계산할 수 있다.
상기 멀티미디어 처리 회로는 상기 출력 이미지의 상기 첫 번째 픽셀의 위치와 상기 스케일 비율 정보에 따라 상기 입력 이미지에 포함된 픽셀들로부터 상기 출력 이미지에 포함된 픽셀들을 생성하는 스케일러를 포함한다.
상기 멀티미디어 처리 회로는 상기 출력 이미지의 상기 첫 번째 픽셀의 위치와 상기 크로마 서브샘플링 포맷 변환 정보에 기초하여 상기 입력 이미지에 포함된 픽셀들로부터 상기 출력 이미지에 포함된 픽셀들을 생성하는 크로마 서브샘플링 변환기를 포함한다.
상기 멀티미디어 처리 회로는 상기 출력 이미지의 첫 번째 픽셀의 위치와 상기 회전 각도 정보에 기초하여 상기 입력 이미지에 포함된 픽셀들로부터 상기 출력 이미지에 포함된 픽셀들을 생성하는 로테이터를 포함한다.
본 발명의 실시 예에 따른 장치와 방법은 출력 이미지의 첫 번째 픽셀 위치와 입력 이미지의 첫 번째 픽셀 위치의 차이에 상응하는 초기 위상을 계산하고, 상기 초기 위상과 상기 입력 이미지의 첫 번째 픽셀 위치에 기초하여 상기 출력 이미지의 첫 번째 픽셀 위치를 결정할 수 있는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1a은 본 발명의 실시 예에 따른 데이터 처리 시스템의 블록도이다.
도 1b는 도 1에 도시된 멀티미디어 처리 회로의 작동의 일 실시 예를 나타낸다.
도 1c는 도 1에 도시된 멀티미디어 처리 회로의 작동의 다른 실시 예를 나타낸다.
도 2는 도 1a에 도시된 데이터 처리 시스템의 작동 방법을 설명하기 위한 플로우 차트이다.
도 3은 스케일링에 따른 출력 이미지의 첫 번째 픽셀의 위치 보정을 설명하기 위한 개념도들이다.
도 4와 도 5는 스케일링 비율에 따른 초기 위상을 계산하는 방법들을 설명하기 위한 개념도들이다.
도 6은 크로마 서브 샘플링 방법들을 나타낸다.
도 7부터 도 10은 입력 이미지의 포맷이 YUV444 또는 YUV422일 때 출력 이미지의 첫 번째 크로마 픽셀의 위치 변화에 해당하는 초기 위상 값들의 실시 예들을 나타낸다.
도 11부터 도 16은 입력 이미지의 포맷이 YUV420일 때 출력 이미지의 첫 번째 크로마 픽셀의 위치 변화에 해당하는 초기 위상 값들의 실시 예들을 나타낸다.
도 17부터 도 24는 회전 여부와 플립 여부에 따라 출력 이미지의 첫 번째 크로마 픽셀의 위치 변화에 해당하는 초기 위상 값들의 실시 예들을 나타낸다.
도 25부터 도 28은 입력 이미지의 포맷이 YUV444일 때 회전 각도에 따른 초기 위상을 계산하는 방법들을 설명하는 실시 예들을 나타낸다.
도 29부터 도 44는 입력 이미지의 포맷이 YUV422일 때 회전 각도에 따른 초기 위상을 계산하는 방법들을 설명하는 실시 예들을 나타낸다.
도 45부터 도 52는 입력 이미지의 포맷이 YUV420(H.263)일 때 회전 각도에 따른 초기 위상을 계산하는 방법들을 설명하는 실시 예들을 나타낸다.
도 53부터 도 68은 입력 이미지의 포맷이 YUV420(MPEG-2)일 때 회전 각도에 따른 초기 위상을 계산하는 방법들을 설명하는 실시 예들을 나타낸다.
도 69는 회전 각도와 플립 방향을 나타내는 실시 예들이다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.
본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 벗어나지 않은 채, 제1구성 요소는 제2구성 요소로 명명될 수 있고 유사하게 제2구성 요소는 제1구성 요소로도 명명될 수 있다.
어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성 요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 나타낸다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 명세서에 첨부된 도면들을 참조하여 본 발명의 실시 예들을 상세히 설명한다.
본 명세에서 초기 위상(initial phase)은 입력 이미지의 첫 번째 픽셀의 위치와 출력 이미지의 첫 번째 픽셀의 위치 사이의 차이를 의미할 수 있고, 크기 (magnitude)와 방향(direction) 모두를 갖는 벡터(vector)를 의미할 수 있다. 상기 초기 위상은 샘플링 위치 에러(sampling position error)를 보상하기 위해 사용될 수 있다.
본 명세서에서 초기 위상을 결정하는 요소(factor)는 스케일링 비율(scaling ratio), 크로마 서브샘플링 방법(chroma subsampling method), 및 회전 각도 중에서 적어도 하나를 포함할 수 있다. 넓은 의미로, 회전 각도는 플립(flip)을 포함할 수 있다.
여기서, 픽셀은 픽셀 샘플(pixel sample)을 의미할 수 있다. 실시 예에 따라, 픽셀은 루마 샘플과 크로마 샘플을 모두 포함할 수 있다. 루마 샘플은 루마 구성 요소(luma component)를 의미할 수 있고, 크로마 샘플은 크로마 구성 요소를 의미할 수 있다. 예컨대, 크로마 샘플은 블루-차이(blue-difference) 크로마 구성 요소(Cb)와 레드-차이(red-difference) 크로마 구성 요소 (Cr)를 포함할 수 있다.
루마 픽셀은 루마 값을 갖는 픽셀을 의미할 수 있고, 크로마 픽셀은 크로마 값을 갖는 픽셀을 의미할 수 있다. 실시 예에 따라, 픽셀은 루마 값과 크로마 값을 갖는 픽셀을 의미할 수 있다.
도 1a는 본 발명의 실시 예에 따른 데이터 처리 시스템의 블록도이다. 도 1a를 참조하면, 데이터 처리 시스템(100)은 컨트롤러(200), 카메라(300), 적어도 하나의 메모리(400 및/또는 401), 및 디스플레이(500)를 포함할 수 있다. 실시 예들에 따라, 데이터 처리 시스템(100)은 터치 스크린(501)을 더 포함할 수 있다.
데이터 처리 시스템(100)은 PC(personal computer) 또는 모바일 컴퓨팅 장치로 구현될 수 있다. 상기 모바일 컴퓨팅 장치는 랩탑 컴퓨터(laptop computer), 이동 전화기, 스마트 폰(smart phone), 태블릿(tablet) PC, PDA(personal digital assistant), EDA(enterprise digital assistant), 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라(digital video camera), PMP(portable multimedia player), PND(personal navigation device 또는 portable navigation device), 휴대용 게임 콘솔(handheld game console), 모바일 인터넷 장치(mobile internet device(MID), 웨어러블 컴퓨터, 사물 인터넷(internet of things(IoT)) 장치, 만물 인터넷(internet of everything(IoE)) 장치, 또는 e-북(e-book)으로 구현될 수 있다.
컨트롤러(200)는 카메라(300), 적어도 하나의 메모리(400 및/또는 401), 및 디스플레이(500)의 작동을 제어할 수 있는 장치를 의미할 수 있다. 실시 예들에 따라, 데이터 처리 시스템(100)이 터치 스크린(501)을 더 포함할 때, 컨트롤러(200)는 터치 스크린(501)의 작동을 제어할 수 있다.
컨트롤러(200)는 집적 회로(IC), 마더보드, 시스템 온 칩(system on chip(SoC)), 애플리케이션 프로세서(application processor(AP)) 또는 모바일 AP로 구현될 수 있다.
컨트롤러(200)는 버스 구조(201), CPU(210), 이미지 신호 프로세서(image signal processor(ISP); 220), 멀티미디어 처리 회로(multimedia processing circuit; 230), 적어도 하나의 메모리 컨트롤러(250 및/또는 251), 및 디스플레이 컨트롤러(260)를 포함할 수 있다.
실시 예들에 따라, 컨트롤러(200)는 모뎀(240), 제1인터페이스(245), 및 제2인터페이스(270)를 더 포함할 수 있다. 도 1a에서 모뎀(240)이 컨트롤러(200)의 내부에 구현된 실시 예에 도시되어 있으나, 모뎀(240)은 컨트롤러(200)의 외부에 구현될 수 있다.
버스 구조(201)는 AMBA(advanced microcontroller bus architecture), AHB(advanced high-performance bus), APB(advanced peripheral bus), AXI (advanced eXtensible interface), ASB(advanced system bus), 또는 이들의 조합으로 구현될 수 있으나 이에 한정되는 것은 아니다.
CPU(210)는, 버스 구조(201)를 통해, ISP(220), 멀티미디어 처리 회로(230), 적어도 하나의 메모리 컨트롤러(250 및/또는 251), 및/또는 디스플레이 컨트롤러 (260)를 제어할 수 있다. 실시 예에 따라, CPU(210)는, 버스 구조(201)를 통해, 모뎀(240), 제1인터페이스(245), 및 제2인터페이스(270)를 더 제어할 수 있다.
실시 예에 따라, CPU(210)는 입력 이미지의 크기와 출력 이미지의 크기에 기초하여 크기와 방향을 갖는 초기 위상을 계산하고, 계산 결과를 멀티미디어 처리 회로(230)로 전송할 수 있다. 멀티미디어 처리 회로(230)는 초기 위상과 입력 이미지를 수신하고, 상기 초기 위상과 상기 입력 이미지에 포함된 첫 번째 픽셀의 위치에 기초하여 출력 이미지의 첫 번째 픽셀의 위치를 결정할 수 있다. 멀티미디어 처리 회로(230)는 출력 이미지의 첫 번째 픽셀의 위치와 입력 이미지에 포함된 입력 픽셀들에 기초하여 출력 픽셀들을 포함하는 출력 이미지를 생성할 수 있다.
ISP(220)는 카메라(300)로부터 출력된 이미지 데이터의 포맷 변환, 상기 이미지 데이터에 대한 노이즈 감소(noise reduction), 및 상기 이미지에 대한 이미지 향상(image enhancement) 등을 제어할 수 있다.
즉, ISP(220)는 카메라(300)로부터 출력된 제1포맷을 갖는 제1데이터를 제2포맷을 갖는 제2데이터로 변환할 수 있다. 예컨대, 제1포맷은 베이어(Bayer) 포맷을 의미할 수 있고, 제2포맷은 RGB 포맷 또는 YUV 포맷을 의미할 수 있다. 카메라 (300)는 CMOS 이미지 센서 칩을 포함할 수 있다.
도 1a에서는 ISP(220)가 컨트롤러(200)의 내부에 구현된 실시 예가 도시되어 있으나, 실시 예들에 따라, ISP(220)는 컨트롤러(200)와 카메라(300) 사이에 배치된 독립적인 칩으로 구현될 수 있다. 다른 실시 예들에 따라, ISP(220)는 카메라 (300)의 내부에 배치되고, 카메라(300)의 내부에 구현된 CMOS 이미지 센서 칩과 ISP(220)는 하나의 패키지로 패키징될 수 있다. 프로세서는 컨트롤러(200) 또는 CPU(210)를 의미할 수 있다.
멀티미디어 처리 회로(230)는 초기 위상과 입력 이미지에 포함된 입력 픽셀들에 기초하여 출력 픽셀들을 포함하는 출력 이미지를 생성할 수 있다. 입력 이미지는 루마 픽셀들과 크로마 픽셀들을 포함하는 입력 픽셀들을 포함할 수 있고, 출력 이미지는 루마 픽셀들과 크로마 픽셀들을 포함하는 출력 픽셀들을 포함할 수 있다. 실시 예들에 따라 입력 픽셀들의 개수와 출력 픽셀들의 개수는 서로 동일할 수도 있고 서로 다를 수도 있다.
도 1b는 도 1에 도시된 멀티미디어 처리 회로의 작동의 일 실시 예를 나타낸다. 도 1a와 도 1b를 참조하면, 멀티미디어 처리 회로(230)는 입력 이미지(IM)에 대해 다운 샘플링, 스케일-업 또는 스케일-다운, 및 회전 중에서 적어도 하나를 수행하고 수행의 결과에 따라 출력 이미지(OM)를 출력할 수 있다.
실시 예에 따라, 입력 이미지(IM)의 포맷은 YUV444 포맷에 적합(compatible)할 수 있고, 출력 이미지(OM)의 포맷은 YUV420 포맷 또는 YUV422 포맷에 적합할 수 있다. 또한, 실시 예에 따라, 입력 이미지(IM)의 포맷은 YUV422 포맷에 적합할 수 있고, 출력 이미지(OM)의 포맷은 YUV420 포맷에 적합할 수 있다.
도 1c는 도 1에 도시된 멀티미디어 처리 회로의 작동의 다른 실시 예를 나타낸다. 도 1a와 도 1c를 참조하면, 멀티미디어 처리 회로(230)는 입력 이미지(IM)에 대해 업 샘플링, 스케일-업 또는 스케일-다운, 및 회전 중에서 적어도 하나를 수행하고 수행의 결과에 따라 출력 이미지(OM)를 출력할 수 있다.
실시 예에 따라, 입력 이미지(IM)의 포맷은 YUV420 포맷 또는 YUV422 포맷에 적합할 수 있고 출력 이미지(OM)의 포맷은 YUV444 포맷에 적합할 수 있다. 실시 예에 따라, 입력 이미지(IM)의 포맷은 YUV420 포맷에 적합할 수 있고 출력 이미지 (OM)의 포맷은 YUV422 포맷에 적합할 수 있다.
여기서, YUV420 포맷은 H.261, H.263, MPEG-1 또는 MPEG-2를 위한 YUV420 포맷을 집합적으로(collectively) 나타낼 수 있다. 실시 예에 따라, YUV444 포맷을 갖는 이미지 대신에 RGB 포맷을 갖는 이미지가 사용될 수 있다. RGB 포맷은 YUV444 포맷의 루마 샘플과 동일하게 처리될 수 있다.
멀티미디어 처리 회로(230)는 크로마 서브샘플링 변환기(231), 로테이터 (233), 및 스케일러(235) 중에서 적어도 하나를 포함할 수 있다. 멀티미디어 처리 회로(230)는 입력되는 이미지는 입력 이미지 또는 소스 이미지를 의미하고, 멀티미디어 처리 회로(230)로부터 출력되는 이미지는 출력 이미지 또는 목적지 이미지를 의미한다.
크로마 서브샘플링 변환기(231)는, 크로마 서브샘플링 변환 정보에 기초하여, 입력 이미지의 포맷을 변환하고 변환된 포맷을 갖는 출력 이미지를 출력할 수 있다.
로테이터(233)는, 회전 각도 정보에 기초하여, 입력 이미지를 회전하고 회전된 출력 이미지를 생성할 수 있다.
스케일러(235)는, 스케일링 정보에 기초하여, 입력 이미지를 스케일-업 또는 스케일-다운하고, 스케일-업 또는 스케일-다운된 출력 이미지를 생성할 수 있다. 예컨대, 로테이터(233)에 의해 처리된 이미지는 스케일러(235)와 크로마 서브샘플링 변환기(231) 중에서 어느 하나로 입력될 수 있다.
크로마 서브샘플링 변환기(231), 로테이터 (233), 및 스케일러(235)의 접속 관계는 실시 예들에 따라 다양하게 변경될 수 있다.
적어도 하나의 메모리 컨트롤러(250 및/또는 251)는 카메라(300) 또는 모뎀 (240)으로부터 전송된 이미지 데이터를 적어도 하나의 메모리(400 및/또는 401)에 라이트할 수 있다.
적어도 하나의 메모리 컨트롤러(250 및/또는 251)는 적어도 하나의 메모리 (400 및/또는 401)에 저장된 이미지 데이터를 리드하고, 리드된 데이터를 멀티미디어 처리 회로(230) 또는 디스플레이 컨트롤러(260)로 전송할 수 있다.
멀티미디어 처리 회로(230)는 코덱(codec)을 의미할 수 있고, 멀티미디어 처리 회로(230)는 도시되지 않은 인코더와 디코더를 포함할 수 있다. 인코더는 압축기(compressor)의 기능을 수행할 수 있고, 디코더는 압축해제기(decompressor)의 기능을 수행할 수 있다.
예컨대, 인코더는 적어도 하나의 메모리(400 및/또는 401)에 저장될 이미지 데이터를 인코딩할 수 있고, 디코더는 적어도 하나의 메모리(400 및/또는 401)로부터 출력된 이미지 데이터를 디코딩할 수 있다.
즉, 적어도 하나의 메모리 컨트롤러(250 및/또는 251)는, CPU(210)의 제어에 따라, 적어도 하나의 메모리(400 및/또는 401)에 대한 데이터 액세스 작동을 제어할 수 있다. 상기 데이터 액세스 작동은 해당하는 메모리(400 또는 401)에 데이터를 라이트하는 라이트 작동과 해당하는 메모리(400 또는 401)로부터 데이터를 리드하는 리드 작동을 포함할 수 있다.
적어도 하나의 메모리(400 및/또는 401)는 휘발성 메모리 및/또는 불휘발성 메모를 포함할 수 있다. 휘발성 메모리는 RAM(random access memory), DRAM (dynamic RAM), SRAM(static RAM), 또는 버퍼 메모리를 포함할 수 있다. 불휘발성 메모리는 플래시(flash) 메모리, MRAM(magnetic RAM), 스핀전달토크 MRAM(Spin-Transfer Torque MRAM), FeRAM(ferroelectric RAM), PRAM(phase change RAM), 또는 저항 메모리(resistive RAM(RRAM))로 구현될 수 있다. 플래시(flash) 메모리는 하나 또는 그 이상의 비트들을 저장하는 NAND-타입 플래시 메모리 또는 NOR-타입 플래시 메모리로 구현될 수 있다.
예컨대, 메모리(400)는 DRAM으로 구현될 수 있고, 메모리(401)는 플래시-기반 메모리로 구현될 수 있다. 이때, 메모리 컨트롤러(250)는 DRAM 컨트롤러로 구현되고, 메모리 컨트롤러(251)는 플래시-기반 메모리 컨트롤러로 구현될 수 있다.
플래시-기반 메모리는 SSD(solid-state drive or solid-state disk), 멀티미디어 카드(multimedia card(MMC)), eMMC(embedded MMC), USB 플래시 드라이브, 또는 유니버셜 플래시 스토리지(universal flash storage(UFS))로 구현될 수 있다.
디스플레이 컨트롤러(260)는, CPU(210)의 제어에 따라, CPU(210), 멀티미디어 처리 회로(230), 또는 디스플레이 컨트롤러(260)로부터 출력된 이미지 데이터를 디스플레이(500)로 전송할 수 있다.
모뎀(240)은 제1인터페이스(245)를 통해 외부 장치로부터 이미지 데이터를 수신할 수 있다. 제1인터페이스(245)는 무선 송수신기를 의미할 수 있다.
카메라(300)는 CMOS 이미지 센서 칩을 포함할 수 있다. 상기 CMOS 이미지 센서 칩은 피사체에 대한 광학 이미지에 상응하는 이미지 데이터를 ISP(220)로 출력할 수 있다. 실시 예에 따라, 카메라(300)는, MIPI(R)(Mobile Industry Processor Interface) 카메라 시리얼 인터페이스(camera serial interface(CSI))를 통해, 이미지 데이터를 ISP(220)로 출력할 수 있다.
디스플레이(500)는 디스플레이 컨트롤러(270)로부터 출력된 이미지 데이터를 디스플레이할 수 있다. 터치 스크린(501)은 디스플레이(500)에서 디스플레이되는 그래픽 사용자 인터페이스(graphic user interface(GUI))를 선택하거나 활성화시키는데 사용될 수 있다. 즉, 터치 스크린(501)은 컨트롤러(200)의 작동을 제어할 수 있는 사용자 터치 입력을 생성하고, 상기 사용자 터치 입력을 제2인터페이스(270)로 전송할 수 있다. CPU(210)로 제공될 수 있다. 제2인터페이스(270)는 상기 사용자 터치 입력을 버스 구조(201)를 통해 CPU(210)로 전송할 수 있다.
GUI는, CPU(210)에 의해 실행되는 애플리케이션 프로그램의 제어에 따라, 디스플레이(500)에서 디스플레이될 수 있다.
도 2는 도 1a에 도시된 데이터 처리 시스템의 작동 방법을 설명하기 위한 플로우 차트이다.
도 1a과 도 2를 참조하면, CPU(210) 또는 멀티미디어 처리 회로(230)는 입력 이미지의 위치와 출력 이미지의 위치의 차이에 기초하여 초기 위상을 계산할 수 있다(S110). 실시 예에 따라, CPU(210) 또는 멀티미디어 처리 회로(230)는 스케일링 비율에 따라 초기 위상을 계산할 수 있다. 다른 실시 예에 따라, CPU(210) 또는 멀티미디어 처리 회로(230)는 입력 이미지의 포맷이 출력 이미지의 포맷으로 변환됨을 나타내는 크로마 서브샘플링 변환 정보에 기초하여 초기 위상을 계산할 수 있다.
또 다른 실시 예에 따라, CPU(210) 또는 멀티미디어 처리 회로(230)는 회전 각도를 나타내는 회전 각도 정보에 기초하여 초기 위상을 계산할 수 있다. 즉, CPU(210) 또는 멀티미디어 처리 회로(230)는 스케일링 비율, 크로마 서브샘플링 변환 정보, 및 회전 각도 정보 중에서 적어도 하나에 기초하여 초기 위상을 계산할 수 있다(S110).
멀티미디어 처리 회로(230)는 초기 위상과 입력 이미지의 첫 번째 픽셀의 위치에 기초하여 출력 이미지의 첫 번째 픽셀의 위치를 계산할 수 있다(S120). 멀티미디어 처리 회로(230)는 입력 이미지에 포함된 입력 픽셀들과 출력 이미지의 첫 번째 픽셀의 위치에 기초하여 출력 픽셀들을 포함하는 출력 이미지를 생성하거나 출력 이미지의 출력 픽셀들을 샘플링할 수 있다(S130).
도 3은 스케일링에 따른 출력 이미지의 첫 번째 픽셀의 위치 보정을 설명하기 위한 개념도들이다. 입력 이미지(10 또는 10')는 멀티미디어 처리 회로(230)로 입력되는 이미지를 의미하고, 출력 이미지(20 또는 20')는 멀티미디어 처리 회로 (230)로부터 출력되는 이미지를 의미한다.
도 3에서 픽셀은 루마 픽셀과 크로마 중에서 적어도 하나를 포함하는 픽셀을 의미할수 있다.
도 3의 (a)와 (b)는 출력 이미지(20)의 첫 번째 픽셀(21)의 위치를 보정하지 않은 실시 예를 나타낸다. 도 3의 (a)에 도시된 바와 같이, 출력 이미지(20)의 첫 번째 픽셀(21)의 위치가 입력 이미지(10)의 첫 번째 픽셀(11)의 위치와 동일하면, 출력 이미지(20)에서 이미지 왜곡이 발생할 수 있다. 즉, 출력 이미지(20)의 첫 번째 픽셀(21)의 위치가 입력 이미지(10)의 첫 번째 픽셀(11)의 위치와 동일하면, 샘플링 위치 에러가 발생할 수 있다.
도 3의 (a)에서는 가로(또는 수평) 방향을 기준으로, 입력 이미지(10)의 첫 번째 픽셀(11)의 위치와 출력 이미지(20)의 첫 번째 픽셀(21)의 위치가 도시되어 있으나, 도 3의 (b)에서는 세로(또는 수직) 방향을 기준으로, 출력 이미지(20')의 첫 번째 픽셀(21')의 위치와 입력 이미지(10')의 첫 번째 픽셀(11')의 위치가 도시되어 있다. 출력 이미지(20')의 첫 번째 픽셀(21')의 위치가 입력 이미지(10')의 첫 번째 픽셀(11')의 위치와 동일하면, 출력 이미지(20')에서 이미지 왜곡이 발생할 수 있다. 도 3의 (a)와 (b)에 도시된 바와 같이, 샘플링 위치 에러의 크기와 방향은 스케일링 비율(scaling ratio)에 따라 결정될 수 있다.
도 3의 (c)와 (d)는 출력 이미지의 첫 번째 픽셀의 위치를 보정한 실시 예를 나타낸다. 멀티미디어 처리 회로(230)에 의해, 가로 방향을 기준으로, 출력 이미지 (20)의 첫 번째 픽셀(21)의 위치가 보정 위치(23)로 보정되면, 출력 이미지(20)의 보정된 첫 번째 픽셀(23)은 정확한 위치에서 샘플링될 수 있다.
도 3의 (d)에 도시된 바와 같이 세로 방향을 기준으로, 출력 이미지(20')의 첫 번째 픽셀(21')의 위치가 보정 위치(23')로 보정되면, 출력 이미지(20')의 보정된 첫 번째 픽셀(23')은 정확한 위치에서 샘플링될 수 있다. 이때 중요한 것은 보정되는 초기 위상(initial phase)의 크기와 방향이다. 본 명세서에서 보정은 보상 (compensation)을 의미할 수 있다.
도 4와 도 5는 스케일링 비율에 따른 초기 위상을 계산하는 방법들을 설명하기 위한 개념도들이다.
도 4에 도시된 바와 같이, 멀티미디어 처리 회로(230)가 입력 이미지(30A)를 스케일-업(scale-up)하고 스케일-업된 이미지, 즉 출력 이미지(40A)를 생성할 때, 입력 이미지(30A)의 첫 번째 픽셀(31)의 위치를 기준으로, 출력 이미지(40A)의 첫 번째 픽셀(41)의 위치는 음의 방향(예컨대, 왼쪽 방향)으로 이동할 수 있다.
예컨대, 입력 이미지(30A)의 크기(예컨대 폭)가 2이고, 출력 이미지(40A)의 크기(예컨대, 폭)가 4라고 가정하면, 초기 위상은 -1/8이다. 입력 이미지(30A)의 폭은 소스 폭(source width; S)이라 가정하고, 출력 이미지(40A)의 폭은 목적지 폭 (destination width; D)이라 가정한다.
입력 이미지(30A)의 폭과 출력 이미지(40A)의 폭이 "1/S"로 정규화되면, 초기 위상은 -1/4일 수 있다.
출력 이미지(40A)의 두 번째 픽셀(41-1)의 위치는 출력 이미지(40A)의 첫 번째 픽셀(41)의 위치와 스케일 비율(RATION)에 따라 결정될 수 있다. 즉, 초기 위상이 결정되면, 출력 이미지(40A)의 첫 번째 픽셀(41)의 위치는 상기 초기 위상과 입력 이미지(30A)의 첫 번째 픽셀(31)의 위치에 따라 결정될 수 있다. 또한, 출력 이미지(40A)의 출력 픽셀들 각각의 위치는 첫 번째 픽셀(41)의 위치와 스케일 비율 (RATION)에 따라 결정될 수 있다.
도 5에 도시된 바와 같이, 멀티미디어 처리 회로(230)가 입력 이미지(30B)를 스케일-다운(scale-down)하고 스케일-다운된 이미지, 즉 출력 이미지(40B)를 생성할 때, 입력 이미지(30B)의 첫 번째 픽셀(32)의 위치를 기준으로, 출력 이미지 (40B)의 첫 번째 픽셀(42)의 위치는 양의 방향(예컨대, 오른 방향)으로 이동할 수 있다.
예컨대, 입력 이미지(30B)의 소스 폭(S)이 4이고, 출력 이미지(40B)의 목적지 폭(D)이 2일 때, 초기 위상은 +1/8이다. 입력 이미지(30B)의 폭과 출력 이미지 (40B)의 폭이 "1/S"로 정규화되면, 초기 위상은 +1/2일 수 있다.
출력 이미지(40B)의 두 번째 픽셀(42-1)의 위치는 출력 이미지(40B)의 첫 번째 픽셀(42)의 위치와 스케일 비율(RATION)에 따라 결정될 수 있다. 즉, 초기 위상이 결정되면, 출력 이미지(40B)의 첫 번째 픽셀(42)의 위치는 상기 초기 위상과 입력 이미지(30B)의 첫 번째 픽셀(32)의 위치에 따라 결정될 수 있다. 또한, 출력 이미지(40B)의 픽셀들 각각의 위치는 첫 번째 픽셀(42)의 위치와 스케일 비율 (RATION)에 따라 결정될 수 있다.
도 6은 크로마 서브샘플링 방법들을 나타낸다.
도 6의 (a)부터 도 6의 (d)에 도시된 바와 같이, 크로마 서브 샘플링 방법들은 다양하다.
도 7부터 도 10은 입력 이미지의 포맷이 YUV444 또는 YUV422일 때 출력 이미지의 첫 번째 크로마 픽셀의 위치 변화에 해당하는 초기 위상 값들의 실시 예들을 나타낸다. 도 7부터 도 16을 참조하면, 입력 이미지와 출력 이미지의 크로마 샘플들이 함께 도시된다. 예컨대, YUV420(H.263)의 크로마 샘플들은 YUV444와 함께 표시된다.
도 7을 참조하면, 입력 이미지(또는 소스 이미지(source image))의 포맷이 YUV444이고, 출력 이미지(또는 목적지 이미지(destination image))의 포맷이 YUV420(H.263)일 때, 즉, 크로마 서브샘플링 모드가 변경될 때 또는 크로마 서브샘플링 방법이 변경될 때, 상기 출력 이미지의 첫 번째 크로마 픽셀, 즉 크로마 샘플 (51)의 위치는 상기 입력 이미지의 첫 번째 크로마 픽셀, 즉 크로마 샘플(81)의 위치와 다르다. 그러나, 출력 이미지의 첫 번째 루마 픽셀, 즉 루마 샘플의 위치는 입력 이미지의 첫 번째 루마 픽셀, 즉 루마 샘플의 위치와 동일하다.
이때, 수평 방향(CH) 초기 위상은 0.5이고, 수직 방향(CV) 초기 위상은 0.5이다. 즉, 출력 이미지의 첫 번째 크로마 픽셀(51)의 위치는 수평 방향(CH) 초기 위상, 수직 방향(CV) 초기 위상, 및 입력 이미지의 첫 번째 크로마 픽셀(81)의 위치에 따라 결정될 수 있다. 출력 이미지의 첫 번째 크로마 픽셀(51)의 위치가 결정되면, 상기 출력 이미지의 포맷에 따라, 상기 출력 이미지에 포함된 각 크로마 픽셀(52, 53, 및 54)의 위치가 결정될 수 있다.
도 8을 참조하면, 입력 이미지의 포맷이 YUV422이고, 출력 이미지의 포맷이 YUV420(H.263)일 때, 상기 출력 이미지의 첫 번째 크로마 픽셀(51)의 위치는 상기 입력 이미지의 첫 번째 크로마 픽셀(71)의 위치와 다르다. 그러나, 출력 이미지의 첫 번째 루마 픽셀, 즉 루마 샘플의 위치는 입력 이미지의 첫 번째 루마 픽셀, 즉 루마 샘플의 위치와 동일하다. 예컨대, YUV420(H.263)의 크로마 샘플들은 YUV422와 함께 표시된다.
이때, 수평 방향(CH) 초기 위상은 0.25이고, 수직 방향(CV) 초기 위상은 0.5이다. 즉, 출력 이미지의 첫 번째 크로마 픽셀(51)의 위치는 수평 방향(CH) 초기 위상, 수직 방향(CV) 초기 위상, 및 입력 이미지의 첫 번째 크로마 픽셀(71)의 위치에 따라 결정될 수 있다. 출력 이미지의 첫 번째 크로마 픽셀(51)의 위치가 결정되면, 상기 출력 이미지의 포맷에 따라, 상기 출력 이미지에 포함된 각 크로마 픽셀(52, 53, 및 54)의 위치가 결정될 수 있다.
도 9를 참조하면, 입력 이미지의 포맷이 YUV444이고, 출력 이미지의 포맷이 YUV420(MPEG-2)일 때, 상기 출력 이미지의 첫 번째 크로마 픽셀(61)의 위치는 상기 입력 이미지의 첫 번째 크로마 픽셀(81)의 위치와 다르다. 이때, 수평 방향(CH) 초기 위상은 0이고, 수직 방향(CV) 초기 위상은 0.5이다. 즉, 출력 이미지의 첫 번째 크로마 픽셀(61)의 위치는 수평 방향(CH) 초기 위상, 수직 방향(CV) 초기 위상, 및 입력 이미지의 첫 번째 크로마 픽셀(81)의 위치에 따라 결정될 수 있다. 출력 이미지의 첫 번째 크로마 픽셀(61)의 위치가 결정되면, 상기 출력 이미지의 포맷에 따라, 상기 출력 이미지에 포함된 각 크로마 픽셀(62, 63, 및 64)의 위치가 결정될 수 있다. 예컨대, YUV420(MPEG-2)의 크로마 샘플들은 YUV444와 함께 표시된다.
도 10을 참조하면, 입력 이미지의 포맷이 YUV422이고, 출력 이미지의 포맷이 YUV420(MPEG-2)일 때, 상기 출력 이미지의 첫 번째 크로마 픽셀(61)의 위치는 상기 입력 이미지의 첫 번째 크로마 픽셀(71)의 위치와 다르다. 이때, 수평 방향(CH) 초기 위상은 0이고, 수직 방향(CV) 초기 위상은 0.5이다. 예컨대, YUV420(MPEG-2)의 크로마 샘플들은 YUV422와 함께 표시된다.
즉, 출력 이미지의 첫 번째 크로마 픽셀(61)의 위치는 수평 방향(CH) 초기 위상, 수직 방향(CV) 초기 위상, 및 입력 이미지의 첫 번째 크로마 픽셀(71)의 위치에 따라 결정될 수 있다. 출력 이미지의 첫 번째 크로마 픽셀(61)의 위치가 결정되면, 상기 출력 이미지의 포맷에 따라, 상기 출력 이미지에 포함된 각 크로마 픽셀의 위치(62, 63, 및 64)가 결정될 수 있다.
도 7부터 도 10에 도시된 바와 같이, 입력 이미지는 스케일-업 또는 스케일-다운되지 않으므로, 출력 이미지에 포함된 루마 픽셀들(또는 루마 샘플들)의 위치들에 대한 보정은 필요하지 않다.
도 11부터 도 16은 입력 이미지의 포맷이 YUV420일 때 출력 이미지의 첫 번째 크로마 픽셀의 위치 변화에 해당하는 초기 위상 값들의 실시 예들을 나타낸다.
도 11을 참조하면, 입력 이미지의 포맷이 YUV420(H.263)이고, 출력 이미지의 포맷이 YUV444일 때, 상기 출력 이미지의 첫 번째 크로마 픽셀, 즉 크로마 샘플 (81)의 위치는 상기 입력 이미지의 첫 번째 크로마 픽셀, 즉 크로마 샘플(51)의 위치와 다르다. 이때, 수평 방향(CH) 초기 위상은 -0.25이고, 수직 방향(CV) 초기 위상은 -0.25이다. 예컨대, YUV444의 크로마 샘플들은 YUV420(H.263)과 함께 표시된다.
즉, 출력 이미지의 첫 번째 크로마 픽셀(81)의 위치는 수평 방향 (CH) 초기 위상, 수직 방향(CV) 초기 위상, 및 입력 이미지의 첫 번째 크로마 픽셀 (51)의 위치에 따라 결정될 수 있다. 출력 이미지의 첫 번째 크로마 픽셀(81)의 위치가 결정되면, 상기 출력 이미지의 포맷에 따라, 상기 출력 이미지에 포함된 각 크로마 픽셀의 위치가 결정될 수 있다.
도 12를 참조하면, 입력 이미지의 포맷이 YUV420(H.263)이고, 출력 이미지의 포맷이 YUV422일 때, 상기 출력 이미지의 첫 번째 크로마 픽셀(71)의 위치는 상기 입력 이미지의 첫 번째 크로마 픽셀(51)의 위치와 다르다. 이때, 수평 방향(CH) 초기 위상은 -0.25이고, 수직 방향(CV) 초기 위상은 -0.25이다.
즉, 출력 이미지의 첫 번째 크로마 픽셀(81)의 위치는 수평 방향(CH) 초기 위상, 수직 방향(CV) 초기 위상, 및 입력 이미지의 첫 번째 크로마 픽셀(51)의 위치에 따라 결정될 수 있다. 출력 이미지의 첫 번째 크로마 픽셀(81)의 위치가 결정되면, 상기 출력 이미지의 포맷에 따라, 상기 출력 이미지에 포함된 각 크로마 픽셀의 위치가 결정될 수 있다.
도 13을 참조하면, 입력 이미지의 포맷이 YUV420(H.263)이고, 출력 이미지의 포맷이 YUV420(MPEG-2)일 때, 상기 출력 이미지의 첫 번째 크로마 픽셀(61)의 위치는 상기 입력 이미지의 첫 번째 크로마 픽셀(51)의 위치와 다르다. 이때, 수평 방향(CH) 초기 위상은 -0.25이고, 수직 방향(CV) 초기 위상은 0이다.
즉, 출력 이미지의 첫 번째 크로마 픽셀(61)의 위치는 수평 방향(CH) 초기 위상, 수직 방향(CV) 초기 위상, 및 입력 이미지의 첫 번째 크로마 픽셀(51)의 위치에 따라 결정될 수 있다. 출력 이미지의 첫 번째 크로마 픽셀(61)의 위치가 결정되면, 상기 출력 이미지의 포맷에 따라, 상기 출력 이미지에 포함된 각 크로마 픽셀의 위치가 결정될 수 있다.
도 14를 참조하면, 입력 이미지의 포맷이 YUV420(MPEG-2)이고, 출력 이미지의 포맷이 YUV444일 때, 상기 출력 이미지의 첫 번째 크로마 픽셀(81)의 위치는 상기 입력 이미지의 첫 번째 크로마 픽셀(61)의 위치와 다르다. 이때, 수평 방향 (CH) 초기 위상은 0이고, 수직 방향(CV) 초기 위상은 -0.25이다.
즉, 출력 이미지의 첫 번째 크로마 픽셀(81)의 위치는 수평 방향(CH) 초기 위상, 수직 방향(CV) 초기 위상, 및 입력 이미지의 첫 번째 크로마 픽셀(61)의 위치에 따라 결정될 수 있다. 출력 이미지의 첫 번째 크로마 픽셀(81)의 위치가 결정되면, 상기 출력 이미지의 포맷에 따라, 상기 출력 이미지에 포함된 각 크로마 픽셀의 위치가 결정될 수 있다.
도 15를 참조하면, 입력 이미지의 포맷이 YUV420(MPEG-2)이고, 출력 이미지의 포맷이 YUV422일 때, 상기 출력 이미지의 첫 번째 크로마 픽셀(71)의 위치는 상기 입력 이미지의 첫 번째 크로마 픽셀(61)의 위치와 다르다. 이때, 수평 방향 (CH) 초기 위상은 0이고, 수직 방향(CV) 초기 위상은 -0.25이다.
즉, 출력 이미지의 첫 번째 크로마 픽셀(71)의 위치는 수평 방향(CH) 초기 위상, 수직 방향(CV) 초기 위상, 및 입력 이미지의 첫 번째 크로마 픽셀(61)의 위치에 따라 결정될 수 있다. 출력 이미지의 첫 번째 크로마 픽셀(71)의 위치가 결정되면, 상기 출력 이미지의 포맷에 따라, 상기 출력 이미지에 포함된 각 크로마 픽셀의 위치가 결정될 수 있다.
도 16을 참조하면, 입력 이미지의 포맷이 YUV420(MPEG-2)이고, 출력 이미지의 포맷이 YUV420(H.263)일 때, 상기 출력 이미지의 첫 번째 크로마 픽셀(51)의 위치는 상기 입력 이미지의 첫 번째 크로마 픽셀(61)의 위치와 다르다. 이때, 수평 방향(CH) 초기 위상은 0.25이고, 수직 방향(CV) 초기 위상은 0이다.
즉, 출력 이미지의 첫 번째 크로마 픽셀(51)의 위치는 수평 방향(CH) 초기 위상, 수직 방향(CV) 초기 위상, 및 입력 이미지의 첫 번째 크로마 픽셀(61)의 위치에 따라 결정될 수 있다. 출력 이미지의 첫 번째 크로마 픽셀(51)의 위치가 결정되면, 상기 출력 이미지의 포맷에 따라, 상기 출력 이미지에 포함된 각 크로마 픽셀의 위치가 결정될 수 있다.
도 11부터 도 16에 도시된 바와 같이, 입력 이미지는 스케일-업 또는 스케일-다운되지 않으므로, 출력 이미지에 포함된 루마 픽셀들(또는 루마 샘플들)의 위치들에 대한 보정은 필요하지 않다.
도 17부터 도 24는 회전 여부와 플립 여부에 따라 출력 이미지의 첫 번째 크로마 픽셀의 위치 변화에 해당하는 초기 위상 값들의 실시 예들을 나타낸다.
도 17부터 도 24를 참조하면, 입력 이미지의 포맷이 YUV422 또는 YUV420 (MPEG-2)이고, 데이터 처리 장치(100)가 일정한 회전 각도로 회전되거나, 회전과 플립될 때, 출력 이미지의 첫 번째 크로마 픽셀의 위치는 입력 이미지의 첫 번째 크로마 픽셀의 위치와 다르다. 따라서, 출력 이미지의 포함된 크로마 픽셀들 각각은 정확하게 서브샘플링하기 위해서는 초기 위상이 필요하다.
도 17부터 도 24를 참조하면, 입력 이미지에 대한 스케일-업 또는 스케일-다운은 수행되지 않는다고 가정한다.
도 17에는 입력 이미지의 포맷이 YUV422이고, 다음의 조건들 중에서 어느 하나를 만족할 때의 출력 이미지가 도시되어 있다.
(1) 회전 없음: 0°
(2) Y-축 방향으로 플립하고 180°회전: Y Flip + 180°
(3) X-축 방향으로 플립한 후 Y-축 방향으로 플립하고, 180°회전: XY Flip + 180°, 또는
(4) X-축 방향으로 플립: X Flip
도 18에는 입력 이미지의 포맷이 YUV422이고, 다음의 조건들 중에서 어느 하나를 만족할 때의 출력 이미지가 도시되어 있다.
(1) 270°회전: 270°
(2) X-축 방향으로 플립하고 270°회전: X Flip + 270°
(3) X-축 방향으로 플립한 후 Y-축 방향으로 플립하고, 90°회전: XY Flip + 90°, 또는
(4) Y-축 방향으로 플립하고 90°회전: Y Flip + 90°
이때의 수평 방향(CH) 초기 위상은 0이고, 수직 방향(CV) 초기 위상은 0이다.
도 19에는 입력 이미지의 포맷이 YUV422이고, 다음의 조건들 중에서 어느 하나를 만족할 때의 출력 이미지가 도시되어 있다.
(1) 90°회전: 90°
(2) X-축 방향으로 플립하고 90°회전: X Flip + 90°
(3) X-축 방향으로 플립한 후 Y-축 방향으로 플립하고, 270°회전: XY Flip + 270°, 또는
(4) Y-축 방향으로 플립하고 270°회전: Y Flip + 270°
이때의 수평 방향(CH) 초기 위상은 0이고, 수직 방향(CV) 초기 위상은 -0.5이다.
도 20에는 입력 이미지의 포맷이 YUV422이고, 다음의 조건들 중에서 어느 하나를 만족할 때의 출력 이미지가 도시되어 있다.
(1) 180°회전: 180°
(2) Y-축 방향으로 플립: Y Flip
(3) X-축 방향으로 플립한 후 Y-축 방향으로 플립: XY Flip, 또는
(4) Y-축 방향으로 플립하고 180°회전: Y Flip + 180°
이때의 수평 방향(CH) 초기 위상은 -0.5이고, 수직 방향(CV) 초기 위상은 0이다.
도 21에는 입력 이미지의 포맷이 YUV420(MPEG-2)이고, 다음의 조건들 중에서 어느 하나를 만족할 때의 출력 이미지가 도시되어 있다.
(1) 회전 없음: 0°
(2) Y-축 방향으로 플립하고 180°회전: Y Flip + 180°
(3) X-축 방향으로 플립한 후 Y-축 방향으로 플립하고, 180°회전: XY Flip + 180°, 또는
(4) X-축 방향으로 플립: X Flip
도 22에는 입력 이미지의 포맷이 YUV420(MPEG-2)이고, 다음의 조건들 중에서 어느 하나를 만족할 때의 출력 이미지가 도시되어 있다.
(1) 270°회전: 270°
(2) X-축 방향으로 플립하고 270°회전: X Flip + 270°
(3) X-축 방향으로 플립한 후 Y-축 방향으로 플립하고, 90°회전: XY Flip + 90°, 또는
(4) Y-축 방향으로 플립하고 90°회전: Y Flip + 90°
이때의 수평 방향(CH) 초기 위상은 0이고, 수직 방향(CV) 초기 위상은 0이다.
도 23에는 입력 이미지의 포맷이 YUV420(MPEG-2)이고, 다음의 조건들 중에서 어느 하나를 만족할 때의 출력 이미지가 도시되어 있다.
(1) 90°회전: 90°
(2) X-축 방향으로 플립하고 90°회전: X Flip + 90°
(3) X-축 방향으로 플립한 후 Y-축 방향으로 플립하고, 270°회전: XY Flip + 270°, 또는
(4) Y-축 방향으로 플립하고 270°회전: Y Flip + 270°
이때의 수평 방향(CH) 초기 위상은 0이고, 수직 방향(CV) 초기 위상은 -0.5이다.
도 24에는 입력 이미지의 포맷이 YUV420(MPEG-2)이고, 다음의 조건들 중에서 어느 하나를 만족할 때의 출력 이미지가 도시되어 있다.
(1) 180°회전: 180°
(2) Y-축 방향으로 플립: Y Flip
(3) X-축 방향으로 플립한 후 Y-축 방향으로 플립: XY Flip, 또는
(4) Y-축 방향으로 플립하고 180°회전: Y Flip + 180°
이때의 수평 방향(CH) 초기 위상은 -0.5이고, 수직 방향(CV) 초기 위상은 0이다.
도 25부터 도 28은 입력 이미지의 포맷이 YUV444일 때 회전 각도에 따른 초기 위상을 계산하는 방법들을 설명하는 실시 예들을 나타낸다.
도 25부터 도 28에 도시된 실시 예들에서, 멀티미디어 처리 회로(230)는 입력 이미지를 스케일링 비율, 예컨대 1/2로 스케일-다운하고, 스케일-다운된 출력 이미지를 생성한다고 가정한다.
"H/V-Direction"은 수평 방향과 수직 방향을 기준으로 함을 나타내고, "Rotation/No Rotation"은 회전 여부에 무관함을 나타낸다.
도 25를 참조하면, 스케일링 비율은 1/2이고, 입력 이미지의 포맷은 YUV444이고, 출력 이미지의 포맷은 YUV444 또는 YUV422일 때, 수평 방향 또는 수직 방향을 기준으로, 출력 이미지의 첫 번째 루마 픽셀(또는 루마 샘플)과 입력 이미지의 첫 번째 루마 픽셀(또는 루마 샘플)의 차이에 해당하는 루마 픽셀 초기 위상 (LPIP=(S-D)/2D)이 계산될 수 있다. 또한, 수평 방향 또는 수직 방향을 기준으로 출력 이미지의 첫 번째 크로마 픽셀(또는 크로마 샘플)과 입력 이미지의 첫 번째 크로마 픽셀(또는 크로마 샘플)의 차이에 해당하는 크로마 픽셀 초기 위상 (CPIP=(S-D)/2D)이 계산될 수 있다.
도 26을 참조하면, 스케일링 비율은 1/2이고, 입력 이미지의 포맷은 YUV444이고, 출력 이미지의 포맷은 YUV420(H.263)일 때, 수평 방향 또는 수직 방향을 기준으로 출력 이미지의 첫 번째 루마 픽셀과 입력 이미지의 첫 번째 루마 픽셀의 차이에 해당하는 루마 픽셀 초기 위상(LPIP)이 계산될 수 있다. 또한, 수평 방향 또는 수직 방향을 기준으로 출력 이미지의 첫 번째 크로마 픽셀과 입력 이미지의 첫 번째 크로마 픽셀의 차이에 해당하는 크로마 픽셀 초기 위상(CPIP=(2S-D)/2D)이 계산될 수 있다.
도 27을 참조하면, 스케일링 비율은 1/2이고, 입력 이미지의 포맷은 YUV444이고, 출력 이미지의 포맷은 YUV420(MPEG2)일 때, 수평 방향 또는 수직 방향을 기준으로 출력 이미지의 첫 번째 루마 픽셀과 입력 이미지의 첫 번째 루마 픽셀의 차이에 해당하는 루마 픽셀 초기 위상 (LPIP)이 계산될 수 있다. 또한, 수평 방향을 기준으로, 출력 이미지의 첫 번째 크로마 픽셀과 입력 이미지의 첫 번째 크로마 픽셀의 차이에 해당하는 크로마 픽셀 초기 위상(CPIP=(S-D)/2D)이 계산될 수 있다. "H-Direction"은 수평 방향을 의미한다.
도 28을 참조하면, 스케일링 비율은 1/2이고, 입력 이미지의 포맷은 YUV444이고, 출력 이미지의 포맷은 YUV420(MPEG2)일 때, 수평 방향 또는 수직 방향을 기준으로 출력 이미지의 첫 번째 루마 픽셀과 입력 이미지의 첫 번째 루마 픽셀의 차이에 해당하는 루마 픽셀 초기 위상 (LPIP)이 계산될 수 있다. 또한, 수직 방향을 기준으로, 출력 이미지의 첫 번째 크로마 픽셀과 입력 이미지의 첫 번째 크로마 픽셀의 차이에 해당하는 크로마 픽셀 초기 위상(CPIP=(2S-D)/2D)이 계산될 수 있다. "V-Direction"은 수직 방향을 의미한다.
도 29부터 도 44는 입력 이미지의 포맷이 YUV422일 때 회전 각도에 따른 초기 위상을 계산하는 방법들을 설명하는 실시 예들을 나타낸다.
도 29를 참조하면, 회전이 없고, 스케일링 비율은 1/2이고, 입력 이미지의 포맷은 YUV422이고, 출력 이미지의 포맷은 YUV444일 때, 수평 방향 또는 수직 방향을 기준으로 출력 이미지의 첫 번째 루마 픽셀과 입력 이미지의 첫 번째 루마 픽셀의 차이에 해당하는 루마 픽셀 초기 위상(LPIP)이 계산될 수 있다. 또한, 수평 방향을 기준으로, 출력 이미지의 첫 번째 크로마 픽셀과 입력 이미지의 첫 번째 크로마 픽셀의 차이에 해당하는 크로마 픽셀 초기 위상(CPIP=(S-D)/4D)이 계산될 수 있다.
도 30을 참조하면, 회전이 없고, 스케일링 비율은 1/2이고, 입력 이미지의 포맷은 YUV422이고, 출력 이미지의 포맷은 YUV444일 때, 수평 방향 또는 수직 방향을 기준으로 출력 이미지의 첫 번째 루마 픽셀과 입력 이미지의 첫 번째 루마 픽셀의 차이에 해당하는 루마 픽셀 초기 위상(LPIP)이 계산될 수 있다. 또한, 수직 방향을 기준으로, 출력 이미지의 첫 번째 크로마 픽셀과 입력 이미지의 첫 번째 크로마 픽셀의 차이에 해당하는 크로마 픽셀 초기 위상(CPIP=(S-D)/2D)이 계산될 수 있다.
도 31을 참조하면, 회전이 있고, 스케일링 비율은 1/2이고, 입력 이미지의 포맷은 YUV422이고, 출력 이미지의 포맷은 YUV444일 때, 수평 방향 또는 수직 방향을 기준으로 출력 이미지의 첫 번째 루마 픽셀과 입력 이미지의 첫 번째 루마 픽셀의 차이에 해당하는 루마 픽셀 초기 위상(LPIP)이 계산될 수 있다. 또한, 수평 방향을 기준으로, 출력 이미지의 첫 번째 크로마 픽셀과 입력 이미지의 첫 번째 크로마 픽셀의 차이에 해당하는 크로마 픽셀 초기 위상(CPIP=(S-D)/2D)이 계산될 수 있다.
도 32를 참조하면, 회전이 있고, 스케일링 비율은 1/2이고, 입력 이미지의 포맷은 YUV422이고, 출력 이미지의 포맷은 YUV444일 때, 수평 방향 또는 수직 방향을 기준으로 출력 이미지의 첫 번째 루마 픽셀과 입력 이미지의 첫 번째 루마 픽셀의 차이에 해당하는 루마 픽셀 초기 위상(LPIP)이 계산될 수 있다. 또한, 수직 방향을 기준으로, 출력 이미지의 첫 번째 크로마 픽셀과 입력 이미지의 첫 번째 크로마 픽셀의 차이에 해당하는 크로마 픽셀 초기 위상(CPIP=(S-D)/4D)이 계산될 수 있다.
도 33을 참조하면, 회전이 없고, 스케일링 비율은 1/2이고, 입력 이미지의 포맷은 YUV422이고, 출력 이미지의 포맷은 YUV422일 때, 수평 방향 또는 수직 방향을 기준으로 출력 이미지의 첫 번째 루마 픽셀과 입력 이미지의 첫 번째 루마 픽셀의 차이에 해당하는 루마 픽셀 초기 위상(LPIP)이 계산될 수 있다. 또한, 수평 방향을 기준으로, 출력 이미지의 첫 번째 크로마 픽셀과 입력 이미지의 첫 번째 크로마 픽셀의 차이에 해당하는 크로마 픽셀 초기 위상(CPIP=(S-D)/4D)이 계산될 수 있다.
도 34를 참조하면, 회전이 없고, 스케일링 비율은 1/2이고, 입력 이미지의 포맷은 YUV422이고, 출력 이미지의 포맷은 YUV422일 때, 수평 방향 또는 수직 방향을 기준으로 출력 이미지의 첫 번째 루마 픽셀과 입력 이미지의 첫 번째 루마 픽셀의 차이에 해당하는 루마 픽셀 초기 위상(LPIP)이 계산될 수 있다. 또한, 수직 방향을 기준으로, 출력 이미지의 첫 번째 크로마 픽셀과 입력 이미지의 첫 번째 크로마 픽셀의 차이에 해당하는 크로마 픽셀 초기 위상(CPIP=(S-D)/2D)이 계산될 수 있다.
도 35를 참조하면, 회전이 있고, 스케일링 비율은 1/2이고, 입력 이미지의 포맷은 YUV422이고, 출력 이미지의 포맷은 YUV422일 때, 수평 방향 또는 수직 방향을 기준으로 출력 이미지의 첫 번째 루마 픽셀과 입력 이미지의 첫 번째 루마 픽셀의 차이에 해당하는 루마 픽셀 초기 위상(LPIP)이 계산될 수 있다. 또한, 수평 방향을 기준으로, 출력 이미지의 첫 번째 크로마 픽셀과 입력 이미지의 첫 번째 크로마 픽셀의 차이에 해당하는 크로마 픽셀 초기 위상(CPIP=(S-D)/2D)이 계산될 수 있다.
도 36을 참조하면, 회전이 있고, 스케일링 비율은 1/2이고, 입력 이미지의 포맷은 YUV422이고, 출력 이미지의 포맷은 YUV422일 때, 수평 방향 또는 수직 방향을 기준으로 출력 이미지의 첫 번째 루마 픽셀과 입력 이미지의 첫 번째 루마 픽셀의 차이에 해당하는 루마 픽셀 초기 위상(LPIP)이 계산될 수 있다. 또한, 수직 방향을 기준으로, 출력 이미지의 첫 번째 크로마 픽셀과 입력 이미지의 첫 번째 크로마 픽셀의 차이에 해당하는 크로마 픽셀 초기 위상(CPIP=(S-D)/4D)이 계산될 수 있다.
도 37을 참조하면, 회전이 없고, 스케일링 비율은 1/2이고, 입력 이미지의 포맷은 YUV422이고, 출력 이미지의 포맷은 YUV420(H.263)일 때, 수평 방향 또는 수직 방향을 기준으로 출력 이미지의 첫 번째 루마 픽셀과 입력 이미지의 첫 번째 루마 픽셀의 차이에 해당하는 루마 픽셀 초기 위상(LPIP)이 계산될 수 있다. 또한, 수평 방향을 기준으로, 출력 이미지의 첫 번째 크로마 픽셀과 입력 이미지의 첫 번째 크로마 픽셀의 차이에 해당하는 크로마 픽셀 초기 위상(CPIP=(2S-D)/4D)이 계산될 수 있다.
도 38을 참조하면, 회전이 없고, 스케일링 비율은 1/2이고, 입력 이미지의 포맷은 YUV422이고, 출력 이미지의 포맷은 YUV420(H.263)일 때, 수평 방향 또는 수직 방향을 기준으로 출력 이미지의 첫 번째 루마 픽셀과 입력 이미지의 첫 번째 루마 픽셀의 차이에 해당하는 루마 픽셀 초기 위상(LPIP)이 계산될 수 있다. 또한, 수직 방향을 기준으로, 출력 이미지의 첫 번째 크로마 픽셀과 입력 이미지의 첫 번째 크로마 픽셀의 차이에 해당하는 크로마 픽셀 초기 위상(CPIP=(2S-D)/2D)이 계산될 수 있다.
도 39를 참조하면, 회전이 있고, 스케일링 비율은 1/2이고, 입력 이미지의 포맷은 YUV422이고, 출력 이미지의 포맷은 YUV420(H.263)일 때, 수평 방향 또는 수직 방향을 기준으로 출력 이미지의 첫 번째 루마 픽셀과 입력 이미지의 첫 번째 루마 픽셀의 차이에 해당하는 루마 픽셀 초기 위상(LPIP)이 계산될 수 있다. 또한, 수평 방향을 기준으로, 출력 이미지의 첫 번째 크로마 픽셀과 입력 이미지의 첫 번째 크로마 픽셀의 차이에 해당하는 크로마 픽셀 초기 위상(CPIP=(2S-D)/2D)이 계산될 수 있다.
도 40을 참조하면, 회전이 있고, 스케일링 비율은 1/2이고, 입력 이미지의 포맷은 YUV422이고, 출력 이미지의 포맷은 YUV420(H.263)일 때, 수평 방향 또는 수직 방향을 기준으로 출력 이미지의 첫 번째 루마 픽셀과 입력 이미지의 첫 번째 루마 픽셀의 차이에 해당하는 루마 픽셀 초기 위상(LPIP)이 계산될 수 있다. 또한, 수직 방향을 기준으로, 출력 이미지의 첫 번째 크로마 픽셀과 입력 이미지의 첫 번째 크로마 픽셀의 차이에 해당하는 크로마 픽셀 초기 위상(CPIP=(2S-D)/4D)이 계산될 수 있다.
도 41을 참조하면, 회전이 없고, 스케일링 비율은 1/2이고, 입력 이미지의 포맷은 YUV422이고, 출력 이미지의 포맷은 YUV420(MPEG-2)일 때, 수평 방향 또는 수직 방향을 기준으로 출력 이미지의 첫 번째 루마 픽셀과 입력 이미지의 첫 번째 루마 픽셀의 차이에 해당하는 루마 픽셀 초기 위상(LPIP)이 계산될 수 있다. 또한, 수평 방향을 기준으로, 출력 이미지의 첫 번째 크로마 픽셀과 입력 이미지의 첫 번째 크로마 픽셀의 차이에 해당하는 크로마 픽셀 초기 위상(CPIP=(S-D)/4D)이 계산될 수 있다.
도 42를 참조하면, 회전이 없고, 스케일링 비율은 1/2이고, 입력 이미지의 포맷은 YUV422이고, 출력 이미지의 포맷은 YUV420(MPEG-2)일 때, 수평 방향 또는 수직 방향을 기준으로 출력 이미지의 첫 번째 루마 픽셀과 입력 이미지의 첫 번째 루마 픽셀의 차이에 해당하는 루마 픽셀 초기 위상(LPIP)이 계산될 수 있다. 또한, 수직 방향을 기준으로, 출력 이미지의 첫 번째 크로마 픽셀과 입력 이미지의 첫 번째 크로마 픽셀의 차이에 해당하는 크로마 픽셀 초기 위상(CPIP=(2S-D)/2D)이 계산될 수 있다.
도 43을 참조하면, 회전이 있고, 스케일링 비율은 1/2이고, 입력 이미지의 포맷은 YUV422이고, 출력 이미지의 포맷은 YUV420(MPEG-2)일 때, 수평 방향 또는 수직 방향을 기준으로 출력 이미지의 첫 번째 루마 픽셀과 입력 이미지의 첫 번째 루마 픽셀의 차이에 해당하는 루마 픽셀 초기 위상(LPIP)이 계산될 수 있다. 또한, 수평 방향을 기준으로, 출력 이미지의 첫 번째 크로마 픽셀과 입력 이미지의 첫 번째 크로마 픽셀의 차이에 해당하는 크로마 픽셀 초기 위상(CPIP=(S-D)/4D)이 계산될 수 있다.
도 44를 참조하면, 회전이 있고, 스케일링 비율은 1/2이고, 입력 이미지의 포맷은 YUV422이고, 출력 이미지의 포맷은 YUV420(MPEG-2)일 때, 수평 방향 또는 수직 방향을 기준으로 출력 이미지의 첫 번째 루마 픽셀과 입력 이미지의 첫 번째 루마 픽셀의 차이에 해당하는 루마 픽셀 초기 위상(LPIP)이 계산될 수 있다. 또한, 수직 방향을 기준으로, 출력 이미지의 첫 번째 크로마 픽셀과 입력 이미지의 첫 번째 크로마 픽셀의 차이에 해당하는 크로마 픽셀 초기 위상(CPIP=(2S-D)/4D)이 계산될 수 있다.
도 45부터 도 52는 입력 이미지의 포맷이 YUV420(H.263)일 때 회전 각도에 따른 초기 위상을 계산하는 방법들을 설명하는 실시 예들을 나타낸다.
도 45를 참조하면, 회전 여부에 무관하고, 스케일링 비율은 1/2이고, 입력 이미지의 포맷은 YUV420(H.263)이고, 출력 이미지의 포맷은 YUV444일 때, 수평 방향 또는 수직 방향을 기준으로 출력 이미지의 첫 번째 루마 픽셀과 입력 이미지의 첫 번째 루마 픽셀의 차이에 해당하는 루마 픽셀 초기 위상(LPIP)이 계산될 수 있다. 또한, 수평 방향 또는 수직 방향을 기준으로, 출력 이미지의 첫 번째 크로마 픽셀과 입력 이미지의 첫 번째 크로마 픽셀의 차이에 해당하는 크로마 픽셀 초기 위상(CPIP=(2S-D)/4D)이 계산될 수 있다.
도 46을 참조하면, 회전이 없고, 스케일링 비율은 1/2이고, 입력 이미지의 포맷은 YUV420(H.263)이고, 출력 이미지의 포맷은 YUV422일 때, 수평 방향 또는 수직 방향을 기준으로 출력 이미지의 첫 번째 루마 픽셀과 입력 이미지의 첫 번째 루마 픽셀의 차이에 해당하는 루마 픽셀 초기 위상(LPIP)이 계산될 수 있다. 또한, 수평 방향 또는 수직 방향을 기준으로, 출력 이미지의 첫 번째 크로마 픽셀과 입력 이미지의 첫 번째 크로마 픽셀의 차이에 해당하는 크로마 픽셀 초기 위상(CPIP=(2S-D)/4D)이 계산될 수 있다.
도 47을 참조하면, 회전이 있고, 스케일링 비율은 1/2이고, 입력 이미지의 포맷은 YUV420(H.263)이고, 출력 이미지의 포맷은 YUV422일 때, 수평 방향 또는 수직 방향을 기준으로 출력 이미지의 첫 번째 루마 픽셀과 입력 이미지의 첫 번째 루마 픽셀의 차이에 해당하는 루마 픽셀 초기 위상(LPIP)이 계산될 수 있다. 또한, 수평 방향 또는 수직 방향을 기준으로, 출력 이미지의 첫 번째 크로마 픽셀과 입력 이미지의 첫 번째 크로마 픽셀의 차이에 해당하는 크로마 픽셀 초기 위상(CPIP=(S-2D)/4D)이 계산될 수 있다.
도 48을 참조하면, 회전에 무관하고, 스케일링 비율은 1/2이고, 입력 이미지의 포맷은 YUV420(H.263)이고, 출력 이미지의 포맷은 YUV420(H.263)일 때, 수평 방향 또는 수직 방향을 기준으로 출력 이미지의 첫 번째 루마 픽셀과 입력 이미지의 첫 번째 루마 픽셀의 차이에 해당하는 루마 픽셀 초기 위상(LPIP)이 계산될 수 있다. 또한, 수평 방향 또는 수직 방향을 기준으로, 출력 이미지의 첫 번째 크로마 픽셀과 입력 이미지의 첫 번째 크로마 픽셀의 차이에 해당하는 크로마 픽셀 초기 위상(CPIP=(S-D)/2D)이 계산될 수 있다.
도 49를 참조하면, 회전이 없고, 스케일링 비율은 1/2이고, 입력 이미지의 포맷은 YUV420(H.263)이고, 출력 이미지의 포맷은 YUV420(MPEG-2)일 때, 수평 방향 또는 수직 방향을 기준으로 출력 이미지의 첫 번째 루마 픽셀과 입력 이미지의 첫 번째 루마 픽셀의 차이에 해당하는 루마 픽셀 초기 위상(LPIP)이 계산될 수 있다. 또한, 수평 방향을 기준으로, 출력 이미지의 첫 번째 크로마 픽셀과 입력 이미지의 첫 번째 크로마 픽셀의 차이에 해당하는 크로마 픽셀 초기 위상(CPIP=(S-2D)/4D)이 계산될 수 있다.
도 50을 참조하면, 회전이 없고, 스케일링 비율은 1/2이고, 입력 이미지의 포맷은 YUV420(H.263)이고, 출력 이미지의 포맷은 YUV420(MPEG-2)일 때, 수평 방향 또는 수직 방향을 기준으로 출력 이미지의 첫 번째 루마 픽셀과 입력 이미지의 첫 번째 루마 픽셀의 차이에 해당하는 루마 픽셀 초기 위상(LPIP)이 계산될 수 있다. 또한, 수직 방향을 기준으로, 출력 이미지의 첫 번째 크로마 픽셀과 입력 이미지의 첫 번째 크로마 픽셀의 차이에 해당하는 크로마 픽셀 초기 위상(CPIP=(S-D)/2D)이 계산될 수 있다.
도 51을 참조하면, 회전이 있고, 스케일링 비율은 1/2이고, 입력 이미지의 포맷은 YUV420(H.263)이고, 출력 이미지의 포맷은 YUV420(MPEG-2)일 때, 수평 방향 또는 수직 방향을 기준으로 출력 이미지의 첫 번째 루마 픽셀과 입력 이미지의 첫 번째 루마 픽셀의 차이에 해당하는 루마 픽셀 초기 위상(LPIP)이 계산될 수 있다. 또한, 수평 방향을 기준으로, 출력 이미지의 첫 번째 크로마 픽셀과 입력 이미지의 첫 번째 크로마 픽셀의 차이에 해당하는 크로마 픽셀 초기 위상(CPIP=(S-2D)/4D)이 계산될 수 있다.
도 52를 참조하면, 회전이 있고, 스케일링 비율은 1/2이고, 입력 이미지의 포맷은 YUV420(H.263)이고, 출력 이미지의 포맷은 YUV420(MPEG-2)일 때, 수평 방향 또는 수직 방향을 기준으로 출력 이미지의 첫 번째 루마 픽셀과 입력 이미지의 첫 번째 루마 픽셀의 차이에 해당하는 루마 픽셀 초기 위상(LPIP)이 계산될 수 있다. 또한, 수직 방향을 기준으로, 출력 이미지의 첫 번째 크로마 픽셀과 입력 이미지의 첫 번째 크로마 픽셀의 차이에 해당하는 크로마 픽셀 초기 위상(CPIP=(S-D)/2D)이 계산될 수 있다.
도 53부터 도 68은 입력 이미지의 포맷이 YUV420(MPEG-2)일 때 회전 각도에 따른 초기 위상을 계산하는 방법들을 설명하는 실시 예들을 나타낸다.
도 53을 참조하면, 회전이 없고, 스케일링 비율은 1/2이고, 입력 이미지의 포맷은 YUV420(MPEG-2)이고, 출력 이미지의 포맷은 YUV444일 때, 수평 방향 또는 수직 방향을 기준으로 출력 이미지의 첫 번째 루마 픽셀과 입력 이미지의 첫 번째 루마 픽셀의 차이에 해당하는 루마 픽셀 초기 위상(LPIP)이 계산될 수 있다. 또한, 수평 방향을 기준으로, 출력 이미지의 첫 번째 크로마 픽셀과 입력 이미지의 첫 번째 크로마 픽셀의 차이에 해당하는 크로마 픽셀 초기 위상(CPIP=(S-D)/4D)이 계산될 수 있다.
도 54를 참조하면, 회전이 없고, 스케일링 비율은 1/2이고, 입력 이미지의 포맷은 YUV420(MPEG-2)이고, 출력 이미지의 포맷은 YUV444일 때, 수평 방향 또는 수직 방향을 기준으로 출력 이미지의 첫 번째 루마 픽셀과 입력 이미지의 첫 번째 루마 픽셀의 차이에 해당하는 루마 픽셀 초기 위상(LPIP)이 계산될 수 있다. 또한, 수직 방향을 기준으로, 출력 이미지의 첫 번째 크로마 픽셀과 입력 이미지의 첫 번째 크로마 픽셀의 차이에 해당하는 크로마 픽셀 초기 위상(CPIP=(S-2D)/4D)이 계산될 수 있다.
도 55를 참조하면, 회전이 있고, 스케일링 비율은 1/2이고, 입력 이미지의 포맷은 YUV420(MPEG-2)이고, 출력 이미지의 포맷은 YUV444일 때, 수평 방향 또는 수직 방향을 기준으로 출력 이미지의 첫 번째 루마 픽셀과 입력 이미지의 첫 번째 루마 픽셀의 차이에 해당하는 루마 픽셀 초기 위상(LPIP)이 계산될 수 있다. 또한, 수평 방향을 기준으로, 출력 이미지의 첫 번째 크로마 픽셀과 입력 이미지의 첫 번째 크로마 픽셀의 차이에 해당하는 크로마 픽셀 초기 위상(CPIP=(S-2D)/4D)이 계산될 수 있다.
도 56을 참조하면, 회전이 있고, 스케일링 비율은 1/2이고, 입력 이미지의 포맷은 YUV420(MPEG-2)이고, 출력 이미지의 포맷은 YUV444일 때, 수평 방향 또는 수직 방향을 기준으로 출력 이미지의 첫 번째 루마 픽셀과 입력 이미지의 첫 번째 루마 픽셀의 차이에 해당하는 루마 픽셀 초기 위상(LPIP)이 계산될 수 있다. 또한, 수직 방향을 기준으로, 출력 이미지의 첫 번째 크로마 픽셀과 입력 이미지의 첫 번째 크로마 픽셀의 차이에 해당하는 크로마 픽셀 초기 위상(CPIP=(S-D)/4D)이 계산될 수 있다.
도 57을 참조하면, 회전이 없고, 스케일링 비율은 1/2이고, 입력 이미지의 포맷은 YUV420(MPEG-2)이고, 출력 이미지의 포맷은 YUV422일 때, 수평 방향 또는 수직 방향을 기준으로 출력 이미지의 첫 번째 루마 픽셀과 입력 이미지의 첫 번째 루마 픽셀의 차이에 해당하는 루마 픽셀 초기 위상(LPIP)이 계산될 수 있다. 또한, 수평 방향을 기준으로, 출력 이미지의 첫 번째 크로마 픽셀과 입력 이미지의 첫 번째 크로마 픽셀의 차이에 해당하는 크로마 픽셀 초기 위상(CPIP=(S-D)/4D)이 계산될 수 있다.
도 58을 참조하면, 회전이 없고, 스케일링 비율은 1/2이고, 입력 이미지의 포맷은 YUV420(MPEG-2)이고, 출력 이미지의 포맷은 YUV222일 때, 수평 방향 또는 수직 방향을 기준으로 출력 이미지의 첫 번째 루마 픽셀과 입력 이미지의 첫 번째 루마 픽셀의 차이에 해당하는 루마 픽셀 초기 위상(LPIP)이 계산될 수 있다. 또한, 수직 방향을 기준으로, 출력 이미지의 첫 번째 크로마 픽셀과 입력 이미지의 첫 번째 크로마 픽셀의 차이에 해당하는 크로마 픽셀 초기 위상(CPIP=(S-2D)/4D)이 계산될 수 있다.
도 59를 참조하면, 회전이 있고, 스케일링 비율은 1/2이고, 입력 이미지의 포맷은 YUV420(MPEG-2)이고, 출력 이미지의 포맷은 YUV422일 때, 수평 방향 또는 수직 방향을 기준으로 출력 이미지의 첫 번째 루마 픽셀과 입력 이미지의 첫 번째 루마 픽셀의 차이에 해당하는 루마 픽셀 초기 위상(LPIP)이 계산될 수 있다. 또한, 수평 방향을 기준으로, 출력 이미지의 첫 번째 크로마 픽셀과 입력 이미지의 첫 번째 크로마 픽셀의 차이에 해당하는 크로마 픽셀 초기 위상(CPIP=(S-2D)/4D)이 계산될 수 있다.
도 60을 참조하면, 회전이 있고, 스케일링 비율은 1/2이고, 입력 이미지의 포맷은 YUV420(MPEG-2)이고, 출력 이미지의 포맷은 YUV422일 때, 수평 방향 또는 수직 방향을 기준으로 출력 이미지의 첫 번째 루마 픽셀과 입력 이미지의 첫 번째 루마 픽셀의 차이에 해당하는 루마 픽셀 초기 위상(LPIP)이 계산될 수 있다. 또한, 수직 방향을 기준으로, 출력 이미지의 첫 번째 크로마 픽셀과 입력 이미지의 첫 번째 크로마 픽셀의 차이에 해당하는 크로마 픽셀 초기 위상(CPIP=(S-D)/4D)이 계산될 수 있다.
도 61을 참조하면, 회전이 없고, 스케일링 비율은 1/2이고, 입력 이미지의 포맷은 YUV420(MPEG-2)이고, 출력 이미지의 포맷은 YUV420(H.263)일 때, 수평 방향 또는 수직 방향을 기준으로 출력 이미지의 첫 번째 루마 픽셀과 입력 이미지의 첫 번째 루마 픽셀의 차이에 해당하는 루마 픽셀 초기 위상(LPIP)이 계산될 수 있다. 또한, 수평 방향을 기준으로, 출력 이미지의 첫 번째 크로마 픽셀과 입력 이미지의 첫 번째 크로마 픽셀의 차이에 해당하는 크로마 픽셀 초기 위상(CPIP=(2S-D)/4D)이 계산될 수 있다.
도 62를 참조하면, 회전이 없고, 스케일링 비율은 1/2이고, 입력 이미지의 포맷은 YUV420(MPEG-2)이고, 출력 이미지의 포맷은 YUV420(H.263)일 때, 수평 방향 또는 수직 방향을 기준으로 출력 이미지의 첫 번째 루마 픽셀과 입력 이미지의 첫 번째 루마 픽셀의 차이에 해당하는 루마 픽셀 초기 위상(LPIP)이 계산될 수 있다. 또한, 수직 방향을 기준으로, 출력 이미지의 첫 번째 크로마 픽셀과 입력 이미지의 첫 번째 크로마 픽셀의 차이에 해당하는 크로마 픽셀 초기 위상(CPIP=(S-D)/2D)이 계산될 수 있다.
도 63을 참조하면, 회전이 있고, 스케일링 비율은 1/2이고, 입력 이미지의 포맷은 YUV420(MPEG-2)이고, 출력 이미지의 포맷은 YUV420(H.263)일 때, 수평 방향 또는 수직 방향을 기준으로 출력 이미지의 첫 번째 루마 픽셀과 입력 이미지의 첫 번째 루마 픽셀의 차이에 해당하는 루마 픽셀 초기 위상(LPIP)이 계산될 수 있다. 또한, 수평 방향을 기준으로, 출력 이미지의 첫 번째 크로마 픽셀과 입력 이미지의 첫 번째 크로마 픽셀의 차이에 해당하는 크로마 픽셀 초기 위상(CPIP=(S-D)/4D)이 계산될 수 있다.
도 64를 참조하면, 회전이 있고, 스케일링 비율은 1/2이고, 입력 이미지의 포맷은 YUV420(MPEG-2)이고, 출력 이미지의 포맷은 YUV420(H.263)일 때, 수평 방향 또는 수직 방향을 기준으로 출력 이미지의 첫 번째 루마 픽셀과 입력 이미지의 첫 번째 루마 픽셀의 차이에 해당하는 루마 픽셀 초기 위상(LPIP)이 계산될 수 있다. 또한, 수직 방향을 기준으로, 출력 이미지의 첫 번째 크로마 픽셀과 입력 이미지의 첫 번째 크로마 픽셀의 차이에 해당하는 크로마 픽셀 초기 위상(CPIP=(2S-D)/4D)이 계산될 수 있다.
도 65 참조하면, 회전이 없고, 스케일링 비율은 1/2이고, 입력 이미지의 포맷은 YUV420(MPEG-2)이고, 출력 이미지의 포맷은 YUV420(MPEG-2)일 때, 수평 방향 또는 수직 방향을 기준으로 출력 이미지의 첫 번째 루마 픽셀과 입력 이미지의 첫 번째 루마 픽셀의 차이에 해당하는 루마 픽셀 초기 위상(LPIP)이 계산될 수 있다. 또한, 수평 방향을 기준으로, 출력 이미지의 첫 번째 크로마 픽셀과 입력 이미지의 첫 번째 크로마 픽셀의 차이에 해당하는 크로마 픽셀 초기 위상(CPIP=(S-D)/4D)이 계산될 수 있다.
도 66을 참조하면, 회전이 없고, 스케일링 비율은 1/2이고, 입력 이미지의 포맷은 YUV420(MPEG-2)이고, 출력 이미지의 포맷은 YUV420(MPEG-2)일 때, 수평 방향 또는 수직 방향을 기준으로 출력 이미지의 첫 번째 루마 픽셀과 입력 이미지의 첫 번째 루마 픽셀의 차이에 해당하는 루마 픽셀 초기 위상(LPIP)이 계산될 수 있다. 또한, 수직 방향을 기준으로, 출력 이미지의 첫 번째 크로마 픽셀과 입력 이미지의 첫 번째 크로마 픽셀의 차이에 해당하는 크로마 픽셀 초기 위상(CPIP=(S-D)/2D)이 계산될 수 있다.
도 67을 참조하면, 회전이 있고, 스케일링 비율은 1/2이고, 입력 이미지의 포맷은 YUV420(MPEG-2)이고, 출력 이미지의 포맷은 YUV420(MPEG-2)일 때, 수평 방향 또는 수직 방향을 기준으로 출력 이미지의 첫 번째 루마 픽셀과 입력 이미지의 첫 번째 루마 픽셀의 차이에 해당하는 루마 픽셀 초기 위상(LPIP)이 계산될 수 있다. 또한, 수평 방향을 기준으로, 출력 이미지의 첫 번째 크로마 픽셀과 입력 이미지의 첫 번째 크로마 픽셀의 차이에 해당하는 크로마 픽셀 초기 위상(CPIP=(S-2D)/4D)이 계산될 수 있다.
도 68을 참조하면, 회전이 있고, 스케일링 비율은 1/2이고, 입력 이미지의 포맷은 YUV420(MPEG-2)이고, 출력 이미지의 포맷은 YUV420(MPEG-2)일 때, 수평 방향 또는 수직 방향을 기준으로 출력 이미지의 첫 번째 루마 픽셀과 입력 이미지의 첫 번째 루마 픽셀의 차이에 해당하는 루마 픽셀 초기 위상(LPIP)이 계산될 수 있다. 또한, 수직 방향을 기준으로 2/S로 정규화했을 때, 출력 이미지의 첫 번째 크로마 픽셀과 입력 이미지의 첫 번째 크로마 픽셀의 차이에 해당하는 크로마 픽셀 초기 위상(CPIP=(2S-D)/4D)이 계산될 수 있다.
도 69는 회전 각도와 플립 방향을 나타내는 실시 예들이다.
도 1a부터 도 69를 참조하면, 입력 이미지가 스케일-업 또는 스케일-다운되고 입력 이미지의 포맷이 YUV422이고, 회전 모드가 경우2(CASE2)일 때 초기 위상에 대한 하나의 실시 예는 다음과 같다.
YH=(SH-DW)/2DW
YV=(SW-DH)/2DH
CH=(SH-DW)/2DW
CV=(SW-DH)/4DH-0.5
여기서, YH는 수평 방향 루마 픽셀 초기 위상을 나타내고, YV는 수직 방향 루마 픽셀 초기 위상을 나타내고, CH는 수평 방향 크로마 픽셀 초기 위상을 나타내고, CV는 수직 방향 크로마 픽셀 초기 위상을 나타낸다.
SH는 입력 이미지의 높이를 나타내고, DW는 출력 이미지의 폭을 나타내고, SW는 입력 이미지의 폭을 나타내고, DH는 출력 이미지의 높이를 나타낸다.
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100: 데이터 처리 시스템
200: 컨트롤러
210: CPU
220: 이미지 신호 프로세서
230: 멀티미디어 처리 회로
231: 크로마 서브샘플링 변환기
233: 로테이터
235: 스케일러

Claims (10)

  1. 입력 이미지와 출력 이미지 사이의 스케일링 비율 정보, 상기 입력 이미지와 상기 출력 이미지 사이에 적용되는 크로마 서브샘플링 포맷 변환 정보, 및 상기 입력 이미지의 회전 각도 정보 중 적어도 하나를 이용하여, 상기 입력 이미지의 첫 번째 픽셀의 위치와 상기 출력 이미지의 첫 번째 픽셀의 위치의 차이에 대응하고 크기와 방향을 갖는 초기 위상을 계산하는 CPU; 및
    상기 CPU에 접속되고, 상기 초기 위상과 상기 입력 이미지를 수신하고, 상기 초기 위상과 상기 입력 이미지의 첫 번째 픽셀의 위치에 기초하여 상기 출력 이미지의 첫 번째 픽셀의 위치를 결정하는 멀티미디어 처리 회로를 포함하고,
    상기 멀티미디어 처리 회로는, 상기 입력 이미지의 픽셀들과 상기 출력 이미지의 첫 번째 픽셀의 위치에 기초하여, 상기 출력 이미지의 픽셀들을 생성하는 시스템 온 칩.
  2. 제1항에 있어서,
    상기 CPU는 상기 스케일링 비율 정보를 이용하여 상기 출력 이미지의 첫 번째 루마 샘플의 초기 위상을 계산하는 시스템 온 칩.
  3. 제1항에 있어서,
    상기 CPU는 상기 스케일링 비율 정보, 상기 크로마 서브샘플링 포맷 변환 정보, 및 상기 회전 각도 정보를 이용하여 상기 출력 이미지의 첫 번째 크로마 샘플의 상기 초기 위상을 계산하는 시스템 온 칩.
  4. 제1항에 있어서, 상기 멀티미디어 처리 회로는,
    상기 출력 이미지의 상기 첫 번째 픽셀의 위치와 상기 스케일링 비율 정보에 따라 상기 입력 이미지에 포함된 픽셀들로부터 상기 출력 이미지에 포함된 픽셀들을 생성하는 스케일러를 포함하는 시스템 온 칩.
  5. 제1항에 있어서, 상기 멀티미디어 처리 회로는,
    상기 출력 이미지의 상기 첫 번째 픽셀의 위치와 상기 크로마 서브샘플링 포맷 변환 정보에 기초하여 상기 입력 이미지에 포함된 픽셀들로부터 상기 출력 이미지에 포함된 픽셀들을 생성하는 크로마 서브샘플링 변환기를 포함하는 시스템 온 칩.
  6. 제1항에 있어서, 상기 멀티미디어 처리 회로는,
    상기 출력 이미지의 첫 번째 픽셀의 위치와 상기 회전 각도 정보에 기초하여 상기 입력 이미지에 포함된 픽셀들로부터 상기 출력 이미지에 포함된 픽셀들을 생성하는 로테이터를 포함하는 시스템 온 칩.
  7. 입력 이미지를 출력하는 이미지 소스; 및
    상기 입력 이미지로부터 출력 이미지를 생성하는 시스템 온 칩을 포함하고,
    상기 시스템 온 칩은,
    상기 입력 이미지와 상기 출력 이미지 사이의 스케일링 비율 정보, 상기 입력 이미지와 상기 출력 이미지 사이에 적용되는 크로마 서브샘플링 포맷 변환 정보, 및 상기 입력 이미지의 회전 각도 정보 중 적어도 하나를 이용하여, 상기 입력 이미지의 첫 번째 픽셀의 위치와 상기 출력 이미지의 첫 번째 픽셀의 위치의 차이에 대응하고 크기와 방향을 갖는 초기 위상을 계산하는 CPU; 및
    상기 CPU에 접속되고, 상기 초기 위상과 상기 입력 이미지를 수신하고, 상기 초기 위상과 상기 입력 이미지의 첫 번째 픽셀의 위치에 기초하여 상기 출력 이미지의 첫 번째 픽셀의 위치를 결정하는 멀티미디어 처리 회로를 포함하고,
    상기 멀티미디어 처리 회로는, 상기 입력 이미지의 픽셀들과 상기 출력 이미지의 첫 번째 픽셀의 위치에 기초하여, 상기 출력 이미지의 픽셀들을 생성하는 데이터 처리 시스템.
  8. 제7항에 있어서,
    상기 CPU는 상기 스케일링 비율 정보를 이용하여 상기 출력 이미지의 첫 번째 루마 샘플의 초기 위상을 계산하는 데이터 처리 시스템.
  9. 제7항에 있어서,
    상기 CPU는 상기 스케일링 비율 정보, 상기 크로마 서브샘플링 포맷 변환 정보, 및 상기 회전 각도 정보를 이용하여 상기 출력 이미지의 첫 번째 크로마 샘플의 상기 초기 위상을 계산하는 데이터 처리 시스템.
  10. 제7항에 있어서, 상기 멀티미디어 처리 회로는,
    상기 출력 이미지의 상기 첫 번째 픽셀의 위치와 상기 스케일링 비율 정보에 따라 상기 입력 이미지에 포함된 픽셀들로부터 상기 출력 이미지에 포함된 픽셀들을 생성하는 스케일러를 포함하는 데이터 처리 시스템.
KR1020150029874A 2015-03-03 2015-03-03 이미지 처리 정보에 따라 크기와 방향을 갖는 초기 위상을 계산할 수 있는 이미지 처리 장치들 Active KR102440941B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150029874A KR102440941B1 (ko) 2015-03-03 2015-03-03 이미지 처리 정보에 따라 크기와 방향을 갖는 초기 위상을 계산할 수 있는 이미지 처리 장치들
US15/057,784 US9836670B2 (en) 2015-03-03 2016-03-01 Image processing device for computing an initial phase having magnitude and direction based on image processing information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150029874A KR102440941B1 (ko) 2015-03-03 2015-03-03 이미지 처리 정보에 따라 크기와 방향을 갖는 초기 위상을 계산할 수 있는 이미지 처리 장치들

Publications (2)

Publication Number Publication Date
KR20160107013A KR20160107013A (ko) 2016-09-13
KR102440941B1 true KR102440941B1 (ko) 2022-09-05

Family

ID=56851065

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150029874A Active KR102440941B1 (ko) 2015-03-03 2015-03-03 이미지 처리 정보에 따라 크기와 방향을 갖는 초기 위상을 계산할 수 있는 이미지 처리 장치들

Country Status (2)

Country Link
US (1) US9836670B2 (ko)
KR (1) KR102440941B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11418766B2 (en) 2019-12-17 2022-08-16 Samsung Electronics Co., Ltd. Apparatus and method for chroma processing for multi-frame fusion

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3413720B2 (ja) 1998-06-26 2003-06-09 ソニー株式会社 画像符号化方法及び装置、並びに画像復号方法及び装置
JP3797209B2 (ja) 2001-11-30 2006-07-12 ソニー株式会社 画像情報符号化方法及び装置、画像情報復号方法及び装置、並びにプログラム
US6891968B2 (en) * 2001-12-19 2005-05-10 Texas Instruments Incorporated Method to upscale single-pixel wide text without loss of image sharpness
US7305034B2 (en) 2002-04-10 2007-12-04 Microsoft Corporation Rounding control for multi-stage interpolation
US7868890B2 (en) * 2004-02-24 2011-01-11 Qualcomm Incorporated Display processor for a wireless device
US8175168B2 (en) 2005-03-18 2012-05-08 Sharp Laboratories Of America, Inc. Methods and systems for picture up-sampling
JP4634292B2 (ja) * 2005-12-06 2011-02-16 株式会社リコー 画像処理装置、画像処理方法、その方法をコンピュータに実行させるプログラム
US7956930B2 (en) 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US8054886B2 (en) 2007-02-21 2011-11-08 Microsoft Corporation Signaling and use of chroma sample positioning information
US8718133B2 (en) * 2008-03-26 2014-05-06 Samsung Electronics Co., Ltd. Method and system for image scaling detection
KR20110048794A (ko) * 2009-11-03 2011-05-12 삼성전자주식회사 이미지 프로세서 및 이를 포함하는 전자 장치
CN105049844B (zh) 2010-09-30 2017-07-28 三星电子株式会社 通过使用平滑插值滤波器对图像进行插值的方法和装置
JP5734082B2 (ja) * 2011-05-11 2015-06-10 キヤノン株式会社 撮像装置及びその制御方法、並びにプログラム
JP2013048307A (ja) 2011-07-26 2013-03-07 Panasonic Corp 動画像復号化装置および動画像復号化方法
US20130162625A1 (en) * 2011-12-23 2013-06-27 Michael L. Schmit Displayed Image Improvement
WO2013102293A1 (en) * 2012-01-04 2013-07-11 Mediatek Singapore Pte. Ltd. Improvements of luma-based chroma intra prediction
TWI674792B (zh) 2012-08-06 2019-10-11 美商Ｖｉｄ衡器股份有限公司 在多層視訊編碼中空間層取樣格網資訊
US9344718B2 (en) 2012-08-08 2016-05-17 Qualcomm Incorporated Adaptive up-sampling filter for scalable video coding
US9350899B2 (en) 2012-09-14 2016-05-24 Qualcomm Incorporated Methods and device for efficient resampling and resizing of digital images

Also Published As

Publication number Publication date
KR20160107013A (ko) 2016-09-13
US20160260221A1 (en) 2016-09-08
US9836670B2 (en) 2017-12-05

Similar Documents

Publication Publication Date Title
US12020345B2 (en) Image signal processor, method of operating the image signal processor, and application processor including the image signal processor
US8767005B2 (en) Blend equation
US11710213B2 (en) Application processor including reconfigurable scaler and devices including the processor
US11538142B2 (en) Image signal processor, operating method thereof, and image processing system including the image signal processor
KR102254676B1 (ko) 이미지를 실시간으로 처리할 수 있는 이미지 처리 회로와 이를 포함하는 장치들
US8711170B2 (en) Edge alphas for image translation
US20160239941A1 (en) Scaler circuit for generating various resolution images from single image and devices including the same
US20140253598A1 (en) Generating scaled images simultaneously using an original image
KR102440941B1 (ko) 이미지 처리 정보에 따라 크기와 방향을 갖는 초기 위상을 계산할 수 있는 이미지 처리 장치들
CN101795417A (zh) 一种具缩放功能的yuv转rgb电路设计方法
US10079004B2 (en) Display controller and display system including the same
CN109391788B (zh) 用于处理图像信号的系统
KR20140063125A (ko) 영역에 따라 다른 계수를 적용하여 화질을 개선하는 영상 처리 방법 및 그 장치
US12211175B2 (en) Image signal processor, operating method of the image signal processor, and application processor including the image signal processor
US10565778B2 (en) Electronic devices for and methods of implementing memory transfers for image warping in an electronic device
JP2011061603A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20150303

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20200218

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20150303

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20210727

Patent event code: PE09021S01D

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20220103

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20220627

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20220901

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20220901

End annual number: 3

Start annual number: 1

PG1601 Publication of registration