KR102718457B1

KR102718457B1 - 영상 처리 장치

Info

Publication number: KR102718457B1
Application number: KR1020160164418A
Authority: KR
Inventors: 임성현; 신제용
Original assignee: 엘지이노텍 주식회사
Priority date: 2016-07-14
Filing date: 2016-12-05
Publication date: 2024-10-17
Anticipated expiration: 2036-12-05
Also published as: US20190253681A1; CN109690628B; KR20180008244A; US11115636B2; EP3486874A1; CN109690628A; EP3486874A4

Abstract

이미지 생성 방법 및 생성 장치가 개시된다. 이미지 생성 방법은, 복수의 카메라 유닛들에서 실시간으로 촬영되는 복수의 베이어 이미지들(bayer images)을 입력 받는 단계, 상기 복수의 베이어 이미지들을 이용하여 디모자이크된 형태로서 하나의 이미지로 정합하는 단계; 및 상기 하나의 이미지로 정합하는 단계 이후에 진행되는, 자동 노출 및 오토 화이트 밸런스 보정이 포함된 영상 신호 처리(ISP, image signal processing) 단계를 포함한다. 따라서, 본 발명에 의하면 복수의 이미지들을 이용하여 적은 시간 및 적은 비용으로 하나의 정합된 이미지를 생성할 수 있다. 또한 전체적으로 균일한 품질의 픽셀들로 구성되는 이미지를 정합할 수 있다.

Description

영상 처리 장치{APPARATUS FOR PROCESSING IMAGE}

본 발명은 영상 처리 장치에 관한 것으로, 더욱 상세하게는 어라운드뷰 모니터링(around view monitoring, AVM)을 위해 영상을 처리하는 장치에 관한 것이다.

최근 자동차 산업의 활성화로 인해 교통사고 급증이 사회 문제화 되면서 사고를 미연에 방지할 수 있는 운전자 보조 시스템에 대한 연구가 활발하게 이루어지고 있다. 운전자 보조 시스템은 운전자의 안전한 운전을 위해 주행 또는 주차 중에 운전자에게 도움을 주는 시스템이다.

운전자 보조 시스템의 하나인 어라운드뷰 모니터링(around view monitoring, AVM) 시스템은 여러 대의 카메라를 장착하여 차량 주변 상황을 운전자에게 영상으로 제공하기 위해 최근 활발히 연구되고 있는 시스템이다. 독일과 일본의 여러 자동차 회사는 이미 제품으로 개발하여 출시하고 있다. 최근에는 여러 대의 카메라를 장착하여 운전자에게 하늘 위에서 보는 것 같은 조감도(Bird's Eye View)를 제공하는 시스템들이 주류를 이루고 있다.

어라운드뷰 모니터링 시스템은 이미지 생성 장치(apparatus for producing image)를 통해 제한된 수의 카메라에서 획득되는 이미지를 이용하여 물체, 예를 들면 자동차 주위를 360도의 시야 각으로 표시하는 이미지를 생성할 수 있다. 이때 카메라에 장착되는 렌즈는 넓은 시야각을 얻기 위해 어안렌즈 또는 비슷한 유형의 광각 렌즈가 사용될 수 있다. 그런데, 상기 렌즈에 의해 획득된 이미지들은 사람의 시각에 기초하는 이미지들과 다르고, 자동차에 설치되는 카메라 렌즈의 방향과 비교하여 최종 출력될 이미지가 탑 뷰(top view) 형태의 이미지이기 때문에 복수의 카메라들에서 획득된 이미지들은 각종 영상 신호 처리를 거쳐야 한다.

이러한 일련의 과정이 필요한 이유는 자동차의 지붕이 정면으로 촬영되도록 자동차에 카메라가 설치될 수 없기 때문이다.

도 1은 기존의 기술에 의한 이미지를 생성하는 장치를 나타내는 도면이다.

도 1을 참조하면, 카메라 유닛(10)은 이미지 획득 유닛(11), 디모자이크(demosaic)+ISP 유닛(12) 및 전송 유닛(13)을 포함한다. 그리고 이미지 생성 장치(20)는 수신 유닛(21), 정합 유닛(22) 및 출력 유닛(23)을 포함한다. 기존의 기술에 따르면, 디모자이크+ISP 유닛(12)이 카메라 유닛(10)에 포함되어 있다. 또는, 디모자이크+ISP 유닛(12)이 이미지 생성 장치에 포함되는 경우에도, 순서적으로 디모자이크+ISP 유닛(12)에 의한 영상 신호 처리 과정은, 수신 유닛(21)에 의해 이미지를 수신하는 단계 이후에 즉, 정합 유닛(22)에 의한 이미지를 정합하는 단계 이전에 위치한다.

즉 기존의 기술에 따르면 복수의 카메라를 통해 획득된 이미지 각각에 대해 영상 신호 처리(image signal processing, ISP)를 위한 유닛들이 필요하거나 영상 신호 처리 과정을 거쳐야 하기 때문에 많은 시간과 비용이 드는 문제점이 존재한다. 또한 기존의 기술에 따르면 이미지를 정합하는 단계 이전에 각각의 카메라 유닛이 ISP 단계에서 자동 노출(auto exposure, AE) 또는 오토 화이트 밸런스(auto white balance, AWB) 등의 과정을 수행하므로, 각각의 카메라가 설치된 환경의 차이로 인해 정합된 하나의 이미지에서 서로 다른 밝기 또는 화질의 영역이 나타나는 문제점이 존재한다.

본 발명은 균일한 품질의 정합된 이미지를 생성하는 영상 처리 장치를 제공할 수 있다.

또한, 본 발명은 차량에 탑재된 복수의 카메라 장치에서 이미지 처리 장치로 베이어 패턴을 전달함으로써 통신망을 통해 전달되는 데이터 양을 줄일 수 있어 차량 내 통신망의 속도나 역량에 큰 영향 없이 고화질의 카메라 장치를 운용할 수 있는 이미지 생성, 획득을 위한 전장 장치를 제공할 수 있다.

또한, 본 발명은 복수의 카메라 장치로부터 전달된 이미지를 정합한 후 복수의 카메라의 자동 노출(auto exposure, AE) 또는 AWB(auto white balance, AWB)을 수행함으로써, 복수의 카메라로부터 전달되는 영상이 아닌 정합된 이미지와 영상을 사용자 또는 운전자에게 보여주는 경우 정합을 위한 영상의 보정이 줄어들어 영상 왜곡을 줄일 수 있는 차량용 이미지 처리 장치를 제공할 수 있다.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 실시예에 따른 이미지를 출력하는 차량 전장 장치는 베이어 패턴(Bayer Pattern)을 출력하는 복수의 카메라 장치; 상기 베이어 패턴을 전달하는 차량내 네트워크(In-Vehicle Networking, IVN); 및 상기 차량용 통신망을 통해 전달된 상기 베이어 패턴을 가공하는 이미지 프로세서를 포함할 수 있다.

또한, 상기 베이어 패턴은 무압축(uncompressed) 버전이며, 상기 차량내 네트워크에서 요구하는 포맷의 형태로 변환될 수 있다.

또한, 상기 차량내 네트워크는 저전압 차등 시그널링(Low-Voltage Differential Signaling, LVDS) 방식으로 운영되며, 상기 베이어 패턴은 이더넷 프레임 포맷(Ethernet Frame Format)에 포함될 수 있다.

또한, 상기 차량내 네트워크는 저전압 차등 시그널링(Low-Voltage Differential Signaling, LVDS) 방식으로 운영되며, 상기 복수의 카메라 장치는 독립된 전용라인을 통해 상기 이미지 프로세서에 연결될 수 있다.

또한, 상기 카메라 장치는 유입되는 광신호를 수집하는 렌즈어셈블리; 상기 렌즈어셈블리를 통해 수집된 상기 광신호를 전기신호로 변환하여 상기 베이어 패턴을 출력하는 이미지 센서; 및 상기 배이어 패턴을 송신하는 송신부를 포함할 수 있다.

또한, 상기 송신부는 상기 저전압 차등 시그널링 방식으로 송신하기 위해 상기 베이어 패턴을 직렬 데이터로 변환하는 시리얼라이져(serializer)를 더 포함할 수 있다.

또한, 상기 송신부는 상기 직렬 데이터를 상기 이더넷 프레임 포맷으로 변환하는 인코더(encoder)를 더 포함할 수 있다.

또한, 상기 이미지 프로세서는 상기 베이어 패턴을 전달받아 색 보간(color interpolation, demosaicing)을 수행하는 색 보간부; 상기 색 보간부에서 전달된 이미지에 대해 제1이미지처리를 수행하는 보정부; 상기 보정부에서 출력된 이미지를 정합하는 정합부; 및 상기 정합부의 출력을 바탕으로 자동노출(auto exposure)을 조정하는 조정부를 더 포함할 수 있다.

또한, 상기 제1이미지처리는 캘리브레이션(calibration), 렌즈왜곡보정(lens distortion correction), 색 보정(color correction), 감마 보정(gamma correction), 색 공간 변환(color space conversion), 및 에지 인핸스먼트(Edge Enhancement) 중 적어도 하나를 수행하는 것을 포함할 수 있다.

또한, 상기 제1이미지처리는 상기 색 보간부에서 전달된 이미지에서 원근감을 제거한 변환 이미지를 생성하는 역투영 이미지 변환(inverse perspective mapping transform)을 수행하는 것을 포함할 수 있다.

또한, 상기 이미지 프로세서는 상기 베이어 패턴을 전달받아 병렬 데이터로 전환하여 상기 색 보간부에 제공하는 디시리얼라이저(deserializer)를 더 포함할 수 있다.

또한, 상기 이미지 프로세서는 상기 베이어 패턴이 이더넷 프레임 포맷으로 전달된 경우, 상기 이더넷 프레임 포맷에서 상기 베이어 패턴을 추출하는 디코더(decoder)를 더 포함할 수 있다.

본 발명의 다른 실시예에 따른 차량용 카메라 장치는 유입되는 광신호를 수집하는 복수의 렌즈를 포함하는 렌즈어셈블리; 상기 렌즈어셈블리를 통해 수집된 상기 광신호를 전기신호로 변환하여 상기 베이어 패턴을 출력하는 이미지 센서; 및 상기 베이어 패턴을 전달하는 송신부를 포함할 수 있다.

또한, 상기 송신부는 상기 저전압 차등 시그널링 방식으로 송신하기 위해 상기 베이어 패턴을 직렬 데이터로 변환하는 시리얼라이져(serializer)를 포함할 수 있다.

또한, 상기 송신부는상기 직렬 데이터를 상기 이더넷 프레임 포맷으로 변환하는 인코더(encoder)를 더 포함할 수 있다.

본 발명의 또 다른 실시예에 따른 이미지 처리 장치는 복수의 베이어 패턴을 전달받아 색 보간(color interpolation, demosaicing)을 수행하는 색 보간부; 상기 색 보간부에서 전달된 복수의 보간 이미지에 대해 제1이미지처리를 수행하는 보정부; 상기 보정부에서 출력된 복수의 보정 이미지를 정합하는 정합부; 및 상기 정합부의 출력을 바탕으로 상기 복수의 베이어 패턴을 획득한 카메라의 자동노출(auto exposure)을 조정하는 조정부를 포함할 수 있다.

또한, 이미지 처리 장치는 상기 복수의 베이어 패턴을 전달받아 병렬 데이터로 전환하여 상기 색 보간부에 제공하는 디시리얼라이저(deserializer)를 더 포함할 수 있다.

또한, 이미지 처리 장치는 상기 베이어 패턴이 이더넷 프레임 포맷으로 전달된 경우, 상기 이더넷 프레임 포맷에서 상기 베이어 패턴을 추출하는 디코더(decoder)를 더 포함할 수 있다.

본 발명의 또 다른 실시예에 따른 이미지 처리 장치는 적어도 하나의 프로세서와 컴퓨터 프로그램이 저장된 적어도 하나의 메모리 장치를 포함하는 프로세싱 시스템을 포함하고, 상기 프로세싱 시스템은 상기 이미지 처리 장치가 복수의 베이어 패턴을 전달받아 색 보간(color interpolation, demosaicing)을 수행하여 복수의 보간 이미지를 출력하는 단계; 상기 복수의 보간 이미지에 대해 제1이미지처리을 수행하여 복수의 보정 이미지를 출력하는 단계; 및 상기 복수의 보정 이미지를 정합하여 정합 이미지를 출력하는 단계를 수행하도록 할 수 있다.

또한, 상기 복수의 베이어 패턴은 상기 차량에 탑재된 복수의 카메라 장치와 연동하는 차량내 네트워크를 통해 전달될 수 있다.

또한, 상기 프로세싱 시스템은 상기 이미지 처리 장치가 상기 복수의 베이어 패턴이 직렬 데이터로 형태로 전달되는 경우, 상기 직렬 데이터 형태의 상기 복수의 베이어 패턴을 병렬 데이터 형태로 변환하는 단계를 더 수행하도록 할 수 있다.

또한, 상기 프로세싱 시스템은 상기 이미지 처리 장치가 상기 정합 이미지를 바탕으로 상기 복수의 베이어 패턴을 획득한 상기 복수의 카메라 장치의 자동노출(auto exposure)을 조정하는 단계를 더 수행하도록 할 수 있다.

또한, 상기 제1이미지처리는 상기 복수의 보간 이미지에서 원근감을 제거한 변환 이미지를 생성하는 역투영 이미지 변환(inverse perspective mapping transform)을 수행하는 것을 포함할 수 있다.

본 발명의 또 다른 실시예에 따른 이미지 처리 방법은 복수의 베이어 패턴을 전달받아 색 보간(color interpolation, demosaicing)을 수행하여 복수의 보간 이미지를 출력하는 단계; 상기 복수의 보간 이미지에 대해 제1이미지처리를 수행하여 복수의 보정 이미지를 출력하는 단계; 및 상기 복수의 보정 이미지를 정합하여 정합 이미지를 출력하는 단계를 포함할 수 있다.

또한, 이미지 처리 방법은 상기 정합 이미지를 바탕으로 상기 복수의 베이어 패턴을 획득한 상기 복수의 카메라 장치의 자동노출(auto exposure)을 조정하는 단계를 더 포함할 수 있다.

본 발명의 또 다른 실시예에 따른 컴퓨터 판독 가능한 기록매체는 프로세서에 의해 실행되는 것을 통하여, 전술한 이미지 처리 방법을 실현하는 것을 특징으로 하는 응용 프로그램이 기록될 수 있다.

본 발명의 또 다른 실시예에 따른 이미지 생성 장치는 이미지 생성 장치(apparatus for producing wide angle image)로서, 복수의 이미지들을 이용하여 하나의 이미지로 정합하기 위한 연산을 처리하는 프로세서; 및 상기 프로세서를 통해 실행되는 적어도 하나의 프로그램 명령이 저장된 메모리를 포함하고, 상기 적어도 하나의 프로그램 명령은, 복수의 카메라 유닛들에서 실시간으로 촬영되는 복수의 베이어 이미지들(bayer images)을 입력 받음; 상기 복수의 베이어 이미지들을 이용하여 디모자이크 형태인 하나의 이미지로 정합; 및 상기 하나의 이미지로 정합 이후에 진행되는, 자동 노출 및 오토 화이트 밸런스 보정을 포함하는 이미지신호처리(ISP,image signal processing)를 수행하도록 실행 가능할 수 있다.

본 발명의 또 다른 실시예에 따른 이미지 생성 장치는 이미지 생성 장치(apparatus for producing wide angle image)로서, 복수의 이미지들을 이용하여 하나의 이미지로 정합하기 위한 연산을 처리하는 프로세서; 및 상기 프로세서를 통해 실행되는 적어도 하나의 프로그램 명령이 저장된 메모리를 포함하고, 상기 적어도 하나의 프로그램 명령은, 복수의 카메라 유닛들에서 실시간으로 촬영되는 복수의 베이어 이미지들(bayer images)을 입력 받음; 상기 복수의 베이어 이미지들을 이용하여 하나의 베이어 이미지로 정합; 및 상기 하나의 베이어 이미지로 정합된 이후에 자동 노출 및 오토 화이트 밸런스 보정을 포함하는 이미지신호처리(ISP,image signal processing)를 수행하도록 실행 가능할 수 있다.

본 발명의 또 다른 실시예에 따른 이미지 생성 장치는 이미지 생성 장치(apparatus for producing wide angle image)로서, 복수의 이미지들을 이용하여 하나의 이미지로 정합하기 위한 연산을 처리하는 프로세서; 및 상기 프로세서를 통해 실행되는 적어도 하나의 프로그램 명령이 저장된 메모리를 포함하고, 상기 적어도 하나의 프로그램 명령은, 복수의 카메라 유닛들에서 실시간으로 촬영되는 복수의 베이어 이미지들(bayer images)을 입력 받음; 상기 복수의 베이어 이미지들을 디모자이크(demosaic); 상기 디모자이크된 복수의 이미지들을 이용하여 하나의 이미지로 정합; 및 상기 하나의 이미지로 정합 이후에 자동 노출 및 오토 화이트 밸런스 보정을 포함하는 이미지신호처리 (ISP,image signal processing)를 수행하도록 실행 가능할 수 있다.

상기 본 발명의 양태들은 본 발명의 바람직한 실시예들 중 일부에 불과하며, 본원 발명의 기술적 특징들이 반영된 다양한 실시예들이 당해 기술분야의 통상적인 지식을 가진 자에 의해 이하 상술할 본 발명의 상세한 설명을 기반으로 도출되고 이해될 수 있다.

본 발명에 따른 장치에 대한 효과에 대해 설명하면 다음과 같다.

본 발명에 의하면, 복수의 이미지들을 이용하여 적은 시간 및 적은 비용으로 하나의 정합된 이미지를 생성할 수 있다. 또한 전체적으로 균일한 품질의 픽셀들로 구성되는 이미지를 정합할 수 있다.

또한, 본 발명은 복수의 카메라로부터 이미지 처리 장치에 전달되는 데이터의 양을 줄일 수 있어, 차량용 네트워크의 제약, 제한으로부터 더욱 자유로운 설계가 가능한 이미지 획득을 위한 전장 장치를 제공할 수 있다.

또한, 본 발명은 복수의 카메라로부터 획득된 영상을 합성하는 과정에서 화상이 서로 불일치하는 것을 줄일 수 있어 합성 영상에서의 왜곡을 줄일 수 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

이하에 첨부되는 도면들은 본 발명에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 본 발명에 대한 실시예들을 제공한다. 다만, 본 발명의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시예로 구성될 수 있다.
도 1은 기존의 기술에 의한 광각 이미지를 생성하는 장치를 나타내는 도면이다.
도 2 내지 도 4는 본 출원발명의 서로 다른 실시예에 따른 광각 이미지 생성 장치를 나타내는 도면이다.
도 5는 이미지를 출력하는 차량 전장 장치의 제1예를 설명한다.
도 6은 도 5에서 설명한 차량용 카메라 모듈과 이미지 처리 장치의 연결을 설명한다.
도 7은 도 5에서 설명한 차량용 카메라 모듈의 예를 설명한다.
도 8은 도 5에서 설명한 이미지 처리 장치의 예를 설명한다.
도 9는 도 2와 관련된 본 출원발명의 제1 실시예에 따른 광각 이미지 생성 방법의 흐름도이다.
도 10은 도 9의 S520 단계 중에서 정합 과정에 관한 흐름도이다.
도 11 내지 도 16는 도 9의 전체 과정을 설명하기 위한 예시 도면이다.
도 17은 도 3과 관련된 본 출원발명의 제2 실시예에 따른 광각 이미지 생성 방법의 흐름도이다.
도 18은 도3와 관련된 본 출원발명의 제3 실시예에 따른 광각 이미지 생성 방법의 흐름도이다.
도 19는 본 발명의 또 다른 실시예에 따른 광각 이미지 생성 장치의 블록도이다.
도 20은 본 발명의 각 실시예에 따른 효과를 비교하기 위한 예시 도면이다.
도 21은 이미지를 출력하는 차량 전장 장치의 제2예를 설명한다.
도 22는 도 21에서 설명한 차량용 카메라 모듈과 이미지 처리 장치의 연결을 설명한다.
도 23은 도 21에서 설명한 차량용 카메라 모듈의 예를 설명한다.
도 24는 도 21에서 설명한 이미지 처리 장치의 예를 설명한다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 2는 본 출원발명의 하나의 실시예에 따른 이미지 생성 장치를 나타내는 도면이다.

도 2를 참조하면, 카메라 유닛은 이미지 획득 유닛(110) 및 전송 유닛(120)을 포함한다.

카메라 렌즈를 통해 들어오는 빛을 전기 신호로 변화하는 CMOS 또는 CCD와 같은 이미지 센서가 상기 이미지 획득 유닛(110)에 해당될 수 있다.

전송 유닛(120)은 이미지 획득 유닛(110)이 획득한 이미지를 이미지 생성 장치(200)의 수신 유닛(210)에 전송하기 위한 유닛이다.

다시 도 2를 참조하면, 본 출원발명의 실시예에 따른 이미지 생성 장치는(200)는 수신 유닛(210), 디모자이크(demosaic)+정합 유닛(220B), ISP 유닛(230) 및 출력 유닛(240)을 포함한다.

여기서 디모자이크+정합 유닛(220B) 및 ISP 유닛(230)은 영상 신호 처리를 위한 프로세서(processor) 및 본 발명의 다른 실시예에 따른 이미지 생성 방법의 각 단계를 수행하는, 상기 프로세서를 통해 실행되는 적어도 하나의 프로그램 명령이 저장된 메모리(memory)를 통해 구현될 수 있다. 상기 내용은 이하 다른 실시예에도 동일하게 적용될 수 있다.

수신 유닛(210)은 상기 전송 유닛(120)이 전송한 베이어 이미지를 수신한다.

디모자이크+정합 유닛(220B)은 수신 유닛(210)이 수신한 베이어 이미지를 디모자이크 및 정합하여 하나의 이미지를 생성한다. 여기서 상기 수신 유닛(210)이 수신한 베이어 이미지는 복수의 베이어 이미지들인 것이 바람직하다. 즉 복수의 카메라에 구비된 복수의 이미지 획득 유닛들(110)에 의해 획득된 복수의 베이어 이미지들인 것이 바람직하다.

디모자이크+정합 유닛(220B)는 디모자이크 과정 및 정합 과정을 동시에 수행하는데, 자세한 설명은 본 발명의 다른 실시예에 따른 이미지 생성 방법에서 하기로 한다.

여기서 하나의 이미지는 어라운드뷰 모니터링을 위해 사용되는 조면도 또는 탑뷰(top view) 형태의 이미지인 것이 바람직하다.

ISP 유닛(230)은 디모자이크된 형태로 정합된 하나의 이미지에 대해 영상 신호 처리(image signal processing, ISP) 단계를 수행한다. 영상 신호 처리 단계에 대해서는 본 발명의 다른 실시예에 따른 이미지 생성 방법에서 자세히 설명하기로 한다.

출력 유닛(240)은 상기 디모자이크 단계 및 영상 신호 처리 단계를 통해 보정된 이미지를 디스플레이 장치 등에 출력한다.

도 3은 본 발명의 다른 실시예에 따른 이미지 생성 장치(200)를 나타내는 도면이다. 도 2와의 차이점에 대해서만 설명하기로 한다.

도 3을 참조하면, 본 발명의 실시예에 따른 이미지 생성 장치(200)는 수신 유닛(210), 정합 유닛(220), 디모자이크+ISP 유닛(230A) 및 출력 유닛(240)을 포함한다. 도 2와 비교하면 디모자이크 유닛이 ISP 유닛에 포함되어 있다. 따라서 디모자이크+ISP 유닛(230A)은 정합된 하나의 베이어 이미지에 디모자이크 과정 및 ISP 과정을 수행한다.

도 4는 본 발명의 다른 실시예에 따른 이미지 생성 장치를 나타내는 도면이다. 도 2와의 차이점에 대해서만 설명하기로 한다.

도 4를 참조하면, 본 발명의 실시예에 따른 이미지 생성 장치(200)는 수신 유닛(210), 디모자이크 유닛(215), 정합 유닛(220), ISP 유닛(230) 및 출력 유닛(240)을 포함한다. 도 2 및 도 3과 비교하면 디모자이크 유닛(215)이 독립되어 있다. 따라서 디모자이크 유닛(215)은 복수의 베이어 이미지들을 하나의 이미지로 정합하기 이전에 복수의 베이어 이미지들에 대해 디모자이크 단계를 수행한다.

도 5는 이미지를 출력하는 차량 전장 장치의 제1예를 설명한다.

도 5를 참조하면, 이미지를 출력하는 차량 전장 장치는 베이어 패턴(Bayer Pattern)을 출력하는 복수의 카메라 장치(62, 64, 66, 68), 베이어 패턴을 전달하는 차량내 네트워크(In-Vehicle Networking, IVN), 및 차량용 통신망을 통해 전달된 상기 베이어 패턴을 가공하는 이미지 프로세서(60)를 포함할 수 있다.

구체적으로, 이미지를 출력하는 차량 전장 장치, 즉 차량용 이미지 생성 장치는 복수의 카메라 장치, 예를 들어 전방 카메라 장치(62), 후방 카메라 장치(64), 좌측 카메라 장치(66), 우측 카메라 장치(68)와 이미지 프로세서(60)를 포함할 수 있다. 여기서, 전방 카메라 장치(62), 후방 카메라 장치(64), 좌측 카메라 장치(66) 및 우측 카메라 장치(68)는 전용 통신 라인을 통해 이미지 프로세서(60)와 연결될 수 있다.

차량용 이미지 생성 장치에 포함되는 복수의 카메라는 차량의 크기, 카메라의 화각, 또는 차량용 이미지 생성 장치의 목적 등에 따라 개수가 달라질 수 있다.

한편, 복수의 카메라 장치(62, 64, 66, 68)는 차량용 네트워크(in-vehicle network, IVN)를 통해 이미지 프로세서(60)와 연결될 수 있다. 이때, 차량용 네트워크(IVN)는 저전압 차등 신호 방식(Low Voltage Differential Signaling, LVDS)과 같은 시리얼 통신(serial communication)을 지원할 수 있다. 차량용 네트워크(IVN)에는 CAN, LIN, MOST, FlexRay 등의 다수의 방식에 따른 통신망이 포함될 수 있다. 이중, CAN 은 오늘날에도 파워트레인에서부터 바디에 이르기까지 모든 자동차 분야에서 자동차 네트워크 아키텍처로써 꾸준히 사용되고 있으며, LIN 버스는 간단하면서도 경제적인 방식으로 인해 안전성을 고려해야 하는 운전 영역이 아닌 편의 영역 내 신호 데이터를 교환하는데 적합할 수 있다. 또한, FlexRay 와 MOST 버스는 실시간 요구사항이 많고 더 넓은 대역폭이 필요한 경우에 CAN 을 대체해 사용될 수 있다. 차량 내 복수의 구성 요소를 연결하는 통신망으로서 최근 이더넷 사용을 위한 저전압 차등 신호 방식(LVDS)이 제안되었는 데, CAN 과 유사한 방식으로 2 개의 와이어 케이블을 비차폐 꼬임쌍선(unshielded twisted pair)으로 사용했을 경우 100Mbit/s 의 전이중(Full-duplex) 전송 속도를 지닌 물리층을 가질 수 있는 장점이 있다.

차량용 이미지 생성 장치에 포함된 복수의 카메라 장치(62, 64, 66, 68)는 베이어 패턴(Bayer Pattern)을 차량용 네트워크(in-vehicle network, IVN)를 통해 이미지 프로세서(60)로 전달할 수 있다. 여기서, 베이어 패턴은 카메라 장치 또는 카메라 모듈에 포함된 광 신호를 전기 신호로 변환하는 이미지 센서가 출력하는 가공되지 않은 데이터(raw data)를 포함한다.

예를 들면, 카메라 장치 또는 모듈에 포함된 렌즈를 통해 전달되는 광 신호는 이미지 센서에 배치된 R, G, B 색상을 검출할 수 있는 각 화소를 통해 전기 신호로 변환된다. 만약 카메라 장치 또는 모듈의 사양이 500만 화소라고 한다면, R, G, B 색상을 감지할 수 있는 화소가 500만개 포함된 이미지 센서가 포함되어 있다고 생각할 수 있다. 화소 수가 500만개이지만, 실제로 각각은 색(color)을 감지하는 것이 아니라 흑백의 밝기만을 감지하는 단색(monochrome) 화소가 R, G, B 필터 중 어느 하나와 결합된 형태로 볼 수 있다. 즉, 이미지 센서는 화소수 만큼 배열된 단색 화소 셀들 위에 R, G, B 색상 필터들이 특정한 패턴을 가지고 배치되어 있다. R, G, B 색상 패턴은 사용자(즉, 인간)의 시각 특성에 따라 교차하며 배치되는 데 이를 베이어 패턴(Bayer pattern)이라고 한다.

통상적인 카메라 장치 혹은 모듈은 이미지 센서로부터 베이어 패턴을 전달받아 색을 입히는 과정(색 보간, color interpolation 혹은 demosaicing)을 거쳐 이미지 형태의 데이터를 출력하는 데 반하여, 도 5에서 설명하는 복수의 카메라 장치(62, 64, 66, 68)는 베이어 패턴(Bayer Pattern)을 출력한다. 이미지 형태의 데이터보다 베이어 패턴은 데이터 양이 크게 작다. 따라서, 100Mbit/s 의 전이중(Full-duplex) 전송 속도를 가지는 저전압 차등 신호 방식(LVDS)을 이용하더라도 차량을 이용하는 운전자 또는 사용자의 안전에 위해가 되지 않을 수 있다. 또한, 차량 내 통신망에 의해 전달되는 데이터의 크기를 줄일 수 있어 자율 주행 차량에 적용하더라도 차량에 배치된 복수의 카메라 장치로부터 획득된 주변 정보가 분석되는 데 통신 방식, 통신 속도 등에 의해 발생하는 문제를 제거할 수 있다.

도 6은 도 5에서 설명한 차량용 카메라 모듈과 이미지 처리 장치의 연결을 설명한다.

도시된 바와 같이, 카메라 장치(62)는 이미지 프로세서(60)와 개별적으로 연결되어 있다. 이때, 저전압 차등 신호 방식(LVDS)과 같은 시리얼 통신을 통해 카메라 장치(62)는 슬레이브 모드(Sx)로, 이미지 프로세서(60)는 마스터 모드(Mx)로 연결될 수 있다.

카메라 장치(62)는 이미지 센서에서 출력되는 베이어 패턴을 직렬 데이터로 변환한 후 변환된 베이어 패턴(serialized Bayer pattern)을 이미지 프로세서(60)로 전달한다. 시리얼 통신 방식을 통해 카메라 장치(62)와 이미지 프로세서(60)가 독립적으로 연결된 경우, 기 설정된 통신 속도에 구속되지 않고, 두 개의 장치가 서로 동기를 맞추어 필요한 데이터의 양과 필요한 속도로 데이터를 전달하고 수신할 수 있는 장점이 있다.

한편, 카메라 장치(62)는 베이어 패턴의 전송을 위해 압축을 할 필요가 없다. 통상적으로 서로 다른 두 기기간 통신에서 통신 속도가 제한되는 경우 데이터 압축을 통해 제한된 시간 내에 보다 많은 데이터를 전달하고자 할 필요가 있으나, 시리얼 통신 방식을 통해 카메라 장치(62)와 이미지 프로세서(60)가 독립적으로 연결된 경우에는 무압축(uncompressed) 상태의 베이어 패턴을 직렬 데이터로 형태로 변환만 하여 전달할 수 있다.

도 7은 도 5에서 설명한 차량용 카메라 모듈의 예를 설명한다.

도 7을 참조하면, 차량용 카메라 모듈(62)은 유입되는 광신호를 수집하는 복수의 렌즈를 포함하는 렌즈어셈블리(70), 렌즈어셈블리(70)를 통해 수집된 광신호를 전기신호로 변환하여 베이어 패턴을 출력하는 이미지 센서(72), 및 베이어 패턴을 전달하는 송신부를 포함할 수 있다. 여기서 송신부는 차량용 카메라 모듈(62)이 어떠한 차량 내 통신망을 통해 이미지 프로세서(60, 도 6참조)와 연결되는 가에 따라 구성이 달라질 수 있다.

일례로, 송신부는 송신부는 저전압 차등 시그널링 방식(LVDS)와 같은 시리얼 통신 방식으로 베이어 패턴을 송신하기 위해 베이어 패턴을 직렬 데이터로 변환하는 시리얼라이져(serializer, 74)를 포함할 수 있다. 시리얼라이저(74)는 통상적으로 데이터를 일시적으로 저장하는 버퍼(76) 및 송신되는 데이터의 주기를 형성하는 위상동기루프(PLL)를 포함하거나 함께 구현될 수 있다.

도 8은 도 5에서 설명한 이미지 처리 장치의 예를 설명한다.

도 8을 참조하면, 이미지 처리 장치(60)는 서로 다른 카메라 장치에서 개별적으로 전달되는 베이어 패턴을 바탕으로 이미지를 생성하는 이미지생성부(40), 각각의 이미지를 정합하는 정합부(42), 및 정합된 이미지를 바탕으로 복수의 카메라 장치의 자동 노출을 제어하기 위한 조정부(44)를 포함할 수 있다.

구체적으로, 이미지 처리 장치(60) 내 이미지생성부(40)는 복수의 베이어 패턴(BP1)을 전달받아 색 보간(color interpolation, demosaicing)을 수행하는 색 보간부(38) 및 색 보간부에서 전달된 복수의 보간 이미지에 대해 제1이미지처리를 수행하는 보정부(46)를 포함할 수 있다.

또한, 이미지 처리 장치(60)는 정합부(42)의 출력을 바탕으로 복수의 베이터 패턴을 획득한 카메라의 자동노출(auto exposure, AE)을 조정하는 조정부(44)를 더 포함할 수 있다.

이미지 처리 장치(60)는 차량용 네트워크(IVN, 도5참조)를 통해 복수의 카메라 장치로부터 복수의 베이어 패턴(BP1)을 수신할 수 있다. 이미지 처리 장치(60)는 복수의 베이어 패턴(BP1)을 수신한 후, 복수의 베이어 패턴(BP1)을 각각 이미지 형태의 데이터로 변환한다. 복수의 이미지로 변환된 후, 복수의 이미지는 정합될 수 있다. 이후, 정합된 이미지를 사용자 또는 운전자에게 표시하기 위한 디스플레이 장치(50)로 전송할 수 있고, 정합된 이미지를 바탕으로 카메라의 자동노출(AE)을 조정하기 위한 제어신호(ET)를 출력할 수 있다.

특히, 사용자에게 각각의 카메라 장치에서 획득한 이미지를 개별적으로 보여주는 것이 아니라 적어도 두 개의 이미지를 정합하여 보여주기 때문에 정합된 이미지를 바탕으로 카메라의 자동노출(AE)을 조정할 때 이미지 처리 장치(60)는 각각의 카메라로부터 얻는 영상을 화질 저하를 줄이면서 사용자에게 제공할 수 있다.

한편, 이미지 처리 장치(60)는 베이어 패턴(BP1)을 전달받아 병렬 데이터로 전환하여 색 보간부(38)에 제공하는 디시리얼라이저(deserializer, 34)를 더 포함할 수 있다. 이미지 형태의 데이터를 출력하는 통상적인 카메라 장치와 달리, 도 5 및 도 6에서 설명하는 카메라 장치 또는 카메라 모듈은 베이어 패턴(BP1)을 출력한다. 베이어 패턴(BP1)은 시리얼 통신을 지원하는 차량 내 네트워크를 통해 전달되기 위해 직렬데이터 형태로 변환되어 송신되므로, 베이어 패턴(BP1)을 바탕으로 색 보간(color interpolation, demosaicing) 작업을 수행하기 위해서는 직렬데이터 형태로 수신된 베이어 패턴(BP1)을 병렬 데이터 형태로 다시 변환할 필요가 있다.

예를 들어, 이미지 처리 장치(60)는 복수의 디시리얼라이져(34)를 구비하여, 서로 다른 카메라 장치로부터 전달된 베이어 패턴(BP1)을 독립적으로 각각의 카메라 장치 내 포함된 이미지 센서가 출력한 베이어 패턴으로 복원할 수 있다. 하지만, 실시예에 따라, 베이어 패턴이 차량용 네트워크를 통해 전달되는 속도에 비하여 이미지 생성부(40)가 구현된 집적회로 등의 동작 속도는 수배에서 수십배까지 빠를 수 있다. 따라서, 이미지 처리 장치(60)가 복수의 디시리얼라이져(34)를 구비하기 보다는 하나의 디시리얼라이저(34)와 멀티플렉서(미도시)를 포함하는 것이 경우에 따라 효율적일 수 있다. 여기서, 멀티플렉서는 차량용 네트워크를 통해 전달되는 복수의 베이어 패턴(BP1)을 수신하고, 순차적으로 디시리얼라이져(34)로 전달할 수 있다. 이후, 디시리얼라이져(34)는 순차적으로 전달되는 복수의 베이어 패턴(BP1)을 색 보간이 가능하도록 복원할 수 있다.

실시예에 따라, 이미지 처리 장치(60)가 복수의 디시리얼라이져(34)를 포함하는 경우, 복수의 디시리얼라이져(34)에서 복원된 베이어 패턴을 색 보간부(38)로 전달할 수 있지만, 하나의 디시리얼라이져(34)가 포함된 경우에는 복원된 베이어 패턴을 디멀티플렉서를 사용하여 색 보간부(38)로 전달할 수 있다.

또한, 실시예에 따라, 디시리얼라이져(34)와 색 보간부(38)는 복수의 베이어 패턴을 전달하기 위한 복수의 라인 또는 복수의 베이어 패턴을 전달할 수 있는 하나의 라인으로 연결될 수 있다.

색 보간부(38)는 전달되는 베이어 패턴(BP1)에 비적응적 알고리즘(non-adaptive algorithms) 또는 적응적 알고리즘(adaptive algorithms)을 적용하여 색 보간(color interpolation)을 수행한다.

색 보간부(38)에 이미지 형태로 변환된 데이터는 제1이미지처리를 수행하는 보정부(46)에 전달된다. 여기서, 실시예에 따라, 제1이미지처리는 색 보정(color correction), 감마 보정(gamma correction), 색 공간 변환(color space conversion), 및 에지 인핸스먼트(Edge Enhancement) 중 적어도 하나를 수행하는 것을 포함할 수 있다.

실시예에 따라, 색 보간부(38)와 보정부(46)는 하나의 유닛, 모듈으로도 구현될 수 있으며, 서로 다른 복합적인 알고리즘을 합쳐 동시에 구현할 수도 있다. 이러한 방식으로 베이어 패턴에 색 보간과 보정이 수행되면 이미지를 얻을 수 있고, 이러한 이미지는 저장 매체(미도시)에 저장될 수 있다.

또한, 정합부(42)는 캘리브레이션(calibration), 렌즈왜곡보정(lens distortion correction), 원근감을 제거한 변환 이미지를 생성하는 역투영 이미지 변환(inverse perspective mapping transform) 중 적어도 하나를 수행할 수 있다. 보정부(46)는 영상 처리 장치에 요구되는 사양에 따라 다양한 기능을 수행할 수 있는 소프트웨어 알고리즘 또는 하드웨어 회로 등을 선택적으로 포함할 수 있다.

예를 들면, 정합부(42)는 색 보간부(38)로부터 출력된 이미지 데이터에 캘리브레이션(calibration)을 수행하고, 그 결과를 렌즈에 대한 왜곡 보정(lens distortion correction)에 적용할 수 있다. 여기서, 캘리브레이션(calibration)은 우리가 실제 눈으로 보는 3차원 세상을 카메라 장치로 찍으면 2차원의 이미지로 변하기 때문에 필요한 보정작업을 포함할 수 있다. 예를 들어, 3차원의 점들이 2차원 이미지 상에서 어디에 맺히는지는 영상을 찍을 당시의 카메라의 위치 및 방향에 의해 결정되는 데, 실제 이미지는 사용된 렌즈, 렌즈와 이미지 센서와의 거리, 렌즈와 이미지 센서가 이루는 각 등 카메라 내부의 기구적인 부분에 의해서 크게 영향을 받기 때문에, 3차원 점들이 영상에 투영된 위치를 구하거나 역으로 영상좌표로부터 3차원 공간좌표를 복원할 때에는 이러한 내부 요인을 제거해야만 정확한 계산이 가능해진다. 이때, 이러한 내부 요인의 파라미터 값을 구하는 과정이 카메라 장치에서의 캘리브레이션 동작이다.

또한, 정합부(42)는 갤리브레이션 결과를 바탕으로, 렌즈왜곡보정을 수행할 수 있다. 예를 들어, 시야각(FOV)이 넓은 광각렌즈나 초광각 렌즈를 사용하는 카메라 장치에서 획득된 이미지는 넓은 범위를 볼 수 있지만 이미지의 중심에서 끝(edge)으로 갈수록 영상왜곡이 심해질 수 있다. 이러한 렌즈 왜곡은 방사왜곡(radial distortion), 접선왜곡(tangential distortion) 등을 포함할 수 있고, 이러한 왜곡을 해결하기 위해 보정부(46)는 카메라 내부 파리미터의 영향이 제거된 정규 이지미평면(normalized image plane) 투영하는 모델링을 사용할 수 있다.

또한, 정합부(42)는 이미지에서 원근감을 제거한 변환 이미지를 생성하기 위한 작업을 수행할 수 있다. 예를 들어, 차량에 탑재된 카메라 모듈에서 획득된 이미지를 탑뷰 영상의 형태로 변환하기 위해서는 이미지 내에 객체와 사물에 대한 원근 효과를 제거할 필요가 있다. 차량에 카메라가 설치된 높이와 각도, 카메라의 수평, 수직 화각 정보가 있으면, 카메라를 통해 획득되는 영상 평면과 운전자 또는 사용자에게 보여줄 실제 평면(탑뷰 형태의 타겟이미지 평면)과의 관계를 알 수 있다. 이러한 관계를 이용하여, 카메라에서 획득된 영상 평면을 사용자에게 보여줄 평면으로 변환할 수 있다.

한편, 정합부(42)는 사용자의 입력에 대응하여 복수의 이미지 중 어떠한 것을 정합할 것인지에 대한 정합 여부를 결정할 수 있고, 각각의 이미지를 특정한 형태, 형식으로 변환할지에 대한 변환 여부를 결정할 수 있다. 만약 사용자가 복수의 이미지의 정합을 원하지 않을 경우 정합부(42)는 불필요한 정합과정을 수행할 필요가 없다. 또한, 사용자가 카메라 장치에서 획득된 영상 그대로를 원하는 경우, 정합부(42)는 원근감을 제거하는 등의 변환을 수행할 필요가 없을 수 있다.

복수의 베이어 패턴을 입력받아 복수의 이미지 생성부(40)를 통해 변환된 복수의 이미지는 정합부(42)에 의해 합쳐질 수 있다. 정합된 이미지는 디스플레이 장치(50)뿐만 아니라, 복수의 카메라 장치의 자동노출(AE)을 조정하기 위한 제어신호(ET)를 출력하는 조정부(44)로 전달된다. 실시예에 따라, 조정부(44)는 복수의 카메라 장치를 제어하기 위한 제어부(미도시)의 일부 일 수 있다. 여기서, 제어부는 이미지 처리 장치(60)에 포함되어, 정합된 이미지를 바탕으로 복수의 카메라 장치를 여러 목적으로 제어하기 위한 모듈일 수 있다.

예를 들어, 실시예에 따라, 조정부(44)는 복수의 카메라 장치의 자동노출(AE)뿐만 아니라 오토 화이트 밸런스(Auto White Balance, AWB) 등을 수행할 수도 있다. 여기서, 화이트 밸런스는 카메라 장치를 통해 촬영될 장면의 색온도와 카메라 장치가 설정하는 색온도를 일치시켜주는 과정이다. 조정부(44)에 의해 약 2000~10000K 범위의 색온도를 적용할 수 있고, 자동으로 최적의 화이트 밸런스가 설정될 수 있다.

도 9는 본 발명의 다른 실시예에 따른 광각 이미지 생성 방법을 나타내는 흐름도이다.

도 9를 참조하면, 본 발명의 다른 실시예에 따른 광각 이미지 생성 방법은, 복수의 카메라 유닛들에서 실시간으로 촬영되는 복수의 베이어 이미지들(images)을 입력 받는 단계(S510), 복수의 베이어 이미지들을 이용하여 디모자이크된 형태로서 하나의 이미지로 정합하는 단계(S520), 디모자이크된 형태로서 정합된 하나의 이미지에 대한 ISP(image signal processing) 단계(S530)를 포함한다.

먼저 수신 유닛(210)은 전송 유닛(120)이 전송한 복수의 카메라 유닛(100)들에서 실시간으로 촬영되는 복수의 베이어 이미지들을 수신한다(S510). 여기서 복수의 이미지들은, 베이어 이미지들(bayer images)이다. 베이어 이미지를 구성하는 각 픽셀은 R, G, B 중에서 하나의 정보만을 포함한다.

다음으로 디모자이크+정합 유닛(220B)는 복수의 베이어 이미지들을 이용하여 디모자이크된 형태로서 하나의 이미지를 생성한다(S520). 다시 말해서, 디모자이크+정합 유닛(220B)는 복수의 베이어 이미지들을 이용하여 디모자이크 과정 및 정합 과정을 동시에 수행함으로써 디모자이크된 형태의 하나의 이미지를 생성한다.

여기서 디모자이크된 형태의 하나의 이미지는 어라운드뷰 모니터링(around view monitoring, AVM)을 위해 사용되는 조면도 또는 탑뷰(top view) 형태의 이미지인 것이 바람직하다.

디모자이크+정합 유닛(220B)에 의한 복합적인 과정 중에서 디모자이크 과정과 정합 과정에 대해 각각 먼저 설명하고, 이 두 과정을 동시에 수행하는 방법에 대해 설명하기로 한다.

먼저, 디모자이크(demosaic) 과정은 CMOS(complementary metal-oxide semiconductor) 또는 CCD(charge coupled device) 등의 이미지 센서가 빛을 전기신호로 변환하면서 생성한 이미지의 형태를 변환하는 과정이다. 이미지 센서 탄생 초기에, 이미지 센서는 하나의 반도체 층에 R, G, B 정보를 모두 포함시킬 수 없어서, 하나의 픽셀에 대해 R, G, B 정보 중에서 하나의 정보만을 포함하게 발명되었다. 따라서, 디모자이크 과정에서 각 픽셀은 R, G, B 중에서 하나의 정보와 주변 픽셀들의 R, G, B 중의 하나의 정보를 이용하여 전체 RGB 정보를 포함하도록 보간에 의해 보정된다. 이러한 이유로 인해 모자이크처럼 보이는 이미지의 각 픽셀들을 전체 RGB 정보를 포함하는 컬러 픽셀들로 변환하는 디모자이크 과정은 보간(interpolation) 과정이라 불리기도 한다.

다음으로 복수의 베이어 이미지들을 하나의 이미지로 정합하는 과정은, 복수의 베이어 이미지들 각각의 전체 픽셀에서 추출된 일부 픽셀들을 조합하여 하나의 이미지를 생성하는 과정이다. 즉, 하나의 이미지로 정합하는 과정은, 일부 픽셀들 중에서, 동일한 피사체 영역에 해당하는 픽셀들을 통해 연결되도록 하나의 이미지를 생성하는 단계이다.

예를 들어 어떤 물체, 즉 자동차의 라디에이터 그릴(radiator grille)에 전방을 향해 부착된 제1 카메라, 자동차 우측 백밀러에 우측 방향을 향해 부착된 제2 카메라, 자동차 트렁크 후드에 후방을 향해 부착된 제3 카메라 및 자동차 좌측 백밀러에 좌측 방향을 향해 부착된 제4 카메라가 타겟 자동차에 설비된 경우에, 각각의 카메라에서 촬영된 이미지들에서 동일한 피사체 영역이 촬영된 공통 영역이 존재할 수 있다. 예를 들면 시계방향으로 살펴보면, 제1 카메라의 우측 영역과 제2 카메라의 좌측 영역은 공통 영역일 수 있고, 제2 카메라의 우측 영역과 제3 카메라의 좌측 영역은 공통 영역일 수 있고, 제3 카메라의 우측 영역과 제4 카메라의 좌측 영역은 공통 영역일 수 있고, 그리고 제4 카메라의 우측 영역과 제1 카메라의 좌측 영역은 공통 영역일 수 있다. 시점을 달리하는 이미지에서 추출된 공통 영역에 존재하는 픽셀들을 기점으로 4개의 독립된 이미지가 보정 과정을 거쳐 하나의 이미지로 정합된다.

여기서, 이미지를 정합하는 과정은 그 내부에 복수의 서브 과정들을 포함할 수 있다.

도 10은 도 9의 S520 단계 중에서 정합 과정에 관한 흐름도이다.

도 10을 참조하면, 복수의 이미지를 하나의 이미지로 정합하는 과정은, 왜곡보정(fisheye lens distortion correction)(S621), 평면화(homographic transform)(S622) 및 단일화(image stitching)(S623)를 포함할 수 있다.

상기 각 과정은 공지된 기술에 해당되므로 간략히 설명하기로 한다.

먼저 왜곡보정(S621)은 광각 렌즈에 의해 포착된 이미지의 왜곡을 보정하는 과정이다. 복수의 이미지들을 이용하여 하나의 이미지를 생성함에 있어서, 하나의 이미지는 보통 360도를 표시하도록 정합될 수 있다. 따라서, 제한된 개수의 카메라를 이용하는 경우 각 카메라의 렌즈는 시야 각을 넓히기 위해 광각 렌즈를 사용한다. 이 광각 렌즈는 물고기의 시야와 비슷하게 시야 각이 넓은 대신에 이미지를 왜곡시킬 수 있다. 따라서 물고기의 눈에 비춰진 이미지를 사람의 눈에 비춰진 이미지로 보정하기 위한 과정이 상기 왜곡보정 과정이다.

다음으로 평면화(S622)는, 서로 다른 뷰들(views)에 해당하는 복수의 이미지를 탑 뷰(top view) 형태의 하나의 평면에 표시하기 위한 과정으로 복수의 이미지들의 중첩된 영역을 서로 잇기 위해 수행되는 과정이다. 이러한 과정은 균일화라고 불리기도 한다.

다음으로 단일화(S623)는, 상기 평면화 과정에서 얻어진 복수의 이미지들의 중첩된 영역끼리 서로 이어서 단일의 이미지를 생성하는 과정이다.

상기 설명된 복수의 이미지들을 하나의 이미지로 정합하는 과정은, 시간 경과에 따라 획득되는 다수의 이미지 쌍들에 일일이 적용될 수 있지만, 룩업 테이블(look-up table)을 이용하여 간단히 수행될 수 있다.

룩업 테이블을 이용하는 방법은 공지의 기술로서 간단히 설명하기로 한다. 룩업 테이블에는 정합된 하나의 이미지의 각 픽셀에 대응되는 원본 이미지의 주소가 표시되어 있다.

정합 과정을 구성하는 왜곡보정, 평면화 및 단일화 과정을 통한 이미지 출력은 설치된 카메라의 위치가 변하지 않는 환경이라면 반복된 과정이 존재한다. 즉, 하나의 이미지를 구성하는 각각의 픽셀이 참조하는 카메라 및 픽셀 주소는 시간이 흐름에도 불구하고 공통적이다. 따라서 하나의 샘플링 과정을 통해 정합된 이미지를 구성하는 픽셀의 주소를 표시하는 룩업 테이블을 작성할 수 있다. 그 다음으로는 이 룩업 테이블을 이용하여 이미지 정합 과정을 일일이 거치지 않고 하나의 정합된 이미지를 생성할 수 있다.

디모자이크+정합 유닛(220B)에 의하는 디모자이크 과정과 정합 과정이 동시에 수행되는 복합적인 단계는 상기 룩업 테이블을 이용함으로써 완성될 수 있다. 이하 상기 복합적인 단계에 대해 복수의 베이어 이미지들을 입력 단계부터 자세히 설명하기로 한다.

도 11은 상기 복수의 이미지들의 베이어 이미지들을 나타낸다.

도 11을 참조하면 베이어 이미지들은 모자이크된 형태의 이미지로서 각 이미지를 구성하는 픽셀들은 RGB 정보 중에서 하나의 정보만을 포함하고 있다. 여기서 4개의 이미지가 도시되어 있지만, 4대 이상의 카메라가 상기 가상의 자동차에 구비되어 4개 이상의 이미지들이 획득될 수 있다.

도 12는 디모자이크 과정에서 주변 4개의 픽셀들을 참조하여 보간하는 방법을 나타내는 예시 도면이다.

도12를 참조하면, 4개의 화살표가 가리키는 영역의 픽셀은 주변의 빨강색으로 표시된 영역의 픽셀들이 갖는 RGB 값을 참조하여 보간될 수 있다.

도 13은 디모자이크 과정에서 주변 6개의 픽셀들을 참조하여 보간하는 방법을 나타내는 예시 도면이다.

도 13을 참조하면, 만약에 4개의 픽셀들 중에서 RGB 값이 비어있는 픽셀이 있는 경우, 주변의 6개의 픽셀들을 참조하여 보간할 수 있다.

디모자이크 및 정합의 복합적인 단계에서, 디모자이크 및 정합이 완료된 샘플 이미지가 미리 생성될 수 있다. 그리고 상기 샘플 이미지를 구성하는 픽셀들이 참조하는 이미지 및 참조되는 이미지의 픽셀 좌표가 표시된 룩업 테이블(look-up table)이 작성될 수 있다. 그리고 상기 룩업 테이블을 이용하여, 정합되어 생성될 이미지의 픽셀들이 상기 참조하는 이미지 및 상기 픽셀 좌표를 역으로 참조함으로써, 하나의 정합된 이미지를 구성할 수 있다.

룩업 테이블은 출력 이미지를 합성하기 위해 필요한 정보(입력 이미지의 어떤 지점을 참조해야 하는지, 여러 개의 입력 이미지를 어떻게 정합해야 하는지 등)를 기억한다.

룩업 테이블은 출력 이미지와 동일한 픽셀 수를 가지는 매트릭스로 구성되며, 정합 방법에 따라 여러 개의 매트릭스가 요구될 수 있다. 매트릭스의 각 요소는 필요에 따라 정수형 또는 부동소수점 등의 자료형이 선택될 수 있다.

예를 들어 하나의 이미지의 부동소수점 위치를 참조하여 출력 이미지를 생성하는 경우, 참조이미지의 X 좌표와 Y 좌표를 기억하기 위해 총 2개의 부동소수점 자료형을 가진 매트릭스가 필요하다.

또 다른 예로 두 개의 이미지의 부동소수점 위치를 참조하여 출력 이미지를 생성하는 경우, 첫 번째 참조이미지의 X 좌표와 Y 좌표, 두 번째 참조이미지의 X 좌표와 Y 좌표를 기억하기 위해 총 4개의 부동소수점 자료형을 가진 매트릭스와, 두 이미지를 정합하는 방법을 표현하는 부호를 기억하기 위해 하나의 정수형 매트릭스가 필요하다

그리고 정수형 또는 부동소수점에서 출력 이미지가 표현되는 정밀도에 따라 기억장치에 할당되는 크기가 결정될 수 있다.

도 14는 룩업 테이블(look-up table)을 이용하여 복수의 베이어 이미지를 디모자이크 및 정합하는 과정에서 역으로 참조된 좌표를 나타내는 예시 도면이다.

도 14를 참조하면, 룩업 테이블에 의해 정합되어 생성될 이미지의 픽셀이 참조하는 이미지의 참조되는 좌표가 표시되어 있다.

도 15는 상기 좌표 주변의 4개의 픽셀들을 이용하여 디모자이크 하는 과정에 관한 예시 화면이다.

상기 룩업 테이블에 기초하여 상기 표시된 좌표 주변의 4개의 픽셀들을 이용하는 바이리니어 보간(bilinear interpolation) 방법에 의해 합성과 동시에 디모자이크가 가능하다.

도 16은 상기 4개의 픽셀들의 RGB를 이용하는 바이리니어 보간(bilinear interpolation) 방법에 관한 예시 화면이다.

도 16을 참조하면, 정합되어 생성될 이미지의 어느 하나의 픽셀의 정보는 상기 4개의 픽셀들의 RGB 값을 이용하여 보간된 값으로 생성될 수 있다.

다시 도 16을 참조하면, 마지막으로 ISP 유닛(230)은 디모자이크된 형태로서 정합된 하나의 이미지에 대한 영상 신호 처리(ISP)를 수행한다(S530).

영상 신호 처리(image signal processing, ISP) 단계는 그 내부에 복수의 서브 과정을 포함할 수 있다. 예를 들어 영상 신호 처리 단계는, 감마값 보정(gamma correction), 색채 보정(color correction), 자동 노출(auto exposure correction), 자동 화이트값 보정(auto white balance) 과정 중에서 하나 이상을 포함할 수 있다. 이러한 과정들은 공지의 기술에 해당하는 것으로서 자세한 설명은 생략하기로 한다.

도 17은 도 3과 관련된 본 출원발명의 제2 실시예에 따른 광각 이미지 생성 방법의 흐름도이다.

도 17을 참조하면, 본 발명의 다른 실시예에 따른 광각 이미지 생성 방법은, 복수의 카메라 유닛들에서 실시간으로 촬영되는 복수의 베이어 이미지들(images)을 입력 받는 단계(S610), 복수의 베이어 이미지들을 이용하여 하나의 베이어 이미지를 정합하는 단계(S620), 정합된 베이어 이미지를 디모자이크(demosaic) 하는 단계(S630) 및 정합 및 모자이크된 이미지에 대한 ISP(image signal processing) 단계(S640)를 포함한다.

먼저 수신 유닛(210)은 전송 유닛(120)이 전송한 복수의 카메라 유닛(100)들에서 실시간으로 촬영되는 복수의 베이어 이미지들을 수신한다(S610).

다음으로 정합 유닛(220)은 수신 유닛(210)이 수신한 복수의 베이어 이미지들을 이용하여 하나의 이미지로 정합한다(S620).

다음으로 디모자이크+ISP 유닛(230A)은 정합된 베이어 이미지에 대해 디모자이크 단계를 수행한다(S630).

다음으로 디모자이크+ISP 유닛(230)은 정합 및 디모자이크된 하나의 이미지에 대해 영상 신호 처리 단계를 수행한다(S640).

최종적으로 하나의 정합된 이미지에 대해 디모자이크 단계 및 영상 신호 처리 단계가 수행된 이미지가 생성되고, 출력 유닛(240)은 보정된 이미지를 디스플레이 장치 등에 출력한다.

도 18은 도4와 관련된 본 출원발명의 제3 실시예에 따른 광각 이미지 생성 방법의 흐름도이다.

도 9와 비교하여, 도 18에서는 입력된 복수의 베이어 이미지들을 디모자이크하는 단계(S815)가 복수의 카메라 유닛들에서 실시간으로 촬영되는 복수의 이미지들을 입력 받는 단계(S810)와 하나의 이미지를 정합하는 단계(S820) 사이에 놓이게 된다.

도 19는 본 발명의 또 다른 실시예에 따른 광각 이미지 생성 장치의 블록도이다.

도 19를 참조하면, 본 발명의 또 다른 실시예에 따른 광각 이미지 생성 장치(200)는, 복수의 이미지들을 이용하여 하나의 광각 이미지를 정합하기 위한 연산을 처리하는 프로세서(225) 및 프로세서(225)를 통해 실행되는 적어도 하나의 프로그램 명령이 저장된 메모리(235)를 포함하고, 추가적으로 복수의 이미지들을 입력 받는 입력 인터페이스 장치(210), 보정이 완료된 이미지를 출력하는 출력 인터페이스 장치(240) 및 비휘발성의 저장장치(250)을 포함할 수 있다.

여기서 적어도 하나의 프로그램 명령은, 복수의 카메라 유닛들에서 실시간으로 촬영되는 복수의 이미지들(images)을 입력 받는 단계, 복수의 이미지들을 이용하여 하나의 이미지를 정합하는 단계 및 정합된 하나의 이미지에 대한 ISP(image signal processing) 단계를 수행하도록 실행 가능하다.

프로세서(225)는 메모리(235) 및/또는 저장 장치(250)에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(225)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU) 또는 본 발명에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리(235)와 저장 장치(250)는 휘발성 저장 매체 및/또는 비휘발성 저장 매체로 구성될 수 있다. 예를 들어, 메모리(235)는 읽기 전용 메모리(read only memory, ROM) 및/또는 랜덤 액세스 메모리(random access memory, RAM)로 구성될 수 있다.

본 발명의 도 1 내지 도 4(구성에 관한 블록도)에서는 설명의 편의를 위하여, 각 구성을 각각 다른 블록에 도시화하여 예를 들어 설명하였으나, 각각의 구성은 하나의 블록으로 구성될 수 있다. 예를 들면, 각각의 블록은 제어부(controller) 또는 프로세서(processor) 등에 구성되어 전술한 일련의 동작들을 수행할 수 있다.

본 발명에 따르면, 복수의 이미지들을 이용하여 적은 시간 및 적은 비용으로 하나의 정합된 이미지를 생성할 수 있다. 또한 전체적으로 균일한 품질의 픽셀들로 구성되는 이미지를 정합할 수 있다.

도 20은 본 발명의 각 실시예에 따른 효과를 비교하기 위한 예시 도면이다.

도 20을 참조하면, 좌측 이미지는 기존 기술에 따라 디모자이크 과정 및 ISP 과정을 거친 후에 정합된 경우의 출력 이미지를 나타내고, 우측 이미지는 본 발명의 제1 실시예에 따라 ISP 과정이 최종적으로 수행된 경우의 출력 이미지를 나타낸다. 좌측 이미지와 비교하여 우측 이미지에서 전체적으로 향상된 화질과, 전방, 우측, 후방 및 좌측 영역에서 균일한 밝기 및 균일한 색채를 나타내고 있음을 확인할 수 있다.

도 21은 이미지를 출력하는 차량 전장 장치의 제2예를 설명한다.

도 21을 참조하면, 이미지를 출력하는 차량 전장 장치는 도 5에서 설명한 것과 유사하다. 다만, 복수의 카메라 장치(162, 164, 166, 168)와 이미지 프로세서(160)가 개별적으로 독립된 전용 라인으로 연결되어 있지 않고, 공통망을 통해 연결되는 것에 차이가 있다. 즉, 차량용 네트워크(IVN)에 다수의 구성 요소들이 연결될 수 있는 공통망을 이용하거나, 적어도 복수의 카메라 장치(162, 164, 166, 168)와 이미지 프로세서(160) 간의 공통망을 이용할 수 있다.

공통망을 이용하는 경우, 복수의 카메라 장치(162, 164, 166, 168)는 각자가 보내는 데이터에 누가 보냈는지, 누가 받을 수 있는지를 표시해야 하며, 이미지 프로세서(160)는 데이터를 수신하여 누구로부터 전달되었는지를 식별할 수 있어야 한다. 하지만, 이미지 프로세서(160)에 입출력 단자의 수를 줄일 수 있고, 이미지 프로세서를 보다 융통성(flexible)있게 설계할 수 있는 장점이 있다.

도 22는 도 21에서 설명한 차량용 네트워크를 통해 전달되는 데이터의 형태를 설명한다.

도 22를 참조하면, 차량용 네트워크 중 저전압 차등 신호 방식(LVDS)은 이더넷 형식의 통신을 지원할 수 있다. 이 경우, 하나의 이미지 프로세서(160)와 복수의 카메라 장치(162, 164, 166, 168)를 1:n으로 연결하는 것이 가능하다. 이를 위해서는, 각각의 카메라 장치(162, 164, 166, 168)가 전달하는 데이터에 도착지 주소(272), 발신지 주소(274), 및 데이터(276)가 포함되어야 한다.

도 22에 도시된 데이터 프레임은 하나의 예에 불과하며, 하나의 이미지 프로세서(160)와 복수의 카메라 장치(162, 164, 166, 168)를 1:n으로 연결하기 위해 사용되는 차량용 네트워크에 따라 달라질 수 있다.

도 23은 도 21에서 설명한 차량용 카메라 모듈의 예를 설명한다.

도 23을 참조하면, 차량용 카메라 모듈(162)은 도 7에서 설명한 차량용 카메라 모듈(62)와 유사한 구조를 가지나, 직렬 데이터 형태의 베이어 패턴을 공통망에 연결되는 경우에 공통망에서 사용될 수 있는 데이터 프레임의 형태로 변환하기 위한 인코더(180)를 더 포함할 수 있다.

도 24는 도 21에서 설명한 이미지 처리 장치의 예를 설명한다.

도 24를 참조하면, 이미지 처리 장치(160)는 도 8에서 설명한 이미지 처리 장치(60)와 유사한 구조를 가지나, 전달되는 베이어 패턴(BP)이 포함된 데이터 프레임을 전달받아 디코딩하는 디코더(148)를 추가로 구비한다.

한편, 이 경우, 복수의 디시리얼라이저(deserializer, 134)가 필요하지 않을 수 있다. 복수의 카메라에서 전달된 데이터가 공통망을 통해 순차적으로 전달되어 디코더(148)를 통해 어떤 카메라 장치에서 전달되었는지 확인되면 해당 정보에 대응하여 병렬화된 데이터가 복수의 이미지 생성부(140)로 분배될 수 있다.

색 보간부(138)와 보정부(146)를 포함하는 이미지 생성부(140)는 병렬화된 데이터를 색 보간하고, 보정하여 이미지를 생성할 수 있다.

생성된 복수의 이미지는 정합부(142)에서 합쳐질 수 있으며, 합쳐진 이미지는 디스플레이 장치(150)를 통해 사용자에게 제공될 수 있고, 보정부(144)에 전달되어 카메라의 자동노출(AE)을 조정하거나 카메라의 색온도(AWB)를 조정하기 위한 용도로 사용될 수 있다.

이상 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100: 카메라 유닛,
110: 이미지 획득 유닛,
120: 전송 유닛,
200: 이미지 생성 장치,
210: 수신 유닛, 입력 인터페이스 장치,
220: 정합 유닛,
225: 프로세서,
220B: 디모자이크+정합 유닛,
230: ISP 유닛,
230A: 디모자이크+ISP 유닛,
235: 메모리,
240: 출력 유닛, 출력 인터페이스 장치,
250: 저장 장치

Claims

복수의 카메라로부터 획득된 각각의 베이어 이미지 정보(Bayer image information)를 입력받는 디시리얼라이져(deserializer); 및
상기 디시리얼라이져에서 처리되어 출력되는 베이어 데이터를 가공하여 상기 복수의 카메라로부터 획득된 복수의 베이어 이미지를 이용하여 하나의 정합 이미지를 생성하고, 상기 하나의 정합 이미지를 생성한 후에 자동 노출 및 오토 화이트 밸런스 보정하는 영상 신호 처리를 수행하는 영상 처리부를 포함하고,
상기 하나의 정합 이미지가 출력되고,
상기 영상 신호 처리는 에지 인핸스먼트, 감마 보정, 색 보정, 자동 노출 보정 또는 오토 화이트 밸런스 보정 중 적어도 하나를 포함하고,
상기 영상 처리부는,
생성된 상기 정합 이미지를 바탕으로 상기 복수의 카메라의 자동 노출을 조정하는, 영상 처리 장치.
제1항에 있어서,
상기 베이어 이미지 정보는 모노크롬(Monochrome) 데이터이고, 상기 하나의 정합 이미지는 RGB 방식 또는 YUV 방식의 색(color)를 포함하는 데이터인, 영상 처리 장치.
제1항에 있어서,
상기 각각의 베이어 이미지 정보(Bayer image information)는 독립된 네트워크 라인을 통해 전달된, 영상 처리 장치.
복수의 독립된 네트워크 라인을 통해 베이어 이미지 정보(Bayer image information)가 직렬화된 서로 다른 복수의 데이터를 수신하는 수신부; 및
복수의 베이어 데이터를 가공하여 하나의 정합 이미지를 생성하고, 상기 정합된 이미지를 바탕으로 복수의 카메라의 자동 노출을 조정하기 위한 제어 신호를 출력하는 영상 처리부;를 포함하고,
상기 하나의 정합 이미지는 RGB이미지 또는 YUV이미지인, 영상 처리 장치.
제4항에 있어서,
상기 수신부는
상기 복수의 독립된 네트워크 라인을 통해 전달되는 상기 복수의 데이터를 복원하여 출력하는 디시리얼라이져(deserializer)를 포함하는, 영상 처리 장치.
삭제
제4항에 있어서,
상기 수신부는
상기 복수의 독립된 네트워크 라인으로부터 상기 복수의 데이터를 수신하는 멀티플렉서; 및
상기 멀티플렉서를 통해 순차적으로 전달되는 상기 복수의 데이터를 복원하여 상기 복수의 베이어 데이터를 출력하는 디시리얼라이져(deserializer)를 포함하는, 영상 처리 장치.
제4항에 있어서,
상기 네트워크 라인은 저전압 차등 시그널링(Low-Voltage Differential Signaling, LVDS) 방식으로 운영되는, 영상 처리 장치.
제4항에 있어서,
상기 영상 처리부는
상기 복수의 베이어 데이터를 색 보간 및 보정 처리를 수행하여 복수의 이미지 데이터를 출력하는 적어도 하나의 보간보정부; 및
상기 복수의 이미지 데이터를 상기 정합 이미지에 대응하도록 변환한 후 변환된 이미지를 서로 정합하는 변환정합부를 포함하는, 영상 처리 장치.
제9항에 있어서,
상기 적어도 하나의 보간보정부에서 출력된 상기 복수의 이미지 데이터를 저장하여 상기 변환정합부의 요청에 따라 상기 복수의 이미지 데이터를 전달하는 저장부를 더 포함하는, 영상 처리 장치.
베이어 패턴(Bayer Pattern)을 출력하는 복수의 카메라 장치;
상기 베이어 패턴을 전달하는 차량 내 네트워크; 및
상기 차량 내 네트워크(In-Vehicle Networking, IVN)를 통해 전달된 상기 베이어 패턴을 가공하여 정합된 이미지를 출력하고,
상기 정합된 이미지에 대해 디모자이크를 수행하고,
상기 정합 및 디모자이크된 이미지 대한 영상 신호 처리를 수행하는 이미지 프로세서를 포함하고,
상기 이미지 프로세서는,
상기 베이어 패턴을 전달받아 색 보간(color interpolation, demosaicing)을 수행하는 색 보간부;
상기 색 보간부에서 전달된 이미지에 대해 제1 이미지 처리를 수행하는 보정부;
상기 보정부에서 출력된 이미지를 정합하는 정합부; 및
상기 정합부에서 출력된 정합된 이미지를 바탕으로 상기 복수의 카메라 장치의 자동 노출을 조정하는 조정부;를 포함하는, 영상 처리 장치.
제11항에 있어서,
상기 베이어 패턴은 무압축(uncompressed) 버전이며, 상기 차량 내 네트워크에서 요구하는 포맷의 형태로 변환된 영상 처리 장치.
삭제
제12항에 있어서,
상기 복수의 카메라 장치는 독립된 전용라인을 통해 상기 이미지 프로세서에 연결된, 영상 처리 장치.
제11 항에 있어서,
상기 카메라 장치는
유입되는 광신호를 수집하는 렌즈어셈블리;
상기 렌즈어셈블리를 통해 수집된 상기 광신호를 전기신호로 변환하여 상기 베이어 패턴을 출력하는 이미지 센서; 및
상기 베이어 패턴을 송신하는 송신부를 포함하는, 영상 처리 장치.
제15항에 있어서,
상기 송신부는
저전압 차등 시그널링 방식으로 송신하기 위해 상기 베이어 패턴을 직렬 데이터로 변환하는 시리얼라이져(serializer)를 포함하는, 영상 처리 장치.
제16 항에 있어서,
상기 송신부는
상기 직렬 데이터를 이더넷 프레임 포맷으로 변환하는 인코더(encoder)를 더 포함하는, 영상 처리 장치.
삭제
제11항에 있어서, 상기 보정부는
상기 색 보간부에서 전달된 상기 이미지에서 원근감을 제거한 변환 이미지를 생성하는 역투영 이미지 변환을 상기 제1 이미지 처리로서 수행하는 영상 처리 장치.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제