KR102374013B1

KR102374013B1 - 촬상 장치 및 전자 기기

Info

Publication number: KR102374013B1
Application number: KR1020197006833A
Authority: KR
Inventors: 료지 에키
Original assignee: 소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date: 2016-09-16
Filing date: 2017-09-01
Publication date: 2022-03-11
Anticipated expiration: 2037-09-01
Also published as: KR20230058190A; US12061264B2; JP7342197B2; US10795024B2; KR20220066986A; CN113271400B; KR20220018071A; JP7105754B2; US20220244388A1; JP6937443B2; EP3515057A1; KR102490799B1; EP4064679A1; KR20220058975A; CN109691079A; JP2021093759A; US20220214458A1; KR102647268B1; EP3515057B1; JP2022111151A

Abstract

본 기술은, 유저가 필요로 하는 정보를 출력하는 촬상 장치를 소형으로 구성할 수 있도록 하는 촬상 장치 및 전자기기에 관한 것이다. 1칩의 촬상 장치는, 복수의 화소가 2 차원으로 배열된 화상을 촬상하는 촬상부와, 촬상부가 출력하는 촬상 화상을 이용한 신호 처리를 행하는 신호 처리부와, 신호 처리의 신호 처리 결과 및 촬상 화상을 외부로 출력하는 출력 I/F와, 신호 처리의 신호 처리 결과 및 촬상 화상을, 출력 I/F로부터 외부로 선택적으로 출력시키는 출력 제어를 행하는 출력 제어부를 가진다. 본 기술은, 예를 들면, 화상을 촬상하는 촬상 장치에 적용할 수 있다.

Description

촬상 장치 및 전자 기기

본 기술은, 촬상 장치 및 전자 기기에 관한 것으로, 특히, 예를 들면, 유저가 필요로 하는 정보를 출력하는 촬상 장치를 소형으로 구성할 수 있도록 하는 촬상 장치 및 전자 기기에 관한 것이다.

화상을 촬상하는 촬상 장치로서, 센서 칩, 메모리 칩 및 DSP(Digital Signal Processor) 칩의 칩끼리를, 복수의 범프로 병렬로 접속한 촬상 장치가 제안되고 있다(예를 들면, 특허문헌 1 참조).

일본특허공개 특개2008-048313호 공보

특허문헌 1에 기재된 촬상 장치와 같이, 칩끼리 범프로 접속하여 촬상 장치를 구성하는 경우에는, 촬상 장치의 두께가 두꺼워져 촬상 장치가 대형화된다.

한편, 촬상 장치를 사용하는 유저는, 그 촬상 장치에서 촬상된 화상을 필요로 하는 경우 이외에, 화상 그 자체가 아니라, 그 화상으로부터 얻어지는 정보(메타 데이터)를 필요로 하는 경우가 있다.

본 기술은, 이러한 상황을 감안하여 이루어진 것으로서, 유저가 필요로 하는 정보를 출력하는 촬상 장치를 소형으로 구성할 수 있도록 하는 것이다.

본 기술의 촬상 장치 또는 전자기기는, 복수의 화소가 2차원으로 배열된 화상을 촬상하는 촬상부와, 상기 촬상부가 출력하는 촬상 화상을 이용한 신호 처리를 행하는 신호 처리부와, 상기 신호 처리의 신호 처리 결과 및 상기 촬상 화상을 외부로 출력하는 출력 I/F와, 상기 신호 처리의 신호 처리 결과 및 상기 촬상 화상을, 상기 출력 I/F로부터 외부로 선택적으로 출력시키는 출력 제어를 행하는 출력 제어부를 구비하는 1칩의 촬상 장치 또는 그러한 촬상 장치를 구비하는 전자기기이다.

본 기술의 촬상 장치 및 전자기기에 있어서는, 복수의 화소가 2차원으로 배열된 화상을 촬상하는 촬상부가 출력하는 촬상 화상을 이용한 신호 처리를 행하고, 상기 신호 처리의 신호 처리 결과 및 상기 촬상 화상을 외부로 출력하는 출력 I/F에서부터 외부로, 상기 신호 처리의 신호 처리 결과 및 상기 촬상 화상이, 선택적으로 출력된다.

촬상 장치는, 독립한 장치이어도 되고, 1개의 장치를 구성하는 내부 블록이어도 된다.

본 기술에 의하면, 유저가 필요로 하는 정보를 출력하는 촬상 장치를 소형으로 구성할 수 있다.

또한, 여기에 기재된 효과는 반드시 한정되는 것은 아니고, 본 개시 중에 기재되어 있는 어느 하나 이상의 효과이어도 된다.

[도 1] 본 기술을 적용한 디지털 카메라의 일 실시형태의 구성예를 나타내는 블록도이다.
[도 2] 촬상 장치(2)의 구성예를 나타내는 블록도이다.
[도 3] 촬상 장치(2)의 외관 구성예의 개요를 나타내는 사시도이다.
[도 4] DSP(32)의 신호 처리로서 인식 처리가 행해지는 경우의 촬상 장치(2)의 처리예의 개요를 설명하는 도면이다.
[도 5] DSP(32)의 신호 처리로서 인식 처리가 행해지는 경우의 촬상 장치(2)의 처리예의 개요를 설명하는 도면이다.
[도 6] DSP(32)의 신호 처리로서 인식 처리가 행해지는 경우의 촬상 장치(2)의 처리예의 개요를 설명하는 도면이다.
[도 7] DSP(32)의 신호 처리로서 인식 처리가 행해지는 경우의 촬상 장치(2)의 처리의 타이밍의 제1 예를 설명하는 타이밍 차트이다.
[도 8] DSP(32)의 신호 처리로서 인식 처리가 행해지는 경우의 촬상 장치(2)의 처리의 타이밍의 제2 예를 설명하는 타이밍 차트이다.
[도 9] DSP(32)의 신호 처리로서 인식 처리가 행해지는 경우의 촬상 장치(2)의 처리의 타이밍의 제3 예를 설명하는 타이밍 차트이다.
[도 10] DSP(32)의 신호 처리로서 인식 처리가 행해지는 경우의 촬상 장치(2)의 처리의 타이밍의 제4 예를 설명하는 타이밍 차트이다.
[도 11] DSP(32)의 신호 처리로서 퓨전 처리가 행해지는 경우의 촬상 장치(2)의 처리의 예의 개요를 설명하는 도면이다.
[도 12] DSP(32)의 신호 처리로서 퓨전 처리가 행해지는 경우의 촬상 장치(2)의 처리의 예의 개요를 설명하는 도면이다.
[도 13] DSP(32)의 신호 처리로서 퓨전 처리가 행해지는 경우의 촬상 장치(2)의 처리의 예의 개요를 설명하는 도면이다.
[도 14] DSP(32)의 신호 처리로서 퓨전 처리가 행해지는 경우의 촬상 장치(2)의 처리의 타이밍의 제1 예를 설명하는 타이밍 차트이다.
[도 15] DSP(32)의 신호 처리로서 퓨전 처리가 행해지는 경우의 촬상 장치(2)의 처리의 타이밍의 제2 예를 설명하는 타이밍 차트이다.
[도 16] DSP(32)의 신호 처리로서 SLAM 처리가 행해지는 경우의 촬상 장치(2)의 처리의 예의 개요를 설명하는 도면이다.
[도 17] DSP(32)의 신호 처리로서 SLAM 처리가 행해지는 경우의 촬상 장치(2)의 처리의 예의 개요를 설명하는 도면이다.
[도 18] DSP(32)의 신호 처리로서 SLAM 처리가 행해지는 경우의 촬상 장치(2)의 처리의 예의 개요를 설명하는 도면이다.
[도 19] DSP(32)의 신호 처리로서 SLAM 처리가 행해지는 경우의 촬상 장치(2)의 처리의 타이밍의 제1 예를 설명하는 타이밍 차트이다.
[도 20] DSP(32)의 신호 처리로서 SLAM 처리가 행해지는 경우의 촬상 장치(2)의 처리의 타이밍의 제2 예를 설명하는 타이밍 차트이다.
[도 21] DSP(32)의 신호 처리로서 SLAM 처리가 행해지는 경우의 촬상 장치(2)의 처리의 타이밍의 제3 예를 설명하는 타이밍 차트이다.
[도 22] 촬상 장치(2)의 다른 구성예를 나타내는 블록도이다.
[도 23] 촬상 장치(2)를 사용하는 사용예를 나타내는 도면이다.
[도 24] 차량 제어 시스템의 개략적인 구성예를 나타내는 블록도이다.
[도 25] 촬상부의 설치 위치의 일례를 나타내는 설명도이다.

<본 기술을 적용한 디지털 카메라의 일 실시형태>

도 1은, 본 기술을 적용한 디지털 카메라의 일 실시형태의 구성예를 나타내는 블록도이다.

또한, 디지털 카메라는, 정지화상 및 동영상 모두 촬상할 수 있다.

도 1에 있어서, 디지털 카메라는, 광학계(1), 촬상 장치(2), 메모리(3), 신호 처리부(4), 출력부(5) 및 제어부(6)를 갖는다.

광학계(1)는, 예를 들면, 도시하지 않는 줌 렌즈나, 포커스 렌즈, 조리개 등을 갖고, 외부로부터의 광을 촬상 장치(2)로 입사시킨다.

촬상 장치(2)는, 예를 들면, 1칩으로 구성되는 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서이고, 광학계(1)로부터의 입사광을 수광하고, 광전 변환을 행하여, 광학계(1)로부터의 입사광에 대응하는 화상 데이터를 출력한다.

또한, 촬상 장치(2)는, 화상 데이터 등을 사용하여, 예를 들면, 소정의 인식 대상을 인식하는 인식 처리나, 그 밖의 신호 처리를 행하여, 그 신호 처리의 신호 처리 결과를 출력한다.

메모리(3)는, 촬상 장치(2)가 출력하는 화상 데이터 등을 일시 기억한다.

신호 처리부(4)는, 메모리(3)에 기억된 화상 데이터를 사용한 카메라 신호 처리로서의, 예를 들면, 노이즈 제거나, 화이트 밸런스의 조정 등의 처리를 필요에 따라 행하여, 출력부(5)에 공급한다.

출력부(5)는, 신호 처리부(4)로부터의 화상 데이터나 메모리(3)에 기억된 신호 처리 결과를 출력한다.

즉, 출력부(5)는, 예를 들면, 액정 등으로 구성되는 디스플레이(도시하지 않음)를 갖고, 신호 처리부(4)로부터의 화상 데이터에 대응하는 화상을, 이른바 스루 화상(through-the-lens image)으로 표시한다.

또한, 출력부(5)는, 예를 들면, 반도체 메모리나, 자기 디스크, 광 디스크 등의 기록 매체를 구동하는 드라이버(도시하지 않음)를 갖고, 신호 처리부(4)로부터의 화상 데이터나 메모리(3)에 기억된 신호 처리 결과를 기록 매체에 기록한다.

나아가, 출력부(5)는, 예를 들면, 외부의 장치와의 사이에서 데이터 전송을 행하는 I/F(Interface)로서 기능하여, 신호 처리부(4)로부터의 화상 데이터나, 기록 매체에 기록된 화상 데이터 등을 외부의 장치로 전송한다.

제어부(6)는, 유저의 조작 등에 따라, 디지털 카메라를 구성하는 각 블록을 제어한다.

이상과 같이 구성되는 디지털 카메라에서는, 촬상 장치(2)가 화상을 촬상한다. 즉, 촬상 장치(2)는, 광학계(1)로부터의 입사광을 수광하여 광전 변환을 행하여, 그 입사광에 따른 화상 데이터를 취득하여 출력한다.

촬상 장치(2)가 출력하는 화상 데이터는 메모리(3)에 공급되어 기억된다. 메모리(3)에 기억된 화상 데이터에 대해서는, 신호 처리부(4)에 의한 카메라 신호 처리가 이루어지고, 그 결과 얻어지는 화상 데이터는 출력부(5)에 공급되어 출력된다.

또한, 촬상 장치(2)는, 촬상에 의해 얻어진 화상(데이터) 등을 사용하여, 신호 처리를 행하고, 그 신호 처리의 신호 처리 결과를 출력한다. 촬상 장치(2)가 출력하는 신호 처리 결과는, 예를 들면, 메모리(3)에 기억된다.

촬상 장치(2)에서는, 촬상에 의해 얻어진 화상 그 자체의 출력 및 그 화상 등을 사용한 신호 처리의 신호 처리 결과의 출력이, 선택적으로 행해진다.

<촬상 장치(2)의 구성예>

도 2는, 도 1의 촬상 장치(2)의 구성예를 나타내는 블록도이다.

도 2에 있어서, 촬상 장치(2)는, 촬상 블록(20) 및 신호 처리 블록(30)을 갖는다. 촬상 블록(20)과 신호 처리 블록(30)은, 접속선(내부 버스)(CL1, CL2 및 CL3)에 의해 전기적으로 접속되어 있다.

촬상 블록(20)은, 촬상부(21), 촬상 처리부(22), 출력 제어부(23), 출력 I/F(Interface)(24) 및 촬상 제어부(25)를 구비하고, 화상을 촬상한다.

촬상부(21)는, 복수의 화소가 2차원으로 배열되어 구성된다. 촬상부(21)는, 촬상 처리부(22)에 의해 구동되어, 화상을 촬상한다.

즉, 촬상부(21)에는, 광학계(1)(도 1)로부터의 광이 입사한다. 촬상부(21)는, 각 화소에 있어서, 광학계(1)로부터의 입사광을 수광하고, 광전 변환을 행하여, 입사광에 대응하는 아날로그 화상 신호를 출력한다.

또한, 촬상부(21)가 출력하는 화상(신호)의 사이즈는, 예를 들면, 12M(3968Х2976) 픽셀이나, VGA(Video Graphics Array) 사이즈(640Х480 픽셀) 등의 복수의 사이즈 중에서 선택할 수 있다.

또한, 촬상부(21)가 출력하는 화상에 대해서는, 예를 들면, RGB(적, 녹, 청)의 컬러 화상으로 할 지, 또는, 휘도 만의 흑백 화상으로 할 지를 선택할 수 있다.

이들 선택은, 촬영 모드의 설정의 일종으로 행할 수 있다.

촬상 처리부(22)는, 촬상 제어부(25)의 제어에 따라, 촬상부(21)의 구동이나, 촬상부(21)가 출력하는 아날로그 화상 신호의 AD(Analog to Digital) 변환, 촬상 신호 처리 등의, 촬상부(21)에서의 화상의 촬상에 관련되는 촬상 처리를 행한다.

여기서, 촬상 신호 처리로서는, 예를 들면, 촬상부(21)가 출력하는 화상에 대해, 소정의 소 영역마다 화소값의 평균값을 연산하는 것 등으로 소 영역마다의 밝기를 구하는 처리나, 촬상부(21)가 출력하는 화상을 HDR(High Dynamic Range) 화상으로 변환하는 처리, 결함 보정, 현상 등이 있다.

촬상 처리부(22)는, 촬상부(21)가 출력하는 아날로그 화상 신호의 AD 변환 등에 의해 얻어지는 디지털 화상 신호(여기에서는, 예를 들면, 12M 픽셀 또는 VGA 사이즈의 화상)를, 촬상 화상으로서 출력한다.

촬상 처리부(22)가 출력하는 촬상 화상은, 출력 제어부(23)에 공급됨과 함께, 접속선(CL2)을 거쳐 신호 처리 블록(30)의 화상 압축부(35)로 공급된다.

출력 제어부(23)에는, 촬상 처리부(22)로부터 촬상 화상이 공급되는 것 이외에, 신호 처리 블록(30)으로부터 접속선(CL3)을 거쳐 촬상 화상 등을 이용한 신호 처리의 신호 처리 결과가 공급된다.

출력 제어부(23)는, 촬상 처리부(22)로부터의 촬상 화상 및 신호 처리 블록(30)으로부터의 신호 처리 결과를, (1개의) 출력 I/F(24)로부터 외부(예를 들면, 도1의 메모리(3) 등)로 선택적으로 출력시키는 출력 제어를 행한다.

즉, 출력 제어부(23)는, 촬상 처리부(22)로부터의 촬상 화상 또는 신호 처리 블록(30)으로부터의 신호 처리 결과를 선택하여, 출력 I/F(24)로 공급한다.

출력 I/F(24)는, 출력 제어부(23)로부터 공급되는 촬상 화상 및 신호 처리 결과를 외부에 출력하는 I/F이다. 출력 I/F(24)로서는, 예를 들면, MIPI(Mobile Industriy Processor Interface) 등의 비교적 고속의 패러랠 I/F 등을 채용할 수 있다.

출력 I/F(24)에서는, 출력 제어부(23)의 출력 제어에 따라서, 촬상 처리부(22)로부터의 촬상 화상 또는 신호 처리 블록(30)으로부터의 신호 처리 결과가 외부로 출력된다. 따라서, 예를 들면, 외부에서, 신호 처리 블록(30)으로부터의 신호 처리 결과만이 필요하고, 촬상 화상 그 자체가 필요하지 않은 경우에는, 신호 처리 결과만을 출력할 수 있어, 출력 I/F(24)로부터 외부로 출력되는 데이터 양을 삭감할 수 있다.

또한, 신호 처리 블록(30)에 있어서, 외부에서 필요로 하는 신호 처리 결과가 얻어지는 신호 처리를 행하여, 그 신호 처리 결과를 출력 I/F(24)로부터 출력함으로써, 외부에서 신호 처리를 행할 필요가 없게 되어, 외부 블록의 부하를 경감할 수 있다.

촬상 제어부(25)는, 통신 I/F(26) 및 레지스터 군(27)을 가진다.

통신 I/F(26)는, 예를 들면, I2C(Inter-Integrated Circuit) 등의 시리얼 통신 I/F 등의 제1 통신 I/F이며, 외부(예를 들면, 도 1의 제어부(6) 등)와의 사이에서, 레지스터(27) 군에 읽고 쓰기 하는 정보 등의 필요한 정보의 교환을 행한다.

레지스터 군(27)은, 복수의 레지스터를 갖고, 촬상부(21)에서의 화상의 촬상에 관련되는 촬상 정보와, 그 밖의 각종 정보를 기억한다.

예를 들면, 레지스터 군(27)은, 통신 I/F(26)에 있어서 외부로부터 수신된 촬상 정보나, 촬상 처리부(22)에서의 촬상 신호 처리의 결과(예를 들면, 촬상 화상의 소 영역마다의 밝기 등)를 기억한다.

레지스터 군(27)에 기억되는 촬상 정보로는, 예를 들면, ISO 감도(촬상 처리부(22)에서의 AD 변환 시의 아날로그 게인)나, 노광 시간(셔터 스피드), 프레임 레이트, 포커스, 촬영 모드, 잘라내기 범위 등(를 나타내는 정보)이 있다.

촬영 모드에는, 예를 들면, 노광 시간이나 프레임 레이트 등이 수동으로 설정되는 수동 모드와, 장면(scene)에 따라 자동적으로 설정되는 자동 모드가 있다. 자동 모드에는, 예를 들면, 야경이나, 사람의 얼굴 등의 각종의 촬영 장면에 따른 모드가 있다.

또한, 잘라내기 범위란, 촬상 처리부(22)에 있어서, 촬상부(21)가 출력하는 화상의 일부를 잘라 내어, 촬상 화상으로서 출력하는 경우, 촬상부(21)가 출력하는 화상에서부터 잘라내는 범위를 나타낸다. 잘라내기 범위의 지정에 의해, 예를 들면, 촬상부(21)가 출력하는 화상에서부터, 사람이 찍혀 있는 범위만을 잘라내기 하는 것 등이 가능하게 된다. 또한, 화상의 잘라내기로서는, 촬상부(21)가 출력하는 화상에서 잘라내는 방법 이외에, 촬상부(21)로부터 잘라내기 범위의 화상(신호)만을 읽어내는 방법이 있다.

촬상 제어부(25)는, 레지스터 군(27)에 기억된 촬상 정보에 따라, 촬상 처리부(22)를 제어하고, 이에 의해 촬상부(21)에서의 화상의 촬상을 제어한다.

또한, 레지스터 군(27)은, 촬상 정보나, 촬상 처리부(22)에서의 촬상 신호 처리의 결과 외에, 출력 제어부(23)에서의 출력 제어에 관한 출력 제어 정보를 기억할 수 있다. 출력 제어부(23)는, 레지스터 군(27)에 기억된 출력 제어 정보에 따라, 촬상 화상 및 신호 처리 결과를 선택적으로 출력시키는 출력 제어를 행할 수 있다.

또한, 촬상 장치(2)에서는, 촬상 제어부(25)와 신호 처리 블록(30)의 CPU(31)는, 접속선(CL1)을 거쳐 접속되어 있고, CPU(31)는, 접속선(CL1)을 거쳐 레지스터 군(27)에 대해 정보의 읽고 쓰기를 행할 수 있다.

즉, 촬상 장치(2)에서는, 레지스터 군(27)에 대한 정보의 읽고 쓰기는, 통신 I/F(26)로부터 행하는 것 이외에, CPU(31)로부터도 행할 수 있다.

신호 처리 블록(30)은, CPU(Central Processing Unit)(31), DSP(Digital Signal Processor)(32), 메모리(33), 통신 I/F(34), 화상 압축부(35) 및 입력 I/F(36)를 갖고, 촬상 블록(10)에서 얻어진 촬상 화상 등을 이용하여, 소정의 신호 처리를 행한다.

신호 처리 블록(30)을 구성하는 CPU(31) 내지 입력 I/F(36)는, 서로 버스를 거쳐 접속되고, 필요에 따라, 정보의 교환을 행할 수 있다.

CPU(31)는, 메모리(33)에 기억된 프로그램을 실행함으로써, 신호 처리 블록(30)의 제어, 접속선(CL1)을 거친 촬상 제어부(25)의 레지스터 군(27)으로의 정보의 읽고 쓰기나, 그 밖의 각종 처리를 행한다.

예를 들면, CPU(31)는, 프로그램을 실행함으로써, DSP(32)에서의 신호 처리에 의해 얻어지는 신호 처리 결과를 이용하여 촬상 정보를 산출하는 촬상 정보 산출부로서 기능하고, 신호 처리 결과를 이용하여 산출한 새로운 촬상 정보를 접속선(CL1)을 거쳐 촬상 제어부(25)의 레지스터 군(27)에 피드백하여 기억시킨다.

따라서, CPU(31)는, 결과적으로, 촬상 화상의 신호 처리 결과에 따라, 촬상부(21)에서의 촬상이나, 촬상 처리부(22)에서의 촬상 신호 처리를 제어할 수 있다.

또한, CPU(31)가 레지스터 군(27)에 기억시킨 촬상 정보는, 통신 I/F(26)로부터 외부로 제공(출력)될 수 있다. 예를 들면, 레지스터 군(27)에 기억된 촬상 정보 중 포커스 정보는, 통신 I/F(26)로부터 포커스를 제어하는 포커스 드라이버(도시하지 않음)에 제공될 수 있다.

DSP(32)는, 메모리(33)에 기억된 프로그램을 실행함으로써, 촬상 처리부(22)로부터, 접속선(CL2)을 거쳐, 신호 처리 블록(30)에 공급되는 촬상 화상이나, 입력 I/F(36)가 외부로부터 수취하는 정보를 이용한 신호 처리를 행하는 신호 처리부로서 기능한다.

메모리(33)는, SRAM(Static Random Access Memory)이나 DRAM(Dynamic RAM) 등으로 구성되어, 신호 처리 블록(30)의 처리상 필요한 데이터 등을 기억한다.

예를 들면, 메모리(33)는, 통신 I/F(34)에 있어서, 외부에서 수신된 프로그램이나, 화상 압축부(35)에서 압축되어, DSP(32)에서의 신호 처리에 이용되는 촬상 화상, DSP(32)에서 행해진 신호 처리의 신호 처리 결과, 입력 I/F(36)가 수취하는 정보 등을 기억한다.

통신 I/F(34)는, 예를 들면, SPI(Serial Peripheral Interface) 등의 시리얼 통신 I/F 등의 제2 통신 I/F이며, 외부(예를 들면, 도 1의 메모리(3)이나 제어부(6) 등)와의 사이에서, CPU(31)나 DSP(32)가 실행하는 프로그램 등의 필요한 정보의 교환을 행한다.

예를 들면, 통신 I/F(34)는, CPU(31)나 DSP(32)가 실행하는 프로그램을 외부에서 다운로드하여, 메모리(33)에 공급하여 기억시킨다.

따라서, 통신 I/F(34)가 다운로드하는 프로그램에 의해, CPU(31)나 DSP(32)에서 다양한 처리를 실행할 수 있다.

또한, 통신 I/F(34)는, 외부와의 사이에서, 프로그램 외에, 임의의 데이터의 교환을 행할 수 있다. 예를 들면, 통신 I/F(34)는, DSP(32)에서의 신호 처리에 의해 얻어지는 신호 처리 결과를, 외부로 출력할 수 있다. 또한, 통신 I/F(34)는, CPU(31)의 지시에 따른 정보를, 외부의 장치에 출력하고, 이에 의해, CPU(31)의 지시에 따라 외부의 장치를 제어할 수 있다.

여기서, DSP(32)에서의 신호 처리에 의해 얻어지는 신호 처리 결과는, 통신 I/F(34)로부터 외부로 출력하는 것 이외에, CPU(31)에 의해, 촬상 제어부(25)의 레지스터 군(27)에 기입할 수 있다. 레지스터군(27)에 기입된 신호 처리 결과는, 통신 I/F(26)로부터 외부로 출력할 수 있다. CPU(31)에서 행해진 처리의 처리 결과에 대해서도 마찬가지이다.

화상 압축부(35)에는, 촬상 처리부(22)로부터 접속선(CL2)을 거쳐 촬상 화상이 공급된다. 화상 압축부(35)는, 촬상 화상을 압축하는 압축 처리를 행하여, 그 촬상 화상보다 데이터 양이 적은 압축 화상을 생성한다.

화상 압축부(35)에서 생성된 압축 화상은, 버스를 거쳐, 메모리(33)에 공급되어 기억된다.

여기서, DSP(32)에서의 신호 처리는, 촬상 화상 그 자체를 사용하여 행하는 것 이외에, 화상 압축부(35)에서 촬상 화상으로부터 생성된 압축 화상을 사용하여 행할 수 있다. 압축 화상은, 촬상 화상보다 데이터량이 적기 때문에, DSP(32)에서의 신호 처리의 부하의 경감이나, 압축 화상을 기억하는 메모리(33)의 기억 용량의 절약을 꾀할 수 있다.

화상 압축부(35)에서의 압축 처리로는, 예를 들면, 12M(3968Х2976) 픽셀의 촬상 화상을 VGA 사이즈의 화상으로 변환하는 스케일 다운을 행할 수 있다. 또한, DSP(32)에서의 신호 처리가 휘도를 대상으로 하여 행해지고, 촬상 화상이 RGB 화상인 경우에는, 압축 처리로서는, RGB 화상을 예를 들면 YUV 화상으로 변환하는 YUV 변환을 행할 수 있다.

또한, 화상 압축부(35)는, 소프트웨어에 의해 실현될 수도 있고, 전용 하드웨어에 의해 실현될 수도 있다.

입력 I/F(36)는, 외부로부터 정보를 수취하는 I/F이다. 입력 I/F(36)는, 예를 들면, 외부의 센서로부터, 그 외부의 센서의 출력(외부 센서 출력)을 수취하여 버스를 거쳐 메모리(33)에 공급하여 기억시킨다.

입력 I/F(36)로서는, 예를 들면, 출력 IF(24)와 마찬가지로, MIPI(Mobile Industriy Processor Interface) 등의 패러랠 I/F 등을 채용할 수 있다.

또한, 외부의 센서로서는, 예를 들면, 거리에 관한 정보를 센싱하는 거리 센서를 채용할 수 있다. 또한, 외부의 센서로는, 예를 들면, 광을 센싱하여, 그 광에 대응하는 화상을 출력하는 이미지 센서, 즉, 촬상 장치(2)와는 다른 이미지 센서를 채용할 수 있다.

DSP(32)에서는, 촬상 화상(으로부터 생성된 압축 화상)을 사용하는 것 이외에, 입력 I/F(36)가 전술한 바와 같은 외부의 센서로부터 수취하여 메모리(33)에 기억되는 외부 센서 출력을 사용하여, 신호 처리를 행할 수 있다.

이상과 같이 구성되는 1칩의 촬상 장치(2)에서는, 촬상부(21)에서 촬상에 의해 얻어지는 촬상 화상(으로부터 생성되는 압축 화상)을 사용한 신호 처리가 DSP(32)에서 행해지고, 그 신호 처리의 신호 처리 결과 및 촬상 화상이, 출력 I/F(24)로부터 선택적으로 출력된다. 따라서, 유저가 필요로 하는 정보를 출력하는 촬상 장치를 소형으로 구성할 수 있다.

여기서, 촬상 장치(2)에 있어서, DSP(32)의 신호 처리를 행하지 않고, 따라서, 촬상 장치(2)로부터, 신호 처리 결과를 출력하지 않고, 촬상 화상을 출력하는 경우, 즉, 촬상 장치(2)를 단지 화상을 촬상하여 출력만 하는 이미지 센서로서 구성하는 경우, 촬상 장치(2)는, 출력 제어부(23)를 설치하지 않는 촬상 블록(20)만으로 구성할 수 있다.

도 3은, 도 1의 촬상 장치(2)의 외관 구성예의 개요를 나타내는 사시도이다.

촬상 장치(2)는, 예를 들면, 도 3에 도시한 바와 같이, 복수의 다이가 적층된 적층 구조를 갖는 1칩의 반도체 장치로 구성할 수 있다.

도 3에서, 촬상 장치(2)는, 다이(51 및 52)의 2매의 다이가 적층되어 구성된다.

도 3에 있어서, 상측의 다이(51)에는 촬상부(21)가 탑재되고, 하측의 다이(52)에는 촬상 처리부(22) 내지 촬상 제어부(25) 및 CPU(31) 내지 입력 I/F(36)가 탑재되어 있다.

상측의 다이(51)와 하측의 다이(52)는, 예를 들면, 다이(51)을 관통하여 다이(52)까지 도달하는 관통공을 형성함으로써, 또는, 다이(51)의 하면 측에 노출한 Cu 배선과 다이(52)의 상면 측에 노출한 Cu 배선을 직접 접속하는 Cu-Cu접합을 행함으로써, 전기적으로 접속된다.

여기서, 촬상 처리부(22)에 있어서, 촬상부(21)가 출력하는 화상 신호의 AD 변환을 행하는 방식으로는, 예를 들면, 열병렬 AD 방식이나 에리어 AD 방식을 채용할 수 있다.

열병렬 AD 방식에서는, 예를 들면, 촬상부(21)를 구성하는 화소의 열에 대해 ADC(AD 변환기; AD Converter)가 설치되고, 각 열의 ADC가 그 열의 화소의 화소 신호의 AD 변환을 담당함으로써 1행의 각 열의 화소의 화상 신호의 AD 변환이 병렬로 행해진다. 열병렬 AD 방식을 채용하는 경우에는, 그 열병렬 AD 방식의 AD 변환을 행하는 촬상 처리부(22)의 일부가, 상측의 다이(51)에 탑재될 수 있다.

에리어 AD 방식에서는, 촬상부(21)를 구성하는 화소가 복수의 블록으로 구분되고, 각 블록에 대해 ADC가 설치된다. 그리고, 각 블록의 ADC가 그 블록의 화소의 화소 신호의 AD 변환을 담당함으로써, 복수의 블록의 화소의 화상 신호의 AD 변환이 병렬로 행해진다. 에리어 AD 방식에서는, 블록을 최소 단위로 하여, 촬상부(21)를 구성하는 화소 중 필요한 화소에 대해서만 화상 신호의 AD 변환(읽기 및 AD 변환)을 행할 수 있다.

또한, 촬상 장치(2)의 면적이 크게 되는 것이 허용된다면, 촬상 장치(2)는, 1매의 다이로 구성할 수 있다.

또한, 도 3에서는, 2매의 다이(51 및 52)를 적층하여 1칩의 촬상 장치(2)를 구성하는 것으로 하였지만, 1칩의 촬상 장치(2)는 3매 이상의 다이를 적층하여 구성할 수 있다. 예를 들면, 3매의 다이를 적층하여 1칩의 촬상 장치(2)를 구성하는 경우에는, 도 3의 메모리(33)를 다른 다이에 탑재할 수 있다.

여기서, 전술한 특허문헌 1에 기재된 바와 같이, 센서 칩, 메모리 칩, 및, DSP 칩의 칩끼리를 복수의 범프로 병렬로 접속한 촬상 장치(이하, 범프 접속 촬상 장치라고도 한다)에서는, 적층 구조로 구성된 1칩의 촬상 장치(2)와 비교하여, 두께가 크게 증가하여, 장치가 대형화된다.

나아가, 범프 접속 촬상 장치에서는, 범프의 접속 부분에서의 신호 열화 등에 의해, 촬상 처리부(22)로부터 출력 제어부(23)로 촬상 화상을 출력하는 레이트로서 충분한 레이트를 확보하는 것이 곤란하게 될 수 있다.

적층 구조의 촬상 장치(2)에 의하면, 이상과 같은 장치의 대형화나, 촬상 처리부(22)와 출력 제어부(23)와의 사이에서의 레이트로서 충분한 레이트를 확보할 수 없게 되는 것을 방지할 수 있다.

따라서, 적층 구조의 촬상 장치(2)에 의하면, 유저가 필요로 하는 정보를 출력하는 촬상 장치를 소형으로 구성하는 것을 실현할 수 있다.

유저가 필요로 하는 정보가 촬상 화상인 경우에는, 촬상 장치(2)는 촬상 화상을 출력할 수 있다.

또한, 유저가 필요로 하는 정보가 촬상 화상을 사용한 신호 처리에 의해 얻어지는 경우에는, 촬상 장치(2)는, DSP(32)에서, 그 신호 처리를 행함으로써, 유저가 필요로 하는 정보로서의 신호 처리 결과를 얻어 출력할 수 있다.

촬상 장치(2)에서 행해지는 신호 처리, 즉, DSP(32)의 신호 처리로서는, 예를 들면, 촬상 화상으로부터, 소정의 인식 대상을 인식하는 인식 처리를 채용할 수 있다.

또한, 예를 들면, 촬상 장치(2)는, 그 촬상 장치(2)와 소정의 위치 관계가 되도록 배치된 ToF(Time of Flight) 센서 등의 거리 센서의 출력을, 입력 I/F(36)로부터 수취할 수 있다. 이 경우, DSP(32)의 신호 처리로서는, 예를 들면, 입력 I/F(36)에서 수취한 거리 센서의 출력으로부터 얻어지는 거리 화상의 노이즈를 촬상 화상을 이용하여 제거하는 처리와 같이, 거리 센서의 출력과 촬상 화상을 통합하여, 정밀도가 좋은 거리를 구하는 퓨전 처리를 채용할 수 있다.

또한, 예를 들면, 촬상 장치(2)는, 그 촬상 장치(2)와 소정의 위치 관계가 되도록 배치된 이미지 센서가 출력하는 화상을, 입력 I/F(36)로 수취할 수 있다. 이 경우, DSP(32)의 신호 처리로서는, 예를 들면, 입력 I/F(36)로 수취한 화상과 촬상 화상을 스테레오 화상으로서 이용한 자기 위치 추정 처리(SLAM(Simultaneously Localization and Mapping))를 채용할 수 있다.

이하, DSP(32)의 신호 처리로서, 인식 처리, 퓨전 처리 및 자기 위치 추정 처리(이하, SLAM 처리라고도 한다)의 각각을 행하는 경우를 예로, 촬상 장치(2)의 처리에 대해 설명한다.

또한, 이하 설명하는 촬상 장치(2)의 처리의 순서는, 가능한 범위에서 바꿔 넣을 수 있다. 즉, 촬상 장치(2)의 처리의 순서는, 이하 설명하는 순서로 한정되는 것은 아니다.

<DSP(32)의 신호 처리로서 인식 처리가 행해지는 경우의 촬상 장치(2)의 처리의 예>

도 4, 도 5 및 도 6은, DSP(32)의 신호 처리로서 인식 처리가 행해지는 경우에, 촬상 장치(2)의 처리의 예의 개요를 설명하는 도면이다.

도 4의 스텝(S11)에서, 통신 I/F(34)는, DSP(32)의 신호 처리로서, 인식 처리를 행함에 있어, CPU(31) 및 DSP(32)에 실행시키는 프로그램(코드)을, 외부로부터 다운로드하여, 메모리(33)에 기억시킨다. 여기에서는, DSP(32)에 실행시키는 프로그램은, 신호 처리로서, 인식 처리를 행하는 인식 처리 프로그램이다.

CPU(31)는, 메모리(33)에 기억된 프로그램을 실행함으로써, 소정의 처리를 개시한다.

즉, 스텝(S12)에서, CPU(31)는, 레지스터 군(27)으로부터, 접속선(CL1)을 거쳐, 촬상 화상의 소 영역마다의 밝기(의 정보)와, 그 밖의 필요한 정보를 읽어낸다.

스텝(S13)에서, CPU(31)는, 화상 압축부(35)의 압축 처리로, 촬상 화상의 스케일 다운을 행하는 정도를 나타내는 축소율을 결정하는 등의, 압축 처리에 관한 제어를 행한다.

스텝(S14)에서는, 촬상부(21)가 화상의 촬상을 개시함과 함께, 촬상 처리부(22)가 촬상부(21)로부터의 화상을 촬상 화상으로서 출력하는 것을 개시한다. 이에 의해, 촬상 화상의, 촬상 처리부(22)로부터 출력 제어부(23)로의 공급 및 촬상 처리부(22)로부터 접속선(CL2)을 거쳐 화상 압축부(35)로의 공급이 개시된다.

촬상 처리부(22)로부터 출력 제어부(23)로 공급된 촬상 화상은, 출력 제어부(23)에서 필요에 따라 선택되어, 출력 I/F(24)로부터 외부로 출력된다.

스텝(S15)에서, 화상 압축부(35)는, 촬상 처리부(22)로부터 접속선(CL2)을 거쳐 공급되는 촬상 화상의 압축 처리를 개시한다.

여기서, 이하에서는, 화상 처리부(22)가 출력하는 화상 이외에, 촬상부(21)가 출력하는 화상도 촬상 화상이라고 한다.

도 2에서 설명한 바와 같이, 촬상부(21)는, 예를 들면, 12M 픽셀이나 VGA 사이즈의 촬상 화상을 출력할 수 있다. 또한, 촬상부(21)는, 예를 들면, RGB(적, 녹, 청)의 컬러 화상이나 흑백 화상을, 촬상 화상으로서 출력할 수 있다.

촬상 화상이, 12M 픽셀의 풀 사이즈의 화상인 경우, 화상 압축부(35)는, 예를 들면, 12M픽셀의 촬상 화상을 VGA 사이즈 등의 촬상 화상으로 스케일 다운하는 처리를 압축 처리로서 행한다.

단, 촬상 화상이 스케일 다운 후의 사이즈, 즉, 여기에서는, VGA 사이즈의 화상으로 되어 있는 경우, 화상 압축부(35)는 스케일 다운하는 처리를 행하지 않는다.

또한, 촬상 화상이 RGB의 컬러 화상인 경우, 화상 압축부(35)는, 예를 들면, 컬러 촬상 화상을 흑백 촬상 화상으로 변환하기 위해, YUV 변환을 압축 처리로서 행한다.

단, 촬상 화상이 흑백 화상인 경우, 화상 압축부(35)는 YUV 변환을 행하지 않는다.

따라서, 예를 들면, 촬상 화상이 12M 픽셀의 컬러 화상인 경우, 화상 압축부(35)는, 촬상 화상의 스케일 다운 및 YUV 변환을 압축 처리로서 행한다.

또한, 예를 들면, 촬상 화상이 VGA 사이즈의 컬러 화상인 경우, 화상 압축부(35)는, 촬상 화상의 YUV 변환을 압축 처리로서 행한다.

화상 압축부(35)는, 압축 처리의 결과 얻어지는 VGA 사이즈의 흑백의 촬상 화상을, 압축 화상으로서, 메모리(33)에 기억시킨다.

또한, 촬상 장치(2)는, 화상 압축부(35)를 설치하지 않고 구성할 수 있다. 단, 화상 압축부(35)를 설치하지 않고 촬상 장치(2)를 구성하는 경우에는, DSP(32)의 부하나 메모리(33)에 요구되는 기억용량이 커지게 된다.

도 5의 스텝(S21)에서, DSP(32)는, 스텝(S11)에서 메모리(33)에 기억된 인식 처리 프로그램을 읽어 들여 실행함으로써, 그 인식 처리 프로그램에 대응하는 신호 처리로서의 인식 처리를 개시한다.

즉, DSP(32)는, 메모리(33)에 기억된 압축 화상의 각 영역을, 인식 처리의 처리 대상으로 하여, 순차로, 메모리(33)에서 읽어내어, 그 처리 대상으로부터 소정의 인식 대상(예를 들면, 사람의 얼굴 등)을 인식하는 인식 처리를, 압축 화상(나아가 촬상 화상)을 이용한 신호 처리로서 행한다.

인식 처리는, 예를 들면, CNN(Convolutional Neural Network) 등의 딥러닝 등의 수법을 이용하여 행할 수 있다. 또한, 인식 처리에서는, 사람의 얼굴 등의 특정의 피사체를 인식 대상으로 하여, 그 특정의 피사체를 검출하는 것 이외에, 화상에 찍히는 장면(scene)을 인식 대상으로 하여 그 화상에 찍힌 장면을 검출할 수 있다.

스텝(S22)에서, DSP(32)는, 인식 처리의 결과를, 신호 처리 결과로서, 메모리(33)에 공급하여 기억시킨다. 인식 처리의 결과(이하, 인식 결과라고도 한다)에는, 예를 들면, 인식 대상의 검출의 유무나, 인식 대상이 검출된 검출 위치 등의 정보가 포함된다.

또한, 인식 처리에서는, 압축 화상(촬상 화상)의 휘도가 인식 정밀도에 영향을 주는 것을 억제하기 위해, 압축 화상의 평균적인 밝기를 미리 결정된 고정값으로 하는 등의 압축 화상의 계조 변환을 행할 수 있다. 이러한 계조 변환은, 도 4의 스텝(S12)에 있어서, CPU(31)가 레지스터 군(27)으로부터 읽어낸, 촬상 화상의 소 영역마다의 밝기를 이용하여 행할 수 있다.

도 6의 스텝(S31)에서, CPU(31)는, 메모리(33)에 기억된 신호 처리 결과로서의 인식 결과를 읽어내어, 그 인식 결과를 이용하여, 촬상 화상의 촬상에 적절한 노광 시간 등의 촬상 정보를 산출하는 연산을 행한다.

예를 들면, 인식 결과가, 인식 대상으로서의 얼굴이 검출된 검출 위치를 포함하는 경우, CPU(31)는, 압축 화상(촬상 화상) 상의, 얼굴의 검출 위치의 휘도 등에 따라서, 검출 위치에 찍히는 얼굴의 촬영에 적절한 노광 시간을 산출한다. 또한, 예를 들면, CPU(31)는, 얼굴의 검출 위치에 포커스를 맞추도록 오토 포커스를 제어하는 촬상 정보를 산출한다.

그 밖에, CPU(31)는, 인식 결과를 이용하여, 촬상 화상의 촬상에 적절한 프레임 레이트나, 촬영 모드, 잘라내기 범위 등의 촬상 정보를, 필요에 따라 산출한다.

스텝(S32)에서, CPU(31)는, 스텝(S31)에서 산출한 촬상 정보를, 접속선(CL1)을 거쳐, 레지스터 군(27)에 피드백한다. 레지스터 군(27)은, CPU(31)로부터 피드백된 촬상 정보를 새롭게 기억하고, 그 이후는, 촬상 제어부(25)는, 레지스터 군(27)에 새롭게 기억된 촬상 정보에 따라 촬상 처리부(22)를 제어한다.

스텝(S33)에서, CPU(31)는, 메모리(33)에 기억된 신호 처리 결과로서의 인식 결과를 읽어내어, 출력 제어부(23)에 공급한다.

메모리(33)로부터 출력 제어부(23)로 공급된 신호 처리 결과로서의 인식 결과는, 출력 제어부(23)에서 필요에 따라 선택되어, 출력 I/F(24)로부터 외부로 출력된다.

도 7은, DSP(32)의 신호 처리로서 인식 처리가 행해지는 경우, 촬상 장치(2)의 처리의 타이밍의 제1 예를 설명하는 타이밍 차트이다.

예를 들면, 촬상부(21)는, 1/30초를 프레임 주기 T1로 하여, 그 프레임 주기 T1의 전반의 1/60초 동안에 1 프레임의 촬상을 행한다. 촬상부(21)의 촬상에 의해 얻어지는 촬상 화상은, 촬상 처리부(22)로부터, 출력 제어부(23) 및 화상 압축부(35)로 공급된다.

또한, 도 7에서, 촬상 화상은, 12M 픽셀의 컬러 화상인 것으로 한다.

출력 제어부(23)에서는, 촬상 처리부(22)로부터 촬상 화상이 공급되면, 그 촬상 화상이 선택되어, 출력 I/F(24)로부터 외부로 출력된다.

화상 압축부(35)에서는, 12M 픽셀의 컬러 촬상 화상의 압축 처리로서, 스케일 다운과 YUV 변환을 행하고, 12M 픽셀의 컬러 촬상 화상이 VGA 사이즈의 흑백 압축 화상으로 변환된다. 이 압축 화상은, 메모리(33)에 기억된다.

이제, 어느 프레임 주기 T1에 주목하여, 그 프레임 주기 T1를 주목 프레임 주기 T1라고 한다.

도 7에서는, 주목 프레임 주기 T1의 (전반의 1/60초에서 촬상된) 촬상 화상의 압축 처리가 주목 프레임 주기 T1의 전반에서 종료되고, 그 이후의, 주목 프레임 주기 T1의 후반의 1/60초가 개시하는 타이밍에서, DSP(32)가 메모리(33)에 기억된 압축 화상, 즉, 주목 프레임 주기 T1의 촬상 화상으로부터 얻어진 압축 화상을 이용한 인식 처리를 개시하고 있다.

DSP(32)는, 주목 프레임 주기 T1가 종료되는 조금 전의 타이밍에서, 주목 프레임 주기 T1의 촬상 화상으로부터 얻어진 압축 화상을 이용한 인식 처리를 종료하고, 그 인식 처리의 인식 결과를, 신호 처리 결과로서, 출력 제어부(23)에 공급한다.

출력 제어부(23)는, 신호 처리 결과로서의 인식 결과가 공급되면, 그 신호 처리 결과를 선택하여, 출력 I/F(24)로부터 외부로 출력한다.

도 7에서, 주목 프레임 주기 T1에 대한 신호 처리 결과, 즉, 주목 프레임 주기 T1의 촬상 화상으로부터 얻어진 압축 화상을 이용한 인식 처리의 신호 처리 결과(인식 결과)는, 주목 프레임 주기 T1의 종료 직전부터 주목 프레임 주기 T1가 종료될 때까지의 기간에, 출력 I/F(24)에서 출력되고 있다.

도 8은, DSP(32)의 신호 처리로서 인식 처리가 행해지는 경우, 촬상 장치(2)의 처리의 타이밍의 제2 예를 설명하는 타이밍 차트이다.

도 8에서는, 도 7과 마찬가지로, 촬상부(21)는 1/30초를 프레임 주기 T1로 하여 그 프레임 주기 T1의 전반의 1/60초 동안에 1 프레임의 촬상을 행하여, 12M 픽셀의 컬러의 촬상 화상을 취득한다. 촬상부(21)가 취득한 촬상 화상은, 촬상 처리부(22)로부터, 출력 제어부(23) 및 화상 압축부(35)에 공급된다.

출력 제어부(23)에서는, 도 7과 마찬가지로, 촬상 처리부(22)로부터의 촬상 화상의 공급에 따라, 그 촬상 화상이 선택되어, 출력 I/F(24)에서 외부로 출력된다.

화상 압축부(35)에서는, 도 7과 마찬가지로, 12M 픽셀의 컬러 촬상 화상의 압축 처리로서의 스케일 다운과 YUV 변환을 행하여, 12M 픽셀의 컬러 촬상 화상이 VGA 사이즈의 흑백 압축 화상으로 변환된다. 이 압축 화상은, 메모리(33)에 기억된다.

도 8에서는, 도 7과 마찬가지로, 주목 프레임 주기 T1의 촬상 화상의 압축 처리가, 주목 프레임 주기 T1의 전반에서 종료된다.

단, 도 8에서는, 압축 처리의 개시 후, 그 압축 처리의 종료를 기다리지 않고, 압축 처리에 의해 생성되는 압축 화상의 일부가 인식 처리에 이용할 수 있게 된 타이밍에서, DSP(32)가 주목 프레임 주기 T1의 촬상 화상으로부터 얻어진 압축 화상(의 일부)을 이용한 인식 처리를 개시한다.

따라서, 도 8에서는, 압축 처리와 인식 처리가, 일부의 기간에서 병렬로 행해지고 있다.

DSP(32)는, 주목 프레임 주기 T1가 종료되기 조금 전의 타이밍에서, 주목 프레임 주기 T1의 촬상 화상으로부터 얻어진 압축 화상을 이용한 인식 처리를 종료하고, 그 인식 처리의 인식 결과를, 신호 처리 결과로서, 출력 제어부(23)에 공급한다.

출력 제어부(23)는, 신호 처리 결과로서의 인식 결과의 공급에 따라, 그 신호 처리 결과를 선택하고, 출력 I/F(24)에서 외부로 출력한다.

도 8에서는, 도 7과 같이, 주목 프레임 주기 T1에 대한 신호 처리 결과로서의, 주목 프레임 주기 T1의 촬상 화상으로부터 얻어진 압축 화상을 이용한 인식 결과가, 주목 프레임 주기 T1의 종료 직전부터 주목 프레임 주기 T1가 종료될 때까지의 기간에, 출력 I/F(24)에서 출력되고 있다.

전술한 바와 같이, 도 8에서는, 인식 처리가, 압축 처리의 종료를 기다리지 않고 개시되므로, 압축 처리의 종료를 기다려 인식 처리를 개시하는 도 7의 경우와 비교하여, 인식 처리를 행하는 시간을 보다 확보할 수 있다.

도 9는, DSP(32)의 신호 처리로서 인식 처리가 행해지는 경우, 촬상 장치(2)의 처리의 타이밍의 제3 예를 설명하는 타이밍 차트이다.

도 9에서는, 도 7과 같이, 촬상부(21)는, 1/30초를 프레임 주기 T1로 하여, 1 프레임의 촬상을 행한다. 단, 도 9에서는, 촬상부(21)는, 12M 픽셀의 컬러 촬상 화상이 아니라, VGA 사이즈의 컬러 촬상 화상을 촬상한다. 이 때문에, 도 9에서는, 프레임 주기 T1의 개시부터 극히 단시간에 1 프레임의 촬상이 종료되고 있다. 촬상부(21)가 촬상한 VGA 사이즈의 촬상 화상은, 촬상 처리부(22)로부터, 출력 제어부(23) 및 화상 압축부(35)로 공급된다.

여기서, 도 9에서는, 외부에서 촬상 화상이 사용되지 않도록 되어 있고, 그 때문에, 출력 제어부(23)는, 촬상 처리부(22)로부터 촬상 화상이 공급되더라도, 촬상 화상을 선택하지 않고, 출력 I/F(24)에서 외부로 출력하지 않는다.

화상 압축부(35)는, 촬상 화상의 압축 처리를 행하여, 그 결과 얻어지는 압축 화상을, 메모리(33)에 기억시킨다.

여기서, 도 9에서는, 촬상 화상이 VGA 사이즈의 컬러 화상이기 때문에, 압축 처리로서는, YUV 변환은 행해지지만, 스케일 다운은 행해지지 않는다. 그 때문에, 도 9의 압축 처리는, 도 7이나 도 8의 경우와 비교하여, 단시간에 종료한다.

또한, 도 9에서는, 도 8과 마찬가지로, 압축 처리의 개시 후, 그 압축 처리의 종료를 기다리지 않고, 압축 처리에 의해 생성되는 압축 화상의 일부가 인식 처리에 이용할 수 있게 된 타이밍에서, DSP(32)가 주목 프레임 주기 T1의 촬상 화상으로부터 얻어진 압축 화상(의 일부)을 이용한 인식 처리를 개시하고 있다.

따라서, 도 9에서는, 도 8과 마찬가지로, 압축 처리와 인식 처리가, 일부의 기간에서 병렬로 행해지고 있다.

도 9에서는, 도 7이나 도 8과 마찬가지로, 주목 프레임 주기 T1에 대한 신호 처리 결과로서의, 주목 프레임 주기 T1의 촬상 화상으로부터 얻어진 압축 화상을 이용한 인식 결과는, 주목 프레임 주기 T1의 종료 직전부터 주목 프레임 주기 T1가 종료할 때까지의 기간에, 출력 I/F(24)에서 출력되고 있다.

도 9에서는, 도 8과 마찬가지로, 인식 처리가, 압축 처리의 종료를 기다리지 않고 개시되므로, 압축 처리의 종료를 기다려 인식 처리를 개시하는 도 7의 경우와 비교하여, 인식 처리를 행하는 시간을 보다 확보할 수 있다.

나아가, 도 9에서는, 촬상부(21)가 출력하는 촬상 화상이 VGA 사이즈의 화상이기 때문에, 압축 처리에 있어서, 스케일 다운을 행하지 않고 끝나, 압축 처리의 부하를 경감할 수 있다.

이상과 같이, 촬상부(21)가 출력하는 촬상 화상을, VGA 사이즈의 화상으로서 출력 I/F(24)에서 출력하지 않는 형태는, 예를 들면, 외부에서, 촬상 화상 그 자체가 필요하지 않고, 신호 처리 결과(여기에서는, 인식 처리의 인식 결과)가 필요한 경우에 유용하다.

도 10은, DSP(32)의 신호 처리로서 인식 처리가 행해지는 경우, 촬상 장치(2)의 처리의 타이밍의 제4 예를 설명하는 타이밍 차트이다.

도 10에서는, 도 9와 마찬가지로, 촬상부(21)는 1/30초를 프레임 주기 T1로 하여 VGA 사이즈의 컬러 촬상 화상을 촬상한다. 촬상부(21)가 촬상한 촬상 화상은, 촬상 처리부(22)로부터, 출력 제어부(23) 및 화상 압축부(35)에 공급된다.

여기서, 도 10에서는, 도 9와 마찬가지로, 외부에서 촬상 화상이 사용되지 않도록 되어 있고, 그 때문에, 출력 제어부(23)는, 촬상 화상을 출력 I/F(24)로부터 외부로 출력하지 않는다(선택하지 않는다).

여기서, 도 10에서는, 도 9와 같이, 압축 처리로서는, YUV 변환은 행해지지만, 스케일 다운은 행해지지 않기 때문에, 압축 처리는 단 시간에 종료된다.

또한, 도 10에서는, 도 8이나 도 9와 마찬가지로, 압축 처리의 개시 후, 그 압축 처리의 종료를 기다리지 않고, 압축 처리에 의해 생성되는 압축 화상의 일부가 인식 처리에 이용할 수 있게 된 타이밍에서, DSP(32)가 주목 프레임 주기 T1의 촬상 화상으로부터 얻어진 압축 화상(의 일부)을 이용한 인식 처리를 개시하고 있다.

따라서, 도 10에서는, 도 8이나 도 9와 같이, 압축 처리와 인식 처리가, 일부의 기간에서 병렬로 행해지고 있다.

출력 제어부(23)는, 도 7 내지 도 9와 같이, 주목 프레임 주기 T1에 대한 신호 처리 결과로서의, 주목 프레임 주기 T1의 촬상 화상으로부터 얻어진 압축 화상을 이용한 인식 결과를 선택하여, 주목 프레임 주기 T1의 종료 직전에, 출력 I/F(24)에서 출력한다.

도 10에서는, DSP(32)는, 신호 처리로서의 인식 처리를 행하고 있는 동안, 그 인식 처리의 도중에 얻어지는 중간 데이터를 적절히 출력한다. DSP(32)가 출력하는 중간 데이터는, 출력 제어부(23)에 공급되고, 출력 제어부(23)는, 중간 데이터가 공급되면, 신호 처리 결과와 마찬가지로, 중간 데이터를 선택하여, 출력 I/F(24)로부터 출력한다.

이상과 같이, 신호 처리(여기에서는, 인식 처리)의 도중에 얻어지는 중간 데이터를, 출력 I/F(24)로부터 외부로 출력하는 경우에는, 그 중간데이터를, 신호 처리를 행하는 프로그램(여기에서는, 인식 처리 프로그램)의 디버그에 제공할 수 있다.

<DSP(32)의 신호 처리로서 퓨전 처리가 행해지는 경우의 촬상 장치(2)의 처리예>

도 11, 도 12 및 도 13은, DSP(32)의 신호 처리로서 퓨전 처리가 행해지는 경우의 촬상 장치(2)의 처리의 예의 개요를 설명하는 도면이다.

도 11의 스텝(S41)에서, 통신 I/F(34)는, DSP(32)의 신호 처리로서, 퓨전 처리를 행함에 있어, CPU(31) 및 DSP(32)에 실행시키는 프로그램을, 외부로부터 다운로드하여, 메모리(33)에 기억시킨다. 여기에서는, DSP(32)에 실행시키는 프로그램은, 신호 처리로서 퓨전 처리를 행하는 퓨전 처리 프로그램이다.

즉, 스텝(S42)에서, CPU(31)는, 레지스터 군(27)으로부터, 접속선(CL1)를 거쳐, 촬상 화상의 소 영역마다의 밝기(의 정보)나, 그 외의 필요한 정보를 읽어낸다.

스텝(S43)에서, CPU(31)는, 화상 압축부(35)의 압축 처리로, 촬상 화상의 스케일 다운을 행하는 정도를 나타내는 축소율을 결정하는 등의, 압축 처리에 관한 제어를 행한다.

스텝(S44)에서는, 촬상부(21)가 촬상 화상의 촬상을 개시함과 함께, 촬상 처리부(22)가 촬상부(21)로부터의 촬상 화상의 출력을 개시한다. 이에 의해, 촬상 화상의, 촬상 처리부(22)로부터 출력 제어부(23)로의 공급 및 촬상 처리부(22)로부터 접속선(CL2)을 거쳐 화상 압축부(35)로의 공급이 개시된다.

촬상 처리부(22)로부터 출력 제어부(23)로 공급된 촬상 화상은, 출력 제어부(23)에 있어서 필요에 따라 선택되어, 출력 I/F(24)로부터 외부로 출력된다.

스텝(S45)에서, 화상 압축부(35)는, 촬상 처리부(22)로부터 접속선(CL2)을 거쳐 공급되는 촬상 화상의 압축 처리를 개시한다.

화상 압축부(35)는, 압축 처리의 결과 얻어지는 VGA 사이즈의 흑백 촬상 화상을, 압축 화상으로서, 메모리(33)에 기억시킨다.

신호 처리로서 퓨전 처리가 행해지는 경우, 촬상 장치(2)와 소정의 위치 관계가 되도록 설치된 거리 센서로서의, 예를 들면, ToF 센서(도시하지 않음)로부터, 그 ToF 센서의 센서 출력이, 입력 I/F(36)에 공급된다.

여기서, ToF 센서의 센서 출력은, 예를 들면, 거리의 센싱 결과(예를 들면, ToF 센서가 발한 광이 피사체에서 반사되어 ToF 센서에서 수광될 때까지의 시간에 대응하는 값 등)를 화소값으로 하는 화상의 형태로 되어 있다. 이하, 이 화상을, ToF 화상이라고 한다. ToF 화상은, 예를 들면, QQVGA 사이즈나 QVGA 사이즈 등의 화상이다.

스텝(S46)에서, 입력 I/F(36)는, ToF 센서의 센서 출력으로서의 ToF 화상의 수취를 개시한다. 입력 I/F(36)가 수취한 ToF 화상은, 메모리(33)에 공급되어 기억된다.

도 12의 스텝(S51)에서, DSP(32)는, 스텝(S41)에서 메모리(33)에 기억된 퓨전 처리 프로그램을 읽어 들여 실행함으로써, 그 퓨전 처리 프로그램에 대응하는 신호 처리로서의 퓨전 처리를 개시한다.

즉, DSP(32)는, 메모리(33)에 기억된 압축 화상의 각 영역을, 퓨전 처리의 처리 대상으로 하여, 순차로, 메모리(33)에서 읽어냄과 함께, ToF 화상을, 메모리(33)에서 읽어내어, 압축 화상의 처리 대상과 ToF 화상을 이용한 퓨전 처리를 행한다.

퓨전 처리에서는, 예를 들면, ToF 화상의 화소값으로 되어 있는 센서 출력이 거리를 나타내는 값으로 변환되고, 이 거리를 나타내는 값을 화소값으로 하는 거리 화상이 생성된다. 본 실시형태에서는, 예를 들면, 연속하는 4매의 ToF 화상으로부터 1매의 거리 화상이 구해진다.

또한, 퓨전 처리에서는, 예를 들면, 촬상 장치(2)와 ToF 센서의 위치 관계에 기초하여, 압축 화상(의 처리 대상)의 각 화소와, 거리 화상의 대응하는 화소와의 위치 맞춤 등을 행하는 캘리브레이션이 행해진다.

또한, 퓨전 처리에서는, 예를 들면, 압축 화상의 텍스처 등을 참조하여, 등거리에 있는 피사체가 찍히는 압축 화상의 복수의 화소에 대응하는 거리 화상의 복수의 화소의 화소값으로서의 거리를 나타내는 값을 일치시키는 보정 등을 행함으로써, 거리 화상의 노이즈가 제거된다.

스텝(S52)에서, DSP(32)는, 퓨전 처리의 결과를, 신호 처리 결과로서, 메모리(33)에 공급하여 기억시킨다. 퓨전 처리의 결과는, 예를 들면, 노이즈가 제거된 거리 화상이다.

또한, 퓨전 처리에서는, 압축 화상(촬상 화상)의 휘도가 거리 화상의 노이즈의 제거에 영향을 주는 것을 억제하기 위해, 압축 화상의 평균적인 밝기를 미리 결정된 고정값으로 하는 등의 압축 화상의 계조 변환을 행할 수 있다. 이러한 계조 변환은, 도 11의 스텝(S42)에서, CPU(31)가 레지스터 군(27)에서 읽어낸, 촬상 화상의 소 영역마다의 밝기를 이용하여 행할 수 있다.

도 13의 스텝(S61)에서, CPU(31)는, 메모리(33)에 기억된 신호 처리 결과로서의 거리 화상을 읽어내어, 그 거리 화상을 이용하여, 촬상 화상의 촬상에 적절한 포커스 등의 촬상 정보를 산출하는 연산을 행한다.

예를 들면, CPU(31)는, 거리 화상으로부터, 가장 앞에 있는 피사체나, 소정의 거리 부근에 위치하는 피사체를 검출하여, 그 피사체에 포커스를 맞추도록 오토 포커스를 제어하는 촬상 정보를 산출한다. 또한, 예를 들면, CPU(31)는, 거리 화상으로부터, 가장 앞에 있는 피사체나, 소정의 거리 부근에 위치하는 피사체를 검출하여, 그 피사체의 휘도 등에 따라, 그 피사체의 촬영에 적절한 노광 시간을 산출한다.

그 외에, CPU(31)는, 거리 화상을 이용하여, 촬상 화상의 촬상에 적절한 프레임 레이트나, 촬영 모드, 잘라내기 범위 등의 촬상 정보를, 필요에 따라 산출한다.

스텝(S62)에서, CPU(31)는, 스텝(S61)에서 산출한 촬상 정보를, 접속선(CL1)을 거쳐, 레지스터 군(27)에 피드백한다. 레지스터 군(27)은, CPU(31)으로부터 피드백된 촬상 정보를 새롭게 기억하고, 그 후는, 촬상 제어부(25)는, 레지스터 군(27)에 새롭게 기억된 촬상 정보에 따라, 촬상 처리부(22)를 제어한다.

스텝(S63)에서, CPU(31)는, 메모리(33)에 기억된 신호 처리 결과로서의 거리 화상을 읽어내어, 출력 제어부(23)에 공급한다.

메모리(33)로부터 출력 제어부(23)에 공급된 신호 처리 결과로서의 거리 화상은, 출력 제어부(23)에 있어서 필요에 따라 선택되어, 출력 I/F(24)에서 외부로 출력된다.

도 14는, DSP(32)의 신호 처리로서 퓨전 처리가 행해지는 경우, 촬상 장치(2)의 처리의 타이밍의 제1 예를 설명하는 타이밍 차트이다.

예를 들면, 촬상부(21)는, 1/30초를 프레임 주기 T1로 하여, 그 프레임 주기 T1의 전반의 1/60초 동안에, 12M 픽셀의 컬러 촬상 화상의 촬상을 행한다. 촬상부(21)의 촬상에 의해 얻어지는 촬상 화상은, 촬상 처리부(22)로부터, 출력 제어부(23) 및 화상 압축부(35)에 공급된다.

출력 제어부(23)는, 촬상 처리부(22)로부터의 촬상 화상의 공급에 따라, 그 촬상 화상을 선택하고, 출력 I/F(24)에서 외부로 출력한다.

화상 압축부(35)에서는, 12M 픽셀의 컬러 촬상 화상의 압축 처리로서, 스케일 다운과 YUV 변환을 행하여, 12M 픽셀의 컬러 촬상 화상이 VGA 사이즈의 흑백 압축 화상에 변환된다. 이 압축 화상은, 메모리(33)에 기억된다.

도 14에서는, 촬상 장치(2)의 입력 I/F(36)에 ToF 센서가 접속되고 있고, 그 ToF 센서는, 센서 출력으로서, QVGA 사이즈의 ToF 화상을 출력한다.

입력 I/F(36)는, ToF 센서의 센서 출력으로서의 ToF 화상을 수취하고, 메모리(33)에 기억시킨다.

여기서, 도 14에서, ToF 센서는, QVGA 사이즈의 ToF 화상을, 240fps(frame per second)로 출력할 수 있다. 도 14에서, ToF 센서는, 프레임 주기 T1의 전반의 1/60초 동안에, 240 fps의 QVGA 사이즈의 ToF 화상을 4매만 출력하고, 입력 I/F(36)는 그 4매의 ToF 화상을 프레임 주기 T1의 전반의 1/60초의 동안에 수취한다.

도 14에서는, 주목 프레임 주기 T1의 (전반의 1/60초에서 촬상된) 촬상 화상의 압축 처리가, 주목 프레임 주기 T1의 전반에 종료된다. 또한, 주목 프레임 주기 T1의 전반에서는, 입력 I/F(36)에서, 4매의 ToF 화상의 수취가 종료된다.

그리고, 그 후의, 주목 프레임 주기 T1의 후반의 1/60초가 개시하는 타이밍에서, DSP(32)가, 메모리(33)에 기억된 압축 화상, 즉, 주목 프레임 주기 T1의 촬상 화상으로부터 얻어진 압축 화상과, 메모리(33)에 기억된 4매의 ToF 화상을 이용한 퓨전 처리를 개시한다.

퓨전 처리에서는, 예를 들면, 주목 프레임 주기 T1의 4매의 ToF 화상으로부터, 주목 프레임 주기 T1의 1매의 거리 화상이 생성되고, 압축 화상의 각 화소와, 거리 화상의 각 화소와의 위치 맞춤의 캘리브레이션이 행해진다. 그리고, 압축 화상을 이용하여, 거리 화상의 노이즈가 제거된다.

여기서, 도 14에서는, ToF 화상의 프레임 레이트는 240fps이지만, 거리 화상의 프레임 레이트는 프레임 주기 T1(1/30초)에 대응하는 30fps이다.

DSP(32)는, 주목 프레임 주기 T1가 종료되기 조금 전의 타이밍에서, 주목 프레임 주기 T1의 촬상 화상으로부터 얻어진 압축 화상을 이용한 퓨전 처리를 종료하고, 그 퓨전 처리의 결과 얻어지는 노이즈가 제거된 거리 화상을, 신호 처리 결과로서, 출력 제어부(23)에 공급한다.

출력 제어부(23)는, 신호 처리 결과로서의 거리 화상이 공급되면, 그 신호 처리 결과를 선택하여, 출력 I/F(24)에서 외부로 출력한다.

도 14에서는, 주목 프레임 주기 T1에 대한 신호 처리 결과, 즉, 주목 프레임 주기 T1의 촬상 화상으로부터 얻어진 압축 화상을 이용한 퓨전 처리의 신호 처리 결과(거리 화상)는, 주목 프레임 주기 T1의 종료 직전부터 주목 프레임 주기 T1가 종료할 때까지의 기간에, 출력 I/F(24)에서 출력되고 있다.

도 15는, DSP(32)의 신호 처리로서 퓨전 처리가 행해지는 경우의 촬상 장치(2)의 처리의 타이밍의 제2 예를 설명하는 타이밍 차트이다.

도 15에서는, 도 14와 같이, 촬상부(21)에서, 1/30초의 프레임 주기 T1의 전반의 1/60초 동안에, 12M 픽셀의 컬러 촬상 화상이 촬상되어, 그 촬상 화상이 출력 I/F(24)에서 외부로 출력된다.

또한, 도 15에서는, 도 14와 같이, 화상 압축부(35)에서, 12M 픽셀의 컬러 촬상 화상의 압축 처리로서의 스케일 다운 및 YUV 변환에 의해, VGA 사이즈의 흑백 압축 화상이 생성되어, 메모리(33)에 기억된다.

또한, 도 15에서는, 도 14와 마찬가지로, 촬상 장치(2)의 입력 I/F(36)에 ToF 센서가 접속되고 있고, 그 ToF 센서는, 센서 출력으로서 QVGA 사이즈의 ToF 화상을 출력한다.

단, 도 15에서는, ToF 센서는, QVGA 사이즈의 ToF 화상을 120 fps로 출력한다. 따라서, 도 15에서는, ToF 센서에서, 1매의 거리 화상을 생성하는데 필요한 4매의 ToF 화상을 출력하는데 걸리는 시간은 1/30초=1/120Х4초, 즉, 프레임 주기 T1와 동일하다.

입력 I/F(36)는, ToF 센서의 센서 출력으로서의 ToF 화상을 수취하여, 메모리(33)에 기억시킨다.

즉, 도 15에서는, 위에서 설명한 바와 같이, ToF 센서는 프레임 주기 T1의 동안에 4매의 120 fps의 QVGA 사이즈의 ToF 화상을 출력하므로, 입력 I/F(36)는 그 4매의 ToF 화상을 프레임 주기 T1의 동안에 수취한다.

따라서, 주목 프레임 주기 T1의 선두에서 개시된 ToF 화상의 수취에 있어서, 거리 화상의 생성에 필요한 4매의 ToF 화상의 수취는, 주목 프레임 주기 T1의 (거의) 마지막에 완료된다.

이 때문에, 주목 프레임 주기 T1의 촬상 화상으로부터 얻어진 압축 화상과, 주목 프레임 주기 T1에 ToF 센서로부터 수취한 4매의 ToF 화상을 이용한 퓨전 처리를, 주목 프레임 주기 T1 내에 완료하기는 곤란하다.

이에, 도 15에서는, 주목 프레임 주기 T1의 다음의 프레임 주기 T1의 선두의 타이밍에서, DSP(32)가, 주목 프레임 주기 T1의 촬상 화상으로부터 얻어진 압축 화상과, 주목 프레임 주기 T1의 동안에 ToF 센서로부터 수취한 4매의 ToF 화상을 이용한 퓨전 처리를 개시하고 있다.

여기서, 이하, 주목 프레임 주기 T1의 촬상 화상으로부터 얻어진 압축 화상을 주목 프레임 주기 T1의 압축 화상이라고도 하고, 주목 프레임 주기 T1의 동안에 ToF 센서로부터 수취한 (4매의) ToF 화상을 주목 프레임 주기 T1의 (4매의) ToF 화상이라고도 한다.

DSP(32)는, 주목 프레임 주기 T1의 압축 화상과, 주목 프레임 주기 T1의 4매의 ToF 화상을 이용한 퓨전 처리를, 주목 프레임 주기 T1의 다음의 프레임 주기 T1의 선두의 타이밍에 개시하여, 주목 프레임 주기 T1의 다음의 프레임 주기 T1의 전반이 종료되기 조금 전의 타이밍에서 종료한다.

그리고, DSP(32)는, 퓨전 처리의 결과 얻어지는 노이즈가 제거된 거리 화상을, 신호 처리 결과로서, 출력 제어부(23)에 공급한다.

여기서, 주목 프레임 주기 T1의 압축 화상과 주목 프레임 주기 T1의 4매의 ToF 화상을 이용한 퓨전 처리의 신호 처리 결과 및 그 신호 처리 결과로서의 거리 화상을, 각각, 주목 프레임 주기 T1의 신호 처리 결과 및 주목 프레임 주기 T1의 거리 화상이라고도 한다.

출력 제어부(23)는, 주목 프레임 주기 T1의 다음의 프레임 주기 T1의 촬상 화상의, 출력 I/F(24)로부터의 출력이 종료된 후, 주목 프레임 주기 T1의 신호 처리 결과로서의 거리 화상을 선택하여, 출력 I/F(24)에서 외부로 출력한다.

따라서, 도 15에서는, 도 14의 경우와 같이, 거리 화상의 프레임 레이트는 프레임 주기 T1(1/30초)에 대응하는 30fps이지만, 주목 프레임 주기 T1의 신호 처리 결과로서의 거리 화상은, 주목 프레임 주기 T1의 동안에 출력되지 않고, 그 다음의 프레임 주기 T1에 출력된다.

도 14에서는, 주목 프레임 주기 T1의 신호 처리 결과로서의 거리 화상은, 주목 프레임 주기 T1에 출력되는데 반해, 도 15에서는, 주목 프레임 주기 T1의 신호 처리 결과로서의 거리 화상은, 주목 프레임 주기 T1의 다음의 프레임 주기 T1에 출력된다. 따라서, 도 15에서는, 입력 I/F(36)에 접속하는 ToF 센서로서, 도 14의 경우보다, ToF 화상의 프레임 레이트가 저속인 ToF 센서, 즉, 저비용의 ToF 센서를 사용할 수 있다.

또한, 도 11 내지 도 15에서 설명한 것처럼, ToF 센서 등의 거리 센서의 센서 출력을 입력 I/F(36)에서 받아들여 퓨전 처리를 행하는 촬상 장치(2)의 사용 형태는, 예를 들면, 차량의 자동 운전 등에 적용할 수 있다.

<DSP(32)의 신호 처리로서 SLAM 처리가 행해지는 경우의 촬상 장치(2)의 처리예>

도 16, 도 17 및 도 18은, DSP(32)의 신호 처리로서 SLAM 처리가 행해지는 경우의 촬상 장치(2)의 처리의 예의 개요를 설명하는 도면이다.

도 16의 스텝(S71)에서, 통신 I/F(34)는, DSP(32)의 신호 처리로서, SLAM 처리를 행함에 있어, CPU(31) 및 DSP(32)에 실행시키는 프로그램을, 외부로부터 다운로드하여, 메모리(33)에 기억시킨다. 여기에서는, DSP32에 실행시키는 프로그램은, 신호 처리로서, SLAM 처리를 행하는 SLAM 처리 프로그램이다.

즉, 스텝(S72)에서, CPU(31)는, 레지스터 군(27)으로부터, 접속선(CL1)을 거쳐, 촬상 화상의 소 영역마다의 밝기(의 정보), 그 외의 필요한 정보를 읽어낸다.

스텝(S73)에서, CPU(31)는, 화상 압축부(35)의 압축 처리로, 촬상 화상의 스케일 다운을 행하는 정도를 나타내는 축소율을 결정하는 등의, 압축 처리에 관한 제어를 행한다.

스텝(S74)에서는, 촬상부(21)가 촬상 화상의 촬상을 개시함과 함께, 촬상 처리부(22)가, 촬상부(21)로부터의 촬상 화상의 출력을 개시한다. 이에 의해, 촬상 화상의, 촬상 처리부(22)로부터 출력 제어부(23)로의 공급 및 촬상 처리부(22)로부터 접속선(CL2)을 거쳐 화상 압축부(35)로의 공급이 개시된다.

촬상 처리부(22)로부터 출력 제어부(23)로 공급된 촬상 화상은, 출력 제어부(23)에 있어서 필요에 따라 선택되어, 출력 I/F(24)에서 외부로 출력된다.

스텝(S75)에서, 화상 압축부(35)는, 촬상 처리부(22)로부터 접속선(CL2)를 거쳐 공급되는 촬상 화상의 압축 처리를 개시한다.

신호 처리로서 SLAM 처리가 행해지는 경우, 촬상 장치(2)와 소정의 위치 관계가 되도록 설치된 이미지 센서(도시하지 않음)로부터, 그 이미지 센서의 센서 출력이, 입력 I/F(36)에 공급된다.

여기서, 촬상 장치(2)와 소정의 위치 관계가 되도록 설치된, 촬상 장치(2)와는 다른 이미지 센서를, 이하, 다른 센서라고도 한다. 또한, 다른 센서는, 광을 센싱하여, 그 광에 대응하는 화상을 센서 출력으로서 출력하는데, 이 다른 센서의 센서 출력으로서의 화상을 다른 센서 화상이라고도 한다. 여기에서, 다른 센서 화상은, 예를 들면, VGA 사이즈의 화상인 것으로 한다.

스텝(S76)에서, 입력 I/F(36)는, 다른 센서의 센서 출력으로서의 VGA 사이즈의 다른 센서 화상의 수취를 개시한다. 입력 I/F(36)가 수취한 VGA 사이즈의 다른 센서 화상은, 메모리(33)에 공급되어 기억된다.

도 17의 스텝(S81)에서, DSP(32)는, 스텝(S71)에서 메모리(33)에 기억된 SLAM 처리 프로그램을 읽어 들여 실행함으로써, 그 SLAM 처리 프로그램에 대응하는 신호 처리로서의 SLAM 처리를 개시한다.

즉, DSP(32)는, 메모리(33)에 기억된 압축 화상의 각 영역을, SLAM 처리의 처리 대상으로 하여, 순차로, 메모리(33)에서 읽어냄과 함께, 다른 센서 화상을 메모리(33)에서 읽어내어 그 압축 화상의 처리 대상과 다른 센서 화상을 스테레오 화상으로서 이용한 SLAM 처리를 행한다.

SLAM 처리에서는, 예를 들면, 촬상 장치(2)와 다른 센서의 위치 관계에 기초하여, 스테레오 화상으로서의 압축 화상과 다른 센서 화상을 평행화하는(촬상 장치(2)와 다른 센서를 평행등화하는) 렉티피케이션(rectification)이 행해진다.

그리고, SLAM 처리에서는, 예를 들면, 렉티피케이션 후의 스테레오 화상으로서의 압축 화상과 다른 센서 화상을 이용하여, 자기 위치 추정과 지도의 구축(성장)이 행해진다.

스텝(S82)에서, DSP(32)는, SLAM 처리의 결과를, 신호 처리 결과로서, 메모리(33)에 공급하여 기억시킨다. SLAM 처리의 결과란, 예를 들면, 자기 위치 추정의 추정 결과(이하, 위치 추정 결과라고도 한다)와, 그 자기 위치 추정과 함께 구축된 지도이다.

또한, SLAM 처리에서는, 압축 화상(촬상 화상) 및 다른 센서 화상의 휘도가 자기 위치 추정이나 지도의 구축에 영향을 미치는 것을 억제하기 위해, 압축 화상 및 다른 센서 화상의 평균적인 밝기를 미리 결정된 고정값으로 하는 등의 압축 화상 및 다른 센서 화상의 계조 변환을 행할 수 있다. 이러한 계조 변환은, 도 16의 스텝(S72)에서, CPU(31)가 레지스터 군(27)에서 읽어낸, 촬상 화상의 소 영역마다의 밝기를 이용하여 행할 수 있다.

도 18의 스텝(S91)에서, CPU(31)는, 메모리(33)에 기억된 신호 처리 결과로서의 위치 추정 결과 및 지도를 읽어내어, 그 위치 추정 결과 및 지도를 이용하여, 촬상 화상의 촬상에 적절한 노광 시간이나, 포커스, 프레임 레이트, 촬영 모드, 잘라내기 범위 등의 촬상 정보를 산출하는 연산을, 필요에 따라서 행한다.

스텝(S92)에서, CPU(31)는, 스텝(S91)에서 산출한 촬상 정보를, 접속선(CL1)을 거쳐, 레지스터 군(27)에 피드백한다. 레지스터 군(27)은, CPU(31)에서 피드백된 촬상 정보를 새롭게 기억하고, 그 이후는, 촬상 제어부(25)는, 레지스터 군(27)에 새롭게 기억된 촬상 정보에 따라, 촬상 처리부(22)를 제어한다.

스텝(S93)에서, CPU(31)는, 메모리(33)에 기억된 신호 처리 결과로서의 위치 추정 결과 및 지도를 읽어내어, 출력 제어부(23)에 공급한다.

메모리(33)로부터 출력 제어부(23)로 공급된 신호 처리 결과로서의 위치 추정 결과 및 지도는, 출력 제어부(23)에서 선택되어, 출력 I/F(24)로부터 외부로 출력된다.

도 19는, DSP(32)의 신호 처리로서 SLAM 처리가 행해지는 경우의 촬상 장치(2)의 처리의 타이밍의 제1 예를 설명하는 타이밍 차트이다.

예를 들면, 촬상부(21)는, 1/30초를 프레임 주기 T1로 하여, 그 프레임 주기 T1의 전반의 1/60초의 동안에, 12M 픽셀의 컬러 촬상 화상의 촬상을 행한다. 촬상부(21)의 촬상에 의해 얻어지는 촬상 화상은, 촬상 처리부(22)로부터, 출력 제어부(23) 및 화상 압축부(35)로 공급된다.

출력 제어부(23)는, 촬상 처리부(22)로부터의 촬상 화상의 공급에 따라, 그 촬상 화상을 선택하여, 출력 I/F(24)에서 외부로 출력한다.

화상 압축부(35)에서는, 12M 픽셀의 컬러 촬상 화상의 압축 처리로서, 스케일 다운과 YUV 변환이 행하여지고, 12M 픽셀의 컬러 촬상 화상이 VGA 사이즈의 흑백 압축 화상으로 변환된다. 이 압축 화상은, 메모리(33)에 기억된다.

도 19에서는, 촬상 장치(2)의 입력 I/F(36)에 다른 센서가 접속되어 있어, 이 다른 센서는, 센서 출력으로서, VGA 사이즈의 다른 센서 화상을 출력한다.

입력 I/F(36)는, 다른 센서의 센서 출력으로서 다른 센서 화상을 수취하여, 메모리(33)에 기억시킨다.

여기서, 도 19에서, 다른 센서는, VGA 사이즈의 다른 센서 화상을, 프레임 주기 T1와 동일한 30fps로 출력한다. 즉, 도 19에서는, 다른 센서는, 촬상 장치(2)에 동기하여, 프레임 주기 T1의 개시 시에, 30fps의 VGA 사이즈의 다른 센서 화상을 출력한다. 입력 I/F(36)는, 이 다른 센서 화상을 수취한다.

도 19에서는, 주목 프레임 주기 T1의 촬상 화상의 압축 처리가, 주목 프레임 주기 T1의 전반에서 종료된다.

그리고, 그 후의, 주목 프레임 주기 T1의 후반의 1/60초가 개시하는 타이밍에서, DSP(32)가, 메모리(33)에 기억된 주목 프레임 주기 T1의 촬상 화상으로부터 얻어진 압축 화상과, 메모리(33)에 기억된 주목 프레임 주기 T1의 다른 센서 화상을 이용한 SLAM 처리를 개시한다.

SLAM 처리에서는, 예를 들면, 주목 프레임 주기 T1의 (촬상 화상의) 압축 화상과, 주목 프레임 주기 T1의 다른 센서 화상과의 렉티피케이션이 행해지고, 그 렉티피케이션 후의 압축 화상 및 다른 센서 화상을 이용하여, 주목 프레임 주기 T1의 자기 위치 추정 및 지도의 구축이 행해진다.

DSP(32)는, 주목 프레임 주기 T1가 종료되기 조금 전의 타이밍에서, 주목 프레임 주기 T1의 압축 화상 및 다른 센서 화상을 이용한 SLAM 처리를 종료하고, 그 SLAM 처리의 결과 얻어지는 위치 추정 결과 및 지도를, 신호 처리 결과로서, 출력 제어부(23)에 공급한다.

출력 제어부(23)는, 신호 처리 결과로서의 위치 추정 결과 및 지도가 공급되면, 그 신호 처리 결과를 선택하여, 출력 I/F(24)에서 외부로 출력한다.

도 19에서는, 주목 프레임 주기 T1에 대한 신호 처리 결과, 즉, 주목 프레임 주기 T1의 압축 화상 및 다른 센서 화상을 이용한 SLAM 처리의 신호 처리 결과(위치 추정 결과 및 지도)는, 주목 프레임 주기 T1의 종료 직전부터 주목 프레임 주기 T1가 종료할 때까지의 기간에, 출력 I/F(24)에서 출력되고 있다.

도 20은, DSP(32)의 신호 처리로서 SLAM 처리가 행해지는 경우의 촬상 장치(2)의 처리의 타이밍의 제2 예를 설명하는 타이밍 차트이다.

도 20에서는, 도 19와 마찬가지로, 촬상부(21)에서, 1/30초를 프레임 주기 T1로 하여, 12M 픽셀의 컬러 촬상 화상이 촬상되어, 출력 I/F(24)로부터 외부로 출력된다.

또한, 도 20에서는, 도 19와 마찬가지로, 화상 압축부(35)에서, 12M 픽셀의 컬러 촬상 화상의 압축 처리로서의 스케일 다운과 YUV 변환에 의해, VGA 사이즈의 흑백 압축 화상이 생성되어, 메모리(33)에 기억된다.

또한, 도 20에서는, 도 19와 같이, 촬상 장치(2)의 입력 I/F(36)에 다른 센서가 접속되고 있고, 그 다른 센서는, 센서 출력으로서, VGA 사이즈의 다른 센서 화상을 출력한다.

입력 I/F(36)는, 도 19와 마찬가지로, 다른 센서의 센서 출력으로서의 다른 센서 화상을 수취하여, 메모리(33)에 기억시킨다.

도 20에서는, 도 19와 마찬가지로, 주목 프레임 주기 T1의 촬상 화상의 압축 처리가, 주목 프레임 주기 T1의 전반에서 종료된다.

SLAM 처리에서는, 예를 들면, 주목 프레임 주기 T1의 압축 화상과, 주목 프레임 주기 T1의 다른 센서 화상과의 렉티피케이션이 행해지고, 그 렉티피케이션 후의 압축 화상 및 다른 센서 화상을 이용하여, 주목 프레임 주기 T1의 자기 위치 추정 및 지도의 구축이 행해진다.

도 20에서는, DSP(32)는, 주목 프레임 주기 T1의 다음의 프레임 주기 T1의 전반이 종료되기 조금 전의 타이밍에서, 주목 프레임 주기 T1의 압축 화상 및 다른 센서 화상을 이용한 SLAM 처리를 종료하고, 그 SLAM 처리의 결과 얻어지는 위치 추정 결과 및 지도를, 신호 처리 결과로서, 출력 제어부(23)에 공급한다.

출력 제어부(23)는, 주목 프레임 주기 T1의 다음의 프레임 주기 T1의 촬상 화상의, 출력 I/F(24)로부터의 출력이 종료된 후, 주목 프레임 주기 T1의 신호 처리 결과로서의 위치 추정 결과 및 지도를 선택하여, 출력 I/F(24)에서 외부로 출력한다.

따라서, 도 20에서는, 주목 프레임 주기 T1의 신호 처리 결과로서의 위치 추정 결과 및 지도는, 주목 프레임 주기 T1의 동안에 출력되지 않고, 그 다음의 프레임 주기 T1에 출력된다.

도 19에서는, 주목 프레임 주기 T1의 신호 처리 결과로서의 위치 추정 결과 및 지도는, 주목 프레임 주기 T1에 출력되는데 반해, 도 20에서는, 주목 프레임 주기 T1의 신호 처리 결과로서의 위치 추정 결과 및 지도는, 주목 프레임 주기 T1의 다음의 프레임 주기 T1에 출력된다. 따라서, 도 20에서는, 도 19의 경우보다, SRAM 처리에 장 시간을 할당할 수 있고, 그 결과, SRAM 처리의 신호 처리 결과로서의 위치 추정 결과 및 지도의 정밀도를 향상시킬 수 있다.

도 21은, DSP(32)의 신호 처리로서 SLAM 처리가 행하여지는 경우의, 촬상 장치(2)의 처리의 타이밍의 제3 예를 설명하는 타이밍 차트이다.

도 21에서는, 촬상부(21)는, 1/30초를 프레임 주기 T1로 하여 1 프레임의 촬상을 행한다. 단, 도 21에서는, 촬상부(21)은, 12M 픽셀의 컬러 촬상 화상이 아니라, VGA 사이즈의 컬러 촬상 화상을 촬상한다. 그 때문에, 도 21에서는, 프레임 주기 T1의 개시부터 극히 단시간에 1 프레임의 촬상이 종료되고 있다. 촬상부(21)가 촬상한 촬상 화상은, 촬상 처리부(22)로부터, 출력 제어부(23) 및 화상 압축부(35)에 공급된다.

여기서, 도 21에서는, 외부에서 촬상 화상이 사용되지 않도록 되어 있고, 그 때문에, 출력 제어부(23)는, 촬상 처리부(22)로부터 촬상 화상이 공급되더라도, 촬상 화상을 선택하지 않고, 출력 I/F(24)에서 외부로 출력하지 않는다.

여기서, 도 21에서는, 촬상 화상이 VGA 사이즈의 컬러 화상이기 때문에, 압축 처리로서는, YUV 변환은 행해지지만, 스케일 다운은 행해지지 않는다. 이 때문에, 도 21의 압축 처리는, 촬상 화상이 12M 픽셀의 컬러 화상인 경우와 비교하여, 단 시간에 종료되고 있다.

도 21에서는, 도 19나 도 20과 마찬가지로, 촬상 장치(2)의 입력 I/F(36)에 다른 센서가 접속되고 있고, 그 다른 센서는, 센서 출력으로서, 30fps의 VGA 사이즈의 다른 센서 화상을 출력한다.

입력 I/F(36)는, 다른 센서의 센서 출력으로서의 다른 센서 화상을 수취하여, 메모리(33)에 기억시킨다.

도 21에서는, 메모리(33)에 주목 프레임 주기 T1의 다른 센서 화상이 기억되었을 때에는, 주목 프레임 주기 T1의 촬상 화상의 압축 처리가 종료되고, 그 압축 처리에 의해 얻어진 주목 프레임 주기 T1의 압축 화상이 메모리(33)에 기억되고 있다.

즉, 메모리(33)에, 주목 프레임 주기 T1의 다른 센서 화상이 기억되었을 때에는, 메모리(33)에는, 주목 프레임 주기 T1의 압축 화상 및 다른 센서 화상의 양쪽 모두가 기억되고 있어, 이들 압축 화상 및 다른 센서 화상을 이용한 SLAM 처리를 개시할 수 있다.

이에, DSP(32)는, 메모리(33)에 기억된 주목 프레임 주기 T1의 압축 화상 및 다른 센서 화상을 스테레오 화상으로서 이용한 SLAM 처리를 개시한다.

SLAM 처리에서는, 예를 들면, 주목 프레임 주기 T1의 압축 화상과 주목 프레임 주기 T1의 다른 센서 화상과의 렉티피케이션이 행해지고, 그 렉티피케이션 후의 압축 화상 및 다른 센서 화상을 이용하여, 주목 프레임 주기 T1의 자기 위치 추정 및 지도의 구축이 행해진다.

도 21에서, DSP(32)는, 주목 프레임 주기 T1가 종료되기 조금 전의 타이밍에서, 주목 프레임 주기 T1의 압축 화상 및 다른 센서 화상을 이용한 SLAM 처리를 종료하고, 그 SLAM 처리의 결과 얻어지는 위치 추정 결과 및 지도를, 신호 처리 결과로서, 출력 제어부(23)에 공급한다.

도 21에서는, 주목 프레임 주기 T1에 대한 신호 처리 결과, 즉, 주목 프레임 주기 T1의 압축 화상 및 다른 센서 화상을 이용한 SLAM 처리의 신호 처리 결과(위치 추정 결과 및 지도)는, 주목 프레임 주기 T1의 종료 직전부터 주목 프레임 주기 T1가 종료할 때까지의 기간에, 출력 I/F(24)에서 출력되고 있다.

또한, 도 21에서는, 촬상부(21)가 출력하는 촬상 화상이 VGA 사이즈의 화상이기 때문에, 압축 처리에서, 스케일 다운을 행하지 않아, 압축 처리의 부하를 경감할 수 있다.

이상과 같이, 촬상부(21)가 출력하는 촬상 화상을 VGA 사이즈의 화상으로 하여, 출력 I/F(24)로부터 출력하지 않는 형태는, 예를 들면, 외부에서 촬상 화상 그 자체가 필요하지 않고, 신호 처리 결과(여기에서는, SLAM 처리의 신호 처리 결과)가 필요한 경우에 유용하다.

또한, 도 16 내지 도 21로 설명한 것처럼, 다른 센서 화상을, 입력 I/F(36)로부터 받아들여 SLAM 처리를 행하는 촬상 장치(2)의 사용 형태는, 예를 들면, 자율적으로 행동하는 로봇 등에 적용할 수 있다.

여기서, 입력 I/F(36)에서, 다른 센서의 다른 센서 화상을 수취하고, 그 다른 센서 화상과, 촬상 장치(2)에서 촬상된 촬상 화상(으로부터 생성되는 압축 화상)을, 스테레오 화상으로서 이용하는 경우에는, 렉티피케이션이 필요하다.

도 16 내지 도 21에서는, DSP(32)에 SLAM 처리 프로그램을 실행시킴으로써 행해지는 SLAM 처리의 일부로서, 렉티피케이션을 행하는 것으로 하였지만, 즉, 소프트웨어에 의해, 렉티피케이션을 행하는 것으로 하였지만, 다른 센서 화상과 촬상 화상을 스테레오 화상으로서 이용하는 경우에는, 그 경우에 필요한 렉티피케이션은, 소프트웨어에 의해 행하는 것이 아니라, 전용의 하드웨어를 촬상 장치(2)에 설치하여, 그 전용의 하드웨어에 의해 행할 수 있다.

<촬상 장치(2)의 다른 구성예>

도 22는, 도 1의 촬상 장치(2)의 다른 구성예를 나타내는 블록도이다.

즉, 도 22는, 렉티피케이션을 행하는 전용의 하드웨어가 설치된 촬상 장치(2)의 구성예를 나타내고 있다.

또한, 도면 중에서, 도 2의 경우와 대응하는 부분에 대해서는, 동일한 부호를 교부하고, 이하에서 그 설명은 적절히 생략한다.

도 22에 있어서, 촬상 장치(2)는, 촬상부(21) 내지 촬상 제어부(25), CPU(31) 내지 입력 I/F(36) 및 렉티피케이션부(71)를 갖는다.

따라서, 도 22의 촬상 장치(2)는, 촬상부(21) 내지 촬상 제어부(25) 및 CPU(31) 내지 입력 I/F(36)를 가지는 점에서, 도 2의 경우와 공통된다.

단, 도 22의 촬상 장치(2)는, 렉티피케이션부(71)가 새롭게 설치되고 있는 점에서, 도 2의 경우와 상이하다.

렉티피케이션부(71)는, 렉티피케이션을 행하는 전용의 하드웨어이며, 메모리(33)에 기억된 압축 화상 및 다른 센서 화상을 대상으로, 렉티피케이션을 행한다.

도 22에서, DSP(32)는, 렉티피케이션부(71)에 의한 렉티피케이션 후의 압축 화상 및 다른 센서 화상을 이용하여, SLAM 처리를 행한다.

이상과 같이, 렉티피케이션 전용의 하드웨어로서의 렉티피케이션부(71)를 설치함으로써, 렉티피케이션의 고속화를 도모할 수 있다.

<촬상 장치(2)의 사용예>

도 23은, 도 1의 촬상 장치(2)를 사용하는 사용예를 나타내는 도면이다.

촬상 장치(2)는, 예를 들면, 이하와 같이, 가시광이나, 적외광, 자외광, X선 등의 광을 센싱하는 여러가지 전자 기기에 사용할 수 있다.

·디지털 카메라나, 카메라 기능을 구비한 휴대 기기 등의 감상용으로 제공되는 화상을 촬영하는 전자기기

·자동 정지 등의 안전 운전이나, 운전자의 상태 인식 등을 위해, 자동차의 전방이나 후방, 주위, 차내 등을 촬영하는 차재용 센서, 주행 차량이나 도로를 감시하는 감시 카메라, 차량 사이 등의 측거를 행하는 측거 센서 등의, 교통용으로 제공되는 전자기기

·유저의 제스처를 촬영하여, 그 제스처에 따른 기기 조작을 행하기 위해, TV나, 냉장고, 에어컨 등의 가전에 제공되는 전자기기

·내시경이나, 전자현미경, 적외광의 수광에 의한 혈관 촬영을 행하는 장치 등의 의료나 헬스케어용으로 제공되는 전자기기

·방범 용도의 감시 카메라나, 인물 인증 용도의 카메라 등의 시큐리티용으로 제공되는 전자기기

·피부를 촬영하는 피부 측정기나, 두피를 촬영하는 마이크로스코프 등의 미용용으로 제공되는 전자기기

·스포츠 용도 등 전용의 액션 카메라나 웨어러블 카메라 등의 스포츠용으로 제공되는 전자기기

·밭이나 작물 상태를 감시하기 위한 카메라 등의 농업용으로 제공되는 전자기기

<이동체에의 응용예>

본 개시와 관련되는 기술(본 기술)은, 여러가지 제품에 응용할 수 있다. 예를 들면, 본 개시와 관련되는 기술은, 자동차, 전기 자동차, 하이브리드 전기 자동차, 자동 이륜차, 자전거, 퍼스널 모빌리티, 비행기, 드론, 선박, 로봇 등의 임의의 종류의 이동체에 탑재되는 장치로서 실현되어도 좋다.

도 24는, 본 개시와 관련되는 기술이 적용할 수 있는 이동체 제어 시스템의 일례인 차량 제어 시스템의 개략적인 구성예를 나타내는 블록도이다.

차량 제어 시스템(12000)은, 통신 네트워크(12001)를 거쳐 접속된 복수의 전자 제어 유닛을 구비한다. 도 24에 나타낸 예에서는, 차량 제어 시스템(12000)은, 구동계 제어 유닛(12010), 보디계 제어 유닛(12020), 차외 정보 검출 유닛(12030), 차내 정보 검출 유닛(12040) 및 통합 제어 유닛(12050)을 구비한다. 또한, 통합 제어 유닛(12050)의 기능 구성으로서, 마이크로 컴퓨터(12051), 음성 화상 출력부(12052) 및 차재 네트워크 I/F(interface)(12053)가 도시되어 있다.

구동계 제어 유닛(12010)은, 각종 프로그램에 따라 차량의 구동계에 관련되는 장치의 동작을 제어한다. 예를 들면, 구동계 제어 유닛(12010)은, 내연기관 또는 구동용 모터 등의 차량의 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 차륜에 전달하기 위한 구동력 전달 기구, 차량의 타각을 조절하는 스티어링 기구 및 차량의 제동력을 발생시키는 제동 장치 등의 제어장치로서 기능한다.

보디계 제어 유닛(12020)은, 각종 프로그램에 따라 차체에 장비된 각종 장치의 동작을 제어한다. 예를 들면, 보디계 제어 유닛(12020)은, 키레스 엔트리 시스템, 스마트 키 시스템, 파워 윈도우 장치 또는 헤드 램프, 백 램프, 브레이크 램프, 깜빡이 또는 안개등 등의 각종 램프의 제어장치로서 기능한다. 이 경우, 보디계 제어 유닛(12020)에는, 열쇠를 대체하는 휴대기에서 발신되는 전파 또는 각종 스위치의 신호가 입력될 수 있다. 보디계 제어 유닛(12020)은, 이러한 전파 또는 신호의 입력을 받아들여, 차량의 도어록 장치, 파워 윈도우 장치, 램프 등을 제어한다.

차외 정보 검출 유닛(12030)은, 차량 제어 시스템(12000)을 탑재한 차량의 외부 정보를 검출한다. 예를 들면, 차외 정보 검출 유닛(12030)에는, 촬상부(12031)가 접속된다. 차외 정보 검출 유닛(12030)은, 촬상부(12031)에 차외의 화상을 촬상시킴과 함께, 촬상된 화상을 수신한다. 차외 정보 검출 유닛(12030)은, 수신한 화상에 기초하여, 사람, 차, 장애물, 표지 또는 노면 상의 문자 등의 물체 검출 처리 또는 거리 검출 처리를 행하여도 된다.

촬상부(12031)는, 광을 수광하여, 그 광의 수광량에 따른 전기신호를 출력하는 광 센서이다. 촬상부(12031)는, 전기신호를 화상으로서 출력할 수도 있고, 측거의 정보로서 출력할 수도 있다. 또한, 촬상부(12031)가 수광하는 광은, 가시광이어도 되고, 적외선 등의 비가시광이어도 된다.

차내 정보 검출 유닛(12040)은, 차내의 정보를 검출한다. 차내 정보 검출 유닛(12040)에는, 예를 들면, 운전자의 상태를 검출하는 운전자 상태 검출부(12041)가 접속된다. 운전자 상태 검출부(12041)는, 예를 들면 운전자를 촬상하는 카메라를 포함하고, 차내 정보 검출 유닛(12040)은, 운전자 상태 검출부(12041)에서 입력되는 검출 정보에 기초하여, 운전자의 피로도 또는 집중도를 산출해도 되고, 운전자가 졸고 있지 않은지를 판별해도 된다.

마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)에서 취득되는 차내외의 정보에 기초하여, 구동력 발생 장치, 스티어링 기구 또는 제동 장치의 제어 목표치를 연산하여, 구동계 제어 유닛(12010)에 대해 제어 지령을 출력할 수 있다. 예를 들면, 마이크로 컴퓨터(12051)는, 차량의 충돌 회피 혹은 충격 완화, 차간거리에 기초하는 추종 주행, 차속 유지 주행, 차량의 충돌 경고, 또는 차량의 차선 이탈 경고 등을 포함한 ADAS(Advanced Driver Assistance System)의 기능 실현을 목적으로 한 협조 제어를 행할 수 있다.

또한, 마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030) 또는 차내 정보 검출 유닛(12040)에서 취득되는 차량의 주위의 정보에 기초하여 구동력 발생 장치, 스티어링 기구 또는 제동 장치 등을 제어함으로써, 운전자의 조작에 의하지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수 있다.

또한, 마이크로 컴퓨터(12051)은, 차외 정보 검출 유닛(12030)에서 취득되는 차외의 정보에 기초하여, 보디계 제어 유닛(12020)에 대해 제어 지령을 출력할 수 있다. 예를 들면, 마이크로 컴퓨터(12051)는, 차외 정보 검출 유닛(12030)에서 검지한 선행차 또는 대향차의 위치에 따라 헤드 램프를 제어하고, 하이 빔을 로우 빔으로 전환하는 등의 눈부심 방지를 꾀하는 것을 목적으로 한 협조 제어를 행할 수 있다.

음성 화상 출력부(12052)는, 차량의 탑승자 또는 차외에 대하여, 시각적 또는 청각적으로 정보를 통지하는 것이 가능한 출력장치에 음성 및 화상 중 적어도 일방의 출력 신호를 송신한다. 도 24의 예에서는, 출력장치로서, 오디오 스피커(12061), 표시부(12062) 및 인스트루먼트 패널(12063)이 예시되고 있다. 표시부(12062)는, 예를 들면, 온보드 디스플레이 및 헤드 업 디스플레이의 적어도 하나를 포함하고 있어도 된다.

도 25는, 촬상부(12031)의 설치 위치의 예를 나타내는 도면이다.

도 25에서, 차량(12100)은, 촬상부(12031)로서, 촬상부(12101, 12102, 12103, 12104, 12105)를 가진다.

촬상부(12101, 12102, 12103, 12104, 12105)는, 예를 들면, 차량(12100)의 프런트노즈, 사이드 미러, 리어 범퍼, 백 도어 및 차실 내의 프런트 글라스의 상부 등의 위치에 설치된다. 프런트노즈에 설치되는 촬상부(12101) 및 차실내의 프런트 글라스의 상부에 설치되는 촬상부(12105)는, 주로 차량(12100)의 전방의 화상을 취득한다. 사이드 미러에 설치되는 촬상부(12102, 12103)는, 주로 차량(12100)의 측방의 화상을 취득한다. 리어 범퍼 또는 백 도어에 설치되는 촬상부(12104)는, 주로 차량(12100)의 후방의 화상을 취득한다. 촬상부(12101 및 12105)에서 취득되는 전방의 화상은, 주로 선행 차량 또는 보행자, 장애물, 신호기, 교통 표지 또는 차선 등의 검출에 이용된다.

또한, 도 25에는, 촬상부(12101 내지 12104)의 촬영 범위의 일례가 도시되어 있다. 촬상 범위(12111)는 프런트노즈에 설치된 촬상부(12101)의 촬상 범위를 나타내고, 촬상 범위(12112, 12113)는 각각 사이드 미러에 설치된 촬상부(12102, 12103)의 촬상 범위를 나타내고, 촬상 범위(12114)는 리어 범퍼 또는 백 도어에 설치된 촬상부(12104)의 촬상 범위를 나타낸다. 예를 들면, 촬상부(12101 내지 12104)에서 촬상된 화상 데이터가 서로 겹쳐짐으로써, 차량(12100)을 상방에서 본 하이앵글 화상을 얻을 수 있다.

촬상부(12101 내지 12104)의 적어도 하나는, 거리 정보를 취득하는 기능을 가지고 있어도 된다. 예를 들면, 촬상부(12101 내지 12104)의 적어도 하나는, 복수의 촬상 소자로 이루어진 스테레오 카메라여도 되고, 위상차 검출용의 화소를 갖는 촬상 소자여도 된다.

예를 들면, 마이크로 컴퓨터(12051)는, 촬상부(12101 내지 12104)로부터 얻어지는 거리 정보를 기초로, 촬상 범위(12111 내지 12114)내에 있어서의 각 입체물까지의 거리와, 이 거리의 시간적 변화(차량(12100)에 대한 상대속도)를 구함으로써, 특히 차량(12100)의 진행 노상에 있는 가장 가까운 입체물로서, 차량(12100)과 대략 같은 방향으로 소정의 속도(예를 들면, 0 km/h이상)로 주행하는 입체물을 선행차로서 추출할 수 있다. 또한, 마이크로 컴퓨터(12051)는, 선행차의 앞에 미리 확보해야 할 차간거리를 설정하여, 자동 브레이크 제어(추종 정지 제어도 포함)나 자동 가속 제어(추종 발진 제어도 포함) 등을 행할 수 있다. 이와 같이 운전자의 조작에 의하지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수 있다.

예를 들면, 마이크로 컴퓨터(12051)는, 촬상부(12101 내지 12104)로부터 얻어지는 거리 정보를 기초로, 입체물에 관한 입체물 데이터를, 2륜차, 보통 차량, 대형차량, 보행자, 전주 등 그 외의 입체물로 분류하고 추출하여, 장애물의 자동 회피에 이용할 수 있다. 예를 들면, 마이크로 컴퓨터(12051)는, 차량(12100)의 주변의 장애물을, 차량(12100)의 드라이버가 시인 가능한 장애물과 시인 곤란한 장애물로 식별한다. 그리고, 마이크로 컴퓨터(12051)는, 각 장애물과의 충돌의 위험도를 나타내는 충돌 리스크를 판단하여, 충돌 리스크가 설정치 이상으로 충돌 가능성이 있는 상황일 때는, 오디오 스피커(12061)나 표시부(12062)를 통해 드라이버에 경보를 출력하거나, 구동계 제어 유닛(12010)을 통해 강제 감속이나 회피 조타를 행함으로써, 충돌 회피를 위한 운전 지원을 행할 수 있다.

촬상부(12101 내지 12104)의 적어도 하나는, 적외선을 검출하는 적외선 카메라여도 된다. 예를 들면, 마이크로 컴퓨터(12051)는, 촬상부(12101 내지 12104)의 촬상 화상 중에 보행자가 존재하는지 아닌지를 판정함으로써 보행자를 인식할 수 있다. 이러한 보행자의 인식은, 예를 들면 적외선 카메라로서의 촬상부(12101 내지 12104)의 촬상 화상에 있어서의 특징점을 추출하는 절차와, 물체의 윤곽을 나타내는 일련의 특징점에 패턴 매칭 처리를 행하여 보행자인가 아닌가를 판별하는 절차에 의해 행해진다. 마이크로 컴퓨터(12051)가, 촬상부(12101 내지 12104)의 촬상 화상 중에 보행자가 존재한다고 판정하여, 보행자를 인식하면, 음성 화상 출력부(12052)는, 해당 인식된 보행자에게 강조를 위한 사각형 윤곽선을 중첩 표시하도록, 표시부(12062)를 제어한다. 또한, 음성 화상 출력부(12052)는, 보행자를 나타내는 아이콘 등을 소망하는 위치에 표시하도록 표시부(12062)를 제어해도 된다.

이상, 본 개시와 관련되는 기술이 적용될 수 있는 차량 제어 시스템의 일례에 대해 설명했다. 본 개시와 관련되는 기술은, 이상 설명한 구성 중에서, 예를 들면, 촬상부(12031)에 적용될 수 있다. 구체적으로는, 도 2의 촬상 장치(2)는, 촬상부(12031)에 적용할 수 있다. 촬상부(12031)에 본 개시와 관련되는 기술을 적용함으로써, 촬상부(12031)는, 유저가 필요로 하는 정보, 즉, 후단의 처리를 행하는 블록(이하, 후단 블록이라고도 한다)에서 필요한 정보를 출력할 수 있다. 따라서, 후단 블록은, 화상으로부터, 필요한 정보를 생성하는 처리를 행할 필요가 없고, 그 만큼, 후단 블록의 부하를 경감할 수 있다.

여기서, 본 명세서에 있어서, 컴퓨터(프로세서)가 프로그램에 따라 행하는 처리는, 반드시 플로우차트로 기재된 순서에 따라 시계열로 행해질 필요는 없다. 즉, 컴퓨터가 프로그램에 따라 행하는 처리는, 병렬적 혹은 개별적으로 실행되는 처리(예를 들면, 병렬처리 혹은 오브젝트에 의한 처리)도 포함한다.

또한, 프로그램은, 하나의 컴퓨터(프로세서)에 의하여 처리되는 것이어도 되고, 복수의 컴퓨터에 의하여 분산처리 되는 것이어도 된다.

또한, 본 기술의 실시형태는, 상술한 실시형태로 한정되는 것은 아니고, 본 기술의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.

예를 들면, 본 기술은, 가시광선을 센싱하는 이미지 센서 이외에, 적외선 또는 그 밖의 가시광선 이외의 전자파를 센싱하는 이미지 센서에 적용할 수가 있다.

또한, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것은 아니고, 다른 효과가 있어도 된다.

또한, 본 기술은, 이하의 구성을 취할 수 있다.

< 1 >

복수의 화소가 2 차원으로 배열된, 화상을 촬상하는 촬상부와,

상기 촬상부가 출력하는 촬상 화상을 이용한 신호 처리를 행하는 신호 처리부와,

상기 신호 처리의 신호 처리 결과 및 상기 촬상 화상을 외부로 출력하는 출력 I/F와,

상기 신호 처리의 신호 처리 결과 및 상기 촬상 화상을, 상기 출력 I/F로부터 외부로 선택적으로 출력시키는 출력 제어를 행하는 출력 제어부

를 포함하는 1칩의 촬상 장치.

< 2 >

상기 < 1 >에 있어서,

복수의 다이가 적층된 적층 구조를 가지는 촬상 장치.

< 3 >

상기 < 1 > 또는 < 2 >에 있어서,

상기 촬상 화상을 압축하여, 상기 촬상 화상보다 데이터량이 적은 압축 화상을 생성하는 화상 압축부를 더 포함하는 촬상 장치.

< 4 >

상기 < 1 > 내지 < 3 > 중 어느 하나에 있어서,

상기 촬상 화상의 촬상에 관한 촬상 정보를 기억하는 레지스터를 갖고, 상기 촬상 정보에 따라, 상기 촬상 화상의 촬상을 제어하는 촬상 제어부와,

상기 신호 처리 결과를 이용하여, 상기 촬상 정보를 산출하는 촬상 정보 산출부

를 더 포함하고,

상기 촬상 제어부와 상기 촬상 정보 산출부는, 소정의 접속선을 거쳐 접속되고,

상기 촬상 정보 산출부는, 상기 촬상 정보를, 상기 소정의 접속선을 거쳐, 상기 촬상 제어부의 상기 레지스터에 피드백하는 촬상 장치.

< 5 >

상기 < 4 >에 있어서,

상기 레지스터는, 상기 출력 제어에 관한 출력 제어 정보를 기억하고,

상기 출력 제어부는, 상기 레지스터에 기억된 상기 출력 제어 정보에 따라서, 상기 출력 제어를 행하는 촬상 장치.

< 6 >

상기 < 4 > 또는 < 5 >에 있어서,

상기 레지스터에 읽고 쓰기하는 정보를 외부와의 사이에서 교환하는 제1 통신 I/F를 더 포함하는 촬상 장치.

< 7 >

상기 < 1 > 내지 < 6 > 중 어느 하나에 있어서,

상기 신호 처리부는, 프로그램을 실행하는 프로세서이며,

상기 프로세서가 실행하는 프로그램을 외부로부터 다운로드하는 제2 통신 I/F를 더 포함하는 촬상 장치.

< 8 >

상기 < 1 > 내지 < 7 > 중 어느 하나에 있어서,

상기 신호 처리부는, 상기 신호 처리로서, 상기 촬상 화상으로부터 소정의 인식 대상을 인식하는 인식 처리를 행하는 촬상 장치.

< 9 >

상기 < 1 > 내지 < 7 > 중 어느 하나에 있어서,

외부의 센서로부터 외부 센서 출력을 수취하는 입력 I/F를 더 포함하고,

상기 신호 처리부는, 상기 촬상 화상 및 상기 외부 센서 출력을 이용한 신호 처리를 행하는 촬상 장치.

< 10 >

상기 < 9 >에 있어서,

상기 외부 센서 출력은, 거리에 관한 정보를 센싱하는 거리 센서의 출력 또는 광을 센싱하여 상기 광에 대응하는 화상을 출력하는 이미지 센서의 출력인 촬상 장치.

< 11 >

상기 < 10 >에 있어서,

상기 신호 처리부는, 상기 신호 처리로서, 상기 촬상 화상과 상기 거리 센서의 출력을 이용하여 거리를 구하는 퓨전 처리 또는 상기 이미지 센서의 출력으로서의 화상과 상기 촬상 화상을 이용한 자기 위치 추정 처리를 행하는 촬상 장치.

< 12 >

전자기기로서,

광을 집광하는 광학계와,

광을 수광하여, 상기 광의 수광량에 대응하는 화상을 출력하는 1칩의 촬상 장치를 구비하고,

상기 촬상 장치는,

를 가지는

전자기기.

1: 광학계
2: 촬상 장치
3: 메모리
4: 신호 처리부
5: 출력부
6: 제어부
20: 촬상 블록
21: 촬상부
22: 촬상 처리부
23: 출력 제어부
24: 출력 I/F
25: 촬상 제어부
26: 통신 I/F
27: 레지스터 군
30: 신호 처리 블록
31: CPU
32: DSP
33: 메모리
34: 통신 I/F
35: 화상 압축부
36: 입력 I/F
51, 52: 다이
71: 렉티피케이션부

Claims

복수의 화소가 2 차원으로 배열된, 화상을 촬상하는 촬상부와,
상기 촬상부가 출력한 촬상 화상에 기초하는 데이타에 대하여 신호 처리의 적어도 일부를 행하는 신호 처리부와,
상기 신호 처리의 신호 처리 결과 또는 상기 신호 처리의 중간 데이타와, 상기 촬상 화상을 외부로 출력하는 출력 I/F와,
상기 신호 처리의 상기 신호 처리 결과, 상기 신호 처리의 상기 중간 데이타, 및 상기 촬상 화상 중 적어도 어느 하나를, 상기 출력 I/F로부터 외부로 출력시키는 출력 제어부
를 포함하는 촬상 장치.
제1항에 있어서,
복수의 다이가 적층된 적층 구조를 가지는 촬상 장치.
제1항에 있어서,
상기 촬상 화상을 압축하여, 상기 촬상 화상보다 데이터량이 적은 압축 화상을 생성하는 화상 압축부를 더 포함하는 촬상 장치.
제1항에 있어서,
상기 촬상 화상의 촬상에 관한 촬상 정보를 기억하는 레지스터를 갖고, 상기 촬상 정보에 따라, 상기 촬상 화상의 촬상을 제어하는 촬상 제어부와,
상기 신호 처리 결과를 이용하여, 상기 촬상 정보를 산출하는 촬상 정보 산출부
를 더 포함하고,
상기 촬상 제어부와 상기 촬상 정보 산출부는, 소정의 접속선을 거쳐 접속되고,
상기 촬상 정보 산출부는, 상기 촬상 정보를, 상기 소정의 접속선을 거쳐, 상기 촬상 제어부의 상기 레지스터에 피드백하는 촬상 장치.
제4항에 있어서,
상기 레지스터는, 상기 출력 제어에 관한 출력 제어 정보를 기억하고,
상기 출력 제어부는, 상기 레지스터에 기억된 상기 출력 제어 정보에 따라서, 상기 출력 제어를 행하는 촬상 장치.
제4항에 있어서,
상기 레지스터에 읽고 쓰기하는 정보를 외부와의 사이에서 교환하는 제1 통신 I/F를 더 포함하는 촬상 장치.
제1항에 있어서,
상기 신호 처리부는, 프로그램을 실행하는 프로세서이며,
상기 프로세서가 실행하는 프로그램을 외부로부터 다운로드하는 제2 통신 I/F를 더 포함하는 촬상 장치.
제1항에 있어서,
상기 신호 처리부는, 상기 신호 처리로서, 상기 촬상 화상으로부터 소정의 인식 대상을 인식하는 인식 처리를 행하는 촬상 장치.
제1항에 있어서,
외부의 센서로부터 외부 센서 출력을 수취하는 입력 I/F를 더 포함하고,
상기 신호 처리부는, 상기 촬상 화상 및 상기 외부 센서 출력을 이용한 신호 처리를 행하는 촬상 장치.
제9항에 있어서,
상기 외부 센서 출력은, 거리에 관한 정보를 센싱하는 거리 센서의 출력 또는 광을 센싱하여 상기 광에 대응하는 화상을 출력하는 이미지 센서의 출력인 촬상 장치.
제10항에 있어서,
상기 신호 처리부는, 상기 신호 처리로서, 상기 촬상 화상과 상기 거리 센서의 출력을 이용하여 거리를 구하는 퓨전 처리 또는 상기 이미지 센서의 출력으로서의 화상과 상기 촬상 화상을 이용한 자기 위치 추정 처리를 행하는 촬상 장치.
전자기기로서,
광을 집광하는 광학계와,
광을 수광하여, 상기 광의 수광량에 대응하는 화상을 출력하는 촬상 장치를 구비하고,
상기 촬상 장치는,
복수의 화소가 2 차원으로 배열된, 화상을 촬상하는 촬상부와,
상기 촬상부가 출력한 촬상 화상에 기초하는 데이타에 대하여 신호 처리의 적어도 일부를 행하는 신호 처리부와,
상기 신호 처리의 신호 처리 결과 또는 상기 신호 처리의 중간 데이타와, 상기 촬상 화상을 외부로 출력하는 출력 I/F와,
상기 신호 처리의 상기 신호 처리 결과, 상기 신호 처리의 상기 중간 데이타, 및 상기 촬상 화상을, 상기 출력 I/F로부터 외부로 출력시키는 출력 제어부
를 가지는
전자기기.
제1항에 있어서,
상기 신호 처리는 딥 러닝 처리를 포함하는 촬상 장치.
제1항에 있어서,
상기 촬상 장치는 상기 신호 처리부에 의해 실행되는 프로그램을 저장하는 메모리를 구비하고,
상기 메모리는, 상기 촬상부가 배치되는 기판과는 다른 기판에 배치되는 촬상 장치.