[go: up one dir, main page]

KR101973300B1 - 차량용 화상 표시 시스템 - Google Patents

차량용 화상 표시 시스템 Download PDF

Info

Publication number
KR101973300B1
KR101973300B1 KR1020177009496A KR20177009496A KR101973300B1 KR 101973300 B1 KR101973300 B1 KR 101973300B1 KR 1020177009496 A KR1020177009496 A KR 1020177009496A KR 20177009496 A KR20177009496 A KR 20177009496A KR 101973300 B1 KR101973300 B1 KR 101973300B1
Authority
KR
South Korea
Prior art keywords
image
range
vehicle
acquired
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020177009496A
Other languages
English (en)
Other versions
KR20170052645A (ko
Inventor
다쿠로 나이토
겐지 시라이시
겐지 가가미
도모노리 기무라
겐지 노자키
야스히로 노무라
히로미츠 시미즈
Original Assignee
가부시키가이샤 리코
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 리코 filed Critical 가부시키가이샤 리코
Publication of KR20170052645A publication Critical patent/KR20170052645A/ko
Application granted granted Critical
Publication of KR101973300B1 publication Critical patent/KR101973300B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/006—Side-view mirrors, e.g. V-shaped mirrors located at the front or rear part of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/04—Rear-view mirror arrangements mounted inside vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

차량용 화상 표시 시스템(7)은, 차량에 설치되어 차량의 주변부를 촬영하는 촬상 소자(1)와, 촬상 소자(1)에 의해서 촬영된 촬영 화상에 기초하여, 촬영 화상보다 범위가 더 좁은 화상을 취득하도록 구성된 화상 취득기(2)를 포함하는 촬영 디바이스(3)와, 화상 취득기(2)에 의해 취득된 취득 화상에 기초하여 표시될 화상을 생성하도록 구성된 화상 생성기(4)를 포함하는 제어 디바이스(5)와, 화상 생성기(4)에 의해 생성되는 표시될 화상을 표시하는 화상 표시 디바이스(6)를 포함한다. 취득 화상은 촬영 디바이스(3)로부터 제어 디바이스(5)에 전송된다.

Description

차량용 화상 표시 시스템{VEHICULAR IMAGE-DISPLAY SYSTEM}
본 발명은 차량용 화상 표시 시스템에 관한 것이다.
드라이브 레코더 및 차량 주변 감시 카메라의 보급으로, 차량 탑재용 카메라가 점차 보급되고 있다.
한편, 사이드 미러(side-view mirror) 및 백미러(rear-view mirror)와는 상이한 전자 미러도 개발되고 있지만, 안전성, 신뢰성, 및 성능의 관점에서 해결되어야 하는 기술적 장애물이 높기 때문에, 전자 미러는 아직 보편적으로 사용되고 있지는 않다.
전자 미러가 요구하는 것은 차량 주변의 화상이 안정적으로 계속 공급되는 것이다. 이것을 실현하기 위해서, 카메라로부터 디스플레이에까지 시스템은 고해상도(고화소 밀도), 고콘트라스트, 고프레임 레이트 및 고속에서 처리를 수행하는 것이 필요하다.
특허문헌 1로부터, 촬영된 화상을 이용하면서도, 차량 자체의 주변부에 있는 주의해야 하는 대상물을 보다 신속하고 직감적으로 파악할 수 있는 기술이 알려져 있다.
일본 특허 4941760호
그러나, 특허문헌 1의 기술은 표시되어야 하는 화상 범위가 촬영 화상 중에서 유래하기 때문에, 표시되지 않은 화상을 전송하기 위한 전송 부하가 커지는 단점이 있다.
상기 문제를 해결하기 위하여, 본 발명에 따른 차량용 화상 표시 시스템은, 차량의 주변부를 촬영하도록 구성된 촬상 소자(imaging element)와, 상기 촬상 소자에 의해서 촬영된 촬영 화상에 기초하여, 상기 촬영 화상보다 범위가 더 좁은 화상을 취득하도록 구성된 화상 취득기를 포함하는 촬영 디바이스(image capturing device)와, 상기 화상 취득기에 의해 취득된 취득 화상에 기초하여, 상기 취득 화상보다 범위가 더 좁은 화상을 생성하도록 구성된 화상 생성기를 포함하는 제어 디바이스와, 상기 화상 생성기에 의해 생성되는 표시될 화상을 표시하도록 구성된 화상 표시 디바이스를 포함하며, 상기 취득 화상은 상기 촬영 디바이스로부터 상기 제어 디바이스에 전송된다.
본 발명의 구성에 따르면, 촬영 디바이스에 의해 촬영된 화상으로부터 취득된 취득 화상을 제어 디바이스에 전송하기 때문에, 전송량이 감소한다.
도 1은 본 발명의 일 실시형태에 따른 차량용 화상 표시 시스템의 전체 구성도이다.
도 2는 본 발명의 일 실시형태에 따른 차량용 화상 표시 시스템의 시스템 구성도이다.
도 3은 본 발명의 일 실시형태에 따른 차량용 화상 표시 시스템의 참고 비교예로서의 차량용 화상 표시 시스템의 시스템 구성도이다.
도 4는 본 발명의 일 실시형태에 따른 차량용 화상 표시 시스템에 이용되는 화상의 범위(area)를 도시하는 도면이다.
도 5는 본 발명의 일 실시형태에 따른 차량용 화상 표시 시스템에서 촬영 화상과 미러의 관계를 도시하는 도면이다.
도 6은 본 발명의 일 실시형태에 따른 차량용 화상 표시 시스템에서 운전자의 움직임에 따른 화상의 위치 및 범위의 일례를 설명하는 도면이다.
도 7은 본 발명의 일 실시형태에 따른 차량용 화상 표시 시스템에서 운전자의 움직임에 따른 화상의 위치 및 범위의 일례를 설명하는 도면이다.
도 8은 본 발명의 일 실시형태에 따른 차량용 화상 표시 시스템에서 운전자의 움직임에 따른 화상의 위치 및 범위의 다른 예를 설명하는 도면이다.
도 9는 본 발명의 일 실시형태에 따른 차량용 화상 표시 시스템에서 운전자의 움직임에 따른 화상의 위치 및 범위의 다른 예를 설명하는 도면이다.
도 10은 본 발명의 일 실시형태에 따른 차량용 화상 표시 시스템에서 운전자의 움직임에 따른 화상의 위치 및 범위의 또 다른 예를 설명하는 도면이다.
도 11은 본 발명의 일 실시형태에 따른 차량용 화상 표시 시스템에서 운전자의 움직임에 따른 화상의 위치 및 범위의 또 다른 예를 설명하는 도면이다.
도 1은 본 발명의 일 실시형태에 관한 차량용 화상 표시 시스템(7)의 전체 구성도이다. 차량용 화상 표시 시스템(7)은 차량(101)에 설치된다. 차량용 화상 표시 시스템(7)은 차량 자체의 주변부를 촬영하고 그렇게 촬영된 화상으로부터 필요한 범위의 화상을 취득하는 촬영 디바이스(3)와, 촬영 디바이스(3)에 의해 취득된 취득 화상이, 촬영 디바이스(3)로부터 취득 화상 전송부(9)를 통해 전송되는 제어 디바이스(5)와, 차량(101)에 부착되어 제어 디바이스(5)에 의해 생성되는 표시 화상을 표시하는 화상 표시 디바이스(6)를 포함한다.
차량 실내 카메라(11)가 차량(101) 내부에 부착되어, 운전자(10)의 얼굴 화상을 계속 촬영한다. 촬영 디바이스(3)는 차량 실내 카메라(11)가 촬영한 화상 데이터에 기초하여 운전자(10)의 시선 위치(light-of-sight position)에 관한 정보를 분석하고, 그 분석 결과에 기초하여, 촬영 화상으로부터, 촬영 화상보다 범위가 더 좁은 화상을 취득한다.
도 2는 본 실시형태의 차량용 화상 표시 시스템(7)의 시스템 구성도이다.
촬영 디바이스(3)는 차량 자체의 주변부를 촬영하는 촬상 소자(1)와, 촬상 소자(1)에 의해 촬영된 촬영 화상으로부터 필요한 범위의 화상을 산출하는 화상 산출기(8)와, 화상 산출기(8)에 의해 산출된 범위의 화상을 취득하는 화상 취득기(2)를 포함한다.
화상 산출기(8)는 차량 실내 카메라(11)가 촬영한 화상 데이터로부터 운전자(10)의 시선 위치에 관한 정보를 분석하고, 그 분석 결과에 기초하여, 필요한 화상의 위치와 범위를 산출하며, 그 위치와 범위에 관한 정보를 촬상 소자(1)와 화상 취득기(2)에 전송한다.
촬상 소자(1)는 차량 후방을 촬영하고, 그렇게 촬영된 화상 데이터를 화상 취득기(2)에 전송한다.
촬상 소자(1)는 화상 산출기(8)로부터 수신된 필요한 화상의 위치와 범위에 관한 정보에 기초하여, 촬상 가능한 전체 화상 영역 중 일부 화상 영역만을 촬영하여 그 화상을 화상 취득기(2)에 전송한다. 촬상 소자(1)가 촬영하는 일부 화상 영역은 수평 방향으로는 촬상 가능한 전체 화상 영역을 커버하지만, 수직 방향으로는 촬상 가능한 전체 화상 영역 중 일부의 화상 영역만 커버하는 것이 바람직하다.
화상 취득기(2)는 화상 산출기(8)로부터 수신된 필요한 취득 화상의 위치와 범위에 관한 정보에 따라, 촬상 소자(1)로부터 수신된 촬영 화상에 대해 트리밍(trimming)을 행함으로써, 촬영 화상보다 범위가 더 좁은 화상을 취득한다. 이에 따라, 필요한 위치와 범위의 화상만이 취득 화상 전송부(9)에 의해 제어 디바이스(5)에 전송된다. 또한 이 때, 화상 산출기(8)에 의해 산출된 "위치와 범위에 관한 정보"는 취득 화상 전송부(9)를 통해 화상과 함께 제어 디바이스(5)에 전송된다.
제어 디바이스(5)는 촬영 디바이스(3)로부터 전송된 취득 화상에 기초하여, 화상 산출기(8)로부터 수신된 필요한 취득 화상의 위치와 범위에 관한 정보에 따라, 화상 표시 디바이스(6)에 표시될 표시 화상을 생성하는 화상 생성기(4)를 포함한다.
본 실시형태에 따른 차량용 화상 표시 시스템(7)에서는, 촬영 디바이스(3)에 의해 촬영된 촬영 화상의 전체 범위의 일부인, 화상 산출기(8)로부터 수신되는 필요한 위치와 범위의 취득 화상만이 제어 디바이스(5)에 전송되기 때문에, 화상 데이터의 전송량이 감소할 수 있다. 따라서, 화상 처리 부하가 감소할 수 있고, 차량 자체의 주변부가 신속히 표시될 수 있다.
도 3은 도 2에 도시한 구성을 갖는 본 실시형태의 효과를 설명하기 위한 참고 비교예로서의 차량용 화상 표시 시스템(27)의 시스템 구성도이다.
차량용 화상 표시 시스템(27)에 있어서, 촬영 디바이스(23)는 차량 자체의 주변부를 촬영하는 촬상 소자(21)를 포함한다. 촬영 디바이스(23)에 의해 촬영된 촬영 화상을 나타내는, 촬영 가능한 전체 범위의 화상 데이터가 화상 전송부(12)를 통해 제어 디바이스(25)에 전송된다.
제어 디바이스(25)는 화상 산출기(28)와 화상 생성기(24)를 포함한다. 화상 산출기(28)는 차량 실내 카메라(11)가 촬영한 화상 데이터로부터 운전자(10)의 시선 위치에 관한 정보를 분석하고, 그 분석 결과에 기초하여 필요한 화상의 위치와 범위를 산출하며, 그 위치와 범위를 화상 생성기(24)에 전송한다.
화상 생성기(24)는 촬영 디바이스(23)로부터 전송된 전체 범위의 화상 데이터에 기초하여, 화상 산출기(28)에 의해 산출된 필요한 위치와 범위에 관한 정보를 이용해, 화상 표시 디바이스(6)에 표시되는 화상을 생성한다.
도 3에 도시하는 참고 비교예에서는, 화상 트리밍, 즉 보다 구체적으로 설명하면, 촬영 화상보다 범위가 더 좁은 화상을 취득하는 처리가 제어 디바이스(25) 측의 화상 생성기(24)에 의해 행해진다. 따라서, 촬상 소자(21)로 촬영된 화상 데이터에, 화상 표시 디바이스(6) 상에 표시하는데 사용하지 않는 화상 데이터도 포함시켜, 화상 전송부(12)를 이용해 촬영 디바이스(23)로부터 제어 디바이스(25)에 전송되게 된다.
반면, 본 실시형태에서는 촬영 화상보다 범위가 더 좁은 화상을 취득하는 처리가 촬영 디바이스(3) 측의 화상 취득기(2)에 의해 행해짐으로써, 화상 생성기(4)가 필요로 하는 위치와 범위만의 취득 화상을 나타내는 화상 데이터가 취득된다. 따라서, 취득 화상 전송부(9)를 통해 촬영 디바이스(3)로부터 제어 디바이스(5)에 전송되는 화상 데이터가 최소화될 수 있다.
일반적인 차량에 사용되는 카메라는 통상 화상 데이터 전송부로서 수미터 길이의 롱 하네스(long harness)를 이용한다. 이 화상 데이터 전송부로부터 발생하는 노이즈가 큰 문제가 될 수 있기 때문에, 화상 데이터 전송부를 통해 전송되는 화상 데이터량을 저감시키는 것은 상당한 효율성으로 이어질 수 있다. 또한 도 3의 참고 비교예에서는, 촬영 디바이스(23)에 의해 촬영된 전체 범위의 화상 데이터가 화상 전송부(12)를 통해 제어 디바이스(25)에 전송된다. 따라서, 표시되지 않는 화상 영역을 위한 전송 부하가 쓸데없이 낭비되어, 차량 자체의 주변부의 신속한 표시를 방해한다.
도 4는 본 실시형태의 차량용 화상 표시 시스템(7)에 이용되는 화상의 범위를 도시하는 도면이다.
촬영 화상(15)은 촬영 디바이스(3)에 포함된 촬상 소자(1)에 의해 촬영된 화상이다.
취득 화상(14)은 촬영 디바이스(3)에 포함된 화상 산출기(8)에 의해 산출된 범위의 화상으로서, 화상 취득기(2)에 의해 취득된 화상이다.
산출 화상(13)은 화상 산출기(8)에 의해 산출되어 표시 유닛 상에 표시될 화상의 위치와 범위이다.
제어 디바이스(5)에 포함된 화상 생성기(4)는 취득 화상(14)에 기초하여, 산출 화상(13)에 대응하는 화상의 위치와 범위를, 화상 표시 디바이스(6) 상에 표시될 표시 화상으로서 생성한다.
취득 화상(14)은 촬영 화상(15)보다 범위가 더 좁은 화상이며, 화상 산출기(8)에 의해 산출되는 산출 화상(13)과 동일하거나 범위가 더 넓다. 산출 화상(13)은 취득 화상(14)과 동일하거나 범위가 더 좁은 화상이다.
촬영된 전체 범위의 촬영 화상(15)과 비교해서 취득 화상(14)은 범위가 좁기 때문에, 촬영 화상(15)과 비교하면 데이터 용량을 저감시킬 수 있다. 따라서, 제어 디바이스(5)에 취득 화상(14)을 전송하기 위한 전송 부하를 줄일 수 있다.
또한 취득 화상(14)은 실제로 표시되는 산출 화상(13)과 동일하거나 범위가 더 넓기 때문에, 화상 표시 디바이스(6) 상에 표시될 표시 화상의 적정 표시 범위를 결정할 때에, 화상 생성기(4)는 소정의 한계를 갖는 범위로부터 표시 범위를 선택할 수 있다. 그에 따라, 촬영 디바이스(3)를 이용해 재촬영을 해야 할 필요를 없앨 수 있다.
도 5는 촬영 화상과 미러의 관계를 도시하는 도면이다. 촬영 디바이스(3)에 의해 촬영된 촬영 화상(15)을 미러 대신에 사용할 경우, 도 5에 도시하는 바와 같이, 원래의 미러의 화상의 수직 위치와 그것을 기준으로 하는 범위 B보다, 촬영 화상(15)의 수직 위치와 그것을 기준으로 하는 범위 A가 더 크다.
도 6과 도 7은 본 실시형태의 차량용 화상 표시 시스템(7)에서 운전자의 움직임에 따른 화상의 위치 및 범위의 일례를 설명하는 도면이다. 운전자(10)가 도 6과 도 7의 위치 C에 표시되는 피사체를 보고자 할 경우, 운전자(10)는 통상, 운전자(10a)가 미러를 사용하여 후방을 확인하는 행동을 하는 것처럼, 자신의 시선 위치를 이동시키는 행동 D를 한다. 따라서, 촬영 디바이스(3)에 의해 촬영된 촬영 화상(15)을 미러 대신에 사용하더라도, 행동 D를 함으로써, 도 6과 도 7의 위치 C에 표시된 피사체를 보려고 할 것이다.
촬영 디바이스(3)에 의해 촬영된 촬영 화상(15)을 미러 대신에 사용할 경우, 도 5의 화상의 수직 위치와 그것을 기준으로 하는 범위 A와 같은 위치와 더 넓은 범위의 화상이 화상 표시 디바이스(6) 상에 표시된다면, 안전한 운전에 악영향을 미치는 불필요한 정보가 운전자(10)에 제공될 수 있다. 따라서, 운전자(10)의 위치로부터 시선이 연장되는 경우에는 도 6의 화상의 위치와 그것을 기준으로 하는 범위 E의 화상이 화상 표시 디바이스(6) 상에 표시되는 것이 바람직하고, 운전자(10a)의 위치로부터 시선이 연장되는 경우에는 도 6의 화상의 위치와 그것을 기준으로 하는 범위 F의 화상이 화상 표시 디바이스(6) 상에 표시되는 것이 바람직하다.
운전자(10)의 위치로부터 시선이 연장되는 경우에, 화상 산출기(8)는 차량 실내 카메라(11)가 촬영한 화상 데이터에 기초하여, 운전자(10)의 시선 위치에 관한 정보를 분석하고, 그 분석 결과에 기초하여, 필요한 화상의 범위로서 범위 E를 산출한다. 화상 취득기(2)는 촬영 화상(15)으로부터 산출된 범위 E를 포함하는 취득 화상(14)을 취득한다. 그리고, 화상 생성기(4)는 취득 화상(14) 및 범위 E를 나타내는 범위 정보에 기초하여, 화상 표시 디바이스(6) 상에 표시될 화상으로서 범위 E의 표시 화상을 생성한다. 이에 따라, 운전자(10)의 위치로부터 시선이 연장되는 경우에는, 범위 E의 화상이 화상 표시 디바이스(6) 상에 표시된다.
그 후, 운전자(10)가 운전자(10a)가 하는 것처럼 시신 위치를 이동시킨 경우, 화상 산출기(8)는 차량 실내 카메라(11)가 촬상한 화상 데이터에 기초하여 운전자(10)의 시선 위치에 관한 정보를 분석하고, 그 분석 결과에 기초하여, 필요한 화상 범위로서 범위 F를 산출한다. 화상 취득기(2)는 촬영 화상(15)으로부터, 산출된 범위 F를 포함하는 취득 화상(14)을 취득한다. 화상 생성기(4)는 취득 화상(14)과 범위 F를 나타내는 범위 정보에 기초하여, 화상 표시 디바이스(6) 상에 표시될 화상으로서 범위 F의 표시 화상을 생성한다. 이에 따라, 운전자(10)가 운전자(10a)의 위치로 시선 위치를 이동시키면, 범위 F의 화상이 화상 표시 디바이스(6) 상에 표시된다.
도 8과 도 9는 본 실시형태의 차량용 화상 표시 시스템(7)에서 운전자의 움직임에 따른 화상의 위치 및 범위의 다른 예를 설명하는 도면이다. 운전자(10)가 도 8과 도 9의 위치 G에 표시한 피사체를 보고자 할 경우에, 운전자(10)는 통상, 운전자(10b)가 미러를 사용하여 후방을 확인하는 행동을 하는 것처럼 자신의 시선 위치를 이동시키는 행동 I를 한다. 따라서, 촬영 디바이스(3)에 의해 촬영된 촬영 화상(15)을 미러 대신에 사용하더라도, 행동 I를 함으로써 도 8과 도 9의 위치 G에 표시된 피사체를 보려고 할 것이다.
이 경우, 운전자(10)의 위치로부터 시선이 연장되는 경우에는 도 8의 화상의 위치와 그것을 기준으로 하는 범위 E의 화상이 화상 표시 디바이스(6) 상에 표시되는 것이 바람직하고, 운전자(10b)의 위치로부터 시선이 연장되는 경우에는 도 8의 화상의 위치와 그것을 기준으로 하는 범위 H의 화상이 화상 표시 디바이스(6) 상에 표시되는 것이 바람직하다. 본 실시형태의 차량용 화상 표시 시스템(7)에 따르면, 운전자(10)의 위치로부터 시선이 연장되는 경우에는, 화상 표시 디바이스(6) 상에 범위 E의 화상이 표시되게 하지만, 운전자(10)가 자신의 시선을 운전자(10b)의 위치로 이동시키면, 화상 표시 디바이스(6) 상에 범위 H의 화상이 표시되게 하는 것이 가능하다.
도 10과 도 11은 본 실시형태의 차량용 화상 표시 시스템(7)에서 운전자의 움직임에 따른 화상의 위치 및 범위의 또 다른 예를 설명하는 도면이다. 도 10의 범위 E가 나타내는 미러를 운전자(10)가 근접 위치에서 보고자 할 경우, 도 11에 도시하는 운전자(10)는 통상, 운전자(10c)가 하는 것처럼 자신의 시선 위치를 이동시키는 행동 K를 한다. 따라서, 촬영 디바이스(3)에 의해 촬영된 촬영 화상(15)을 미러 대신에 사용하더라도, 행동 K를 함으로써, 미러를 클로즈업으로 보려고 할 것이다.
이 경우, 운전자(10)의 위치로부터 시선이 연장되는 경우에는 도 10의 화상의 위치와 그것을 기준으로 하는 범위 E의 화상이 화상 표시 디바이스(6) 상에 표시되는 것이 바람직하고, 시선이 운전자(10c)의 위치로부터 연장되는 경우에는 도 10의 화상의 위치와 그것을 기준으로 하는 범위 J의 화상이 화상 표시 디바이스(6) 상에 표시되는 것이 바람직하다. 본 실시형태의 차량용 화상 표시 시스템(7)에 따르면, 운전자(10)의 위치로부터 시선이 연장되는 경우에는 범위 E의 화상이 화상 표시 디바이스(6) 상에 표시되게 하지만, 운전자(10)가 자신의 시선 위치를 운전자(10c)의 위치로 이동시키면, 범위 J의 화상이 화상 표시 디바이스(6) 상에 표시되게 하는 것이 가능하다.
이런 식으로, 촬영 디바이스(3)에 의해 촬영된 촬영 화상(15)을 미러 대신에 사용하는 경우, 운전자의 시선 위치에 따라서, 화상 표시 디바이스(6) 상에 표시될 화상의 위치와 범위가 변하는 것이 중요할 것이다.

Claims (6)

  1. 차량용 화상 표시 시스템에 있어서,
    촬영 디바이스(image capturing device)로서,
    차량의 주변부를 촬영하도록 구성된 촬상 소자(imaging element)와,
    상기 촬상 소자에 의해서 촬영된 촬영 화상에 기초하여, 상기 촬영 화상보다 범위가 더 좁은 화상을 취득하도록 구성된 화상 취득기
    를 포함하는, 상기 촬영 디바이스와,
    상기 화상 취득기에 의해 취득된 취득 화상에 기초하여, 상기 취득 화상보다 범위가 더 좁은 화상을 생성하도록 구성된 화상 생성기를 포함하는 제어 디바이스와,
    상기 화상 생성기에 의해 생성되는 표시될 화상을 표시하도록 구성된 화상 표시 디바이스
    를 포함하고,
    상기 취득 화상은 상기 촬영 디바이스로부터 상기 제어 디바이스에 전송되는 것인 차량용 화상 표시 시스템.
  2. 제1항에 있어서,
    상기 화상 표시 디바이스 상에 표시될 화상의 화상 위치 및 범위를 산출하도록 구성된 화상 산출기를 더 포함하고,
    상기 취득 화상은 상기 화상 산출기에 의해 산출된 화상 위치 및 범위를 가진 산출 화상보다 범위가 더 넓은 화상이며,
    상기 표시될 화상은 상기 취득 화상보다 범위가 더 좁은 것인 차량용 화상 표시 시스템.
  3. 제2항에 있어서, 상기 화상 산출기는 상기 촬영 디바이스에 포함되는 것인 차량용 화상 표시 시스템.
  4. 제2항 또는 제3항에 있어서, 상기 화상 산출기는 상기 취득 화상의 범위 내에서 상기 화상 표시 디바이스 상에 표시될 화상의 화상 위치 및 범위를 산출하는 것인 차량용 화상 표시 시스템.
  5. 제2항 또는 제3항에 있어서,
    상기 차량의 운전자의 시선(line-of-sight) 위치를 분석하도록 구성된 시선 위치 분석기를 더 포함하고,
    상기 화상 산출기는 상기 시선 위치 분석기의 분석 결과에 기초하여 상기 화상 표시 디바이스 상에 표시될 화상의 화상 위치 및 범위를 산출하는 것인 차량용 화상 표시 시스템.
  6. 제1항에 있어서, 상기 촬상 소자는 상기 차량에 설치되는 것인 차량용 화상 표시 시스템.
KR1020177009496A 2014-10-17 2015-10-16 차량용 화상 표시 시스템 Expired - Fee Related KR101973300B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2014-212828 2014-10-17
JP2014212828 2014-10-17
PCT/JP2015/079377 WO2016060268A1 (ja) 2014-10-17 2015-10-16 車両用画像表示システム

Publications (2)

Publication Number Publication Date
KR20170052645A KR20170052645A (ko) 2017-05-12
KR101973300B1 true KR101973300B1 (ko) 2019-04-26

Family

ID=55746800

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177009496A Expired - Fee Related KR101973300B1 (ko) 2014-10-17 2015-10-16 차량용 화상 표시 시스템

Country Status (5)

Country Link
US (2) US10486598B2 (ko)
EP (1) EP3209017B1 (ko)
JP (1) JP6304391B2 (ko)
KR (1) KR101973300B1 (ko)
WO (1) WO2016060268A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019217970A (ja) * 2018-06-21 2019-12-26 日本電産コパル株式会社 電子ミラー装置及び画像表示方法
JP7115276B2 (ja) * 2018-12-10 2022-08-09 トヨタ自動車株式会社 運転支援装置、ウェアラブル装置、運転支援システム、運転支援方法およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005303792A (ja) 2004-04-14 2005-10-27 Auto Network Gijutsu Kenkyusho:Kk 車両周辺監視システム
JP2007081590A (ja) 2005-09-13 2007-03-29 Matsushita Electric Ind Co Ltd 車両側方確認装置
JP2009006893A (ja) 2007-06-28 2009-01-15 Aisin Aw Co Ltd 運転支援装置及びコンピュータプログラム
JP2010163104A (ja) 2009-01-16 2010-07-29 Denso Corp 車両用表示装置及びそれを備えた車両周辺視野表示システム

Family Cites Families (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4941760A (ko) 1972-08-28 1974-04-19
JP2001169067A (ja) 1999-12-10 2001-06-22 Ricoh Co Ltd 画像処理装置、画像情報管理方法およびその方法をコンピュータに実行させるプログラムを記憶したコンピュータ読み取り可能な記憶媒体
EP1193610B1 (en) 2000-09-29 2006-11-15 Ricoh Company, Ltd. Data processing apparatus and DMA data transfer method
JP2003101741A (ja) 2001-06-29 2003-04-04 Ricoh Co Ltd 画像処理装置、及びその制御方法、並びに制御装置
US7298412B2 (en) 2001-09-18 2007-11-20 Ricoh Company, Limited Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program
JP2003111050A (ja) * 2001-09-27 2003-04-11 Olympus Optical Co Ltd 映像配信サーバ及び映像受信クライアントシステム
JP3921069B2 (ja) 2001-10-15 2007-05-30 株式会社リコー 撮像装置
US7034838B2 (en) 2001-12-27 2006-04-25 Ricoh Company, Ltd. Information processing apparatus
CN1219395C (zh) 2002-01-30 2005-09-14 株式会社理光 摄像装置和摄像方法
US7573509B2 (en) 2002-01-30 2009-08-11 Ricoh Company, Ltd. Digital still camera, reproduction device, and image processor
JP3934954B2 (ja) 2002-02-07 2007-06-20 株式会社リコー 撮像装置
JP4008778B2 (ja) 2002-07-31 2007-11-14 株式会社リコー 撮像装置
JP3779247B2 (ja) 2002-08-08 2006-05-24 株式会社リコー 撮像装置
JP4127491B2 (ja) 2002-08-09 2008-07-30 株式会社リコー オートフォーカス機能付きカメラ
US7185151B2 (en) 2002-09-19 2007-02-27 Ricoh Company, Ltd. Data processing device characterized in its data transfer method, program for executing on a computer to perform functions of the device, and computer readable recording medium storing such a program
US7589782B2 (en) 2003-02-06 2009-09-15 Ricoh Company, Ltd. Imaging apparatus and imaging method for reducing release time lag
JP4136841B2 (ja) 2003-08-18 2008-08-20 株式会社リコー 撮像装置
US8827401B2 (en) 2003-08-19 2014-09-09 Ricoh Company, Ltd. Recording device including a device to detect misalignment of dots
JP4184930B2 (ja) 2003-11-19 2008-11-19 株式会社リコー 撮像装置および撮像方法および記録媒体
JP3755882B2 (ja) 2003-11-28 2006-03-15 Ｔｄｋ株式会社 永久磁石用合金粉末の製造装置及び製造方法
JP2005184391A (ja) 2003-12-18 2005-07-07 Ricoh Co Ltd 撮像装置およびその異常検出方法
US7598997B2 (en) 2004-01-14 2009-10-06 Ricoh Company, Ltd. Imaging apparatus and focus control method based on a number of automatic focus scan stages, and recording medium storing a program for executing such a method
JP4378197B2 (ja) 2004-03-15 2009-12-02 株式会社リコー 画像情報装置
JP2005354605A (ja) 2004-06-14 2005-12-22 Ricoh Co Ltd 画像入出力装置、画像入出力方法、コンピュータプログラム及び記録媒体
JP2006080876A (ja) 2004-09-09 2006-03-23 Ricoh Co Ltd 画像入出力装置、画像入出力方法、コンピュータプログラム及び記録媒体
JP4405350B2 (ja) 2004-09-16 2010-01-27 株式会社リコー 画像形成装置およびデータ漏洩防止プログラム
JP4724478B2 (ja) 2005-06-21 2011-07-13 株式会社リコー 撮像装置、撮像制御方法およびコンピュータ読取り可能の記録媒体
JP2007060613A (ja) 2005-07-29 2007-03-08 Ricoh Co Ltd 画像読取装置
JP4943721B2 (ja) 2006-03-20 2012-05-30 株式会社リコー 画像データのカラーノイズ除去方法及びこの方法を用いた撮像装置
JP2007282123A (ja) 2006-04-11 2007-10-25 Ricoh Co Ltd 画像配信システム、端末装置、画像配信装置、プログラム及び記録媒体
JP5111809B2 (ja) 2006-08-14 2013-01-09 株式会社リコー 光学素子、光学走査デバイス、及び画像形成装置
JP2008229922A (ja) 2007-03-18 2008-10-02 Ricoh Co Ltd 画像形成装置、リニアエンコーダ汚れ検出方法、リニアエンコーダ汚れ検出用画像の形成方法
US8009228B2 (en) 2007-07-12 2011-08-30 Ricoh Company, Ltd. Camera and direction indicating switch
US8931111B2 (en) 2007-07-17 2015-01-06 Ricoh Company, Ltd. Optical writing apparatus, image forming apparatus and computer readable information recording medium
US7813633B2 (en) 2007-07-31 2010-10-12 Ricoh Company, Ltd. Imaging device and imaging method
US7884866B2 (en) 2007-09-14 2011-02-08 Ricoh Company, Ltd. Imaging apparatus and imaging method
US8269852B2 (en) 2007-09-14 2012-09-18 Ricoh Company, Ltd. Imaging apparatus and imaging method
JP4941760B2 (ja) 2007-09-24 2012-05-30 株式会社デンソー 車両周辺監視装置
JP5347257B2 (ja) 2007-09-26 2013-11-20 日産自動車株式会社 車両用周辺監視装置および映像表示方法
JP2009169601A (ja) 2008-01-15 2009-07-30 Ricoh Co Ltd 画像処理システム及びこの画像処理システムを有するカメラ
JP5233851B2 (ja) 2008-06-12 2013-07-10 株式会社リコー 画像書き込み装置、画像形成装置、画像書き込み方法、画像書き込みプログラム及び記録媒体
JP5396753B2 (ja) 2008-06-23 2014-01-22 株式会社リコー 画像形成装置
EP2154899A3 (en) * 2008-08-14 2011-08-10 Samsung Electronics Co., Ltd. Decoding and scaling images
KR20100021168A (ko) 2008-08-14 2010-02-24 삼성전자주식회사 이미지 디코딩 장치 및 방법과 이를 이용한 이미지 데이터 처리 장치 및 방법
JP5347707B2 (ja) 2008-08-20 2013-11-20 株式会社リコー 撮像装置および撮像方法
JP5223686B2 (ja) 2009-01-07 2013-06-26 株式会社リコー 撮像装置および撮像方法
JP2010187354A (ja) 2009-01-16 2010-08-26 Ricoh Co Ltd 撮像装置
JP5251609B2 (ja) 2009-03-03 2013-07-31 株式会社リコー 記録装置、制御方法及びプログラム
JP5245943B2 (ja) 2009-03-13 2013-07-24 株式会社リコー 記録装置、制御方法及びプログラム
JP5621347B2 (ja) 2009-07-10 2014-11-12 株式会社リコー 記録装置及びプログラム
EP2473871B1 (en) 2009-09-01 2015-03-11 Magna Mirrors Of America, Inc. Imaging and display system for vehicle
JP5493729B2 (ja) 2009-11-06 2014-05-14 株式会社リコー 撮像システムと、本体ユニットおよびこれに接続の外部電子機器
JP5574093B2 (ja) 2009-11-24 2014-08-20 株式会社リコー 画像形成装置
US8736680B1 (en) * 2010-05-18 2014-05-27 Enforcement Video, Llc Method and system for split-screen video display
JP5899652B2 (ja) 2011-05-09 2016-04-06 株式会社リコー 画像形成装置、及び画像形成プログラム
WO2013008379A1 (ja) * 2011-07-13 2013-01-17 パナソニック株式会社 描画装置及び方法
JP2014119279A (ja) * 2012-12-13 2014-06-30 Auto Network Gijutsu Kenkyusho:Kk 画像処理システム
DE102012025322B4 (de) * 2012-12-22 2014-08-21 Audi Ag Kraftfahrzeug mit Kamera-Monitor-System
US20150194128A1 (en) * 2014-01-07 2015-07-09 Nvidia Corporation Generating a low-latency transparency effect
JP6315239B2 (ja) 2014-01-14 2018-04-25 株式会社リコー 撮像装置、撮像方法、画像処理装置、撮像プログラム
JP2016014564A (ja) 2014-07-01 2016-01-28 株式会社リコー 撮像ユニット

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005303792A (ja) 2004-04-14 2005-10-27 Auto Network Gijutsu Kenkyusho:Kk 車両周辺監視システム
JP2007081590A (ja) 2005-09-13 2007-03-29 Matsushita Electric Ind Co Ltd 車両側方確認装置
JP2009006893A (ja) 2007-06-28 2009-01-15 Aisin Aw Co Ltd 運転支援装置及びコンピュータプログラム
JP2010163104A (ja) 2009-01-16 2010-07-29 Denso Corp 車両用表示装置及びそれを備えた車両周辺視野表示システム

Also Published As

Publication number Publication date
JPWO2016060268A1 (ja) 2017-06-22
EP3209017A4 (en) 2017-11-01
US20200055455A1 (en) 2020-02-20
EP3209017B1 (en) 2019-12-04
US10486598B2 (en) 2019-11-26
US20170217373A1 (en) 2017-08-03
JP6304391B2 (ja) 2018-04-04
KR20170052645A (ko) 2017-05-12
EP3209017A1 (en) 2017-08-23
WO2016060268A1 (ja) 2016-04-21

Similar Documents

Publication Publication Date Title
JP6633216B2 (ja) 撮像装置、及び、電子機器
JP6669240B1 (ja) 記録制御装置、記録制御システム、記録制御方法、および記録制御プログラム
EP3200449A1 (en) On-board electronic mirror
EP1983397A3 (en) Landmark navigation for vehicles using blinking optical beacons
US7903144B2 (en) Electric hand-vibration correction method, electric hand-vibration correction device, electric hand-vibration correction program, and imaging apparatus
CN106488181B (zh) 显示控制装置、显示控制方法以及记录介质
CN113542529A (zh) 用于dms和oms的940nm led闪光同步
JP6705470B2 (ja) 記録再生装置、記録再生方法、およびプログラム
KR20140079947A (ko) 차량용 영상 녹화 장치 및 차량용 영상 녹화 방법
US7936385B2 (en) Image pickup apparatus and imaging method for automatic monitoring of an image
US20200275022A1 (en) Automotive driving recorder
KR101973300B1 (ko) 차량용 화상 표시 시스템
CN110497852A (zh) 车载摄像机和摄像机系统
US9143763B2 (en) Imaging apparatus, imaging method, and computer-readable recording medium
JP7018561B2 (ja) 表示制御装置、表示制御システム、表示制御方法、及び表示制御プログラム
CN113574855B (zh) 成像设备、成像信号处理设备和成像信号处理方法
JP6563694B2 (ja) 画像処理装置、画像処理システム、画像合成装置、画像処理方法及びプログラム
KR101724754B1 (ko) 동작 인식을 이용한 차량주변 촬영시스템
US8619119B2 (en) Digital photographing apparatus
KR20140111079A (ko) 카메라 제어 방법 및 그 시스템
JP2011207396A (ja) 車両用運転支援装置
CN113542533A (zh) 相机降噪
KR102529908B1 (ko) 차량 카메라를 이용한 타임랩스 영상 생성 장치 및 방법
WO2015115103A1 (ja) 画像処理装置、カメラシステム、および画像処理方法
JP2017103627A (ja) 車両後方表示装置

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20170407

Patent event code: PA01051R01D

Comment text: International Patent Application

A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20170410

Comment text: Request for Examination of Application

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180918

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20190326

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190422

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190422

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20230203