KR20170024943A

KR20170024943A - Vitual image generating apparatus, head mounted display and vehicle

Info

Publication number: KR20170024943A
Application number: KR1020150120571A
Authority: KR
Inventors: 이초일; 박형민; 김중락
Original assignee: 엘지전자 주식회사
Priority date: 2015-08-26
Filing date: 2015-08-26
Publication date: 2017-03-08
Anticipated expiration: 2035-08-26
Also published as: KR101781689B1

Abstract

실시예에 따른 가상 영상 생성장치는 차량 주변 영상을 촬영하는 카메라; 상기 차량 주변 영상에 포함되는 오브젝트와의 거리를 측정하는 깊이 센서; 상기 측정된 거리에 따라서 상기 차량 주변 영상을 가상 뷰 포인트 영상으로 생성하는 영상 처리부; 및 상기 가상 뷰 포인트 영상에 관한 데이터를 송수신하는 통신부;를 포함한다.A virtual image generating apparatus according to an embodiment of the present invention includes a camera for photographing a vehicle surroundings image; A depth sensor for measuring a distance to an object included in the vehicle surroundings image; An image processor for generating a virtual viewpoint image of the vehicle periphery image according to the measured distance; And a communication unit for transmitting and receiving data regarding the virtual viewpoint image.

Description

TECHNICAL FIELD [0001] The present invention relates to a virtual image generation apparatus, a head-mounted display,

본 발명은 가상 영상 생성장치, 가상 영상을 출력하는 헤드 마운티드 디스플레이 및 이를 포함하는 차량에 관한 것이다. The present invention relates to a virtual image generating apparatus, a head-mounted display for outputting virtual images, and a vehicle including the same.

차량은 탑승하는 사용자가 원하는 방향으로 이동시키는 장치이다. 대표적으로 자동차를 예를 들 수 있다.A vehicle is a device that moves a user in a desired direction by a boarding user. Typically, automobiles are examples.

차량을 이용하는 사용자의 편의를 위해, 최근 각 종 센서와 전자 장치 등이 구비되고 있는 추세이다. 특히, 사용자의 운전 편의를 위한 다양한 장치 등이 개발되고 있다.In recent years, various sensors and electronic devices have been provided for the convenience of users using the vehicle. In particular, various devices for the user's driving convenience have been developed.

한편, 최근 스마트 기기에 대한 연구와 소비자의 관심이 크게 증가하고 있다. Meanwhile, recent research on smart devices and consumers' interest are increasing.

스마트 기기 중에서 단말기는 기능이 다양화되어, 현재는 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임의 플레이, 방송의 수신 등 복합적인 기능을 갖춘 멀티미디어 디바이스로 사용되고 있다. Among the smart devices, the functions of the terminals are diversified and are currently used as multimedia devices having multiple functions such as photographing and video shooting, playing music or moving picture files, playing games, and receiving broadcasts.

이러한 단말기의 기능을 증대시키기 위하여, 단말기의 구조적인 부분 및/또는 소프트웨어적인 부분의 개량하는 것이 고려될 수 있다. In order to enhance the functionality of such a terminal, it may be considered to improve the structural and / or software aspects of the terminal.

그리고 스마트 기기 중에서 태블릿 PC 는 대화면의 터치 스크린을 이용하여 다양한 멀티미디어를 즐길 수 있도록 개발되고 있다. And among smart devices, tablet PC is being developed to enjoy various multimedia by using touch screen of big screen.

또한, 최근에는 안경의 구조로 이루어져 얼굴에 착용 가능한 디바이스로 구글 글래스가 발표된 바 있으며, 다양한 형태로 스마트 기기들이 발전해 나가고 있다. In addition, recently, Google Glass has been announced as a device that can be worn on the face composed of a glasses structure, and smart devices are being developed in various forms.

실시예는 차량에 스마트 기기를 접목시켜 새로운 사용자 환경을 제공할 수 있는 가상 영상 생성장치, 가상 영상을 출력하는 헤드 마운티드 디스플레이 및 이를 포함하는 차량을 제공하고자 한다.Embodiments provide a virtual image generation apparatus capable of providing a new user environment by combining a smart device with a vehicle, a head-mounted display for outputting virtual images, and a vehicle including the same.

실시예에 따른 헤드 마운티드 디스플레이는 차량 주변 가상 뷰 포인트 영상에 관한 데이터를 송수신하는 무선 통신부; 상기 가상 뷰 포인트 영상으로 좌안 영상 및 우안 영상을 생성하는 프로세서; 및 상기 좌안 영상 및 상기 우안 영상을 각각 표시하는 디스플레이부;를 포함한다.A head-mounted display according to an embodiment of the present invention includes: a wireless communication unit for transmitting and receiving data regarding a virtual viewpoint video around a vehicle; A processor for generating a left eye image and a right eye image from the virtual viewpoint image; And a display unit displaying the left eye image and the right eye image, respectively.

실시예는 전술한 가상 영상 생성장치를 포함하는 차량을 제공한다.The embodiment provides a vehicle including the aforementioned virtual image generating apparatus.

실시예에 따르면 가상 뷰 포인트 영상을 사용자에게 제공할 수 있으며, 가상 뷰 포인트 영상을 차량 외부의 다양한 위치에서 바라본 가상 뷰 포인트로 제공할 수 있다. According to the embodiment, a virtual viewpoint image can be provided to a user, and a virtual viewpoint image can be provided as a virtual viewpoint viewed from various locations outside the vehicle.

이러한 가상 뷰 포인트 영상은 360도 영상을 포함할 수 있어서, 사용자에게 차량 밖에서 바라보는 넓은 시야를 제공해주어, 차량 내부에 위치한 사용자는 전혀 새로운 운전 환경을 경험할 수 있다. Such a virtual viewpoint image can include a 360 degree image, thus providing a user with a wide field of view looking out of the vehicle, so that a user located inside the vehicle can experience a completely new operating environment.

또한, 이러한 가상 뷰 포인트 영상은 3D 영상을 포함할 수 있으며, 이러한 3D 영상은 사용자에게 차량 외부에 위치한 오브젝트와의 거리감을 부여하여, 차량 외부 상황을 사용자가 정확하게 인지할 수 있다.In addition, the virtual viewpoint image may include a 3D image, and the 3D image may give the user a sense of distance from an object located outside the vehicle, thereby enabling the user to accurately recognize the external situation of the vehicle.

도 1은 본 발명의 실시예에 따른 차량 주변 가상 뷰 포인트 영상을 출력하기 위한 가상 뷰 포인트 영상 출력 시스템의 블록도를 나타낸다.
도 2는 본 발명의 실시예에 따른 가상 뷰 포인트 영상 생성장치의 블록도를 나타낸다.
도 3은 본 발명의 실시예에 따른 카메라의 작동 방식을 설명하기 위한 도면이다.
도 4는 본 발명의 다른 실시예에 따른 카메라의 작동 방식을 설명하기 위한 도면이다.
도 5는 본 발명의 또 다른 실시예에 따른 카메라의 작동 방식을 설명하기 위한 도면이다.
도 6은 깊이 센서에서 측정된 거리로 작성된 3D 맵을 나타낸다.
도 7은 본 발명의 실시예에 따른 영상 및 측정 거리로부터 3D 영상을 생성하는 과정을 나타낸다.
도 8은 본 발명의 실시예에 따른 카메라를 나타낸다.
도 9는 본 발명의 다른 실시예에 따른 카메라를 나타낸다.
도 10은 본 발명의 실시예에 따른 카메라 촬영 영상을 나타내기 위한 개념도이다.
도 11은 본 발명의 실시예에 따른 디스플레이부에서 표시되는 가상 뷰 포인트 영상을 나타내기 위한 개념도이다.
도 12는 본 발명의 실시예에 따른 타차량의 영상을 표시하는 과정을 설명하기 위한 도면이다.
도 13은 본 발명의 실시예에 따른 헤드 마운티드 디스플레이의 외관을 나타낸다.
도 14는 본 발명의 실시예에 따른 헤드 마운티드 디스플레이의 블록도를 나타낸다.
도 15는 본 발명의 실시예에 따른 헤드 마운티드 디스플레이의 3D 영상 출력을 설명하기 위한 도면이다.
도 16은 본 발명의 실시예에 따른 가상 뷰 포인트 영상 표시방법을 나타내는 흐름도이다.
도 17은 본 발명의 실시예에 따른 타차량의 가상 뷰 포인트 영상을 표시하는 방법을 나타내는 흐름도이다.
도 18은 차량의 내부 블록도의 일 예이다.1 is a block diagram of a virtual viewpoint image output system for outputting a virtual viewpoint image around a vehicle according to an embodiment of the present invention.
2 is a block diagram of an apparatus for generating a virtual viewpoint image according to an embodiment of the present invention.
3 is a view for explaining a camera operation method according to an embodiment of the present invention.
4 is a view for explaining a camera operation according to another embodiment of the present invention.
5 is a view for explaining a camera operation according to another embodiment of the present invention.
Figure 6 shows a 3D map created with the distance measured at the depth sensor.
FIG. 7 illustrates a process of generating a 3D image from an image and a measurement distance according to an embodiment of the present invention.
8 shows a camera according to an embodiment of the present invention.
9 shows a camera according to another embodiment of the present invention.
FIG. 10 is a conceptual diagram illustrating a camera photographed image according to an embodiment of the present invention.
11 is a conceptual diagram illustrating a virtual view point image displayed on a display unit according to an embodiment of the present invention.
12 is a view for explaining a process of displaying an image of another vehicle according to an embodiment of the present invention.
13 shows an appearance of a head-mounted display according to an embodiment of the present invention.
14 shows a block diagram of a head-mounted display according to an embodiment of the present invention.
15 is a view for explaining a 3D image output of a head-mounted display according to an embodiment of the present invention.
16 is a flowchart illustrating a method of displaying a virtual viewpoint image according to an embodiment of the present invention.
17 is a flowchart illustrating a method of displaying a virtual viewpoint image of another vehicle according to an embodiment of the present invention.
18 is an example of an internal block diagram of the vehicle.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, wherein like reference numerals are used to designate identical or similar elements, and redundant description thereof will be omitted. The suffix "module" and " part "for the components used in the following description are given or mixed in consideration of ease of specification, and do not have their own meaning or role. In the following description of the embodiments of the present invention, a detailed description of related arts will be omitted when it is determined that the gist of the embodiments disclosed herein may be blurred. It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are intended to provide further explanation of the invention as claimed. , &Lt; / RTI > equivalents, and alternatives.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되지는 않는다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms including ordinals such as first, second, etc. may be used to describe various elements, but the elements are not limited by terms. Terms are used only for the purpose of distinguishing one component from another.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. The singular expressions include plural expressions unless the context clearly dictates otherwise.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In the present application, the terms "comprises", "having", and the like are used to specify that a feature, a number, a step, an operation, an element, a component, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

본 명세서에서 기술되는 차량은, 자동차, 오토바이를 포함하는 개념일 수 있다. 이하에서는, 차량에 대해 자동차를 위주로 기술한다.The vehicle described herein may be a concept including a car, a motorcycle. Hereinafter, the vehicle will be described mainly with respect to the vehicle.

본 명세서에서 설명되는 차량은 운전 주행 보조기능(ADAS, advanced driver assistance systems)을 제공할 수 있는 차량이다. 예를 들어, 차량은 사각지대감시기능(BSD, blind spot detection), 차선 이탈 방지 기능(LKAS, Lane Keeping Assist System), 차선 이탈 경고 기능(LDWS, Lane Departure Warning System) 및 자동 긴급제동(AEB, Autonomous Emergency Braking) 등을 제공할 수 있다. The vehicle described herein is a vehicle capable of providing advanced driver assistance systems (ADAS). For example, the vehicle is equipped with a blind spot detection (BSD), lane keeping assistance system (LKAS), lane departure warning system (LDWS) and automatic emergency braking (AEB) Autonomous Emergency Braking) can be provided.

본 명세서에서 기술되는 차량은, 동력원으로서 엔진을 구비하는 내연기관 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량 등을 모두 포함하는 개념일 수 있다.The vehicle described in the present specification may be a concept including both an internal combustion engine vehicle having an engine as a power source, a hybrid vehicle having an engine and an electric motor as a power source, and an electric vehicle having an electric motor as a power source.

이하의 설명에서 차량의 좌측은 차량의 주행 방향의 좌측을 의미하고, 차량의 우측은 차량의 주행 방향의 우측을 의미한다.In the following description, the left side of the vehicle means the left side in the running direction of the vehicle, and the right side of the vehicle means the right side in the running direction of the vehicle.

이하의 설명에서 별도로 언급되지 않는 한 LHD(Left Hand Drive) 차량을 중심으로 설명한다.Unless otherwise mentioned in the following description, the LHD (Left Hand Drive) vehicle will be mainly described.

도 1은 본 발명의 실시예에 따른 차량 주변 가상 뷰 포인트 영상을 출력하기 위한 가상 뷰 포인트 영상 출력 시스템의 블록도를 나타낸다.1 is a block diagram of a virtual viewpoint image output system for outputting a virtual viewpoint image around a vehicle according to an embodiment of the present invention.

도 1을 참조하면, 차량 주변 상황을 가상 뷰 포인트 영상으로 출력하기 위한 가상 뷰 포인트 영상 출력 시스템은 가상 영상 생성장치(100)를 포함하는 차량(700), 서버(500) 및 헤드 마운티드 디스플레이(600)(Head Mounted Display)를 포함할 수 있다. 여기서, 가상 뷰 포인트 영상을 차량(700)에서 촬영된 영상을 이미지 처리하여 생성된 자유 시점(Free View point)으로 표시 가능한 영상을 의미하는 것으로서, 실사 영상 및 허상 영상을 모두 포함하는 개념으로 이해할 수 있다. 1, a virtual viewpoint image output system for outputting a virtual viewpoint image of a vehicle surroundings situation includes a vehicle 700 including a virtual image generation apparatus 100, a server 500, and a head mounted display 600 (Head Mounted Display). Here, the virtual viewpoint image means an image that can be displayed as a free view point generated by image processing the image photographed by the vehicle 700, and can be understood as a concept including both a real image and a virtual image have.

이러한 가상 뷰 포인트 영상은 차량(700) 내에 구비된 가상 영상 생성장치(100)에서 생성되는 것으로 설명하나, 이에 한정하지는 않는다. 예를 들어, 차량(700)에서는 가상 뷰 포인트 영상 생성을 위한 정보를 수집하고, 이를 서버(500)나 헤드 마운티드 디스플레이(600)에 전송하여, 서버(500) 또는/및 헤드 마운티드 디스플레이(600)에서 가상 뷰 포인트 영상을 생성하는 실시예도 가능할 것이다. Although the virtual viewpoint image is generated by the virtual image generating apparatus 100 provided in the vehicle 700, the present invention is not limited thereto. For example, in the vehicle 700, the server 500 and / or the head-mounted display 600 may collect information for generating a virtual viewpoint image and transmit it to the server 500 or the head- An embodiment in which a virtual viewpoint image is generated in the virtual viewpoint image is also possible.

실시예에서는, 차량(700)에는 가상 영상 생성장치(100)가 구비되고, 가상 영상 생성장치(100)는 가상 뷰 포인트 영상 생성에 필요한 데이터를 직접 수집하고, 이를 토대로 가상 뷰 포인트 영상을 생성한 후, 데이터 송수신을 통해 헤드 마운티드 디스플레이(600)에서 가상 뷰 포인트 영상을 출력한다. In the embodiment, the vehicle 700 is provided with the virtual image generating apparatus 100, and the virtual image generating apparatus 100 directly collects data necessary for generating the virtual view point image, and generates a virtual view point image based on the collected data And outputs the virtual viewpoint image in the head-mounted display 600 through data transmission / reception.

먼저, 차량(700)은, 동력원에 의해 회전하는 바퀴(13FL, 13FR, 도 9 참조), 차량(700)의 주행을 제어하기 위한 운전 조작 수단(721A, 721B, 721C, 721D, 도 9 참조) 및 가상 영상 생성장치(100)를 포함할 수 있다. First, the vehicle 700 includes wheels 13FL and 13FR rotated by a power source, driving operation means 721A, 721B, 721C and 721D (see Fig. 9) for controlling the running of the vehicle 700, And a virtual image generating device 100. [

여기서, 가상 영상 생성장치(100)는 별도의 장치로서, 차량(700)과 데이터 통신을 통해 필요 정보를 주고 받으며 운전을 보조하는 기능을 실행할 수 있고, 차량(700)의 유닛 중 일부의 집합을 가상 영상 생성장치(100)로 정의할 수도 있다. Herein, the virtual image generating apparatus 100 is a separate apparatus that can perform necessary functions for exchanging necessary information with the vehicle 700 through data communication, assisting in driving, and can collect a part of the units of the vehicle 700 And may be defined as a virtual image generating apparatus 100.

그리고 별도의 장치일 때, 가상 영상 생성장치(100)의 각 유닛들 중 일부는 가상 영상 생성장치(100)에 포함되지 않고, 차량(700) 또는 차량(700)에 탑재된 다른 장치의 유닛일 수 있다. 이러한 유닛들은 가상 영상 생성장치(100)의 인터페이스부를 통해 데이터 송수신함으로써, 가상 영상 생성장치(100)에 포함되는 것으로 이해할 수 있다. Some of the units of the virtual image generating apparatus 100 are not included in the virtual image generating apparatus 100 and are not included in the vehicle 700 or other units of the apparatus mounted on the vehicle 700. [ . These units can be understood as being included in the virtual image generation apparatus 100 by transmitting and receiving data through the interface unit of the virtual image generation apparatus 100. [

실시예에 따른 가상 영상 생성장치(100)는 도 2에 도시한 각 유닛들을 직접 포함하는 것으로 설명하나, 차량(700)에 직접 설치된 각 유닛들을 인터페이스부를 통해 이용하는 것도 가능하고, 차량(700)에 직접 설치된 각 유닛들의 조합으로도 구현될 수도 있다. Although the virtual image generation apparatus 100 according to the embodiment includes the respective units shown in FIG. 2, it is also possible to use the units directly installed in the vehicle 700 through the interface unit, But may also be implemented as a combination of each directly installed unit.

이하 설명에서는 가상 영상 생성장치(100)가 가상 차선을 생성하고 출력하는데 필요한 유닛들을 직접 포함하고 있는 것으로 설명한다. In the following description, it is assumed that the virtual image generating apparatus 100 directly includes units necessary for generating and outputting virtual lanes.

가상 영상 생성장치(100)는 가상 뷰 포인트 영상을 생성하고 출력할 수 있다. The virtual image generating apparatus 100 can generate and output a virtual view point image.

여기서, 가상 뷰 포인트 영상은 자유 시점(Free View point)으로 표시 가능한 영상으로서, 가상 영상 생성장치(100)는 차량(700)에서 외부를 촬영하여 획득한 영상을 이미지 처리하여 차량(700) 외부의 다양한 위치에서 바라본 가상 뷰 포인트 영상으로 편집할 수 있다. Here, the virtual viewpoint image is an image that can be displayed as a free view point, and the virtual image generating apparatus 100 implements the image obtained by photographing the outside of the vehicle 700, You can edit virtual viewpoint images viewed from various locations.

이러한 가상 뷰 포인트 영상은 360도 영상을 포함할 수 있다. 예를 들어, 360도 영상은 차량(700)의 사방 및 상측 방향에서 촬영된 영상으로부터 생성된 가상 뷰 포인트 영상으로서, 이러한 360도 영상은 사용자가 차량(700) 밖에서 바라보는 넓은 시야를 제공해주어, 차량(700) 내부에 위치한 사용자는 전혀 새로운 운전 환경을 경험할 수 있다. Such a virtual viewpoint image may include a 360 degree image. For example, a 360-degree image is a virtual viewpoint image generated from an image photographed in all directions and an upward direction of the vehicle 700. Such a 360-degree image provides a wide field of view that a user looks at from outside the vehicle 700, A user located inside the vehicle 700 can experience a completely new operating environment.

또한, 이러한 가상 뷰 포인트 영상은 3D 영상을 포함할 수 있다. 예를 들어, 3D 영상은 카메라에서 촬영된 2D 영상을 깊이 센서로부터 얻어진 거리를 활용해 영상 처리하여 생성될 수 있으며, 이러한 3D 영상은 사용자에게 차량(700) 외부에 위치한 오브젝트와의 거리감을 부여하여, 차량(700) 외부 상황을 사용자가 정확하게 인지할 수 있다. In addition, the virtual viewpoint image may include a 3D image. For example, a 3D image can be generated by processing a 2D image photographed by a camera using a distance obtained from a depth sensor, and the 3D image gives a sense of distance to an object located outside the vehicle 700 , The user can accurately recognize the external situation of the vehicle 700.

이러한 가상 뷰 포인트 영상은 헤드 마운티드 디스플레이(600)에 전송되어 표시될 수 있다. This virtual viewpoint image may be transmitted to the head-mounted display 600 and displayed.

헤드 마운티드 디스플레이(600)는 사용자의 머리에 장착되어 사용자의 시야 전체에 이미지를 표시할 수 있어, 사용자에게 가상 현실을 제공할 수 있다. 특히, 360도 영상이 헤드 마운티드 디스플레이(600)에 표시될 때, 그 효과는 배가 될 수 있다. The head-mounted display 600 can be mounted on a user's head to display an image on the entire user's field of view, thereby providing a virtual reality to the user. In particular, when a 360 degree image is displayed on the head-mounted display 600, the effect may be doubled.

즉, 가상 영상 생성장치(100)에서 생성된 가상 뷰 포인트 영상은 헤드 마운티드 디스플레이(600)를 통해 제공됨으로써, 사용자는 새로운 사용자 환경을 경험할 수 있다. That is, the virtual viewpoint image generated by the virtual image generating apparatus 100 is provided through the head-mounted display 600, so that the user can experience a new user environment.

실시예에서 가상 뷰 포인트 영상을 표시하는 장치로 헤드 마운티드 디스플레이(600)를 제안하나, 이에 한정되지는 않고, 스마트 폰이나 티브이 등 다양한 단말기에 가상 뷰 포인트 영상이 제공되고 표시될 수도 있다. In the embodiment, a head-mounted display 600 is proposed as an apparatus for displaying a virtual viewpoint image. However, the present invention is not limited to this, and a virtual viewpoint image may be provided and displayed on various terminals such as a smartphone or a TV.

한편, 가상 뷰 포인트 영상은 서버(500)로 전송되어 저장될 수 있다. Meanwhile, the virtual viewpoint image may be transmitted to the server 500 and stored.

서버(500)에 저장된 가상 뷰 포인트 영상은 이후 사용자에게 제공될 수 있으며, 사고시 보험사나 공공기관에 제공되어, 사고시 차량(700) 외부 상황을 정확하게 판단할 수 있다. The virtual view point image stored in the server 500 can be provided to the user afterwards and provided to an insurance company or a public institution in case of an accident so that the user can accurately determine the situation outside the vehicle 700 in the event of an accident.

이하, 도 2 내지 도 12를 참조하여 가상 영상 생성장치(100)에 대해 좀더 자세히 설명한다.Hereinafter, the virtual image generation apparatus 100 will be described in more detail with reference to FIGS. 2 to 12. FIG.

먼저, 도 2를 보면, 이러한 가상 영상 생성장치(100)는 입력부(110), 통신부(120), 인터페이스부(130), 메모리(140), 모니터링부(150), 카메라(160), 프로세서(170), 디스플레이부(180), 오디오 출력부(185) 및 전원 공급부(190)를 포함할 수 있다. Referring to FIG. 2, the virtual image generating apparatus 100 includes an input unit 110, a communication unit 120, an interface unit 130, a memory 140, a monitoring unit 150, a camera 160, 170, a display unit 180, an audio output unit 185, and a power supply unit 190.

먼저, 가상 영상 생성장치(100)는 사용자의 입력을 감지하는 입력부(110)를 포함할 수 있다. 사용자는 입력부(110)를 통해 운전 보조장치 기능을 온/오프하거나, 가상 영상 생성장치(100)의 전원을 온/오프시키는 실행 입력을 할 수 있다. First, the virtual image generation apparatus 100 may include an input unit 110 for sensing a user's input. The user can input an execution input for turning on / off the driving assistant function through the input unit 110 or turning on / off the power of the virtual image generating apparatus 100.

예를 들어, 사용자는 입력부(110)를 통해 가상 뷰 포인트 영상의 시야를 제어하는 입력이 가능하다. 자세히, 사용자는 평면 디스플레이에 가상 뷰 포인트 영상이 표시되는 경우, 사용자의 드래그 입력을 전달 받아 가상 뷰 포인트 영상의 시야를 변경할 수 있다. 좀더 자세히, 사용자는 좌측 드래그 입력을 통해 가상 뷰 포인트 영상의 시야를 좌측으로 이동시킬 수 있으며, 우측 드래그 입력을 통해 가상 뷰 포인트 영상의 시야를 우측으로 이동시킬 수 있다. For example, the user can input an input through the input unit 110 to control the field of view of the virtual viewpoint image. In detail, when the virtual view point image is displayed on the flat display, the user can receive the drag input of the user and change the view of the virtual view point image. More specifically, the user can move the view of the virtual viewpoint image to the left side through the left drag input, and move the view of the virtual viewpoint image to the right side through the right drag input.

이러한 입력부(110)는 사용자 제스쳐를 감지하는 제스쳐 입력부, 터치를 감지하는 터치 입력부 및 음성 입력을 감지하는 마이크로 폰 중 적어도 하나 이상을 포함하여, 사용자 입력을 감지할 수 있다. The input unit 110 may include at least one of a gesture input unit for sensing a user gesture, a touch input unit for sensing a touch, and a microphone for sensing a voice input.

다음으로, 가상 영상 생성장치(100)는 타차량(510), 헤드 마운티드 디스플레이(600) 및 서버(500) 등과 통신하는 통신부(120)를 포함할 수 있다. 가상 영상 생성장치(100)는 통신부(120)를 통해 생성한 가상 뷰 포인트 영상 관련 데이터를 송신할 수 있고, 타차량(510)의 영상 관련 데이터를 수신할 수도 있다. Next, the virtual image generating apparatus 100 may include a communication unit 120 for communicating with the other vehicle 510, the head-mounted display 600, and the server 500 and the like. The virtual image generating apparatus 100 may transmit the virtual view point image related data generated through the communication unit 120 and may receive the image related data of the other vehicle 510. [

자세히, 통신부(120)는 헤드 마운티드 디스플레이(600), 차량(700) 주변에 인접한 타차량(510) 또는/및 서버(500)와 무선(wireless) 방식으로 데이터를 교환할 수 있다. 특히, 통신부(120)는 운전자의 헤드 마운티드 디스플레이(600)와 무선으로 데이터를 교환할 수 있다. In detail, the communication unit 120 can exchange data wirelessly with the head-mounted display 600, another vehicle 510 adjacent to the vehicle 700, and / or the server 500. In particular, the communication unit 120 can wirelessly exchange data with the head-mounted display 600 of the driver.

무선 데이터 통신 방식으로는 블루투스(Bluetooth) WiFi, Direct WiFi, APiX 또는 NFC 등 다양한 데이터 통신 방식이 가능하다.Wireless data communication methods include Bluetooth (WiFi), Direct WiFi, APiX or NFC.

이러한 통신부(120)는 헤드 마운티드 디스플레이(600) 또는 서버(500)에 가상 뷰 포인트 영상을 송신하고 저장할 수 있다. The communication unit 120 may transmit and store the virtual viewpoint image to the head-mounted display 600 or the server 500. [

반대로, 통신부(120)는 헤드 마운티드 디스플레이(600) 또는 서버(500)로부터 위치 정보 날씨 정보 도로의 교통 상황 정보 예를 들면 TPEG(Transport Protocol Expert Group) 정보를 수신할 수 있다. Conversely, the communication unit 120 can receive traffic situation information, for example, TPEG (Transport Protocol Expert Group) information on the location information weather information road from the head-mounted display 600 or the server 500.

또한, 사용자가 차량(700)에 탑승한 경우, 사용자의 헤드 마운티드 디스플레이(600)와 가상 영상 생성장치(100)는 자동으로 또는 사용자의 애플리케이션 실행에 의해 서로 페어링(pairing)을 수행할 수도 있다. In addition, when the user is boarding the vehicle 700, the user's head-mounted display 600 and the virtual image generating apparatus 100 may perform pairing with each other automatically or by execution of the user's application.

통신부(120)는 페어링을 통해 가상 뷰 포인트 영상을 헤드 마운티드 디스플레이(600)로 전송하여, 사용자에게 가상 현실을 제공할 수 도 있다. The communication unit 120 may transmit a virtual viewpoint image to the head mounted display 600 through pairing to provide a virtual reality to the user.

한편, 통신부(120)를 통해 타차량(510)으로부터 주변 영상을 수신할 수 있다. 자세히, 타차량(510)은 주변을 촬영하고 이를 통신부(120)를 통해 차량(700)으로 전송할 수 있다. On the other hand, the surrounding image can be received from the other vehicle 510 through the communication unit 120. More specifically, the other vehicle 510 can take the surroundings and transmit it to the vehicle 700 through the communication unit 120.

입력부(110)는 타차량(510)을 선택 입력을 감지할 수 있고, 통신부(120)는 선택된 타차량(510)으로부터 주변 영상을 전송 받을 수 있다. The input unit 110 can sense the selection input of the other vehicle 510 and the communication unit 120 can receive the peripheral image from the selected other vehicle 510. [

자세히, 도 12를 보면, 차량(700) 주변에 타차량(510_1,2,3,4,5,6)이 위치하면, 사용자는 타차량(510_1,2,3,4,5,6) 중 적어도 하나를 선택하여, 선택된 차량(700)에서 촬영된 영상을 수신할 수 있다. 12, when the other vehicles 510_1, 2, 3, 4, 5, and 6 are located around the vehicle 700, the user selects one of the other vehicles 510_1, The user can select at least one and receive the photographed image from the selected vehicle 700. [

예를 들어, 사용자는 차량(700) 정체시 전방 측으로 타차량(510_1,2,3,4,5,6)을 변경하면서 타차량(510_1,2,3,4,5,6)의 영상을 확인하여, 사고 지점에 타차량(510_3) 영상을 확인할 수 있고, 이에 대비한 운전을 수행할 수 있다. For example, the user may change the images of the other vehicles 510_1, 2, 3, 4, 5, and 6 while changing the other vehicles 510_1, It is possible to confirm the image of the other vehicle 510_3 at the accident point, and to perform the operation in preparation for this.

사용자는 예기치 못한 차량(700) 정체시에 타차량(510_3)으로부터 정체 원인에 대한 영상을 전송 받아 이를 확인하고, 이에 맞추어 운전할 수 있다. The user can receive an image of the cause of the congestion from the other vehicle 510_3 at the time of an unexpected congestion of the vehicle 700, confirm the congestion, and operate the congested vehicle.

다음으로, 가상 영상 생성장치(100)는 차량(700) 관련 데이터를 수신하거나 프로세서(170)에서 처리 또는 생성된 신호를 외부로 전송하는 인터페이스부(130)를 포함할 수 있다. Next, the virtual image generating apparatus 100 may include an interface unit 130 for receiving data related to the vehicle 700, or for transmitting signals processed or generated by the processor 170 to the outside.

자세히, 가상 영상 생성장치(100)는 인터페이스부(130)를 통해 내비게이션 정보 또는/및 센서 정보를 수신할 수 있다. 그리고 수신된 정보는 가상 뷰 포인트 영상 생성시 활용될 수 있다. In detail, the virtual image generation apparatus 100 may receive navigation information and / or sensor information through the interface unit 130. [ Then, the received information can be utilized in generating a virtual viewpoint image.

이를 위해, 인터페이스부(130)는 유선 통신 또는 무선 통신 방식에 의해 차량(700) 내부의 제어부(770), AVN(Audio Video Navigation) 장치(400) 및 센서부(760) 등과 데이터 통신을 수행할 수 있다.To this end, the interface unit 130 performs data communication with the control unit 770, the AVN (Audio Video Navigation) device 400, and the sensor unit 760 in the vehicle 700 by a wired communication or a wireless communication method .

인터페이스부(130)는 제어부(770) AVN 장치(400) 또는/및 별도의 내비게이션 장치와의 데이터 통신에 의해 내비게이션 정보를 수신할 수 있다. The interface unit 130 may receive the navigation information by the data communication with the controller 770, the AVN apparatus 400, and / or the separate navigation device.

또한, 인터페이스부(130)는 제어부(770) 또는 센서부(760)로부터 센서 정보를 수신할 수 있다. Also, the interface unit 130 may receive the sensor information from the control unit 770 or the sensor unit 760.

여기서, 센서 정보는 차량(700)의 방향 정보, 위치 정보, 차속 정보, 가속도 정보, 기울기 정보, 전진/후진 정보, 연료 정보, 전후방 차량(700)과의 거리 정보, 차량(700)과 차선과의 거리 정보 및 턴 시그널 정보 중 적어도 하나 이상의 정보를 포함할 수 있다.The sensor information includes direction information of the vehicle 700, position information, vehicle speed information, acceleration information, tilt information, forward / backward information, fuel information, distance information to the front and rear vehicles 700, The distance information and the turn signal information.

또한, 센서 정보는 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량(700) 전진/후진 센서, 휠 센서(wheel sensor), 차량(700) 속도 센서, 차체 경사 감지센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량(700) 내부 온도 센서, 차량(700) 내부 습도 센서 등으로부터 획득될 수 있다. 한편, 포지션 모듈은, GPS 정보 수신을 위한 GPS 모듈을 포함할 수 있다. In addition, the sensor information may include a heading sensor, a yaw sensor, a gyro sensor, a position module, a vehicle 700 forward / backward sensor, a wheel sensor, A vehicle body tilt sensor, a fuel sensor, a tire sensor, a steering sensor by steering wheel rotation, an internal temperature sensor of the vehicle 700, an internal humidity sensor of the vehicle 700, and the like. On the other hand, the position module may include a GPS module for receiving GPS information.

인터페이스부(130)는 차량(700)의 사용자 입력부(110)를 통해 수신되는 사용자 입력을 수신할 수 있다. 인터페이스부(130)는 사용자 입력을 차량(700)의 입력부(720)로부터 수신하거나 제어부(770)를 거쳐 수신할 수 있다. 즉, 입력부(110)가 차량(700) 자체 내에 구성으로 배치된 경우, 인터페이스부(130)를 통해 사용자 입력을 전달받을 수 있다. The interface unit 130 may receive a user input received through the user input unit 110 of the vehicle 700. [ The interface unit 130 may receive the user input from the input unit 720 of the vehicle 700 or via the control unit 770. That is, when the input unit 110 is arranged in the vehicle 700 itself, user input may be received through the interface unit 130.

인터페이스부(130)는 서버(500)로부터 획득된 교통 정보를 수신할 수도 있다. 서버(500)는 교통을 관제하는 교통 관제소에 위치하는 서버(500)일 수 있다. 예를 들면, 차량(700)의 통신부(120)를 통해 서버(500)로부터 교통 정보가 수신되는 경우 인터페이스부(130)는 교통 정보를 제어부(770)로부터 수신할 수도 있다.The interface unit 130 may receive the traffic information obtained from the server 500. The server 500 may be a server 500 located in a traffic control station that controls traffic. For example, when traffic information is received from the server 500 through the communication unit 120 of the vehicle 700, the interface unit 130 may receive the traffic information from the control unit 770. [

다음, 메모리(140)는 프로세서(170)의 처리 또는 제어를 위한 프로그램 등 가상 영상 생성장치(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다. Next, the memory 140 may store various data for operation of the entire virtual image generating apparatus 100, such as a program for processing or controlling the processor 170. [

또한, 메모리(140)는 오브젝트 확인을 위한 데이터를 저장할 수 있다. 예를 들면, 메모리(140)는, 카메라(160)를 통해 획득된 영상에서, 소정 오브젝트가 검출되는 경우, 소정 알고리즘에 의해, 오브젝트가 무엇에 해당하는지 확인하기 위한 데이터를 저장할 수 있다.In addition, the memory 140 may store data for object identification. For example, when a predetermined object is detected in the image acquired through the camera 160, the memory 140 may store data for confirming what the object corresponds to by a predetermined algorithm.

예를 들어, 메모리(140)는 오브젝트 확인을 위한 데이터로 교통 정보에 대한 데이터를 저장할 수 있다. 예를 들면, 메모리(140)는, 카메라(160)를 통해 획득된 영상에서, 차선, 교통 표지판과 같은 소정의 교통 정보가 검출되는 경우, 소정 알고리즘에 의해, 교통 정보가 또한, 메모리(140)는 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다.For example, the memory 140 may store data on traffic information as data for object identification. For example, when predetermined traffic information such as a lane or a traffic sign is detected from an image obtained through the camera 160, the memory 140 also stores traffic information in the memory 140 by a predetermined algorithm, May be various storage devices such as ROM, RAM, EPROM, flash drive, hard drive, and the like in hardware.

다음으로, 가상 영상 생성장치(100)는 차량(700) 내부 영상을 촬영하는 모니터링부(150)를 포함할 수 있다. Next, the virtual image generation apparatus 100 may include a monitoring unit 150 that captures an internal image of the vehicle 700.

자세히, 모니터링부(150)는 사용자의 생체 인식 정보를 감지하여 획득할 수 있다. 그리고 획득된 생체 인식 정보는 운전 보조기능 작동이력에 포함될 수 있다. 예를 들어, 자동 긴급제동 기능이 작동했을 때, 사용자의 운전 조작수단 제어 상태나 사용자의 흥분 상태 등이 저장되어, 이후 운전 보조기능 작동이력 정보가치를 보완할 수 있다. In detail, the monitoring unit 150 can detect and acquire biometric information of the user. The obtained biometric information may be included in the operation history of the driving assistance function. For example, when the automatic emergency braking function is activated, the user's driving control means control state, the user's excitement state, and the like are stored, and the information value of the driving assistant function operation history can be supplemented thereafter.

이러한 생체 인식 정보는 사용자를 촬영한 영상 정보, 지문 인식(Fingerprint) 정보, 홍채 인식(Iris-scan) 정보, 망막 인식(Retina-scan) 정보, 손모양(Hand geo-metry) 정보, 안면 인식(Facial recognition) 정보, 음성 인식(Voice recognition) 정보를 포함할 수 있다. 즉, 모니터링부(150)는 사용자의 생체 인식 정보를 센싱하는 센서를 포함할 수 있다.Such biometric information may include image information captured by a user, fingerprint information, iris-scan information, retina-scan information, hand geo-metry information, facial recognition Facial recognition information, and voice recognition information. That is, the monitoring unit 150 may include a sensor for sensing biometric information of a user.

또한, 모니터링부(150)는 사용자의 생체 인식을 위한 이미지를 획득할 수 있다. 즉, 모니터링부(150)는 차량(700) 내부에 배치된 영상 획득 모듈일 수 있다. In addition, the monitoring unit 150 may acquire an image for biometrics of the user. That is, the monitoring unit 150 may be an image acquisition module disposed inside the vehicle 700.

다음으로, 가상 영상 생성장치(100)는 차량 주변 영상을 촬영하는 카메라(160)를 포함할 수 있다. Next, the virtual image generating apparatus 100 may include a camera 160 for photographing a vehicle peripheral image.

이러한 카메라(160) 내에는 차량(700) 주변 오브젝트와 카메라(160) 간 거리를 측정하는 깊이 센서(165)가 포함될 수 있다. The camera 160 may include a depth sensor 165 for measuring a distance between an object around the vehicle 700 and the camera 160.

자세히, 카메라(160)는 차량 주변 영상을 촬영하고, 깊이 센서(165)는 차량(700) 주변 오브젝트와의 거리를 측정하고, 영상 처리부(171)는 주변 영상과 거리 정보를 통해 가상 뷰 포인트 영상을 생성할 수 있다. In detail, the camera 160 photographs a vehicle periphery image, the depth sensor 165 measures a distance to an object near the vehicle 700, and the image processor 171 photographs a virtual viewpoint image Can be generated.

실시예에서, 별도의 깊이 센서(165) 없이 카메라(160)는 광을 조사하지 않고 영상 정보만을 이용하여 물체까지의 거리를 계산하는 방식으로 스테레오 카메라(160)(stereo camera) 방식을 사용할 수 있다. In an embodiment, without a separate depth sensor 165, the camera 160 may use the stereo camera method 160 in a manner that calculates the distance to the object using only the image information without illuminating the light .

자세히, 도 3을 보면, 카메라(160)는 동일한 방향을 바라보는 2대의 카메라(161L, 160R)를 포함하면, 오브젝트는 좌측 카메라(161L)에서 촬영된 영상과 우측 카메라(161R)에서 촬영된 영상 내에 서로 다른 픽셀(pixel) 좌표에 위치하게 된다. 이 픽셀 좌표의 차이와 오브젝트와의 거리 사이의 상관관계를 이용하여 오브젝트와 카메라(160) 간의 거리를 측정할 수 있다. 3, when the camera 160 includes two cameras 161L and 160R that face the same direction, the object is an image captured by the left camera 161L and an image captured by the right camera 161R Are located at different pixel coordinates within the pixel. The distance between the object and the camera 160 can be measured using the correlation between the difference of the pixel coordinates and the distance between the object and the object.

이러한 스테레오 카메라(161L, 161R)는 광 조사 없이 영상 정보 만으로 오브젝트와의 거리를 측정하여, 구조가 단순하고 영상과 거리 간의 매칭률이 높아 정밀도가 높은 가상 뷰 포인트 영상을 구현할 수 있는 장점이 있다. The stereo cameras 161L and 161R measure the distance to the object with only the image information without light irradiation, so that the structure is simple and the matching rate between the image and the distance is high, so that a virtual viewpoint image with high precision can be realized.

또한, 도 4를 보면, 깊이 센서(162a, 162b)는 광을 출력하는 출력부(162a)와, 오브젝트에 반사된 반사광을 수신하는 디텍터(162b)를 포함할 수 있다. 깊이 센서(162a, 162b)는 오브젝트에 변조광을 조사하고 반사되어 돌아온 광을 감지하여 위상의 변화로부터 거리를 계산하는 TOF 방식(time-of-flight)으로부터 카메라(160)와 물체간 거리를 측정할 수 있다. 4, the depth sensors 162a and 162b may include an output unit 162a for outputting light and a detector 162b for receiving reflected light reflected from the object. The depth sensors 162a and 162b measure the distance between the camera 160 and the object from the time-of-flight (TOF) method of calculating the distance from the phase change by irradiating the modulated light to the object and sensing the returned light. can do.

또한, 도 5를 보면, 깊이 센서(163a, 163b)로부터 일정 거리에 있는 레이저(laser) 등에 의해 조사되고 반사된 광의 위치를 감지하여 삼각측량을 이용하여 거리를 계산하는 삼각(triangulation) 방식으로 오브젝트와의 거리를 측정할 수 있다. 자세히, 특정 모양의 패턴을 가진 빛을 비추고, 오브젝트에서 투영되는 형태를 다른 카메라(160)에서 분석하여 거리를 측정할 수 있다. 5, in the triangulation method of calculating the distance using the triangulation by sensing the position of the light irradiated and reflected by a laser or the like at a certain distance from the depth sensors 163a and 163b, Can be measured. In detail, the camera 160 can measure the distance by illuminating the light having the pattern of a specific shape and the shape projected from the object.

이와 같이 오브젝트와 카메라(160) 간의 거리를 측정하고, 영상 처리부(171)는 측정된 거리로 도 6과 같이 3D 맵을 생성할 수 있다. 영상 처리부(171)는 3D 맵과 촬영 영상을 매칭하여 가상 뷰 포인트 영상을 생성할 수 있다. In this way, the distance between the object and the camera 160 is measured, and the image processing unit 171 can generate the 3D map as shown in FIG. 6 at the measured distance. The image processing unit 171 may generate a virtual viewpoint image by matching the 3D map with the photographed image.

자세히, 도 7을 보면, 영상 처리부(171)는 촬영 영상과 3D 맵의 픽셀 포인트(pixel point)를 깊이 정보를 이용하여, 3차원 상의 좌표로 맵핑함으로써 가상의 2D 시점을 생성할 수 있다. 7, the image processing unit 171 can generate a virtual 2D view by mapping the pixel points of the 3D image and the photographed image to 3D coordinates using depth information.

그리고 촬영 영상의 3차원 상의 좌표를 가상의 시점으로 프로젝션(projection) 하여 3D 영상을 생성할 수 있다. 즉, 가상 뷰 포인트 영상은 3D 영상일 수 있다. 이때, 프로젝션(Projection)이 안되는 빈 영역(hole)은 주위 픽셀들로 채워 전체적인 3D 영상을 구현할 수 있다. The 3D image can be generated by projecting the coordinates of the three-dimensional image of the photographed image to a virtual viewpoint. That is, the virtual viewpoint image may be a 3D image. At this time, a hole that is not projected can be filled with surrounding pixels to realize an overall 3D image.

이러한 카메라(160)는 복수의 카메라(160)를 더 포함할 수 있다. The camera 160 may further include a plurality of cameras 160.

자세히, 도 8을 보면, 카메라(160)는 주변 360도를 모두 촬영할 수 있는 360도 카메라(160)일 수 있다. 이러한 카메라(160)는 원형 바디부에 각기 다른 방향을 촬영하는 복수의 카메라(160)가 배치되고, 원형 바디부를 지지하는 지지대로 구현될 수 잇다. 8, the camera 160 may be a 360-degree camera 160 capable of photographing all 360 degrees in the periphery. The camera 160 may include a plurality of cameras 160 for photographing different directions on the circular body part and a support for supporting the circular body part.

이러한 360도 카메라(160)는 차량(700)의 지붕 상측에 배치되어 차량(700)의 전후좌우 및 상측을 촬영하여 360도 영상을 획득할 수 있다. The 360 degree camera 160 is disposed on the roof of the vehicle 700, and can photograph the front, back, left, right, and upper sides of the vehicle 700 to obtain a 360 degree image.

이러한 360도 영상은 사용자가 차량(700) 외부에서 밖을 바라보는 듯한 사용자 경험을 제공할 수 있다. Such a 360 degree image can provide a user experience as if the user is looking out from the outside of the vehicle 700.

또한, 도 9를 보면, 복수의 카메라(160a, 160b, 160c, 160d)는, 각각 차량(700)의 좌측, 후방, 우측 및 전방 중 적어도 하나 이상에 배치될 수 있다. 즉, 각기 다른 방향을 촬영하도록 복수의 카메라(160a, 160b, 160c, 160d)가 배치될 수 있다. 9, the plurality of cameras 160a, 160b, 160c, and 160d may be disposed on at least one of the left, rear, right, and front sides of the vehicle 700, respectively. That is, a plurality of cameras 160a, 160b, 160c, and 160d may be disposed to photograph different directions.

좌측 카메라(160b)는, 좌측 사이드 미러를 둘러싸는 케이스 내에 배치될 수 있다. 또는, 좌측 카메라(160b)는, 좌측 사이드 미러를 둘러싸는 케이스 외부에 배치될 수 있다. 또는, 좌측 카메라(160b)는 좌측 프런트 도어, 좌측 리어 도어 또는 좌측 휀더(fender) 외측 일 영역에 배치될 수 있다.The left camera 160b may be disposed in a case surrounding the left side mirror. Alternatively, the left camera 160b may be disposed outside the case surrounding the left side mirror. Alternatively, the left camera 160b may be disposed in one area outside the left front door, the left rear door, or the left fender.

우측 카메라(160c)는, 우측 사이드 미러를 둘러싸는 케이스 내에 배치될 수 있다. 또는 우측 카메라(160c)는, 우측 사이드 미러를 둘러싸는 케이스 외부에 배치될 수 있다. 또는, 우측 카메라(160c)는 우측 프런트 도어, 우측 리어 도어 또는 우측 펜터(fendere) 외측 일 영역에 배치될 수 있다.The right camera 160c may be disposed in a case surrounding the right side mirror. Or the right camera 160c may be disposed outside the case surrounding the right side mirror. Alternatively, the right camera 160c may be disposed in one area outside the right front door, the right rear door, or the right fender.

또한, 후방 카메라(160d)는, 후방 번호판 또는 트렁크 스위치 부근에 배치될 수 있다. 전방 카메라(160a)는, 앰블럼 부근 또는 라디에이터 그릴 부근에 배치될 수 있다.Further, the rear camera 160d can be disposed in the vicinity of a rear license plate or a trunk switch. The front camera 160a may be disposed in the vicinity of the ambulance or in the vicinity of the radiator grill.

영상 처리부(171)는 이와 같이 사방에서 촬영된 영상을 가상 뷰 포인트 영상을 생성할 수 있다. 가상 뷰 포인트 영상 생성시, 각 영상 사이에서 경계 부분이 발생한다. 이러한 경계 부분은 이미지 블렌딩(blending) 처리하여 자연스럽게 표시될 수 있다.The image processor 171 can generate a virtual viewpoint image of the image photographed in all directions. When a virtual viewpoint image is generated, a boundary portion occurs between the respective images. These boundary portions can be naturally displayed by image blending processing.

즉, 도 10을 보면, 실시예에 따른 카메라(160)는 차량(700)의 전방 영상(210), 후방 영상(240), 좌측 영상(220), 우측 영상(230) 및 상측 영상(250) 중 적어도 하나 이상을 획득할 수 있다. 10, the camera 160 according to the embodiment includes a forward image 210, a backward image 240, a left image 220, a right image 230, and an image 250 of the vehicle 700, At least one of them can be obtained.

영상 처리부(171)는 이와 같이 획득된 복수의 방향의 영상(210, 220, 230, 240, 250)을 이미지 처리하여 3차원 가상 뷰 포인트 영상을 생성할 수 있다. The image processing unit 171 can generate a three-dimensional virtual viewpoint image by image-processing the images 210, 220, 230, 240, and 250 in the plurality of directions thus obtained.

이러한 3차원 가상 뷰 포인트 영상 내에서 사용자는 다양한 시점으로 영상을 제어할 수 있도록, 영상 처리부(171)는 3차원 가상 뷰 포인트 영상을 편집할 수 잇다. In such a 3D virtual viewpoint image, the user can edit the 3D virtual viewpoint image so that the user can control the image at various viewpoints.

이러한 카메라(160)는 이미지 센서와 영상 처리 모듈을 포함할 수 있다. 카메라(160)는 이미지 센서(예를 들면, CMOS 또는 CCD)에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다. 영상 처리 모듈은 이미지 센서를 통해 획득된 정지영상 또는 동영상을 가공하여, 필요한 정보를 추출하고, 추출된 정보를 영상 처리부(171)에 전달할 수 있다. The camera 160 may include an image sensor and an image processing module. The camera 160 may process still images or moving images obtained by an image sensor (e.g., CMOS or CCD). The image processing module processes the still image or moving image obtained through the image sensor, extracts necessary information, and transmits the extracted information to the image processing unit 171. [

다음, 가상 영상 생성장치(100)는 가상 뷰 포인트 영상을 표시하는 디스플레이부(180)를 포함할 수 있다. 그리고 이러한 디스플레이부(180)는 복수의 디스플레이를 포함할 수 있다. Next, the virtual image generating apparatus 100 may include a display unit 180 for displaying a virtual view point image. The display unit 180 may include a plurality of displays.

자세히, 디스플레이부(180)는 평면으로 가상 뷰 포인트 영상을 표시할 수 있다. In detail, the display unit 180 can display a virtual viewpoint image in a plane.

가상 뷰 포인트 영상은 다양한 시점과 다양한 시야에서 차량(700) 외부 상황을 이미지로 제공할 수 있으므로, 사용자는 디스플레이부(180)에서 입력부(110)로 뷰 포인트를 제어하여 다양한 시야의 차량 주변 영상을 인식할 수 있다. Since the virtual viewpoint image can provide an image of the external situation of the vehicle 700 at various viewpoints and various viewpoints, the user can control the viewpoint from the display unit 180 to the input unit 110, Can be recognized.

예를 들어, 도 11을 보면, 전후좌우에서 촬영된 영상은 파노라마 영상(210i 220i, 230i, 240i)으로 제공되어, 사용자는 좌측 드래그 또는 우측 드래그로 원하는 뷰 포인트로 가상 뷰 포인트 영상을 볼 수 있다. 그리고 사용자는 상측 드래그를 통해 차량(700)의 상측에서 촬영한 영상(250i)을 볼 수 있다. For example, referring to FIG. 11, the images photographed in front, rear, left, and right are provided as panoramic images 210i, 220i, 230i, and 240i so that the user can view the virtual viewpoint image with a desired view point with a left drag or a right drag . The user can see the image 250i photographed from the upper side of the vehicle 700 through the upper drag.

이러한 제 1 디스플레이부는 차량(700)의 윈드실드(W)(windshield)에 이미지를 투사하여 표시하는 제 1 디스플레이부를 포함할 수 있다. 즉, 제 1 디스플레이부는 HUD(Head Up Display)로, 윈드실드(W)에 이미지를 투사하는 투사 모듈을 포함할 수 있다. 그리고 투사 모듈이 투사하는 투사 이미지는 일정 투명도를 가져, 사용자는 투사 이미지 뒤 모습과 투사 이미지를 동시에 볼 수도 있다. The first display unit may include a first display unit for projecting an image on a windshield W of the vehicle 700 to display the image. That is, the first display unit may include a projection module for projecting an image on the windshield W, as a Head Up Display (HUD). Also, the projection image projected by the projection module has a certain transparency, and the user can simultaneously view the projected image and the projected image.

이러한 제 1 디스플레이부에서 표시되는 투사 이미지는 윈드실드(W)에 투영되는 투영 이미지와 겹쳐셔 증강현실(Augmented Reality, AR)을 이룰 수 있다. The projection image displayed on the first display unit overlaps with the projection image projected on the windshield W to form an augmented reality (AR).

한편, 디스플레이부(180)는 차량(700) 내부에 별도로 설치되어 이미지를 디스플레이하는 제 2 디스플레이부를 포함할 수 있다. Meanwhile, the display unit 180 may include a second display unit installed inside the vehicle 700 to display an image.

자세히, 제 2 디스플레이부는 차량(700) 내비게이션 장치의 디스플레이나 차량(700) 내부 전면의 클러스터(cluster)일 수 있다. In detail, the second display unit may be a display of the navigation device of the vehicle 700 or a cluster on the inner front surface of the vehicle 700.

또한, 제 2 디스플레이부는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.The second display unit may be a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), a flexible display display, a 3D display, and an e-ink display.

이러한 제 2 디스플레이부는 터치 입력부와 결합되어 터치 스크린을 이룰 수 있다. The second display unit may be combined with a touch input unit to form a touch screen.

또한, 가상 영상 생성장치(100)는 오디오 출력부(185) 및 전원 공급부(190)를 더 포함할 수 있다. The virtual image generating apparatus 100 may further include an audio output unit 185 and a power supply unit 190.

마지막으로, 가상 영상 생성장치(100)는 가상 영상 생성장치(100) 내의 각 유닛의 전반적인 동작을 제어하는 프로세서(170)를 포함할 수 있다. Finally, the virtual image generating apparatus 100 may include a processor 170 for controlling the overall operation of each unit in the virtual image generating apparatus 100. [

그리고 프로세서(170)에는 가상 뷰 포인트 영상을 생성하고 편집하는 영상 처리부(171)를 포함할 수 있다. The processor 170 may include an image processor 171 for generating and editing a virtual viewpoint image.

영상 처리부(171)는 깊이 센서(165)와 카메라(160)로부터 얻은 정보로 가상 뷰 포인트 영상을 생성할 수 있다. The image processing unit 171 can generate a virtual viewpoint image from the information obtained from the depth sensor 165 and the camera 160.

자세히, 영상 처리부(171)는 깊이 센서(165)에서 측정된 거리로 3D 맵을 생성할 수 있다. 영상 처리부(171)는 3D 맵과 촬영 영상을 매칭하여 가상 뷰 포인트 영상을 생성할 수 있다. In detail, the image processing unit 171 can generate a 3D map at a distance measured by the depth sensor 165. [ The image processing unit 171 may generate a virtual viewpoint image by matching the 3D map with the photographed image.

다음으로, 영상 처리부(171)는 촬영 영상과 3D 맵의 픽셀 포인트(pixel point)를 깊이 정보를 이용하여, 3차원 상의 좌표로 맵핑함으로써 가상의 2D 시점을 생성할 수 있다. Next, the image processing unit 171 can generate a virtual 2D view by mapping the pixel points of the 3D image and the photographed image to three-dimensional coordinates using depth information.

또한, 영상 처리부(171)는 차량(700)의 적어도 2방향 이상에서 촬영된 영상을 매칭하여 가상 뷰 포인트 영상을 생성할 수 있다. 그리고 가상 뷰 포인트 영상 생성시, 각 영상 사이에서 경계 부분이 발생한다. 영상 처리부(171)는 이러한 경계 부분를 이미지 블렌딩(blending) 처리하여 자연스럽게 표시할 수 있다. Also, the image processing unit 171 may generate a virtual viewpoint image by matching images photographed in at least two directions of the vehicle 700. [ When a virtual viewpoint image is generated, a boundary portion is generated between each image. The image processing unit 171 can perform image blending processing on the boundary portion to naturally display the image.

영상 처리부(171)는 입력부(110)를 통해 가상 뷰 포인트 영상의 시야를 제어하는 입력을 수신하여 제어된 입력에 대응되도록 가상 뷰 포인트 영상을 편집하여 제공할 수 있다. 자세히, 사용자는 평면 디스플레이에 가상 뷰 포인트 영상이 표시되는 경우, 사용자의 드래그 입력을 전달 받아 가상 뷰 포인트 영상의 시야를 변경할 수 있다. 영상 처리부(171)는 사용자가 좌측 드래그 입력을 하면 가상 뷰 포인트 영상의 시야를 좌측으로 이동시킬 수 있으며, 우측 드래그 입력을 하면 가상 뷰 포인트 영상의 시야를 우측으로 이동시킬 수 있다. The image processor 171 may receive an input for controlling the field of view of the virtual viewpoint image through the input unit 110 and may edit the virtual viewpoint image to correspond to the controlled input. In detail, when the virtual view point image is displayed on the flat display, the user can receive the drag input of the user and change the view of the virtual view point image. The image processing unit 171 can move the view of the virtual viewpoint image to the left side when the user inputs a left drag and move the view of the virtual viewpoint image to the right side when the right drag is input.

또한, 영상 처리부(171)는 타차량(510)으로부터 수신된 영상으로부터 가상 뷰 포인트 영상을 생성할 수 있다.In addition, the image processing unit 171 can generate a virtual viewpoint image from the image received from the other vehicle 510. [

자세히, 통신부(120)를 통해 타차량(510)으로부터 주변 영상을 수신할 수 있다. 자세히, 타차량(510)은 주변을 촬영하고 이를 통신부(120)를 통해 차량(700)으로 전송할 수 있다. In detail, the surrounding image can be received from the other vehicle 510 through the communication unit 120. More specifically, the other vehicle 510 can take the surroundings and transmit it to the vehicle 700 through the communication unit 120.

영상 처리부(171)는 선택된 타차량(510)에서 전송받은 영상으로부터 가상 뷰 포인트 영상을 생성하고 통신부(120)를 통해 헤드 마운티드 디스플레이(600)로 전송할 수 있다. The image processing unit 171 may generate a virtual viewpoint image from the image transmitted from the selected other vehicle 510 and transmit the virtual viewpoint image to the head mounted display 600 through the communication unit 120.

이와 같이 생성된 가상 뷰 포인트 영상은 자유 시점(Free View point)으로 표시 가능한 영상으로서, 가상 영상 생성장치(100)는 차량(700)에서 외부를 촬영하여 획득한 영상을 이미지 처리하여 차량(700) 외부의 다양한 시점에서 바라본 영상으로 편집할 수 있다. The virtual viewpoint image generated in this manner is an image that can be displayed as a free view point. The virtual image generating apparatus 100 implements the image obtained by photographing the outside of the vehicle 700, You can edit images from various viewpoints from outside.

또한, 이러한 가상 뷰 포인트 영상은 3D 영상을 포함할 수 있다. 예를 들어, 3D 영상은 카메라(160)에서 촬영된 2D 영상을 깊이 센서(165)로부터 얻어진 거리를 활용해 영상 처리하여 생성될 수 있으며, 이러한 3D 영상은 사용자에게 차량(700) 외부에 위치한 오브젝트와의 거리감을 부여하여, 차량(700) 외부 상황을 사용자가 정확하게 인지할 수 있다. In addition, the virtual viewpoint image may include a 3D image. For example, the 3D image may be generated by image processing the 2D image photographed by the camera 160 using the distance obtained from the depth sensor 165, and the 3D image may be generated by using an object located outside the vehicle 700 So that the user can accurately recognize the external situation of the vehicle 700. [

이와 같은 프로세서(170)는 ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(170)(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(170)(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.Such a processor 170 may be implemented as a processor, such as application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs) controllers, micro-controllers, microprocessors 170, and other electronic units for performing other functions.

그리고 이러한 프로세서(170)는 제어부의 제어를 받거나, 제어부를 통해 차량(700)을 여러 기능을 제어할 수 있다. The processor 170 may be controlled by the control unit or may control various functions of the vehicle 700 through the control unit.

헤드 마운티드 디스플레이(600)는 사용자의 머리에 장착되어 사용자의 시야 전체에 이미지를 표시할 수 있어, 사용자에게 가상 현실을 제공할 수 있다. 특히, 360도 영상이 헤드 마운티드 디스플레이(600)에 표시될 때, 그 효과는 더욱 증진될 수 있다. The head-mounted display 600 can be mounted on a user's head to display an image on the entire user's field of view, thereby providing a virtual reality to the user. In particular, when a 360 degree image is displayed on the head-mounted display 600, the effect can be further enhanced.

또한, 헤드 마운티드 디스플레이(600)는 좌안과 우안에 각각 다른 영상을 표시할 수 있으므로, 사용자에게 3D 영상을 현실세계와 동등한 모습으로 제공할 수 있다. In addition, since the head-mounted display 600 can display different images on the left and right eyes, it is possible to provide the 3D image to the user in the same manner as the real world.

도 13을 보면, 실시예에 따른 헤드 마운트 디스플레이 장치는, 사용자의 얼굴(머리)에 착용가능한 안경의 형태로 이루어지고, 메인 바디를 형성하는 글래스 프레임과, 글래스 프레임 양측 단부를 형성하고 사용자의 귀에 접촉하게 되는 지지부와, 사용자의 전면 영상을 촬영할 수 있도록 글래스 프레임 전면에 배치되는 카메라(160)와, 가상 영상이 디스플레이 되는 표시부(650a, 650b)를 포함할 수 있다. Referring to Fig. 13, the head-mounted display device according to the embodiment includes a glass frame in the form of eyeglasses wearable on the user's face (head), a glass frame for forming the main body, A camera 160 disposed on the front surface of the glass frame so as to capture a front image of the user, and display units 650a and 650b displaying virtual images.

헤드 마운트 디스플레이 장치가 안경으로서 보다 견고한 지지를 위하여 사용자의 얼굴에서 코 영역을 지지하기 위한 제 2 지지부를 더 포함할 수 있으며, 도시되지는 않았지만, 사용자의 양쪽 눈 앞에 위치하는 안경알이 글래스 프레임에 더 결합될 수 있다. The head mount display device may further include a second support portion for supporting the nose region on the face of the user for more firm support as the eyeglass. Although not shown, the eyeglass eye positioned in front of both eyes of the user may be attached to the glass frame Can be combined.

사용자는 이러한 구조의 헤드 마운트 디스플레이 장치를 착용하면, 조작에 따라 카메라를 이용하여 눈 앞의 상황을 녹화할 수 있으며, 제어부의 제어에 따라 표시부에 이미지, 텍스트 등의 멀티미디어를 감상할 수 있다. 특히, 앞서 설명한 바와 같이, 헤드 마운트 디스플레이 장치에는 주변의 음성 데이터를 수신할 수 있는 마이크가 구비되고, 헤드 마운트 디스플레이 장치의 움직임을 감지할 수 있는 동작 센서 등이 더 마련된다. When the user wears the head-mounted display device having such a structure, the user can record a situation in front of the user using the camera according to the operation, and can enjoy multimedia such as images and texts on the display unit under the control of the controller. In particular, as described above, the head-mounted display device is further provided with a microphone capable of receiving peripheral audio data, and an operation sensor capable of detecting movement of the head-mounted display device.

도 14를 보면, 이러한 헤드 마운티드 디스플레이(600)는 무선 통신부(610), A/V(Audio/Video) 입력부(620), 센싱부(640), 표시부(650), 저장부(660), 제어부(680) 및 전원 공급부(690) 등을 포함할 수 있다. 도 14의 디스플레이 장치는 필수 구성요소들로만 도시된 것이 아니기 때문에, 다른 구성요소를 더 포함하거나 도시된 구성요소들 중 일부가 포함되지 않는 장치로도 구현될 수 있다. 14, the head-mounted display 600 includes a wireless communication unit 610, an A / V input unit 620, a sensing unit 640, a display unit 650, a storage unit 660, A power supply unit 680, a power supply unit 690, and the like. Since the display device of Fig. 14 is not shown only as essential components, it may be implemented as an apparatus that further includes other components or does not include some of the components shown in the figures.

먼저, 무선 통신부(610)는 헤드 마운티드 디스플레이(600)와 무선 통신 시스템 사이, 또는 차량(700) 사이의 무선 통신을 가능하게 하는 역할을 수행하며, 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(610)는 근거리 통신 모듈(611) 및 위치정보 모듈(612) 등을 포함할 수 있다. First, the wireless communication unit 610 serves to enable wireless communication between the head-mounted display 600 and the wireless communication system or between the vehicle 700 and may include one or more modules. For example, the wireless communication unit 610 may include a short range communication module 611, a location information module 612, and the like.

이러한 무선 통신부(610)는 가상 영상 생성장치(100) 또는/및 서버(500)로부터 가상 뷰 포인트 영상을 전송 받을 수 있다. The wireless communication unit 610 may receive the virtual viewpoint image from the virtual image generation apparatus 100 and / or the server 500. [

근거리 통신 모듈(611)은 근거리 통신을 위한 모듈을 나타내는 것으로서, 예를 들면, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA:Infrared Data Association), UWB(Ultra Wideband), ZigBee 등과 같은 근거리 통신이 가능해지도록 하는 역할을 수행한다. The short-range communication module 611 is a module for short-range communication. The short-range communication module 611 is a module for short-range communication, for example, Bluetooth, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB) So that the same short-range communication can be performed.

특히, 근거리 통신 모듈(611)은 외부로부터 전달되는 신호, 예를 들면, 블루투스 신호, RF 신호, 적외선 신호, UWB 신호, Zigbee 신호를 수신하는 역할도 함께 수행할 수 있다. 따라서, 헤드 마운티드 디스플레이(600)가 근거리 통신 모듈(114)을 통하여 외부의 다른 이동 단말기와 통신이 가능한 경우에, 이동 단말기로부터 전달되는 제어 신호를 수신하여, 그에 따라 헤드 마운티드 디스플레이(600)가 동작될 수 있다. Particularly, the short-range communication module 611 can also receive a signal transmitted from the outside, for example, a Bluetooth signal, an RF signal, an infrared signal, a UWB signal, and a Zigbee signal. Accordingly, when the head-mounted display 600 is capable of communicating with another mobile terminal via the short-range communication module 114, the head-mounted display 600 receives the control signal transmitted from the mobile terminal, .

위치정보 모듈(612)은 헤드 마운티드 디스플레이(600)의 위치를 획득하기 위한 역할을 수행하며, 예를 들면, GPS(Global Position System) 모듈로 이루어질 수 있다. 또한, 이러한 위치정보 모듈(612)은 표시부(650)에 표시될 수 있으며, 마이크(622)에 의하여 녹음 또는 음성인식이 수행된 위치의 정보를 확인할 수 있다. The position information module 612 serves to acquire the position of the head-mounted display 600, and may be, for example, a Global Position System (GPS) module. The location information module 612 can be displayed on the display unit 650 and can confirm the information of the location where the recording or speech recognition is performed by the microphone 622. [

이외에, 무선 통신부(610)는 무선 인터넷 모듈을 더 포함할 수 있으며, 이 경우, 무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈을 나타내는 것으로서, 헤드 마운티드 디스플레이(600)에 내장되어 구성되거나 외장 연결가능하도록 구성될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless Lan)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다. In addition, the wireless communication unit 610 may further include a wireless Internet module. In this case, the wireless Internet module is a module for wireless Internet access, and may be built in the head-mounted display 600 or may be externally connected Lt; / RTI > WLAN (Wi-Fi), Wibro (Wireless broadband), Wimax (World Interoperability for Microwave Access), HSDPA (High Speed Downlink Packet Access) and the like can be used as wireless Internet technologies.

헤드 마운티드 디스플레이(600)에 구성되는 A/V 입력부(620)에 대해서 설명하여 본다. The A / V input unit 620 configured in the head mounted display 600 will be described.

A/V 입력부(620)는 오디오 신호 및/또는 비디오 신호를 입력받는 역할을 수행하며, 예를 들면, 카메라(660)와 마이크(622)가 포함될 수 있다. 카메라(660)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의하여 획득되는 정지영상 또는 동영상의 화상 프레임을 처리한다. 그리고, 처리된 화상 프레임은 표시부(650)에 표시될 수 있다. The A / V input unit 620 receives an audio signal and / or a video signal, and may include a camera 660 and a microphone 622, for example. The camera 660 processes an image frame of a still image or a moving image obtained by the image sensor in the video communication mode or the photographing mode. Then, the processed image frame can be displayed on the display unit 650. [

카메라(660)에서 처리되는 화상 프레임은 저장부에 저장되거나 무선 통신부(610)를 통하여 무선으로 전달될 수 있다. The image frame processed by the camera 660 may be stored in the storage unit or wirelessly transmitted through the wireless communication unit 610. [

마이크(622)는 녹음 모드 또는 음성인식 모드 등에서 마이크로폰에 의하여 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리하는 역할을 수행하며, 음성 데이터는 음성인식 모드인 경우에 제어부(680) 내의 음성인식 모듈(181)을 통하여 텍스트로 변환되고, 변환된 텍스트는 표시부(650)에 표시될 수 있다. The microphone 622 receives an external sound signal through a microphone in a recording mode or a voice recognition mode and processes the received external sound signal as electrical voice data. The voice data is stored in the voice recognition mode of the control unit 680 The text is converted into text through the module 181, and the converted text can be displayed on the display unit 650. [

마이크(622)에는 외부의 음향 신호를 입력받는 과정에서 발생되는 노이즈를 제거하기 위한 다양한 노이즈 제거 알고리즘이 적용될 수 있다. 그리고, 마이크(622)는 필요에 따라 헤드 마운티드 디스플레이(600)에 복수 개 마련될 수도 있다. The microphone 622 may be implemented with various noise reduction algorithms for eliminating noise generated in receiving an external sound signal. A plurality of microphones 622 may be provided on the head-mounted display 600 as needed.

헤드 마운티드 디스플레이(600)의 센싱부(640)는 헤드 마운티드 디스플레이(600)의 다양한 작동 상태, 동작, 움직임 등을 확인하기 위한 역할을 수행하며, 센싱부(640)에 의하여 센싱되는 정보에 따라 헤드 마운티드 디스플레이(600)의 동작이 제어될 수 있다. 예를 들어, 센싱부(640)는 헤드 마운티드 디스플레이(600)의 위치, 방위, 가속/감속 등과 같은 장치의 상태를 감지하여 동작을 제어하기 위한 센싱 신호를 발생시킬 수 있다. The sensing unit 640 of the head mounted display 600 plays a role to confirm various operating states, operations, motions, etc. of the head mounted display 600, and, in accordance with the information sensed by the sensing unit 640, The operation of the mounted display 600 can be controlled. For example, the sensing unit 640 may sense the state of the device such as the position, orientation, acceleration / deceleration, etc. of the head-mounted display 600 and generate a sensing signal for controlling the operation.

센싱부(640)는 근접 센서, 동작 센서, 가속도 센서 등을 포함할 수 있으며, 동작 센서는 헤드 마운티드 디스플레이(600)의 움직임, 향하는 방향, 이동 방향, 속도 등을 센싱하는 것이 가능하고, 예를 들면, 지자기 센서, 가속도 센서, 자이로 센서, 고도계 등이 포함될 수 있다. The sensing unit 640 may include a proximity sensor, a motion sensor, an acceleration sensor, and the like. The motion sensor may sense the movement, direction, direction, speed, etc. of the head mounted display 600, A geomagnetic sensor, an acceleration sensor, a gyro sensor, an altimeter, and the like.

지자기 센서는 지구에서 발생하는 자기장의 흐름을 파악하여 나침반처럼 방위를 탐지할 수 있는 센서이다. 가속도 센서는 속도의 변화라고 하는 물리량을 특정하는 센서 운동체의 동작 진동변화(가속도)를 검출할 수 있는 센서이다. 자이로 센서는 회전각가속도 센서로서 회전하는 각의 수직방향으로 코리올리스 힘이 발생하게 되면 이 수직힘을 가속도 센서와 마찬가지의 원리로 감지하는 센서이다. 고도계는 고도에 따라 변하는 기압차(압력)을 측정하는 센서이다. The geomagnetic sensor is a sensor that can detect the direction of the magnetic field generated by the earth and detect the orientation like a compass. The acceleration sensor is a sensor capable of detecting a change in the operation vibration (acceleration) of a sensor moving body that specifies a physical quantity called a change in velocity. The gyro sensor is a sensor that senses the vertical force by the same principle as the acceleration sensor when the coriolis force is generated in the vertical direction of the rotating angle. The altimeter is a sensor that measures the pressure difference (pressure) that varies with altitude.

특히, 센싱부(640)의 동작 센서를 통하여, 사용자가 헤드 마운티드 디스플레이(600)를 머리(얼굴)에 착용한 다음, 고개를 숙이는지 여부, 정면을 바라보는지 여부 등을 센싱할 수 있기 때문에, 제어부(680)는 사용자의 머리(얼굴) 제스쳐를 감지하여, 마이크(622)를 통하여 수신되는 음성 데이터의 음성인식을 선택적으로 수행할 수 있다. In particular, since the user wears the head-mounted display 600 on the head (face) through the motion sensor of the sensing unit 640, it is possible to sense whether the head is bowed or not, The controller 680 may sense the user's head gesture and selectively perform voice recognition of the voice data received through the microphone 622. [

또한, 촬영되는 영상에 포함된 사람의 입 모양으로부터 음성을 인식하는 경우에는, 사용자와 먼 거리에 위치한 사람이 말하는 음성을 카메라(660)로 촬영 후 음성인식을 할 수 있고, 그 음성인식의 결과를 표시부(650)에 표시함으로써, 헤드 마운티드 디스플레이(600)의 사용자는 희망하는 사람의 음성을 텍스트로 확인할 수 있다. Further, in the case of recognizing the voice from the mouth shape of the person included in the photographed image, the voice speaking by the person located far from the user can be photographed by the camera 660, and the voice recognition can be performed. Is displayed on the display unit 650, the user of the head-mounted display 600 can confirm the voice of the desired person with text.

헤드 마운티드 디스플레이(600)의 표시부(650)는 헤드 마운티드 디스플레이(600)에서 처리되는 정보를 표시하는 역할을 수행하며, 예를 들어, 헤드 마운티드 디스플레이(600)가 카메라(660) 촬영모드인 경우에 촬영과 관련되는 UI 또는 GUI를 표시하고, 음성인식 모드인 경우에는 인식된 음성인식의 결과를 표시하거나 그와 관련되는 UI, GUI를 표시한다. The display unit 650 of the head-mounted display 600 serves to display information processed in the head-mounted display 600. For example, when the head-mounted display 600 is the camera 660 photographing mode A UI or a GUI related to the photographing is displayed. In case of the voice recognition mode, the result of the recognized voice recognition is displayed, or a UI and a GUI related thereto are displayed.

특히, 표시부(650)는 무선 통신부(610)로 수신한 차량(700) 주변의 가상 뷰 포인트 영상을 표시할 수 있다. In particular, the display unit 650 can display a virtual view point image around the vehicle 700 received by the wireless communication unit 610. [

표시부(650)는 사용자의 전체 시야에 가상 뷰 포인트 영상을 제공하여, 사용자에게 차량) 외부에서 차량 주변을 바라보는 사용자 환경을 제공할 수 있다. The display unit 650 may provide a virtual viewpoint image to the user's entire field of view so as to provide a user with an environment in which the user can look around the vehicle from outside the vehicle.

그리고 이러한 표시부(650)는 도 15와 같이 좌안과 우안에 각각 다른 영상(650ai, 650bi)을 표시할 수 있다. The display unit 650 may display different images 650ai and 650bi on the left and right eyes as shown in FIG.

자세히, 무선 통신부(610)가 가상 뷰 포인트 영상으로 3D 영상을 수신하면, 프로세서(170)는 가상 시점 영상의 깊이 정보를 이용하여, 좌안 영상은 왼쪽으로 시프트(shift)하고 우안 영상은 오른쪽으로 시프트 시키며 영상을 생성할 수 있다. 이때, 깊이의 크기가 큰 위치는 작게 시프트 하고, 깊이의 크기가 작은 위치는 큰 위치보다 많이 시프트시켜 깊이에 거리감을 사용자가 느낄 수 있도록 좌안/우안 영상(650ai, 650bi)을 생성할 수 있다. When the wireless communication unit 610 receives the 3D image using the virtual viewpoint image, the processor 170 uses the depth information of the virtual viewpoint image to shift the left eye image to the left and the right eye image to the right And generate an image. At this time, it is possible to generate left eye / right eye images 650ai and 650bi so that a position having a large depth is shifted small, and a position having a small depth is shifted more than a large position, so that a user can feel a sense of distance.

이와 같이 생성된 좌안 영상(650ai) 및 우안 영상(650bi)은 각각 표시부(650)에 표시되어 사용자에게 제공됨으로써, 사용자는 3D 가상 뷰 포인트 영상을 볼 수 있다. The left eye image 650ai and the right eye image 650bi thus generated are displayed on the display unit 650 and are provided to the user so that the user can view the 3D virtual view point image.

이러한 표시부(650)는 액정 디스플레이(LCD), 박막 트랜지스터 액정 디스플레이(TFT LCD), 유기 발광 다이오드(OLED), 플렉서블 디스플레이, 3차원 디스플레이 등으로 이루어질 수 있다. 이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이것은 투명 디스플레이라 할 수 있으며, 이러한 투명 디스플레이의 예로는 TOLED(Transparent OLED)가 될 수 있다.The display unit 650 may be a liquid crystal display (LCD), a thin film transistor liquid crystal display (TFT LCD), an organic light emitting diode (OLED), a flexible display, a three-dimensional display, or the like. Some of these displays may be transparent or light transmissive so that they can be seen through. This can be referred to as a transparent display, and an example of such a transparent display may be TOLED (Transparent OLED).

헤드 마운티드 디스플레이(600)의 저장부는 제어부(680)의 처리 및 제어를 위한 프로그램이 저장되거나, 입/출력되는 데이터들(예를 들어, 오디오, 영상 등)의 임시 저장을 위한 역할을 수행할 수 있다. 저장부에는 데이터들 각각에 대한 사용 빈도도 함께 저장될 수 있다. The storage unit of the head mounted display 600 may store a program for processing and controlling the control unit 680 or may serve for temporary storage of input / output data (e.g., audio, video, etc.) have. The storage unit may also store the frequency of use for each of the data.

이러한 저장부에는 무선 통신부(610)로부터 수신된 가상 뷰 포인트 영상이 저장될 수 있다. The virtual view point image received from the wireless communication unit 610 may be stored in the storage unit.

저장부는 플래시 저장부 타입, 하드디스크 타입, 멀티미디어 카드 마이크로 타입, 카드 타입의 저장부(SD 등), 램(RAM), SRAM(Static RAM), 롬(ROM), EEPROM(Electrically Erasable Programmable ROM), PROM(Programmable ROM), 자기 저장부, 자기 디스크, 광 디스크 중 어느 하나의 타입으로 이루어진 저장매체가 될 수 있다. 그리고, 헤드 마운티드 디스플레이(600)는 인터넷상에서 저장부(660)의 저장 기능을 수행하는 웹 스토리지와 관련하여 동작할 수도 있다. The storage unit may include a flash storage unit type, a hard disk type, a multimedia card micro type, a card type storage unit (SD), a RAM, an SRAM (Static RAM), a ROM, an EEPROM (Electrically Erasable Programmable ROM) A programmable ROM (PROM), a magnetic storage unit, a magnetic disk, and an optical disk. The head-mounted display 600 may also operate in conjunction with web storage performing storage functions of the storage unit 660 over the Internet.

또한, 헤드 마운티드 디스플레이(600)에는 다양한 외부 기기와의 연결 통로 역할을 하는 인터페이스부가 더 마련될 수 있다. 인터페이스부는 외부 기기/장치로부터 데이터 또는 전원을 공급받아 내부의 각 구성요소에 전달할 수 있으며, 반대로 헤드 마운티드 디스플레이(600) 내부의 데이터를 외부 기기로 전달될 수 있도록 하는 역할을 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 저장부 카드 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O 포트, 이어폰 포트 등이 인터페이스부에 포함될 수 있다. Further, the head mounted display 600 may further include an interface unit serving as a connection path to various external devices. The interface unit receives data or power from an external device / device and can transmit the data to the internal components, and conversely, the internal data of the head-mounted display 600 can be transmitted to external devices. For example, a port for connecting a device with a wired / wireless headset port, an external charger port, a wired / wireless data port, a storage card port, an identification module, an audio I / O port, O port, an earphone port, and the like may be included in the interface unit.

식별 모듈은 헤드 마운티드 디스플레이(600)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(User Identify Module, UIM), 가입자 인증 모듈(Subscriber Identify Module, SIM), 범용 사용자 인증 모듈(Universal Subscriber Identify Module, USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(식별 장치)는, 스마트 카드 형식으로 제작될 수 있으며, 이러한 식별 장치를 통하여 헤드 마운티드 디스플레이(600)와 연결될 수 있다. The identification module is a chip for storing various information for authenticating the usage right of the head mounted display 600 and includes a user identification module (UIM), a subscriber identification module (SIM) (Universal Subscriber Identify Module, USIM), and the like. The device (identification device) provided with the identification module can be manufactured in the form of a smart card, and can be connected to the head-mounted display 600 through the identification device.

인터페이스부는 헤드 마운티드 디스플레이(600)가 외부 크래들과 연결될 때 크래들로부터 전원이 헤드 마운티드 디스플레이(600)로 공급되는 통로가 되는 역할을 하며, 사용자에 의하여 크래들에서 입력되는 각종 명령 신호가 헤드 마운티드 디스플레이(600)로 전달되도록 하는 역할을 수행한다. 크래들로부터 입력되는 각종 명령 신호 또는 전원은 헤드 마운티드 디스플레이(600)가 크래들에 유효하게 장착되었음을 인지하기 위한 신호로 동작될 수 있다. The interface unit serves as a path through which power is supplied from the cradle to the head mounted display 600 when the head mounted display 600 is connected to the external cradle and various command signals input from the cradle by the user are transmitted to the head mounted display 600 As shown in FIG. The various command signals or power input from the cradle may be operated as a signal to recognize that the head mounted display 600 is effectively mounted on the cradle.

헤드 마운티드 디스플레이(600)의 제어부(680)는 헤드 마운티드 디스플레이(600)의 전체적인 동작 각각을 제어하며, 예를 들어, 영상 촬영, 촬영되는 영상 또는 수신되는 음성에 대한 음성인식 등에 관련된 제어 및 처리를 수행한다. The control unit 680 of the head-mounted display 600 controls each of the overall operations of the head-mounted display 600, and performs control and processing related to, for example, image capturing, video to be photographed, .

한편, 헤드 마운티드 디스플레이(600)의 전원 공급부(190)는 제어부(680)의 제어에 따라 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다. The power supply unit 190 of the head-mounted display 600 receives external power and internal power under the control of the controller 680 and supplies power required for operation of the respective components.

여기에서 설명되는 다양한 실시예는, 예를 들어, 소프트웨어, 하드웨어 또는 이들이 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다. The various embodiments described herein may be embodied in a recording medium readable by a computer or similar device using, for example, software, hardware or a combination thereof.

하드웨어적인 구현에 의하면, ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서(170), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(170)(micro-processors), 기타 기능 수행을 위한 전기적인 유닛 중 어느 하나로 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 제어부(680) 자체로 구현될 수 있다. In accordance with a hardware implementation, an application specific integrated circuit (ASIC), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs) controllers, micro-controllers, micro-processors, and other electrical units for performing other functions. In some cases, the embodiments described herein may be implemented by the controller 680 itself.

소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 소프트웨어 코드는 저장부에 저장되고, 제어부(680)에 의하여 실행/동작될 수 있다. According to a software implementation, embodiments such as the procedures and functions described herein may be implemented in separate software modules. Each of the software modules may perform one or more of the functions and operations described herein. Software code can be implemented in a software application written in a suitable programming language. The software code is stored in the storage unit and can be executed / operated by the control unit 680.

이하, 도 16을 참조하여 실시예에 따라 가상 뷰 포인트 영상이 헤드 마운티드 디스플레이(600)에 표시되는 과정을 설명한다. Hereinafter, a process of displaying the virtual viewpoint image on the head-mounted display 600 according to the embodiment will be described with reference to FIG.

먼저, 차량 주변 영상 및 차량 주변 영상에 매칭되는 깊이 정보가 획득된다. (S101)First, the depth information matching the vehicle periphery image and the vehicle periphery image is obtained. (S101)

자세히, 차량(700)에는 깊이 센서(165)를 포함하는 카메라(160)가 배치되고, 카메라(160)는 차량(700) 주변을 촬영하여 차량 주변 영상 및 차량 주변 영상에 매칭되는 깊이 정보를 획득할 수 있다. A camera 160 including a depth sensor 165 is disposed in the vehicle 700. The camera 160 photographs the surroundings of the vehicle 700 and acquires depth information matching the vehicle surroundings and the surroundings of the vehicle can do.

다음으로, 차량 주변 영상과 깊이 정보를 활용하여 가상 뷰 포인트 영상을 생성할 수 있다. (S103) Next, a virtual viewpoint image can be generated using the vehicle periphery image and the depth information. (S103)

자세히, 촬영 영상과 3D 맵의 픽셀 포인트(pixel point)를 깊이 정보를 이용하여, 영상의 각 픽셀을 3차원 상의 좌표로 맵핑함으로써 가상의 2D 시점을 생성할 수 있다. In detail, a virtual 2D viewpoint can be generated by mapping pixel coordinates of a captured image and a 3D map to coordinates of a three-dimensional image using depth information.

그리고 촬영 영상의 3차원 상의 좌표를 가상의 시점으로 프로젝션(projection) 하여 3D 영상을 생성할 수 있다. 즉, 가상 뷰 포인트 영상은 3D 영상일 수 있다. 이때, 프로젝션이 안되는 빈 영역(hole)은 주위 픽셀들로 채워 전체적인 3D 영상을 구현할 수 있다. The 3D image can be generated by projecting the coordinates of the three-dimensional image of the photographed image to a virtual viewpoint. That is, the virtual viewpoint image may be a 3D image. At this time, a hole in which projection can not be performed can be filled with surrounding pixels to realize an overall 3D image.

다음으로, 가상 뷰 포인트 영상은 헤드 마운티드 디스플레이(600)에 전송될 수 있다. (S105)Next, the virtual viewpoint image can be transmitted to the head-mounted display 600. [ (S105)

다른 실시예에서는 가상 뷰 포인트 영상은 헤드 마운티드 디스플레이(600)에서 직접 생성될 수도 있다. In another embodiment, a virtual viewpoint image may be generated directly in the head-mounted display 600. [

이후, 가상 뷰 포인트 영상은 좌안 영상과 우안 영상으로 편집되고, 헤드 마운티드 디스플레이(600)의 좌안 표시부(650a)와 우안 표시부(650b)에 각각 디스플레이될 수 있다. (S107)Then, the virtual viewpoint image is edited into a left eye image and a right eye image, and can be displayed on the left eye display unit 650a and the right eye display unit 650b, respectively, of the head-mounted display 600. [ (S107)

자세히, 깊이 정보에 따라 좌안 영상은 가상 뷰 포인트 영상을 왼쪽으로 시프트(shift)하고, 우안 영상은 가상 뷰 포인트 영상을 오른쪽으로 시프트 시키며 영상을 생성할 수 있다. 이때, 깊이의 크기가 큰 위치는 작게 시프트 하고, 깊이의 크기가 작은 위치는 큰 위치보다 많이 시프트시켜 깊이에 거리감을 사용자가 느낄 수 도록 좌안/우안 영상을 생성할 수 있다. In detail, the left eye image shifts the virtual viewpoint image to the left according to the depth information, and the right eye image shifts the virtual viewpoint image to the right to generate an image. At this time, the left eye / right eye image can be generated so that the user can feel the distance feeling at the depth by shifting a position having a large depth to small shifts and shifting a position having a small depth to a larger position.

그리고 생성된 좌안 영상과 우안 영상은 각각 좌안 표시부(650a)와 우안 표시부(650b)에 디스플레이될 수 있다.The generated left and right eye images can be displayed on the left eye display unit 650a and the right eye display unit 650b, respectively.

이후, 사용자는 사용자 입력부(620)를 통해 뷰 포인트를 변경하고, 뷰 포인트 변경에 따라 가상 뷰 포인트 영상은 재 편집되어 표시부(650)에 표시될 수 있다. (S109)Thereafter, the user changes the view point through the user input unit 620, and the virtual view point image is re-edited according to the change of the view point, and can be displayed on the display unit 650. (S109)

이하, 도 17을 참조하여 실시예에 따라 가상 뷰 포인트 영상이 헤드 마운티드 디스플레이(600)에 표시되는 과정을 설명한다. Hereinafter, a process of displaying the virtual viewpoint image on the head-mounted display 600 according to the embodiment will be described with reference to FIG.

먼저, 타차량(510)으로부터 타차량(510)에서 촬영된 영상 및 깊이 정보를 수신할 수 있다. (S301)First, it is possible to receive the image and depth information photographed by the other vehicle 510 from the other vehicle 510. (S301)

이때, 타차량(510)은 사용자에 의해 선택된 차량(700)일 수 있다.At this time, the other vehicle 510 may be the vehicle 700 selected by the user.

수신된 타차량(510) 촬영 영상 및 깊이 정보를 이미지 처리하여 가상 뷰 포인트 영상을 생성할 수 있다. (S303)The virtual view point image can be generated by image processing the received captured image and the depth information of the other vehicle 510. (S303)

그리고 생성된 가상 뷰 포인트 영상은 헤드 마운티드 디스플레이(600)에 전송될 수 있다. (S305)And the generated virtual viewpoint image may be transmitted to the head-mounted display 600. [ (S305)

이후, 가상 뷰 포인트 영상은 좌안 영상과 우안 영상으로 편집되고, 헤드 마운티드 디스플레이(600)부의 좌안 표시부(650a)와 우안 표시부(650b)에 각각 디스플레이될 수 있다. (S307)After that, the virtual viewpoint image is edited into the left eye image and the right eye image, and can be displayed on the left eye display unit 650a and the right eye display unit 650b of the head mounted display 600, respectively. (S307)

이후, 사용자는 사용자 입력부(620)를 통해 타차량(510)을 선택할 수 있다. (S309)Thereafter, the user can select another vehicle 510 through the user input unit 620. (S309)

다음, 사용자에게 선택된 타차량(510)으로부터 영상 및 깊이 정보를 수신하여, 선택된 타차량(510)의 영상을 디스플레이할 수 있다. (S311)Next, the user can receive the image and depth information from the selected other vehicle 510 and display the image of the selected other vehicle 510. (S311)

이하, 도 18을 참조하여, 가상 영상 생성장치를 포함하는 차량(700)에 대해 설명한다. Hereinafter, the vehicle 700 including the virtual image generating apparatus will be described with reference to FIG.

도 18은 도 1의 차량의 내부 블록도의 일예이다.18 is an example of an internal block diagram of the vehicle of Fig.

이러한 차량 운전 보조장치는 차량 내에 포함될 수 있다. Such a vehicle driving assist system may be included in the vehicle.

차량은 통신부(710), 입력부(720), 센싱부(760), 출력부(740), 차량 구동부(750), 메모리(730), 인터페이스부(780), 제어부(770), 전원부(790), 차량 운전 보조장치 및 AVN 장치(400)를 포함할 수 있다.The vehicle includes a communication unit 710, an input unit 720, a sensing unit 760, an output unit 740, a vehicle driving unit 750, a memory 730, an interface unit 780, a control unit 770, a power source unit 790, A vehicle driving assistant device, and an AVN device 400. [

통신부(710)는, 차량과 헤드 마운티드 디스플레이(600) 사이, 차량과 외부 서버(510) 사이 또는 차량과 타차량(520)과의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 통신부(710)는 차량을 하나 이상의 망(network)에 연결하는 하나 이상의 모듈을 포함할 수 있다.The communication unit 710 may include one or more modules that enable wireless communication between the vehicle and the head mounted display 600, between the vehicle and the external server 510, or between the vehicle and the other vehicle 520. [ In addition, the communication unit 710 may include one or more modules that connect the vehicle to one or more networks.

통신부(710)는, 방송 수신 모듈(711), 무선 인터넷 모듈(712), 근거리 통신 모듈(713), 위치 정보 모듈(714) 및 광통신 모듈(715)을 포함할 수 있다.The communication unit 710 may include a broadcast receiving module 711, a wireless Internet module 712, a local area communication module 713, a location information module 714, and an optical communication module 715.

방송 수신 모듈(711)은, 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 또는 방송 관련된 정보를 수신한다. 여기서, 방송은 라디오 방송 또는 TV 방송을 포함한다.The broadcast receiving module 711 receives broadcast signals or broadcast-related information from an external broadcast management server through a broadcast channel. Here, the broadcast includes a radio broadcast or a TV broadcast.

무선 인터넷 모듈(712)은, 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 차량에 내장되거나 외장될 수 있다. 무선 인터넷 모듈(712)은 무선 인터넷 기술들에 따른 통신망에서 무선 신호를 송수신하도록 이루어진다.The wireless Internet module 712 is a module for wireless Internet access, and can be built in or externally mounted in a vehicle. The wireless Internet module 712 is configured to transmit and receive wireless signals in a communication network according to wireless Internet technologies.

무선 인터넷 기술로는, 예를 들면, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), WiBro(Wireless Broadband), WiMAX(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등이 있으며, 상기 무선 인터넷 모듈(712)은 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다. 예를 들면, 무선 인터넷 모듈(712)은 외부 서버(510)와 무선으로 데이터를 교환할 수 있다. 무선 인터넷 모듈(712)은 외부 서버(510)로부터 날씨 정보, 도로의 교통 상황 정보(예를 들면, TPEG(Transport Protocol Expert Group))정보를 수신할 수 있다.Wireless Internet technologies include, for example, WLAN (Wireless LAN), Wi-Fi (Wireless Fidelity), Wi-Fi (Wireless Fidelity) Direct, DLNA, WiBro World Wide Interoperability for Microwave Access (HSDPA), High Speed Uplink Packet Access (HSUPA), Long Term Evolution (LTE), and Long Term Evolution-Advanced (LTE-A) (712) transmits and receives data according to at least one wireless Internet technology in a range including internet technologies not listed above. For example, the wireless Internet module 712 can exchange data with the external server 510 wirelessly. The wireless Internet module 712 can receive weather information and road traffic situation information (for example, TPEG (Transport Protocol Expert Group)) information from the external server 510. [

근거리 통신 모듈(713)은, 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다. The short-range communication module 713 is for short-range communication and may be a Bluetooth ™, a Radio Frequency Identification (RFID), an Infrared Data Association (IrDA), an Ultra Wideband (UWB) It is possible to support near-field communication using at least one of Near Field Communication (NFC), Wireless-Fidelity (Wi-Fi), Wi-Fi Direct and Wireless USB (Universal Serial Bus)

이러한, 근거리 통신 모듈(713)은, 근거리 무선 통신망(Wireless Area Networks)을 형성하여, 차량과 적어도 하나의 외부 디바이스 사이의 근거리 통신을 수행할 수 있다. 예를 들면, 근거리 통신 모듈(713)은 헤드 마운티드 디스플레이(600)와 무선으로 데이터를 교환할 수 있다. 근거리 통신 모듈(713)은 헤드 마운티드 디스플레이(600)로부터 날씨 정보, 도로의 교통 상황 정보(예를 들면, TPEG(Transport Protocol Expert Group))를 수신할 수 있다. 가령, 사용자가 차량에 탑승한 경우, 사용자의 헤드 마운티드 디스플레이(600)와 차량은 자동으로 또는 사용자의 애플리케이션 실행에 의해, 서로 페어링을 수행할 수 있다.The short range communication module 713 may form short range wireless communication networks (Wireless Area Networks) to perform short range communication between the vehicle and at least one external device. For example, the short range communication module 713 can wirelessly exchange data with the head mounted display 600. The short range communication module 713 can receive weather information and road traffic situation information (for example, TPEG (Transport Protocol Expert Group)) from the head-mounted display 600. For example, when the user is boarding the vehicle, the user's head-mounted display 600 and the vehicle can perform pairing with each other automatically or by the execution of the user's application.

위치 정보 모듈(714)은, 차량의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Positioning System) 모듈이 있다. 예를 들면, 차량은 GPS모듈을 활용하면, GPS 위성에서 보내는 신호를 이용하여 차량의 위치를 획득할 수 있다. The position information module 714 is a module for acquiring the position of the vehicle, and a representative example thereof is a Global Positioning System (GPS) module. For example, when the vehicle utilizes a GPS module, it can acquire the position of the vehicle using a signal sent from the GPS satellite.

광통신 모듈(715)은, 광발신부 및 광수신부를 포함할 수 있다. The optical communication module 715 may include a light emitting portion and a light receiving portion.

광수신부는, 광(light)신호를 전기 신호로 전환하여, 정보를 수신할 수 있다. 광수신부는 광을 수신하기 위한 포토 다이오드(PD, Photo Diode)를 포함할 수 있다. 포토 다이오드는 빛을 전기 신호로 전환할 수 있다. 예를 들면, 광수신부는 전방 차량에 포함된 광원에서 방출되는 광을 통해, 전방 차량의 정보를 수신할 수 있다. The light receiving section can convert the light signal into an electric signal and receive the information. The light receiving unit may include a photodiode (PD) for receiving light. Photodiodes can convert light into electrical signals. For example, the light receiving section can receive information of the front vehicle through light emitted from the light source included in the front vehicle.

광발신부는 전기 신호를 광 신호로 전환하기 위한 발광 소자를 적어도 하나 포함할 수 있다. 여기서, 발광 소자는 LED(Light Emitting Diode)인 것이 바람직하다. 광발신부는, 전기 신호를 광 신호로 전환하여, 외부에 발신한다. 예를 들면, 광 발신부는 소정 주파수에 대응하는 발광소자의 점멸을 통해, 광신호를 외부에 방출할 수 있다. 실시예에 따라, 광발신부는 복수의 발광 소자 어레이를 포함할 수 있다. 실시예에 따라, 광발신부는 차량에 구비된 램프와 일체화될 수 있다. 예를 들면, 광발신부는 전조등, 후미등, 제동등, 방향 지시등 및 차폭등 중 적어도 어느 하나일 수 있다. 예를 들면, 광통신 모듈(715)은 광 통신을 통해 타차량(520)과 데이터를 교환할 수 있다.The light emitting unit may include at least one light emitting element for converting an electric signal into an optical signal. Here, the light emitting element is preferably an LED (Light Emitting Diode). The optical transmitter converts the electrical signal into an optical signal and transmits it to the outside. For example, the optical transmitter can emit the optical signal to the outside through the blinking of the light emitting element corresponding to the predetermined frequency. According to an embodiment, the light emitting portion may include a plurality of light emitting element arrays. According to the embodiment, the light emitting portion can be integrated with the lamp provided in the vehicle. For example, the light emitting portion may be at least one of a headlight, a tail light, a brake light, a turn signal lamp, and a car light. For example, the optical communication module 715 can exchange data with another vehicle 520 via optical communication.

입력부(720)는, 운전 조작 수단(721), 카메라(195), 마이크로 폰(723) 및 사용자 입력부(724)를 포함할 수 있다.The input unit 720 may include a driving operation unit 721, a camera 195, a microphone 723, and a user input unit 724.

운전 조작 수단(721)은, 차량 운전을 위한 사용자 입력을 수신한다. (이하 설명 도 2참조) 운전 조작 수단(721)은 조향 입력 수단(721A), 쉬프트 입력 수단(721D), 가속 입력 수단(721C), 브레이크 입력 수단(721B)을 포함할 수 있다. The driving operation means 721 receives a user input for driving the vehicle. The driving operation means 721 may include a steering input means 721A, a shift input means 721D, an acceleration input means 721C, and a brake input means 721B.

조향 입력 수단(721A)은, 사용자로부터 차량의 진행 방향 입력을 수신한다. 조향 입력 수단(721A)은 회전에 의해 조향 입력이 가능하도록 휠 형태로 형성되는 것이 바람직하다. 실시예에 따라, 조향 입력 수단(721A)은 터치 스크린, 터치 패드 또는 버튼으로 형성될 수도 있다.The steering input means 721A receives the input of the traveling direction of the vehicle from the user. The steering input means 721A is preferably formed in a wheel shape so that steering input is possible by rotation. According to the embodiment, the steering input means 721A may be formed of a touch screen, a touch pad, or a button.

쉬프트 입력 수단(721D)은, 사용자로부터 차량의 주차(P), 전진(D), 중립(N), 후진(R)의 입력을 수신한다. 쉬프트 입력 수단(721D)은 레버 형태로 형성되는 것이 바람직하다. 실시예에 따라, 쉬프트 입력 수단(721D)은 터치 스크린, 터치 패드 또는 버튼으로 형성될 수도 있다. The shift input means 721D receives inputs of parking (P), forward (D), neutral (N), and reverse (R) of the vehicle from the user. The shift input means 721D is preferably formed in a lever shape. According to an embodiment, the shift input means 721D may be formed of a touch screen, a touch pad, or a button.

가속 입력 수단(721C)은, 사용자로부터 차량의 가속을 위한 입력을 수신한다. 브레이크 입력 수단(721B)은, 사용자로부터 차량의 감속을 위한 입력을 수신한다. 가속 입력 수단(721C) 및 브레이크 입력 수단(721B)은 페달 형태로 형성되는 것이 바람직하다. 실시예에 따라, 가속 입력 수단(721C) 또는 브레이크 입력 수단(721B)은 터치 스크린, 터치 패드 또는 버튼으로 형성될 수도 있다.The acceleration input means 721C receives an input for acceleration of the vehicle from the user. The brake inputting means 721B receives an input for decelerating the vehicle from the user. The acceleration input means 721C and the brake input means 721B are preferably formed in the form of a pedal. According to the embodiment, the acceleration input means 721C or the brake input means 721B may be formed of a touch screen, a touch pad, or a button.

카메라(722)는, 이미지 센서와 영상 처리 모듈을 포함할 수 있다. 카메라(722)는 이미지 센서(예를 들면, CMOS 또는 CCD)에 의해 얻어지는 정지영상 또는 동영상을 처리할 수 있다. 영상 처리 모듈은 이미지 센서를 통해 획득된 정지영상 또는 동영상을 가공하여, 필요한 정보를 추출하고, 추출된 정보를 제어부(770)에 전달할 수 있다. 한편, 차량은 차량 전방 영상 또는 차량 주변 영상을 촬영하는 카메라(722) 및 차량 내부 영상을 촬영하는 모니터링부(150)를 포함할 수 있다.The camera 722 may include an image sensor and an image processing module. The camera 722 may process still images or moving images obtained by an image sensor (e.g., CMOS or CCD). The image processing module processes the still image or moving image obtained through the image sensor, extracts necessary information, and transmits the extracted information to the control unit 770. Meanwhile, the vehicle may include a camera 722 for photographing the vehicle front image or the vehicle periphery image, and a monitoring unit 150 for photographing the in-vehicle image.

모니터링부(150)는 탑승자에 대한 이미지를 획득할 수 있다. 모니터링부(150)는 탑승자의 생체 인식을 위한 이미지를 획득할 수 있다.The monitoring unit 150 may acquire an image of the passenger. The monitoring unit 150 may obtain an image for biometrics of the passenger.

한편, 도 18에서는 모니터링부(150)와 카메라(722)가 입력부(720)에 포함되는 것으로 도시하였으나, 카메라(722)는 전술한 바와 같이, 차량 운전 보조장치에 포함된 구성으로 설명될 수도 있다.18, the monitoring unit 150 and the camera 722 are included in the input unit 720. However, the camera 722 may be described as being included in the vehicle driving assistant device as described above .

마이크로 폰(723)은, 외부의 음향 신호를 전기적인 데이터로 처리할 수 있다. 처리된 데이터는 차량에서 수행 중인 기능에 따라 다양하게 활용될 수 있다. 마이크로폰(723)은 사용자의 음성 명령을 전기적인 데이터로 전환할 수 있다. 전환된 전기적인 데이터는 제어부(770)에 전달될 수 있다. The microphone 723 can process an external sound signal as electrical data. The processed data can be used variously depending on the function being performed in the vehicle. The microphone 723 can convert the voice command of the user into electrical data. The converted electrical data can be transmitted to the control unit 770.

한편, 실시예에 따라, 카메라(722) 또는 마이크로폰(723)는 입력부(720)에 포함되는 구성요소가 아닌, 센싱부(760)에 포함되는 구성요소일 수도 있다.The camera 722 or the microphone 723 may be a component included in the sensing unit 760 rather than a component included in the input unit 720. [

사용자 입력부(724)는 사용자로부터 정보를 입력받기 위한 것이다. 사용자 입력부(724)를 통해, 정보가 입력되면, 제어부(770)는 입력된 정보에 대응되도록 차량의 동작을 제어할 수 있다. 사용자 입력부(724)는 터치식 입력수단 또는 기계식 입력 수단을 포함할 수 있다. 실시예에 따라, 사용자 입력부(724)는 스티어링 휠의 일 영역에 배치될 수 있다. 이경우, 운전자는 스티어링 휠을 잡은 상태에서, 손가락으로 사용자 입력부(724)를 조작할 수 있다.The user input unit 724 is for receiving information from a user. When information is input through the user input unit 724, the control unit 770 can control the operation of the vehicle to correspond to the input information. The user input unit 724 may include touch input means or mechanical input means. According to an embodiment, the user input 724 may be located in one area of the steering wheel. In this case, the driver can operate the user input portion 724 with his / her finger while holding the steering wheel.

센싱부(760)는, 차량의 주행 등과 관련한 신호를 센싱한다. 이를 위해, 센싱부(760)는, 충돌 센서, 휠 센서(wheel sensor), 속도 센서, 경사 센서, 중량 감지 센서, 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서, 초음파 센서, 레이더, 라이더 등을 포함할 수 있다.The sensing unit 760 senses a signal related to the running or the like of the vehicle. To this end, the sensing unit 760 may include a sensor, a wheel sensor, a velocity sensor, a tilt sensor, a weight sensor, a heading sensor, a yaw sensor, a gyro sensor, , A position module, a vehicle forward / reverse sensor, a battery sensor, a fuel sensor, a tire sensor, a steering sensor by steering wheel rotation, a vehicle internal temperature sensor, an internal humidity sensor, an ultrasonic sensor, a radar, .

이에 의해, 센싱부(760)는, 차량 충돌 정보, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보, 스티어링 휠 회전 각도 등에 대한 센싱 신호를 획득할 수 있다.Thereby, the sensing unit 760 can acquire the vehicle collision information, vehicle direction information, vehicle position information (GPS information), vehicle angle information, vehicle speed information, vehicle acceleration information, vehicle tilt information, , Fuel information, tire information, vehicle lamp information, vehicle interior temperature information, vehicle interior humidity information, steering wheel rotation angle, and the like.

한편, 센싱부(760)는, 그 외, 가속페달센서, 압력센서, 엔진 회전 속도 센서(engine speed sensor), 공기 유량 센서(AFS), 흡기 온도 센서(ATS), 수온 센서(WTS), 스로틀 위치 센서(TPS), TDC 센서, 크랭크각 센서(CAS), 등을 더 포함할 수 있다.In addition, the sensing unit 760 may include an acceleration pedal sensor, a pressure sensor, an engine speed sensor, an air flow sensor AFS, an intake air temperature sensor ATS, a water temperature sensor WTS, A position sensor (TPS), a TDC sensor, a crank angle sensor (CAS), and the like.

센싱부(760)는 생체 인식 정보 감지부를 포함할 수 있다. 생체 인식 정보 감지부는 탑승자의 생체 인식 정보를 감지하여 획득한다. 생체 인식 정보는 지문 인식(Fingerprint) 정보, 홍채 인식(Iris-scan) 정보, 망막 인식(Retina-scan) 정보, 손모양(Hand geo-metry) 정보, 안면 인식(Facial recognition) 정보, 음성 인식(Voice recognition) 정보를 포함할 수 있다. 생체 인식 정보 감지부는 탑승자의 생체 인식 정보를 센싱하는 센서를 포함할 수 있다. 여기서, 모니터링부(150) 및 마이크로 폰(723)이 센서로 동작할 수 있다. 생체 인식 정보 감지부는 모니터링부(150)를 통해, 손모양 정보, 안면 인식 정보를 획득할 수 있다. The sensing unit 760 may include a biometric information sensing unit. The biometric information sensing unit senses and acquires the biometric information of the passenger. The biometric information may include fingerprint information, iris-scan information, retina-scan information, hand geo-metry information, facial recognition information, Voice recognition information. The biometric information sensing unit may include a sensor that senses the passenger's biometric information. Here, the monitoring unit 150 and the microphones 723 may operate as sensors. The biometric information sensing unit can acquire the hand shape information and the face recognition information through the monitoring unit 150.

출력부(740)는, 제어부(770)에서 처리된 정보를 출력하기 위한 것으로, 디스플레이부(741), 음향 출력부(742) 및 햅틱 출력부(743)를 포함할 수 있다.The output unit 740 is for outputting information processed by the control unit 770 and may include a display unit 741, an acoustic output unit 742, and a haptic output unit 743. [

디스플레이부(741)는 제어부(770)에서 처리되는 정보를 표시할 수 있다. 예를 들면, 디스플레이부(741)는 차량 관련 정보를 표시할 수 있다. 여기서, 차량 관련 정보는, 차량에 대한 직접적인 제어를 위한 차량 제어 정보, 또는 차량 운전자에게 운전 가이드를 위한 차량 운전 보조 정보를 포함할 수 있다. 또한, 차량 관련 정보는, 현재 차량의 상태를 알려주는 차량 상태 정보 또는 차량의 운행과 관련되는 차량 운행 정보를 포함할 수 있다.The display unit 741 can display information processed in the control unit 770. For example, the display unit 741 can display the vehicle-related information. Here, the vehicle-related information may include vehicle control information for direct control of the vehicle, or vehicle driving assistance information for a driving guide to the vehicle driver. Further, the vehicle-related information may include vehicle state information indicating the current state of the vehicle or vehicle driving information related to the driving of the vehicle.

디스플레이부(741)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.The display unit 741 may be a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED) display, a 3D display, and an e-ink display.

디스플레이부(741)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 차량와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(724)로써 기능함과 동시에, 차량와 사용자 사이의 출력 인터페이스를 제공할 수 있다. 이경우, 디스플레이부(741)는 터치 방식에 의하여 제어 명령을 입력 받을 수 있도록, 디스플레이부(741)에 대한 터치를 감지하는 터치센서를 포함할 수 있다. 이를 이용하여, 디스플레이부(741)에 대하여 터치가 이루어지면, 터치센서는 상기 터치를 감지하고, 제어부(770)는 이에 근거하여 상기 터치에 대응하는 제어명령을 발생시키도록 이루어질 수 있다. 터치 방식에 의하여 입력되는 내용은 문자 또는 숫자이거나, 각종 모드에서의 지시 또는 지정 가능한 메뉴항목 등일 수 있다.The display unit 741 may have a mutual layer structure with the touch sensor or may be integrally formed to realize a touch screen. This touch screen may function as a user input 724 that provides an input interface between the vehicle and the user, while providing an output interface between the vehicle and the user. In this case, the display unit 741 may include a touch sensor that senses a touch with respect to the display unit 741 so that a control command can be received by a touch method. When a touch is made to the display unit 741, the touch sensor senses the touch, and the control unit 770 generates a control command corresponding to the touch based on the touch. The content input by the touch method may be a letter or a number, an instruction in various modes, a menu item which can be designated, and the like.

한편, 디스플레이부(741)는 운전자가 운전을 함과 동시에 차량 상태 정보 또는 차량 운행 정보를 확인할 수 있도록 클러스터(cluster)를 포함할 수 있다. 클러스터는 대시보드 위에 위치할 수 있다. 이경우, 운전자는, 시선을 차량 전방에 유지한채로 클러스터에 표시되는 정보를 확인할 수 있다.Meanwhile, the display unit 741 may include a cluster so that the driver can check the vehicle state information or the vehicle driving information while driving. Clusters can be located on the dashboard. In this case, the driver can confirm the information displayed in the cluster while keeping the line of sight ahead of the vehicle.

한편, 실시예에 따라, 디스플레이부(741)는 HUD(Head Up Display)로 구현될 수 있다. 디스플레이부(741)가 HUD로 구현되는 경우, 윈드 쉴드에 구비되는 투명 디스플레이를 통해 정보를 출력할 수 있다. 또는, 디스플레이부(741)는 투사 모듈을 구비하여 윈드 쉴드에 투사되는 이미지를 통해 정보를 출력할 수 있다.Meanwhile, according to the embodiment, the display unit 741 may be implemented as a Head Up Display (HUD). When the display unit 741 is implemented as a HUD, information can be output through a transparent display provided in the windshield. Alternatively, the display unit 741 may include a projection module to output information through an image projected on the windshield.

음향 출력부(742)는 제어부(770)로부터의 전기 신호를 오디오 신호로 변환하여 출력한다. 이를 위해, 음향 출력부(742)는 스피커 등을 구비할 수 있다. 음향 출력부(742)는, 사용자 입력부(724) 동작에 대응하는, 사운드를 출력하는 것도 가능하다.The sound output unit 742 converts an electric signal from the control unit 770 into an audio signal and outputs the audio signal. For this purpose, the sound output unit 742 may include a speaker or the like. It is also possible for the sound output section 742 to output a sound corresponding to the operation of the user input section 724. [

햅틱 출력부(743)는 촉각적인 출력을 발생시킨다. 예를 들면, 햅틱 출력부(743)는, 스티어링 휠, 안전 벨트, 시트를 진동시켜, 사용자가 출력을 인지할 수 있게 동작할 수 있다.The haptic output unit 743 generates a tactile output. For example, the haptic output section 743 may operate to vibrate the steering wheel, the seat belt, and the seat so that the user can recognize the output.

차량 구동부(750)는, 차량 각종 장치의 동작을 제어할 수 있다. 차량 구동부(750)는 동력원 구동부(751), 조향 구동부(752), 브레이크 구동부(753), 램프 구동부(754), 공조 구동부(755), 윈도우 구동부(756), 에어백 구동부(757), 썬루프 구동부(758) 및 서스펜션 구동부(759)를 포함할 수 있다.The vehicle drive unit 750 can control the operation of various devices of the vehicle. The vehicle driving unit 750 includes a power source driving unit 751, a steering driving unit 752, a brake driving unit 753, a lamp driving unit 754, an air conditioning driving unit 755, a window driving unit 756, an airbag driving unit 757, A driving unit 758 and a suspension driving unit 759.

동력원 구동부(751)는, 차량 내의 동력원에 대한 전자식 제어를 수행할 수 있다. The power source drive section 751 can perform electronic control of the power source in the vehicle.

예를 들면, 화석 연료 기반의 엔진(미도시)이 동력원인 경우, 동력원 구동부(751)는, 엔진에 대한 전자식 제어를 수행할 수 있다. 이에 의해, 엔진의 출력 토크 등을 제어할 수 있다. 동력원 구동부(751)가 엔진인 경우, 제어부(770)의 제어에 따라, 엔진 출력 토크를 제한하여 차량의 속도를 제한할 수 있다.For example, when the fossil fuel-based engine (not shown) is a power source, the power source drive unit 751 can perform electronic control on the engine. Thus, the output torque of the engine and the like can be controlled. When the power source driving unit 751 is an engine, the speed of the vehicle can be limited by limiting the engine output torque under the control of the control unit 770. [

다른 예로, 전기 기반의 모터(미도시)가 동력원인 경우, 동력원 구동부(751)는, 모터에 대한 제어를 수행할 수 있다. 이에 의해, 모터의 회전 속도, 토크 등을 제어할 수 있다.As another example, when the electric motor (not shown) is a power source, the power source driving unit 751 can perform control on the motor. Thus, the rotation speed, torque, etc. of the motor can be controlled.

조향 구동부(752)는, 차량 내의 조향 장치(steering apparatus)에 대한 전자식 제어를 수행할 수 있다. 이에 의해, 차량의 진행 방향을 변경할 수 있다.The steering driver 752 may perform electronic control of a steering apparatus in the vehicle. Thus, the traveling direction of the vehicle can be changed.

브레이크 구동부(753)는, 차량 내의 브레이크 장치(brake apparatus)(미도시)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 바퀴에 배치되는 브레이크의 동작을 제어하여, 차량의 속도를 줄일 수 있다. 다른 예로, 좌측 바퀴와 우측 바퀴에 각각 배치되는 브레이크의 동작을 달리하여, 차량의 진행 방향을 좌측, 또는 우측으로 조정할 수 있다.The brake driver 753 can perform electronic control of a brake apparatus (not shown) in the vehicle. For example, it is possible to reduce the speed of the vehicle by controlling the operation of the brakes disposed on the wheels. As another example, it is possible to adjust the traveling direction of the vehicle to the left or right by differently operating the brakes respectively disposed on the left wheel and the right wheel.

램프 구동부(754)는, 차량 내, 외부에 배치되는 램프의 턴 온/턴 오프를 제어할 수 있다. 또한, 램프의 빛의 세기, 방향 등을 제어할 수 있다. 예를 들면, 방향 지시 램프, 브레이크 램프 등의 대한 제어를 수행할 수 있다.The lamp driver 754 can control the turn-on / turn-off of the lamps disposed inside and outside the vehicle. Also, the intensity, direction, etc. of the light of the lamp can be controlled. For example, it is possible to perform control on a direction indicating lamp, a brake lamp, and the like.

공조 구동부(755)는, 차량 내의 공조 장치(air cinditioner)(미도시)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 차량 내부의 온도가 높은 경우, 공조 장치가 동작하여, 냉기가 차량 내부로 공급되도록 제어할 수 있다. The air conditioning driving unit 755 can perform electronic control on an air conditioner (not shown) in the vehicle. For example, when the temperature inside the vehicle is high, the air conditioner can be operated to control the cool air to be supplied to the inside of the vehicle.

윈도우 구동부(756)는, 차량 내의 윈도우 장치(window apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 차량의 측면의 좌,우 윈도우들에 대한 개방 또는 폐쇄를 제어할 수 있다. The window driving unit 756 may perform electronic control of a window apparatus in the vehicle. For example, it is possible to control the opening or closing of the side of the vehicle with respect to the left and right windows.

에어백 구동부(757)는, 차량 내의 에어백 장치(airbag apparatus)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 위험시, 에어백이 터지도록 제어할 수 있다.The airbag driving unit 757 can perform electronic control of the airbag apparatus in the vehicle. For example, in case of danger, the airbag can be controlled to fire.

썬루프 구동부(758)는, 차량 내의 썬루프 장치(sunroof apparatus)(미도시)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 썬루프의 개방 또는 폐쇄를 제어할 수 있다.The sunroof driving unit 758 may perform electronic control of a sunroof apparatus (not shown) in the vehicle. For example, the opening or closing of the sunroof can be controlled.

서스펜션 구동부(759)는, 차량 내의 서스펜션 장치(suspension apparatus)(미도시)에 대한 전자식 제어를 수행할 수 있다. 예를 들면, 도로면에 굴곡이 있는 경우, 서스펜션 장치를 제어하여, 차량의 진동이 저감되도록 제어할 수 있다.The suspension driving unit 759 can perform electronic control of a suspension apparatus (not shown) in the vehicle. For example, when there is a curvature on the road surface, it is possible to control the suspension device so as to reduce the vibration of the vehicle.

메모리(730)는, 제어부(770)와 전기적으로 연결된다. 메모리(770)는 유닛에 대한 기본데이터, 유닛의 동작제어를 위한 제어데이터, 입출력되는 데이터를 저장할 수 있다. 메모리(790)는, 하드웨어적으로, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있다. 메모리(730)는 제어부(770)의 처리 또는 제어를 위한 프로그램 등, 차량 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.The memory 730 is electrically connected to the control unit 770. The memory 770 may store basic data for the unit, control data for controlling the operation of the unit, and input / output data. The memory 790 can be, in hardware, various storage devices such as a ROM, a RAM, an EPROM, a flash drive, a hard drive, and the like. The memory 730 may store various data for operation of the entire vehicle, such as a program for processing or controlling the control unit 770.

인터페이스부(780)는, 차량에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행할 수 있다. 예를 들면, 인터페이스부(780)는 헤드 마운티드 디스플레이(600)와 연결 가능한 포트를 구비할 수 있고, 상기 포트를 통해, 헤드 마운티드 디스플레이(600)와 연결할 수 있다. 이경우, 인터페이스부(780)는 헤드 마운티드 디스플레이(600)와 데이터를 교환할 수 있다.The interface unit 780 can serve as a pathway to various kinds of external devices connected to the vehicle. For example, the interface unit 780 may have a port connectable with the head-mounted display 600, and may be connected to the head-mounted display 600 through the port. In this case, the interface unit 780 can exchange data with the head-mounted display 600.

한편, 인터페이스부(780)는 연결된 헤드 마운티드 디스플레이(600)에 전기 에너지를 공급하는 통로 역할을 수행할 수 있다. 헤드 마운티드 디스플레이(600)가 인터페이스부(780)에 전기적으로 연결되는 경우, 제어부(770)의 제어에 따라, 인터페이스부(780)는 전원부(790)에서 공급되는 전기 에너지를 헤드 마운티드 디스플레이(600)에 제공한다.Meanwhile, the interface unit 780 may serve as a path for supplying electrical energy to the connected head-mounted display 600. When the head mounted display 600 is electrically connected to the interface unit 780, the interface unit 780 transmits electric energy supplied from the power supply unit 790 to the head mounted display 600 under the control of the control unit 770, .

제어부(770)는, 차량 내의 각 유닛의 전반적인 동작을 제어할 수 있다. 제어부(770)는 ECU(Electronic Contol Unit)로 명명될 수 있다.The control unit 770 can control the overall operation of each unit in the vehicle. The control unit 770 may be referred to as an ECU (Electronic Control Unit).

이러한 제어부(770)은 차량 운전 보조장치의 실행 신호 전달에 따라서, 전달된 신호에 대응되는 기능을 실행할 수 있다. The control unit 770 can perform a function corresponding to the transmitted signal in accordance with the execution signal transmission of the vehicle driving assist system.

제어부(770)는, 하드웨어적으로, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.The controller 770 may be implemented in hardware as application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs) processors, controllers, micro-controllers, microprocessors, and other electronic units for performing other functions.

제어부(770)는 전술한 프로세서(170)의 역할을 위임할 수 있다. 즉, 차량 운전 보조장치의 프로세서(170)는 차량의 제어부(770)에 직접 셋팅될 수 있다. 이러한 실시예에서는 차량 운전 보조장치는 차량의 일부 구성들을 합하여 지칭하는 것으로 이해할 수 있다. The control unit 770 can delegate the role of the processor 170 described above. That is, the processor 170 of the vehicle driving assist apparatus can be set directly to the control unit 770 of the vehicle. In this embodiment, it is understood that the vehicle driving assist device refers to a combination of some components of the vehicle.

또는, 제어부(770)는 프로세서(170)에서 요청하는 정보를 전송해주도록 구성들을 제어할 수도 있다. Alternatively, the control unit 770 may control the configurations so as to transmit the information requested by the processor 170. [

전원부(790)는, 제어부(770)의 제어에 따라, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 특히, 전원부(770)는, 차량 내부의 배터리(미도시) 등으로부터 전원을 공급받을 수 있다.The power supply unit 790 can supply power necessary for the operation of each component under the control of the control unit 770. [ Particularly, the power supply unit 770 can receive power from a battery (not shown) in the vehicle.

AVN(Audio Video Navigation) 장치(400)는 제어부(770)와 데이터를 교환할 수 있다. 제어부(770)는 AVN 장치(400) 또는 별도의 내비게이션 장치(미도시)로부터 내비게이션 정보를 수신할 수 있다. 여기서, 여기서, 내비게이션 정보는 설정된 목적지 정보, 상기 목적지에 따른 경로 정보, 차량 주행과 관련한, 맵(map) 정보 또는 차량 위치 정보를 포함할 수 있다. The AVN (Audio Video Navigation) device 400 can exchange data with the control unit 770. The control unit 770 can receive navigation information from the AVN apparatus 400 or a separate navigation device (not shown). Here, the navigation information may include set destination information, route information according to the destination, map information about the vehicle driving, or vehicle location information.

상술한 실시예에 설명된 특징, 구조, 효과 등은 본 발명의 적어도 하나의 실시예에 포함되며, 반드시 하나의 실시예에만 한정되는 것은 아니다. 나아가, 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의하여 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다. The features, structures, effects and the like described in the foregoing embodiments are included in at least one embodiment of the present invention and are not necessarily limited to one embodiment. Further, the features, structures, effects, and the like illustrated in the embodiments may be combined or modified in other embodiments by those skilled in the art to which the embodiments belong. Therefore, it should be understood that the present invention is not limited to these combinations and modifications.

또한, 이상에서 실시예들을 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예들에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부한 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be construed as limiting the scope of the present invention. It can be seen that various modifications and applications are possible. For example, each component specifically shown in the embodiments may be modified and implemented. It is to be understood that the present invention may be embodied in many other specific forms without departing from the spirit or essential characteristics thereof.

Claims

A camera for photographing the surroundings of the vehicle;
A depth sensor for measuring a distance to an object included in the vehicle surroundings image;
An image processor for generating a virtual viewpoint image of the vehicle periphery image according to the measured distance; And
And a communication unit for transmitting and receiving data relating to the virtual viewpoint image
A virtual image generation device.

The method according to claim 1,
The image processing unit generates the virtual viewpoint image as a 3D image
A virtual image generation device.

The method according to claim 1,
The depth sensor measures the distance in at least one of a time-of-flight (TOF), a triangulation, and a stereo camera
A virtual image generation device.

The method according to claim 1,
The camera is a 360 degree camera placed on the roof of the vehicle
A virtual image generation device.

The method according to claim 1,
The camera includes a plurality of cameras each photographing four sides of the vehicle
A virtual image generation device.

The method according to claim 4 or 5,
The image processor may generate an image photographed in a plurality of directions as virtual viewpoint images
A virtual image generation device.

The method according to claim 6,
Further comprising a touch screen for sensing a user's input and displaying the virtual viewpoint image,
The image processing unit controls the virtual view point according to an input of the user
A virtual image generation device.

The method according to claim 1,
Wherein the communication unit receives an image from another vehicle located in the vicinity of the vehicle
A virtual image generation device.

9. The method of claim 8,
Wherein the communication unit further receives distance information from the other vehicle,
The image processing unit generates an image of the other vehicle as a 3D image according to the distance information
A virtual image generation device.

9. The method of claim 8,
Further comprising an input unit for detecting a user's input,
And selects another vehicle to receive the image according to the user input
A virtual image generation device.

A wireless communication unit for transmitting and receiving data related to the virtual viewpoint video around the vehicle;
A processor for generating a left eye image and a right eye image from the virtual viewpoint image; And
And a display unit for displaying the left eye image and the right eye image, respectively
Head-mounted display.

12. The method of claim 11,
Wherein the virtual viewpoint image includes an image photographed in a plurality of directions
Head-mounted display.

12. The method of claim 11,
The virtual viewpoint image includes an image photographed at another vehicle located in the vicinity of the vehicle
Head-mounted display.

14. The method of claim 13,
Further comprising a user input unit for detecting a user's input,
The processor selects the other vehicle to receive the image according to the input of the user
Head-mounted display.

12. The method of claim 11,
Further comprising a user input unit for detecting a user's input,
Wherein the processor controls the virtual viewpoint in accordance with the user input
Head-mounted display.

A vehicle including the vehicle driving assist device according to claim 1.