KR102695105B1

KR102695105B1 - Display controller, electronic device, and virtual reality device

Info

Publication number: KR102695105B1
Application number: KR1020160079305A
Authority: KR
Inventors: 임규태; 차치호; 조화현; 고윤호
Original assignee: 삼성전자주식회사
Priority date: 2016-05-27
Filing date: 2016-06-24
Publication date: 2024-08-16
Anticipated expiration: 2036-06-24
Also published as: KR20170134147A

Abstract

본 발명의 실시예에 따른 디스플레이 컨트롤러는, 제1 초당 프레임 수를 갖는 제1 기준 영상에 기초하여, 상기 제1 초당 프레임 수보다 높은 제2 초당 프레임 수를 갖는 제2 기준 영상을 생성하는 프레임 레이트 컨버터, 상기 제2 기준 영상을 저장하는 버퍼, 및 상기 제2 기준 영상의 적어도 일부 영역을 선택하여 사용자에게 가상 현실 서비스를 제공하기 위한 출력 영상을 생성하는 영상 처리기를 포함한다.A display controller according to an embodiment of the present invention includes a frame rate converter which generates a second reference image having a second frame rate per second higher than the first frame rate per second based on a first reference image having a first frame rate per second, a buffer which stores the second reference image, and an image processor which selects at least a portion of the second reference image to generate an output image for providing a virtual reality service to a user.

Description

DISPLAY CONTROLLER, ELECTRONIC DEVICE, AND VIRTUAL REALITY DEVICE

본 발명은 디스플레이 컨트롤러, 전자 기기, 및 가상 현실 장치에 관한 것이다.
The present invention relates to a display controller, an electronic device, and a virtual reality device.

가상 현실 장치가 널리 보급되면서 사용자에게 좀 더 현실적이고 생동감있는 가상 현실을 제공하기 위한 기술이 연구되는 추세이다. 가상 현실 장치는 사용자의 머리에 장착되는 헤드 마운트 디스플레이(Head Mount Display) 장치 등을 포함할 수 있다. 가상 현실 장치는 화면을 출력하는 디스플레이 장치로서의 기능을 기본적으로 포함하는데, 기존의 디스플레이 장치와 달리 사용자의 눈과 매우 가까운 거리에서 화면을 표시한다. 따라서 사용자가 느낄 수 있는 피로감 또는 어지러움 등을 최소화하기 위한 기술이 필요하다.
As virtual reality devices become more widespread, there is a trend toward research on technologies that provide users with more realistic and vivid virtual realities. Virtual reality devices may include head-mounted display devices that are mounted on the user's head. Virtual reality devices basically include the function of a display device that outputs a screen, and unlike existing display devices, they display the screen at a very close distance from the user's eyes. Therefore, technologies are needed to minimize fatigue or dizziness that the user may feel.

본 발명의 기술적 사상이 이루고자 하는 과제 중 하나는, 사용자가 느낄 수 있는 피로감, 어지러움 등을 줄일 수 있는 디스플레이 컨트롤러, 전자 기기, 및 가상 현실 장치를 제공하고자 하는 데에 있다.
One of the tasks to be achieved by the technical idea of the present invention is to provide a display controller, an electronic device, and a virtual reality device that can reduce fatigue, dizziness, etc. that a user may feel.

본 발명의 실시 형태에 따른 디스플레이 컨트롤러는, 제1 초당 프레임 수를 갖는 제1 기준 영상에 기초하여, 상기 제1 초당 프레임 수보다 높은 제2 초당 프레임 수를 갖는 제2 기준 영상을 생성하는 프레임 레이트 컨버터, 상기 제2 기준 영상을 저장하는 버퍼, 및 상기 제2 기준 영상의 적어도 일부 영역을 선택하여 사용자에게 가상 현실 서비스를 제공하기 위한 출력 영상을 생성하는 영상 처리기를 포함한다.
A display controller according to an embodiment of the present invention includes a frame rate converter which generates a second reference image having a second frame rate per second higher than the first frame rate per second based on a first reference image having a first frame rate per second, a buffer which stores the second reference image, and an image processor which selects at least a portion of the second reference image to generate an output image for providing a virtual reality service to a user.

본 발명의 실시 형태에 따른 전자 기기는, 애플리케이션 프로세서, 사용자의 움직임을 감지하여 움직임 정보를 생성하는 센서, 상기 사용자에게 가상 현실 서비스를 제공하기 위한 원본 영상의 초당 프레임 수를 증가시킨 기준 영상을 저장하는 버퍼를 포함하며, 상기 움직임 정보에 기초하여 상기 기준 영상의 적어도 일부 영역을 선택하여 출력 영상을 생성하는 디스플레이 컨트롤러, 및 디스플레이 패널과, 상기 디스플레이 패널을 통해 상기 출력 영상을 표시하는 디스플레이 구동 장치를 갖는 디스플레이 장치를 포함한다.
An electronic device according to an embodiment of the present invention includes an application processor, a sensor for detecting a user's movement to generate movement information, a buffer for storing a reference image in which the number of frames per second of an original image for providing a virtual reality service to the user is increased, a display controller for selecting at least a portion of the reference image based on the movement information to generate an output image, and a display device having a display panel and a display driving device for displaying the output image through the display panel.

본 발명의 실시 형태에 따른 가상 현실 장치는, 사용자의 머리에 장착되는 헤드 마운트 장치, 상기 사용자의 움직임을 감지하여 움직임 정보를 생성하는 센서, 원본 영상의 초당 프레임 수를 증가시킨 기준 영상을 저장하는 버퍼를 포함하며, 상기 움직임 정보에 기초하여 상기 기준 영상으로부터 적어도 일부 영상을 선택하여 출력 영상을 생성하는 디스플레이 컨트롤러, 및 상기 헤드 마운트 장치에 장착되며, 상기 출력 영상을 표시하는 디스플레이 장치를 포함한다.
A virtual reality device according to an embodiment of the present invention includes a head mounted device mounted on a user's head, a sensor that detects movement of the user and generates movement information, a buffer that stores a reference image in which the number of frames per second of an original image is increased, a display controller that selects at least a portion of an image from the reference image based on the movement information and generates an output image, and a display device mounted on the head mounted device and displays the output image.

본 발명의 실시예 에 따른 디스플레이 컨트롤러는, 낮은 프레임 레이트의 영상 데이터를 상대적으로 높은 프레임 레이트의 영상 데이터로 변환할 수 있다. 특히, 영상 데이터의 프레임 레이트를 높이는 과정에서 가상 현실 장치 또는 디스플레이 장치를 이용하는 사용자의 움직임 또는 전후 프레임을 반영함으로써, 자연스러운 영상을 사용자에게 제공할 수 있다. 또한, 높은 프레임 레이트의 영상을 버퍼에 미리 저장한 후, 버퍼에 저장된 영상과 사용자의 움직임을 참조하여 사용자에게 출력하는 영상을 생성함으로써, 지연 속도(latency)를 최소화하여 사용자가 느끼는 피로감 또는 어지러움을 줄이고 화면 끊김 현상을 최소화할 수 있다.A display controller according to an embodiment of the present invention can convert image data of a low frame rate into image data of a relatively high frame rate. In particular, by reflecting the movement of a user using a virtual reality device or a display device or the preceding and following frames in the process of increasing the frame rate of the image data, a natural image can be provided to the user. In addition, by pre-storing an image of a high frame rate in a buffer and then generating an image to be output to the user by referring to the image stored in the buffer and the movement of the user, latency can be minimized, thereby reducing fatigue or dizziness felt by the user and minimizing the screen tearing phenomenon.

본 발명의 다양하면서도 유익한 장점과 효과는 상술한 내용에 한정되지 않으며, 본 발명의 구체적인 실시 형태를 설명하는 과정에서 보다 쉽게 이해될 수 있을 것이다.
The various advantageous and beneficial advantages and effects of the present invention are not limited to the above-described contents, and will be more easily understood in the process of explaining specific embodiments of the present invention.

도 1 및 도 2는 본 발명의 실시예에 따른 가상 현실 장치를 나타낸 도이다.
도 3 및 도 4는 본 발명의 실시예에 따른 디스플레이 컨트롤러를 나타낸 블록도이다.
도 5는 본 발명의 실시예에 따른 전자 기기를 나타낸 블록도이다.
도 6 및 도 7은 본 발명의 실시예에 따른 디스플레이 컨트롤러의 동작을 설명하기 위해 제공되는 도이다.
도 8은 본 발명의 실시예에 따른 가상 현실 장치와 연동되어 동작할 수 있는 영상 촬영 장치를 나타낸 도이다.
도 9 내지 도 17은 본 발명의 실시예에 따른 디스플레이 컨트롤러의 동작을 설명하기 위해 제공되는 도이다.FIG. 1 and FIG. 2 are diagrams showing a virtual reality device according to an embodiment of the present invention.
FIGS. 3 and 4 are block diagrams showing a display controller according to an embodiment of the present invention.
FIG. 5 is a block diagram showing an electronic device according to an embodiment of the present invention.
FIGS. 6 and 7 are diagrams provided to explain the operation of a display controller according to an embodiment of the present invention.
FIG. 8 is a diagram illustrating an image capturing device that can operate in conjunction with a virtual reality device according to an embodiment of the present invention.
FIGS. 9 to 17 are diagrams provided to explain the operation of a display controller according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 형태들을 다음과 같이 설명한다.
Hereinafter, preferred embodiments of the present invention will be described with reference to the attached drawings.

도 1 및 도 2는 본 발명의 실시예에 따른 가상 현실 장치를 나타낸 도이다.FIG. 1 and FIG. 2 are diagrams showing a virtual reality device according to an embodiment of the present invention.

우선 도 1을 참조하면, 본 발명의 실시예에 따른 가상 현실 장치(10)는 사용자가 머리에 장착하고 이용하는 헤드 마운트 디스플레이(Head Mount Display, HMD) 장치일 수 있다. 가상 현실 장치(10)에는 사용자에게 영상을 출력하기 위한 전자 기기(18)가 장착될 수 있다. 전자 기기(18)는 가상 현실 장치(10)에 마련된 수납 공간 내에 장착될 수 있다. 전자 기기(18)가 가상 현실 장치(10)에 착탈 가능한 장치인 경우, 스마트 폰 등과 같은 스마트 기기가 전자 기기(18)로 채용될 수 있다. First, referring to FIG. 1, the virtual reality device (10) according to an embodiment of the present invention may be a head mount display (HMD) device that a user wears on his head and uses. The virtual reality device (10) may be equipped with an electronic device (18) for outputting an image to the user. The electronic device (18) may be equipped in a storage space provided in the virtual reality device (10). If the electronic device (18) is a device that can be attached to the virtual reality device (10), a smart device such as a smart phone may be employed as the electronic device (18).

가상 현실 장치(10)는, 고정부(11), 프레임(12), 조작부(13, 14), 커넥터(15), 커버(16), 및 광학부(17) 등을 포함할 수 있다. 고정부(11)는 가상 현실 장치(10)를 사용자의 머리에 장착하기 위해 제공되며, 스트랩과 같이 탄성 소재로 제작된 밴드, 안경 다리 또는 헬멧 등과 같은 고정 부재를 포함할 수 있다. 사용자는 고정부(11)에 머리를 끼움으로써 가상 현실 장치(10)를 고정시킬 수 있으며, 프레임(12)의 일부 영역이 사용자의 눈 주변 영역과 밀착될 수 있다. 사용자의 피로도를 줄이기 위해, 프레임(12)은 사용자의 눈 주변 영역과 밀착되는 영역에서 탄성 소재를 포함할 수 있다.The virtual reality device (10) may include a fixing member (11), a frame (12), an operating member (13, 14), a connector (15), a cover (16), and an optical member (17). The fixing member (11) is provided to mount the virtual reality device (10) on a user's head, and may include a fixing member such as a band made of an elastic material, such as a strap, a temple of glasses, or a helmet. The user may fix the virtual reality device (10) by putting his or her head on the fixing member (11), and a part of the frame (12) may be in close contact with an area around the user's eyes. In order to reduce user fatigue, the frame (12) may include an elastic material in an area in close contact with an area around the user's eyes.

프레임(12)은 전자 기기(18)를 수납하기 위한 공간을 포함할 수 있다. 전자 기기(18)는 앞서 설명한 바와 같이 프레임(12)으로부터 탈착 가능한 별도의 장치일 수 있다. 프레임(12)은 전자 기기(18)와 사용자의 눈 사이에 배치되는 광학부(17)를 포함할 수 있으며, 광학부(17)는 렌즈를 포함할 수 있다. 전자 기기(18)는 광학부(17)의 전면에 마련되며, 전자 기기(18)의 후면에는 커버(16)가 배치될 수 있다.The frame (12) may include a space for storing an electronic device (18). The electronic device (18) may be a separate device detachable from the frame (12) as described above. The frame (12) may include an optical unit (17) positioned between the electronic device (18) and the user's eye, and the optical unit (17) may include a lens. The electronic device (18) may be provided on the front side of the optical unit (17), and a cover (16) may be positioned on the rear side of the electronic device (18).

커넥터(15)는 전자 기기(18)와 전기적으로 연결되어 제어 신호를 송수신할 수 있다. 특히, 전자 기기(18)가 프레임(12)으로부터 탈착 가능한 별도의 장치인 경우, 커넥터(15)는 전자 기기(18)에 마련된 커넥터와 연결될 수 있다. 일 실시예로, 전자 기기(18)가 스마트 기기인 경우, 커넥터(15)는 스마트 기기에 포함된 USB, micro-USB, Lighting 단자 등의 다양한 규격에 따른 커넥터(15)와 연결될 수 있다.The connector (15) can be electrically connected to an electronic device (18) to transmit and receive control signals. In particular, if the electronic device (18) is a separate device detachable from the frame (12), the connector (15) can be connected to a connector provided in the electronic device (18). In one embodiment, if the electronic device (18) is a smart device, the connector (15) can be connected to a connector (15) according to various standards, such as a USB, micro-USB, or Lighting terminal included in the smart device.

조작부(13, 14)는 터치 패널 또는 기계식 휠 등을 포함할 수 있다. 사용자는 조작부(13, 14)를 통해 전자 기기(18)의 영상 재생, 일시정지, 영상 시점 이동, 볼륨 조절 등의 조작을 실행할 수 있다. 휠(14)은 터치 패널(13)과 다른 기능을 입력하기 위해 구비될 수 있으며, 예를 들어 광학부(17)의 초점을 조절하기 위한 목적으로 구비될 수 있다. 가상 현실 장치(10)는 터치 패널(13)과 휠(14) 외에 다른 다양한 조작 장치를 더 포함할 수도 있다.The operating unit (13, 14) may include a touch panel or a mechanical wheel, etc. The user may perform operations such as video playback, pause, video viewpoint movement, and volume control of the electronic device (18) through the operating unit (13, 14). The wheel (14) may be provided to input a different function from the touch panel (13), and may be provided for the purpose of adjusting the focus of the optical unit (17), for example. The virtual reality device (10) may further include various operating devices in addition to the touch panel (13) and the wheel (14).

한편, 도 2를 참조하면, 본 발명의 실시예에 따른 가상 현실 장치(20)는 별도의 전자 기기(18)와 결합할 필요 없이 가상 현실 서비스를 사용자에게 제공할 수 있는 단독형(stand-alone) 장치일 수 있다. 도 2에 도시한 실시예에 따른 가상 현실 장치(20)는, 도 1에 도시한 실시예와 유사하게 고정부(21), 프레임(22), 조작부(23, 24) 등을 포함할 수 있다. 다만, 가상 현실 장치(20)의 내부에 별도의 전자 기기가 수납되지 않으므로, 커넥터(25), 커버(26) 등의 구성은 생략될 수 있다. 사용자의 시선이 닿는 프레임(22) 내부의 공간에 영상을 출력하는 디스플레이 장치와, 광학부가 마련될 수 있다.Meanwhile, referring to FIG. 2, the virtual reality device (20) according to the embodiment of the present invention may be a stand-alone device that can provide a virtual reality service to a user without the need to be combined with a separate electronic device (18). The virtual reality device (20) according to the embodiment illustrated in FIG. 2 may include a fixing part (21), a frame (22), an operating part (23, 24), etc., similarly to the embodiment illustrated in FIG. 1. However, since a separate electronic device is not stored inside the virtual reality device (20), components such as a connector (25), a cover (26), etc. may be omitted. A display device that outputs an image to a space inside the frame (22) that is within the user's line of sight, and an optical part may be provided.

한편, 본 발명의 일 실시예에서, 단독형으로 제공되는 가상 현실 장치(20)는 데스크톱 컴퓨터, 랩톱 컴퓨터 등과 같은 외부 호스트(HOST)와 연결되어 전원 혹은 가상 현실을 위한 데이터 등을 제공받을 수 있다. 도 2에 도시한 실시예에서는 가상 현실 장치(20)가 유선으로 호스트(HOST)와 연결되는 것을 도시하였으나, 이와 달리 무선으로 연결되어 가상 현실을 위한 데이터를 제공받을 수도 있다.Meanwhile, in one embodiment of the present invention, a virtual reality device (20) provided as a standalone device may be connected to an external host (HOST) such as a desktop computer, a laptop computer, etc., to receive power or data for virtual reality, etc. In the embodiment illustrated in Fig. 2, the virtual reality device (20) is shown as being connected to the host (HOST) by wire, but alternatively, it may be connected wirelessly to receive data for virtual reality.

가상 현실 장치(10, 20)를 통해 사용자가 보는 화면은 정지 영상 또는 동영상일 수 있다. 가상 현실 서비스가 제공되는 동안, 가상 현실 장치(10, 20)를 장착한 사용자의 움직임에 따라 사용자가 보는 화면이 바뀔 수 있다. 따라서 사용자의 급격한 움직임에도 자연스럽게 화면이 표시될 수 있도록, 원본 영상에서 사용자가 보고자 하는 영역을 짧은 지연 시간 내에 불러올 수 있는 방법이 필요할 수 있다.The screen that the user sees through the virtual reality device (10, 20) may be a still image or a moving image. While the virtual reality service is provided, the screen that the user sees may change depending on the movement of the user wearing the virtual reality device (10, 20). Therefore, a method may be required to retrieve the area that the user wants to see from the original image within a short delay time so that the screen can be displayed naturally even when the user moves rapidly.

동영상의 경우, 1초에 수십 개의 정지 영상이 연속적으로 표시되어 사용자에게 동영상으로 인식될 수 있다. 즉, 사용자가 보는 화면이 1초에 수십번 바뀌게 된다. 가상 현실 장치(10, 20)를 통해 사용자가 보는 화면은 사용자의 눈에서 매우 가깝게 위치하므로, 1초에 표시되는 정지 영상의 개수를 나타내는 프레임 레이트(frame rate) 또는 초당 프레임 수(frame per second, fps)가 낮을 경우 사용자가 화면의 끊김을 인식할 수 있다. 또한, 동영상에서도 정지 영상과 마찬가지로, 사용자의 움직이는 경우에 짧은 지연 시간 동안 원본 영상에서 실제로 표시되어야 하는 영역을 불러오기 위한 방법이 필요할 수 있다.In the case of a video, dozens of still images may be displayed continuously per second, which may be perceived as a video by the user. In other words, the screen that the user sees may change dozens of times per second. Since the screen that the user sees through the virtual reality device (10, 20) is located very close to the user's eyes, if the frame rate or frames per second (fps), which indicates the number of still images displayed per second, is low, the user may perceive screen interruption. In addition, in the case of a video, as with still images, a method may be required to retrieve an area that should actually be displayed from the original image during a short delay when the user moves.

상기와 같은 문제를 해결하기 위해 동영상의 경우 초당 프레임 수를 의도적으로 높이는 방법을 이용할 수 있으나, 이 경우 프로세서에서 많은 연산량을 감당해야 하므로 전력 소모량 증가 및 프로세서 제조를 위한 비용 증가 등으로 이어질 수 있다. 특히, 가상 현실 장치(10, 20)는 모바일 환경에서 제공되는 경우가 많으므로, 프로세서의 전력 소모량 증가는 가상 현실 장치(10, 20)의 이용시간 단축으로 이어져 사용자의 불편을 초래할 수 있다.In order to solve the above problem, a method of intentionally increasing the number of frames per second for videos can be used, but in this case, since the processor must handle a large amount of calculations, this can lead to increased power consumption and increased costs for manufacturing the processor. In particular, since the virtual reality device (10, 20) is often provided in a mobile environment, an increase in the power consumption of the processor can lead to a shortened usage time of the virtual reality device (10, 20), which can cause inconvenience to the user.

본 발명의 다양한 실시예에서 제안하는 디스플레이 컨트롤러를 통해 상기와 같은 문제를 해결할 수 있다. 본 발명의 실시예에 따른 디스플레이 컨트롤러는, 원본 영상으로부터 소정의 영역을 선택하여 기준 영상을 생성하고, 기준 영상의 초당 프레임수를 높여 버퍼에 저장할 수 있다. 기준 영상은 가상 현실 장치(10, 20)를 착용한 사용자가 보는 화면에 표시되는 출력 영상을 포함할 수 있다. 즉, 기준 영상은 출력 영상과 같거나, 또는 그보다 큰 크기를 가질 수 있다. 사용자가 움직이는 경우, 디스플레이 컨트롤러는 버퍼에 저장된 기준 영상으로부터 일부 영역을 선택하여 출력할 수 있다. 따라서, 높은 초당 프레임수로 부드러운 동영상을 제공할 수 있을 뿐 아니라, 짧은 지연 시간 내에 출력 영상을 변경할 수 있어 사용자가 움직이는 경우에도 화면을 부드럽게 이동시켜 표시할 수 있다. 따라서, 사용자에게 좀 더 편안하고 생동감있는 가상 현실 서비스를 제공할 수 있다.
The above problem can be solved through the display controller proposed in various embodiments of the present invention. The display controller according to the embodiment of the present invention can select a predetermined area from an original image, generate a reference image, and increase the frame rate per second of the reference image to store it in a buffer. The reference image can include an output image displayed on a screen viewed by a user wearing a virtual reality device (10, 20). That is, the reference image can have a size equal to or larger than the output image. When the user moves, the display controller can select a portion of an area from the reference image stored in the buffer and output it. Therefore, not only can a smooth video be provided with a high frame rate per second, but the output image can also be changed within a short delay time, so that the screen can be smoothly moved and displayed even when the user moves. Therefore, a more comfortable and vivid virtual reality service can be provided to the user.

도 3 및 도 4는 본 발명의 실시예에 따른 디스플레이 컨트롤러를 나타낸 블록도이다.FIGS. 3 and 4 are block diagrams showing a display controller according to an embodiment of the present invention.

우선 도 3을 참조하면, 본 발명의 실시예에 따른 디스플레이 컨트롤러(100)는, 프레임 레이트 컨버터(Frame Rate Converter, FRC)(110), 버퍼(120), 및 영상 처리기(130) 등을 포함할 수 있다. 디스플레이 컨트롤러(100)는 원본 영상 처리기(210)로부터 기준 영상을 수신하고, 이로부터 출력 영상을 생성할 수 있다. 출력 영상은 디스플레이 구동 장치(DDI)(220)로 전송될 수 있다. 디스플레이 구동 장치(220)는 타이밍 컨트롤러, 게이트 드라이버, 소스 드라이버 등을 포함할 수 있다.또한 실시예에 따라 입력 영상은 프레임 레이트 컨버터(110)를 바이패스해서 버퍼(120)에 직접 전달될 7수도 있다.First, referring to FIG. 3, a display controller (100) according to an embodiment of the present invention may include a frame rate converter (FRC) (110), a buffer (120), and an image processor (130). The display controller (100) may receive a reference image from a source image processor (210) and generate an output image therefrom. The output image may be transmitted to a display driver (DDI) (220). The display driver (220) may include a timing controller, a gate driver, a source driver, and the like. In addition, according to an embodiment, an input image may be directly transmitted to a buffer (120) by bypassing the frame rate converter (110).

가상 현실 장치(10)가 탈착 가능한 전자 기기(18)에 의해 가상 현실 서비스를 제공하는 경우, 원본 영상 처리기(210)와 디스플레이 구동 장치(220), 및 디스플레이 컨트롤러(100) 중 적어도 일부는 전자 기기(18) 내에 포함될 수 있다. 일 실시예로, 원본 영상 처리기(210)와 디스플레이 컨트롤러(100) 중 적어도 하나는, 전자 기기(18)를 제어하는 연산 처리 장치, 예를 들어 애플리케이션 프로세서 등과 단일의(single) 모듈로서 제공될 수 있다. 한편, 단독형 가상 현실 장치(20)의 경우, 디스플레이 컨트롤러(100)와 원본 영상 처리기(210) 및 디스플레이 구동 장치(220)가 가상 현실 장치(20) 내에 구비될 수 있다. 이때, 디스플레이 컨트롤러(100)와 원본 영상 처리기(210) 및 디스플레이 구동 장치(220) 중 적어도 일부는, 단일의(single) 모듈로 구현될 수 있다.When the virtual reality device (10) provides a virtual reality service by means of a detachable electronic device (18), at least some of the original image processor (210), the display driving device (220), and the display controller (100) may be included in the electronic device (18). In one embodiment, at least one of the original image processor (210) and the display controller (100) may be provided as a single module together with an operation processing device, such as an application processor, that controls the electronic device (18). Meanwhile, in the case of a standalone virtual reality device (20), the display controller (100), the original image processor (210), and the display driving device (220) may be provided in the virtual reality device (20). In this case, at least some of the display controller (100), the original image processor (210), and the display driving device (220) may be implemented as a single module.

원본 영상 처리기(210)는 외부로부터 원본 영상을 수신하며, 원본 영상으로부터 제1 기준 영상을 생성할 수 있다. 원본 영상 처리기(210)는 외부의 촬영 장치 등으로부터 원본 영상을 수신하거나, 또는 메모리 등에 저장된 영상 데이터를 원본 영상으로서 가져올 수 있다. 원본 영상 처리기(210)는 전자 기기(18)의 애플리케이션 프로세서, 또는 단독형 가상 현실 장치(20)의 메인 프로세서 등과 단일의 모듈로 구현될 수 있다. 일 실시예에서, 원본 영상 처리기(210)가 동영상 형태의 원본 영상을 수신하는 경우, 원본 영상은 30 fps (frames per second, 초당 프레임수) 이하의 초당 프레임 수를 갖는 동영상일 수 있다.The original image processor (210) receives an original image from the outside, and can generate a first reference image from the original image. The original image processor (210) can receive an original image from an external photographing device, etc., or can bring in image data stored in a memory, etc. as the original image. The original image processor (210) can be implemented as a single module with an application processor of an electronic device (18), a main processor of a standalone virtual reality device (20), etc. In one embodiment, when the original image processor (210) receives an original image in the form of a video, the original image can be a video having a frame per second of 30 fps (frames per second) or less.

가상 현실 장치(10, 20)는 사용자의 눈과 매우 가까운 거리에서 출력 영상을 표시할 수 있다. 따라서 원거리 시청 목적으로 제공되는 스마트 기기, 텔레비전, 프로젝터 등과 달리 사용자가 출력 영상의 품질에 따라 사용자가 피로도를 쉽게 느낄 수 있다. 원본 영상이 낮은 초당 프레임 수를 갖는 경우, 원본 영상을 그대로 출력하면 사용자의 피로도가 높아질 수 있다. 이에 일반적인 경우, 메인 프로세서, 또는 애플리케이션 프로세서 등에 포함되는 원본 영상 처리기(210)가 원본 영상의 초당 프레임 수를 높여 출력함으로써, 사용자의 피로도를 줄이는 방법을 채택할 수 있다.The virtual reality device (10, 20) can display an output image at a very close distance from the user's eyes. Therefore, unlike smart devices, televisions, projectors, etc. provided for long-distance viewing, the user can easily feel fatigued depending on the quality of the output image. If the original image has a low number of frames per second, the user's fatigue may increase if the original image is output as is. In general, a method can be adopted in which the original image processor (210) included in the main processor or the application processor increases the number of frames per second of the original image and outputs it, thereby reducing the user's fatigue.

원본 영상 처리기(210)가 원본 영상의 초당 프레임 수를 높이는 경우, 메인 프로세서 또는 애플리케이션 프로세서 등에서 소모하는 전력이 증가하여 가상 현실 장치(10, 20)의 이용 시간이 짧아질 수 있다. 또한, 원본 영상의 해상도가 높은 경우, 원본 영상 처리기(210)가 처리해야 하는 연산량이 증가함에 따라 원본 영상 처리기(210)의 요구 성능이 높아질 수 밖에 없으며, 이는 결국 제조 비용 상승 등의 문제로 이어질 수 있다.If the original image processor (210) increases the number of frames per second of the original image, the power consumed by the main processor or application processor increases, which may shorten the usage time of the virtual reality device (10, 20). In addition, if the resolution of the original image is high, the amount of calculations that the original image processor (210) must process increases, which inevitably increases the performance requirements of the original image processor (210), which may ultimately lead to problems such as increased manufacturing costs.

본 발명에서는 이러한 문제를 해결하기 위해 디스플레이 컨트롤러(100)를 제공한다. 디스플레이 컨트롤러(100)는 원본 영상 처리기(210)가 출력하는 제1 기준 영상의 초당 프레임 수를 조절함과 동시에, 다양한 영상 처리 방법을 이용하여 가상 현실 서비스에서 발생할 수 있는 저더(judder) 문제 등을 해결할 수 있다. In order to solve this problem, the present invention provides a display controller (100). The display controller (100) can adjust the number of frames per second of a first reference image output by an original image processor (210) and solve problems such as judder that may occur in a virtual reality service by using various image processing methods.

한편, 가상 현실 장치(10, 20)는 사용자의 움직임을 감지하여 사용자가 보는 화면을 전환시킬 수 있다. 일 실시예로, 가상 현실 장치(10, 20)를 착용한 사용자가 머리 또는 시선을 상하좌우로 움직이는 경우, 센서(230)가 사용자의 움직임을 감지하여 움직임 정보를 생성할 수 있다. 가상 현실 장치(10, 20)는 상기 움직임 정보에 기초하여 사용자가 보는 화면을 전환시킬 수 있다. 사용자의 움직임에 따른 화면 이동이 부드럽게 이루어지지 않는 경우, 사용자가 화면 끊김을 인식하게 되어 어지러움 또는 피로감 등을 쉽게 느낄 수 있다.Meanwhile, the virtual reality device (10, 20) can detect the user's movement and switch the screen that the user sees. In one embodiment, when a user wearing the virtual reality device (10, 20) moves his head or gaze up, down, left, and right, the sensor (230) can detect the user's movement and generate movement information. The virtual reality device (10, 20) can switch the screen that the user sees based on the movement information. If the screen movement according to the user's movement is not smooth, the user may perceive screen interruption and easily feel dizzy or tired.

본 발명의 실시예에 따르면, 디스플레이 컨트롤러(100)에서 상기와 같은 문제를 해결할 수 있다. 디스플레이 컨트롤러(100)는 사용자가 실제로 보는 화면보다 큰 영역을 포함하는 기준 영상을 버퍼(120)에 미리 저장할 수 있다. 사용자의 움직임이 감지되면, 영상 처리기(130)가 버퍼(120)에 저장된 기준 영상으로부터 사용자의 움직임에 따라 표시되어야 하는 화면을 선택하여 출력할 수 있다. 따라서, 사용자의 움직임에 따라 화면을 전환하는 데에 필요한 지연 시간을 단축시켜 사용자에게 부드러운 화면 이동을 제공하고, 좀 더 편안하고 생생한 가상 현실 서비스를 제공할 수 있다.
According to an embodiment of the present invention, the above problem can be solved in the display controller (100). The display controller (100) can store a reference image including an area larger than the screen that the user actually sees in advance in the buffer (120). When the user's movement is detected, the image processor (130) can select and output a screen to be displayed according to the user's movement from the reference image stored in the buffer (120). Accordingly, the delay time required to switch the screen according to the user's movement can be shortened, thereby providing the user with smooth screen movement and providing a more comfortable and vivid virtual reality service.

다음으로 도 4를 참조하면, 본 발명의 실시예에 따른 디스플레이 컨트롤러(100A)에서, 영상 처리기(130A)는 영역 계산기(131)와 해상도 컨버터(132)를 포함할 수 있으며, 그 외에 화상 왜곡기를 더 포함할 수도 있다. 영역 계산기(131)는 버퍼(120)에 저장된 제2 기준 영상에서 적어도 일부 영역을 선택하며, 도 3의 실시예에 따른 영상 처리기(130)와 유사하게 동작할 수 있다. 해상도 컨버터(132) 및/또는 화상 왜곡기는 영역 계산기(131)가 출력하는 영상의 특징, 예를 들어 해상도를 왜곡시켜 광학부(17)를 통해서 왜곡되는 영상과 역상의 영상을 생성할 수 있다. 또한 영역 계산기(131)가 출력하는 영상의 해상도를 높일 수 있다.Next, referring to FIG. 4, in the display controller (100A) according to the embodiment of the present invention, the image processor (130A) may include an area calculator (131) and a resolution converter (132), and may further include an image distorter. The area calculator (131) selects at least a portion of an area from a second reference image stored in a buffer (120), and may operate similarly to the image processor (130) according to the embodiment of FIG. 3. The resolution converter (132) and/or the image distorter may distort characteristics of an image output by the area calculator (131), for example, resolution, to generate an image that is the opposite of an image distorted through the optical unit (17). In addition, the resolution of the image output by the area calculator (131) may be increased.

원본 영상 처리기(210)에 전달되는 원본 영상의 해상도가 높은 경우, 프레임 레이트 컨버터(110)가 제1 기준 영상의 초당 프레임 수를 높이는 데에 필요한 연산량이 증가할 수 있다. 또한, 프레임 레이트 컨버터(110)가 출력하는 제2 기준 영상의 용량이 크기 때문에, 버퍼(120)의 용량 역시 커질 수 밖에 없다. 본 발명의 실시예에서는 프레임 레이트 컨버터(110)의 연산 부담을 줄이고, 버퍼(120)의 용량을 줄이기 위해 원본 영상 처리기(210)가 원본 영상의 해상도를 낮춰서 제1 기준 영상을 생성할 수 있다.If the resolution of the original image transmitted to the original image processor (210) is high, the amount of computation required for the frame rate converter (110) to increase the number of frames per second of the first reference image may increase. In addition, since the capacity of the second reference image output by the frame rate converter (110) is large, the capacity of the buffer (120) also inevitably increases. In an embodiment of the present invention, in order to reduce the computational burden of the frame rate converter (110) and the capacity of the buffer (120), the original image processor (210) may lower the resolution of the original image to generate the first reference image.

가상 현실 장치(10, 20)가 출력하는 영상은 사용자의 눈으로부터 매우 가까운 위치에서 표시되므로, 출력 영상의 해상도가 낮을 경우 픽셀 깨짐 현상 등이 사용자에게 인식될 수 있다. 따라서, 원본 영상의 해상도를 낮춰 제1 기준 영상을 생성하되, 영역 계산기(131)의 출력단에 해상도 컨버터(132)를 배치하여 원본 영상과 비슷하거나 그보다 높은 해상도를 갖는 출력 영상을 디스플레이 구동 장치(220)에 전달할 수 있다. 제1 기준 영상의 해상도가 낮아지므로, 버퍼(120)의 용량과 프레임 레이트 컨버터(110)의 연산 부담을 줄일 수 있으며, 출력 영상은 다시 해상도를 높여 디스플레이 구동 장치(220)에 전달되므로, 사용자에게는 고해상도의 출력 영상을 제공할 수 있다.
Since the image output by the virtual reality device (10, 20) is displayed at a location very close to the user's eyes, if the resolution of the output image is low, the user may perceive pixel breakage and the like. Therefore, by lowering the resolution of the original image to generate a first reference image, a resolution converter (132) is arranged at the output terminal of the area calculator (131) so that an output image having a resolution similar to or higher than that of the original image can be transmitted to the display driving device (220). Since the resolution of the first reference image is lowered, the capacity of the buffer (120) and the computational burden of the frame rate converter (110) can be reduced, and since the output image is transmitted to the display driving device (220) with its resolution increased again, a high-resolution output image can be provided to the user.

도 5는 본 발명의 실시예에 따른 전자 기기를 나타낸 블록도이다.FIG. 5 is a block diagram showing an electronic device according to an embodiment of the present invention.

도 5를 참조하면, 본 발명의 실시예에 따른 전자 기기(300)는, 애플리케이션 프로세서(310), 센서 모듈(320), 디스플레이 컨트롤러(330), 디스플레이 장치(340), 메모리(350), 통신 모듈(360) 등을 포함할 수 있다. 전자 기기(300)에 포함되는 각 구성 요소들은 실시예에 따라 더 추가될 수도 있으며, 데이터 버스(370)를 통해 서로 데이터를 주고받을 수 있다.Referring to FIG. 5, an electronic device (300) according to an embodiment of the present invention may include an application processor (310), a sensor module (320), a display controller (330), a display device (340), a memory (350), a communication module (360), etc. Each component included in the electronic device (300) may be further added according to an embodiment, and may exchange data with each other through a data bus (370).

애플리케이션 프로세서(310)는 전자 기기(300)의 전반적인 동작을 제어하기 위한 연산 처리 장치일 수 있다. 전자 기기(300)가 가상 현실 장치(10)에 장착되어 가상 현실 서비스를 제공하기 위한 목적으로 이용되는 경우, 애플리케이션 프로세서(310)는 통신 모듈(360)을 통해 외부의 영상 촬영 장치로부터 원본 영상을 수신하거나, 또는 메모리(350)에 저장된 영상 데이터를 인출하여 원본 영상으로 이용할 수 있다. 일 실시예에서, 애플리케이션 프로세서(310)는 도 3 및 도 4를 참조하여 설명한 원본 영상 처리기(210)를 포함할 수 있다.The application processor (310) may be an operation processing device for controlling the overall operation of the electronic device (300). When the electronic device (300) is mounted on a virtual reality device (10) and used for the purpose of providing a virtual reality service, the application processor (310) may receive an original image from an external image capturing device through a communication module (360), or may extract image data stored in a memory (350) and use it as an original image. In one embodiment, the application processor (310) may include the original image processor (210) described with reference to FIGS. 3 and 4.

센서 모듈(320)은 하나 이상의 센서를 가질 수 있으며, 특히 사용자의 움직임을 감지하기 위한 모션 감지 센서를 포함할 수 있다. 전자 기기(300)가 가상 현실 장치(10)에 장착되는 경우, 가상 현실 장치(10)를 착용한 사용자의 머리 또는 시선 등의 움직임이 센서 모듈(320)에 의해 감지될 수 있다. 센서 모듈(320)이 감지한 사용자의 움직임에 기초하여, 사용자에게 표시되는 가상 현실 서비스의 영상이 바뀔 수 있다.The sensor module (320) may have one or more sensors, and may particularly include a motion detection sensor for detecting the user's movement. When the electronic device (300) is mounted on the virtual reality device (10), the movement of the head or gaze of the user wearing the virtual reality device (10) may be detected by the sensor module (320). Based on the user's movement detected by the sensor module (320), the image of the virtual reality service displayed to the user may change.

디스플레이 컨트롤러(330)는 사용자에게 좀 더 자연스럽고 편안한 가상 현실 서비스를 제공하기 위해 제공될 수 있다. 일 실시예로, 디스플레이 컨트롤러(330)는 프레임 레이트 컨버터, 버퍼, 영상 처리기 등을 포함할 수 있다. 디스플레이 컨트롤러(330)는 사용자에게 가상 현실 서비스를 제공하기 위한 원본 영상의 초당 프레임 수를 증가시켜 버퍼에 저장할 수 있다. 또한 디스플레이 컨트롤러(330)는 센서 모듈(320)이 감지하는 사용자의 움직임에 기초하여 버퍼에 저장된 영상의 적어도 일부 영역을 선택함으로써 출력 영상을 생성할 수 있다. The display controller (330) may be provided to provide a more natural and comfortable virtual reality service to the user. As an example, the display controller (330) may include a frame rate converter, a buffer, an image processor, etc. The display controller (330) may increase the number of frames per second of an original image for providing a virtual reality service to the user and store it in a buffer. In addition, the display controller (330) may generate an output image by selecting at least a portion of an image stored in a buffer based on the user's movement detected by the sensor module (320).

디스플레이 컨트롤러(330)가 생성한 출력 영상은 디스플레이 장치(340)를 통해 사용자에게 표시될 수 있다. 디스플레이 장치(340)는 디스플레이 패널과 디스플레이 구동 장치를 포함할 수 있다. 디스플레이 구동 장치는 타이밍 컨트롤러, 게이트 드라이버, 데이터 드라이버 등을 포함할 수 있다. 한편, 일 실시예에서, 디스플레이 컨트롤러(330)는 디스플레이 구동 장치 또는 애플리케이션 프로세서(310) 등과 단일의 모듈로 구현될 수 있다.
The output image generated by the display controller (330) can be displayed to the user through the display device (340). The display device (340) can include a display panel and a display driving device. The display driving device can include a timing controller, a gate driver, a data driver, etc. Meanwhile, in one embodiment, the display controller (330) can be implemented as a single module with the display driving device or the application processor (310), etc.

도 6 및 도 7은 본 발명의 실시예에 따른 디스플레이 컨트롤러의 동작을 설명하기 위해 제공되는 도이다. 이하, 설명의 편의를 위해 도 3을 함께 참조하여 본 발명의 실시예에 따른 디스플레이 컨트롤러의 동작을 설명하기로 한다.FIGS. 6 and 7 are diagrams provided to explain the operation of a display controller according to an embodiment of the present invention. Hereinafter, for convenience of explanation, the operation of a display controller according to an embodiment of the present invention will be explained with reference to FIG. 3 together.

우선 도 6을 참조하면, 원본 영상(400)은 제1 초당 프레임 수를 갖는 동영상일 수 있다. 제1 초당 프레임 수가 24 fps인 경우를 가정하면, 원본 영상(400)에서 연속적으로 표시되는 제1 및 제2 프레임(411, 412) 사이에는 1/24초, 약 41.7 msec의 시간이 존재할 수 있다. 사람의 눈에 보여지는 화면이 시신경을 거쳐 뇌까지 전달되어 인식하는 데에 걸리는 시간이 매우 짧기 때문에, 24 fps의 원본 영상(400)을 그대로 출력할 경우 사용자가 화면의 끊김을 인식할 수 있다. 이는, 제1 및 제2 프레임(411, 412) 사이에 약 33.3msec의 시간이 존재하는 30 fps의 원본 영상(400)의 경우에도 마찬가지일 수 있다.First, referring to FIG. 6, the original image (400) may be a video having a first frame per second number. Assuming that the first frame per second number is 24 fps, there may be a time of 1/24 second, or about 41.7 msec, between the first and second frames (411, 412) that are continuously displayed in the original image (400). Since the time it takes for a screen seen by a human eye to be transmitted to the brain through the optic nerve and recognized is very short, if the original image (400) of 24 fps is output as is, the user may perceive a break in the screen. This may also be the case in the case of the original image (400) of 30 fps, in which there is a time of about 33.3 msec between the first and second frames (411, 412).

본 발명의 실시예에서는, 디스플레이 컨트롤러(100)가 초당 프레임 수를 높여 출력 영상을 생성함으로써 상기와 같은 문제를 해결할 수 있다. 도 3 및 도 6을 참조하면, 원본 영상 처리기(210)는 원본 영상(400)을 영상 처리하여 제1 기준 영상(420)을 생성할 수 있다. 제1 기준 영상(420)에 포함되는 제1 및 제2 프레임(421, 422)은, 원본 영상(410)에 포함되는 제1 및 제2 프레임(411, 412)에서 선택된 일부 영역일 수 있다. 한편, 제1 기준 영상(420)은 원본 영상(410)과 같은 초당 프레임 수를 가질 수 있다. In an embodiment of the present invention, the display controller (100) can solve the above problem by generating an output image by increasing the number of frames per second. Referring to FIG. 3 and FIG. 6, the original image processor (210) can perform image processing on the original image (400) to generate a first reference image (420). The first and second frames (421, 422) included in the first reference image (420) may be some areas selected from the first and second frames (411, 412) included in the original image (410). Meanwhile, the first reference image (420) may have the same number of frames per second as the original image (410).

제1 기준 영상(420)은 디스플레이 컨트롤러(100)로 전송될 수 있다. 프레임 레이트 컨버터(110)는 제1 기준 영상(420)을 받아 제2 기준 영상(430)을 생성할 수 있다. 제2 기준 영상(430)은, 제1 프레임(431)과 제2 프레임(432), 및 그 사이에 삽입되는 복수의 추가 프레임(433, 434, 435)을 포함할 수 있다. 제1 및 제2 프레임(431, 432) 각각은 제1 기준 영상(420)의 제1 및 제2 프레임(421, 422)과 동일할 수 있다. The first reference image (420) can be transmitted to the display controller (100). The frame rate converter (110) can receive the first reference image (420) and generate a second reference image (430). The second reference image (430) can include a first frame (431), a second frame (432), and a plurality of additional frames (433, 434, 435) inserted therebetween. Each of the first and second frames (431, 432) can be identical to the first and second frames (421, 422) of the first reference image (420).

제1 내지 제3 추가 프레임(433-435)은 프레임 레이트 컨버터(110)에 의해 삽입되는 프레임일 수 있다. 일 실시예에서, 제1 내지 제3 추가 프레임(433-435)은 제1 프레임(431) 또는 제2 프레임(432)과 동일할 수 있다. 원본 영상(410)이 30 fps의 초당 프레임 수를 갖는 경우, 제1 내지 제3 추가 프레임(433-435)을 삽입함으로써 제2 기준 영상(430)은 120 fps의 초당 프레임 수를 가질 수 있다. 제2 기준 영상(430)은 버퍼(120)에 저장될 수 있다.The first to third additional frames (433-435) may be frames inserted by the frame rate converter (110). In one embodiment, the first to third additional frames (433-435) may be identical to the first frame (431) or the second frame (432). When the original image (410) has a frame rate of 30 fps, the second reference image (430) may have a frame rate of 120 fps by inserting the first to third additional frames (433-435). The second reference image (430) may be stored in the buffer (120).

영상 처리기(130)는 버퍼(120)에 저장된 제2 기준 영상(430)에 포함된 영상 프레임들(431-435)에서 적어도 일부 영역을 선택하여 출력 영상(440)을 생성할 수 있다. 도 6을 참조하면, 출력 영상(440)은 제2 기준 영상(430)과 같은 초당 프레임 수를 가질 수 있다. 출력 영상(440)에 포함되는 각 영상 프레임들(441-445)은, 제2 기준 영상(430)에 포함되는 영상 프레임들(431-435) 보다 작은 크기를 가질 수 있다.The image processor (130) can select at least a portion of an area from the image frames (431-435) included in the second reference image (430) stored in the buffer (120) to generate an output image (440). Referring to FIG. 6, the output image (440) can have the same number of frames per second as the second reference image (430). Each of the image frames (441-445) included in the output image (440) can have a smaller size than the image frames (431-435) included in the second reference image (430).

출력 영상(440)에 포함되는 각 영상 프레임들(441-445)은 가상 현실 장치(10, 20)를 착용한 사용자의 눈에 실제로 보여지는 화면일 수 있다. 출력 영상(440)의 각 영상 프레임들(441-445)은 제2 기준 영상(430)의 영상 프레임들(431-435)에서 선택되는 일부의 영역일 수 있다. 일 실시예에서, 출력 영상(440)의 영상 프레임들(441-445)은 사용자의 시선 또는 머리의 움직임을 감지하여 제2 기준 영상(430)의 영상 프레임들(431-435)에서 일부 영역을 선택함으로써 생성될 수 있다.Each of the image frames (441-445) included in the output image (440) may be a screen actually seen by the eyes of a user wearing the virtual reality device (10, 20). Each of the image frames (441-445) of the output image (440) may be a portion of an area selected from the image frames (431-435) of the second reference image (430). In one embodiment, the image frames (441-445) of the output image (440) may be generated by detecting the movement of the user's gaze or head and selecting a portion of an area from the image frames (431-435) of the second reference image (430).

도 7을 참조하면, 본 발명의 실시예에 따른 디스플레이 컨트롤러(100)를 거치지 않은 일반적인 출력 영상(450)은, 제1 프레임(451) 이후 바로 제2 프레임(452)을 표시할 수 있다. 제1 및 제2 프레임(451, 452) 사이에는 1/30초의 시간 차가 존재하며, 제1 및 제2 프레임(451, 452) 사이의 변위 차이가 사용자에게 인식될 수 있다. 따라서, 사용자가 가상 현실 장치(10, 20)를 통해 일반적인 출력 영상(450)을 보는 경우, 화면 끊김을 인식하거나 화면 내에서 특정 영역이 순간적으로 이동하는 것을 인식하게 되어 피로감 또는 어지러움 등을 느낄 수 있다.Referring to FIG. 7, a general output image (450) that does not pass through a display controller (100) according to an embodiment of the present invention can display a second frame (452) immediately after a first frame (451). There is a time difference of 1/30 second between the first and second frames (451, 452), and the displacement difference between the first and second frames (451, 452) can be recognized by the user. Accordingly, when a user views a general output image (450) through a virtual reality device (10, 20), the user may perceive screen breakup or a specific area moving momentarily within the screen, which may cause fatigue or dizziness.

본 발명의 실시예에 따른 디스플레이 컨트롤러(100)는 상기와 같은 문제를 해결할 수 있다. 도 7을 참조하면, 일반적인 출력 영상(450)과 달리, 본 발명의 실시예에 따른 디스플레이 컨트롤러(100)가 생성한 출력 영상(440)은 제1 및 제2 프레임(441, 442) 사이에 삽입되는 추가 프레임들(443-445)을 포함할 수 있다. 따라서, 초당 프레임 수가 120 fps로 높아지므로, 사용자가 화면의 끊김을 인식할 수 없게 되어 피로감 또는 어지러움 등이 발생하지 않을 수 있다.The display controller (100) according to the embodiment of the present invention can solve the above problem. Referring to FIG. 7, unlike a general output image (450), the output image (440) generated by the display controller (100) according to the embodiment of the present invention can include additional frames (443-445) inserted between the first and second frames (441, 442). Accordingly, since the number of frames per second increases to 120 fps, the user may not perceive screen interruption, and thus may not experience fatigue or dizziness.

또한, 추가 프레임들(443-445)은 사용자의 시선 이동 또는 머리의 움직임에 기초하여 생성될 수 있다. 출력 영상(440)의 추가 프레임들(443-445)은 제1 프레임(441)과 제2 프레임(442) 사이의 시간 동안 사용자의 시선 이동 또는 머리의 움직임을 따라가는 영역으로 정의될 수 있다. 즉, 추가 프레임들(443-445)은 제1 및 제2 프레임(441, 442) 사이에 존재하는 영역일 수 있다. 따라서, 가상 현실 장치(10, 20)는 제1 프레임(441) - 제1 추가 프레임(443) - 제2 추가 프레임(444) - 제3 추가 프레임(445) - 제2 프레임(442)을 연속적으로 표시하게 되며, 사용자는 끊김없이 자연스럽게 이동하는 출력 영상(440)을 제공받을 수 있다.In addition, the additional frames (443-445) may be generated based on the user's gaze movement or head movement. The additional frames (443-445) of the output image (440) may be defined as an area that follows the user's gaze movement or head movement during the time between the first frame (441) and the second frame (442). That is, the additional frames (443-445) may be an area that exists between the first and second frames (441, 442). Accordingly, the virtual reality device (10, 20) sequentially displays the first frame (441) - the first additional frame (443) - the second additional frame (444) - the third additional frame (445) - the second frame (442), and the user may be provided with an output image (440) that moves naturally without interruption.

한편, 앞서 설명한 바와 같이, 제2 기준 영상(430)은 버퍼(120)에 저장되며, 영상 처리기(130)는 사용자의 시선이나 머리의 움직임을 고려하여 버퍼(120)에 저장된 제2 기준 영상(430)으로부터 일부 영역을 선택하는 것만으로 추가 프레임들(443-445)을 생성할 수 있다. 따라서, 추가 프레임들(443-445)을 생성하는 데에 필요한 지연 시간(latency)을 단축할 수 있으며, 사용자의 움직임에 대한 가상 현실 장치(10, 20)의 반응 속도를 개선할 수 있다.
Meanwhile, as described above, the second reference image (430) is stored in the buffer (120), and the image processor (130) can generate additional frames (443-445) by simply selecting a portion of the second reference image (430) stored in the buffer (120) in consideration of the movement of the user's gaze or head. Accordingly, the latency required to generate the additional frames (443-445) can be shortened, and the response speed of the virtual reality device (10, 20) to the user's movement can be improved.

도 8은 본 발명의 실시예에 따른 가상 현실 장치와 연동되어 동작할 수 있는 영상 촬영 장치를 나타낸 도이다.FIG. 8 is a diagram illustrating an image capturing device that can operate in conjunction with a virtual reality device according to an embodiment of the present invention.

도 8을 참조하면, 본 발명의 실시예에 따른 영상 촬영 장치(30)는, 카메라부(31), 케이스(32), 지지부(33) 등을 포함할 수 있다. 카메라부(31)는 하나 이상의 렌즈와 이미지 센서, 및 이미지 센서가 생성한 신호로부터 영상을 생성하는 이미지 프로세서 등을 포함할 수 있다. 일 실시예에서, 영상 촬영 장치(30)는 영상 촬영 장치(30)를 기준으로 주변 360도를 한 번에 촬영할 수 있으며, 이때 카메라부(31)에 포함되는 렌즈는 넓은 화각을 한 번에 촬영할 수 있는 어안 렌즈일 수 있다. 주변 360도를 한 번에 촬영하기 위해, 카메라부(31)는 서로 다른 위치에 배치된 복수의 어안 렌즈를 포함할 수 있으며, 이미지 센서 역시 복수 개일 수 있다.Referring to FIG. 8, an image capturing device (30) according to an embodiment of the present invention may include a camera unit (31), a case (32), a support unit (33), etc. The camera unit (31) may include one or more lenses, an image sensor, and an image processor that generates an image from a signal generated by the image sensor. In one embodiment, the image capturing device (30) may capture 360 degrees of the surroundings at once based on the image capturing device (30), and at this time, the lens included in the camera unit (31) may be a fish-eye lens that may capture a wide angle of view at once. In order to capture 360 degrees of the surroundings at once, the camera unit (31) may include a plurality of fish-eye lenses positioned at different locations, and there may also be a plurality of image sensors.

영상 촬영 장치(30)가 생성하는 영상은 원본 영상으로서 가상 현실 장치(10, 20)로 전송될 수 있다. 가상 현실 장치(10, 20)와 영상 촬영 장치(30)는 유무선 통신 프로토콜에 의해 서로 연결될 수 있으며, 사용자는 가상 현실 장치(10, 20)를 장착하여 영상 촬영 장치(30)가 전송하는 원본 영상을 실시간으로 볼 수 있다. 단독형이 아닌 가상 현실 장치(10)의 경우, 전자 기기(18)가 영상 촬영 장치(30)가 전송하는 원본 영상을 출력함으로써 사용자에게 가상 현실 서비스를 제공할 수 있다.
The image generated by the image capturing device (30) can be transmitted as an original image to the virtual reality device (10, 20). The virtual reality device (10, 20) and the image capturing device (30) can be connected to each other by a wired or wireless communication protocol, and the user can view the original image transmitted by the image capturing device (30) in real time by wearing the virtual reality device (10, 20). In the case of a virtual reality device (10) that is not a standalone device, the electronic device (18) can provide a virtual reality service to the user by outputting the original image transmitted by the image capturing device (30).

도 9 내지 도 16은 본 발명의 실시예에 따른 디스플레이 컨트롤러의 동작을 설명하기 위해 제공되는 도이다. 우선, 도 9 내지 도 11을 참조하여 원본 영상이 360도 영상인 경우, 본 발명의 실시에에 따른 디스플레이 컨트롤러의 동작을 설명하기로 한다.FIGS. 9 to 16 are diagrams provided to explain the operation of a display controller according to an embodiment of the present invention. First, referring to FIGS. 9 to 11, the operation of a display controller according to an embodiment of the present invention will be explained when the original image is a 360-degree image.

도 9를 참조하면, 원본 영상(500)은 도 8에 도시한 실시예에 따른 영상 촬영 장치(30)를 기준으로 주변 360도를 모두 촬영한 영상일 수 있다. 원본 영상 처리기(210)는 센서(230)가 감지하는 사용자의 움직임, 시선의 이동 등을 고려하여 원본 영상(500)에서 일부 영역을 선택함으로써 제1 기준 영상(510)을 생성할 수 있다. 제1 기준 영상(510)은 원본 영상(500)과 같은 초당 프레임 수를 가질 수 있다. 도 9에 도시한 바와 같이 제1 기준 영상(510)은 원본 영상에서 선택되는 일부 영역이며, 사용자에게 실제로 표시되는 출력 영상보다는 큰 영역일 수 있다. Referring to FIG. 9, the original image (500) may be an image captured in a 360-degree surrounding area based on the image capturing device (30) according to the embodiment illustrated in FIG. 8. The original image processor (210) may select a portion of the original image (500) by considering the user's movement detected by the sensor (230), movement of the gaze, etc., to generate a first reference image (510). The first reference image (510) may have the same number of frames per second as the original image (500). As illustrated in FIG. 9, the first reference image (510) is a portion of the original image selected, and may be a larger area than the output image that is actually displayed to the user.

앞서 도 3을 참조하여 설명한 바와 같이, 디스플레이 컨트롤러(100)는 프레임 레이트 컨버터(110), 버퍼(120) 및 영상 처리기(130)를 포함할 수 있다. 프레임 레이트 컨버터(110)는 원본 영상 처리기(210)가 생성한 제1 기준 영상(510)의 초당 프레임 수를 증가시킬 수 있다. 제1 기준 영상(510)은 원본 영상(500)과 동일한 초당 프레임수를 가질 수 있는데, 일 실시예로 제1 기준 영상(510)의 초당 프레임수가 30 fps인 경우, 프레임 레이트 컨버터(110)는 이를 120 fps으로 높여 제2 기준 영상(520)을 생성하고, 이를 버퍼(120)에 저장할 수 있다. 제2 기준 영상(520)은 제1 기준 영상(510)과 같은 크기를 가질 수 있다.As described above with reference to FIG. 3, the display controller (100) may include a frame rate converter (110), a buffer (120), and an image processor (130). The frame rate converter (110) may increase the number of frames per second of a first reference image (510) generated by the original image processor (210). The first reference image (510) may have the same number of frames per second as the original image (500). In one embodiment, when the number of frames per second of the first reference image (510) is 30 fps, the frame rate converter (110) may increase it to 120 fps to generate a second reference image (520), and store it in the buffer (120). The second reference image (520) may have the same size as the first reference image (510).

본 발명의 실시예에 따른 디스플레이 컨트롤러(100)가 채용되지 않는 경우, 도 10에 도시한 바와 같이 출력 영상(530)은 제1 및 제2 프레임(531, 532)이 연속적으로 표시될 수 있다. 출력 영상(530)은 원본 영상(500) 및 제1 기준 영상(510)과 동일한 초당 프레임 수를 가질 수 있으며, 일 실시예로 제1 및 제2 프레임(531, 532) 사이에는 1/30초의 시간이 존재할 수 있다. 따라서, 사용자의 시선 또는 머리의 움직임에 따라 제1 프레임(531) 이후 제2 프레임(532)이 표시됨에 따라, 사용자가 출력 영상(530)의 끊김 및 늦은 화면 전환 등을 인식할 수 있다.If the display controller (100) according to the embodiment of the present invention is not employed, as illustrated in FIG. 10, the output image (530) may display the first and second frames (531, 532) sequentially. The output image (530) may have the same number of frames per second as the original image (500) and the first reference image (510), and in one embodiment, a time of 1/30 second may exist between the first and second frames (531, 532). Accordingly, as the second frame (532) is displayed after the first frame (531) depending on the movement of the user's gaze or head, the user may recognize a break in the output image (530) and a late screen transition.

도 11을 참조하면, 본 발명의 실시예에 따른 디스플레이 컨트롤러(100)에 포함되는 영상 처리기(130)는, 버퍼(120)에 저장된 제2 기준 영상(520)으로부터 사용자에게 실제로 표시되는 출력 영상(530)을 생성할 수 있다. 출력 영상(530)은 도 10에 도시한 실시예와 달리, 제1 및 제2 프레임(531, 532) 사이에 삽입되어 순차적으로 표시되는 복수의 추가 프레임들(533-535)을 포함할 수 있다. 따라서, 사용자에게 도 11에 도시한 바와 같이 1/30초 동안 3개의 추가 프레임(533-535)이 더 표시되므로, 사용자가 출력 영상(530)의 끊김 또는 늦은 화면 전환을 인식하는 것을 방지하고, 사용자의 피로도와 어지러움 등을 줄일 수 있다. Referring to FIG. 11, the image processor (130) included in the display controller (100) according to the embodiment of the present invention can generate an output image (530) that is actually displayed to the user from the second reference image (520) stored in the buffer (120). Unlike the embodiment illustrated in FIG. 10, the output image (530) can include a plurality of additional frames (533-535) that are inserted between the first and second frames (531, 532) and displayed sequentially. Accordingly, since three additional frames (533-535) are additionally displayed to the user for 1/30 second as illustrated in FIG. 11, it is possible to prevent the user from recognizing a break in the output image (530) or a late screen transition, and reduce user fatigue and dizziness.

일 실시예로, 영상 처리기(130)는 센서(230)가 감지하는 사용자 머리의 움직임 또는 시선 이동을 참조하여 추가 프레임들(533-535)을 생성할 수 있다. 즉, 본 발명의 실시예에서는, 영상 처리기(130)가 센서(230)로부터 정보를 수신하고, 버퍼(120)에 저장된 제2 기준 영상(520)의 영상 프레임들에서 일부 영역을 선택하는 것만으로 추가 프레임들(533-535)이 생성될 수 있다. 따라서, 출력 영상(530)의 초당 프레임 수를 증가에 필요한 추가 프레임들(533-535) 생성에 필요한 시간을 최소화하여 저더(judder) 현상 발생을 억제할 수 있다. 추가 프레임들(533-535)의 개수는 목표로 하는 출력 영상의 초당 프레임 수, 사용자의 움직임이나 시선 이동의 속도 등을 고려하여 적절히 결정될 수 있다.
In one embodiment, the image processor (130) may generate additional frames (533-535) by referring to the movement of the user's head or gaze movement detected by the sensor (230). That is, in the embodiment of the present invention, the image processor (130) may generate additional frames (533-535) by only receiving information from the sensor (230) and selecting a partial area from the image frames of the second reference image (520) stored in the buffer (120). Accordingly, the time required to generate the additional frames (533-535) required to increase the number of frames per second of the output image (530) may be minimized, thereby suppressing the occurrence of the judder phenomenon. The number of additional frames (533-535) may be appropriately determined by considering the number of frames per second of the target output image, the speed of the user's movement or gaze movement, etc.

다음으로 도 12 내지 도 14를 참조하여 원본 영상이 게임 영상인 경우, 본 발명의 실시에에 따른 디스플레이 컨트롤러의 동작을 설명하기로 한다. 즉, 도 12 내지 도 14에 도시한 실시예에서, 가상 현실 장치(10, 20)는 사용자에게 가상 현실 서비스에 기반한 게임 기능을 제공할 수 있다. 도 12 내지 도 14에서는 레이싱 게임을 예시로 도시하였으나, 이와 다른 다양한 장르의 게임 기능이 제공될 수 있음은 물론이다. Next, referring to FIGS. 12 to 14, the operation of the display controller according to the embodiment of the present invention will be described when the original image is a game image. That is, in the embodiment illustrated in FIGS. 12 to 14, the virtual reality device (10, 20) can provide a game function based on a virtual reality service to the user. In FIGS. 12 to 14, a racing game is illustrated as an example, but it is obvious that game functions of various genres other than this can be provided.

우선 도 12를 참조하면, 디스플레이 컨트롤러(100)의 프레임 레이트 컨버터(110)는, 게이머에게 실제로 표시되는 출력 영상의 영상 프레임들(610, 620)보다 큰 제2 기준 영상(600)을 생성하여 버퍼(120)에 저장할 수 있다. 제2 기준 영상(600)은 원본 영상 처리기(210)가 전달하는 제1 기준 영상과 실질적으로 동일한 크기를 가질 수 있으며, 게임 프로그램에서 제공하는 원본 영상보다 높은 초당 프레임 수를 가질 수 있다. 프레임 레이트 컨버터(110)는, 원본 영상 처리기(210)가 전달하는 제1 기준 영상의 초당 프레임 수를 높여 제2 기준 영상(600)을 생성하고, 버퍼(120)에 저장할 수 있다.First, referring to FIG. 12, the frame rate converter (110) of the display controller (100) can generate a second reference image (600) larger than the image frames (610, 620) of the output image actually displayed to the gamer and store the second reference image (600) in the buffer (120). The second reference image (600) can have substantially the same size as the first reference image transmitted by the original image processor (210) and can have a higher number of frames per second than the original image provided by the game program. The frame rate converter (110) can increase the number of frames per second of the first reference image transmitted by the original image processor (210) to generate the second reference image (600) and store the second reference image (600) in the buffer (120).

즉, 게임이 실행되는 동안, 디스플레이 컨트롤러(100)의 프레임 레이트 컨버터(110)는 원본 영상보다 높은 초당 프레임 수를 갖는 제2 기준 영상(600)을 버퍼(120)에 저장할 수 있다. 한편 게이머는, 제2 기준 영상(600)의 일부 영역인 출력 영상의 영상 프레임들(610, 620)을 실제로 보면서 게임을 플레이할 수 있다. That is, while the game is running, the frame rate converter (110) of the display controller (100) can store a second reference image (600) having a higher number of frames per second than the original image in the buffer (120). Meanwhile, the gamer can play the game while actually viewing the image frames (610, 620) of the output image, which is a part of the second reference image (600).

가상 현실 서비스에 기반한 게임은, 게임을 플레이하는 게이머의 1인칭 시점에서 진행될 수 있다. 빠른 응답 속도로 자연스러운 1인칭 시점의 게임 영상을 제공하기 위해, 출력 영상의 영상 프레임들(610, 620)에서 적어도 일부 영역은 게임이 플레이되는 동안 상대적으로 적은 변화량을 가질 수 있다. 도 12 내지 도 14에 도시한 실시예에 따른 레이싱 게임의 경우, 게이머가 탑승한 것으로 가정되는 차량을 표시하는 전경 영상(610A)은, 게이머가 게임을 플레이하는 동안 핸들과 바퀴가 움직이거나, 사이드 미러에 비치는 이미지가 바뀌는 정도의 변화만을 포함할 수 있다. A game based on a virtual reality service can be played from the first-person perspective of a gamer playing the game. In order to provide a natural first-person perspective game image with a fast response speed, at least some areas of the image frames (610, 620) of the output image can have a relatively small amount of change while the game is being played. In the case of the racing game according to the embodiment illustrated in FIGS. 12 to 14, the foreground image (610A) displaying a vehicle assumed to be ridden by the gamer can include only changes such as the steering wheel and wheels moving or the image reflected in the side mirror changing while the gamer is playing the game.

도 13을 참조하면, 출력 영상에서 제1 및 제2 프레임(610, 620)은 순차적으로 표시되며, 제1 및 제2 프레임(610, 620)은 레이싱 게임에서 게이머의 운전 방향에 따라 결정될 수 있다. 제2 프레임(620)은 제1 프레임(610)을 기준으로 우측 상단에 위치하는데, 핸들 및 가속 페달 등을 조작하여 게이머가 전방 우측으로 이동하는 경우 제1 프레임(610)에 이어 제2 프레임(620)이 표시될 수 있다. 일반적으로 게임 영상은 대개 30 fps의 초당 프레임수를 가지며, 제1 프레임(610)과 제2 프레임(620) 사이의 시간 차는 약 1/30초일 수 있다. 따라서, 게이머가 제1 및 제2 프레임(610, 620) 사이의 이동 및 시간 차 등을 감지할 수 있으며, 이는 게이머가 느끼는 어지러움, 피로도 등의 원인이 될 수 있다. Referring to FIG. 13, the first and second frames (610, 620) are sequentially displayed in the output image, and the first and second frames (610, 620) can be determined according to the driving direction of the gamer in the racing game. The second frame (620) is located at the upper right with respect to the first frame (610), and when the gamer moves forward and right by operating the steering wheel and the accelerator pedal, etc., the second frame (620) can be displayed following the first frame (610). In general, the game image usually has a frame rate of 30 fps, and the time difference between the first frame (610) and the second frame (620) can be about 1/30 second. Therefore, the gamer can detect the movement and time difference between the first and second frames (610, 620), and this can cause the gamer to feel dizzy, tired, etc.

본 발명의 실시예에서는, 도 14에 도시한 바와 같이 제1 및 제2 프레임(610, 620) 사이에 복수의 추가 프레임들(611, 612, 613)을 삽입하여 상기와 같은 문제를 해결할 수 있다. 추가 프레임들(611, 612, 613)은 제1 및 제2 프레임들(610, 620) 사이에서 선택되는 일부의 영역일 수 있다. 디스플레이 컨트롤러(100)의 영상 처리기(130)는, 버퍼(120)에 저장된 제2 기준 영상(600)에 포함되는 영상 프레임들에서 일부 영역을 선택하여 추가 프레임들(611, 612, 613)을 생성할 수 있다. 일 실시예로 영상 처리기(130)는 게이머가 입력하는 조작 명령, 게이머의 시선 이동 방향과 속도 등을 고려하여 추가 프레임들(611, 612, 613)을 생성할 수 있다.In an embodiment of the present invention, the above problem can be solved by inserting a plurality of additional frames (611, 612, 613) between the first and second frames (610, 620), as illustrated in FIG. 14. The additional frames (611, 612, 613) may be some areas selected between the first and second frames (610, 620). The image processor (130) of the display controller (100) may select some areas from the image frames included in the second reference image (600) stored in the buffer (120) to generate the additional frames (611, 612, 613). In one embodiment, the image processor (130) may generate the additional frames (611, 612, 613) by considering the operation command input by the gamer, the direction and speed of the gamer's gaze movement, etc.

앞서 설명한 바와 같이 버퍼(120)에 저장된 제2 기준 영상(600)은, 게임 프로그램이 제공하는 원본 영상보다 높은 프레임 수를 가질 수 있다. 일 실시예로, 게임 프로그램이 제공하는 원본 영상이 30 fps의 초당 프레임 수를 갖는 경우, 버퍼(120)에 저장된 기준 영상(600)은 120 fps의 초당 프레임 수를 가질 수 있다. 즉, 버퍼(120)에 저장된 제2 기준 영상(600)의 영상 프레임들은 1/120초마다 표시될 수 있다. As described above, the second reference image (600) stored in the buffer (120) may have a higher frame rate than the original image provided by the game program. In one embodiment, if the original image provided by the game program has a frame rate of 30 fps, the reference image (600) stored in the buffer (120) may have a frame rate of 120 fps. That is, the image frames of the second reference image (600) stored in the buffer (120) may be displayed every 1/120 seconds.

본 발명의 실시예에서 제1 및 제2 프레임(610, 620) 사이에 삽입되는 추가 프레임들(611, 612, 613)은 제2 기준 영상(600)에 포함되는 영상 프레임들에서 선택되는 일부 영역이므로, 출력 영상 역시 제2 기준 영상(600)과 마찬가지로 120 fps의 초당 프레임 수를 가질 수 있다. 따라서, 게이머가 느끼는 피로도와 저더(judder) 현상 등을 줄일 수 있다. 또한, 원본 영상 처리기(210)의 영상 처리 과정 없이, 버퍼(120)에 저장된 제2 기준 영상(600)의 일부 영역을 선택하는 것만으로 추가 프레임들(611, 612, 613)을 생성할 수 있으므로, 추가 프레임들(611, 612, 613)을 생성하는 데에 필요한 시간을 단축할 수 있다. 따라서, 추가 프레임들(611, 612, 613)을 원본 영상 처리기(210)에서 직접 생성함으로써 발생할 수 있는 응답 속도 저하의 문제를 해결할 수 있다.In the embodiment of the present invention, since the additional frames (611, 612, 613) inserted between the first and second frames (610, 620) are a portion selected from the image frames included in the second reference image (600), the output image can also have a frame rate per second of 120 fps, like the second reference image (600). Accordingly, fatigue and judder phenomenon felt by gamers can be reduced. In addition, since the additional frames (611, 612, 613) can be generated by only selecting a portion of the second reference image (600) stored in the buffer (120) without the image processing process of the original image processor (210), the time required to generate the additional frames (611, 612, 613) can be shortened. Therefore, it is possible to solve the problem of reduced response speed that may occur by directly generating additional frames (611, 612, 613) from the original image processor (210).

한편, 앞서 설명한 바와 같이, 게이머의 1인칭 시점에서 진행되는 게임의 경우, 출력 영상에 포함되는 프레임들(610, 611, 612, 613, 620)의 일부 영역인 전경 영상(610A)은 상대적으로 적은 변화만을 포함할 수 있다. 레이싱 게임의 경우, 전경 영상(610A)에는 게이머가 운전하는 것으로 가정되는 차량 이미지가 포함될 수 있으며, 게임의 진행 정도에 따라 차량의 핸들이나 바퀴가 움직이고, 사이드 미러에 비치는 이미지가 바뀌는 정도의 변화만이 발생할 수 있다. Meanwhile, as explained above, in the case of a game played from the first-person perspective of a gamer, the foreground image (610A), which is a part of the frames (610, 611, 612, 613, 620) included in the output image, may include relatively little change. In the case of a racing game, the foreground image (610A) may include an image of a vehicle assumed to be driven by the gamer, and depending on the progress of the game, only changes such as the steering wheel or wheels of the vehicle moving and the image reflected in the side mirror changing may occur.

일 실시예에서, 영상 처리기(130)는 연산의 효율성을 높이기 위해 전경 영상(610A), 및 이를 제외한 후경 영상을 별도로 처리할 수 있다. 상대적으로 적은 변화를 보이는 전경 영상(610A)과, 상대적으로 큰 변화를 보이는 후경 영상을 별도로 분리하여 처리함으로써, 연산량을 줄이고 연산 속도를 높여 출력 영상의 프레임들(610, 611, 612, 613, 620)을 생성하는 데에 필요한 시간을 단축시킬 수 있다. 일 실시예에서, 전경 영상(610A), 및 이를 제외한 후경 영상은, 매 프레임마다 원본 영상 처리기(210)에 의해 분리되어 디스플레이 컨트롤러(100)에 전달되고, 서로 분리되어 버퍼(120)에 별도로 저장될 수 있다.
In one embodiment, the image processor (130) may separately process the foreground image (610A) and the background image excluding it in order to increase the efficiency of the operation. By separately processing the foreground image (610A) showing relatively little change and the background image showing relatively big change, the amount of operation can be reduced and the operation speed can be increased, thereby shortening the time required to generate the frames (610, 611, 612, 613, 620) of the output image. In one embodiment, the foreground image (610A) and the background image excluding it may be separated by the original image processor (210) for each frame, transmitted to the display controller (100), and stored separately in the buffer (120) apart from each other.

다음으로 도 15 및 도 16을 참조하여 사용자가 가상 현실 장치(10, 20)를 이용하여 영화, 드라마 등의 동영상을 감상하는 경우, 본 발명의 실시에에 따른 디스플레이 컨트롤러의 동작을 설명하기로 한다.Next, referring to FIGS. 15 and 16, the operation of the display controller according to an embodiment of the present invention when a user watches a video such as a movie or drama using a virtual reality device (10, 20) will be described.

영화의 원본 영상은 일반적으로 24 fps의 초당 프레임 수를 가질 수 있다. 따라서, 사용자의 눈 바로 앞에서 영상이 표시되는 가상 현실 장치(10)를 이용하여 영화를 감상할 경우, 사용자는 화면의 끊김을 쉽게 느낄 수 있고 이는 어지러움이나 피로도를 높이는 주요 원인으로 작용할 수 있다. 본 발명의 실시예에서는, 영화의 원본 영상에서 1/24초마다 제공되는 영상 프레임들 사이에 적절한 추가 프레임들을 삽입하여 초당 프레임 수를 높임으로써, 사용자가 느끼는 피로도 및 어지러움 등을 줄일 수 있다.The original image of a movie can generally have a frame rate of 24 fps. Therefore, when watching a movie using a virtual reality device (10) in which an image is displayed right in front of the user's eyes, the user can easily feel screen interruption, which can be a major cause of dizziness or fatigue. In an embodiment of the present invention, by inserting appropriate additional frames between image frames provided every 1/24 second in the original image of the movie to increase the frame rate per second, fatigue and dizziness felt by the user can be reduced.

도 15를 참조하면, 영화의 원본 영상은 1/24초마다 하나의 영상을 표시할 수 있다. 도 15에 도시한 원본 영상의 제1 및 제2 프레임(710, 720)은 순서대로 표시될 수 있다. 이때, 제1 및 제2 프레임(710, 720)의 차이점이 사용자에게 끊기는 현상으로 인식될 수 있다. 도 15를 참조하면, 인물의 위치가 제1 위치(M1)에서 제2 위치(M2)로 이동하게 되는데, 제1 위치(M1)에서 제2 위치(M2)로 이동하는 동안 1/24초, 약 42ms의 시간이 발생할 수 있다. 이는 자연스러운 이동이 아닌 순간적으로 건너뛰는 이동처럼 사용자에게 인식되어 편안한 영화 감상을 저해하는 요인이 발생할 수 있다.Referring to Fig. 15, the original image of the movie can display one image every 1/24 second. The first and second frames (710, 720) of the original image illustrated in Fig. 15 can be displayed in order. At this time, the difference between the first and second frames (710, 720) may be perceived as a discontinuity by the user. Referring to Fig. 15, the position of the person moves from the first position (M1) to the second position (M2), and a time of 1/24 second, approximately 42 ms, may occur while moving from the first position (M1) to the second position (M2). This may be perceived by the user as a momentary skip rather than a natural movement, which may hinder comfortable movie watching.

도 16에 도시한 실시예를 참조하면, 본 발명의 실시예에 따른 디스플레이 컨트롤러(100)는 제1 및 제2 프레임(710, 720) 사이에 적절한 추가 프레임들(711-714)을 삽입하여 상기와 같은 문제를 해결할 수 있다. 추가 프레임들(711-714)의 개수는 사용자에게 출력되는 영상의 목표 초당 프레임 수에 따라 적절히 변경될 수 있다. 추가 프레임들(711-714)은 프레임 레이트 컨버터(110)에 의해 생성될 수 있으며, 프레임 레이트 컨버터(110)는 움직임 평가(Motion Estimation, ME) 또는 움직임 보상(Motion Compensation, MC) 기법 등을 이용하여 추가 프레임들(711-714)을 생성할 수 있다. 도 16를 참조하면, 추가 프레임들(711-714) 각각에서 인물의 위치(M1-1, M1-2, M1-3, M1-4)는 제1 및 제2 위치(M1, M2) 사이의 위치일 수 있으며, 따라서 사용자가 영상 내에서 발생하는 사람의 움직임을 끊김없이 자연스럽게 인식할 수 있다. Referring to the embodiment illustrated in FIG. 16, the display controller (100) according to the embodiment of the present invention can solve the above problem by inserting appropriate additional frames (711-714) between the first and second frames (710, 720). The number of additional frames (711-714) can be appropriately changed according to the target number of frames per second of the image output to the user. The additional frames (711-714) can be generated by the frame rate converter (110), and the frame rate converter (110) can generate the additional frames (711-714) by using a motion estimation (ME) technique or a motion compensation (MC) technique. Referring to FIG. 16, in each of the additional frames (711-714), the position of the person (M1-1, M1-2, M1-3, M1-4) may be a position between the first and second positions (M1, M2), so that the user can naturally recognize the movement of the person occurring within the image without interruption.

이상 도 9 내지 도 16을 참조하여 설명한 다양한 실시예들은, 도 3에 도시한 디스플레이 컨트롤러(100)는 물론, 도 4에 도시한 디스플레이 컨트롤러(100A)에도 적용될 수 있다.
The various embodiments described with reference to FIGS. 9 to 16 above can be applied not only to the display controller (100) illustrated in FIG. 3, but also to the display controller (100A) illustrated in FIG. 4.

도 17은 본 발명의 실시예에 따른 디스플레이 컨트롤러의 동작을 설명하기 위해 제공되는 도이다. 이하, 설명의 편의를 위해 도 4에 도시한 실시예에 따른 디스플레이 컨트롤러(100A)를 함께 참조하여 설명하기로 한다.FIG. 17 is a diagram provided to explain the operation of a display controller according to an embodiment of the present invention. Hereinafter, for convenience of explanation, the display controller (100A) according to the embodiment illustrated in FIG. 4 will be described together.

도 17에서 제2 기준 영상(800)은, 원본 영상 처리기(210)에 의해 원본 영상으로부터 생성되는 영상일 수 있다. 제2 기준 영상(800)은 사용자에게 실제로 표시되는 출력 영상보다 큰 크기를 가질 수 있다. 한편, 제2 기준 영상(800)은 사용자에게 실제로 표시되는 출력 영상보다 낮은 해상도를 가질 수 있다. 제2 기준 영상(800)은 버퍼(120)에 저장되어 있을 수 있다.In Fig. 17, the second reference image (800) may be an image generated from an original image by an original image processor (210). The second reference image (800) may have a larger size than an output image that is actually displayed to the user. Meanwhile, the second reference image (800) may have a lower resolution than an output image that is actually displayed to the user. The second reference image (800) may be stored in a buffer (120).

제2 기준 영상(800)에서 선택되는 제1 영역(810)은 제1 프레임으로서 사용자에게 표시되는 출력 영상일 수 있다. 센서(230)가 감지하는 사용자의 움직임 정보에 따라, 영상 처리기(130A)의 영역 계산기(131)는 제1 프레임에 이어서 표시되어야 하는 제2 프레임을 결정할 수 있다. 센서(230)는 사용자의 시선 또는 머리의 움직임을 감지하여 움직임 정보를 생성할 수 있다.The first region (810) selected from the second reference image (800) may be an output image displayed to the user as a first frame. According to the user's movement information detected by the sensor (230), the region calculator (131) of the image processor (130A) may determine the second frame to be displayed following the first frame. The sensor (230) may detect the movement of the user's gaze or head to generate movement information.

우선 사용자의 움직임 정도가 가장 적은 경우, 영역 계산기(131)는 제2 영역(820)을 제2 프레임으로 결정할 수 있다. 영역 계산기(131)는 버퍼(120)에 저장된 제2 기준 영상(800)으로부터 제2 영역(820)을 선택하여 제2 프레임으로 출력할 수 있다.First, when the user's movement level is the least, the area calculator (131) can determine the second area (820) as the second frame. The area calculator (131) can select the second area (820) from the second reference image (800) stored in the buffer (120) and output it as the second frame.

사용자의 움직임 정도가 좀 더 큰 경우, 영역 계산기(131)는 제3 영역(830)을 제2 프레임으로 출력할 수 있다. 한편, 사용자의 움직임에 따라 그 이후 프레임에서는 제2 기준 영상(800)에 포함되지 않는 영역이 출력 영상으로 표시되어야 할 수 있다. 이 경우, 원본 영상 처리기(210)는 원본 영상으로부터 새로운 제2 기준 영상을 생성하여 버퍼(120)에 저장할 수 있다. 즉, 사용자의 움직임에 따라 원본 영역 처리기(210)가 원본 영상에서 새로운 제2 기준 영상을 생성하고, 이를 버퍼(120)에 저장할 수 있다.If the user's movement is greater, the area calculator (131) can output the third area (830) as the second frame. Meanwhile, depending on the user's movement, an area not included in the second reference image (800) may need to be displayed as an output image in subsequent frames. In this case, the original image processor (210) can generate a new second reference image from the original image and store it in the buffer (120). That is, depending on the user's movement, the original area processor (210) can generate a new second reference image from the original image and store it in the buffer (120).

사용자의 움직임 정도가 매우 커서 제4 영역(840)이 제2 프레임으로 결정된 경우, 제2 프레임으로 결정된 제4 영역(840)은 제2 기준 영상(800)에 포함되지 않을 수 있다. 상기와 같은 경우에는, 원본 영상 처리기(210)가 원본 영상으로부터 제4 영역(840)을 바로 선택하여 디스플레이 구동 장치(220)로 직접 전송함으로써 화면 전환 시에 발생하는 지연 현상을 최소화할 수 있다. 제4 영역(840)이 제2 프레임으로 표시되면, 원본 영상 처리기(210)는 원본 영상에서 새로운 제2 기준 영상을 선택하고, 이를 프레임 레이트 컨버터(110)에 전달할 수 있다. 한편, 도 17을 참조하여 설명한 상기 실시예는, 도 3의 실시예에 따른 디스플레이 컨트롤러(100)에도 적용될 수 있다.
If the user's movement degree is very large and the fourth area (840) is determined as the second frame, the fourth area (840) determined as the second frame may not be included in the second reference image (800). In such a case, the original image processor (210) can directly select the fourth area (840) from the original image and directly transmit it to the display driving device (220), thereby minimizing the delay phenomenon that occurs when the screen is switched. If the fourth area (840) is displayed as the second frame, the original image processor (210) can select a new second reference image from the original image and transmit it to the frame rate converter (110). Meanwhile, the embodiment described with reference to FIG. 17 can also be applied to the display controller (100) according to the embodiment of FIG. 3.

본 발명은 상술한 실시형태 및 첨부된 도면에 의해 한정되는 것이 아니며 첨부된 청구범위에 의해 한정하고자 한다. 따라서, 본 발명의 기본적인 기술적 사상을 벗어나지 않는 범위 내에서 당 기술분야의 통상의 지식을 가진 자에 의해 다양한 형태의 치환, 변형 및 변경이 가능할 것이며, 이 또한 본 발명의 범위에 속한다고 할 것이다.
The present invention is not limited to the above-described embodiments and the attached drawings, but is intended to be limited by the appended claims. Accordingly, various substitutions, modifications, and changes may be made by those skilled in the art within the scope that does not depart from the basic technical idea of the present invention, and this will also fall within the scope of the present invention.

10. 20: 가상 현실 장치
30: 영상 촬영 장치
100, 100A: 디스플레이 컨트롤러
110: 프레임 레이트 컨버터
120: 버퍼
130, 130A: 영상 처리기10. 20: Virtual Reality Devices
30: Video recording device
100, 100A: Display Controller
110: Frame Rate Converter
120: Buffer
130, 130A: Image Processor

Claims

A frame rate converter that generates a second reference image having a second frame per second higher than the first frame per second based on a first reference image having a first frame per second;
a buffer storing the second reference image; and
An image processor for selecting at least a portion of the second reference image and generating an output image for providing a virtual reality service to a user;
A display controller wherein the second reference image includes a first frame and a second frame that are displayed sequentially in the first reference image, and a plurality of additional frames inserted between the first frame and the second frame, each of the plurality of additional frames being identical to one of the first frame and the second frame.

delete

In the first paragraph,
The above first reference image is a display controller that is an image generated by selecting a portion of an original image for providing the virtual reality service.

In the third paragraph,
The image processor is a display controller that generates the output image by selecting at least a portion of an area from each of the first frame, the second frame, and the plurality of additional frames based on the movement of the user.

In the third paragraph,
The display controller wherein the first reference image is an image generated by selecting a portion of the original image based on the user's movement.

In the third paragraph,
The above original image is an image captured by a 360-degree camera, and the first and second reference images are a display controller having a smaller size than the original image.

In the third paragraph,
A display controller wherein the above original image is a game image, and the first and second reference images have a smaller size than the above original image.

In Article 7,
The above buffer is a display controller that stores the second reference image by dividing it into a first area and a second area larger than the first area.

In Article 8,
The image processor is a display controller that selects at least a portion of an area from each of the first frame, the second frame, and the plurality of additional frames based on the movement of the user and determines the second area.

In Article 9,
The image processor is a display controller that generates the output image by combining the first area and the second area.

In the first paragraph,
The above first reference image is a display controller having the same size as the original image for providing the virtual reality service.

In Article 11,
The frame rate converter is a display controller that generates the plurality of additional frames using at least one of motion estimation and motion compensation techniques.

In the first paragraph,
A display controller wherein the first reference image and the second reference image have a lower resolution than the original image for providing the virtual reality service.

In Article 13,
The image processor is a display controller that generates the output image by increasing the resolution of at least a portion of the area selected from the second reference image.

application processor;
A sensor that detects the user's movements and generates movement information;
A display controller including a buffer storing a reference image with an increased number of frames per second of an original image for providing a virtual reality service to the user, and generating an output image by selecting a portion of the reference image based on the motion information; and
A display device having a display panel and a display driving device that displays the output image through the display panel;
An electronic device wherein the display controller generates the reference image by inserting a plurality of additional frames, identical to one of a pair of frames displayed sequentially in the original image, between the pair of frames.

In Article 15,
An electronic device wherein the application processor includes an original image processor that generates a first reference image having a first number of frames per second from the original image and provides the first reference image to the display controller.

In Article 15,
An electronic device wherein the display controller is provided as a single module with at least one of the application processor and the display driver.

In Article 15,
An electronic device wherein the above display controller is provided as a separate module from the application processor and the display driver.

A head-mounted device mounted on the user's head;
A sensor that detects the user's movements and generates movement information;
A display controller including a buffer storing a reference image with an increased number of frames per second of an original image, and generating an output image by selecting some images from the reference image based on the motion information; and
A display device mounted on the head-mounted device and configured to display the output image;
A virtual reality device wherein the display controller generates the reference image by inserting a plurality of additional frames identical to one of a pair of frames displayed sequentially in the original image between the pair of frames.

In Article 19,
The above display device is a virtual reality device provided by a mobile electronic device that can be separated from the head mounted device.