KR101491169B1 - 차량의 탑재기기 조작 장치 및 그 제어 방법 - Google Patents

Abstract

본 발명은 차량의 탑재기기 조작 장치 및 그 제어 방법에 관한 것으로서, 더욱 상세하게는 차량의 탑재기기를 조작하는 손가락이 표시부의 전체 화면중 운전자 가 조작을 원하는 메뉴 위치에 합성 표시되도록 함으로써, 표시부의 화면 전체를 손가락이 가리는 현상을 방지하여 표시부에 대한 운전자의 시인성을 향상시킬 수 있도록 한 차량의 탑재기기 조작 장치 및 그 제어 방법에 관한 것이다.

이를 위해, 본 발명은 차량용 탑재기기의 정보를 표시하는 표시부와; 손가락을 올려놓는 터치패널 및 손가락 화상을 촬영하는 촬상부로 이루어진 조작부와; 운전자의 시선을 검출하는 시선검출부와; 상기 시선검출부의 신호를 받아서, 운전자의 시선이 표시부의 어느 한 곳에 임계시간 이상 머무른 것으로 판정되면, 상기 표시부의 화면을 복수개로 분할 표시하는 동시에 운전자 시선이 머문 분할화면내에 손가락 화상을 합성 표시하는 표시 제어부; 로 구성된 것을 특징으로 하는 차량의 탑재기기 조작 장치를 제공한다.

차량, 탑재기기, 표시부, 조작부, 표시제어부, 분할화면, 손가락 화상

Description

차량의 탑재기기 조작 장치 및 그 제어 방법{Device and method for controlling AVN of vehicle}

본 발명은 차량의 탑재기기 조작 장치 및 그 제어 방법에 관한 것으로서, 더욱 상세하게는 차량의 탑재기기를 조작하는 손가락이 표시부의 전체 화면중 운전자 가 조작을 원하는 메뉴 위치에 합성 표시되도록 함으로써, 표시부의 화면 전체를 손가락이 가리는 현상을 방지하여 표시부에 대한 운전자의 시인성을 향상시킬 수 있도록 한 차량의 탑재기기 조작 장치 및 그 제어 방법에 관한 것이다.

차량의 실내에는 에어컨, 네비게이션, 오디오 등과 같은 탑재기기를 조작할 수 있는 표시부(예를 들어, 터치 스크린) 등이 갖추어져 있으며, 이 표시부에 디스플레이되는 각종 기능을 조작하는 방법은 직접 표시부 표면을 터치하여 조작하거나 조그셔틀과 같은 조작수단을 이용하여 조작하는 방법 등이 있다.

또한, 종래 기술로서 일본특허 공개번호 2007-156950에는 첨부한 도 10에 도시된 바와 같이, 콘솔 부위에 마련된 조작부(20)에 손을 올려 놓은 상태에서 손가 락을 움직여 조작을 실시하게 되는데, 이때 조작중인 손가락을 조작부(20)의 촬상부(22)에서 촬영하는 동시에 그 손가락 화상을 조작 메뉴를 표시하는 표시부(10)에 합성 표시하여 운전자가 상기 표시부(10)에 표시되는 손가락 화상을 보면서 표시부상의 조작 메뉴를 조작할 수 있도록 함으로써, 운전자의 시선 이동이 적고, 조작에 대한 부하를 경감할 수 있는 차량용 표시수단 조작장치가 개시되어 있다.

그러나, 종래의 표시수단 조작장치는 다음과 같은 문제점이 있다.

조작부를 조작하고 있는 손가락 화상이 표시부에 합성 표시되지만, 손가락 화상이 표시부의 전체 화면에 걸쳐 합성 표시됨에 따라 오히려 표시부상의 정보 등을 가리게 되어, 정보를 확인하기 위한 운전자 시인성이 떨어지는 문제점이 있다.

예를 들어, 표시부에 네비게이션 지도 화면이 표시되고 있는 상태에서, 표시부(10)에 손가락 화상이 합성 표시되는 범위가 크기 때문에, 첨부한 도 11에 도시된 바와 같이 손가락 화상이 지도 화면을 오히려 가리게 되고, 결국 지도를 보려고 하는 운전자의 시인성이 현저하게 저하되는 문제점이 있다.

또한, 표시부에 표시되는 조작메뉴의 버튼은 대부분 모서리쪽에 모여있기 때문에 표시부에 손가락 화상이 크게 표시되면, 조작메뉴의 버튼을 섬세하게 조작하지 못하여 조작성이 떨어지는 단점이 있고, 그 만큼 조작 시간도 증가하는 단점 또한 있다.

또한, 실제 손가락 크기에 비하여, 표시부에 손가락 화상이 더 크게 확대 표시됨에 따라, 표시부에 표시되는 손가락 화상의 리얼(Real)감 및 감성 품질이 떨어지는 단점이 있다.

본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 안출한 것으로서, 운전자의 시선이 표시부를 향하는 것으로 감지됨과 함께 표시부의 표시 영역을 복수개로 분할 표시하고, 분할된 영역들중 운전자 시선이 집중되는 분할 영역에 조작부에 올려져 촬영된 손가락 화상이 합성 표시되도록 함으로써, 손가락 화상이 표시부의 전체 화면을 가리지 않아 표시부의 표시 정보를 볼 수 있는 운전자의 시인성을 향상시킬 수 있고, 운전자가 조작하고자 하는 메뉴항목 위치에 맞추어 손가락 화상이 표시되어 조작성을 향상시킬 수 있도록 한 차량의 탑재기기 조작 장치 및 그 제어 방법을 제공하는데 그 목적이 있다.

상기한 목적을 달성하기 위한 본 발명의 일 구현예는 차량용 탑재기기의 정보를 표시하는 표시부와; 손가락을 올려놓는 터치패널 및 손가락 화상을 촬영하는 촬상부로 이루어진 조작부와; 운전자의 시선을 검출하는 시선검출부와; 상기 시선검출부의 신호를 받아서, 운전자의 시선이 표시부의 어느 한 곳에 임계시간 이상 머무른 것으로 판정되면, 상기 표시부의 화면을 복수개로 분할 표시하는 동시에 운전자 시선이 머문 분할화면내에 손가락 화상을 합성 표시하는 표시 제어부; 로 구성된 것을 특징으로 하는 차량의 탑재기기 조작 장치를 제공한다.

상기한 목적을 달성하기 위한 본 발명의 다른 구현예는 조작부의 터치패널에 올려진 손가락을 촬영하는 제1단계와; 상기 터치패널에 올려진 손가락이 운전자의 손가락인지를 판정하는 제2단계와; 운전자의 시선을 검출하되, 운전자의 시선이 표시부내의 분할될 영역중 어느 곳을 일정시간 이상 주시하고 있는지를 판정하는 제3단계와; 상기 표시부의 전체화면을 복수개로 분할 표시하되, 표시부내의 분할영역들중 운전자 시선이 집중된 하나의 분할영역내에 촬영된 손가락 화상을 합성 표시하는 제4단계; 로 진행되는 것을 특징으로 하는 차량의 탑재기기 조작 장치 제어 방법을 제공한다.

바람직하게는, 상기 제2단계에서, 촬상된 손가락의 길이나 굵기를 미리 촬영되어 저장된 운전자의 손가락과 비교하여, 운전자의 손가락이 맞는지를 판정하는 것을 특징으로 한다.

더욱 바람직하게는, 상기 제2단계에서, 조작부에 설치되는 다이얼식 변환 스위치를 시선 검출이 가능한 운전자 사용 위치로 돌리거나, 시선이 검출되지 않는 동승객의 사용 위치로 돌려서 운전자의 손가락이 맞는지를 판정하는 것을 특징으로 한다.

또한, 운전자의 시선이 일정시간 머무르게 되는 표시부내의 시선 검출영역은 표시부의 분할영역 크기보다 작게 설정되는 것을 특징으로 한다.

또한, 상기 표시부의 화면은 GUI(Graphic User Interface)를 이용하여 조작 가능한 영역과 조작 불가능 영역으로 분리 설정되는 것을 특징으로 한다.

상기한 과제 해결 수단을 통하여, 본 발명은 다음과 같은 효과를 제공한다.

본 발명에 따르면, 조작부에서 촬영되어 표시부에 합성 표시되는 손가락 화상이 표시부의 전체화면에 합성 표시되지 않고, 운전자 시선 위치에 따라 분할되는 표시부의 분할화면에만 합성 표시되도록 함으로써, 손가락 화상이 표시부의 전체 화면을 가리지 않아 표시부의 표시 정보를 용이하게 볼 수 있는 운전자의 시인성 향상을 도모할 수 있다.

또한, 운전자가 조작하고자 하는 메뉴항목 위치에 맞추어 손가락 화상이 표시되므로, 해당 메뉴버튼을 간편하게 조작하면서도 그 조작시간을 단축할 수 있고, 조작에 의한 운전 부하 경감을 기대할 수 있다.

이하, 본 발명의 바람직한 실시예를 첨부도면을 참조로 상세하게 설명하기로 한다.

첨부한 도 1은 본 발명에 따른 차량의 탑재기기 조작 장치를 나타내는 개략도이고, 도 2는 본 발명에 따른 차량의 탑재기기 조작 장치의 구성을 나타내는 블럭도이다.

도 1에 도시된 바와 같이, 표시부(10)가 센터 페시아 패널쪽에 설치되고, 조작부(20)가 콘솔쪽에 설치되며, 운전자의 시선을 검출하는 시선검출부(30)가 조향을 위한 스티어링 휠 또는 컬럼에 설치된다.

상기 조작부(20)는 손가락을 올려 놓을 수 있는 터치패널(24)과, 이 터치패널(24)의 아래쪽에 배치되어 손가락을 촬영하는 촬상부(22)로 구성되며, 이때 상기 촬상부(22)에는 여러가지 환경에서도 손가락을 확실히 촬영하기 위해 별도의 IR조명이 설치된다.

또는, 상기 조작부(20)는 첨부한 도 10과 같이, 손가락을 넣을 수 있는 움푹 파인 곳내에 터치패널(24)을 설치하고, 그 대향면에 촬상부(22)가 배치되며, 터치패널(24)과 촬상부(22) 사이에 투명판(26)을 개입시킨 형태의 것도 적용 가능하다.

상기 조작부(20)의 터치패널(24)을 조작자의 손가락으로 누를 때, 손가락으로 눌려지는 터치패널(24)의 좌표 정보가 표시제어부(40)에 전송되고, 상기 촬상부(22)에서 촬영된 화상정보도 화상제어부(60)로 전송된다.

이때, 상기 촬상부(22)에서 촬영된 화상에는 손가락 이외에 실내 배경(차량의 실내 천정면, 변속기어 레버 등) 등이 함께 촬영되기 때문에 상기 화상제어부(60)에서 손가락만을 추출하는 화상 처리를 실시하게 된다.

한편, 상기 시선검출부(30)는 운전자의 시선을 검출하기 쉬운 스티어링 휠 또는 칼럼 등에 설치되며, 운전자의 졸음 감지 시스템 또는 곁눈질 감지 시스템에 사용되는 센서 또는 카메라를 활용할 수 있다.

또한, 상기 표시제어부(40)는 차량의 탑재기기(에어컨, 네비게이션, 오디오 등)에 대한 제어와, 운전자 시선 판정 제어와, 손가락 화상을 중첩시키는 제어 등을 하게 된다.

따라서, 상기 표시제어부(40)에 손가락으로 눌려지는 터치패널(24)의 좌표 정보와, 추출된 손가락 화상과, 시선검출부에서 검출된 운전자의 시선 정보가 입력되면, 손가락 화상과 탑재기기 조작화면(예를 들어, 네비게이션 지도 화면)을 합성하여 표시부(10)에 합성 표시 명령을 내리게 된다.

또한, 상기 표시제어부(40)는 시선검출부(30)로부터의 운전자의 시선 정보를 기반으로, 표시부(10)의 전체 화면을 복수개로 분할 표시하고, 상기 조작부로부터 보내지는 터치패널(24)의 좌표 신호를 계산하여 표시부(10)내에 합성표시되는 손가락 화상의 조작 움직임을 제어하게 된다.

보다 상세하게는, 상기 표시제어부(40)의 합성 표시 명령후, 상기 표시부(10)는 차량 탑재기기(에어컨, 네비게이션, 오디오 등)의 메뉴 및 해당정보를 표시하는 동시에 운전자의 시선 정보에 따라 표시영역을 복수개의 영역으로 분할 표시하며, 이때 조작부(20)의 촬상부(22)에서 촬영된 손가락 화상을 분할된 표시영역에 합성 표시한다.

즉, 상기 시선검출부(30)에 검출된 운전자 시선 정보가 표시부내의 복수개로 분할된 표시영역중 하나에 시선이 주시되는 것을 검출되면, 첨부한 도 4에 도시된 바와 같이 운전자 시선이 집중되는 표시영역내에 손가락 화상이 합성 표시된다.

이렇게 상기 표시부(10)의 전체 면적중 운전자의 시선이 집중되는 표시영역에만 손가락 화상이 합성 표시됨에 따라, 손가락 화상이 표시부의 전체 화면을 가리지 않아 표시부의 표시 정보(예를 들어, 네비게이션의 지도 정보)를 볼 수 있는 운전자의 시인성을 향상시킬 수 있고, 또한 운전자 시선이 집중되는 표시영역내에 운전자가 조작하고자 하는 메뉴 버튼들이 손가락 화상과 함께 존재하게 되므로, 메 뉴 버튼을 신속하면서도 명확하게 조작할 수 있다.

여기서, 상기한 구성으로 이루어진 본 발명의 차량의 탑재기기 조작 장치에 대한 제어 방법을 보다 상세하게 설명하면 다음과 같다.

첨부한 도 3은 본 발명의 차량의 탑재기기 조작 장치에 대한 제어 방법을 설명하는 순서도이다.

먼저, 조작부(20)의 터치패널(24)에 올려진 손가락이 촬영되고 있는지를 판정하고, 터치패널상에 올려진 것이 손가락이 아닌 경우에는 손가락 합성 표시 과정을 진행하지 않는다(Step1).

다음으로, 조작부(20)의 터치패널(24)에 올려진 손가락이 운전자의 손가락인지를 판정하며(Step2), 이 판정 제어는 표시제어부(40)에서 실시하게 되며, 촬상된 손가락의 길이나 굵기 등의 특징을 미리 촬영되어 입력된 손가락의 특징과 비교하여 판별하는 손가락 외관 검사법을 통해 진행할 수 있다.

또는 첨부한 도 9에 도시된 바와 같이 조작부(20)에 손을 두었을 때 엄지의 위치에 배열되는 다이얼식 변환 스위치(50)의 조작으로 운전자인지 아닌지를 판정하는 방법도 사용 가능하다.

즉, 상기 다이얼식 변환 스위치(50)를 시선 검출이 가능한 운전자 사용 위치로 돌리거나, 시선이 검출되지 않는 동승객의 사용 위치로 돌려 놓아서, 운전자인지 아닌지를 판정할 수 있다.

다음으로, 운전자의 시선을 검출한다(Step3).

운전자의 시선이 표시부내의 분할될 영역중 어느 곳을 주시하고 있는지를 판 정하되, 이때 운전자의 시선이 표시부(10)의 분할될 영역중 한 곳을 일정시간 머물고 있으면 주시한 것으로 판정한다(Step4).

보다 상세하게는, 운전자의 시선 검출 영역에 대한 주시 판정 흐름을 나타내는 도 7의 순서도에서 보듯이, 시선의 주시 판정 조건으로서 표시부의 시선 검출영역내에 시선의 진입이 검출되면, 시선이 일점에 정류되는 시간(T1)을 판정하여 시간(T1) 이상이면 손가락 화상을 시선 검출영역내에 합성 표시한다.

반면, 시선이 일점에 머물지 않는 경우에는 시선 검출영역내에 시선이 정류되는 시간의 총합(T2)을 판정하여, 총합(T2) 이상이면 손가락 화상을 시선 검출영역내에 합성 표시한다.

이때, 시선이 정류되는 시간의 총합(T2)은 시선 검출영역내에 시선이 침입하고 있는 총시간을 말하며, T1＜T2이 되도록 설정된다.

이렇게, 시선을 검출한 영역, 즉 표시부(10)내의 분할영역들중 시선이 집중되는 하나의 분할영역내에 손가락 화상이 중첩 표시된다(Step5).

따라서, 상기 표시부(10)의 표시영역이 첨부한 도 5에서 보는 바와 같이, 제1내지 제4분할영역 즉, 제1내지 제4조작영역으로 분할되면서 운전자의 시선이 집중되는 분할영역내에 손가락 화상이 표시되면, 조작부의 터치패널상의 손가락을 움직여서 해당 분할영역내의 메뉴 버튼 등의 조작을 신속하면서 정확하게 실시할 수 있다.

특히, 첨부한 도 6에 도시된 바와 같이 상기 표시부(10)의 각 분할영역(메뉴버튼을 조작할 수 있는 조작영역이기도 함)의 경계선 부근을 따라 시선이 옴겨가는 경우 손가락 화상이 운전지 의지와 관계없이 다른 분할영역으로 전환되는 것을 방지하기 위하여, 시선 검출영역을 분할영역의 크기보다 작게 설정하는 것이 바람직하고, 시선 검출영역으로부터 시선이 빗나가도 다른 시선 검출영역에 시선의 주시가 검출되지 않는 한 손가락 화상은 다른 분할영역으로 전환 표시되지 않는다.

계속해서, 조작부(20)의 터치패널(24)로부터 손이 떨어지지 않고 손가락이 계속 촬영되면(Step6), 상기한 단계3(Step3) 내지 단계6(Step6)을 반복적으로 진행하게 된다.

상기한 단계2(Step2)에서, 조작자가 운전자가 아닌 동승객으로 판정되면, 손가락 화상이 표시부(10)의 초기 위치에 표시되고(Step7), 표시부의 초기 위치는 표시부(10)내에 분할된 영역의 어느쪽이든으로 임의로 설정할 수 있으며(Step8), 이때 운전자의 시선 검출은 실시하지 않고 동승객은 수동 조작을 통해 탑재기기를 조작할 수 있다.

또한, 첨부한 도 5에 도시된 바와 같이, 운전자가 오조작없이 조작을 실시할 수 있는 조작부(20)의 분해능을 6×6의 영역으로 설정하고, 표시부(10)를 4개의 분할영역으로 분할되는 것으로 정할 경우, 6×6×4의 분해능으로 조작을 실시할 수 있고, 이에 표시부상의 조작 메뉴 버튼의 사이즈를 소형화시키는 동시에 한 화면내에 조작 메뉴 버튼수를 늘릴 수 있다.

한편, 다른 실시예로서 첨부한 도 8에 도시된 바와 같이 상기 표시부(10)의 화면을 GUI(Graphic User Interface)를 이용하여 조작 가능한 영역과 조작 불가능 영역으로 분리 설계하여, 조작 불가능 영역에 시선이 주시되는 것으로 검출되어도, 손가락 화상의 표시 및 조작 영역의 이동을 실시하지 않도록 함으로써, 불필요한 손가락 화상의 합성 표시를 막아서 조작 화면의 정보를 잘 볼 수 있는 시인성을 한층 더 향상시킬 수 있다.

도 1은 본 발명에 따른 차량의 탑재기기 조작 장치를 나타내는 개략도,

도 2는 본 발명에 따른 차량의 탑재기기 조작 장치의 구성을 나타내는 블럭도,

도 3은 본 발명에 따른 차량의 탑재기기 조작 장치의 제어 방법을 설명하는 순서도,

도 4는 본 발명에 따른 차량의 탑재기기 조작 장치에 의거, 표시부가 분할 표시되고, 분할된 영역내에 손가락 화상이 합성되는 것을 보여주는 개략도,

도 5는 본 발명에 따른 차량의 탑재기기 조작 장치의 조작부 및 표시부의 분해능을 설명하는 개략도,

도 6은 본 발명에 따른 차량의 탑재기기 조작 장치의 표시부에 대한 시선검출영역과 분할영역 크기를 비교한 개략도,

도 7은 본 발명에 따른 차량의 탑재기기 조작 장치의 표시부에 운전자 시선이 집중되는 시간을 고려한 손가락 합성 판정 결과를 설명하는 순서도,

도 8은 본 발명에 따른 차량의 탑재기기 조작 장치의 표시부를 비조작영역과 조작가능영역을 분할하는 것을 설명하는 개략도,

도 9는 본 발명에 따른 차량의 탑재기기 조작 장치에 채택 가능한 조작부를 설명하는 개략도,

도 10 및 도 11은 종래의 탑재기기 조작장치 및 그 단점을 설명하는 개략도.

<도면의 주요 부분에 대한 부호의 설명>

10 : 표시부 20 : 조작부

22 : 촬상부 24 : 터치패널

30 : 시선검출부 40 : 표시제어부

50 : 다이얼식 변환 스위치

Claims (6)

1. 차량용 탑재기기의 정보를 표시하는 표시부와;

   손가락을 올려놓는 터치패널 및 손가락 화상을 촬영하는 촬상부로 이루어진 조작부와;

   운전자의 시선을 검출하는 시선검출부와;

   상기 시선검출부의 신호를 받아서, 운전자의 시선이 표시부의 어느 한 곳에 임계시간 이상 머무른 것으로 판정되면, 상기 표시부의 화면을 복수개로 분할 표시하는 동시에 운전자 시선이 머문 분할화면내에 손가락 화상을 합성 표시하는 표시 제어부;

   로 구성된 것을 특징으로 하는 차량의 탑재기기 조작 장치.
2. 조작부의 터치패널에 올려진 손가락을 촬영하는 단계와;

   상기 터치패널에 올려진 손가락이 운전자의 손가락인지를 판정하는 단계와;

   운전자의 시선을 검출하되, 운전자의 시선이 표시부내의 분할될 영역중 어느 곳을 일정시간 이상 주시하고 있는지를 판정하는 단계와;

   상기 표시부의 전체화면을 복수개로 분할 표시하되, 표시부내의 분할영역들중 운전자 시선이 집중된 하나의 분할영역내에 촬영된 손가락 화상을 합성 표시하는 단계;

   로 진행되는 것을 특징으로 하는 차량의 탑재기기 조작 장치 제어 방법.
3. 청구항 2에 있어서, 상기 터치패널에 올려진 손가락이 운전자의 손가락인지를 판정하는 단계에 있어서, 상기 조작부에서 촬상된 손가락의 길이나 굵기를 미리 촬영되어 저장된 운전자의 손가락과 비교하여, 운전자의 손가락이 맞는지를 판정하는 것을 특징으로 하는 차량의 탑재기기 조작 장치 제어 방법.
4. 청구항 2에 있어서, 상기 터치패널에 올려진 손가락이 운전자의 손가락인지를 판정하는 단계에 있어서, 상기 조작부에 설치되는 다이얼식 변환 스위치를 시선 검출이 가능한 운전자 사용 위치로 돌리거나, 시선이 검출되지 않는 동승객의 사용 위치로 돌려서 운전자의 손가락이 맞는지를 판정하는 것을 특징으로 하는 차량의 탑재기기 조작 장치 제어 방법.
5. 청구항 2에 있어서,

   운전자의 시선이 일정시간 머무르게 되는 표시부내의 시선 검출영역은 표시부의 분할영역 크기보다 작게 설정되는 것을 특징으로 하는 차량의 탑재기기 조작 장치 제어 방법.
6. 청구항 2에 있어서,

   상기 표시부의 화면은 GUI(Graphic User Interface)를 이용하여 조작 가능한 영역과 조작 불가능 영역으로 분리 설정되는 것을 특징으로 하는 차량의 탑재기기 조작 장치 제어 방법.

Images