[go: up one dir, main page]

TWI522257B - 車用安全系統及其運作方法 - Google Patents

車用安全系統及其運作方法 Download PDF

Info

Publication number
TWI522257B
TWI522257B TW103123744A TW103123744A TWI522257B TW I522257 B TWI522257 B TW I522257B TW 103123744 A TW103123744 A TW 103123744A TW 103123744 A TW103123744 A TW 103123744A TW I522257 B TWI522257 B TW I522257B
Authority
TW
Taiwan
Prior art keywords
image
processing unit
safety system
pupil position
pupil
Prior art date
Application number
TW103123744A
Other languages
English (en)
Other versions
TW201601955A (zh
Inventor
陳俊瑋
郭士維
Original Assignee
原相科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 原相科技股份有限公司 filed Critical 原相科技股份有限公司
Priority to TW103123744A priority Critical patent/TWI522257B/zh
Priority to US14/684,581 priority patent/US9805260B2/en
Publication of TW201601955A publication Critical patent/TW201601955A/zh
Application granted granted Critical
Publication of TWI522257B publication Critical patent/TWI522257B/zh
Priority to US15/686,355 priority patent/US10192110B2/en
Priority to US16/199,418 priority patent/US10699118B2/en
Priority to US16/880,348 priority patent/US11301678B2/en
Priority to US17/686,671 priority patent/US11741630B2/en
Priority to US18/219,324 priority patent/US12094164B2/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/186—Displaying information according to relevancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)

Description

車用安全系統及其運作方法
本發明係關於一種車用安全系統，特別係關於一種應用瞳孔偵測技術之車用安全系統及其運作方法。
一汽車通常具有兩個車側後視鏡及一車內後視鏡分別設置在車外及車內的固定位置。例如當一駕駛要觀看車子右後方的狀況時，需透過右側之該後視鏡觀察該汽車右後方之狀況，而在該駕駛轉頭觀看該後視鏡時其視線會暫時離開該汽車前方而增加行車事故的風險。為提高行車安全，業界提出了多種車用安全系統來補償該等後視鏡的不足。
習知車用安全系統中，例如一汽車通常具有複數倒車雷達設置在該汽車之後保桿。當一駕駛倒車時，該等倒車雷達可偵測該汽車是否接近一物體，例如另一汽車或一牆壁。當該汽車接近該物體時，一倒車雷達系統可發出警示音以警示該駕駛。該駕駛可藉由該聲音之變化(例如頻率變化)得知該汽車與該物體的距離遠近。
隨著攝影機及顯示裝置的普及，汽車可另於後方安裝一攝影機。當該駕駛倒車時可同時啟動該等倒車雷達及該攝影機，此時車內一顯示裝置可透過該攝影機提供一即時影像。藉此，該駕駛可根據該即時影像確認該汽車後方之狀況以避免碰撞。
相同地，為確保行車安全，汽車之側視鏡另可加裝攝影機以補償側視鏡的盲點(blind spot)。然而，該顯示裝置通常設置在汽車內部之中央控制台，當該駕駛想透過攝影機確認汽車周圍的狀況時都必須轉頭以觀看該顯示裝置之該即時影像。此時，該駕駛之視線會離開汽車前方而增加行車事故的風險。
有鑑於此，本發明提出一種應用瞳孔偵測技術之車用安全系統及其運作方法。
本發明之一目的在提供一種車用安全系統，其可追蹤一駕駛之一瞳孔位置來決定是否觸發一車用裝置並可顯示該車用裝置之資訊至該駕駛眼前。
本發明另一目的在提供一種車用安全系統，其可讓一駕駛不須轉頭觀看一後視鏡或一螢幕以保持該駕駛之視線於車輛前方。
為達上述目的，本發明提供一種車用安全系統。該車用安全系統包含一感測單元、一處理單元、一車用控制裝置及一顯示單元。該感測單元用以於一預設距離擷取包含一眼球之一眼球影像之一影像圖框。該處理單元用以計算該影像圖框中該眼球影像之一瞳孔位置並產生對應該瞳孔位置之一驅動信號。該車用控制裝置用以根據該驅動信號觸發關聯該瞳孔位置之一車用裝置。該顯示單元用以顯示該車用裝置之資訊。
本發明另提供一種車用安全系統。該車用安全系統包含一光源、一感測單元、一處理單元、一控制單元及一顯示單元。該光源用以朝一眼球發光以於該眼球上產生至少一光源反光。該感測單元用以擷取包含該至少一光源反光之至少一光源反光影像之一影像圖框。該處理單元用以根據該影像圖框中該至少一光源反光影像決定一眼球影像範圍，根據該眼球影像範圍中該至少一光源反光影像及一瞳孔影像計算一瞳孔位置並據以產生對應該瞳孔位置之一驅動信號。該控制單元用以根據該驅動信號觸發關聯該瞳孔位置之一車用裝置。該顯示單元用以顯示該車用裝置之資訊。
本發明另提供一種車用安全系統之運作方法，其包含下列步驟：以一光源朝一眼球發光以於該眼球上產生至少一光源反光；擷取包含該眼球之一眼球影像之一影像圖框；以一處理單元計算該影像圖框中該眼球影像之一瞳孔位置並產生對應該瞳孔位置之一驅動信號；根據該驅動信號觸發關聯該瞳孔位置之一車用裝置；以及以一顯示單元顯示該車用裝置之資訊，其中計算該影像圖框中該眼球影像之一瞳孔位置的步驟係根據該影像圖框中一瞳孔影像與至少一光源反光影像之一空間關係決定該瞳孔位置。
為了讓本發明之上述和其他目的、特徵和優點能更明顯， 下文將配合所附圖示，詳細說明如下。此外，於本發明之說明中，相同之構件係以相同之符號表示，於此先述明。
1、3‧‧‧車用安全系統
10‧‧‧感測單元
11‧‧‧光源
12‧‧‧處理單元
14‧‧‧控制單元
16‧‧‧車用裝置
18‧‧‧顯示單元
2‧‧‧眼鏡
2DS‧‧‧二維空間
9‧‧‧眼球
9e‧‧‧眼球影像
9p‧‧‧瞳孔影像
9s‧‧‧眼周影像
9w‧‧‧眼白影像
Ap‧‧‧瞳孔區域
d‧‧‧距離
FOV‧‧‧視野
G1‧‧‧最低灰階值
I11、I11'‧‧‧光源反光影像
Iface‧‧‧人臉影像
IF、IF1~IF4‧‧‧影像圖框
P1、P2‧‧‧瞳孔位置
Re、Re'‧‧‧眼球影像範圍
Rg‧‧‧灰階值範圍
S1~S5‧‧‧步驟
S‧‧‧驅動信號
Z1~Z9、ZA、ZB‧‧‧子區域
第1圖為本發明第一實施例之車用安全系統之示意圖。
第2A圖為根據感測單元所擷取之影像圖框計算瞳孔位置之示意圖。
第2B圖為感測單元所擷取之影像圖框之示意圖。
第3A圖為瞳孔位置及眼球影像之子區域映射至二維空間之示意圖。
第3B圖為眼球影像劃分為兩個子區域之示意圖。
第4A圖為本發明第二實施例之車用安全系統之示意圖。
第4B圖為感測單元所擷取之影像圖框之示意圖。
第5A圖為本發明實施例之車用安全系統之運作方法之流程圖。
第5B圖為本發明實施例之車用安全系統之運作方法之方塊圖。
第1圖為本發明第一實施例之一車用安全系統1之示意圖，其可用以根據一眼球9之一瞳孔位置以控制或啟動該瞳孔位置所對應的一車用裝置。該車用安全系統1包含一感測單元10、一處理單元12、一控制單元14、至少一車用裝置16以及一顯示單元18。
該感測單元10可用以於一預設距離擷取包含該眼球9之一眼球影像之一影像圖框IF。該感測單元10例如可為一電荷耦合元件(charge coupled device)影像感測器、一互補金氧半導體(complementary metal-oxide semiconductor)影像感測器或其他可用以感測光能量之感測器。
一般而言，當該眼球9向下看時，上眼皮會遮蔽該眼球9之一部份，因此，某些實施例中，如果該感測單元10設置在一眼鏡2面對該眼球9之一側，如第1圖所示，該感測單元10之位置可低於該眼球9以避免該眼球9向下看時該車用安全系統1無法透過該感測單元10偵測該瞳孔位置。
某些實施例中，該感測單元10可透過外掛或內嵌的方式設置在該眼鏡2，但本發明不限於此。其他實施例中，該感測單元10可設置於一頭戴式配件或一可攜式元件。例如，該感測單元10可夾住一帽緣藉以於大致固定的一預設距離擷取影像圖框IF。
此外，當該感測單元10設置在一使用者所配戴之該眼鏡2或該頭戴式配件時，該眼鏡2或該頭戴式配件可隨著該使用者的頭部轉動以致於該感測單元10與該眼球9可保持該預設距離，因此該眼球9可始終位於該感測單元10之一視野範圍。
該處理單元12例如可為一數位訊號處理器(digital signal processor)或其他可用以處理影像資料之處理裝置，其可用以計算該影像圖框IF中該眼球影像之一瞳孔位置並產生對應該瞳孔位置之一驅動信號S。該感測單元10擷取該影像圖框IF之後，可透過有線或無線的方式傳輸該影像圖框IF至該處理單元12以進行影像後處理。例如，當該感測單元10設置在該眼鏡2而該處理單元12設置在一車輛內部時，該感測單元10可透過一傳輸線(例如RS-232或USB)傳輸影像圖框IF至該處理單元12。為提高使用便利性，某些實施例中，該感測單元10可透過無線的方式(例如藍芽或Wi-Fi)傳輸影像圖框IF至該處理單元12。因此，不論該處理單元12與該感測單元10是否同時設置在該眼鏡2，該處理單元12皆可接收來自該感測單元10之影像圖框IF。
雖然第1圖繪示該處理單元12與該感測單元10係為分離，其僅用以說明，但並非用以限定本發明。某些實施例中，該感測單元10與該處理單元12可整合於同一晶片中，意即一晶片同時具有影像感測及資料處理的功能。例如該處理單元12可為一數位訊號處理電路，而該感測單元10為一感測畫素陣列(Pixel array)，而感測單元10所產生的影像圖框IF例如 透過I2C(Inter-Integrated Circuit，內部積體電路匯流排)傳輸方式傳遞給該處理單元12進行處理。當然，於其他實施例中，該處理單元12亦可為類似中央處理器的硬體架構。
請同時參照第1及2A圖，其中第2A圖為根據該感測單元10所擷取之一影像圖框IF1計算瞳孔位置之示意圖。該影像圖框IF1包含一眼球影像9e及一眼周影像9s且該眼球影像9e包含一瞳孔影像9p及一眼白影像9w。本實施例中，該處理單元12可計算該影像圖框IF1中每一畫素的灰階值並據以決定一瞳孔位置。例如，該影像圖框IF1具有一80×60的解析度(亦即4800個畫素)，該處理單元12可根據該等畫素中一最低灰階值G1所對應的畫素直接決定該瞳孔位置為P1。
某些實施例中，該車用安全系統1可預先校準該感測單元10之該視野以致於(1)該感測單元10所擷取之該影像圖框IF1可包含較少或不包含該眼周影像9s；(2)該眼球影像9e可位於該影像圖框IF1的中心位置。據此，可增加該處理單元12計算該瞳孔位置的準確性。
一實施例中，由於該瞳孔影像9p的亮度會低於該眼白影像9w的亮度，該處理單元12可根據該影像圖框IF1中相對較暗的區域決定一瞳孔位置。例如，該處理單元12在計算出該最低灰階值G1之位置後，計算該最低灰階值G1周圍灰階值中介於一灰階值範圍Rg之複數畫素辨識為一瞳孔區域Ap。接著，該處理單元12可根據該瞳孔區域Ap之一重心或一中心決定該瞳孔位置為P2。可以瞭解的是，該瞳孔位置P2可能不等於該最低灰階值G1所對應之位置，例如P1。此外，該最低灰階值G1附近所對應的畫素區域例如可利用影像分群(image grouping)的方式將互相關聯的畫素區域視為同一物件藉以決定該瞳孔區域Ap，其中影像分群的原理已為習知，故於此不再贅述。該處理單元12的計算方法不限於此，可透過該影像圖框IF1計算瞳孔/眼白位置的影像演算法皆可適用於本發明。
此外，該車用安全系統1可另包含一光源11用以朝該眼球9發光以於該眼球9上產生至少一光源反光，而該處理單元12可根據該影像圖框中一瞳孔影像與至少一光源反光影像之一空間關係決定該瞳孔位置。具體而言，請同時參照第1及2B圖，其中第2B圖為該感測單元10所擷取之另一影像圖框IF2之示意圖，該影像圖框IF2包含一瞳孔影像9p及一 光源反光影像I11。例如，該瞳孔影像9p及該光源反光影像I11分別在該影像圖框IF2中具有最小及最大的灰階值。接著，該處理單元12可計算該影像圖框IF2中該瞳孔影像9p與該光源反光影像I11間之一相對距離d的變化以追蹤該瞳孔9p，並據以決定該瞳孔位置。此外，該光源11可在該眼球9上形成兩個以上的光源反光影像(例如光源反光影像I11及I11')，該處理單元12利用複數光源反光影像計算該瞳孔位置。瞳孔定位例如可參照由本案相同受讓人所擁有美國專利申請第14/054,724號，標題為瞳孔追蹤裝置，所揭示內容。
可以瞭解的是，由於該感測單元10與該眼球9保持該預設距離且該光源11與該眼球9保持相同空間關係，該光源11在該眼球9上產生之該光源反光並不會隨著該使用者的頭部轉動而改變位置，因此，不論該使用者的頭部轉動或保持不動，該感測單元10所擷取之該影像圖框IF2中該光源反光影像I11(或該光源反光影像I11')可視為一固定的參考點以致於該處理單元12可據以計算該瞳孔影像9p與該光源反光影像I11間之該相對距離d的變化以追蹤該瞳孔位置。
該控制單元14可用以根據該處理單元12所產生之該驅動信號S觸發關聯該瞳孔位置之該車用裝置16，其中該控制單元14可為一車用電腦(vehicular computer)或整合在該處理單元12，該車用裝置16例如可為一導航、一側視攝影機或一後視攝影機等，但並不以此為限。
必須說明的是，該處理單元12計算出該瞳孔位置(例如第2A圖之該瞳孔位置P1)之後，該處理單元12可將該瞳孔位置P1及該眼球影像9e之區域映射至一二維空間2DS，如第3A圖所示，其中該二維空間2DS例如可劃分為9個子區域Z1~Z9，而每一該等子區域可分別對應或不對應一車用裝置。因此，該處理單元12可根據該瞳孔位置P1所在之子區域產生該瞳孔位置P1所對應之該車用裝置之該驅動信號S。必須說明的是，上述子區域的數目及配置僅為例示性，並非用以限定本發明。
最後，當該控制單元14根據該驅動信號S控制該車用裝置16時，該車用裝置16可輸出資訊至一顯示單元以供一駕駛觀看，例如第1圖之該車用安全系統1另包含一顯示單元18用以顯示該車用裝置16之資訊，其中該顯示單元18可為一微型投影顯示器(例如：矽基液晶)設置在 該眼鏡2，但不限於此。其他實施例中，該顯示單元18可為一液晶顯示器設置在車輛的擋風玻璃(亦即前擋玻璃)或為一抬頭顯示器(head-up display)設置在儀表板的上方。為確保行車安全，某些實施例中，該顯示單元18可位於該駕駛(或該眼球9)正視車輛前方之視線內並相對可見光為透明。
舉例而言，第3A圖之該等子區域Z1、Z3、Z7及Z9可分別對應一導航、一後視攝影機、一左側攝影機及一右側攝影機。當該瞳孔位置P1進入該子區域Z1時，該處理單元12所產生之該驅動信號S可控制該導航；當該瞳孔位置P1進入該子區域Z3時，該驅動信號S可控制該後視攝影機；當該瞳孔位置P1進入該子區域Z7時，該驅動信號S可控制該左側攝影機；以及當該瞳孔位置P1進入該子區域Z9時，該驅動信號S可控制該右側攝影機。接著，該顯示單元18可相對顯示該導航、該後視攝影機、該左側攝影機或該右側攝影機之資訊。據此，該車輛安全系統1可根據該駕駛之該瞳孔位置控制相對應車用裝置並在該駕駛的眼前顯示資訊以確保行車安全。
一實施例中，該導航之資訊可為一路線指示、一地圖或一路況；該後視攝影機、該左側攝影機及該右側攝影機之資訊可為一影像或一距離估測。
可以瞭解的是，第3A圖之該等子區域Z2、Z4~Z6及Z8可不對應任何一車用裝置。例如，當該瞳孔位置P1停留在該等子區域Z2、Z4~Z6及Z8其中一子區域時，該顯示裝置18不顯示任何資訊。換句話說，當該瞳孔位置P1從該等子區域Z1、Z3、Z7或Z9進入該等子區域Z2、Z4~Z6或Z8時，該顯示裝置18則停止顯示對應車用裝置之資訊。此外，該等子區域Z1~Z9可透過實驗最佳化其子區域大小，以避免干擾該駕駛之視線(亦即避免輕易觸發一車用裝置)。
該處理單元12除了可映射該瞳孔位置P1及該眼球影像9e之區域至該二維空間2DS之外，另可透過其他方式判斷該瞳孔位置P1是否控制車用裝置。
一實施例中，當該車用安全系統1包含該光源11(如第1圖所示)時，該感測單元10所擷取之該影像圖框IF2會包含該瞳孔影像9p及該等光源反光影像I11及I11'(如第2B圖所示)。接著，該處理單元12可根據該瞳孔影像9p(或其瞳孔位置)與該等光源反光影像I11及I11'之一相對 關係產生該驅動信號S以供該控制單元14根據該驅動信號S觸發關聯該瞳孔位置之一車用裝置。例如，當該瞳孔位置介於該等光源反光影像111與I11'之間時，該控制單元14可不觸發任何車用裝置；當該瞳孔位置不介於該等光源反光影像I11與I11'之間且位於該光源反光影像I11左側時，該控制單元14可觸發該左側攝影機；以及當該瞳孔位置不介於該等光源反光影像I11與I11'之間且位於該光源反光影像I11'右側時，該控制單元14可觸發該右側攝影機。據此，該車用安全系統1之該顯示單元18亦可正確顯示該駕駛所需要的資訊。換句話說，本發明說明中所述瞳孔位置可為絕對位置或相對位置。
由於瞳孔的亮度遠低於眼白的亮度，該瞳孔影像9p的亮度會遠低於該眼白影像9w的亮度，故在另一實施例中，該眼球影像9e可劃分為至少兩個子區域以分別對應不同功能，例如可控制該車用裝置及不可控制該車用裝置，例如第3B圖所示之子區域ZA及ZB。該處理單元12可分別計算該子區域ZA及ZB之一平均灰階值或一灰階值加總以判斷該瞳孔位置所在之子區域作為該瞳孔位置。例如，當該子區域ZA的平均灰階值小於該子區域ZB的平均灰階值時表示該瞳孔位置在該子區域ZA，該控制單元14可根據該處理單元12所產生之該驅動信號S而不控制(或停止控制)該車用裝置，或者當該瞳孔位置在該子區域ZA時該處理單元12不產生該驅動信號S；而當該子區域ZA的平均灰階值大於該子區域ZB的平均灰階值時表示該瞳孔位置在該子區域ZB，該控制單元14則可根據該處理單元12所產生之該驅動信號S控制該車用裝置。可以瞭解的是，該等子區域的數量及大小可視實際應用而定。
另一方面，由於該感測單元10可連續擷取複數影像圖框，該處理單元12另可判斷該瞳孔位置是否位於一預設位置經過一預設時間時，才產生該驅動信號S。例如，請參照第3A圖，假設該感測單元10每秒擷取5張影像圖框(亦即該感測單元10的取樣週期為0.2秒)、該預設位置為對應右側攝影機的子區域Z9以及該預設時間為1秒鐘，當該感測單元10所擷取的第一影像圖框中該瞳孔位置P1位於該子區域Z9時，該處理單元12不會立即產生該驅動信號S；當該感測單元10所擷取的第二、第三及第四影像圖框中該瞳孔位置P1持續位於該子區域Z9時，該處理單元12亦不會產生該驅動信號S。直到當該感測單元10所擷取的第五影像圖框中該瞳孔位 置P1仍然位於該子區域Z9時，亦即該瞳孔位置位於該預設位置經過該預設時間(0.2×5=1秒)，該處理單元12才產生該驅動信號S且該控制單元14可控制所對應的右側攝影機。
此外，該處理單元12另可根據該感測單元10所輸出之複數影像圖框進行眨眼辨識，當該處理單元12判斷該瞳孔位置位於一預設位置伴隨一預設眨眼次數時，才產生該驅動信號S。例如，請繼續參照第3A圖，假設當該瞳孔位置P1從該子區域Z5進入該子區域Z9時，該處理單元12不會立即產生該驅動信號S。該處理單元12偵測到兩次眨眼之後，才會產生該驅動信號S至該控制單元14以控制所對應的右側攝影機，但其眨眼次數不限於此。因此，該車用安全系統1可根據該瞳孔位置位於該預設位置經過該預設時間/伴隨該預設眨眼次數以延遲控制/不控制該車用裝置的時間。
第4A圖為本發明第二實施例之一車用安全系統3之示意圖，其可用以根據一眼球9之一瞳孔位置以控制或啟動該瞳孔位置所對應的一車用裝置。該車用安全系統3包含一光源11、一感測單元10、一處理單元12、一控制單元14、一車用裝置16以及一顯示單元18。某些實施例中，該感測單元10可固定在車輛內部，例如一車內後照鏡或車頂，但不限於此，該感測單元10可設置在能順利擷取該眼球影像之一適當位置。
該光源11例如可為一紅外光光源，例如紅外光發光二極體，以避免點亮時影響視線。該光源11用以朝該眼球9發光以於該眼球9上產生至少一光源反光。
該感測單元10用以擷取包含該至少一光源反光之至少一光源反光影像之一影像圖框，其中該感測單元10以一視野FOV擷取該影像圖框。由於該感測單元10與該眼球9間之距離較遠(相較第一實施例之該感測單元10與該眼球9間之距離)，該感測單元10所擷取的影像圖框可能會包含部份的人臉影像Iface，如第4B圖之影像圖框IF4所示。
該處理單元12例如可為一數位訊號處理器，其可用以根據該影像圖框中該至少一光源反光影像決定一眼球影像範圍，根據該眼球影像範圍中至少一光源反光影像及一瞳孔影像計算一瞳孔位置並據以產生對應該瞳孔位置之一驅動信號S。
例如，請同時參照第4A及4B圖，其中第4B圖為該感測單 元10所擷取之一影像圖框IF4之示意圖。由於該光源11可在該眼球9上產生一光源反光以致於該影像圖框IF4中相對該光源反光之位置可為具有最亮灰階值之畫素(例如該光源反光影像I11)，故該處理單元12可根據該光源反光影像I11決定一眼球影像範圍Re。
一實施例中，該眼球影像範圍Re可為以該光源反光影像I11為中心之一預設範圍，其中該預設範圍可為一矩形、橢圓形或圓形，但不限於此。此外，由於該眼白影像9w的亮度大於該人臉影像Iface的亮度，故可利用灰階值比較法決定一眼球影像範圍Re'。例如，當兩相鄰畫素的灰階值之一差值介於一灰階門檻值範圍時，該處理單元12可根據該等灰階值所對應的畫素決定該眼球影像範圍Re'。可以瞭解的是，該眼球影像範圍Re大於該眼球影像範圍Re'。
在確認該眼球影像範圍Re(或該眼球影像範圍Re')之後，該處理單元12可根據該眼球影像範圍Re中該光源反光影像I11及一瞳孔影像(例如第4B圖之瞳孔影像9p)計算一瞳孔位置，其計算方法已於本發明第一實施例中敘述，故於此不再贅述。
一實施例中，該處理單元12可透過習知人臉辨識技術找出該眼球影像範圍Re或Re'，接著再計算該瞳孔位置。
第4A圖所繪示之該處理單元12與該感測單元10為兩個獨立元件，其僅用以說明，但並非用以限定本發明。如上所述，該處理單元12可為一數位訊號處理電路，而該感測單元10可為一感測畫素陣列並整合在同一晶片中。
必須說明的是，由於該感測單元10與該眼球9間之距離較遠，即使該眼球9並未因為該使用者的頭部轉動離開該感測單元10之該視野FOV，該感測單元10所擷取之該影像圖框IF4中該光源反光影像I11卻可能會因為該使用者的頭部轉動改變位置以致於該處理單元12無法準確計算該瞳孔位置。因此，一實施例中，該車用安全系統3先判斷該使用者的頭部是否保持不動且超過一預設時間，例如該處理單元12可根據該感測單元10在該預設時間內所擷取的複數影像圖框中每一該眼球影像範圍Re(或每一該眼球影像範圍Re')之一中心位置彼此間之距離是否小於一預設值。當該車用安全系統3判斷該使用者的頭部保持不動且超過該預設時間時，該 處理單元12才根據該眼球影像範圍Re或Re'中至少一光源反光影像及一瞳孔影像計算一瞳孔位置並據以產生對應該瞳孔位置之一驅動信號S。
該控制單元14係設置在該車輛內部例如一車用電腦或一車控制台(car control console)，其可用以根據該驅動信號S觸發關聯該瞳孔位置之該車用裝置16。可以瞭解的是，由於該處理單元12固定在該車內後視鏡而該控制單元14設置在該車輛內部，該處理單元12所產生之該驅動信號S可透過無線的方式傳輸至該控制單元14，但不限於此。
相同地，該車用裝置16例如可為一導航、一側視攝影機或一後視攝影機。該控制單元14可根據該驅動信號S觸發關聯該瞳孔位置之該車用裝置16以致於該顯示裝置18可顯示該車用裝置16之資訊。
此外，與本發明第一實施例相同，該處理單元12另可判斷該瞳孔位置位於一預設位置經過一預設時間，或者根據該感測單元10所輸出之複數影像圖框進行眨眼辨識且當該處理單元12判斷該瞳孔位置位於一預設位置伴隨一預設眨眼次數時，才產生該驅動信號S。
請同時參照第5A及5B圖，其中第5A圖顯示本發明實施例之車用安全系統之運作方法之流程圖；第5B圖顯示本發明實施例之車用安全系統之運作方法之方塊圖。
本發明實施例之車用安全系統之運作方法包含下列步驟：以一光源朝一眼球發光以於該眼球上產生至少一光源反光(步驟S1)；擷取包含該眼球之一眼球影像之一影像圖框(步驟S2)；以一處理單元計算該影像圖框中該眼球影像之一瞳孔位置並產生對應該瞳孔位置之一驅動信號(步驟S3)；根據該驅動信號觸發關聯該瞳孔位置之一車用裝置(步驟S4)；以及以一顯示單元顯示該車用裝置之資訊(步驟S5)，其中計算該影像圖框中該眼球影像之一瞳孔位置的步驟係根據該影像圖框中一瞳孔影像與至少一光源反光影像之一空間關係決定該瞳孔位置。
必須說明的是，本發明實施例之該光源係用以輔助該處理單元計算該瞳孔位置，可視該處理單元計算該瞳孔位置之方法決定是否設置該光源在該車用安全系統。
上述各實施例中，該車用安全系統另可設置一開關用以供該使用者啟動或關閉該車用安全系統。例如，請參照第1圖，在本發明第 一實施例中，該車用安全系統1另可包含一開關(例如一觸控式按鈕)整合在該眼鏡2上，該使用者可透過該開關決定該車用安全系統1開始或停止追蹤該使用者之瞳孔。請參照第4A圖，在本發明第二實施例中，車用安全系統3另可包含一開關(例如一實體按鈕)整合在一方向盤上，在該使用者操作該方向盤的同時可透過該開關決定該車用安全系統3開始或停止追蹤該使用者之瞳孔，但不限於此，該開關亦可由該車用安全系統偵測一預設手勢(例如一OK手勢)的方式實現。例如根據本發明第二實施例，該車用安全系統3可另包含一手勢辨識單元設置在車輛內部(例如一中控台上)，該手勢辨識單元可根據影像辨識該使用者是否比出該預設手勢以啟動或關閉該車用安全系統3，其中該影像可由該感測單元10所擷取或於車輛內部(例如該中控台上)另外設置之一影像感測器所擷取。手勢辨識單元的運作方法為習知，故於此不再贅述。據此，上述各實施例之車用安全系統可根據開關或手勢的控制開始或停止偵測以避免誤控制。
上述各實施例中，一車輛可設置有複數車用裝置，該控制單元可根據該處理單元所產生之驅動信號控制該等車用裝置其中一車用裝置。
此外，本發明之車用安全系統之運作方法並非限定於一車用安全系統上操作。如前所述，本發明的精神在於一處理單元可透過一感測單元追蹤一使用者之一瞳孔位置以觸發關聯該瞳孔位置之一裝置，並在該使用者的眼前顯示該裝置之資訊。因此，某些實施例中，該運作方法適用於虛擬實境技術(virtual reality technology)，例如一頭戴式顯示器(head mounted display)或一模擬器(simulator)，並根據瞳孔位置相對控制虛擬裝置。
例如再參照第1圖，假設該車用安全系統1及該眼鏡2為一頭戴式顯示器，此時該車用裝置16可為對應虛擬實境技術之一感測器、一輸入裝置或其他內容(例如一軟體程式)。相同地，該處理單元12可透過該感測單元10擷取之影像圖框計算一瞳孔位置，並根據該瞳孔位置觸發對應的虛擬實境感測器或內容。接著，該顯示單元18顯示關聯該瞳孔位置之資訊至使用者的眼前以在該虛擬實境中實現人機互動。
例如再參照第4A圖，假設該車用安全系統3為一駕駛模擬 器，此時該車用裝置16可為複數虛擬車用裝置(例如一軟體程式)，該處理單元12可透過所計算之一瞳孔位置觸發該等虛擬車用裝置至少其中之一，接著該顯示單元18可以全畫面、子母畫面或分割畫面的方式顯示關聯該瞳孔位置之虛擬車用裝置之資訊，例如一車側影像或一後方影像。
可以瞭解的是，當該車用安全系統之運作方法用於該虛擬實境時，一電腦主機可包含該處理單元12、該控制單元14及該車用裝置16之功能，也就是說，該處理單元12、該控制單元14及該車用裝置16可透過該電腦主機以軟體運算的方式實現。
一實施例中，該車用安全系統另包含一光源用以朝該眼球發光以於該眼球上產生至少一光源反光，其中該處理單元用以根據該影像圖框中一瞳孔影像與至少一光源反光影像之一空間關係決定該瞳孔位置。
一實施例中，該眼球影像劃分為至少兩個子區域以分別對應不同功能；該處理單元分別計算該至少兩個子區域的灰階值以判斷該瞳孔位置所在之子區域以作為該瞳孔位置。
一實施例中，當該處理單元判斷該瞳孔位置位於一預設位置經過一預設時間時，才產生該驅動信號。
一實施例中，該處理單元另根據該感測單元所輸出之複數影像圖框進行眨眼辨識，當該處理單元判斷該瞳孔位置位於一預設位置伴隨一預設眨眼次數時，才產生該驅動信號。
本發明實施例之車用安全系統可藉由判斷一駕駛之一瞳孔位置以決定是否觸發一車用裝置並在該駕駛眼前顯示該車用裝置之資訊。此外，該車用安全系統另可判斷該瞳孔位置位於一預設位置經過一預設時間，或者判斷該瞳孔位置位於一預設位置伴隨一預設眨眼次數以決定是否觸發該車用裝置，藉以在不干擾駕駛視線的同時提昇行車安全。
如上所述，習知車用安全系統之顯示裝置通常設置在汽車內部之車控制台，而一駕駛之視線必須轉頭離開車輛前方才能透過顯示裝置確認汽車周圍的狀況。因此，本發明提出一種車用安全系統(第1及4A圖)及其運作方法(第5A圖)，其可判斷該駕駛之一瞳孔位置來決定是否觸發一車用裝置並在該駕駛眼前顯示該車用裝置之資訊，以提昇行車安全。
雖然本發明已以前述實施例揭示，然其並非用以限定本發 明，任何本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與修改。因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
10‧‧‧感測單元
11‧‧‧光源
12‧‧‧處理單元
14‧‧‧控制單元
16‧‧‧車用裝置
18‧‧‧顯示單元
3‧‧‧車用安全系統
9‧‧‧眼球
FOV‧‧‧視野
S‧‧‧驅動信號

Claims (11)

  1. 一種車用安全系統，包含：一感測單元，用以於一預設距離擷取包含一眼球之一眼球影像之一影像圖框；一處理單元，用以計算該影像圖框中該眼球影像之一瞳孔位置並產生對應該瞳孔位置之一驅動信號；以及一控制單元，用以根據該驅動信號觸發關聯該瞳孔位置之一車用裝置，其中，該眼球影像劃分為至少兩個子區域以分別對應不同功能，該處理單元分別計算該至少兩個子區域的灰階值以判斷該瞳孔位置所在之子區域。
  2. 如申請專利範圍第1項所述之車用安全系統，其中該灰階值為一平均灰階值或一灰階值加總。
  3. 如申請專利範圍第1項所述之車用安全系統，其中該感測單元以有線或無線的方式傳輸該影像圖框至該處理單元。
  4. 如申請專利範圍第1項所述之車用安全系統，其中該車用裝置為一導航、一側視攝影機或一後視攝影機。
  5. 如申請專利範圍第1項所述之車用安全系統，另包含一顯示單元用以顯示該車用裝置之資訊。
  6. 如申請專利範圍第1項所述之車用安全系統，其中當該處理單元判斷該瞳孔位置位於一預設位置經過一預設時間時，才產生該驅動信號。
  7. 如申請專利範圍第1項所述之車用安全系統，其中該處理單元另根據該感測單元所輸出之複數影像圖框進行眨眼辨 識，當該處理單元判斷該瞳孔位置位於一預設位置伴隨一預設眨眼次數時，才產生該驅動信號。
  8. 如申請專利範圍第1項所述之車用安全系統，其中該感測單元設置於一眼鏡、一頭戴式配件或一可攜式元件。
  9. 一種車用安全系統之運作方法，包含：擷取包含一眼球之一眼球影像之一影像圖框；以一處理單元計算該影像圖框中該眼球影像之一瞳孔位置並產生對應該瞳孔位置之一驅動信號；以及根據該驅動信號觸發關聯該瞳孔位置之一車用裝置，其中，該眼球影像劃分為至少兩個子區域以分別對應不同功能，該處理單元分別計算該至少兩個子區域的灰階值以判斷該瞳孔位置所在之子區域。
  10. 如申請專利範圍第9項所述之運作方法，其中該處理單元判斷該瞳孔位置位於一預設位置經過一預設時間或位於該預設位置伴隨一預設眨眼次數，才產生該驅動信號。
  11. 如申請專利範圍第10項所述之運作方法，另包含：以一顯示單元顯示該車用裝置之資訊。
TW103123744A 2014-07-09 2014-07-09 車用安全系統及其運作方法 TWI522257B (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
TW103123744A TWI522257B (zh) 2014-07-09 2014-07-09 車用安全系統及其運作方法
US14/684,581 US9805260B2 (en) 2014-07-09 2015-04-13 Vehicle safety system and operating method thereof
US15/686,355 US10192110B2 (en) 2014-07-09 2017-08-25 Vehicle safety system and operating method thereof
US16/199,418 US10699118B2 (en) 2014-07-09 2018-11-26 Vehicle safety system and operating method thereof
US16/880,348 US11301678B2 (en) 2014-07-09 2020-05-21 Vehicle safety system with no-control operation
US17/686,671 US11741630B2 (en) 2014-07-09 2022-03-04 Vehicle system with no-control operation
US18/219,324 US12094164B2 (en) 2014-07-09 2023-07-07 Vehicle system for controlling and not controlling electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW103123744A TWI522257B (zh) 2014-07-09 2014-07-09 車用安全系統及其運作方法

Publications (2)

Publication Number Publication Date
TW201601955A TW201601955A (zh) 2016-01-16
TWI522257B true TWI522257B (zh) 2016-02-21

Family

ID=55067803

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103123744A TWI522257B (zh) 2014-07-09 2014-07-09 車用安全系統及其運作方法

Country Status (2)

Country Link
US (6) US9805260B2 (zh)
TW (1) TWI522257B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI622509B (zh) * 2016-06-17 2018-05-01 陳朝烈 交通工具用主動安全系統及其控制方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI522257B (zh) * 2014-07-09 2016-02-21 原相科技股份有限公司 車用安全系統及其運作方法
CN108349503B (zh) * 2015-10-30 2022-08-02 三菱电机株式会社 驾驶辅助装置
US10474231B2 (en) * 2017-08-16 2019-11-12 Industrial Technology Research Institute Eye tracking apparatus and method thereof
JP7063167B2 (ja) * 2018-07-26 2022-05-09 トヨタ自動車株式会社 表示制御装置、車両用表示装置、表示制御方法及びプログラム
US11046320B2 (en) 2018-12-13 2021-06-29 GM Global Technology Operations LLC System and method for initiating and executing an automated lane change maneuver
US20220161748A1 (en) * 2020-11-26 2022-05-26 Pixart Imaging Inc. Multiple detection system
KR20230030126A (ko) * 2021-08-24 2023-03-06 삼성디스플레이 주식회사 표시 장치 및 이의 구동 방법
US12124625B1 (en) * 2023-06-30 2024-10-22 Rockwell Collins, Inc. Pupil dynamics, physiology, and context for estimating vigilance

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0752593A3 (de) * 1995-07-07 1998-01-07 Siemens Aktiengesellschaft Verfahren zur Früherkennung von Ausfällen bei Leistungshalbleitermodulen
US6335548B1 (en) * 1999-03-15 2002-01-01 Gentex Corporation Semiconductor radiation emitter package
US7599524B2 (en) * 2003-04-04 2009-10-06 Sarnoff Corporation Method and apparatus for providing a robust object finder
US7593550B2 (en) * 2005-01-26 2009-09-22 Honeywell International Inc. Distance iris recognition
US7809160B2 (en) * 2003-11-14 2010-10-05 Queen's University At Kingston Method and apparatus for calibration-free eye tracking using multiple glints or surface reflections
CA2619155A1 (en) * 2005-08-17 2007-02-22 Seereal Technologies Gmbh Method and circuit arrangement for recognising and tracking eyes of several observers in real time
JP2008058409A (ja) 2006-08-29 2008-03-13 Aisin Aw Co Ltd 音声認識方法及び音声認識装置
US7573115B2 (en) * 2006-11-13 2009-08-11 International Business Machines Corporation Structure and method for enhancing resistance to fracture of bonding pads
JP4895847B2 (ja) * 2007-02-08 2012-03-14 アイシン精機株式会社 瞼検出装置及びプログラム
DE102007054626A1 (de) * 2007-11-12 2009-05-14 Hesse & Knipps Gmbh Verfahren und Vorrichtung zum Ultraschallbonden
CN101344919B (zh) 2008-08-05 2012-08-22 华南理工大学 视线跟踪方法及应用该方法的残疾人辅助系统
TW201103787A (en) * 2009-07-31 2011-02-01 Automotive Res & Testing Ct Obstacle determination system and method utilizing bird's-eye images
US8911087B2 (en) * 2011-05-20 2014-12-16 Eyefluence, Inc. Systems and methods for measuring reactions of head, eyes, eyelids and pupils
TWI471808B (zh) * 2012-07-20 2015-02-01 Pixart Imaging Inc 瞳孔偵測裝置
TWI490792B (zh) 2012-10-22 2015-07-01 Pixart Imaging Inc 使用者辨識及確認裝置、方法以及使用該裝置之車用中央控制系統
TW201416908A (zh) 2012-10-23 2014-05-01 Pixart Imaging Inc 瞳孔追蹤裝置
CN103020436B (zh) * 2012-11-30 2015-08-12 工业和信息化部电子第五研究所 元器件失效归零分析方法与系统
TWI522257B (zh) * 2014-07-09 2016-02-21 原相科技股份有限公司 車用安全系統及其運作方法
US10656204B2 (en) * 2017-09-21 2020-05-19 Pdf Solutions, Inc. Failure detection for wire bonding in semiconductors
EP3492935B1 (en) * 2017-12-01 2021-08-11 Mitsubishi Electric R&D Centre Europe B.V. Health monitoring of power semiconductor device
EP3531146B1 (en) * 2018-02-27 2023-03-08 Mitsubishi Electric R&D Centre Europe B.V. Wire-bonded power semi-conductor module monitoring

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI622509B (zh) * 2016-06-17 2018-05-01 陳朝烈 交通工具用主動安全系統及其控制方法

Also Published As

Publication number Publication date
US11741630B2 (en) 2023-08-29
US20160012274A1 (en) 2016-01-14
US12094164B2 (en) 2024-09-17
US11301678B2 (en) 2022-04-12
US20220198832A1 (en) 2022-06-23
US20200279094A1 (en) 2020-09-03
US20230351633A1 (en) 2023-11-02
TW201601955A (zh) 2016-01-16
US20190095686A1 (en) 2019-03-28
US10192110B2 (en) 2019-01-29
US20170351899A1 (en) 2017-12-07
US9805260B2 (en) 2017-10-31
US10699118B2 (en) 2020-06-30

Similar Documents

Publication Publication Date Title
TWI522257B (zh) 車用安全系統及其運作方法
US10217361B2 (en) Apparatus and method for sensing and notifying pedestrian
US10311735B2 (en) Vehicle display system and method of controlling vehicle display system
US11858424B2 (en) Electronic device for displaying image by using camera monitoring system (CMS) side display mounted in vehicle, and operation method thereof
CN108621941B (zh) 车辆的显示系统及车辆的显示系统的控制方法
US10715744B2 (en) Vehicular display control device, vehicular display system, vehicular display control method, and non-transitory storage medium
US20160321920A1 (en) Vehicle surroundings monitoring device
JP6453929B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
CN109415018B (zh) 用于数字后视镜的方法和控制单元
JP2010033106A (ja) 運転者支援装置、運転者支援方法および運転者支援処理プログラム
CN105323539B (zh) 车用安全系统及其操作方法
JP4872245B2 (ja) 歩行者認識装置
JP2019188855A (ja) 車両用視認装置
CN113401057A (zh) 一种场景随动的全息投影系统及其汽车
WO2017024458A1 (en) System, method and apparatus for vehicle and computer readable medium
JP6415968B2 (ja) 通信装置、警告装置、表示装置、制御方法、プログラム、及び記憶媒体
JP2007133644A (ja) 歩行者認識装置
JP2023169625A (ja) 監視装置、監視用コンピュータプログラム及び監視方法
JP2023097182A (ja) ドライバ挙動判定装置、ドライバ挙動判定方法及びドライバ挙動判定用コンピュータプログラム
JP2009166662A (ja) 車両用情報表示装置