TWI719343B

TWI719343B - 資訊顯示方法及其顯示系統

Info

Publication number: TWI719343B
Application number: TW107129992A
Authority: TW
Inventors: 徐瑋璘; 余姿儀; 陳恒殷
Original assignee: 財團法人工業技術研究院; 創智智權管理顧問股份有限公司
Priority date: 2018-08-28
Filing date: 2018-08-28
Publication date: 2021-02-21
Also published as: US11057606B2; TW202009877A; US20200077072A1; CN110864673A

Abstract

一種資訊顯示方法及其顯示系統，此系統包括可透光的顯示器、至少一第一資訊擷取裝置、至少一第二資訊擷取裝置以及處理裝置，其中處理裝置連接於顯示器、第一資訊擷取裝置以及第二資訊擷取裝置。第一資訊擷取裝置用以擷取使用者的位置資訊。第二資訊擷取裝置用以擷取目標物的位置資訊。處理裝置用以根據使用者的位置資訊以及目標物的位置資訊，進行座標轉換，以產生使用者與目標物之間的融合資訊，以及根據融合資訊，將目標物的相關資訊顯示於顯示器。

Description

資訊顯示方法及其顯示系統

本揭露是有關於一種資訊顯示技術。

隨著影像處理技術與空間定位技術的發展，透明顯示器的應用已逐漸受到重視。此類的技術可讓顯示器搭配實體物件，再輔以虛擬相關資訊，並且依照使用者的需求來產生互動式的體驗，可使資訊以更為直觀的方式呈現。

然而，此種顯示系統中用以對外取像的影像擷取裝置往往無法架設於顯示器的正中央，所拍攝到的實體物件影像易與人眼視覺有所偏差。在顯示器上所呈現的目標物相關資訊難以與實體物件精準地融合，而造成使用者觀看上的不適。

本揭露提供一種資訊顯示方法及其顯示系統。

在本揭露的一範例實施例中，上述的顯示系統包括可透光的顯示器、至少一第一資訊擷取裝置、至少一第二資訊擷取裝置以及處理裝置，其中處理裝置連接於顯示器、第一資訊擷取裝置以及第二資訊擷取裝置。第一資訊擷取裝置用以擷取使用者的位置資訊。第二資訊擷取裝置用以擷取目標物的位置資訊。處理裝置用以根據使用者的位置資訊以及目標物的位置資訊，進行座標轉換，以產生使用者與目標物之間的融合資訊，以及根據融合資訊，將目標物的相關資訊顯示於顯示器。

在本揭露的一範例實施例中，上述的顯示方法適用於具有可透光的顯示器、至少一第一資訊擷取裝置、至少一第二資訊擷取裝置以及處理裝置的顯示系統，並且包括下列步驟。利用第一資訊擷取裝置擷取使用者的位置資訊，並且利用第二資訊擷取裝置擷取目標物的位置資訊。根據使用者的位置資訊以及目標物的位置資訊，進行座標轉換，以產生使用者與目標物之間的融合資訊，以及根據融合資訊，將目標物的相關資訊顯示於顯示器。

在本揭露的一範例實施例中，上述的顯示系統包括可透光的顯示器以及處理裝置，其中顯示系統連接於至少一第一資訊擷取裝置以及至少一第二資訊擷取裝置。處理裝置用以接收自第一資訊擷取裝置所擷取到的使用者位置資訊以及自第二資訊擷取裝置所擷取到的目標物位置資訊，又根據使用者的位置資訊以及目標物的位置資訊，進行座標轉換，以產生使用者與目標物之間的融合資訊，以及根據融合資訊，將目標物的相關資訊顯示於顯示器。

為讓本發明能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

本揭露的部份範例實施例接下來將會配合附圖來詳細描述，以下的描述所引用的元件符號，當不同附圖出現相同的元件符號將視為相同或相似的元件。這些範例實施例只是本發明的一部份，並未揭示所有本揭露的可實施方式。更確切的說，這些範例實施例僅為本揭露的專利申請範圍中的方法以及系統的範例。

圖1為根據本揭露一範例實施例所繪示的顯示系統的示意圖。首先圖1先介紹顯示系統中的所有構件以及配置關係，詳細功能將配合後續範例實施例的流程圖一併揭露。

請參照圖1，本範例實施例中的顯示系統100包括顯示器110、至少一個第一資訊擷取裝置120、至少一個第二資訊擷取裝置130以及處理裝置140，其中處理裝置120可以是以無線、有線、或電性連接於顯示器110、第一資訊擷取裝置120以及第二資訊擷取裝置130。

顯示器110用以顯示資訊，其包括例如是液晶顯示器（Liquid crystal display，LCD）、場色序（Field sequential color）顯示器、發光光二極體（Light emitting diode，LED）顯示器、電濕潤顯示器等穿透式可透光顯示器，或者是投影式可透光顯示器。使用者可透過顯示器110所觀看到的內容將會是疊加目標物相關資訊的實體場景。

第一資訊擷取裝置120用以擷取使用者的位置資訊，而第二資訊擷取裝置130用以擷取實體場景中的目標物位置資訊。第一資訊擷取裝置120可以例如是至少一個影像感測器、至少一個深度感測器、或其組合，也就是可以分別定位出使用者所在位置資訊的裝置或其組合，皆屬於第一資訊擷取裝置120的範疇。第二資訊擷取裝置120則可以例如是多個影像感測器，或者是至少一個影像感測器搭配至少一個深度感測器，也就是可以定位出目標物所在的位置資訊以及辨識出目標物影像資訊的裝置或其組合，皆屬於第二資訊擷取裝置130的範疇。本領域具通常知識者應明瞭，上述的影像感測器可用以擷取影像並且包括具有透鏡以及感光元件的攝像鏡頭。上述的深度感測器可用以偵測深度資訊，其可以分為主動式深度感測技術以及被動式深度感測技術來實現。主動式深度感測技術可藉由主動發出光源、紅外線、超音波、雷射等作為訊號搭配時差測距技術來計算深度資訊。被動式深度感測技術可以藉由兩個影像感測器以不同視角同時擷取其前方的兩張影像，以利用兩張影像的視差來計算深度資訊。

處理裝置140用以控制顯示系統100的作動，其包括記憶體以及處理器。記憶體可以例如是任意型式的固定式或可移動式隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）、硬碟或其他類似裝置、積體電路及其組合。處理器可以例如是中央處理單元（central processing unit，CPU）、應用處理器（application processor，AP），或是其他可程式化之一般用途或特殊用途的微處理器（microprocessor）、數位訊號處理器（digital signal processor，DSP）、影像訊號處理器（image signal processor，ISP）、圖形處理器（graphics processing unit，GPU）或其他類似裝置、積體電路及其組合。

在本範例實施例中，處理裝置140可以是內建於顯示器110。第一資訊擷取裝置120以及第二資訊擷取裝置130可以是分別設置於顯示器110上的相對兩側、顯示系統100所屬場域的上方相對於顯示器110的相對兩側等可以針對使用者以及目標物的位置進行定位，並且透過各自的通訊介面以習知有線或是無線的方式傳輸資訊至處理裝置140。在另一範例實施例中，顯示系統100可為單一整合系統，其可以實作成頭戴式顯示裝置，本揭露不在此設限。以下實施例中將搭配顯示系統100的各元件來說明資訊顯示方法的實施細節。

圖2是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖，而圖2的方法流程可由圖1的顯示系統100來實現。在此，使用者可透過顯示系統100的顯示器110來觀看目標物及其相關資訊。

請同時參照圖1以及圖2，首先，顯示系統100的處理裝置140可利用第一資訊擷取裝置120擷取使用者的位置資訊（步驟S202），並且利用第二資訊擷取裝置130擷取目標物的位置資訊（步驟S204）。如同前述，第一資訊擷取裝置120以及第二資訊擷取裝置130例如是可針對使用者以及目標物的所在位置進行定位的影像感測器、深度感測器及其組合，而具體設置方式將於後續範例實施例中分敘說明。

接著，處理裝置140將根據使用者的位置資訊以及目標物的位置資訊，進行座標轉換，以產生使用者與目標物之間的融合資訊（步驟S206）。在此，使用者的位置資訊以及目標物的位置資訊可以是以相對於第一資訊擷取裝置120以及第二資訊擷取裝置130的座標來表示。處理裝置140可針對第一資訊擷取裝置120以及第二資訊擷取裝置130所擷取到的位置資訊進行校正，以轉換至相同的座標系統來表示。具體來說，使用者的位置資訊具有使用者相對於第一資訊擷取裝置120的使用者座標，目標物的位置資訊具有目標物相對於第二資訊擷取裝置的目標物座標，而處理裝置140可將使用者座標以及目標物座標轉換至相同的座標系統，例如是世界座標系統（world coordinate system），進而取得使用者以及目標物分別在三維空間中的位置。接著，處理裝置140可藉由使用者以及目標物的座標轉換結果來估算出使用者的人眼視線資訊以及目標物所在場景的立體校正資訊，以做為產生使用者與目標物之間相對於顯示器110的融合資訊的依據。舉例來說，處理裝置140可根據人眼視線資訊來計算出使用者於顯示器110上的關注點（例如，使用者的凝視範圍），並且根據該目標物影像進行目標物的影像辨識，以產生影像辨識結果。之後，處理裝置140可根據關注點、影像辨識結果以及立體場景校正資訊來產生融合資訊。

詳言之，例如人眼可視範圍的水平角度約124°，垂直角度約120°，兩眼的綜合視角約170°。其中，人眼的感光細胞並非平均分佈，中央凹的部份會比其他部份密集。面對正前方例如0°-30°為中心辨識角度，可明確辨識物體，看清物體存在，超過30°之外可為餘光。據此，假設人眼與顯示器110的距離為M，人眼的中心辨識角度為15°，則其凝視範圍A可利用下列公式計算而得：

以及

。

接著，處理裝置140可根據融合資訊，將目標物的相關資訊顯示於顯示器110（步驟S208）。在此，處理裝置140是根據融合資訊中所指出使用者的人眼視線資訊以及目標物所在場景的立體校正資訊來設定目標物相關資訊的顯示位置。此外，處理裝置140更可搭配目標物的影像資訊來進一步地設定相關資訊。在此的相關資訊可以是目標物的導覽訊息、目標物的虛擬互動物件等，本揭露不以此為限。而處理裝置140根據整合過的融合資訊使顯示於顯示器110上的相關資訊可與使用者的視線達到良好的匹配，以提升使用者舒適的觀看體驗。

為了方便明瞭，以下實施例將搭配顯示系統100的不同配置方式來具體地說明圖2流程的細節。

圖3A是根據本揭露之一實施例所繪示的顯示系統的配置示意圖，圖3B是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。

請先參照圖3A，在本範例實施例中，第一資訊擷取裝置120更可用以判別使用者的視線資訊，其可以實作為兩個影像感測器320A、320B，針對使用者U3來進行影像擷取，而產生兩張不同視角的使用者影像ImgU3。第二資訊擷取裝置130是用以判別使用者透過顯示器110所觀看到的場景資訊，其可以實作為兩個影像感測器330A、330B，針對包括目標物T3的場景來進行影像擷取，而產生兩張不同視角的目標物影像ImgT3。處理裝置140將利用使用者影像ImgU3以及目標物影像ImgT3來進行圖3B的流程。

請同時參照圖3A以及圖3B，在本範例實施例中，處理裝置140在取得使用者影像ImgU3（步驟S302A）以及目標物影像ImgT3（步驟S302B）後，將進行座標轉換（C3）。詳細來說，處理裝置140可針對使用者影像ImgU3來進行相對於影像感測器320A、320B的相機座標的旋轉與位移校正（步驟S304A）。詳細來說，處理裝置140可計算影像感測器320A、320B於實際空間中的偏差量並將之對齊，且合併至世界座標系統。具體來說，處理裝置140可以是根據方程式(1)來進行座標轉換：

(1) 其中

，

為影像座標，

為相機內部參數矩陣，

為相機外部參數矩陣，

為世界座標，

為影像感測器320A、320B於實際空間中的偏差量。另一方面，處理裝置140可針對目標物影像ImgT3來進行相對於影像感測器330A、330B的相機座標旋轉與位移校正（步驟S304B）。類似地，處理裝置140將計算影像感測器330A、330B於實際空間中的偏差量並將之對齊，且合併至世界座標系統。

處理裝置140將使用者影像ImgU3所對應的立體空間以及目標物影像ImgT3所對應的立體空間整合至相同的座標系統後，以分別產生使用者世界座標以及目標物世界座標後，可取得人眼視線資訊（步驟S306A）以及立體場景校正資訊（步驟S306B）。在此，處理裝置140可以利用任何眼球追蹤演算法來估算出人眼視線資訊，從而進行使用者U3對於顯示器110的觀看分析（步驟S308），以取得使用者對於顯示器110上的關注點G。在此可合理地假設目標物T3是位於使用者視線上（即，使用者U3與關注點G的延伸線上），而處理裝置140可根據使用者視線來利用目標物影像ImgT3進行目標物T3的影像辨識（步驟S310），以取得以使用者U3的視線所觀看到的場景內容。接著，處理裝置140可搭配立體場景校正資訊，來計算目標物T3的相關資訊於顯示器110上的呈現方式，據以顯示相關資訊（步驟S312）。在本範例實施例中的相關資訊為平面資訊，而處理裝置140可根據關注點G、目標物T3的影像辨識結果以及立體場景校正資訊來設定相關資訊於顯示器110上的顯示位置，以做為使用者U3與目標物T3之間的融合資訊，並且將相關資訊顯示在此顯示位置上。如此一來，使用者U3可透過顯示器110觀看到疊加目標物相關資訊的實體場景。

附帶一提的是，在一範例實施例中，為了加速取得使用者U3的人眼視線資訊，第一資訊擷取裝置120可以是定位器以及接收器，其中定位器例如為使用者U3的手持裝置或穿戴裝置，而接收器可設置於顯示器110上。接收器可以是以任何習知主動式或被動式的傳輸方式接收自定位器所傳送使用者U3於世界座標系統的使用者世界座標，而處理裝置140即可得知使用者的所在位置，進而推估出人眼的所在位置。在一範例實施例中，顯示系統100的顯示器110更可以是觸控顯示器，也就是說第一資訊擷取裝置120可以是設置於顯示器110上的觸控元件，以偵測使用者U3對於顯示器110的觸控操作，並且可假設使用者於顯示器110上的觸控位置為使用者對於顯示器110上的關注點。此外，在一範例實施例中，為了更精準地計算出使用者與目標物之間的位置資訊，可在圖3A的架構上更增設用於擷取使用者的紅外線影像的紅外線影像感測器以及/或用於擷取目標的紅外線影像的紅外線影像感測器。必須說明的是，無論是採用何種感測器來取得使用者或者是目標物的位置資訊，處理裝置140需將對應的位置資訊整合至相同的座標系統中。

圖4A是根據本揭露之一實施例所繪示的顯示系統的配置示意圖，圖4B是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。圖4A～圖4B的目標物的相關資訊為立體資訊。

請先參照圖4A，在本範例實施例中，第一資訊擷取裝置120可更用以判別使用者的視線資訊，其可以實作為兩個影像感測器420A、420B，針對使用者U4來進行影像擷取，而產生兩張使用者影像。第二資訊擷取裝置130是用以判別使用者透過顯示器110所觀看到的場景資訊，其可以實作為兩個影像感測器430A、430B，針對包括目標物T4的場景來進行影像擷取，而產生兩張目標物影像。處理裝置140可利用使用者影像、目標物影像來進行圖4B的流程。

請同時參照圖4A以及圖4B，在本範例實施例中，處理裝置140在取得使用者影像（步驟S402A）以及目標物影像（步驟S402B）後，將進行座標轉換（C4）。詳細來說，處理裝置140將針對使用者影像來進行相對於影像感測器420A、420B的相機座標的旋轉與位移校正（步驟S404A），並且針對目標物影像來進行相對於影像感測器430A、430B的相機座標旋轉與位移校正（步驟S404B）。處理裝置140將使用者影像所對應的立體空間以及目標物影像所對應的立體空間整合至相同的座標系統後，可取得人眼視線資訊（步驟S406A）以及立體場景校正資訊（步驟S406B）。接著，處理裝置140可進行使用者U4對於顯示器110的觀看分析（步驟S408），以取得使用者對於顯示器110上的關注點G，而處理裝置140可根據使用者視線來利用目標物影像ImgT4進行影像辨識（步驟S410），以取得以使用者U4的視線所觀看到的場景內容。上述步驟S402A～S410的細節請參照圖3B的類似相關說明，於此不再贅述。

不同於圖3B的範例實施例，在此的處理裝置140可預先建立相關資訊的立體模型（步驟S405），再搭配立體場景校正資訊，來計算目標物T4的相關資訊於顯示器110上的呈現方式，據以顯示相關資訊（步驟S412）。也就是說，在本範例實施例中的相關資訊為立體資訊，而處理裝置140可根據關注點G、目標物T4的影像辨識結果以及立體場景校正資訊所設定的顯示器110的顯示位置來做為使用者U4與目標物T4之間的融合資訊，以做為顯示相關資訊的依據。如此一來，使用者U4可透過顯示器110觀看到疊加立體相關資訊的實體場景。

圖5A是根據本揭露之一實施例所繪示的顯示系統的配置示意圖，圖5B是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。圖5A以及圖5B的實施例的使用者與目標物處於不同介質，因此人眼視線資訊需要根據不同介質的折射率來做更進一步的校正。

請先參照圖5A，在本範例實施例中，第一資訊擷取裝置120可更用以判別使用者的視線資訊，其可以實作為兩個影像感測器520A、520B，針對使用者U5來進行影像擷取，而產生兩張使用者影像。第二資訊擷取裝置130是用以判別使用者透過顯示器110所觀看到的場景資訊，其可以實作為兩個影像感測器530A、530B，針對包括目標物T5的場景來進行影像擷取，而產生兩張目標物影像。處理裝置140可利用使用者影像、目標物影像來進行圖5B的流程。在本範例實施例中，使用者U5與目標物T5分別位於折射率為

的介質1以及折射率為

的介質2中，例如空氣以及水，而

以及

分別為人眼視線相對於法線的入射角以及折射角。處理裝置140在進行人眼視線分析時，需要進行人眼視線的校正，以取得目標物T5的真實位置。

請同時參照圖5A以及圖5B，在本範例實施例中，處理裝置140在取得使用者影像（步驟S502A）以及目標物影像（步驟S502B）後，將進行座標轉換（C5）。詳細來說，處理裝置140可針對使用者影像來進行相對於影像感測器520A、520B的相機座標的旋轉與位移校正（步驟S504A），並且針對目標物影像來進行相對於影像感測器530A、530B的相機座標旋轉與位移校正（步驟S504B）。處理裝置140將使用者影像所對應的立體空間以及目標物影像所對應的立體空間整合至相同的座標系統後，可取得人眼視線資訊（步驟S506A）以及立體場景校正資訊（步驟S506B）。上述步驟S502A～S506B的細節請參照圖3B的類似相關說明，於此不再贅述。

在本範例實施例中，處理裝置140可更進一步地針對人眼視線資訊進行校正（步驟S506A’），以取得校正後的人眼視線資訊。詳細來說，當處理裝置140以方程式(1)取得到人眼視線資訊時，基於使用者U5是觀看到不同介質中的目標物T5，處理裝置140可根據兩個介質的折射率來根據司乃耳定律（Snell’s Law）以及方程式(2)來對人眼視線資訊進行校正：

(2) 其中，

為校正後的人眼視線資訊，

以及

為使用者的人眼視線資訊，

為入射角，

為折射角，而方程式(2)可用以將光線折射化簡為利用兩邊介質的向量和折射率計算，而司乃耳定律為

。

處理裝置140在取得到校正後的人眼視線資訊後，可進行使用者U5對於顯示器110的觀看分析（步驟S508），以取得使用者對於顯示器110上的關注點G，而處理裝置140可根據使用者視線來利用目標物影像ImgT5進行目標物T5的影像辨識（步驟S510），取得以使用者U5的視線所觀看到的場景內容。接著，處理裝置140可搭配立體場景校正資訊，來計算目標物T5的相關資訊於顯示器110上的呈現方式，據以顯示相關資訊（步驟S512）。上述步驟S508～S512的細節請參照圖3B的類似相關說明，於此不再贅述。

圖6A是根據本揭露之一實施例所繪示的顯示系統的配置示意圖，圖6B是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。在本範例實施例中，目標物的場景立體模型可預先建立並且儲存於處理裝置140中，以加速整體的資訊顯示流程。

請先參照圖6A，在本範例實施例中，第一資訊擷取裝置120可更用以判別使用者的人眼視線資訊，其可以實作為兩個影像感測器620A、620B，針對使用者U6來進行影像擷取，而產生兩張使用者影像。第二資訊擷取裝置130是用以判別使用者透過顯示器110所觀看到的場景資訊，其可以實作為影像感測器630，針對包括目標物T6的場景來進行影像擷取，而產生一張目標物影像。在本範例實施例中，目標物T6的場景立體模型已預先建立，需要一張目標物影像用來判別使用者透過顯示器110所觀看到的場景資訊即可。處理裝置140可利用使用者影像、目標物影像來進行圖6B的流程。

請參照圖6B，在本範例實施例中，處理裝置140可取得使用者影像（步驟S602A），利用使用者影像來計算視線向量（步驟S604A）。此外，處理裝置140取得目標物影像（步驟S602B）以及取得預先所儲存的場景空間座標（即，立體模型，步驟S604B）。接著，開始進行座標轉換（C6）。詳細來說，處理裝置140可利用方程式(3)來進行視野角度轉換（步驟S606）：

(3) 其中

為視線向量，

為使用者影像的人眼位置相對於影像中心點的偏移量，

為校正後的視線向量，

、

、

、

、

、

、

皆是預先儲存於處理裝置140的常數，其關聯於影像感測器620A、620B以及目標物T6的位置，並且可經由多個訓練視線向量、偏移量以及校正後的視線向量來估算而出。

處理器140計算出校正後的視線向量後，可如前述範例實施例，進行使用者U6對於顯示器110的觀看分析（步驟S608），而處理裝置140可根據目標物影像進行影像辨識（步驟S610），估算出以使用者U6的視線所觀看到的場景內容。處理裝置140將計算目標物T6的相關資訊於顯示器110上的呈現方式，據以顯示相關資訊（步驟S612）。上述步驟S608～S612的細節請參照圖3B的類似相關說明，於此不再贅述。

圖7A是根據本揭露之一實施例所繪示的顯示系統的配置示意圖，圖7B是根據本揭露一範例實施例所繪示的建立視覺轉換模型的流程圖，其可利用機器學習的方式來預先建立視覺轉換模型，除了可整合不同人的觀看行為差異外，更可加速整體資訊顯示流程。

請先參照圖7A，在本範例實施例中，第一資訊擷取裝置120可更用以判別使用者的視線資訊，其可以實作為兩個影像感測器720A、720B，針對使用者U7來進行影像擷取，以產生使用者影像。第二資訊擷取裝置130是用以判別使用者透過顯示器110所觀看到的場景資訊，其可以實作為兩個影像感測器730A、730B，針對包括目標物T7的場景來進行影像擷取，以產生目標物影像。

必須說明的是，本範例實施例是為模型訓練階段，處理裝置140可利用使用者影像以及目標物影像來產生整個場域包括使用者以及目標物的可能所在位置的全域影像，其可以表示成I_S 。接著，假設使用者的人眼位置可以表示為

，人眼所視位置為

而視線向量可以表示為

，則處理裝置140可以預先建立全域影像

與使用者視野

間的關係

，使用機器學習輸入人眼位置

以及視線向量

來訓練視覺轉換模型，並且儲存視覺轉換模型。

請同時參照圖7A以及圖7B，在此模型訓練階段時，處理裝置140可取得使用者影像（步驟S702），以計算人眼位置（步驟S704），並且計算顯示器110上的關注點G（步驟S706）。接著，處理裝置140將會標記人眼視線範圍

（步驟S708），並且利用深度神經網路（DNN）、支持向量機（SVM）等模型來進行機器學習ML，以產生轉換模型（步驟S710）。本領域具通常知識者應明瞭，在進行機器學習時需要大量的訓練資料以精確地建立模型，因此處理裝置140將會不斷地進行步驟S702~步驟S708，也就是採集多個不同的訓練人眼位置及其所對應的訓練關注點以及訓練人眼視線範圍，以進行機器學習ML。在建立完轉換模型後，在使用階段時，處理裝置140只要是取得到使用者的人眼位置，並且輸入至轉換模型中，即可快速地得到使用者視野。

圖8A是根據本揭露之一實施例所繪示的顯示系統的配置示意圖，圖8B是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。在本範例實施例中，可以是藉由包括使用者以及目標物的全域影像來建立整個場域的立體資訊。

請先參照圖8A，在本範例實施例中，第一資訊擷取裝置120可以實作為兩個影像感測器820A、820B，第二資訊擷取裝置120可以實作為兩個影像感測器830A、830B，其中影像感測器820A、820B、830A以及830B可例如是設置於場域的上方四個角落。處理裝置140可根據影像感測器820A、820B、830A以及830B所擷取到的影像以例如是拼接的方式來產生整個場域包括使用者U8以及目標物T8的全域影像I_S ，並且利用全域影像I_S 來進行圖8B的流程。

請同時參照圖8A以及圖8B，在本範例實施例中，處理裝置140在取得全域影像I_S （步驟S802）後，可針對全域影像I_S 進行座標轉換（C8），以建立立體全域模型（步驟S804），例如以世界座標系統來表示。接著，類似於前述的範例實施例，處理裝置140建立立體全域模型後，可取得人眼視線資訊（步驟S806A）以及立體場景校正資訊（步驟S806B），從而進行使用者U8對於顯示器110的觀看分析（步驟S808），而處理裝置140可根據使用者視線來利用全域影像I_S 進行目標物T8的影像辨識（步驟S810），取得以使用者U8的視線所觀看到的場景內容。接著，處理裝置140可搭配立體場景校正資訊，來計算目標物T8的相關資訊於顯示器110上的呈現方式，據以顯示相關資訊（步驟S812）。相關說明請參照前述的範例實施例的相關描述，於此不再贅述。

圖9A是根據本揭露之一實施例所繪示的顯示系統的配置示意圖，圖9B是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。在本範例實施例中，可以是藉由特徵點F來做為標靶，以修正以及動態地整合兩個座標系統。

請先參照圖9A，在本範例實施例中，第一資訊擷取裝置120可以實作為三個紅外線感測器920A、920B、920C，第二資訊擷取裝置120可以實作為兩個紅外線影像感測器930A、930B以及兩個影像感測器930C、930D，其中紅外線感測器920A、920B、930A以及930B例如是設置於場域的上方四個角落，而影像感測器920C、930C、930D可以是設置於顯示器110上。顯示器110上更包括標靶F，可視為特徵點來做為座標轉換的依據。處理裝置140可根據紅外線感測器920A、920B、930A以及930B所擷取到的紅外線影像以例如是拼接的方式來產生整個場域包括使用者U9以及目標物T9的全域影像I_S ’（以下稱為第一全域影像），並且利用全域影像I_S ’來進行圖9B的流程。

請參照圖9B，在本範例實施例中，處理裝置140在取得第一全域影像I_S ’（步驟S902）後，可針對第一全域影像I_S ’進行座標轉換（C9）。處理裝置140將根據目標物影像以及使用者影像來建立具有次世界座標的第二全域影像I_S ’’（步驟S904），並且以標靶F來修正第一全域影像I_S ’與次世界座標的第二全域影像I_S ’’來建立立體全域模型（步驟S905）。接著，類似於前述的範例實施例，處理裝置140建立立體全域模型後，可取得人眼視線資訊（步驟S906A）以及立體場景校正資訊（步驟S906B），從而進行使用者U9對於顯示器110的觀看分析（步驟S908），而處理裝置140可根據使用者視線來利用全域影像I_S 進行目標物T9的影像辨識（步驟S910），取得以使用者U9的視線所觀看到的場景內容。接著，處理裝置140可搭配立體場景校正資訊，來計算目標物T9的相關資訊於顯示器110上的呈現方式，據以顯示相關資訊（步驟S912）。相關說明請參照前述的範例實施例的相關描述，於此不再贅述。

本發明一實施例所提出的資訊顯示方法及其顯示系統，可根據使用者的位置資訊以及目標物的位置資訊，進行座標轉換，以產生使用者與目標物之間的融合資訊，據以將目標物的相關資訊顯示於顯示器。使用者的視野與顯示器上的顯示資訊可達到良好的匹配，以提升使用者舒適的觀看體驗。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍及其均等範圍所界定者為準。

100‧‧‧顯示系統110‧‧‧顯示器120‧‧‧第一資訊擷取裝置130‧‧‧第二資訊擷取裝置140‧‧‧處理裝置S202～S208、S302A～S312、S402A～S412、S502A～S512、S602A～S612、S702～S710、ML、S802A～S812‧‧‧步驟C3～C8‧‧‧座標轉換U3～U9‧‧‧使用者T3～T9‧‧‧目標物T5’‧‧‧目標物ImgU3‧‧‧使用者影像ImgT3‧‧‧目標物影像320A、320B、330A、330B、420A、420B、430A、430B、520A、520B、530A、530B、620A、620B、630、730A、730B、820A、820B、830A、830B、930C、930D、920C‧‧‧影像感測器920A、920B、930A、930B‧‧‧紅外線感測器R‧‧‧人眼視線範圍I_S‧‧‧全域影像I_S’‧‧‧第一全域影像I_S’’‧‧‧第二全域影像I_U‧‧‧使用者視野F‧‧‧標靶G‧‧‧關注點

圖1為根據本揭露一範例實施例所繪示的顯示系統的示意圖。圖2是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。圖3A是根據本揭露之一實施例所繪示的顯示系統的配置示意圖。圖3B是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。圖4A是根據本揭露之一實施例所繪示的顯示系統的配置示意圖。圖4B是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。圖5A是根據本揭露之一實施例所繪示的顯示系統的配置示意圖。圖5B是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。圖6A是根據本揭露之一實施例所繪示的顯示系統的配置示意圖。圖6B是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。圖7A是根據本揭露之一實施例所繪示的顯示系統的配置示意圖。圖7B是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。圖8A是根據本揭露之一實施例所繪示的顯示系統的配置示意圖。圖8B是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。圖9A是根據本揭露之一實施例所繪示的顯示系統的配置示意圖。圖9B是根據本揭露一範例實施例所繪示的資訊顯示方法的流程圖。

S202~S208‧‧‧步驟

Claims

一種顯示系統，包括：可透光的顯示器；至少一第一資訊擷取裝置，用以擷取使用者的位置資訊；至少一第二資訊擷取裝置，用以擷取目標物的位置資訊；以及處理裝置，連接於該顯示器、所述第一資訊擷取裝置以及所述第二資訊擷取裝置，用以：根據該使用者的該位置資訊以及該目標物的該位置資訊，進行座標轉換，以產生該使用者的人眼視線資訊與該目標物之間的融合資訊；以及根據該融合資訊，顯示該目標物的相關資訊於該顯示器。
如申請專利範圍第1項所述的顯示系統，其中：該使用者的該位置資訊具有該使用者相對於所述第一資訊擷取裝置的使用者座標，該目標物的該位置資訊具有該目標物相對於所述第二資訊擷取裝置的目標物座標；該處理裝置轉換該使用者座標以及該目標物座標至相同的座標系統。
如申請專利範圍第2項所述的顯示系統，其中：所述第二資訊擷取裝置包括影像感測器，用以擷取該目標物的目標物影像；該處理裝置根據該座標轉換的結果產生該使用者的該人眼視線資訊以及該目標物所在場景的立體場景校正資訊；該處理裝置根據該人眼視線資訊計算出該使用者於該顯示器上的關注點，並且根據該目標物影像進行該目標物的影像辨識，以產生影像辨識結果；以及該處理裝置根據該關注點、該影像辨識結果以及該立體場景校正資訊，產生該融合資訊。
如申請專利範圍第3項所述的顯示系統，其中：該相關資訊為平面資訊；該融合資訊為根據該關注點、該影像辨識結果以及該立體場景校正資訊所設定該相關資訊於該顯示器上的顯示位置；以及該處理器顯示該相關資訊於該顯示位置。
如申請專利範圍第3項所述的顯示系統，其中：該相關資訊為立體資訊，該處理裝置更預先建立該相關資訊的立體模型，該融合資訊為根據該立體模型、該關注點、該影像辨識結果以及該立體場景校正資訊所設定該相關資訊於該顯示器上的顯示位置；以及該處理器顯示該相關資訊於該顯示位置。
如申請專利範圍第1項所述的顯示系統，其中：所述第一資訊擷取裝置為至少二個影像感測器，用以分別擷取該使用者的使用者影像；所述第二資訊擷取裝置為至少二個影像感測器，以分別擷取該目標物的目標物影像；所述第一資訊擷取裝置以及所述第二資訊擷取裝置設置於該顯示器上；該處理裝置轉換所述使用者影像的影像座標至世界座標系統，以產生使用者世界座標，據以計算該人眼視線資訊；該處理裝置轉換所述目標物影像的影像座標至該世界座標系統，以產生目標物世界座標，據以計算立體場景校正資訊；以及該處理裝置根據該人眼視線資訊以及該立體場景校正資訊，計算該融合資訊。
如申請專利範圍第1項所述的顯示系統，其中：所述第一資訊擷取裝置為定位器以及接收器，其中該接收器設置於該顯示器上，該定位器為該使用者的手持裝置或穿戴裝置，該接收器接收自該定位器所傳送該使用者於世界座標系統的使用者世界座標；所述第二資訊擷取裝置為至少二個影像感測器，用以分別擷取該目標物的目標物影像；該處理裝置根據該使用者世界座標，計算該人眼視線資訊；該處理裝置轉換所述目標物影像的影像座標至該世界座標系統，以產生目標物世界座標，據以計算立體場景校正資訊；以及該處理裝置根據該人眼視線資訊以及該立體場景校正資訊，計算該融合資訊。
如申請專利範圍第1項所述的顯示系統，其中：所述第一資訊擷取裝置為設置於該顯示器上的觸控元件，以偵測該使用者對於該顯示器的觸控操作；所述第二資訊擷取裝置為至少二個影像感測器，以分別擷取該目標物的目標物影像；該處理裝置根據該觸控操作的位置取得該使用者於世界座標系統的使用者世界座標，據以計算該人眼視線資訊；該處理裝置轉換所述目標物影像的多個影像座標至該世界座標系統，以產生多個目標物世界座標，據以計算立體場景校正資訊；以及該處理裝置根據該人眼視線資訊以及該立體場景校正資訊，計算該融合資訊。
如申請專利範圍第3項所述的顯示系統，其中：該使用者位於具有第一折射率的第一介質中，該目標物位於具有第二折射率的第二介質中，該處理裝置更根據該第一折射率以及該第二折射率校正該人眼視線資訊，以產生校正後的人眼視線資訊，以及該處理裝置根據該校正後的人眼視線資訊以及該立體場景校正資訊，計算該融合資訊。
如申請專利範圍第1項所述的顯示系統，其中：該處理裝置預先儲存具有該目標物的場景的空間座標；所述第一資訊擷取裝置為至少二個影像感測器，以分別擷取該使用者的使用者影像；所述第二資訊擷取裝置為至少一個影像感測器，以分別擷取該目標物的目標物影像；該處理裝置根據所述使用者影像，計算視線向量；以及該處理裝置根據該視線向量以及該場景的該空間座標進行該使用者的視野角度轉換，據以產生該融合資訊。
如申請專利範圍第10項所述的顯示系統，其中：該處理裝置根據該使用者影像的人眼位置相對於影像中心點的偏移量，針對該視線向量進行校正，以產生校正後的視線向量，進而產生該融合資訊。
如申請專利範圍第10項所述的顯示系統，其中所述第一資訊擷取裝置以及所述第二資訊擷取裝置為多個影像感測器，以擷取可拼接成全域影像的多張影像，其中該全域影像包括該目標物的影像以及該使用者的影像；該處理裝置儲存以機器學習方法所訓練的轉換模型；該處理裝置輸入該使用者影像的人眼位置以及視線向量至該轉換模型，以產生該使用者的視野角度轉換，據以產生該融合資訊。
如申請專利範圍第12項所述的顯示系統，其中：所述第一資訊擷取裝置以及所述第二資訊擷取裝置為多個影像感測器，以擷取可拼接成全域影像的多張影像，其中該全域影像包括該目標物的影像以及該使用者的影像；以及該處理裝置更計算該使用者的多個訓練人眼位置以及於該顯示器上的多個訓練關注點，並且標記多個訓練人眼視線範圍，以機器學習演算法訓練該轉換模型。
如申請專利範圍第1項所述的顯示系統，其中：所述第一資訊擷取裝置以及所述第二資訊擷取裝置為多個影像感測器，以擷取可拼接成全域影像的多張影像，其中該全域影像包括該目標物的影像以及該使用者的影像；該處理裝置根據該全域影像進行座標轉換，以建立具有世界座標系統的立體全域模型；該處理裝置根據該立體全域模型計算該人眼視線資訊以及立體場景校正資訊，從而計算該融合資訊。
如申請專利範圍第1項所述的顯示系統，其中：所述第一資訊擷取裝置以及所述第二資訊擷取裝置包括位於場域上方的多個紅外線感測器，以產生第一全域影像；所述第一資訊擷取裝置以及所述第二資訊擷取裝置更包括設置於該顯示器的多個影像感測器，用以產生使用者影像以及目標物影像；顯示器上更包括標靶；該處理裝置根據該使用者影像以及該目標物影像，產生第二全域影像；該處理裝置根據該標靶、該第一全域影像以及該第二全域影像，建立具有世界座標系統的立體全域模型；該處理裝置根據該立體全域模型計算該人眼視線資訊以及立體場景校正資訊，從而計算該融合資訊。
一種資訊顯示方法，適用於具有可透光的顯示器、至少一第一資訊擷取裝置、至少一第二資訊擷取裝置以及處理裝置的顯示系統，該方法包括：利用所述第一資訊擷取裝置擷取使用者的位置資訊；利用所述第二資訊擷取裝置擷取目標物的位置資訊；根據該使用者的該位置資訊以及該目標物的該位置資訊，進行座標轉換，以產生該使用者的人眼視線資訊與該目標物之間的融合資訊；以及根據該融合資訊，顯示該目標物的相關資訊於該顯示器。
如申請專利範圍第16項所述的資訊顯示方法，其中該使用者的該位置資訊具有該使用者相對於所述第一資訊擷取裝置的使用者座標，該目標物的該位置資訊具有該目標物相對於所述第二資訊擷取裝置的目標物座標，而根據該使用者的該位置資訊以及該目標物的該位置資訊，進行座標轉換的步驟包括：轉換該使用者座標以及該目標物座標至相同的座標系統。
如申請專利範圍第17項所述的資訊顯示方法，其中所述第二資訊擷取裝置包括影像感測器，用以擷取該目標物的目標物影像，而產生該使用者與該目標物之間的該融合資訊的步驟包括：根據該座標轉換的結果產生該使用者的該人眼視線資訊以及該目標物所在場景的立體場景校正資訊；根據該人眼視線資訊計算出該顯示器上該使用者的關注點，並且根據該目標物影像進行該目標物的影像辨識，以產生影像辨識結果；以及根據該關注點、該影像辨識結果以及該立體場景校正資訊，產生該融合資訊。
一種顯示系統，連接於至少一第一資訊擷取裝置以及至少一第二資訊擷取裝置，包括：可透光的顯示器；處理裝置，用以：取得所述第一資訊擷取裝置所擷取的使用者的位置資訊；取得所述第二資訊擷取裝置所擷取的目標物的位置資訊；根據該使用者的該位置資訊以及該目標物的該位置資訊，進行座標轉換，以產生該使用者的人眼視線資訊與該目標物之間的融合資訊；以及根據該融合資訊，顯示該目標物的相關資訊於該顯示器。
如申請專利範圍第19項所述的顯示系統，其中該使用者的該位置資訊具有該使用者相對於所述第一資訊擷取裝置的使用者座標，該目標物的該位置資訊具有該目標物相對於所述第二資訊擷取裝置的目標物座標，而該處理裝置轉換該使用者座標以及該目標物座標至相同的座標系統。