[go: up one dir, main page]

TWI610097B - 電子系統、可攜式顯示裝置及導引裝置 - Google Patents

電子系統、可攜式顯示裝置及導引裝置 Download PDF

Info

Publication number
TWI610097B
TWI610097B TW105126180A TW105126180A TWI610097B TW I610097 B TWI610097 B TW I610097B TW 105126180 A TW105126180 A TW 105126180A TW 105126180 A TW105126180 A TW 105126180A TW I610097 B TWI610097 B TW I610097B
Authority
TW
Taiwan
Prior art keywords
guiding
information
unit
display device
viewing area
Prior art date
Application number
TW105126180A
Other languages
English (en)
Other versions
TW201708883A (zh
Inventor
楊豐愷
盧世珍
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW201708883A publication Critical patent/TW201708883A/zh
Application granted granted Critical
Publication of TWI610097B publication Critical patent/TWI610097B/zh

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/12—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations different stations being capable of presenting different information simultaneously
    • G09B5/125—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations different stations being capable of presenting different information simultaneously the stations being mobile
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/14—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations with provision for individual teacher-student communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Software Systems (AREA)
  • Educational Administration (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本發明提供一種電子系統，其包含有一可攜式顯示裝置以及一導引裝置。可攜式顯示裝置包含有一第一顯示單元用來根據一視野範圍顯示複數個場景之複數個影像，一控制單元用來產生被顯示於第一顯示單元上之複數個影像中之一影像之一目前觀看區域之資訊，以及一第一通訊單元用來輸出目前觀看區域之資訊。導引裝置包含有一第二通訊單元用來接收來自於可攜式顯示裝置之目前觀看區域之資訊，以及一處理單元用來根據目前觀看區域之資訊產生一導引資訊。其中第二通訊單元傳送導引資訊至第一通訊單元以及控制單元根據導引資訊執行一導引任務。

Description

電子系統、可攜式顯示裝置及導引裝置
本發明係指一種電子系統、可攜式顯示裝置及導引裝置，尤指一種可實現電子裝置間之即時互動的電子系統、可攜式顯示裝置及導引裝置。
頭戴式顯示裝置（head-mounted display，HMD）為一種可被穿戴於使用者頭部的顯示裝置，其可在使用者眼睛附近顯示影像。例如，如第1圖所示，一使用者戴著正播放立體影像（或是非立體影像或是其他的電腦生成內容）之頭戴式顯示裝置，以體驗虛擬實境的感受。然而，當使用者在使用頭戴式顯示裝置的當下，旁人並無法得知使用者目前正在看什麼，如此一來，其他人便無法與該使用者互動，同時也無法提供任何的指導或是建議給該使用者。因此，習知技術實有改進之必要。
因此，本發明之主要目的即在於提供一種電子系統、可攜式顯示裝置及導引裝置，以實現電子裝置間之即時互動。
本發明提供一種電子系統，包含有︰一可攜式顯示裝置，包含有︰一第一顯示單元，用來根據一視野範圍顯示複數個場景之複數個影像；一控制單元，用來產生被顯示於該第一顯示單元上之該複數個影像中之一影像之一目前觀看區域之資訊；以及一第一通訊單元，用來輸出該目前觀看區域之資訊；以及一導引裝置，包含有︰一第二通訊單元，用來接收來自於該可攜式顯示裝置之該目前觀看區域之資訊；以及一處理單元，用來根據該目前觀看區域之資訊產生一導引資訊；其中，該第二通訊單元傳送該導引資訊至該第一通訊單元，以及該控制單元根據該導引資訊執行一導引任務。
本發明另提供一種可攜式顯示裝置，包含有︰一第一顯示單元，用來根據一視野範圍顯示複數個場景之複數個影像；一控制單元，用來產生被顯示於該第一顯示單元上之該複數個影像中之一影像之一目前觀看區域之資訊；以及一通訊單元，用來傳送該目前觀看區域之資訊至一導引裝置。
本發明另提供一種導引裝置，包含有︰一通訊單元，用來接收被顯示一可攜式顯示裝置上之複數個影像中之一影像之一目前觀看區域之資訊；以及一處理單元，用來根據該目前觀看區域之資訊產生相關於一導引任務之一導引資訊；其中，該通訊單元傳送該導引資訊至該可攜式顯示裝置，以導引該可攜式顯示裝置執行該導引任務。
請參考第2圖，第2圖為本發明實施例一電子系統2之示意圖。如第2圖所示，電子系統2包含有一可攜式顯示裝置10以及一導引裝置20。電子系統2可應用於展覽會導覽、教育用途、虛擬場景漫遊及購物導覽，但不以此為限。可攜式顯示裝置10可以是一頭戴式顯示裝置(head-mounted display，HMD)、一穿戴式電子裝置或其他具有顯示功能之電子裝置，但不以此為限。導引裝置20可以是一智慧型手機、一個人數位助理(PDA)、一個人電腦、一筆記型電腦或一平板電腦，但不以此為限。
可攜式顯示裝置10包含有一通訊單元102、一顯示單元104、一控制單元106、一指示單元108以及一儲存單元110。導引裝置20包含有一通訊單元202、一顯示單元204、一處理單元206以及一儲存單元208。通訊單元102以及通訊單元202可藉由有線或無線連結方式相互通訊。舉例來說，通訊單元102可藉由無線通訊技術來與通訊單元202進行同步及/或配對處理。例如，所述無線連通 訊技術可以是藍芽、遠場通訊(near field communication，NFC)、無線區域網路(Wi-Fi)或是其他任何無線通訊技術。顯示單元104用來根據一使用者之一視野範圍(field of view，FOV)依次顯示複數個場景之複數個影像。控制單元106用來產生該複數個場景之複數個影像中之一影像之一目前觀看區域之資訊。例如控制單元106可產生目前正被顯示於顯示單元104之一影像之一目前觀看區域之資訊。所述影像之目前觀看區域之資訊可以是有關於正使用可攜式顯示裝置10之使用者之目前視野範圍、顯示單元104之目前視野範圍、依據使用者之目前頭部位置之影像可視範圍、使用者之專注視野範圍之當中之至少其中一種。所述影像之目前觀看區域之資訊也可以是相關於可攜式顯示裝置10之慣性測量元件(inertial measurement unit，IMU)數據或其他可能的數據(例如速度、方位、重力)。所述影像之目前觀看區域之資訊可以表示使用者正於顯示單元104上所觀賞到的影像內容(或影像區域)。所述影像之目前觀看區域之資訊可由通訊單元102傳送至通訊單元202。通訊單元202用來接收由可攜式顯示裝置10所傳送出之該影像之目前觀看區域之資訊。處理單元206用來根據該目前觀看區域之資訊產生一導引資訊。進一步地，導引裝置20藉由提供導引資訊至可攜式顯示裝置10以導引可攜式顯示裝置10執行一導引任務。
進一步說明電子系統2之運作方式。在一實施例中，使用者A(可稱為主駕駛(pilot)使用者)使用可攜式顯示裝置10來體驗虛擬實境場景。例如，可攜式顯示裝置10可為一頭戴式顯示裝置。使用者B(可稱為副駕駛(co-pilot)使用者)使用導引裝置20來體驗更大或是更為寬廣視野範圍的影像觀賞而能藉此便於提供導引或是建議予使用者A。可攜式顯示裝置10之儲存單元110以及導引裝置20之儲存單元208可取得並儲存相關影像。也就是說，可攜式顯示裝置10之儲存單元110及導引裝置20之儲存單元208皆儲存了同樣的影像。舉例來說，若 一影像IMG原先係被儲存於一雲端伺服器，則可攜式顯示裝置10與導引裝置20可分別從雲端伺服器取得影像IMG。若影像IMG原先係被儲存於可攜式顯示裝置10之中，則導引裝置20可從可攜式顯示裝置10取得影像IMG。若影像IMG原先係被儲存於導引裝置20之中，則可攜式顯示裝置10可從導引裝置20取得影像IMG。換言之，可攜式顯示裝置10及導引裝置20會先儲存有相同的影像。
影像IMG可為一廣角影像(wide-angle image)、一全景影像(panoramic image)、一相片影像(photograph image)或是一即時電腦產生之顯示影像(real-time computer generated image)。可攜式顯示裝置10可被穿戴於使用者A之頭部。顯示單元104可以依據使用者A之視野範圍(FOV)來顯示影像IMG。例如，顯示單元104可以在虛擬實境運作期間依據使用者A目前頭部的位置來顯示出顯示影像IMG之一可視區域供使用者觀賞。如第3圖所示，使用者A可以在顯示單元104上看到影像IMG中之一特定觀看區域(即所述目前觀看區域)。所述目前觀看區域可對應於使用者A當前的頭部位置。因此，可攜式顯示裝置10可以將影像IMG之目前觀看區域的資訊提供予導引裝置20，以通知導引裝置20正在使用可攜式顯示裝置10的使用者A目前透過顯示單元104所看到的畫面內容為何。
由於導引裝置20之儲存單元208與可攜式顯示裝置10之儲存單元110儲存了相同的影像，導引裝置20之顯示單元204將可顯示該些場景與影像讓使用者B觀賞。例如，顯示單元204可顯示該些影像之一第一觀看區給使用者B觀賞。因此使用者B可以在顯示單元204上看到該些影像之特定觀看區域(即第一觀看區域)。在一實施例中，被顯示於顯示單元204上之該些影像之第一觀看區域的大小可大於被顯示於顯示單元104上之影像之目前觀看區域的大小。
例如，導引裝置20之顯示單元204可顯示影像IMG之所有區域讓使用者B觀賞。如第4圖所示，影像IMG為一廣角影像，使用者B可透過顯示單元204看到影像IMG之所有區域。也就是說，被顯示於顯示單元204上之影像IMG之第一觀看區域即為影像IMG之所有區域。在此情況下，使用者B可看到全景場景，如此一來，於穿戴著可攜式顯示裝置10之使用者A正在觀看如第3圖所示之影像IMG之時，使用者B可提供導引或是建議給使用者A，以促使使用者A進行相關操作。更詳細而言，通訊單元202首先可與通訊單元102進行同步與配對處理。處理單元206可透過通訊單元202來要求可攜式顯示裝置10回應其目前的狀況。接著，通訊單元202可自可攜式顯示裝置10之通訊單元102接收到影像IMG之目前觀看區域之資訊。根據所接到之影像IMG之目前觀看區域之資訊，導引裝置20可以知道使用者A目前正在觀看什麼(即正在觀看影像IMG之中的目前觀看區域)。藉此，導引裝置20可據以產生導引資訊，進而引導可攜式顯示裝置10去執行一導引任務。
在一實施例中，請繼續參考第4圖。如第4圖所示，處理單元206可建立一矩形框形式之醒目指示402來強調顯示可攜式顯示裝置10的目前觀看區域。也就是說，第4圖中之醒目指示402所圍起來的區域係同於第3圖中之目前觀看區域。因此，使用者B將可知道使用者A目前所看到的影像區域。進一步地，若使用者B想要指引使用者A將其頭部向右轉來觀看影像IMG之一目標位置P1，也就是說，導引任務為：將頭部向右轉，以看到目標位置影像P1處。處理單元206可產生一導引資訊，其中該導引資訊包含有與導引任務有關之一導引指令。導引指令可包含有導引其將頭部向右轉以觀看影像IMG之目標位置P1處。接著，通訊單元202將導引資訊傳送至通訊單元102。控制單元106可從通訊單元102 取得導引資訊，並根據導引資訊執行導引任務。例如，控制單元106可控制顯示單元104去顯示出一輔助指示，以提醒用者A將其頭部向右轉，進而實現相應導引任務。如第5圖所示，顯示單元104顯示一方向箭頭指示502。當使用者A看見方向箭頭指示502時，使用者A即會將其頭部朝右邊轉來看向目標位置P1處。進一步地，方向箭頭指示502可以各種閃爍的形式呈現以達到吸引使用者A注意的目的。
此外，控制單元106可控制指示單元108去執行一指示功能來通知使用者A。指示單元108可以是一發光裝置、一喇叭或一震動裝置，用以發出特定燈號、聲音、震動或其他指示訊號來通知使用者A。例如，指示單元108輸出一語音訊號，藉以人聲念出“將您的頭部往右轉”等字。
在一實施例中，當由可攜式顯示裝置10取得影像IMG之目前觀看區域的資訊之後，導引裝置20可以對儲存於儲存單元208中之影像IMG進行編輯。例如，如第6圖所示，處理單元206可加入一矩形框形式之一醒目指示602至影像IMG中，來強調顯示出可攜式顯示裝置10的目前觀看區域。在此情況下，使用者B即可知道使用者A目前所看到的影像區域為何。進一步地，若使用者B想要導引使用者A，讓使用者將其頭部向右轉來觀看影像IMG之目標位置P1。也就是說，導引任務為將導引使用者A將頭部向右轉，以看至目標位置影像P1處。導引裝置20可增加一物件至影像IMG中之一座標位置。例如，導引裝置2可增加圖示(例如錨點圖示、標點圖示、符號圖示)、符號、文字等至影像IMG中，以產生一編輯後影像IMG’。例如，處理單元206建立一註解對話框604並將註解對話框604置於目標位置P1，其中註解對話框604中包含有“來~看這裡”等文字。編輯後影像IMG’及/或與編輯後影像IMG’有關的資訊可被包含在傳送可攜式顯示 裝置10之導引資訊中。
進一步地，處理單元206可產生一導引資訊。其中該導引資訊包含有與編輯後影像IMG’有關的資訊及一導引指令，或是該導引資訊包含有編輯後影像IMG’及一導引指令。與編輯後影像IMG’有關的資訊可包含有增加含有“來~看這裡”等文字之註解對話框至目標位置P1的指示。導引指令可包含有導引使用者A將其頭部向右轉以觀看影像IMG之目標位置P1處。接著，通訊單元202將導引資訊傳送至可攜式顯示裝置10。
在一實施例中，當可攜式顯示裝置10收到包含有與編輯後影像IMG’有關的資訊與導引指令之導引資訊或是收到包含有編輯後影像IMG’與導引指令之導引資訊時，控制單元106可根據由導引裝置20所傳來的導引資訊，對原先儲存在儲存單元110之影像IMG(或是影像IMG之後續影像)進行編輯，以產生一編輯後影像IMG_1。控制單元106可增加一包含有“來~看這裡”等文字之一註解對話框至原先儲存在儲存單元110之影像IMG中之目標位置P1處，以產生一編輯後影像IMG_1。顯示單元104可依據使用者A之視野範圍顯示編輯後影像IMG_1。
進一步地，控制單元106可比對使用者A之目前視野範圍(current FOV)與被增加註解對話框之目標位置P1，以產生一比對結果。控制單元106根據比對結果產生一指示訊號以導引使用者A轉頭看向編輯後影像IMG_1中之目標位置P1處。例如，當比對結果表示目標位置P1係落於使用者之目前視野範圍A右外側，控制單元106產生指示訊號來控制顯示單元104，使顯示單元104顯示出一輔助資訊以提醒使用者A將其頭部向右轉，進而實現相應導引任務。例如，如 第7圖所示，顯示單元104可於編輯後影像IMG_1之目前觀看區域中顯示一方向箭頭指示，以提醒使用者A將其頭部向右轉。當使用者A看見方向箭頭指示時，使用者A就會將其頭部朝右邊轉，並看到包含有“來~看這裡”等文字之註解對話框(即位於編輯後影像IMG_1中之目標位置P1處之註解對話框)。同樣地，控制單元106也可控制指示單元108去執行相應指示功能來通知使用者A將其頭部向右轉來看註解對話框。換言之，當使用者A正觀看顯示於顯示單元104之虛擬實境影像時，使用者B可使用導引裝置20來對使用者A提供相關導引或是建議指示。如此一來，使用者B可以即時地與使用者A進行互動並提供相關導引或是相關建議指示。
在一實施例中，當可攜式顯示裝置10收到包含有與編輯後影像IMG’有關的資訊與導引指令之導引資訊或是收到包含有編輯後影像IMG’與導引指令之導引資訊後，控制單元106可根據導引資訊建立一新圖層，以描繪出包含有“來~看這裡”等文字之一註解對話框至目標位置P1處。顯示單元104可顯示多個圖層(例如包含有影像IMG(或是影像IMG之後續影像)之原始圖層、包含有位於目標位置P1處之“來~看這裡”等文字之註解對話框之新增圖層)，如此一來，原來儲存在儲存單元110之影像IMG就不需被修改而不會受損壞。同樣地，控制單元106也可控制指示單元108去執行一指示功能，以通知使用者A轉頭看向影像IMG(或是影像IMG之後續影像)之目標位置影像P1處。
在一實施例中，當可攜式顯示裝置10收到包含有編輯後影像IMG’與導引指令之導引資訊時，原先存放於儲存單元110之影像IMG(或是影像IMG之後續影像)可被置換成導引裝置20所編輯過之編輯後影像IMG’。也就是說，編輯後影像IMG’被用來取代原先存放於儲存單元110之影像IMG(或是影像IMG之 後續影像)。接著，控制單元106可控制顯示單元104顯示由導引裝置20所取得之編輯後影像IMG’。同樣地，控制單元106產生一指示訊號來導引使用者A轉頭看向編輯後影像IMG’中之目標位置P1處。
在一實施例中，若使用者B想要導引使用者A轉頭看至影像IMG中之一目標位置P1處，也就是說，導引任務為：轉動頭部以看至影像IMG中之目標位置P1處。處理單元206從可攜式顯示裝置10取得影像IMG之目前觀看區域之資訊後，處理單元206會判斷目標位置P1是否位於影像IMG之目前觀看區域之範圍內。若是的話，導引裝置20可不需提供導引資訊予可攜式顯示裝置10。若否的話，這表示顯示單元104目前並無顯示出影像IMG中之目標位置P1處，因此使用者A現在便無法在顯示單元104上影像IMG中之目標位置P1處。此時，導引裝置20可進一步提供導引資訊以引導可攜式顯示裝置10執行相應導引任務，來導引使用者A轉動頭部。
在一實施例中，一顧客(可稱為主駕駛使用者)在可攜式顯示裝置10使用一真實不動產應用軟體。一銷售員(可稱為副駕駛使用者)在導引裝置20使用相同之真實不動產應用軟體。在一非co-pilot模式中，當顧客於可攜式顯示裝置10上執行真實不動產應用軟體來觀賞某一房屋物件之客廳區域時，銷售員並無法得知顧客目前正在看什麼，因而也無法提供任何有益的建議或導引給顧客。
在一co-pilot模式中，可攜式顯示裝置10可與導引裝置20進行同步與配對處理。可攜式顯示裝置10之儲存單元110以及導引裝置20之儲存單元208也都儲存了相同的廣角影像。若顧客透過可攜式顯示裝置10之顯示單元104正在觀賞一廣角影像中之一房屋之一客廳時，可攜式顯示裝置10可以提供目前觀看區 域(有關於房屋之客廳的區域)的資訊提供予導引裝置20。於接收到目前觀看區域之資訊，導引裝置20可根據所收到之目前觀看區域的資訊以矩形框形式之醒目標示來強調顯示該廣角影像中與有關於房屋之客廳的區域。如此一來，銷售員便可得知該顧客正在觀賞房屋之客廳區域。
若銷售員想要指引顧客將其頭部向右轉來觀看房屋之浴室區域時，銷售員可經由導引裝置20之使用者介面在該廣角影像之目標位置P1處設立一手掌狀指標，並於該廣角影像之目標位置P2處設立一註解對話框(註解對話框中包含有“這是浴室”等文字)，以產生一編輯後廣角影像。導引裝置20將編輯後廣角影像傳送予可攜式顯示裝置10。當可攜式顯示裝置10接收到包含有新增指標與註解對話框之編輯後廣角影像後，原先存放於可攜式顯示裝置之廣角影像可被置換成包含有新增指標與註解對話框之編輯後廣角影像。如第7圖示，當可攜式顯示裝置10之顯示單元104顯示所收到之編輯後廣角影像時，顧客將會看到相應之手掌狀指標與包含有“這是浴室”等文字之註解對話框。此時，銷售員即成功地導引顧客去看見他/她所選定的目標(即，浴室)。
另一方面，請繼續參考第2圖，可攜式顯示裝置10另包含有一相機單元112。相機單元112用來擷取與可攜式顯示裝置10所在環境有關的複數個輔助影像，其中輔助影像可以是360度全景影像。該些輔助影像可經由通訊單元102被傳送至導引裝置20。處理單元206可根據影像之目前觀看區域之資訊以及該些輔助影像產生導引資訊。因此，電子系統2亦可被應用於擴增實境(augmented reality，AR)應用環境以及混合實境(mixed reality，MR)應用環境。
綜上所述，當主駕駛使用者正在觀賞被顯示於可攜式顯示裝置之顯 示單元上的影像時，副駕駛使用者可以利用導引裝置來提供相關導引及建議給主駕駛使用者以引導主駕駛使用者，進而實現可攜式顯示裝置與導引裝置之間的即時互動。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
2‧‧‧電子系統
10‧‧‧可攜式顯示裝置
102、202‧‧‧通訊單元
104、204‧‧‧顯示單元
106‧‧‧控制單元
108‧‧‧指示單元
110、208‧‧‧儲存單元
112‧‧‧相機單元
20‧‧‧導引裝置
206‧‧‧處理單元
402、602‧‧‧醒目指示
502‧‧‧方向箭頭指示
604‧‧‧註解對話框
IMG‧‧‧影像
P1、P2‧‧‧位置
第1圖為使用者使用一頭戴式顯示裝置於頭部之示意圖。 第2圖為本發明實施例一電子系統之示意圖。 第3圖為本發明實施例一使用者於一可攜式顯示裝置之一顯示單元之視野範圍之示意圖。
第4圖為本發明實施例一使用者於一導引裝置之一顯示單元之視野範圍之示意圖。
第5圖為本發明實施例一使用者於一導引程序中在可攜式顯示裝置之顯示單元之視野範圍之一變化實施例示意圖。
第6圖為本發明實施例一使用者於一導引程序中在導引裝置之顯示單元之視野範圍之示意圖。
第7圖為本發明實施例一使用者於一導引程序中在可攜式顯示裝置之顯示單元之視野範圍之另一變化實施例示意圖。
第8圖為本發明實施例一使用者於使用一真實不動產應用軟體時所顯示畫面之示意圖。
2‧‧‧電子系統
10‧‧‧可攜式顯示裝置
102、202‧‧‧通訊單元
104、204‧‧‧顯示單元
106‧‧‧控制單元
108‧‧‧指示單元
110、208‧‧‧儲存單元
112‧‧‧相機單元
20‧‧‧導引裝置
206‧‧‧處理單元

Claims (22)

  1. 一種電子系統，包含有：一可攜式顯示裝置，包含有：一第一顯示單元，用來根據一視野範圍顯示複數個場景之複數個影像；一控制單元，用來產生被顯示於該第一顯示單元上之該複數個影像中之一影像之一目前觀看區域之資訊；以及一第一通訊單元，用來輸出該目前觀看區域之資訊；以及一導引裝置，包含有：一第二通訊單元，用來接收來自於該可攜式顯示裝置之該目前觀看區域之資訊；以及一處理單元，用來根據該目前觀看區域之資訊產生一導引資訊；其中，該第二通訊單元傳送該導引資訊至該第一通訊單元，以及該控制單元根據該導引資訊執行一導引任務。
  2. 如請求項1所述之電子系統，其中該導引資訊包含有相關於該導引任務之一指令。
  3. 如請求項1所述之電子系統，其中該控制單元控制該第一顯示單元顯示一輔助指示以執行該導引任務。
  4. 如請求項1所述之電子系統，其中該可攜式顯示裝置另包含有：一指示單元，受控於該控制單元，用來執行一指示功能以實現該導引任務。
  5. 如請求項4所述之電子系統，其中該指示單元包含有一發光裝置、一 喇叭以及一震動裝置之至少其中之一。
  6. 如請求項1所述之電子系統，其中該可攜式顯示裝置另包含有：一相機單元，用來擷取與環境有關的複數個輔助影像；其中，該第一通訊單元傳送該複數個輔助影像至該第二通訊單元，以及該處理單元根據該目前觀看區域之資訊以及該複數個輔助影像產生該導引資訊。
  7. 如請求項1所述之電子系統，其中該處理單元另增加一物件至該影像中以產生一編輯後影像，其中該編輯後影像被顯示於該導引裝置之一第二顯示單元上。
  8. 如請求項7所述之電子系統，其中該物件包含有一錨點圖示、一標點圖示、一符號圖示以及一文字之至少其中之一。
  9. 如請求項1所述之電子系統，其中該導引裝置另包含有：一第二顯示單元，用來顯示該複數個場景之該複數個影像之一第一觀看區域；其中，被顯示於該第二顯示單元之該複數個影像之該第一觀看區域大於被顯示於該第一顯示單元之該複數個影像之該影像之該目前觀看區域。
  10. 一種可攜式顯示裝置，包含有：一第一顯示單元，用來根據一視野範圍顯示複數個場景之複數個影像；一控制單元，用來產生被顯示於該第一顯示單元上之該複數個影像中之一影 像之一目前觀看區域之資訊，其中該影像之該目前觀看區域之資訊為使用者正於該第一顯示單元上所觀賞到的影像內容資訊；以及一通訊單元，用來傳送該目前觀看區域之資訊至一導引裝置。
  11. 如請求項10所述之可攜式顯示裝置，其中該通訊單元接收來自於該導引裝置之相關於一導引任務之一導引資訊，以及該控制單元根據該導引資訊執行該導引任務。
  12. 如請求項10所述之可攜式顯示裝置，其中該導引資訊包含有相關於該導引任務之一指令。
  13. 如請求項10所述之可攜式顯示裝置，其中該控制單元控制該第一顯示單元顯示一輔助指示以執行該導引任務。
  14. 如請求項10所述之可攜式顯示裝置，其另包含有：一指示單元，受控於該控制單元，用來執行一指示功能以實現該導引任務。
  15. 如請求項14所述之可攜式顯示裝置，其中該指示單元包含有一發光裝置、一喇叭以及一震動裝置之至少其中之一。
  16. 如請求項10所述之可攜式顯示裝置，其中另包含有：一相機單元，用來擷取與環境有關的複數個輔助影像；其中，該通訊單元傳送該複數個輔助影像至該導引裝置。
  17. 一種導引裝置，包含有：一通訊單元，用來接收被顯示一可攜式顯示裝置上之複數個影像中之一影像之一目前觀看區域之資訊；以及一處理單元，用來根據該目前觀看區域之資訊產生相關於一導引任務之一導引資訊；其中，該通訊單元傳送該導引資訊至該可攜式顯示裝置，以導引該可攜式顯示裝置執行該導引任務。
  18. 如請求項17所述之導引裝置，其中該導引資訊包含有相關於該導引任務之一指令。
  19. 如請求項17所述之導引裝置，其中該通訊單元從該可攜式顯示裝置接收與該可攜式顯示裝置之環境有關的複數個輔助影像，以及該處理單元根據該目前觀看區域之資訊以及該複數個輔助影像產生該導引資訊。
  20. 如請求項17所述之導引裝置，其中該處理單元另增加一物件至該影像中以產生一編輯後影像，其中該編輯後影像被顯示於該導引裝置之一第二顯示單元上。
  21. 如請求項20所述之導引裝置，其中該物件包含有一錨點圖示、一標點圖示、一符號圖示以及一文字之至少其中之一。
  22. 如請求項17所述之導引裝置，其另包含有：一第二顯示單元，用來顯示該複數個影像之一第一觀看區域； 其中，被顯示於該第二顯示單元之該複數個影像之該第一觀看區域大於被顯示於該第一顯示單元之該複數個影像之該影像之該目前觀看區域。
TW105126180A 2015-08-19 2016-08-17 電子系統、可攜式顯示裝置及導引裝置 TWI610097B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201562206856P 2015-08-19 2015-08-19
US62/206,856 2015-08-19

Publications (2)

Publication Number Publication Date
TW201708883A TW201708883A (zh) 2017-03-01
TWI610097B true TWI610097B (zh) 2018-01-01

Family

ID=56939867

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105126180A TWI610097B (zh) 2015-08-19 2016-08-17 電子系統、可攜式顯示裝置及導引裝置

Country Status (4)

Country Link
US (1) US20170053545A1 (zh)
EP (1) EP3133470B1 (zh)
CN (1) CN106468950B (zh)
TW (1) TWI610097B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI707306B (zh) * 2018-03-06 2020-10-11 國立臺灣大學 用於提升在虛擬環境中找尋感興趣區域之效率的方法及裝置

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102551239B1 (ko) * 2015-09-02 2023-07-05 인터디지털 씨이 페이튼트 홀딩스, 에스에이에스 확장된 장면에서의 내비게이션을 용이하게 하기 위한 방법, 장치 및 시스템
JP6087453B1 (ja) * 2016-02-04 2017-03-01 株式会社コロプラ 仮想空間の提供方法、およびプログラム
WO2017186303A1 (en) * 2016-04-29 2017-11-02 Aurasma Limited Guidance information relating to a target image
ES2992065T3 (es) * 2016-08-16 2024-12-09 Insight Medical Systems Inc Sistemas de aumento sensorial en procedimientos médicos
GB2557593A (en) * 2016-12-09 2018-06-27 Sony Interactive Entertainment Inc Virtual reality
KR101810671B1 (ko) * 2017-03-07 2018-01-25 링크플로우 주식회사 전방향 영상의 방향 정보를 생성하는 방법 및 이러한 방법을 수행하는 장치
CN107067295B (zh) * 2017-03-13 2021-12-24 联想(北京)有限公司 一种信息处理方法及电子设备
JP2018163461A (ja) * 2017-03-24 2018-10-18 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US10602046B2 (en) * 2017-07-11 2020-03-24 Htc Corporation Mobile device and control method
TWI633338B (zh) * 2017-10-06 2018-08-21 宏碁股份有限公司 頭戴式顯示裝置、電子系統以及相關控制方法
US20210102820A1 (en) * 2018-02-23 2021-04-08 Google Llc Transitioning between map view and augmented reality view
JP7385238B2 (ja) 2019-01-07 2023-11-22 株式会社mediVR リハビリテーション支援装置、リハビリテーション支援方法及びリハビリテーション支援プログラム
US11816757B1 (en) * 2019-12-11 2023-11-14 Meta Platforms Technologies, Llc Device-side capture of data representative of an artificial reality environment
JP7391438B1 (ja) * 2023-06-13 2023-12-05 株式会社mediVR 情報処理システム、情報処理方法および情報処理プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103246076A (zh) * 2013-04-16 2013-08-14 深圳超多维光电子有限公司 多人观看立体显示装置及立体显示方法
TWM472854U (zh) * 2013-11-27 2014-02-21 Chipsip Technology Co Ltd 穿戴式顯示器
WO2015004916A2 (en) * 2013-07-11 2015-01-15 Seiko Epson Corporation Head mounted display device and control method for head mounted display device
TW201511803A (zh) * 2013-06-09 2015-04-01 新力電腦娛樂股份有限公司 頭戴式顯示器
TW201530484A (zh) * 2014-01-29 2015-08-01 Han-Wei Zhang 具投影功能之穿戴件

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9074899B2 (en) * 2009-05-11 2015-07-07 Acer Incorporated Object guiding method, mobile viewing system and augmented reality system
US9525964B2 (en) * 2012-02-02 2016-12-20 Nokia Technologies Oy Methods, apparatuses, and computer-readable storage media for providing interactive navigational assistance using movable guidance markers
CN104570354A (zh) * 2015-01-09 2015-04-29 京东方科技集团股份有限公司 交互式眼镜和导览系统
JP6540108B2 (ja) * 2015-03-09 2019-07-10 富士通株式会社 画像生成方法、システム、装置、及び端末

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103246076A (zh) * 2013-04-16 2013-08-14 深圳超多维光电子有限公司 多人观看立体显示装置及立体显示方法
TW201511803A (zh) * 2013-06-09 2015-04-01 新力電腦娛樂股份有限公司 頭戴式顯示器
WO2015004916A2 (en) * 2013-07-11 2015-01-15 Seiko Epson Corporation Head mounted display device and control method for head mounted display device
TWM472854U (zh) * 2013-11-27 2014-02-21 Chipsip Technology Co Ltd 穿戴式顯示器
TW201530484A (zh) * 2014-01-29 2015-08-01 Han-Wei Zhang 具投影功能之穿戴件

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI707306B (zh) * 2018-03-06 2020-10-11 國立臺灣大學 用於提升在虛擬環境中找尋感興趣區域之效率的方法及裝置

Also Published As

Publication number Publication date
EP3133470B1 (en) 2019-03-13
US20170053545A1 (en) 2017-02-23
CN106468950B (zh) 2020-09-04
EP3133470A1 (en) 2017-02-22
CN106468950A (zh) 2017-03-01
TW201708883A (zh) 2017-03-01

Similar Documents

Publication Publication Date Title
TWI610097B (zh) 電子系統、可攜式顯示裝置及導引裝置
EP3619599B1 (en) Virtual content displayed with shared anchor
US11340707B2 (en) Hand gesture-based emojis
US10553031B2 (en) Digital project file presentation
US10606609B2 (en) Context-based discovery of applications
US10754496B2 (en) Virtual reality input
US9934614B2 (en) Fixed size augmented reality objects
CN107003738B (zh) 注视目标应用启动器
US9584915B2 (en) Spatial audio with remote speakers
US20180321798A1 (en) Information processing apparatus and operation reception method
CN111352239A (zh) 增强现实显示设备及应用增强现实显示设备的交互方法
US10771707B2 (en) Information processing device and information processing method
WO2017068925A1 (ja) 情報処理装置及び情報処理装置の制御方法、並びにコンピュータ・プログラム
JP2018163461A (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP6534972B2 (ja) 映像表示装置、映像表示方法及び映像表示プログラム
JP6398630B2 (ja) 可視像表示方法、第１デバイス、プログラム、及び、視界変更方法、第１デバイス、プログラム
JP6442619B2 (ja) 情報処理装置
WO2021033400A1 (ja) 情報処理装置、情報処理方法および記録媒体
JP2017049738A (ja) ヘッドマウントディスプレイシステムを制御するプログラム
EP4325842A1 (en) Video display system, information processing device, information processing method, and program
JP7400810B2 (ja) 情報処理装置、情報処理方法、及び記録媒体
JP2024129923A (ja) 情報処理システム及びプログラム
JP2018097477A (ja) 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム
JP2016224809A (ja) 情報処理装置、情報処理方法