[go: up one dir, main page]

TWI533027B - 色彩頻道及光學標誌 - Google Patents

色彩頻道及光學標誌 Download PDF

Info

Publication number
TWI533027B
TWI533027B TW101107899A TW101107899A TWI533027B TW I533027 B TWI533027 B TW I533027B TW 101107899 A TW101107899 A TW 101107899A TW 101107899 A TW101107899 A TW 101107899A TW I533027 B TWI533027 B TW I533027B
Authority
TW
Taiwan
Prior art keywords
optical
color
camera
tag
label
Prior art date
Application number
TW101107899A
Other languages
English (en)
Other versions
TW201243387A (en
Inventor
薩格登班傑明J
索德湯瑪士G
Original Assignee
微軟技術授權有限責任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 微軟技術授權有限責任公司 filed Critical 微軟技術授權有限責任公司
Publication of TW201243387A publication Critical patent/TW201243387A/zh
Application granted granted Critical
Publication of TWI533027B publication Critical patent/TWI533027B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/802D [Two Dimensional] animation, e.g. using sprites
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/22Character recognition characterised by the type of writing
    • G06V30/224Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Description

色彩頻道及光學標誌
本發明係關於色彩頻道及光學標誌。
應用於運算裝置的顯示技術已發展多年。例如,早期的運算裝置只提供單色顯示器。使用者與運算裝置的互動,係透過察看單色顯示器上簡單的文字,以及在顯示器上顯示經由鍵盤輸入的文字。
顯示技術接著擴展到使用顏色與圖形的使用者界面。這些技術,舉例而言,可利用顏色來顯示圖形以表示檔案、連接到運算裝置的裝置、影像等。使用者接著可使用鍵盤,以及使用游標控制裝置如滑鼠,來與使用者界面進行互動。
顯示技術繼續發展,例如使用眼鏡來觀看3D電視、虛擬科技的使用等。然而,應用這些技術所產生的複雜性,會使該些技術難以在傳統的運算裝置上實施。
本案描述色彩頻道光學標誌技術。在一或多個應用中,檢查從照相機中所取得的複數個色彩頻道,該光學標誌相較於在該些色彩頻道之中的另一者所描述的另一 光學標誌具有不同的色階。在該複數個色彩頻道之中的各別一者中,識別至少一光學標誌,以及,使用該經識別的光學標誌來計算光學基準,該經識別的光學標誌可用來描述一部分該運算裝置的至少一位置或方向。
在一或多個應用中,設備包含:第一光學標籤,該第一光學標籤在第一間距係對運算裝置的照相機為可解析的,且使用第一顏色來描述該第一光學標籤;以及第二光學標籤,該第二光學標籤在第二間距係可解析的,其中在該第二間距,該第一光學標籤係對該運算裝置的該照相機為不可解析的,使用不同於該第一顏色的第二顏色來描述該第二光學標籤。
在一或多個應用中,設備包含照相機、顯示裝置以及一或多個模組。該一或多個模組係配置用來從該照相機的紅色頻道取得第一影像,從該照相機的綠色頻道取得第二影像,以及從該照相機的藍色頻道取得第三影像。該一或多個模組亦配置用來識別該些第一、第二或第三影像中的何者系描述光學標誌,該光學標誌係對一或多個模組為可解析的,以決定該設備的至少一部分的位置或方向;配置用來計算基準,該基準係描述該設備的至少該部分的該位置或方向;以及配置用來產生增益實境顯像,以使用該經計算的基準而由該顯示裝置來顯示。
此概述係用來介紹一些簡化形式的概念,進一步說明將在下文中詳述。此概述並非用以辨別本發明的關鍵特徵或基本特徵,也並非用來幫助決定本發明所主張標的 的範圍。
綜覽
在此以實例來描述增益實境技術。增益實境技術可用來產生真實世界環境的畫面,該真實世界環境可使用電腦生成的輸出,如聲音或圖形來增益。以此方式,真實世界中的使用者的畫面會包含由運算裝置所產生的知覺上的輸入,且因此可增益使用者的經驗。
在下述討論中,增益實境技術被描述成有關於光學標誌與色彩頻道的使用。例如,照相機可用來捕捉實體環境的運算裝置的影像,實體環境如使用者的媒體室。該影像會接著被分析以定位出標誌,該些標誌提供與該實體環境有關的該照相機的位置及/或方向的指示。例如,增益實境標籤(AR標籤)可用來指示在該照相機與該些標籤之間的間距,以及與該些標籤有關的方向。以此方式,該影像可提供計算光學基準,以決定出在該實體環境中的該照相機的方向及/或位置。
然而,傳統的AR標籤具有相當有限的範圍,在該範圍中,該些標籤對照相機為可解析的。例如,該照相機可具有已知的解析度,且傳統的AR標籤一般係由單一色階而形成,如此使得該些標籤可被在該照相機與該AR標籤之間的有限範圍的間距的照相機所解析。因此,設 計者照慣例會被要求去決定該照相機與該AR標籤的典型的操作範圍,此會限制了在其他範圍下尚未發展出的AR標籤及運算裝置的技術的可用性。
因此,在此處所述的技術中,多個AR標籤可能會互相覆蓋。又,這些標籤可使用不同的色階與顏色,以對應於可由運算裝置解析的色彩頻道。該運算裝置,舉例而言,可包含支援紅色、綠色及藍色頻道的照相機。具有這些顏色的AR標籤會互相覆蓋成為組合AR標籤,該組合AR標籤支援對應於這些顏色的不同的色階。例如,大色階的AR標籤可為紅色,中等色階的AR標籤可為綠色,並且被紅色AR標籤覆蓋在其上。同樣地,小色階的AR標籤可為藍色,且亦被紅色及綠色AR標籤覆蓋。該照相機會接著擷取組合標籤的影像,並使用各別的紅色、綠色及藍色頻道去解析一或多個大的、中的、小的標籤。以此方式,使用這些不同範圍而不擴展組合標籤的整體大小,該運算裝置所使用的AR標籤的有效範圍可能會變成三倍。自然地,其他顏色的例子及光學標誌技術是可預期的,其進一步的論述係與以下段落有關。
在下述討論中,首先描述可能使用此處所述的技術的實例環境。接下來描述可在例示環境以及其他環境中的執行的例示程序。因此,例示程序的執行不會侷限例示環境,且例示環境不會侷限例示程序的執行。
例示環境
圖1係一實施例中的可操作以使用本案所述的增益實境技術的環境100的示意圖,該例示環境100包含運算裝置102,該運算裝置102可以各種方式配置。例如,雖然運算裝置102係圖示為行動通訊裝置(如平板裝置、無線電話),運算裝置102可以各種其他方式配置。舉例而言,運算裝置102可配置成能在網路104上通訊的電腦,例如與顯示裝置、遊戲控制器、平板裝置等通訊地連接的桌上型電腦、行動站、遊樂器、機頂盒。
因此,運算裝置102所屬的範圍,可從具有可觀的記憶體與處理器資源的全資源裝置(如,個人電腦、遊戲控制器),到具有有限的記憶體及/或處理資源的低度資源裝置(如,傳統的機頂盒、手持式遊戲控制器)。此外,雖然已圖示了單一運算裝置102,運算裝置102可由複數個不同的裝置來代表,例如使用者可穿式頭盔與遊戲控制器、由商業上用來執行操作的所提供的「雲端的」平台的多個伺服器、遠端控制器以及機頂盒組合等。
運算裝置102亦圖示出包含增益實境模組106。增益實境模組106係運算裝置102的功能性的代表,以對運算裝置102的真實世界環境的畫面產生增益。在所示的實例中,舉例而言,運算裝置102係圖示為實際出現在室108中,在該室108的角落放置了沙發110、椅子112以及桌子114。
運算裝置102包含照相機116,該照相機116係配置以擷取運算裝置102的實體環境的一或多個影像,實體環 境如本例中的室108。即便還有其他可預期的輸入裝置,如擴音器,這些一或多個影像可用來擷取將會被增益的「實境」的畫面。增益實境模組106會接收來自照相機116的資料(如,該一或多個影像)以產生訊框118,該訊框118係圖示儲存在運算裝置102的訊框緩衝區120中。
訊框118會接著由運算裝置102的顯示裝置122來顯示,雖然該運算裝置102係以部分的移動通訊裝置來表示,亦可假設具有各種不同的配置。在一或多個應用中,顯示裝置122可包含為頭盔的一部分,且位於一或多個使用者的眼睛可見之處。此外,顯示裝置122可為部分透明的或非部分透明的。例如,顯示裝置122可經配置以顯示出兩個由照相機116所擷取的經增益處理的影像。在另一例中,顯示裝置122可配置成在沒有被照相機116擷取的影像的畫面下顯示該些增益,但允許藉由至少一部分的顯示裝置122顯示該實體環境的畫面。因此,增益實境模組106所產生的增益會以各種方式來顯示。
在所示的實例中,顯示裝置122顯示的訊框118包含由照相機116所擷取的影像。訊框118亦包含由增益實境模組106所產生的複數個增益效果。顯示裝置122所顯示的實例,包含看來似置於室108的牆上的第一及第二張畫124、126,以及看來似放置在桌子114上的碗128。因此,該增益實境模組106會對以顯示裝置122顯示的實境畫面產生增益。應為顯而易見的是,增益實境 模組106所產生的增益,可假定為各式各樣其他的方式,例如作為遊戲之一部分的物件,以及對運算裝置102的環境的畫面的其他改變。
為了產生此畫面並確知將增益置於「何處」,增益實境模組106會擴充利用(leverage)各種不同的技術來決定與該環境(如所示的室108)有關的運算裝置102的方向及/或位置。例如,增益實境模組106可擴充利用一或多個光學標誌來決定運算裝置102應如何被放置、被導向、被移動等。這些光學標誌可為各種不同的形式。例如,增益實境模組106可設定在客廳中的一或多個視點為標誌,並因此作為用來決定方向及/或位置的基準,例如桌子114的一角,椅子112的方向等。因此,室內的物品可當作用來決定運算裝置102應位於室108中何處的基準。
在另一例中,增益實境模組106會擴充利用一或多個增益實境(AR)標籤的畫面,該增益實境(AR)標籤實際上係放置於運算裝置102的周圍環境之內。例示的AR標籤130係圖示位於室108中的桌子114之上。雖然已顯示單一AR標籤,在該環境中可利用複數個AR標籤。該例示的AR標籤130(或其他標誌)可用作基準來決定深度(如,在AR標籤130與照相機116之間的間距)、運算裝置102相對於AR標籤130的三維導向等。
例如,AR標籤130可包含樣式,該樣式可被增益實境模組106識別以決定出相距AR標籤130的間距,及/或 有關於AR標籤130的運算裝置102的方向。以此方式,標誌可被增益實境模組106擴充利用以決定出「如何」將運算裝置102置於實體環境中,以及將運算裝置102置於實體環境中的「何處」。增益實境模組106會使用這個決定作為基準來產生增益,以輸出供運算裝置102的使用者檢視。
增益實境模組106亦可擴充利用一或多個感測器132以決定並核對運算裝置102的位置及/或方向。例如,感測器132可被配置成慣性量測單元(inertial measurement unit,IMU),該慣性量測單元可包含廻轉儀、一或多個加速計、磁力計等包含上述的任意組合。這些單元可用來產生外部基準,藉由該外部基準,使用前述的光學落樣(optical marking)技術來核對產生的基準。例如,使用前述的以擴充利用照相機116的光學落樣技術所產生的基準,會被使用由一或多個感測器,如慣性量測單元(IMU)134,所產生的基準,評估為不一致。以此方式,此技術可用來決定運算裝置102的有關於其實體環境的方向及位置。
增益實境模組106進一步圖示為含有標誌識別模組136。標誌識別模組136係功能的典型,以使用具有光學標誌如AR標籤130的色彩頻道技術。例如,標誌識別模組136可接收來自具有多個各自不同顏色的頻道的照相機116的饋送。AR標籤130的不同的色階可透過依據照相機116所支援的色彩頻道來對AR標籤130上色而 獲得支撐。以此方式,光學標誌技術的有效範圍可藉由擴充利用不同的色階與不同顏色而得以延伸,進一步的說明可見於相關的圖2。
一般而言,此處所述的任何功能可透過使用軟體、韌體、硬體(如,固定邏輯電路)、手動處理或這些應用的組合來實施。此處所使用的用語「模組」與「功能」一般係代表硬體、軟體、韌體,或其組合。在軟體應用的一例中,模組、功能或邏輯,代表著指令,及執行特定於該硬體操作的硬體,如,一或多個處理器及/或功能性區塊。
例如,運算裝置102可包含實體(如,軟體),該實體使運算裝置102的硬體去執行操作,如,處理器、功能性區塊等。運算裝置102可包含電腦可讀媒體,該電腦可讀媒體可配置成維護指令,以使該運算裝置且更尤其是運算裝置102的硬體執行操作。因此,該些指令提供功能以配置硬體去執行該些操作,且以此方式的結果會使該硬體轉型以執行功能。該些指令可由該電腦可讀媒體,藉由各種不同的配置而提供給運算裝置102。
電腦可讀媒體的其中一個配置係單一承載媒體,且因此係配置以傳送(如,類似載波)該些指令至該運算裝置的硬體,例如經由網路104。電腦可讀媒體亦可配置成電腦可讀儲存媒體,且因此非為單一承載媒體。電腦可讀儲存媒體的實例包含隨機存取記憶體(RAM)、唯讀記憶體(ROM)、光碟、快閃記憶體、硬碟記憶體,以及其 他可用磁性的、光學的及其他技術來儲存指令及其他資料的記憶體裝置。
圖2係一實施例中的系統200的示意圖,更詳細圖示出圖1中的增益實境模組106,用來產生用於運算裝置102的基準,該運算裝置102擴充利用複數個不同的色彩頻道。在此例中的照相機116係圖示用來擷取AR標籤130的影像。
該些影像係圖示為被分開成複數個不同的色彩頻道,該些例子包含紅色色彩頻道202、綠色色彩頻道204以及藍色色彩頻道206。該些頻道的每一者係圖示為包含對應於各別頻道的顏色的標誌的影像。例如,紅色色彩頻道202包含具有相對大的色階的紅色AR標籤的影像,且因此被配置成在照相機116與AR標籤130之間的相對大的間距之處為可檢視的。但,綠色色彩頻道204包含綠色AR標籤的影像,該綠色AR標籤,相較於該大色階的紅色AR標籤,假定為具有相對中等色階,且因此被配置成在照相機與AR標籤130之間的相對中等間距之處為可檢視的。同樣地,藍色色彩頻道206包含藍色AR標籤的影像,該藍色AR標籤假定為具有相對小色階,且因此被配置成在照相機116與AR標籤130之間的相對近的間距之處為可檢視的。以此方式,每一個色彩頻道會涉及間距的特定範圍,在使用照相機116的單一解析時,照相機116的間距與AR標籤130的間距之間會有所不同(如,完全地不同或部分地不同)。
標誌識別模組136會接著比較紅色、綠色及藍色色彩頻道206,以定位出一或多個影像,該一或多個影像係可解析的以決定出一部分的運算裝置102的位置或方向,如包含照相機116的部分。例如,照相機116會被定位在間距處,在該處從紅色色彩頻道202及綠色色彩頻道204取得的影像中的AR標籤為可解析的,但是包含於藍色色彩頻道206內的AR標籤則否。
在此例中,標誌識別模組136會擴充利用該AR標籤的一或多個經解析的影像(如,以平均值、以加權平均值、信賴值、單獨使用AR標籤的「最清晰」影像等)以達到經識別的標誌208。該經識別的標誌208會接著用於基準計算模組210以計算光學基準212,該光學基準212描述運算裝置102的該部分的位置或方向。此光學基準212會接著用於各種的目的,例如產生如前所述的增益實境顯像。
以此方式,此處所述的色彩頻道技術能克服使用傳統的技術所遭遇的各種的缺點。例如,因用來擷取AR標籤的影像的照相機的解析的限制,傳統的技術會先具有有限的範圍。因為AR標籤的建立,傳統上係依照識別固定大小的標誌,該傳統的AR標籤與該照相機之間的間距的操作範圍係受到此組合的限制。舉例而言,一旦照相機移出該AR標籤的影像的解析之範圍外時,此組合會失效。當照相機的像素解析度不足以解析該特徵時,舉例而言,解析該AR標籤的特徵的能力就會消失。
同樣地,傳統的「大的」AR標籤會限定出最小範圍,用來包含該標籤的一大部分,以便能夠解析該影像,在該最小範圍該AR標籤會被解析成典型的被擷取的影像。例如,在一接近範圍,照相機可能無法擷取一部分的大的AR標籤的影像,該影像係足以識別該標籤以計算出光學基準。
在另一例中,若該運算裝置無法將該AR標籤分類,則會跳過傳統的AR標籤。這樣會產生錯誤,且若AR標籤的識別不成功,會導致缺少了光學基準的確定。在一進一步實例中,傳統的AR標籤無法重疊。因此,若實體環境係相當小,但仍能從微間距與宏間距來檢視的情況下,在使用傳統的技術去包含每一類的用以支援這些不同間距的AR標籤的環境下,空間可能會不足。
應用此處所述的色彩頻道技術,但各別的頻道可用來擷取具有不同的色階的光學標誌的影像,從而能增強在該照相機與該些標誌之間的間距的有效範圍。例如,從照相機116傳入的RGB流,可被分離成構成該RGB流的如所示的紅色、綠色及藍色頻道202、204、206。該些頻道會接著轉換成灰階,並經處理以識別該些標誌。因此,標誌的不同的色階可被編碼以供不同的色彩頻道。再者,根據標誌識別模組136會估算的先前參考位置,對於已知的訊框,該影像是最可能為相關的、相當的,從而促進足夠的像素覆蓋率(pixel coverage)。
如所示,較大標誌頻道(如,紅色色彩頻道202)可用來 供照相機的位置或方向的相對長的間距的註冊。另一方面,較小標誌頻道(如,藍色色彩頻道206)可提供照相機116的位置或方向的相對短間距的註冊之用。若照相機116太接近大的AR標籤,舉例而言,照相機116的視域會縮短大AR標籤的區域,此會阻止此較大標籤的該部分的影像被識別出來。因此,在此例中,另一色彩頻道可用以識別對應的AR標籤(如,綠色色彩頻道204或藍色色彩頻道206)。
此外,標誌識別模組136會從多個色彩頻道中擴充利用AR標籤的解析。例如,標誌識別模組136能夠識別包含在複數個顏色流(color streams)中各別一者的複數個AR標籤。這些被識別的AR標籤會接著被使用,以抵達組合的數值,例如透過計算加權總和、計算信賴值的平均值等。透過使用複數個不同的顏色,AR標籤130亦可結合以形成組合AR標籤,並因此可利用較小量的空間,但仍可支援大範圍的間距,在以下圖式中可看出相關的進一步的描述。
圖3描述在一實施例中的設備300,圖示出從複數個具有不同大小和顏色的AR標籤所形成的組合AR標籤。在此例中,圖示出三種不同大小的具有不同的色階的標誌、具有相對大的色階的紅色標誌302、具有中等大小的色階的綠色標誌304以及具有相對小的色階的藍色標誌306。紅色標誌302中所用的紅色係藉由向前斜線來圖示,綠色標誌304中所用的綠色係藉由向後斜線來圖 示,以及藍色標誌306中所用的藍色係藉以垂直線來圖示。
藉由使用該些不同的顏色,可形成組合標誌308,該組合標誌308包含紅色、綠色及藍色標誌306。例如,一些部分的組合標誌308可包含單一顏色、兩種顏色、三種顏色、無色等。因此,該些顏色會被覆蓋,使得組合標誌308可支援不同色階的標誌。藉由分開該些頻道,即便這些顏色是在被覆蓋下,這些顏色的每一者可被解析出來。
儘管此例中描述了三個顏色,在不脫離本發明之精神與範圍下,可使用各種不同數量的顏色及顏色本身為顯而易見的。又,雖然在這些例子中描述了AR標籤,使用各種不同的光學標誌可作為補充亦為顯而易見的,例如位於如前述的與圖1有關的一實體環境中係一般為可見的及可識別的物件。
例示程序
以下的敘述描述了應用前述的系統與裝置以實施增益實境技術。每個程序的態樣可在硬體、韌體或軟體,或其組合中實施。該些程序係以一組區塊來圖示,該些區塊為由一或多個裝置執行的特定操作,且不需受限於為了執行操作的各別區塊的圖示順序。在部分的以下論述中,分別配合參照圖1中的環境100,及圖2與3中的系統200與設備300。
圖4描述了一實施例中的流程400,在其中應用色彩頻道技術來計算用於運算裝置的至少一部分的光學基準。檢查從照相機所取得的複數個色彩頻道,每一個該色彩頻道描述光學標誌,該光學標誌相較於在該些色彩頻道之中的另一者所描述的另一光學標誌具有不同的色階(區塊402)。照相機116,舉例而言,會擷取AR標籤130的影像、室106中之物件(此可作為光學標誌)等。
在該複數個色彩頻道的各別一者之中,識別至少一個該光學標誌(區塊404)。標誌識別模組136,舉例而言,會檢查在不同的色彩頻道中的影像,以決定一或多個影像是否足夠用來識別光學標誌。
使用可用來描述一部分該運算裝置的至少一位置或方向的該經識別的光學標誌,來計算光學基準(區塊406)。該光學基準的計算,舉例而言,可根據在單一色彩頻道中被識別的單一光學標誌、從多個頻道取得的影像,並且亦可有關於使用前述的光學基準及/或從色彩頻道取得的影像的內插(interpolation)。
至少部分地依據該光學基準,產生增益實境顯像以供該運算裝置顯示(區塊408)。該增益實境顯像,舉例而言,可經配置以包含由置於該顯像中的增益實境模組106根據該光學基準所產生的物件。
圖5係描述在一實施例中的流程,在該流程中,根據來自紅色、綠色及藍色色彩頻道中的光學標誌的解析而產生增益實境顯像。第一影像係從該照相機的紅色頻道 取得,第二影像係從該照相機的綠色頻道取得,及第三影像係從該照相機的藍色頻道取得(區塊502)。照相機116,舉例而言,可包含配置以擷取紅色、綠色及藍色影像的感測器,並可經由分別的色彩頻道提供該些影像。在另一例中,RGB饋入可被運算裝置102分開成紅色、綠色及藍色頻道。
一或多個模組係用來識別該第一、第二或第三影像中的何者描述了光學標誌,該光學標誌對該一或多個模組為可解析的,以決定至少一部分的設備的位置或方向(區塊504)。如前所述,該些影像會被轉換成灰階,並經處理以決定出一或多個影像是否為可解析的,以識別出光學標誌,例如AR標籤。
對描述該設備的至少該部分的該位置或方向的基準進行計算(區塊506)。此基準,舉例而言,可從AR標籤的單一影像、從該些影像中的其中二者的平均值、從該三個色彩頻道的加權平均值等而計算出。增益實境顯像會接著被產生出來,以供該顯示裝置使用該經計算的基準而顯示出(區塊508)。如前所述,雖然已描述了紅色、綠色及藍色色彩頻道,亦可利用各種不同顏色,而不逾越本發明的精神和範圍。
結論
雖然本發明已對結構特徵及/或方法的作用以特定語 言來表示,應可理解的是,所附申請專利範圍中所定義的發明,並非用以限定所述的特定特徵或作用。相反地,所揭示的具體特徵和行為,係作為實施所主張的發明的實例。
100‧‧‧環境
102‧‧‧運算裝置
104‧‧‧網路
106‧‧‧增益實境模組
108‧‧‧室
110‧‧‧沙發
112‧‧‧椅子
114‧‧‧桌
116‧‧‧照相機
118‧‧‧訊框
120‧‧‧訊框緩衝區
122‧‧‧顯示裝置
124‧‧‧畫
126‧‧‧畫
128‧‧‧碗
130‧‧‧AR標籤
132‧‧‧感測器
134‧‧‧IMU
136‧‧‧標誌識別模組
200‧‧‧系統
202‧‧‧紅色色彩頻道
204‧‧‧綠色色彩頻道
206‧‧‧藍色色彩頻道
208‧‧‧經識別的標誌
210‧‧‧基準計算模組
212‧‧‧光學基準
300‧‧‧裝置
302‧‧‧紅色標誌
304‧‧‧綠色標誌
306‧‧‧藍色標誌
308‧‧‧組合標誌
400‧‧‧流程
402~408‧‧‧步驟區塊
500‧‧‧流程
502~508‧‧‧步驟區塊
詳細說明請配合參照所附圖式。圖式中,元件符號的最左邊的位數標識出第一次所出現該元件符號的圖式。在本說明的不同例子與圖式中所使用的相同元件符號係指示相似或相同的元件。
圖1係一實施例中的環境的示意圖,該環境可操作以使用本案所述的增益實境技術。
圖2係一實施例中的系統的示意圖,更詳細圖示出圖1中的增益實境模組,用來產生用於運算裝置的基準。
圖3描述在一實施例中的設備,圖示了從複數個具有不同大小和顏色的增益實境標籤(AR標籤)所形成的組合AR標籤。
圖4係描述在一實施例中的流程的流程圖,在該實施例中,應用色彩頻道技術來計算用於運算裝置的至少一部分的光學基準。
圖5係描述在一實施例中的流程的流程圖,在該流程中,根據來自紅色、綠色及藍色色彩頻道中的光學標誌 的解析而產生增益實境顯像。
100‧‧‧環境
102‧‧‧運算裝置
104‧‧‧網路
106‧‧‧增益實境模組
108‧‧‧室
110‧‧‧沙發
112‧‧‧椅子
114‧‧‧桌
116‧‧‧照相機
118‧‧‧訊框
120‧‧‧訊框緩衝區
122‧‧‧顯示裝置
124‧‧‧畫
126‧‧‧畫
128‧‧‧碗
130‧‧‧AR標籤
132‧‧‧感測器
134‧‧‧IMU
136‧‧‧標誌識別模組

Claims (20)

  1. 一種由一運算裝置所執行的方法,該方法包含以下步驟:檢查從一照相機所取得的複數個色彩頻道,每一個該色彩頻道描述一光學標誌,該光學標誌相較於在該些色彩頻道之中的另一者所描述的另一光學標誌具有一不同的色階,該等光學標誌的該等不同的色階可在相距該照相機不同間距處被解析;藉由比較該等光學標誌的經解析影像以定位一或多個光學標籤,而識別在該複數個色彩頻道之中的各別一者中的至少該光學標誌;以及使用該經識別的光學標誌來計算一光學基準以決定該照相機在一實體環境中的該位置及(或)方向,該經識別的光學標誌可用來描述一部分該運算裝置的位置及(或)方向。
  2. 如請求項1所述的方法,其中該複數個色彩頻道包含一紅色色彩頻道、一綠色色彩頻道以及一藍色色彩頻道。
  3. 如請求項1所述的方法,其中該些光學標誌的該一或多個光學標籤為組合增益實境標籤,該些組合增益實境標籤可在相距該照相機不同間距處被解析。
  4. 如請求項1所述的方法,更包含以下步驟:將該複數個色彩頻道分開成各別的饋入,以供該檢查步驟使用。
  5. 如請求項1所述的方法,其中該計算的步驟包含:使用信賴值的一加權的輸出來解析一座標架構的步驟,該些信賴值係使用來自該複數個色彩頻道的該些光學標籤之各別者所計算。
  6. 如請求項1所述的方法,其中該識別的步驟包含:從該複數個色彩頻道的影像中選擇該至少一個該光學標誌的步驟,該至少一個該光學標誌具有一充分的解析以計算該光學基準。
  7. 如請求項1所述的方法,其中該些光學標誌係一組合光學標誌的部分,該組合光學標誌是由複數個不同顏色所形成,該些顏色中的每一者係對應於一各別的該色彩頻道,並且為可解析的,以顯示出在一各別的該色階中的一各別的該光學標誌。
  8. 如請求項1所述的方法,其中該些光學標誌係配置成增益實境標籤。
  9. 如請求項1所述的方法,其中該運算裝置該部分 係可供一使用者穿著。
  10. 如請求項1所述的方法,更包含以下步驟:產生一增益實境顯像,而由至少部分基於該光學基準的該運算裝置來顯示。
  11. 如請求項1所述的方法,其中該些光學標誌的該一或多個光學標籤包含:一第一光學標籤,該第一光學標籤在一第一間距係對該運算裝置的該照相機為可解析的,且使用一第一顏色來描述該第一光學標籤;以及一第二光學標籤,該第二光學標籤在一第二間距係可解析的,其中在該第二間距,該第一光學標籤係對該運算裝置的該照相機為不可解析的,且使用不同於該第一顏色的一第二顏色來描述該第二光學標籤。
  12. 一種增益實境設備,包含:一第一光學標籤,該第一光學標籤在一第一間距係對一運算裝置的一照相機為可解析的,且使用一第一顏色來描述該第一光學標籤;一第二光學標籤,該第二光學標籤在一第二間距係可解析的,其中在該第二間距,該第一光學標籤係對該運算裝置的該照相機為不可解析的,且使用不同於該第一顏色的一第二顏色來描述該第二光學標籤;以及 該第一光學標籤與該第二光學標籤形成一組合光學標籤,該組合光學標籤包含該第一顏色與該第二顏色,該第一間距不同於該第二間距,且該第一光學標籤在該第一間距基於該第一顏色為可解析的但在該第二間距為不可解析的,且該第二光學標籤在該第二間距基於該第二顏色為可解析的但在該第一間距為不可解析的。
  13. 如請求項12所述的設備,其中該第一光學標籤與該第二光學標籤係互相覆蓋。
  14. 如請求項12所述的設備,更包含一第三光學標籤,該第三光學標籤在一第三間距係可解析的,在其中該第一光學標籤與該第二光學標籤係對該照相機為不可解析的,該第三光學標籤用一第三顏色來描述,該第三顏色不同於該第一顏色與該第二顏色。
  15. 如請求項14所述的設備,其中:該第一、第二及第三顏色係紅色、綠色或藍色;以及該些光學標籤形成一組合增益實境標誌,該組合增益實境標誌包含可在不同間距處解析的該些光學標籤。
  16. 如請求項12所述的設備,其中,因該照相機的一解析之故,該第一光學標籤在該第二間距係對該運算裝置的該照相機為不可解析的。
  17. 一種增益實境設備,包含:一照相機;一顯示裝置;以及一或多個模組,係配置以:從該照相機的一紅色頻道取得一第一影像,從該照相機的一綠色頻道取得一第二影像,以及從該照相機的一藍色頻道取得一第三影像;識別該第一、第二或第三影像中的何者係描述一光學標誌,該光學標誌係對該一或多個模組為可解析的,以決定該設備的至少一部分的一位置及(或)方向,該些第一、第二與第三影像之每一者包含一各別光學標誌,該些各別光學標誌可在相距該設備不同間距處被解析;基於可在相距該設備一當前間距處被解析的該光學標誌,計算一光學基準,該基準描述該照相機在一實體環境中的該位置及(或)方向;以及產生一增益實境顯像以由該顯示裝置藉由使用該經計算的基準來顯示。
  18. 如請求項17所述的設備,其中該第一、第二或第三影像中的至少一者描述一光學標誌,該光學標誌在一間距係對該照相機為可解析的,該間距不同於該第一、第二或第三影像中的不同一者的另一光學標誌所在的一其他間 距。
  19. 如請求項17所述的設備,其中該些光學標誌為一組合光學標誌的部分,該組合光學標誌係由使用紅色、綠色、以及藍色所形成。
  20. 如請求項19所述的設備,其中對應於各別的該些光學標誌的該些顏色中的至少二者,係被覆蓋於該組合光學標誌的至少一部分之內。
TW101107899A 2011-04-21 2012-03-08 色彩頻道及光學標誌 TWI533027B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US13/091,575 US8817046B2 (en) 2011-04-21 2011-04-21 Color channels and optical markers

Publications (2)

Publication Number Publication Date
TW201243387A TW201243387A (en) 2012-11-01
TWI533027B true TWI533027B (zh) 2016-05-11

Family

ID=47020976

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101107899A TWI533027B (zh) 2011-04-21 2012-03-08 色彩頻道及光學標誌

Country Status (9)

Country Link
US (1) US8817046B2 (zh)
EP (1) EP2700040B1 (zh)
JP (1) JP5961249B2 (zh)
KR (1) KR101848959B1 (zh)
CN (1) CN103477348B (zh)
AR (1) AR086470A1 (zh)
ES (1) ES2729102T3 (zh)
TW (1) TWI533027B (zh)
WO (1) WO2012145731A2 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10242456B2 (en) * 2011-06-23 2019-03-26 Limitless Computing, Inc. Digitally encoded marker-based augmented reality (AR)
US20130278626A1 (en) * 2012-04-20 2013-10-24 Matthew Flagg Systems and methods for simulating accessory display on a subject
US10180715B2 (en) 2012-10-05 2019-01-15 Elwha Llc Correlating user reaction with at least an aspect associated with an augmentation of an augmented view
US9141188B2 (en) 2012-10-05 2015-09-22 Elwha Llc Presenting an augmented view in response to acquisition of data inferring user activity
US9111383B2 (en) 2012-10-05 2015-08-18 Elwha Llc Systems and methods for obtaining and using augmentation data and for sharing usage data
US10269179B2 (en) 2012-10-05 2019-04-23 Elwha Llc Displaying second augmentations that are based on registered first augmentations
US9077647B2 (en) 2012-10-05 2015-07-07 Elwha Llc Correlating user reactions with augmentations displayed through augmented views
US8928695B2 (en) * 2012-10-05 2015-01-06 Elwha Llc Formatting of one or more persistent augmentations in an augmented view in response to multiple input factors
US10713846B2 (en) 2012-10-05 2020-07-14 Elwha Llc Systems and methods for sharing augmentation data
JP2015001875A (ja) * 2013-06-17 2015-01-05 ソニー株式会社 画像処理装置、画像処理方法、プログラム、印刷媒体及び印刷媒体のセット
US20150062158A1 (en) * 2013-08-28 2015-03-05 Qualcomm Incorporated Integration of head mounted displays with public display devices
JP2016018367A (ja) * 2014-07-08 2016-02-01 沖電気工業株式会社 情報処理装置、情報処理方法、及びプログラム
USD788116S1 (en) * 2014-08-19 2017-05-30 Fujifilm Corporation Display screen for digital camera with animated graphical user interface
US10403019B2 (en) * 2015-12-16 2019-09-03 Lucasfilm Entertainment Company Multi-channel tracking pattern
JP2018005091A (ja) * 2016-07-06 2018-01-11 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
CN107734320B (zh) * 2017-09-29 2019-08-13 成都国翼电子技术有限公司 一种计算vr摄影场地内主动发光标记点光强下限的方法
CN112740666A (zh) 2018-07-19 2021-04-30 艾科缇弗外科公司 自动手术机器人视觉系统中多模态感测深度的系统和方法
US11126845B1 (en) * 2018-12-07 2021-09-21 A9.Com, Inc. Comparative information visualization in augmented reality
KR20220122287A (ko) 2021-02-26 2022-09-02 삼성전자주식회사 증강 현실 제공 장치의 포즈 결정 방법 및 장치

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0830977A (ja) * 1994-07-19 1996-02-02 Olympus Optical Co Ltd 情報記録媒体及び情報記録再生システム
IL120175A (en) 1997-02-07 2000-11-21 Tribelsky Zamir Method for optically marking an elongated indication path and devices using this method
JP2001054971A (ja) 1999-08-18 2001-02-27 Funai Electric Co Ltd 印字装置
US7176936B2 (en) * 2001-03-27 2007-02-13 Siemens Corporate Research, Inc. Augmented reality guided instrument positioning with modulated guiding graphics
US20030076980A1 (en) * 2001-10-04 2003-04-24 Siemens Corporate Research, Inc.. Coded visual markers for tracking and camera calibration in mobile computing systems
JP4054585B2 (ja) 2002-02-18 2008-02-27 キヤノン株式会社 情報処理装置および方法
US7369101B2 (en) * 2003-06-12 2008-05-06 Siemens Medical Solutions Usa, Inc. Calibrating real and virtual views
US7515756B2 (en) 2003-06-23 2009-04-07 Shoestring Research, Llc. Region segmentation and characterization systems and methods for augmented reality
US7391424B2 (en) * 2003-08-15 2008-06-24 Werner Gerhard Lonsing Method and apparatus for producing composite images which contain virtual objects
US8669936B2 (en) * 2004-04-21 2014-03-11 Wsi Corporation System and method for presenting a dynamically ordered presentation
US7965887B2 (en) 2005-12-01 2011-06-21 Cognex Technology And Investment Corp. Method of pattern location using color image data
US7800628B2 (en) * 2006-06-16 2010-09-21 Hewlett-Packard Development Company, L.P. System and method for generating scale maps
EP1887526A1 (en) 2006-08-11 2008-02-13 Seac02 S.r.l. A digitally-augmented reality video system
JP5403861B2 (ja) * 2006-11-06 2014-01-29 キヤノン株式会社 情報処理装置、情報処理方法
JP2008176696A (ja) * 2007-01-22 2008-07-31 Misae Saito Cgキャラクタアニメーション作成装置
JP4886560B2 (ja) * 2007-03-15 2012-02-29 キヤノン株式会社 情報処理装置、情報処理方法
US8165345B2 (en) 2007-12-07 2012-04-24 Tom Chau Method, system, and computer program for detecting and characterizing motion
WO2010045271A1 (en) 2008-10-14 2010-04-22 Joshua Victor Aller Target and method of detecting, identifying, and determining 3-d pose of the target
GB2465792A (en) * 2008-11-28 2010-06-02 Sony Corp Illumination Direction Estimation using Reference Object
KR101013751B1 (ko) 2009-07-09 2011-02-14 주식회사 인스프리트 가상화 처리서버 및 dcd 컨텐츠를 이용한 증강현실 제공 시스템
JP5375479B2 (ja) * 2009-09-17 2013-12-25 コニカミノルタ株式会社 三次元測定システムおよび三次元測定方法

Also Published As

Publication number Publication date
EP2700040A2 (en) 2014-02-26
AR086470A1 (es) 2013-12-18
CN103477348A (zh) 2013-12-25
EP2700040B1 (en) 2019-04-10
WO2012145731A2 (en) 2012-10-26
TW201243387A (en) 2012-11-01
ES2729102T3 (es) 2019-10-30
US20120268491A1 (en) 2012-10-25
JP2014513836A (ja) 2014-06-05
JP5961249B2 (ja) 2016-08-02
WO2012145731A3 (en) 2013-01-17
KR101848959B1 (ko) 2018-05-28
KR20140013034A (ko) 2014-02-04
CN103477348B (zh) 2017-11-17
EP2700040A4 (en) 2014-10-15
US8817046B2 (en) 2014-08-26

Similar Documents

Publication Publication Date Title
TWI533027B (zh) 色彩頻道及光學標誌
US9940720B2 (en) Camera and sensor augmented reality techniques
US9613463B2 (en) Augmented reality extrapolation techniques
JP6425780B1 (ja) 画像処理システム、画像処理装置、画像処理方法及びプログラム
US10089794B2 (en) System and method for defining an augmented reality view in a specific location
CN106355153A (zh) 一种基于增强现实的虚拟对象显示方法、装置以及系统
US20160148429A1 (en) Depth and Chroma Information Based Coalescence of Real World and Virtual World Images
CN104808956A (zh) 用于控制显示的系统和方法
RU2019112864A (ru) Способы, устройства и поток для обеспечения указания отображения всенаправленных изображений
KR20150072954A (ko) 증강현실 서비스를 제공하는 방법 및 장치
Prochazka et al. Augmented reality implementation methods in mainstream applications
KR20180032059A (ko) 3차원 컨텐츠 제공 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
CN109934873B (zh) 标注图像获取方法、装置及设备
KR20100097297A (ko) 마커를 사용하지 않는 증강공간 제공 장치
KR101850134B1 (ko) 3차원 동작 모델 생성 방법 및 장치
KR100943451B1 (ko) Tiff 포맷을 이용한 dem―tiff정사영상 제작 시스템 및 그 방법
JP2017058657A (ja) 情報処理装置、制御方法、コンピュータプログラム及び記憶媒体
JP6885402B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
KR101100036B1 (ko) 코드 타입 마커
KR102219345B1 (ko) 3차원 블록 정보 생성 방법 및 시스템
JP2015226219A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2019061684A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
Acharya IMAGE TAGGED INTUITIVE AUGMENTED REALITY

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees