[go: up one dir, main page]

JP5724544B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
JP5724544B2
JP5724544B2 JP2011078076A JP2011078076A JP5724544B2 JP 5724544 B2 JP5724544 B2 JP 5724544B2 JP 2011078076 A JP2011078076 A JP 2011078076A JP 2011078076 A JP2011078076 A JP 2011078076A JP 5724544 B2 JP5724544 B2 JP 5724544B2
Authority
JP
Japan
Prior art keywords
image
processed
input
input image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011078076A
Other languages
English (en)
Other versions
JP2012212346A (ja
Inventor
俊一 笠原
俊一 笠原
健 宮下
健 宮下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2011078076A priority Critical patent/JP5724544B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN2012100805340A priority patent/CN102737405A/zh
Priority to EP12161101.6A priority patent/EP2509048B1/en
Priority to US13/431,502 priority patent/US9443348B2/en
Publication of JP2012212346A publication Critical patent/JP2012212346A/ja
Application granted granted Critical
Publication of JP5724544B2 publication Critical patent/JP5724544B2/ja
Priority to US15/239,235 priority patent/US9715743B2/en
Priority to US15/635,813 priority patent/US10360696B2/en
Priority to US16/511,813 priority patent/US11195307B2/en
Priority to US17/543,089 priority patent/US20220092830A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。
昨今、テキスト、図形、記号又はイメージなどの形式で表現される様々な情報が実世界に存在している。これら情報は、通常、その正面から視認されることを前提として表現される。
例えば、下記特許文献１は、自動車の周辺に存在する道路標識の文字を認識して運転を支援するための技術を開示している。かかる技術においても、看板の文字は、正面から撮像されることを前提としている。情報を視覚的に読み取る際に当該情報を正面から視認することが望ましい点は、情報を読み取る主体が人間であってもコンピュータであっても同様である。
特開２０１０−２０２０１８号公報
しかしながら、実世界において、多くの物体は、情報の読み手の位置とは無関係に配置される。従って、情報を表現する物体の面を簡易に読み手の方向に向けることができれば有益である。
本開示によれば、実空間を映す入力画像を取得する画像取得部と、前記入力画像に映る物体の姿勢を認識する認識部と、前記認識部により認識された前記物体の基準面が前記入力画像の撮像面に対応するように加工された加工画像を、前記入力画像から生成する生成部と、前記生成部により生成された前記加工画像を表示装置に表示させる表示制御部と、を備える画像処理装置が提供される。
また、本開示によれば、実空間を映す入力画像を取得するステップと、前記入力画像に映る物体の姿勢を認識するステップと、認識された前記物体の基準面が前記入力画像の撮像面に対応するように加工された加工画像を、前記入力画像から生成するステップと、生成された前記加工画像を表示装置に表示させるステップと、を含む画像処理方法が提供される。
また、本開示によれば、画像処理装置を制御するコンピュータを、実空間を映す入力画像を取得する画像取得部と、前記入力画像に映る物体の姿勢を認識する認識部と、前記認識部により認識された前記物体の基準面が前記入力画像の撮像面に対応するように加工された加工画像を、前記入力画像から生成する生成部と、前記生成部により生成された前記加工画像を表示装置に表示させる表示制御部と、として機能させるためのプログラムが提供される。
本明細書で開示される技術によって、情報を表現する物体の面を簡易に読み手の方向に向けることが可能となる。
一実施形態に係る画像処理装置の概要について説明するための説明図である。 一実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。 一実施形態に係る画像処理装置の論理的機能の構成の一例を示すブロック図である。 画像認識部による認識の結果の一例について説明するための説明図である。 生成部による正対画像の生成手法の第１の例について説明するための第１の説明図である。 生成部による正対画像の生成手法の第１の例について説明するための第２の説明図である。 生成部による正対画像の生成手法の第２の例について説明するための説明図である。 一実施形態に係る画像処理装置により表示される入力画像の一例を示す説明図である。 図７に例示した入力画像の加工について説明するための第１の説明図である。 図７に例示した入力画像の加工について説明するための第２の説明図である。 図７に例示した入力画像から生成される正対画像の一例を示す説明図である。 図１０に例示した正対画像に関連する仮想オブジェクトの操作の一例について説明するための説明図である。 一実施形態に係る画像処理装置による処理の流れの一例を示すフローチャートである。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下の順序で説明を行う。
１．概要
２．一実施形態に係る画像処理装置の構成例
２−１．ハードウェア構成
２−２．機能構成
３．表示される画像の例
４．処理の流れ
５．まとめ
＜１．概要＞
図１は、本明細書で開示する技術の一実施形態の概要について説明するための説明図である。図１を参照すると、実空間１内でユーザにより携帯されている画像処理装置１００が示されている。
画像処理装置１００は、実空間を撮像した画像を画面上に表示する装置である。画像処理装置１００は、例えば、スマートフォン、ＰＤＡ（Personal Digital Assistant）、ゲーム端末又は携帯用音楽プレーヤなどの端末装置であってもよく、ＰＣ（Personal Computer）又はワークステーションなどの情報処理装置であってよい。
実空間１は、画像処理装置１００が利用され得る空間の一例である。実空間１内には、物体１２ａ及び１２ｂが存在する。物体１２ａは、案内用の看板である。物体１２ａには、シンボルマーク１３ａが付されている。物体１２ｂは、情報表示用の掲示板である。画像処理装置１００は、このような実空間１を撮像した画像を取得し、取得した画像を画像処理装置１００の画面上に表示する。ここで、物体１２ａ及び１２ｂの正面は、必ずしも画像を撮像する装置の光軸方向に一致していない。従って、撮像された画像をそのまま画面上に表示すると、当該画像に映る情報（例えば、物体１２ａに描かれている情報、又は物体１２ｂにより掲示されている情報）をユーザが正しく読み取ることができない可能性がある。そこで、本実施形態に係る画像処理装置１００は、次節より詳しく説明するように、画像に映る物体の基準面が撮像面に対応するように画像を加工して、画像に映る情報の視認性を向上させる。
＜２．一実施形態に係る画像処理装置の構成例＞
［２−１．ハードウェア構成］
図２は、本実施形態に係る画像処理装置１００のハードウェア構成の一例を示すブロック図である。図２を参照すると、画像処理装置１００は、撮像部１０２、センサ部１０４、入力部１０６、記憶部１０８、表示部１１２、通信部１１４、バス１１８及び制御部１２０を備える。
（撮像部）
撮像部１０２は、画像を撮像するカメラモジュールである。撮像部１０２は、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を用いて実空間を撮像し、撮像画像を生成する。撮像部１０２は、映像入力のための撮像回路と静止画入力のための撮像回路の双方又はいずれか一方のみを有していてもよい。
（センサ部）
センサ部１０４は、画像処理装置１００の位置及び姿勢の認識を支援し、又は画像処理装置１００への一部のユーザ入力を検出するセンサ群である。例えば、センサ部１０４は、ＧＰＳ（Global Positioning System）信号を受信して画像処理装置１００の緯度、経度及び高度を測定するＧＰＳセンサを含んでもよい。また、センサ部１０４は、無線アクセスポイントから受信される無線信号の強度に基づいて画像処理装置１００の位置を測定する測位センサを含んでもよい。また、センサ部１０４は、画像処理装置１００の３軸加速度を測定する加速度センサ又は傾き角を測定するジャイロセンサなどのモーションセンサを含んでもよい。
（入力部）
入力部１０６は、ユーザが画像処理装置１００を操作し又は画像処理装置１００へ情報を入力するために使用される入力デバイスである。入力部１０６は、典型的には、表示部１１２の画面上へのユーザによるタッチを検出するタッチセンサを含む。その代わりに（又はそれに加えて）、入力部１０６は、マウス若しくはタッチパッドなどのポインティングデバイス、画像に映るユーザのジェスチャを認識するジェスチャ認識モジュール、又はＨＭＤ（Head Mounted Display）を装着したユーザの視線方向を検出する視線検出モジュールを含んでもよい。さらに、入力部１０６は、キーボード、キーパッド、ボタン又はスイッチなどのその他の種類の入力デバイスを含んでもよい。
（記憶部）
記憶部１０８は、半導体メモリ又はハードディスクなどの記憶媒体により構成され、画像処理装置１００による処理のためのプログラム及びデータを記憶する。記憶部１０８により記憶されるデータには、例えば、撮像部１０２により生成される画像データ及びセンサ部１０４により生成されるセンサデータが含まれ得る。また、記憶部１０８により記憶されるデータには、例えば、画像に映る物体の認識の際に用いられるモデルデータも含まれ得る。
（表示部）
表示部１１２は、ＬＣＤ（Liquid Crystal Display）、ＯＬＥＤ（Organic light-Emitting Diode）又はＣＲＴ（Cathode Ray Tube）などにより構成される表示モジュールである。表示部１１２は、例えば、撮像部１０２により撮像される画像、又は制御部１２０において加工される画像を画面上に表示する。
（通信部）
通信部１１４は、画像処理装置１００による他の装置との間の通信を仲介する通信インタフェースである。通信部１１４は、任意の無線通信プロトコル又は有線通信プロトコルをサポートし、他の装置との間の通信接続を確立する。
（バス）
バス１１８は、撮像部１０２、センサ部１０４、入力部１０６、記憶部１０８、表示部１１２、通信部１１４及び制御部１２０を相互に接続する。
（制御部）
制御部１２０は、ＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）などのプロセッサに相当する。制御部１２０は、記憶部１０８又は他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する画像処理装置１００の様々な機能を動作させる。
［２−２．機能構成］
図３は、図２に示した画像処理装置１００の記憶部１０８及び制御部１２０により実現される論理的機能の構成の一例を示すブロック図である。図３を参照すると、画像処理装置１００は、画像取得部１３０、フレームメモリ１３２、モデルデータベース（ＤＢ）１３８、画像認識部１４０、検出部１５０、生成部１６０、画像ＤＢ１６２及び表示制御部１７０を含む。
（１）画像取得部
画像取得部１３０は、実空間を映した画像を入力画像として取得する。画像取得部１３０は、例えば、撮像部１０２からの映像入力の最新のフレームを入力画像として取得してもよい。また、画像取得部１３０は、記憶部１０８により記憶されている過去に撮像された映像入力の各フレーム又はスナップショットとして撮像された静止画を入力画像として取得してもよい。画像取得部１３０は、取得した入力画像を画像認識部１４０へ出力する。
（２）モデルＤＢ
モデルＤＢ１３８は、画像処理装置１００が認識の対象とする物体の形状又は外観に関するモデルデータを予め蓄積しているデータベースである。本実施形態において、画像処理装置１００による認識の対象は、典型的には、看板、案内板、掲示板、ポスター、スクリーン又は交通標識などの、何らかの情報が表現される面を有する物体である。モデルデータは、これら物体の形状を定義するデータを含んでもよい。また、モデルデータは、これら物体に付される所定のシンボルマーク又はテキストラベルなどの画像データを含んでもよい。また、モデルデータは、これら物体についての既知の画像から抽出された特徴量セットのデータを含んでもよい。
（３）画像認識部
画像認識部１４０は、画像取得部１３０から入力される入力画像にどの物体が映っているか、並びに入力画像に映っている物体の３次元的な位置及び姿勢を認識する。画像認識部１４０により認識される物体の位置及び姿勢は、典型的には、入力画像を撮像した装置の撮像面に対する相対的な位置及び姿勢である。画像認識部１４０は、例えば、入力画像から抽出される特徴点のセットをモデルデータにより定義され得る物体の形状と照合してもよい。また、画像認識部１４０は、モデルデータにより定義され得るシンボルマーク又はテキストラベルなどの画像データを入力画像と照合してもよい。また、画像認識部１４０は、モデルデータにより定義され得る既知の物体の画像の特徴量を入力画像から抽出される特徴量と照合してもよい。いずれの場合にも、画像認識部１４０は、所定の閾値よりも良好な照合スコアを示す物体が、当該照合スコアに対応する位置及び姿勢で入力画像に映っていると認識することができる。また、画像認識部１４０は、モデルデータを用いることなく、入力画像に現れる四角形のパターンを、何らかの矩形パターンを有する物体であると簡易に認識してもよい。
図４は、画像認識部１４０による認識の結果の一例について説明するための説明図である。図４を参照すると、画像認識部１４０へ入力される一例としての入力画像Ｉｍ０が示されている。そして、画像認識部１４０による画像認識の結果として、入力画像Ｉｍ０に映る物体１２ａの位置Ｘａ及び姿勢Ｗａ、並びに物体１２ｂの位置Ｘｂ及び姿勢Ｗｂが認識されている。各物体の位置Ｘは、３次元のグローバル座標系（ｘ，ｙ，ｚ）によって、各物体の基準点（例えば、モデル座標系の原点）の位置として与えられ得る。グローバル座標系は、例えば、画像処理装置１００の位置を原点とする相対的な位置座標を表す座標系であってもよい。その代わりに、グローバル座標系は、実空間内に固定的に定義される座標系であってもよい。各物体の姿勢Ｗは、グローバル座標系を基準とした各物体の回転を表す回転行列又はクォータニオン（四元数）として与えられ得る。なお、本明細書では、説明の簡明さのために各物体の位置Ｘ及び姿勢Ｗを別個の変量として説明する。しかしながら、各物体の位置Ｘ及び姿勢Ｗは、グローバル座標系と各物体のモデル座標系との間の変換を表す４行４列の１つの同次変換行列によって統合的に表現されてもよい。その場合には、各物体の位置Ｘ及び姿勢Ｗは、１つの同次変換行列から必要に応じて抽出され、用いられる。画像認識部１４０は、このように認識した入力画像に映る各物体の識別子、位置及び姿勢を、生成部１６０及び表示制御部１７０へ出力する。
（４）検出部
検出部１５０は、ユーザ入力を検出し、ユーザ入力情報を生成部１６０へ出力する。検出部１５０により検出されるユーザ入力は、例えば、図２に示した入力部１０６のタッチセンサへの様々なタッチ入力（例えば、タッチ、タップ、ダブルタップ、ドラッグ、フリック、ピンチイン及びピンチアウトなど）を含み得る。また、検出部１５０により検出されるユーザ入力は、例えば、図２に示したセンサ部１０４のセンサ群により測定される画像処理装置１００の動き（例えば、傾き又は揺れなど）をも含み得る。
本実施形態において、検出部１５０により検出される第１のユーザ入力は、通常表示モードから正対表示モードへの移行のトリガを意味する。通常表示モードでは入力画像が表示装置により表示されるのに対し、正対表示モードでは、後に説明する生成部１６０により生成される画像が表示される。検出部１５０により検出される第２のユーザ入力は、正対表示モードの終了を意味する。正対表示モードが終了すると、画像処理装置１００の状態は通常表示モードに復帰し、入力画像が再び表示される。第１のユーザ入力及び第２のユーザ入力は、上述した様々な種類のユーザ入力の任意の組合せであってよい。
（５）生成部
生成部１６０は、正対表示モードにおいて、画像認識部１４０により認識される物体の基準面が入力画像を撮像した装置の撮像面に対応するように入力画像を加工することにより、加工画像を生成する。第１の面が第２の面に「対応する」とは、例えば第１の面が第２の面と略平行となることをいう。以下の説明では、物体の基準面は当該物体の正面であり、上記加工画像は物体の正面が撮像面に正対するように加工された正対画像である例に主に言及する。物体が何らかの情報を表現する面を有する場合には、その面の法線方向が当該物体の正面であってよい。図４の例から理解されるように、物体の姿勢が決定されれば、当該物体の正面の方向を姿勢に基づいて決定することができる。但し、かかる例に限定されず、物体の基準面は、物体の側面、上面、背面、底面又は斜めの方角から見た面などであってもよい。物体の基準面は、例えば、物体固有のモデル座標系を用いてモデルデータ内で予め定義されてもよい。
（５−１）正対画像の生成手法
上述したように、本実施形態において、画像認識部１４０により認識される物体の多くは、その形状又は外観に矩形のパターンを有する略平面状の物体である。但し、物体の正面が撮像面に正対していない状態では、物体の矩形パターンは、画像内で長方形以外の四角形の形状を示す。生成部１６０は、そのような物体の矩形パターンが正対画像内で略長方形となるように正対画像を生成する。以下、図５及び図６を用いて、生成部１６０による正対画像の生成手法の２つの例を説明する。
第１の手法は、画像処理装置１００が３次元レンダリングを用いることを前提としている。３次元レンダリングにおいては、３次元的に定義される物体（モデル）の形状と仮想的な視点（カメラ位置）とに基づいて、物体の仮想的なグラフィックを表示することができる。そこで、第１の手法では、生成部１６０は、３次元レンダリングにおける視点が物体の正面方向に位置するように上記視点又は認識された物体を３次元回転させることにより、正対画像を生成する。
図５Ａ及び図５Ｂは、正対画像の生成手法の第１の例について説明するための説明図である。図５Ａの左には、入力画像に映る物体１２と画像処理装置１００の撮像面１０３との位置関係が概念的に示されている。３次元レンダリングの視点は、撮像面１０３の背後に位置する。Ｘ１及びＷ１は、それぞれ、撮像面１０３に対する物体１２の相対的な位置及び姿勢を表す。位置Ｘ１及び姿勢Ｗ１は、画像認識部１４０による認識の結果として取得される。生成部１６０は、このような３次元レンダリングの仮想的な空間内で、姿勢Ｗ１に対応する回転量αだけ視点の位置を回転移動させる。それにより、物体１２の正面に視点が位置することになり、レンダリングによって正対画像を生成することができる。
図５Ｂの左には、図５Ａと同様の物体１２と画像処理装置１００の撮像面１０３との位置関係が再び示されている。生成部１６０は、このような３次元レンダリングの仮想的な空間内で、姿勢Ｗ１に対応する回転量αだけ物体１２を回転させてもよい。この場合にも、物体１２の正面に視点が位置することになり、レンダリングによって正対画像を生成することができる。その結果、物体１２の正面の矩形パターンが、正対画像において略長方形となるように表示され得る。
第２の手法において、生成部１６０は、認識された物体に対応する入力画像内の部分領域に２次元的なアフィン変換を適用することにより、正対画像を生成する。図６を参照すると、物体１２の正面の矩形のパターンが入力画像内で歪んで映っている様子が示されている。ここで、物体１２の平面内の２つの基底ベクトルをｘｅ及びｙｅとする。また、撮像面内で互いに直交する２つの基底ベクトルをｘ´ｅ及びｙ´ｅとする。すると、物体１２に対応する部分領域が長方形となるように当該部分領域を変形させるためのアフィン変換の変換行列Ｍｔｒａｎｓを、次式によって導くことができる：
Figure 0005724544
生成部１６０は、かかる変換行列Ｍｔｒａｎｓを用いて物体１２に対応する入力画像内の部分領域の各画素の画素位置を正対画像内の加工後の画素位置にマッピングすることにより、正対画像を生成することができる。図６の例では、入力画像内の部分領域の画素位置Ｐ０が変換行列Ｍｔｒａｎｓによって正対画像内の画素位置Ｐ０´にマッピングされる様子が示されている。
なお、上述した第１の手法及び第２の手法は、物体の基準面が物体の正面以外の面である場合にも適用可能である。また、第１の手法及び第２の手法のいずれにおいても、生成部１６０は、正対画像における物体１２の大きさを、物体１２により表現される情報が当該情報を読み取るために適した大きさとなるように拡大（又は縮小）してもよい。
また、生成部１６０は、正対させる対象の物体の入力画像から正対画像への加工量に応じて、上記部分領域の周辺領域をも加工してよい。第１の手法においては、物体の入力画像から正対画像への加工量とは、３次元レンダリングにおける視点又は物体の３次元回転の回転量を意味する。第２の手法においては、物体の入力画像から正対画像への加工量とは、上記変換行列Ｍｔｒａｎｓ による画素位置の平行移動及び回転の量を意味する。このような加工が行われると、周辺領域の画像に歪みは生じるものの、入力画像に映る物体とその周辺との見た目における連続性が正対画像においても維持される。それにより、ユーザは、入力画像に映るどの物体が加工されたのかを容易に理解することができる。
また、生成部１６０は、正対画像においても物体により表現される情報の読み取りが困難であると予測される場合には、当該物体の部分領域の画像を他の画像に差し替えてもよい。例えば、画像ＤＢ１６２は、画像処理装置１００による認識の対象となる各物体を正面から高解像度で撮像した画像を、各物体の識別子と関連付けて予め記憶する。それにより、生成部１６０は、画像認識部１４０から入力される物体の識別子を用いて当該物体に関連する画像を画像ＤＢ１６２から取得し、上記部分領域の画像を取得した画像に差し替えることができる。
（５−２）対象物体の特定
図４に例示したように、入力画像内で複数の物体が認識される可能性がある。その場合、生成部１６０は、いずれの物体を正対させるかを、ユーザによる明示的な指定に従って決定してもよい。物体の指定は、例えば、物体と関連付けられる判定領域に対するタッチセンサ上のタッチ又はポインティングデバイスを用いたクリックなどによって行われ得る。また、生成部１６０は、物体の基準面の撮像面に対する角度が最も大きい物体又は入力画像内の部分領域の大きさが最も大きい物体を、正対させる対象の物体として特定してもよい。また、生成部１６０は、入力画像内の複数の物体の全てを正対画像において撮像面に正対させてもよい。
（６）表示制御部
表示制御部１７０は、通常表示モードにおいては、表示部１１２の画面上に入力画像を表示させる。また、表示制御部１７０は、正対表示モードにおいては、生成部１６０により生成される正対画像を表示部１１２の画面上に表示させる。
通常表示モードから正対表示モードへの移行のトリガは、上述した第１のユーザ入力の検出であってもよい。第１のユーザ入力は、例えば、タッチセンサへの所定のタッチ入力又はモーションセンサにより感知される画像処理装置１００の所定の動きを含み得る。また、表示制御部１７０は、次のいずれかの条件が満たされた場合に、正対表示モードへ移行してもよい：
ａ）入力画像に映る物体の基準面の撮像面に対する角度が所定の閾値を上回る
ｂ）認識された物体に対応する入力画像内の部分領域の大きさが所定の閾値を下回る
これら条件が満たされる場合には、各物体により表現される情報の読み取りが困難となっていることが示唆される。そのため、ユーザ入力がなくとも、各条件が満たされる場合に情報の読み取りに適した正対画像を自動的に表示することが有益である。
また、表示制御部１７０は、正対表示モードにおいて第２のユーザ入力が検出された場合には、正対画像の表示を終了し、通常表示モードに復帰する。第２のユーザ入力は、第１のユーザ入力と同じ種類のユーザ入力であってもよく、第１のユーザ入力と異なる種類のユーザ入力であってもよい。また、表示制御部１７０は、正対表示モードへの移行から所定の時間が経過した場合に、通常表示モードに復帰してもよい。
通常表示モードから正対表示モードへの移行の際、表示制御部１７０は、入力画像が加工画像に徐々に変化していくようなアニメーションを表示装置に表示させてもよい。当該アニメーションは、例えば、対象の物体の基準面が撮像面に徐々に正対していくようなアニメーションである。その場合には、入力画像と正対画像との間で物体の姿勢が徐々に変化していく複数の中間的な画像が生成部１６０により生成され、表示制御部１７０は、それら中間的な画像を順次表示装置に表示させる。それにより、入力画像と正対画像との間の、ユーザに感知される連続性が強化される。従って、ユーザは、入力画像に映るどの物体が加工されたのかを直感的かつ容易に理解することができる。
また、表示制御部１７０は、正対表示モードにおいて、撮像面に正対するように表示された対象物体に関連する仮想オブジェクトをさらに画面上に表示させ、当該仮想オブジェクトをユーザにより操作可能としてもよい。ここでの仮想オブジェクトは、いわゆる拡張現実（ＡＲ：Augmented Reality）のアノテーションであってよく、各物体に関連する情報コンテンツ（例えば、ナビゲーション情報、広告情報、店舗情報又はニュースなど）を表現するオブジェクトを含み得る。例えば、表示制御部１７０は、検出部１５０により仮想オブジェクトに対する第３のユーザ入力が検出された場合に、仮想オブジェクトの状態を変化させる。仮想オブジェクトの状態とは、仮想オブジェクトの位置、姿勢、サイズ又はスクロール位置などを含み得る（例えば、仮想オブジェクトがドラッグされた場合には情報コンテンツをスクロールさせ、仮想オブジェクトがピンチアウトされた場合には情報コンテンツを拡大する、など）。本実施形態では、物体により表現される情報の視認性が正対画像の表示によって高められるため、当該物体と関連する仮想オブジェクトの操作もまた、ユーザにとってより容易となる。
＜３．表示される画像の例＞
次に、図７〜図１１を用いて、本実施形態において表示され得る画像の例を説明する。
図７を参照すると、画像処理装置１００の画面上に入力画像Ｉｍ１ａが表示されている。入力画像Ｉｍ１ａには、物体１２ｄ及び物体１２ｅが映っている。画像処理装置１００の画像認識部１４０は、入力画像Ｉｍ１ａに物体１２ｄ及び物体１２ｅが映っていること、並びに各物体の位置及び姿勢を認識する。このような状況において、検出部１５０により、正対画像の表示のトリガとなる第１のユーザ入力（例えば、物体１２ｄの判定領域のユーザによるタップ）が検出されたものとする。すると、生成部１６０は、物体１２ｄの正面が撮像面に正対するように加工された正対画像を生成する。
図８を参照すると、入力画像Ｉｍ１ａ内で認識される物体１２ｄの部分領域が、枠１３ｄで囲まれている。物体１２ｄの部分領域は、図中で斜線の網掛けにより示されている矩形パターン１４ｄを含む。生成部１６０は、かかる物体１２ｄの矩形パターン１４ｄが正対画像内で略長方形となるように正対画像を生成する。図９を参照すると、入力画像Ｉｍ１ａから生成される正対画像Ｉｍ１ｂ内の物体１２ｄの部分領域を囲む枠１３ｄ及び矩形パターン１４ｄが示されている。矩形パターン１４ｄは、正対画像Ｉｍ１ｂ内で略長方形となっている。また、本実施形態では、生成部１６０は、正対させる対象の物体の部分領域のみならず、当該部分領域の周辺領域をも加工する。図９の例では、枠１３ｄに囲まれた物体１２ｄの部分領域のみならず、物体１２ｅが映る周辺領域も加工されていることが示されている。
図１０を参照すると、画像処理装置１００の画面上に生成部１６０により生成された正対画像Ｉｍ１ｂが表示されている。ユーザは、かかる正対画像Ｉｍ１ｂを参照することで、物体１２ｄにより表現されている情報を物体１２ｄの正面から視認することができる。
また、画像処理装置１００の表示制御部１７０は、正対画像が表示されている状態において、撮像面に正対した物体に関連する仮想オブジェクトを正対画像に重畳して表示させ得る。さらに、当該仮想オブジェクトは、ユーザにより操作可能であってよい。図１１を参照すると、図１０に例示した正対画像Ｉｍ１ｂに映る物体１２ｄに、仮想オブジェクト１５ｄが重畳されている。そして、図１１には、例えばユーザが画面上で仮想オブジェクト１５ｄをドラッグすることで、仮想オブジェクト１５ｄが左方向へスクロールする様子が示されている。なお、正対画像に重畳される仮想オブジェクトは、より高解像度の物体画像、情報量が追加された物体画像、又は物体と関連する何らかの情報を表現するテキスト、アイコン若しくは画像などであってよい。
＜４．処理の流れ＞
図１２は、本実施形態に係る画像処理装置１００による処理の流れの一例を示すフローチャートである。なお、図１２に示した処理の開始時において、画像処理装置１００は、通常表示モードの状態にあるものとする。
図１２を参照すると、まず、画像取得部１３０は、実空間を映した画像を入力画像として取得する（ステップＳ１０２）。次に、画像認識部１４０は、画像取得部１３０により取得された入力画像にどの物体が映っているか、並びに入力画像に映っている物体の３次元的な位置及び姿勢を認識する（ステップＳ１０４）。
次に、表示制御部１７０は、正対表示モードへの移行のトリガが検出されたか否かを判定する（ステップＳ１０６）。正対表示モードへのトリガが検出されていない場合には、表示制御部１７０は、画像取得部１３０により取得された入力画像を画面上に表示させる（ステップＳ１０８）。このとき、表示制御部１７０は、何らかの仮想オブジェクトを入力画像に重畳してもよい。例えば、画像認識部１４０により認識された物体の位置及び姿勢を示す（例えば、図８の枠１３ｄのような）補助的な仮想オブジェクト、又は各物体の上述した判定領域を示す補助的な仮想オブジェクトが入力画像に重畳され得る。そして、処理はステップＳ１０２へ戻る。
ステップＳ１０６において正対表示モードへの移行のトリガが検出された場合には、処理はステップＳ１１０へ進む。ステップＳ１１０では、生成部１６０は、ユーザによる明示的な指定、又は入力画像内での各物体の大きさ若しくは姿勢に応じて、入力画像に映るいずれの物体を正対させるかを決定する（ステップＳ１１０）。そして、生成部１６０は、決定した物体の基準面（例えば正面）が撮像面に正対するように入力画像を加工することにより、正対画像を生成する（ステップＳ１１２）。そして、表示制御部１７０は、生成部１６０により生成された正対画像を画面上に表示させる（ステップＳ１１４）。
その後、正対表示モードの終了のトリガ（例えば、上述した第２のユーザ入力又は所定の時間の経過など）が検出されると、画像処理装置１００の状態は通常表示モードに復帰し、処理はステップＳ１０２へ戻る（ステップＳ１１６）。
＜５．まとめ＞
ここまで、図１〜図１２を用いて、本技術の一実施形態について詳細に説明した。上述した実施形態によれば、入力画像に映る物体の基準面が撮像面に対応するように入力画像が加工され、加工画像が表示される。従って、実世界において何らかの情報を表現する物体の基準面を簡易に読み手の方向に向けることが可能となる。加工画像の表示は、画面へのタッチ又は端末の動きなどをトリガとして行われ得る。また、物体により表現される情報の視認性が加工画像の表示によって高められるため、加工画像に映る物体と関連付けて表示される仮想オブジェクト（例えば、ＡＲアプリケーションのアノテーション）の操作もまたユーザにとってより容易となる。
また、本実施形態によれば、認識された物体の基準面の撮像面に対する角度が所定の閾値を上回る場合、又は当該物体に対応する入力画像内の部分領域の大きさが所定の閾値を下回る場合にも、上記加工画像が表示され得る。従って、各物体により表現される情報の読み取りが困難となっている状況において、ユーザ入力を待つことなく、情報の読み取りに適した画像を迅速にユーザに提供することも可能である。
また、本実施形態によれば、上記加工画像が生成される際に、上記物体に対応する部分領域のみならず、当該部分領域の周辺領域もまた上記物体と同様に加工される。従って、入力画像に映る物体とその周辺との見た目における連続性が加工画像においても維持される。それにより、ユーザは、入力画像に映るどの物体が加工されたのかを容易に理解することができる。
本明細書において説明した画像処理装置１００による処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random Access Memory）に読み込まれ、ＣＰＵなどのプロセッサにより実行される。
なお、本実施形態では、主に画像処理装置１００の表示部１１２の画面上に加工画像が表示される例について説明した。しかしながら、他の実施形態として、ユーザにより携帯される端末装置から入力画像を受信する画像処理装置において、入力画像に映る物体の姿勢の認識結果に基づき、入力画像から加工画像が生成されてもよい。その場合には、生成された加工画像が当該画像処理装置から端末装置へ送信され、端末装置の画面上に加工画像が表示され得る。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、本技術は以下のような構成も取ることができる。
（１）
実空間を映す入力画像を取得する画像取得部と、
前記入力画像に映る物体の姿勢を認識する認識部と、
前記認識部により認識された前記物体の基準面が前記入力画像の撮像面に対応するように加工された加工画像を、前記入力画像から生成する生成部と、
前記生成部により生成された前記加工画像を表示装置に表示させる表示制御部と、
を備える画像処理装置。
（２）
前記基準面は、前記物体の正面であり、
前記加工画像は、前記物体の正面が前記撮像面に正対するように加工された正対画像である、
前記（１）に記載の画像処理装置。
（３）
前記物体は、矩形パターンを有する略平面状の物体であり、
前記正対画像は、前記矩形パターンが略長方形となるように加工された画像である、
前記（２）に記載の画像処理装置
（４）
前記生成部は、３次元レンダリングにおける視点が前記物体の正面方向に位置するように前記視点又は前記物体を３次元回転させることにより、前記正対画像を生成する、前記（３）に記載の画像処理装置
（５）
前記生成部は、前記物体に対応する前記入力画像内の部分領域に２次元的なアフィン変換を適用することにより、前記正対画像を生成する、前記（３）に記載の画像処理装置
（６）
前記生成部は、前記物体の前記入力画像から前記正対画像への加工量に応じて、前記物体に対応する前記入力画像内の部分領域の周辺領域をも加工する、前記（４）又は前記（５）に記載の画像処理装置。
（７）
前記表示制御部は、前記物体が認識されている状態において第１のユーザ入力が検出された場合に、前記表示装置に前記加工画像を表示させる、前記（１）〜（６）のいずれか１項に記載の画像処理装置。
（８）
前記表示制御部は、前記加工画像が表示されている状態において第２のユーザ入力が検出された場合に、前記表示装置に前記入力画像を表示させる、前記（７）に記載の画像処理装置。
（９）
前記表示制御部は、前記物体の正面の前記撮像面に対する角度が所定の閾値を上回る場合に、前記表示装置に前記加工画像を表示させる、前記（１）〜（６）のいずれか１項に記載の画像処理装置。
（１０）
前記表示制御部は、前記入力画像内の前記物体に対応する部分領域の大きさが所定の閾値を下回る場合に、前記表示装置に前記加工画像を表示させる、前記（１）〜（６）のいずれか１項に記載の画像処理装置。
（１１）
前記表示制御部は、前記加工画像の表示に際して、前記入力画像が前記加工画像に徐々に変化していくようなアニメーションを前記表示装置に表示させる、前記（１）〜（１０）のいずれか１項に記載の画像処理装置。
（１２）
前記表示制御部は、前記加工画像が表示されている場合に、前記物体に関連する仮想オブジェクトを前記表示装置に表示させ、当該仮想オブジェクトをユーザにより操作可能とする、前記（１）〜（１１）のいずれか１項に記載の画像処理装置。
（１３）
実空間を映す入力画像を取得するステップと、
前記入力画像に映る物体の姿勢を認識するステップと、
認識された前記物体の基準面が前記入力画像の撮像面に対応するように加工された加工画像を、前記入力画像から生成するステップと、
生成された前記加工画像を表示装置に表示させるステップと、
を含む画像処理方法。
（１４）
画像処理装置を制御するコンピュータを、
実空間を映す入力画像を取得する画像取得部と、
前記入力画像に映る物体の姿勢を認識する認識部と、
前記認識部により認識された前記物体の基準面が前記入力画像の撮像面に対応するように加工された加工画像を、前記入力画像から生成する生成部と、
前記生成部により生成された前記加工画像を表示装置に表示させる表示制御部と、
として機能させるためのプログラム。
１００ 画像処理装置
１３０ 画像取得部
１４０ 画像認識部
１５０ 検出部
１６０ 生成部
１７０ 表示制御部

Claims (13)

  1. 実空間を映す入力画像を取得する画像取得部と、
    前記入力画像に映る物体の姿勢を認識する認識部と、
    前記認識部により認識された前記物体の基準面が前記入力画像の撮像面に対応するように加工された加工画像を、前記入力画像から生成する生成部と、
    前記生成部により生成された前記加工画像を表示装置に表示させる表示制御部と、
    を備え、
    前記表示制御部は、前記加工画像の表示に際して、前記入力画像が前記加工画像に徐々に変化していくようなアニメーションを前記表示装置に表示させる、
    画像処理装置。
  2. 前記基準面は、前記物体の正面であり、
    前記加工画像は、前記物体の正面が前記撮像面に正対するように加工された正対画像である、
    請求項１に記載の画像処理装置。
  3. 前記物体は、矩形パターンを有する略平面状の物体であり、
    前記正対画像は、前記矩形パターンが略長方形となるように加工された画像である、
    請求項２に記載の画像処理装置
  4. 前記生成部は、３次元レンダリングにおける視点が前記物体の正面方向に位置するように前記視点又は前記物体を３次元回転させることにより、前記正対画像を生成する、請求項３に記載の画像処理装置
  5. 前記生成部は、前記物体に対応する前記入力画像内の部分領域に２次元的なアフィン変換を適用することにより、前記正対画像を生成する、請求項３に記載の画像処理装置
  6. 前記生成部は、前記物体の前記入力画像から前記正対画像への加工量に応じて、前記物体に対応する前記入力画像内の部分領域の周辺領域をも加工する、請求項４に記載の画像処理装置。
  7. 前記表示制御部は、前記物体が認識されている状態において第１のユーザ入力が検出された場合に、前記表示装置に前記加工画像を表示させる、請求項１に記載の画像処理装置。
  8. 前記表示制御部は、前記加工画像が表示されている状態において第２のユーザ入力が検出された場合に、前記表示装置に前記入力画像を表示させる、請求項７に記載の画像処理装置。
  9. 前記表示制御部は、前記物体の正面の前記撮像面に対する角度が所定の閾値を上回る場合に、前記表示装置に前記加工画像を表示させる、請求項１に記載の画像処理装置。
  10. 前記表示制御部は、前記入力画像内の前記物体に対応する部分領域の大きさが所定の閾値を下回る場合に、前記表示装置に前記加工画像を表示させる、請求項１に記載の画像処理装置。
  11. 前記表示制御部は、前記加工画像が表示されている場合に、前記物体に関連する仮想オブジェクトを前記表示装置に表示させ、当該仮想オブジェクトをユーザにより操作可能とする、請求項１に記載の画像処理装置。
  12. 実空間を映す入力画像を取得するステップと、
    前記入力画像に映る物体の姿勢を認識するステップと、
    認識された前記物体の基準面が前記入力画像の撮像面に対応するように加工された加工画像を、前記入力画像から生成するステップと、
    生成された前記加工画像を表示装置に表示させるステップと、
    を含み、
    前記加工画像を前記表示装置に表示させるステップは、前記入力画像が前記加工画像に徐々に変化していくようなアニメーションを前記表示装置に表示させることを含む、
    画像処理方法。
  13. 画像処理装置を制御するコンピュータを、
    実空間を映す入力画像を取得する画像取得部と、
    前記入力画像に映る物体の姿勢を認識する認識部と、
    前記認識部により認識された前記物体の基準面が前記入力画像の撮像面に対応するように加工された加工画像を、前記入力画像から生成する生成部と、
    前記生成部により生成された前記加工画像を表示装置に表示させる表示制御部と、
    として機能させ、
    前記表示制御部は、前記加工画像の表示に際して、前記入力画像が前記加工画像に徐々に変化していくようなアニメーションを前記表示装置に表示させる、
    プログラム。
JP2011078076A 2011-03-31 2011-03-31 画像処理装置、画像処理方法及びプログラム Active JP5724544B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2011078076A JP5724544B2 (ja) 2011-03-31 2011-03-31 画像処理装置、画像処理方法及びプログラム
CN2012100805340A CN102737405A (zh) 2011-03-31 2012-03-23 图像处理设备、图像处理方法和程序
EP12161101.6A EP2509048B1 (en) 2011-03-31 2012-03-23 Image processing apparatus, image processing method, and program
US13/431,502 US9443348B2 (en) 2011-03-31 2012-03-27 Image processing apparatus, image processing method, and program
US15/239,235 US9715743B2 (en) 2011-03-31 2016-08-17 Image processing apparatus, image processing method, and program
US15/635,813 US10360696B2 (en) 2011-03-31 2017-06-28 Image processing apparatus, image processing method, and program
US16/511,813 US11195307B2 (en) 2011-03-31 2019-07-15 Image processing apparatus, image processing method, and program
US17/543,089 US20220092830A1 (en) 2011-03-31 2021-12-06 Image processing apparatus, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011078076A JP5724544B2 (ja) 2011-03-31 2011-03-31 画像処理装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2012212346A JP2012212346A (ja) 2012-11-01
JP5724544B2 true JP5724544B2 (ja) 2015-05-27

Family

ID=46026620

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011078076A Active JP5724544B2 (ja) 2011-03-31 2011-03-31 画像処理装置、画像処理方法及びプログラム

Country Status (4)

Country Link
US (5) US9443348B2 (ja)
EP (1) EP2509048B1 (ja)
JP (1) JP5724544B2 (ja)
CN (1) CN102737405A (ja)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5741160B2 (ja) * 2011-04-08 2015-07-01 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
KR101873525B1 (ko) * 2011-12-08 2018-07-03 삼성전자 주식회사 휴대단말기의 콘텐츠 표시장치 및 방법
CN104870063B (zh) * 2012-11-16 2018-05-04 索尼电脑娱乐美国公司 用于云处理和叠加远程处理应用的流式视频帧上的内容的系统和方法
US10175050B2 (en) * 2013-06-17 2019-01-08 Sony Corporation Image processing device, image processing method, and program
CN104914985A (zh) * 2014-03-13 2015-09-16 扬智科技股份有限公司 手势控制方法及系统与视频流处理装置
CN104299249B (zh) * 2014-08-20 2016-02-24 深圳大学 高鲁棒性的标志点解码方法及系统
KR101668802B1 (ko) * 2014-09-03 2016-11-09 신동윤 원거리 식별 이미지 생성 장치 및 그 동작 방법
US9953446B2 (en) * 2014-12-24 2018-04-24 Sony Corporation Method and system for presenting information via a user interface
JP6465672B2 (ja) * 2015-01-29 2019-02-06 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
US10180734B2 (en) 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
US10838207B2 (en) 2015-03-05 2020-11-17 Magic Leap, Inc. Systems and methods for augmented reality
US20160259404A1 (en) 2015-03-05 2016-09-08 Magic Leap, Inc. Systems and methods for augmented reality
CN104835200A (zh) * 2015-05-21 2015-08-12 成都绿野起点科技有限公司 一种基于增强现实技术的识别图3d重建方法
CN104835199A (zh) * 2015-05-21 2015-08-12 成都绿野起点科技有限公司 基于增强现实的3d重建方法
JP6529160B2 (ja) * 2015-05-22 2019-06-12 Kddi株式会社 Ａｒ情報表示装置
JP6491574B2 (ja) * 2015-08-31 2019-03-27 Kddi株式会社 Ａｒ情報表示装置
US10540768B2 (en) * 2015-09-30 2020-01-21 Samsung Electronics Co., Ltd. Apparatus and method to segment object from image
US10013506B2 (en) * 2015-11-20 2018-07-03 Dassault Systems Solidworks Corporation Annotating real-world objects
US10909711B2 (en) 2015-12-04 2021-02-02 Magic Leap, Inc. Relocalization systems and methods
US10120187B2 (en) * 2016-02-18 2018-11-06 Nvidia Corporation Sub-frame scanout for latency reduction in virtual reality applications
WO2017164011A1 (ja) * 2016-03-23 2017-09-28 富士フイルム株式会社 デジタルカメラ及びデジタルカメラの表示方法
US10981060B1 (en) 2016-05-24 2021-04-20 Out of Sight Vision Systems LLC Collision avoidance system for room scale virtual reality system
US20170345399A1 (en) * 2016-05-31 2017-11-30 Mediatek Inc. Method for performing display control of an electronic device in response to a user activity, and associated apparatus
US10591988B2 (en) * 2016-06-28 2020-03-17 Hiscene Information Technology Co., Ltd Method for displaying user interface of head-mounted display device
US10649211B2 (en) 2016-08-02 2020-05-12 Magic Leap, Inc. Fixed-distance virtual and augmented reality systems and methods
JP6829575B2 (ja) * 2016-10-03 2021-02-10 グローリー株式会社 画像処理装置、画像処理システム及び画像処理方法
WO2018068236A1 (zh) * 2016-10-10 2018-04-19 华为技术有限公司 一种视频流传输方法、相关设备及系统
US12229895B1 (en) * 2016-12-08 2025-02-18 Out of Sight Vision Systems LLC Virtual reality detection and projection system for use with a head mounted display
JP6470323B2 (ja) 2017-01-23 2019-02-13 ファナック株式会社 情報表示システム
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
US10769752B2 (en) 2017-03-17 2020-09-08 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
WO2018170409A1 (en) 2017-03-17 2018-09-20 Magic Leap, Inc. Mixed reality system with multi-source virtual content compositing and method of generating virtual content using same
US10762598B2 (en) 2017-03-17 2020-09-01 Magic Leap, Inc. Mixed reality system with color virtual content warping and method of generating virtual content using same
CN117711284A (zh) 2018-07-23 2024-03-15 奇跃公司 场顺序显示器中的场内子码时序
CN112513712B (zh) 2018-07-23 2023-05-09 奇跃公司 具有虚拟内容翘曲的混合现实系统和使用该系统生成虚拟内容的方法
CN109167992A (zh) * 2018-08-08 2019-01-08 珠海格力电器股份有限公司 一种图像处理方法及装置
CN110827411B (zh) * 2018-08-09 2023-07-18 北京微播视界科技有限公司 自适应环境的增强现实模型显示方法、装置、设备及存储介质
WO2020044949A1 (ja) 2018-08-29 2020-03-05 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN109635670A (zh) * 2018-11-21 2019-04-16 普联技术有限公司 人脸识别方法、装置、终端设备、移动设备及存储介质
JP7211047B2 (ja) * 2018-12-04 2023-01-24 株式会社アイシン 路面検出装置および路面検出プログラム
US10922892B1 (en) * 2019-04-30 2021-02-16 Splunk Inc. Manipulation of virtual object position within a plane of an extended reality environment
CN113301242A (zh) * 2020-02-21 2021-08-24 中兴通讯股份有限公司 拍摄方法、终端以及计算机可读存储介质
JP7019007B1 (ja) * 2020-09-28 2022-02-14 楽天グループ株式会社 照合システム、照合方法及びプログラム
US20240119661A1 (en) * 2022-10-11 2024-04-11 Scale AI, Inc. Three-dimensional perspective correction

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3800661B2 (ja) * 1996-04-23 2006-07-26 コニカミノルタフォトイメージング株式会社 デジタルカメラ
JP3558104B2 (ja) * 1996-08-05 2004-08-25 ソニー株式会社 ３次元仮想物体表示装置および方法
JP4251673B2 (ja) * 1997-06-24 2009-04-08 富士通株式会社 画像呈示装置
WO2001024518A1 (en) * 1999-09-25 2001-04-05 Koninklijke Philips Electronics N.V. User interface generation
JP2002366976A (ja) * 2001-06-08 2002-12-20 Fujitsu Ltd オブジェクト表示プログラムおよびオブジェクト表示装置
JP3743828B2 (ja) 2003-10-14 2006-02-08 カシオ計算機株式会社 電子カメラ
JP2005267457A (ja) * 2004-03-19 2005-09-29 Casio Comput Co Ltd 画像処理装置、撮影装置、画像処理方法及びプログラム
EP1866043A1 (en) * 2005-04-06 2007-12-19 Eidgenössische Technische Hochschule Zürich (ETH) Method of executing an application in a mobile device
JP4712487B2 (ja) * 2005-08-25 2011-06-29 株式会社リコー 画像処理方法及び装置、デジタルカメラ装置、並びに画像処理プログラムを記録した記録媒体
KR100947002B1 (ko) * 2005-08-25 2010-03-11 가부시키가이샤 리코 화상 처리 방법 및 장치, 디지털 카메라, 및 화상 처리프로그램을 기록한 기록 매체
JP4358870B2 (ja) 2007-02-27 2009-11-04 シャープ株式会社 画像処理装置
US20110205167A1 (en) * 2007-06-13 2011-08-25 Massengill Family Trust Brain concussion screening method & apparatus
JP5334237B2 (ja) * 2007-11-29 2013-11-06 株式会社日立製作所 埋金設置位置照合方法および埋金設置位置照合システム
US8577118B2 (en) * 2008-01-18 2013-11-05 Mitek Systems Systems for mobile image capture and remittance processing
US8379914B2 (en) * 2008-01-18 2013-02-19 Mitek Systems, Inc. Systems and methods for mobile image capture and remittance processing
JP2009210432A (ja) * 2008-03-04 2009-09-17 Alpine Electronics Inc 運転支援装置
JP2010202018A (ja) 2009-03-03 2010-09-16 Alpine Electronics Inc 運転支援装置、駐車向き提示方法、駐車向き提示プログラム
JP5108837B2 (ja) * 2009-07-13 2012-12-26 クラリオン株式会社 車両用死角映像表示システムと車両用死角映像表示方法
JP4856263B2 (ja) * 2009-08-07 2012-01-18 シャープ株式会社 撮像画像処理システム、画像出力方法、プログラムおよび記録媒体
JP5527592B2 (ja) 2009-09-03 2014-06-18 ソニー株式会社 画像処理装置および方法、並びにプログラム
KR101753801B1 (ko) * 2010-06-10 2017-07-04 엘지디스플레이 주식회사 액정 표시장치 및 구동방법
US8884984B2 (en) * 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
US20120113141A1 (en) * 2010-11-09 2012-05-10 Cbs Interactive Inc. Techniques to visualize products using augmented reality
US8576276B2 (en) * 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
JP5742399B2 (ja) * 2011-04-06 2015-07-01 富士ゼロックス株式会社 画像処理装置及びプログラム
JP5741160B2 (ja) * 2011-04-08 2015-07-01 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
US8340504B2 (en) * 2011-04-26 2012-12-25 Sony Computer Entertainment Europe Limited Entertainment device and method
US8565520B2 (en) * 2011-06-10 2013-10-22 Microsoft Corporation Determining foreground regions and background regions in an image
US9041734B2 (en) * 2011-07-12 2015-05-26 Amazon Technologies, Inc. Simulating three-dimensional features
JP5488548B2 (ja) * 2011-08-04 2014-05-14 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
WO2013023705A1 (en) * 2011-08-18 2013-02-21 Layar B.V. Methods and systems for enabling creation of augmented reality content
US9311883B2 (en) * 2011-11-11 2016-04-12 Microsoft Technology Licensing, Llc Recalibration of a flexible mixed reality device
JP5951367B2 (ja) * 2012-01-17 2016-07-13 シャープ株式会社 撮像装置、撮像画像処理システム、プログラムおよび記録媒体
US9208583B2 (en) * 2013-02-13 2015-12-08 Blackberry Limited Device with enhanced augmented reality functionality
US9430038B2 (en) * 2014-05-01 2016-08-30 Microsoft Technology Licensing, Llc World-locked display quality feedback
US10740971B2 (en) * 2015-01-20 2020-08-11 Microsoft Technology Licensing, Llc Augmented reality field of view object follower
US10134190B2 (en) * 2016-06-14 2018-11-20 Microsoft Technology Licensing, Llc User-height-based rendering system for augmented reality objects
JP6298130B2 (ja) * 2016-09-14 2018-03-20 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
WO2020039933A1 (ja) * 2018-08-24 2020-02-27 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US11727650B2 (en) * 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
US11682136B2 (en) * 2021-01-07 2023-06-20 Htc Corporation Display method, display system and non-transitory computer readable storage medium

Also Published As

Publication number Publication date
US10360696B2 (en) 2019-07-23
US9715743B2 (en) 2017-07-25
EP2509048B1 (en) 2019-02-27
US20190340790A1 (en) 2019-11-07
US11195307B2 (en) 2021-12-07
CN102737405A (zh) 2012-10-17
US20220092830A1 (en) 2022-03-24
EP2509048A3 (en) 2017-03-15
US20170301130A1 (en) 2017-10-19
US20160358343A1 (en) 2016-12-08
JP2012212346A (ja) 2012-11-01
US9443348B2 (en) 2016-09-13
EP2509048A2 (en) 2012-10-10
US20120328196A1 (en) 2012-12-27

Similar Documents

Publication Publication Date Title
JP5724544B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5724543B2 (ja) 端末装置、オブジェクト制御方法及びプログラム
AU2020202551B2 (en) Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
JP5732988B2 (ja) 画像処理装置、表示制御方法及びプログラム
JP6056178B2 (ja) 情報処理装置、表示制御方法及びプログラム
JP6121647B2 (ja) 情報処理装置、情報処理方法およびプログラム
Henrysson Bringing augmented reality to mobile phones
CN108027656B (zh) 输入设备、输入方法和程序
JP2015001875A (ja) 画像処理装置、画像処理方法、プログラム、印刷媒体及び印刷媒体のセット
US10229543B2 (en) Information processing device, information superimposed image display device, non-transitory computer readable medium recorded with marker display program, non-transitory computer readable medium recorded with information superimposed image display program, marker display method, and information-superimposed image display method
CN109448050A (zh) 一种目标点的位置的确定方法及终端
JP6065084B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2004355494A (ja) 表示インタフェース方法および装置
López et al. Multimodal sensing-based camera applications
JP2025008017A (ja) 情報処理装置、頭部装着型表示装置、電子機器、情報処理方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150316

R151 Written notification of patent or utility model registration

Ref document number: 5724544

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250