[go: up one dir, main page]

JP6582847B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP6582847B2
JP6582847B2 JP2015199693A JP2015199693A JP6582847B2 JP 6582847 B2 JP6582847 B2 JP 6582847B2 JP 2015199693 A JP2015199693 A JP 2015199693A JP 2015199693 A JP2015199693 A JP 2015199693A JP 6582847 B2 JP6582847 B2 JP 6582847B2
Authority
JP
Japan
Prior art keywords
image
display
information
virtual object
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015199693A
Other languages
English (en)
Other versions
JP2017072999A (ja
Inventor
山本 大輔
大輔 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2015199693A priority Critical patent/JP6582847B2/ja
Priority to EP16189683.2A priority patent/EP3154031A3/en
Priority to US15/278,263 priority patent/US9905053B2/en
Priority to CN201610879746.3A priority patent/CN106980361B/zh
Publication of JP2017072999A publication Critical patent/JP2017072999A/ja
Application granted granted Critical
Publication of JP6582847B2 publication Critical patent/JP6582847B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1223Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237Print job management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1278Dedicated interfaces to print systems specifically adapted to adopt a particular infrastructure
    • G06F3/1285Remote printer device, e.g. being remote from client or server
    • G06F3/1287Remote printer device, e.g. being remote from client or server via internet
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/60Rotation of whole images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/40Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which both a pattern determined by character code and another pattern are displayed simultaneously, or either pattern is displayed selectively, e.g. with character code memory and APA, i.e. all-points-addressable, memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2016Rotation, translation, scaling
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/10Special adaptations of display systems for operation with variable images
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/16Calculation or use of calculated indices related to luminance levels in display data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Architecture (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は情報処理装置、情報処理方法及びプログラムに関する。
カメラにより撮像された現実の空間を示す撮像画像に、仮想物体を合成して表示する拡張現実(AR:Aurgumented Reality)技術が従来から知られている。例えばユーザが所定の模様を含む紙等(ARマーカー)を撮像すると、当該紙とカメラとの位置関係に応じて、仮想物体を撮像画像上に立体的に表示するAR技術が知られている。撮像画像上に表示された仮想物体をユーザが参照することにより、ユーザが当該仮想物体に対応する物体を実際に配置した場合のイメージを把握することができる。
特許文献1には、現実空間に実物体を配置することなく実物体の大きさや色などといった外観と周囲環境との調和が図られた仮想現実世界をユーザに提示する複合現実感表示装置の発明が開示されている。
しかしながら従来の技術では、配置対象物を示す仮想物体を撮像画像上に表示しても、配置対象物を動作させた場合のイメージが把握しにくかった。
本発明は、上記に鑑みてなされたものであって、配置対象物を動作させた場合のイメージをより明瞭にユーザに把握させることができる情報処理装置、情報処理方法及びプログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明は、配置対象物を示す仮想物体が表示される位置を識別する位置識別情報を含む撮像画像を取得する撮像部と、前記位置識別情報により識別される前記撮像画像上の位置に、前記仮想物体が合成された合成画像を生成する生成部と、表示部に表示された前記合成画像に含まれる前記仮想物体を動作させる操作を受け付ける操作受付部と、前記操作受付部により前記仮想物体を動作させる操作が受け付けられたときに、前記配置対象物の仕様を定義した仕様情報を含む表示設定情報に基づき、前記仮想物体の動作を表す表示を制御する表示制御部と、を備え、前記配置対象物は投射装置であり、前記仕様情報は、前記投射装置が有する機能の明るさを示す明るさ情報を含み、前記表示制御部は、投射が行われた際に前記投射装置から画像が出力される様子を示す前記仮想物体の動画像を、前記投射装置の仕様情報により示される明るさに応じて表示する。
本発明によれば、配置対象物を動作させた場合のイメージをより明瞭にユーザに把握させることができるという効果を奏する。
図1は第1実施形態の情報処理システムの構成の例を示す図である。 図2Aは第1実施形態の仮想物体の表示方法の概略の例1を示す図である。 図2Bは第1実施形態の仮想物体の表示方法の概略の例2を示す図である。 図3Aは第1実施形態の仮想物体の概略を示す図である。 図3Bは第1実施形態の可動部分が操作された仮想物体の概略を示す図である。 図4は第1実施形態の情報処理装置の構成の例を示す図である。 図5は第1実施形態の初期表示画像情報の例(プリンタの場合)を示す図である。 図6は第1実施形態の着脱可能部分画像情報の例(バンクの場合)を示す図である。 図7は第1実施形態の着脱可能部分画像情報の例(フィニッシャーの場合)を示す図である。 図8は第1実施形態の可動部分画像情報の例(ADFの場合)を示す図である。 図9は第1実施形態の可動部分画像情報の例(トナーカバーの場合)を示す図である。 図10は第1実施形態の可動部分画像情報の例(ペーパートレイの場合)を示す図である。 図11は第1実施形態の可動部分画像情報の例(両面ユニットカバーの場合)を示す図である。 図12は第1実施形態の仕様情報の例(プリント動作の場合)を示す図である。 図13は第1実施形態の機種選択画面の例を示す図である。 図14は第1実施形態の機種選択画面の例(リストが表示された場合)を示す図である。 図15は第1実施形態の機種表示画面の例(プリンタAの場合)を示す図である。 図16はADF操作ボタンが押下された後の第1実施形態の機種表示画面の例を示す図である。 図17はプリント動作表示ボタンが押下された後の第1実施形態の機種表示画面の例を示す図である。 図18Aは第1実施形態のバンク選択画面の例を示す図である。 図18Bはバンクが選択された後の第1実施形態の機種表示画面の例を示す図である。 図19は第1実施形態の配置制限領域指定画面の例を示す図である。 図20は第1実施形態の商品仕様画面の例を示す図である。 図21は第1実施形態の地図表示画面の例を示す図である。 図22は第1実施形態の情報処理方法の例を示すフローチャートである。 図23は第1実施形態の情報処理装置のハードウェア構成の例を示す図である。 図24は第2実施形態の初期表示画像情報の例(プロジェクタの場合)を示す図である。 図25は第2実施形態の仕様情報の例(投射動作の場合)を示す図である。 図26は第2実施形態の機種表示画面の例(プロジェクタPaの場合)を示す図である。 図27は第2実施形態の操作ボタンが押下された後の第2実施形態の機種表示画面の例を示す図である。 図28Aは第2実施形態の投射画像の例(40型の場合)を示す模式図である。 図28Bは第2実施形態の投射画像の例(100型の場合)を示す模式図である。 図29は第3実施形態の初期表示画像情報の例(洗濯機の場合)を示す図である。 図30は第3実施形態の可動部分画像情報の例(扉の場合)を示す図である。 図31は第3実施形態の仕様情報の例(洗濯動作の場合)を示す図である。 図32は第3実施形態の機種選択画面の例を示す図である。 図33は第3実施形態の機種選択画面の例(リストが表示された場合)を示す図である。 図34は第3実施形態の機種表示画面の例(洗濯機Waの場合)を示す図である。
以下に添付図面を参照して、情報処理装置、情報処理方法及びプログラムの実施形態を詳細に説明する。
(第1実施形態)
図1は第1実施形態の情報処理システム1の構成の例を示す図である。実施形態の情報処理システム1は、情報処理装置10及びサーバ装置20を備える。情報処理装置10及びサーバ装置20はネットワーク100を介して接続されている。ネットワーク100の通信方式は、無線方式でも有線方式でもよく、また無線方式と有線方式とが組み合わされていてもよい。ネットワーク100は、例えばインターネットである。
情報処理装置10は、任意の場所を撮像した撮像画像に、仮想物体が合成された合成画像を表示する。仮想物体は任意の物体(配置対象物)の3Dモデルである。第1実施形態の説明では、仮想物体に対応する物体がオフィス機器である場合について説明する。なお第1実施形態の説明では、プリンタ(印刷装置)である場合を例にして説明するが、オフィス機器はプリンタに限らず任意のオフィス機器でよい。例えば当該オフィス機器はプロジェクタ(投射装置)でもよい。仮想物体に対応する物体がプロジェクタである場合については、第2実施形態で説明する。情報処理装置10は、例えばカメラ付きスマートデバイス等である。
サーバ装置20は、情報処理装置10で仮想物体を含む合成画像を表示するためのアプリケーション(プログラム)、ARマーカーを示す画像情報、及び、仮想物体を表示するための表示設定情報等の情報を記憶する。ARマーカーは撮像画像上に仮想物体を合成する位置を識別する位置識別情報である。表示設定情報の詳細は、図5乃至図12を参照して後述する。サーバ装置20に記憶されている情報は、例えばサーバ装置20上に立ち上げられたウェブサイトを介して情報処理装置10にダウンロードされる。
図2Aは第1実施形態の仮想物体40の表示方法の概略の例1を示す図である。まず情報処理装置10のユーザがサーバ装置20または情報処置装置10内に記憶されているARマーカー30を示す画像情報を印刷し、仮想物体40を表示させる場所にARマーカー30を示す印刷物を配置する。次に情報処理装置10が、仮想物体40として表示させる機種の表示設定情報を、サーバ装置20からダウンロードする。次に情報処理装置10がARマーカー30を示す印刷物を含む撮像画像を撮像すると、当該撮像画像に含まれる印刷物30の位置に、表示設定情報に応じた仮想物体40が表示される。
なお、図1及び図2Aでは、サーバ装置20が1つの構成となっているが、サーバ装置20に記憶されている情報を情報処理装置10が取得するための構成はこれに限られるものではない。
図2Bは第1実施形態の仮想物体40の表示方法の概略の例2を示す図である。図2Bの例は、サーバ装置20をサーバ装置20a及びサーバ装置20bとして、ネットワーク100上に分散させた場合を示す。まずアプリケーションの開発元が、仮想物体40の画像データ(3Dモデルとして表示される画像のモデルデータ等)の情報等を含む表示設定情報を予め有したアプリケーションを、サーバ装置20a(当該開発元会社のサーバ等)に記憶する。次に当該アプリケーションが、サーバ装置20aからネットワーク100上のアプリケーション販売サイト等を運営するサーバ装置20bにリリースされる。次に情報処理装置10が、サーバ装置20bから当該アプリケーションをダウンロードする。これにより、図2Bの構成の例でも、情報処理装置10が当該アプリケーションをインストールできる環境を構成することができる。なおARマーカー30は、情報処理装置10がサーバ装置20aから随時、ダウンロードするようにしてもよい。
次に第1実施形態の情報処理装置10で表示される仮想物体40の概略について説明する。
図3Aは第1実施形態の仮想物体40の概略を示す図である。第1実施形態の仮想物体40は、不動部分を表す第1の領域41と、可動部分を表す第2の領域42と、を有する。簡単のため図3の仮想物体40の例では、可動部分を表す第2の領域42を1つとしているが、可動部分を表す第2の領域42の数は任意でよい。図3Aの仮想物体40は、例えばプリンタであり、第2の領域42は、例えばプリンタのADF(Auto Document Feeder)部分である。
図3Bは第1実施形態の仮想物体40の概略(可動部分が操作された場合)を示す図である。図3Bの例は、仮想物体40の第2の領域42が開閉できる場合を示す。仮想物体40は、はじめに図3Aの初期表示状態で情報処理装置10に表示される。そして情報処理装置10が、第2の領域42を操作する入力を受け付けると、仮想物体40の表示が図3Aの状態から図3Bの状態に変更される。このとき第2の領域42の開閉時の動作は、動画像により表示される。動画像は、例えばアニメーションである。図3A及び図3Bの表示基準点Pは、動画像を表示する位置を特定する基準点を示す。表示基準点Pの座標は、例えば仮想物体40の所定の点Oを原点とした座標系により表される。
次に第1実施形態の情報処理装置10の構成の例について説明する。
図4は第1実施形態の情報処理装置10の構成の例を示す図である。第1実施形態の情報処理装置10は、記憶部11、撮像部12、表示制御部13、表示部14、操作受付部15、生成部16、通信部17、GPS部18及び出力部19を備える。情報処理装置10は任意の装置でよいが、第1実施形態の説明では、情報処理装置10が、スマートフォン及びタブレット型端末等のスマートデバイスである場合を例にして説明する。すなわち表示部14及び操作受付部15は、液晶タッチパネル等である。
記憶部11は、仮想物体40の種類毎に、仮想物体40を表示するための表示設定情報を記憶する。表示設定情報は、例えば初期表示画像情報、着脱可能部分画像情報、可動部分画像情報及び仕様情報を含む。また記憶部11は、仮想物体40に対応するプリンタの詳細仕様情報、仮想物体40に対応するプリンタを入手(購入)可能なウェブサイトのアドレス、及び、仮想物体40に対応するプリンタを入手(購入)可能な場所(店舗)の住所等の情報も記憶する。なお記憶部11の情報は、通信部17がサーバ装置20と通信することにより更新される。例えば通信部17が、サーバ装置20から仮想物体40の表示設定情報を新たに取得し、当該表示設定情報を記憶部11に記憶することにより、新製品等の新しい仮想物体40を情報処理装置10で表示することが可能になる。
ここで仮想物体40がプリンタである場合を例にして、表示設定情報(初期表示画像情報、着脱可能部分画像情報、可動部分画像情報及び仕様情報)について説明する。
まず第1実施形態の初期表示画像情報の例について説明する。
図5は第1実施形態の初期表示画像情報の例(プリンタの場合)を示す図である。初期表示画像情報は、仮想物体40の表示を開始するときの状態を示す。初期表示画像情報は、機種名、本体、バンク及びフィニッシャーの項目を有する。機種名はプリンタの機種の名称を示す。第1実施形態では、機種名が仮想物体40の種類を識別する識別情報である。本体は、着脱可能部分(オプション部品)が装着されていない状態の本体画像を特定する特定情報を示す。特定情報は、例えば画像ファイル名である。本体画像は、情報処理装置10により撮影された撮影画像に含まれるARマーカー30の位置に表示される。
バンクは印刷に使用される用紙が格納されるオプション部品である。バンクには、「−」、「無」、及び、「1」、「2」、・・・等の数値が設定される。「−」はプリンタ本体にバンクが装着できないことを示す。「無」は、バンクが装着可能な機種にバンクが装着されていないことを示す。「1」はバンクが装着可能な機種にバンクが1段装着されていることを示す。「2」はバンクが装着可能な機種にバンクが2段装着されていることを示す。バンクを示す画像は、後述の着脱可能部分画像情報から特定される。
フィニッシャーは印刷物のパンチ(穴あけ)及びホチキス留等、印刷後の処理を行うオプション部品である。フィニッシャーには、「−」、「無」、及び、「有」が設定される。「−」はプリンタ本体にフィニッシャーが装着できないことを示す。「無」は、フィニッシャーが装着可能な機種にフィニッシャーが装着されていないことを示す。「有」は、フィニッシャーが装着可能な機種にフィニッシャーが装着されていることを示す。フィニッシャーを示す画像は、後述の着脱可能部分画像情報から特定される。
例えば図5の例では、プリンタBを示す仮想物体40が情報処理装置10で初期表示される場合、本体画像Bにより、バンク及びフィニッシャーが装着されていない仮想物体40が表示される。
次に第1実施形態の着脱可能部分画像情報の例について説明する。
図6は第1実施形態の着脱可能部分画像情報の例(バンクの場合)を示す図である。図6の着脱可能部分画像情報は、機種名、バンク、表示基準点及び最大バンク段数の項目を有する。機種名はプリンタの機種の名称を示す。バンクは、バンクを示す画像を特定する特定情報を示す。特定情報は、例えば画像ファイル名である。なおバンクに「−」が設定されている場合は、プリンタ本体にバンクを装着できないことを示す。表示基準点は、バンクを示す画像を表示する位置を示す。例えば情報処理装置10は、表示基準点の座標に、バンクを示す画像の端点を合わせるようにして、仮想着脱可能物体としてバンクを示す画像を表示する。最大バンク段数はプリンタ本体に装着可能なバンクの数を示す。なお同一のプリンタ本体に装着可能なバンクの種類が複数ある場合、記憶部11は、バンクの種類毎に、着脱可能部分画像情報を記憶する。
例えば図6のプリンタBの例では、プリンタBのバンクを示す画像は、Bank画像Bである。またBank画像Bを表示する位置は、表示基準点の座標(x_b6,y_b6,z_b6)により特定される。またプリンタBに装着可能なバンクの段数は3段である。
図7は第1実施形態の着脱可能部分画像情報の例(フィニッシャーの場合)を示す図である。図7の着脱可能部分画像情報は、機種名、フィニッシャー及び表示基準点の項目を有する。機種名はプリンタの機種の名称を示す。フィニッシャーは、フィニッシャーを示す画像を特定する特定情報を示す。特定情報は、例えば画像ファイル名である。なおフィニッシャーに「−」が設定されている場合は、プリンタ本体にフィニッシャーを装着できないことを示す。表示基準点は、フィニッシャーを示す画像を表示する位置を示す。例えば情報処理装置10は、表示基準点の座標に、フィニッシャーを示す画像の端点を合わせるようにして、仮想着脱可能物体としてフィニッシャーを示す画像を表示する。なお同一のプリンタ本体に装着可能なフィニッシャーの種類が複数ある場合、記憶部11は、フィニッシャーの種類毎に、着脱可能部分画像情報を記憶する。
例えば図7のプリンタBの例では、プリンタBのフィニッシャーを示す画像は、Finisher画像Bである。またFinisher画像Bを表示する位置は、表示基準点の座標(x_b7,y_b7,z_b7)により特定される。
次に第1実施形態の可動部分画像情報の例について説明する。
図8は第1実施形態の可動部分画像情報の例(ADFの場合)を示す図である。図8の可動部分画像情報は、機種名、ADF(open)、ADF(close)及び表示基準点の項目を有する。機種名はプリンタの機種の名称を示す。ADF(open)は、ADFを開く動作を示す画像(アニメーション)を特定する特定情報を示す。ADF(close)は、ADFを閉じる動作を示す画像(アニメーション)を特定する特定情報を示す。特定情報は、例えば画像ファイル名である。なおADF(open)及びADF(close)に「−」が設定されている場合は、プリンタ本体にADFがないことを示す。表示基準点は、ADFを開く動作を示す画像(アニメーション)、及び、ADFを閉じる動作を示す画像(アニメーション)を表示する位置を示す。
例えば図8のプリンタAの例では、プリンタAのADFを開く動作を示す画像(アニメーション)は、ADF_open画像Aである。またプリンタAのADFを閉じる動作を示す画像(アニメーション)は、ADF_close画像Aである。またADF_open画像A及びADF_close画像Aを表示する位置は、表示基準点の座標(x_a1,y_a1,z_a1)により特定される。
図9は第1実施形態の可動部分画像情報の例(トナーカバーの場合)を示す図である。図9の可動部分画像情報は、機種名、トナーカバー(open)、トナーカバー(close)及び表示基準点の項目を有する。機種名はプリンタの機種の名称を示す。トナーカバー(open)は、トナーカバーを開く動作を示す画像(アニメーション)を特定する特定情報を示す。トナーカバー(close)は、トナーカバーを閉じる動作を示す画像(アニメーション)を特定する特定情報を示す。特定情報は、例えば画像ファイル名である。なおトナーカバー(open)及びトナーカバー(close)に「−」が設定されている場合は、プリンタ本体にトナーカバーがないことを示す。表示基準点は、トナーカバーを開く動作を示す画像(アニメーション)、及び、トナーカバーを閉じる動作を示す画像(アニメーション)を表示する位置を示す。
例えば図9のプリンタAの例では、プリンタAのトナーカバーを開く動作を示す画像(アニメーション)は、Toner_open画像Aである。またプリンタAのトナーカバーを閉じる動作を示す画像(アニメーション)は、Toner_close画像Aである。またToner_open画像A及びToner_close画像Aを表示する位置は、表示基準点の座標(x_a2,y_a2,z_a2)により特定される。
図10は第1実施形態の可動部分画像情報の例(ペーパートレイの場合)を示す図である。図10の可動部分画像情報は、機種名、ペーパートレイ(open)、ペーパートレイ(close)及び表示基準点の項目を有する。機種名はプリンタの機種の名称を示す。ペーパートレイ(open)は、ペーパートレイを開く動作を示す画像(アニメーション)を特定する特定情報を示す。ペーパートレイ(close)は、ペーパートレイを閉じる動作を示す画像(アニメーション)を特定する特定情報を示す。特定情報は、例えば画像ファイル名である。なおペーパートレイ(open)及びペーパートレイ(close)に「−」が設定されている場合は、プリンタ本体にペーパートレイがないことを示す。表示基準点は、ペーパートレイを開く動作を示す画像(アニメーション)、及び、ペーパートレイを閉じる動作を示す画像(アニメーション)を表示する位置を示す。
例えば図10のプリンタAの例では、プリンタAのペーパートレイを開く動作を示す画像(アニメーション)は、Tray_open画像Aである。またプリンタAのペーパートレイを閉じる動作を示す画像(アニメーション)は、Tray_close画像Aである。またTray_open画像A及びTray_close画像Aを表示する位置は、表示基準点の座標(x_a3,y_a3,z_a3)により特定される。
図11は第1実施形態の可動部分画像情報の例(両面ユニットカバーの場合)を示す図である。図11の可動部分画像情報は、機種名、両面ユニットカバー(open)、両面ユニットカバー(close)及び表示基準点の項目を有する。機種名はプリンタの機種の名称を示す。両面ユニットカバー(open)は、両面ユニットカバーを開く動作を示す画像(アニメーション)を特定する特定情報を示す。両面ユニットカバー(close)は、両面ユニットカバーを閉じる動作を示す画像(アニメーション)を特定する特定情報を示す。特定情報は、例えば画像ファイル名である。なお両面ユニットカバー(open)及び両面ユニットカバー(close)に「−」が設定されている場合は、プリンタ本体に両面ユニットカバーがないことを示す。表示基準点は、両面ユニットカバーを開く動作を示す画像(アニメーション)、及び、両面ユニットカバーを閉じる動作を示す画像(アニメーション)を表示する位置を示す。
例えば図11のプリンタAの例では、プリンタAの両面ユニットカバーを開く動作を示す画像(アニメーション)は、Cover_open画像Aである。またプリンタAの両面ユニットカバーを閉じる動作を示す画像(アニメーション)は、Cover_close画像Aである。またCover_open画像A及びCover_close画像Aを表示する位置は、表示基準点の座標(x_a4,y_a4,z_a4)により特定される。
図12は第1実施形態の仕様情報の例(プリント動作の場合)を示す図である。図12の仕様情報は、機種名、サイズ、カラー/モノクロ、ppm(page per minute)、プリント動作及び表示基準点の項目を有する。機種名はプリンタの機種の名称を示す。サイズは、印刷物のサイズを示す。カラー/モノクロは、印刷物の色彩を示す。ppmは、1分あたりの印刷枚数を示す。プリント動作は、プリンタから印刷物が出力される様子を示す画像(アニメーション)を特定する特定情報を示す。特定情報は、例えば画像ファイル名である。図12の例の場合、プリント動作として使用される画像(アニメーション)は、機種名、サイズ、カラー/モノクロ、及び、ppmに応じて用意される。なおプリント動作に「−」が設定されている場合は、印刷が行われた際にプリンタから印刷物が出力される様子を示す画像(アニメーション)がないことを示す。表示基準点は、プリンタから印刷物が出力される様子を示す画像(アニメーション)を表示する位置を示す。
例えば図12のプリンタAの例では、A4サイズのカラー印刷が行われた際にプリンタAから印刷物が出力される様子を示す画像(アニメーション)は、プリント画像Acである。プリント画像Acは、18ppmで印刷物が出力される様子を示す。またプリント画像Acを表示する位置は、表示基準点の座標(x_a5,y_a5,z_a5)により特定される。またA4サイズのモノクロ印刷が行われた際にプリンタAから印刷物が出力される様子を示す画像(アニメーション)は、プリント画像Amである。プリント画像Amは、20ppmで印刷物が出力される様子を示す。またプリント画像Amを表示する位置は、表示基準点の座標(x_a5,y_a5,z_a5)により特定される。
図4に戻り、撮像部12は、仮想物体40が表示される位置を示すARマーカー30を含む撮像画像を撮像すると、当該撮像画像を表示制御部13に入力する。なお撮像部12は、撮像画像を継続して撮像する。すなわち撮像画像は、動画として表示制御部13に入力される。
表示制御部13は、撮像部12から撮像画像を受け付けると、当該撮像画像が画面の背景として使用された機種選択画面を表示部14に表示する。
図13は第1実施形態の機種選択画面の例を示す図である。第1実施形態の機種選択画面は、機種選択ボタン101、設定ボタン102、ヘルプボタン103及びカメラボタン104を有する。
機種選択ボタン101は、プリンタの機種を選択するドロップダウンリストである。操作受付部15の機種選択ボタン101が押下されると、表示制御部13が、記憶部11に上述の表示設定情報として記憶されているプリンタの機種名をリストで表示部14に表示する。
設定ボタン102は、表示言語(日本語、英語又は中国語等)、及び、文字サイズ等の表示設定を変更する設定画面を表示するボタンである。
ヘルプボタン103は、操作方法を示すヘルプ画面を表示するボタンである。
カメラボタン104は、背景として表示されている撮影画像を撮像するボタンである。仮想物体40が表示されている状態で、操作受付部15のカメラボタン104が押下された場合、仮想物体40を含む合成画像が、記憶部11等に記憶される。
図14は第1実施形態の機種選択画面の例(リストが表示された場合)を示す図である。図14の例は、機種選択ボタン101が押下されることにより、プリンタA、プリンタB及びプリンタCがリストとして表示された場合を示す。操作受付部15が、リストから機種名を選択する操作を受け付けると、生成部16が、当該機種名に関連付けられた仮想物体40を示す画像が、撮像画像上のARマーカー30の位置に合成された合成画像を生成する。そして表示制御部13が、当該合成画像に後述のUI部品(各種ボタン等、図15参照)が付与された画面を表示部14に表示する。例えばプリンタAが選択されると、表示設定情報に含まれる初期表示画像情報(図5参照)の本体画像Aにより示される仮想物体40が、ARマーカー30の位置に表示される。
このとき表示制御部13及び生成部16が、AR技術を利用することにより、情報処理装置10の撮像部12と、ARマーカー30との位置関係に応じて、仮想物体40の見え方を変更する。具体的には、まず表示制御部13が、撮像画像に含まれるARマーカー30を検出し、当該ARマーカー30の見え方(撮像画像上での位置及び形状の少なくとも一方)が変更されたか否かを判定する。当該ARマーカー30の見え方が変更された場合、生成部16が、見え方が変更された度合いに応じて、仮想物体40の表示態様の変更(拡大、縮小、移動及び回転等)を行い、当該仮想物体40が撮像画像に合成された合成画像を生成する。そして表示制御部13が、当該合成画像に後述のUI部品(各種ボタン等、図15参照)が付与された画面を表示部14に表示する。これにより情報処理装置10のユーザが、表示部14に立体表示されている仮想物体40を参照しながら、当該立体表示されている仮想物体40を参照したい方向に撮像部12を向けることにより、様々な方向から仮想物体40を参照することができる。
図15は第1実施形態の機種表示画面の例(プリンタAの場合)を示す図である。第1実施形態の機種表示画面は、機種選択ボタン101、設定ボタン102、ヘルプボタン103、カメラボタン104、機種名表示部105、操作ボタン106、バンク選択ボタン107、フィニッシャー選択ボタン108、配置制限領域指定ボタン109、商品仕様表示ボタン110、おすすめ商品表示ボタン111、商品購入ボタン112、地図表示ボタン113及びシェアボタン114を有する。
機種選択ボタン101、設定ボタン102、ヘルプボタン103及びカメラボタン104の説明は、図13の説明と同様なので省略する。
機種名表示部105は、機種選択ボタン101で選択された機種名を表示する。また当該機種で利用可能な機能が表示される。具体的には、表示制御部13が、機種名表示部105に表示されている機種名から特定される詳細仕様情報を、記憶部11から取得することにより、当該機種で利用可能な機能を表示部14に表示する。図15の例は、プリンタAでコピー、印刷、スキャン及びFAXが使用可能な場合を示す。
操作ボタン106は、ADF操作ボタン106a、トナーカバー操作ボタン106b、ペーパートレイ操作ボタン106c、両面ユニット操作ボタン106d及びプリント動作表示ボタン106eを含む。
ADF操作ボタン106aは、ADFの開閉を操作するボタンである。ADF操作ボタン106aは、表示設定情報に含まれる図8の可動部分画像情報(ADFの場合)により指定された画像ファイルにより示される動作を表示する。なお表示制御部13は、可動部分画像情報(ADFの場合)に画像ファイルが指定されていない場合、ADF操作ボタン106aを表示しないか、又は、半輝度(半透明)等にして表示する。
ADF操作ボタン106aが押下されると、ADFを開く動作を示す画像(アニメーション)が表示される。具体的には、仮想物体40がプリンタAである場合、表示設定情報に含まれる可動部分画像情報(図8参照)のADF_open画像Aにより、ADFを開く動作を示す画像(アニメーション)が表示される。
図16はADF操作ボタン106aが押下された後の第1実施形態の機種表示画面の例を示す図である。この状態でADF操作ボタン106aが再度、押下されると、ADFを閉じる動作を示す画像(アニメーション)が表示される。具体的には、仮想物体40がプリンタAである場合、表示設定情報に含まれる可動部分画像情報(図8参照)のADF_close画像Aにより、ADFを閉じる動作を示す画像(アニメーション)が表示され、プリンタAの表示が図15に示される状態に戻る。
図15に戻り、トナーカバー操作ボタン106bは、トナーカバーの開閉を操作するボタンである。トナーカバー操作ボタン106bは、表示設定情報に含まれる図9の可動部分画像情報(トナーカバーの場合)により指定された画像ファイルにより示される動作を表示する。なお表示制御部13は、可動部分画像情報(トナーカバーの場合)に画像ファイルが指定されていない場合、トナーカバー操作ボタン106bを表示しないか、又は、半輝度(半透明)等にして表示する。
トナーカバー操作ボタン106bが押下されると、トナーカバーを開く動作を示す画像(アニメーション)が表示される。具体的には、仮想物体40がプリンタAである場合、表示設定情報に含まれる可動部分画像情報(図9参照)のToner_open画像Aにより、トナーカバーを開く動作を示す画像(アニメーション)が表示される。トナーカバー操作ボタン106bが再度、押下されると、トナーカバーを閉じる動作を示す画像(アニメーション)が表示される。具体的には、仮想物体40がプリンタAである場合、表示設定情報に含まれる可動部分画像情報(図9参照)のToner_close画像Aにより、トナーカバーを閉じる動作を示す画像(アニメーション)が表示される。
ペーパートレイ操作ボタン106cは、ペーパートレイの開閉を操作するボタンである。ペーパートレイ操作ボタン106cは、表示設定情報に含まれる図10の可動部分画像情報(ペーパートレイの場合)により指定された画像ファイルにより示される動作を表示する。なお表示制御部13は、可動部分画像情報(ペーパートレイの場合)に画像ファイルが指定されていない場合、ペーパートレイ操作ボタン106cを表示しないか、又は、半輝度(半透明)等にして表示する。
ペーパートレイ操作ボタン106cが押下されると、ペーパートレイを開く動作を示す画像(アニメーション)が表示される。具体的には、仮想物体40がプリンタAである場合、表示設定情報に含まれる可動部分画像情報(図10参照)のTray_open画像Aにより、ペーパートレイを開く動作を示す画像(アニメーション)が表示される。ペーパートレイ操作ボタン106cが再度、押下されると、ペーパートレイを閉じる動作を示す画像(アニメーション)が表示される。具体的には、仮想物体40がプリンタAである場合、表示設定情報に含まれる可動部分画像情報(図10参照)のTray_close画像Aにより、ペーパートレイを閉じる動作を示す画像(アニメーション)が表示される。
両面ユニット操作ボタン106dは、両面ユニットの開閉を操作するボタンである。両面ユニット操作ボタン106dは、両面ユニットの開閉を操作するボタンである。両面ユニット操作ボタン106dは、表示設定情報に含まれる図11の可動部分画像情報(両面ユニットの場合)により指定された画像ファイルにより示される動作を表示する。なお表示制御部13は、可動部分画像情報(両面ユニットの場合)に画像ファイルが指定されていない場合、両面ユニット操作ボタン106dを表示しないか、又は、半輝度(半透明)等にして表示する。
両面ユニット操作ボタン106dが押下されると、両面ユニットを開く動作を示す画像(アニメーション)が表示される。具体的には、仮想物体40がプリンタAである場合、表示設定情報に含まれる可動部分画像情報(図11参照)のCover_open画像Aにより、両面ユニットを開く動作を示す画像(アニメーション)が表示される。両面ユニット操作ボタン106dが再度、押下されると、両面ユニットを閉じる動作を示す画像(アニメーション)が表示される。具体的には、仮想物体40がプリンタAである場合、表示設定情報に含まれる可動部分画像情報(図11参照)のCover_close画像Aにより、両面ユニットを閉じる動作を示す画像(アニメーション)が表示される。
プリント動作表示ボタン106eは、印刷が行われた際にプリンタから印刷物が出力される様子をアニメーションにより表示するボタンである。プリント動作表示ボタン106eは、表示設定情報に含まれる図12の仕様情報により指定された画像ファイルにより示される動作を表示する。なお表示制御部13は、仕様情報に画像ファイルが指定されていない場合、プリント動作表示ボタン106eを表示しないか、又は、半輝度(半透明)等にして表示する。
図17はプリント動作表示ボタン106eが押下された後の第1実施形態の機種表示画面の例を示す図である。プリント動作表示ボタン106eが押下されたときに、表示制御部13が、プリンタの仕様情報(図12参照)に含まれる印刷速度(ppm)に応じた速度で、印刷物211を印刷するアニメーションを表示することにより、プリンタの印刷速度を体感的にユーザに伝えることができる。例えばプリンタの印刷速度が30ppmの場合、表示制御部13は印刷物211が2秒に1枚、プリンタから出力される様子を示すアニメーションを表示する。また例えばプリンタの印刷速度が20ppmの場合、表示制御部13は印刷物211が3秒に1枚、プリンタから出力される様子を示すアニメーションを表示する。なお当該アニメーションに音が含まれている場合、出力部19が音を出力する。
バンク選択ボタン107は、バンク選択画面を表示するボタンである。バンク選択画面は、機種名表示部105に表示されている機種に装着可能なバンクを選択する画面である。
図18Aは第1実施形態のバンク選択画面の例を示す図である。表示制御部13は、機種名表示部105に表示されている機種の表示設定情報に含まれる着脱可能部分画像情報(図6参照)に基づくバンク選択画面を表示部14に表示する。具体的には、機種名表示部105に表示されている機種に、複数の種類のバンクがある場合、バンクを示す画像を複数、表示することにより、バンクの種類を選択する画面を表示する。また機種名表示部105に表示されている機種が、バンクを多段構成することができる場合、図6の着脱可能部分画像情報に示される最大バンク段数まで、バンク数を選択できる画面を表示する。
プリンタAの表示設定情報に含まれる着脱可能部分画像情報(図6参照)の場合、バンクの種類が1種類で、最大バンク段数が1のため、図18Aでは、Bank画像Aの正面が1つ表示されている。
図18Bはバンクが選択された後の第1実施形態の機種表示画面の例を示す図である。操作受付部15が、図18Aのバンク選択画面でバンクの選択を示す操作を受け付けると、図18Bに示されるように、プリンタAの本体を示す仮想物体40に、バンクを示す仮想着脱可能物体43が追加される。具体的には、生成部16が、撮像画像に本体画像Aが合成された合成画像に、Bank画像Aを更に合成し、表示制御部13が、当該合成画像を表示部14に表示する。これにより着脱可能部分(オプション部品)をプリンタAの本体に装着した場合のイメージをより明瞭にユーザに把握させることができる。
図15に戻り、フィニッシャー選択ボタン108は、フィニッシャー選択画面を表示するボタンである。フィニッシャー選択画面の説明は、バンク選択画面の説明と同様なので省略する。
配置制限領域指定ボタン109は、配置制限領域指定画面を表示するボタンである。配置制限領域指定画面は、仮想物体40に対応する物体が配置される領域の制限を示す配置制限領域を指定する画面である。
図19は第1実施形態の配置制限領域指定画面の例を示す図である。第1実施形態の配置制限領域指定画面は、図15の画面の表示に加えて、更にフレーム120、幅指定ボタン121、奥行き指定ボタン122、高さ指定ボタン123及びフレーム移動ボタン124を有する。
フレーム120は配置制限領域の大きさを示す。フレーム120は、幅指定ボタン121、奥行き指定ボタン122、高さ指定ボタン123及びフレーム移動ボタン124の操作に応じて、幅、奥行き、高さ及び表示位置が変更される。
具体的には、幅指定ボタン121の「+」が押下されると、フレーム120の幅が広がり、幅指定ボタン121の「−」が押下されると、フレーム120の幅が狭まる。同様に、奥行き指定ボタン122の「+」が押下されると、フレーム120の奥行きが広がり、奥行き指定ボタン122の「−」が押下されると、フレーム120の奥行きが狭まる。同様に、高さ指定ボタン123の「+」が押下されると、フレーム120の高さが高くなり、高さ指定ボタン123の「−」が押下されると、フレーム120の高さが低くなる。
なおフレーム120の幅、奥行き及び高さを指定するユーザインターフェースは任意でよい。例えば表示制御部13が、テンキー配列の数字入力部を表示部14に表示し、操作受付部15が、幅、奥行き及び高さを示す数字の入力を受け付けてもよい。
またフレーム移動ボタン124が押下されると、押下された方向に応じてフレーム120が、配置制限領域指定画面の背景画像(撮影画像)上を上下左右に移動する。
表示制御部13は、仮想物体40が、フレーム120により示される配置制限領域に収まらない場合、配置制限領域を示すフレーム120の表示態様を変更する。表示態様の変更方法は任意でよい。表示態様の変更方法は、例えばフレーム120を示す線の色の変更、フレーム120を示す線の太さの変更、及び、フレーム120を示す線を点滅させる変更等である。
例えば図19の例の場合、表示制御部13は、ADFが閉じている状態のプリンタAを示す仮想物体40は、フレーム120に収まるため、フレーム120を黄色で表示する。一方、表示制御部13は、ADFが開いている状態のプリンタAを示す仮想物体40は、フレーム120に収まらないため、フレーム120を赤色で表示する。これによりフレーム120により示される任意の配置場所で、プリンタAの可動部分を操作した場合に、配置場所に収まるか否かのイメージをより明瞭にユーザに把握させることができる。
図15に戻り、商品仕様表示ボタン110は、機種名表示部105に表示されている機種名から特定される詳細仕様情報を表示する商品仕様画面を表示するボタンである。
図20は第1実施形態の商品仕様画面の例を示す図である。操作受付部15が、商品仕様表示ボタン110の押下を示す操作を受け付けると、表示制御部13が、機種名表示部105に表示されている機種の詳細仕様情報を記憶部11から取得し、当該詳細仕様情報を含む商品仕様画面を表示部14に表示する。詳細仕様情報は、例えば最大印刷サイズ、プリンタの寸法、対応OS、印刷速度、解像度及び対応インタフェース等を含む。
また表示制御部13は、詳細な仕様を表示するウェブページを表示するための詳細仕様リンクを、商品仕様画面に表示する。操作受付部15が、詳細仕様リンクの押下を示す操作を受け付けると、通信部17が、詳細仕様リンクが示すアドレスにアクセスすることにより取得されたウェブサイトを、表示制御部13が表示部14に表示する。
図15に戻り、おすすめ商品表示ボタン111は、ユーザに推薦する機種の機種表示画面を表示するボタンである。ユーザに推薦する機種は、例えば機種名表示部105に表示されている機種に商品仕様が類似する機種である。操作受付部15が、おすすめ商品表示ボタン111の押下を示す操作を受け付けると、生成部16が、ユーザに推薦する機種の表示設定情報に含まれる初期表示画像情報の本体画像が、撮像画像上のARマーカー30の位置に合成された合成画像を生成する。そして表示制御部13が、当該合成画像に対応する機種表示画面を表示部14に表示する。
商品購入ボタン112は、機種名表示部105に表示されている機種を購入可能なウェブサイトを表示するボタンである。操作受付部15が、商品購入ボタン112の押下を示す操作を受け付けると、通信部17が、機種名表示部105に表示されている機種を購入可能なウェブサイトのアドレスを記憶部11から取得する。そして通信部17が、当該アドレスにアクセスすることにより取得されたウェブサイトを、表示制御部13が表示部14に表示する。
地図表示ボタン113は、機種名表示部105に表示されている機種を購入可能な店舗の位置を示す地図表示画面を表示するボタンである。
図21は第1実施形態の地図表示画面の例を示す図である。操作受付部15が、地図表示ボタン113の押下を示す操作を受け付けると、GPS部18が、情報処理装置10の現在位置200を取得する。そして表示制御部13が、現在位置200の付近の地図を表示部14に表示するとともに、機種名表示部105に表示されている機種を購入可能な店舗が現在位置200の付近に存在する場合、当該店舗の位置を地図表示画面上で明示する。図21の例は、地図表示画面上に店舗201及び店舗202の位置が明示されている場合を示す。
図15に戻り、シェアボタン114は、Facebook(登録商標)及びTwitter(登録商標)等のシェアアプリのリストをポップアップ表示する。操作受付部15が、シェアアプリの選択を示す操作を受け付けると、当該シェアアプリを利用して表示部14に表示させた情報等を、他のユーザと共有することができる。
次に第1実施形態の情報処理方法の例について説明する。
図22は第1実施形態の情報処理方法の例を示すフローチャートである。はじめに、撮像部12が、仮想物体40が表示される位置を示すARマーカー30を含む撮像画像の撮像を開始する(ステップS1)。
次に、表示制御部13が、撮像部12から撮像画像を受け付けると、当該撮像画像が画面の背景として使用された機種選択画面(図13参照)を表示部14に表示する(ステップS2)。次に、操作受付部15が、機種選択ボタン101のドロップダウンリストから機種名を選択する操作を受け付ける(ステップS3)。
次に、表示制御部13が、ステップS3で選択された機種名により識別される機種の機種表示画面(図15参照)を表示部14に表示する(ステップS4)。具体的には、まず生成部16が、ステップS3で選択された機種名に関連付けられた仮想物体40を示す画像が、撮像画像上のARマーカー30の位置に合成された合成画像を生成する。そして表示制御部13が、当該合成画像に各種のボタン等のUI部品が付与された画面を表示部14に表示する。
次に、表示制御部13が、情報処理装置10の撮像部12と、ARマーカー30との位置関係が変更されたか否かを判定する(ステップS5)。具体的には、表示制御部13が、撮像画像に含まれるARマーカー30を検出し、当該ARマーカー30の見え方(撮像画像上での位置及び形状の少なくとも一方)が変更されたか否かにより、情報処理装置10の撮像部12と、ARマーカー30との位置関係が変更されたか否かを判定する。
撮像部12と、ARマーカー30との位置関係が変更された場合(ステップS5、Yes)、表示制御部13が、AR技術を利用することにより、変更された位置関係に応じて、仮想物体40の見え方を変更する(ステップS6)。撮像部12と、ARマーカー30との位置関係が変更されていない場合(ステップS5、No)、処理はステップS7に進む。
次に、操作受付部15が、機種表示画面(図15参照)のボタンが押下されたか否かを判定する(ステップS7)。
ボタンが押下された場合(ステップS7、Yes)、情報処理装置10は、上述の各種ボタンに応じた処理を行う(ステップS8)。例えば機種表示画面のプリント動作表示ボタン106eが押下された場合、表示制御部13が、プリンタの仕様情報(図12参照)に含まれる印刷速度(ppm)に応じた速度で、印刷物211を印刷するアニメーション(図17参照)を表示する。ボタンが押下されていない場合(ステップS7、No)、処理はステップS9に進む。
次に、操作受付部15が、仮想物体40の表示に係る処理を終了する操作を受け付けたか否かを判定する(ステップS9)。終了する操作を受け付けていない場合(ステップS9、No)、処理はステップS5に戻る。終了する操作を受け付けた場合(ステップS9、Yes)、処理を終了する。
次に第1実施形態の情報処理装置10のハードウェア構成の例について説明する。
図23は第1実施形態の情報処理装置10のハードウェア構成の例を示す図である。第1実施形態の情報処理装置10は、制御装置301、主記憶装置302、補助記憶装置303、表示装置304、入力装置305、通信装置306、撮像装置307、GPS装置308及びスピーカー309を備える。制御装置301、主記憶装置302、補助記憶装置303、表示装置304、入力装置305、通信装置306、撮像装置307、GPS装置308及びスピーカー309は、バス310を介して互いに接続されている。
制御装置301は補助記憶装置303から主記憶装置302に読み出されたプログラムを実行する。主記憶装置302はROM及びRAM等のメモリである。補助記憶装置303はメモリカード等である。図4の記憶部11は、主記憶装置302及び補助記憶装置303に対応する。
表示装置304及び入力装置305は、表示機能と入力機能とを有する液晶タッチパネルである。通信装置306は他の装置と通信する。撮像装置307は情報処理装置10の周囲の状態を示す撮像画像を撮像する。GPS装置308は、複数のGPS衛星から信号を受信することにより、情報処理装置10の位置を示すGPS情報を取得する。スピーカー309は音を出力する。
情報処理装置10で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、メモリカード、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータ・プログラム・プロダクトとして提供される。
また情報処理装置10で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また情報処理装置10が実行するプログラムを、ダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。
また情報処理装置10のプログラムを、ROM等に予め組み込んで提供するように構成してもよい。
情報処理装置10で実行されるプログラムは、上述した各機能ブロックのうち、プログラムにより実現可能な機能ブロックを含むモジュール構成となっている。プログラムにより実現可能な機能ブロックは、例えば表示制御部13、操作受付部15、生成部16及び通信部17である。プログラムにより実現される機能ブロックは、実際のハードウェアとしては、制御装置301が補助記憶装置303等の記憶媒体からプログラムを読み出して実行することにより、主記憶装置302にロードされる。すなわちプログラムにより実現される機能ブロックは、主記憶装置302上に生成される。
なおプログラムにより実現可能な機能ブロックの一部又は全部を、プログラムにより実現せずに、IC(Integrated Circuit)等のハードウェアにより実現してもよい。
以上説明したように、第1実施形態の情報処理装置10では、撮像部12が、プリンタを示す仮想物体40が表示される位置を識別するARマーカー30(位置識別情報)を含む撮像画像を取得する。また生成部16が、撮像画像に含まれるARマーカー30により識別される位置に、仮想物体40が合成された合成画像を生成する。また操作受付部15が、表示部14に表示された合成画像に含まれる仮想物体40を動作させる操作を受け付ける。そして表示制御部13が、操作受付部15により仮想物体40を動作させる操作が受け付けられたときに、プリンタの仕様を定義した仕様情報を含む表示設定情報に基づき、仮想物体40の動作を表す表示を制御する。これによりプリンタを動作させた場合のイメージをより明瞭にユーザに把握させることができる。
なお第1実施形態の説明では、配置対象物が有する機能の動作速度を示す速度情報が仕様情報に含まれる場合を、当該配置対象物がプリンタである場合を例にして説明したが、当該配置対象物はプリンタに限られず任意の装置でよい。
(第2実施形態)
次に第2実施形態について説明する。第2実施形態の説明では、仮想物体40に対応する物体がプロジェクタである場合について説明する。第2実施形態の説明では、第1実施形態と同様の説明については省略し、第1実施形態と異なる箇所について説明する。
第2実施形態の情報処理システム1の構成は、第1実施形態の情報処理システム1の構成(図1参照)と同じである。また第2実施形態の情報処理装置10の構成は、第1実施形態の情報処理装置10の構成(図4参照)と同じである。
まず第2実施形態の表示設定情報(初期表示画像情報、及び、仕様情報)について説明する。
図24は第2実施形態の初期表示画像情報の例(プロジェクタの場合)を示す図である。初期表示画像情報は、プロジェクタを示す仮想物体40の表示を開始するときの状態を示す。初期表示画像情報は、機種名及び本体画像の項目を有する。機種名はプロジェクタの機種の名称を示す。第2実施形態では、機種名が仮想物体40の種類を識別する識別情報である。本体は、プロジェクタを示す画像を特定する特定情報を示す。特定情報は、例えば画像ファイル名である。本体画像は、情報処理装置10により撮影された撮影画像に含まれるARマーカー30の位置に表示される。
例えば図24の例では、プロジェクタPaを示す仮想物体40が情報処理装置10で初期表示される場合、本体画像Paにより仮想物体40が表示される。
次に第2実施形態の仕様情報の例について説明する。
図25は第2実施形態の仕様情報の例(投射動作の場合)を示す図である。図25の仕様情報は、機種名、明るさ(lm)、サイズ、距離(m)、投射動作及び表示基準点の項目を有する。機種名はプロジェクタの機種の名称を示す。明るさは、プロジェクタにより投射される画像の明るさを示す。サイズは、プロジェクタにより投射される画像のサイズを示す。距離は、プロジェクタにより投射される画像と、当該プロジェクタとの距離を示す。投射動作は、プロジェクタから画像が投射される様子を示す画像(アニメーション)を特定する特定情報を示す。特定情報は、例えば画像ファイル名である。表示基準点は、プロジェクタから画像が投射される様子を示す画像(アニメーション)を表示する位置を示す。
例えば図25のプロジェクタPaの例では、プロジェクタPaから40型サイズの画像が投射される様子を示す画像(アニメーション)は、投射画像Pa1である。投射画像Pa1は、プロジェクタPaから1.23m離れた場所に、40型サイズの画像を3600lmの明るさで投射される様子を示す。また投射画像Pa1を表示する位置は、表示基準点の座標(x_pa1,y_pa1,z_pa1)により特定される。またプロジェクタPaから100型サイズの画像が投射される様子を示す画像(アニメーション)は、投射画像Pa3である。投射画像Pa3は、プロジェクタPaから3.15m離れた場所に、100型サイズの画像を3600lmの明るさで投射される様子を示す。また投射画像Pa3を表示する位置は、表示基準点の座標(x_pa3,y_pa3,z_pa3)により特定される。
図26は第2実施形態の機種表示画面の例(プロジェクタPaの場合)を示す図である。第2実施形態の機種表示画面は、機種選択ボタン101、設定ボタン102、ヘルプボタン103、カメラボタン104、機種名表示部105、操作ボタン106、配置制限領域指定ボタン109、商品仕様表示ボタン110、おすすめ商品表示ボタン111、商品購入ボタン112、地図表示ボタン113及びシェアボタン114を有する。
機種選択ボタン101、設定ボタン102、ヘルプボタン103及びカメラボタン104の説明は、図13の説明と同様なので省略する。
機種名表示部105は、機種選択ボタン101で選択された機種名を表示する。図26の例は、プロジェクタPaが表示されている。
操作ボタン106は、40型画像の投射ボタン106f及び100型画像の投射ボタン106gを含む。
40型画像の投射ボタン106fは、投射画像Pa1により示される投射動作を表示する。100型画像の投射ボタン106fは、投射画像Pa3により示される投射動作を表示する。
図27は第2実施形態の操作ボタン106が押下された後の第2実施形態の機種表示画面の例を示す図である。操作ボタン106が押下されると、プロジェクタPaの仕様を定義した仕様情報に応じた明るさで画像が投射される様子を示す動画(アニメーション)が表示される。操作ボタン106が、再度、押下されると、プロジェクタPaの仕様を定義した仕様情報に応じた明るさで画像が投射される様子を示す動画(アニメーション)の表示を終了する。
図28Aは第2実施形態の投射画像Pa1の例(40型の場合)を示す模式図である。図28Bは第2実施形態の投射画像Pa3の例(100型の場合)を示す模式図である。図28A及び図28Bのように、撮像画像が示す空間内で、プロジェクタPaを示す仮想物体40から画像を投射する様子を示す動画(アニメーション)が表示されることにより、プロジェクタPaの動作イメージをより明瞭にユーザに把握させることができる。
配置制限領域指定ボタン109は、配置制限領域指定画面を表示するボタンである。配置制限領域指定画面は、仮想物体40に対応する物体が配置される領域の制限を示す配置制限領域を指定する画面である。第2実施形態の配置制限領域指定画面は、第1実施形態の配置制限領域指定画面(図19参照)と同様なので、説明を省略する。
商品仕様表示ボタン110は、機種名表示部105に表示されている機種名から特定される詳細仕様情報を表示する商品仕様画面を表示するボタンである。第2実施形態の商品仕様画面は、第1実施形態の商品仕様画面(図20参照)と同様なので、説明を省略する。
おすすめ商品表示ボタン111は、ユーザに推薦する機種の機種表示画面を表示するボタンである。ユーザに推薦する機種は、例えば機種名表示部105に表示されている機種に商品仕様が類似する機種である。操作受付部15が、おすすめ商品表示ボタン111の押下を示す操作を受け付けると、生成部16が、ユーザに推薦する機種の表示設定情報に含まれる初期表示画像情報の本体画像が、撮像画像上のARマーカー30の位置に合成された合成画像を生成する。そして表示制御部13が、当該合成画像に対応する機種表示画面を表示部14に表示する。
商品購入ボタン112は、機種名表示部105に表示されている機種を購入可能なウェブサイトを表示するボタンである。操作受付部15が、商品購入ボタン112の押下を示す操作を受け付けると、通信部17が、機種名表示部105に表示されている機種を購入可能なウェブサイトのアドレスを記憶部11から取得する。そして通信部17が、当該アドレスにアクセスすることにより取得されたウェブサイトを、表示制御部13が表示部14に表示する。
地図表示ボタン113は、機種名表示部105に表示されている機種を購入可能な店舗の位置を示す地図表示画面を表示する。第2実施形態の地図表示画面は、第1実施形態の地図表示画面(図21参照)と同様なので、説明を省略する。
シェアボタン114は、Facebook(登録商標)及びTwitter(登録商標)等のシェアアプリのリストをポップアップ表示する。操作受付部15が、シェアアプリの選択を示す操作を受け付けると、当該シェアアプリを利用して表示部14に表示させた情報等を、他のユーザと共有することができる。
第2実施形態の情報処理方法は、第1実施形態の情報処理方法(図22参照)と同様なので、説明を省略する。また第2実施形態の情報処理装置10のハードウェア構成は、第1実施形態の情報処理装置10のハードウェア構成(図23参照)と同様なので、説明を省略する。
以上説明したように、第2実施形態の情報処理装置10では、生成部16が、撮像画像に含まれるARマーカー30により識別される位置に、プロジェクタを示す仮想物体40が合成された合成画像を生成する。また操作受付部15が、表示部14に表示された合成画像に含まれる仮想物体40を動作させる操作を受け付ける。そして表示制御部13が、操作受付部15により仮想物体40を動作させる操作が受け付けられたときに、プロジェクタの仕様を定義した仕様情報を含む表示設定情報に基づき、仮想物体40の動作を表す表示を制御する。これによりプロジェクタを動作させた場合のイメージをより明瞭にユーザに把握させることができる。
なお第2実施形態の説明では、配置対象物が有する機能の明るさを示す明るさ情報が仕様情報に含まれる場合を、当該配置対象物がプロジェクタである場合を例にして説明したが、当該配置対象物はプロジェクタに限られず任意の装置でよい。
(第3実施形態)
次に第3実施形態について説明する。第3実施形態の説明では、仮想物体40に対応する物体が洗濯機である場合について説明する。第3実施形態の説明では、第1実施形態と同様の説明については省略し、第1実施形態と異なる箇所について説明する。
第3実施形態の情報処理システム1の構成は、第1実施形態の情報処理システム1の構成(図1参照)と同じである。また第3実施形態の情報処理装置10の構成は、第1実施形態の情報処理装置10の構成(図4参照)と同じである。
まず第3実施形態の表示設定情報(初期表示画像情報、可動部分画像情報、及び、仕様情報)について説明する。
図29は第3実施形態の初期表示画像情報の例(洗濯機の場合)を示す図である。初期表示画像情報は、洗濯機を示す仮想物体40の表示を開始するときの状態を示す。初期表示画像情報は、機種名及び本体画像の項目を有する。機種名は洗濯機の機種の名称を示す。第2実施形態では、機種名が仮想物体40の種類を識別する識別情報である。本体は、洗濯機を示す画像を特定する特定情報を示す。特定情報は、例えば画像ファイル名である。本体画像は、情報処理装置10により撮影された撮影画像に含まれるARマーカー30の位置に表示される。
例えば図29の例では、洗濯機Waを示す仮想物体40が情報処理装置10で初期表示される場合、本体画像Waにより仮想物体40が表示される。
次に第3実施形態の可動部分画像情報の例について説明する。
図30は第3実施形態の可動部分画像情報の例(扉の場合)を示す図である。図30の可動部分画像情報は、機種名、扉(open)、扉(close)及び表示基準点の項目を有する。機種名は洗濯機の機種の名称を示す。扉(open)は、扉を開く動作を示す画像(アニメーション)を特定する特定情報を示す。扉(close)は、扉を閉じる動作を示す画像(アニメーション)を特定する特定情報を示す。特定情報は、例えば画像ファイル名である。表示基準点は、扉を開く動作を示す画像(アニメーション)、及び、扉を閉じる動作を示す画像(アニメーション)を表示する位置を示す。
例えば図30の洗濯機Waの例では、扉を開く動作を示す画像(アニメーション)は、Door_open画像Waである。また扉を閉じる動作を示す画像(アニメーション)は、Door_close画像Waである。またDoor_open画像Wa及びDoor_close画像Waを表示する位置は、表示基準点の座標(x_wa,y_wa,z_wa)により特定される。
次に第3実施形態の仕様情報の例について説明する。
図31は第3実施形態の仕様情報の例(洗濯動作の場合)を示す図である。図31の仕様情報は、機種名、動作音(dB)、洗濯動作及び表示基準点の項目を有する。機種名は洗濯機の機種の名称を示す。洗濯動作は、洗濯機の洗濯槽を回転させることにより洗濯物が洗濯される様子を示す画像(アニメーション)を特定する特定情報を示す。特定情報は、例えば画像ファイル名である。表示基準点は、洗濯機の洗濯槽を回転させることにより洗濯物が洗濯される様子を示す画像(アニメーション)を表示する位置を示す。
例えば図31の洗濯機Waの例では、洗濯機の洗濯槽を回転させることにより洗濯物が洗濯される様子を示す画像(アニメーション)は、洗濯画像Waである。洗濯画像Waは、動作音30dBに応じた音量とともに、洗濯機の洗濯槽を回転させることにより洗濯物が洗濯される様子を示す。また洗濯画像Waを表示する位置は、表示基準点の座標(x_wa,y_wa,z_wa)により特定される。
次に第3実施形態の機種選択画面の例について説明する。
図32は第3施形態の機種選択画面の例を示す図である。第3実施形態の機種選択画面は、機種選択ボタン101、設定ボタン102、ヘルプボタン103及びカメラボタン104を有する。
機種選択ボタン101は、洗濯機の機種を選択するドロップダウンリストである。操作受付部15の機種選択ボタン101が押下されると、表示制御部13が、記憶部11に上述の表示設定情報として記憶されている洗濯機の機種名をリストで表示部14に表示する。
設定ボタン102は、表示言語(日本語、英語又は中国語等)、及び、文字サイズ等の表示設定を変更する設定画面を表示するボタンである。
ヘルプボタン103は、操作方法を示すヘルプ画面を表示するボタンである。
カメラボタン104は、背景として表示されている撮影画像を撮像するボタンである。ARマーカー30の位置に洗濯機を示す仮想物体40が表示されている状態で、操作受付部15のカメラボタン104が押下された場合、洗濯機を示す仮想物体40を含む合成画像が、記憶部11等に記憶される。
図33は第3実施形態の機種選択画面の例(リストが表示された場合)を示す図である。図33の例は、機種選択ボタン101が押下されることにより、洗濯機Wa、洗濯機Wb及び洗濯機Wcがリストとして表示された場合を示す。操作受付部15が、リストから機種名を選択する操作を受け付けると、生成部16が、当該機種名に関連付けられた仮想物体40を示す画像が、撮像画像上のARマーカー30の位置に合成された合成画像を生成する。そして表示制御部13が、当該合成画像に後述のUI部品(各種ボタン等、図34参照)が付与された画面を表示部14に表示する。例えば洗濯機Waが選択されると、表示設定情報に含まれる初期表示画像情報(図29参照)の本体画像Waにより示される仮想物体40が、ARマーカー30の位置に表示される。
図34は第3実施形態の機種表示画面の例(洗濯機Waの場合)を示す図である。第3実施形態の機種表示画面は、機種選択ボタン101、設定ボタン102、ヘルプボタン103、カメラボタン104、機種名表示部105、操作ボタン106、配置制限領域指定ボタン109、商品仕様表示ボタン110、おすすめ商品表示ボタン111、商品購入ボタン112、地図表示ボタン113及びシェアボタン114を有する。
機種選択ボタン101、設定ボタン102、ヘルプボタン103及びカメラボタン104の説明は、図13の説明と同様なので省略する。
機種名表示部105は、機種選択ボタン101で選択された機種名を表示する。図34の例は、洗濯機Waが表示されている。
操作ボタン106は、扉操作ボタン106h、洗濯動作開始ボタン106i及び洗濯動作停止ボタン106jを含む。
扉操作ボタン106hは、扉51の開閉を操作するボタンである。扉操作ボタン106hは、表示設定情報に含まれる図30の可動部分画像情報(扉の場合)で指定された画像ファイルにより示される開閉動作を表示する。
扉操作ボタン106hが押下されると、扉51を開く動作を示す画像(アニメーション)が表示される。具体的には、仮想物体40が洗濯機Waである場合、表示設定情報に含まれる可動部分画像情報(図30参照)のDoor_open画像Waにより、扉51を開く動作を示す画像(アニメーション)が表示される。第1の扉操作ボタン106hが再度、押下されると、扉51を閉じる動作を示す画像(アニメーション)が表示される。具体的には、仮想物体40が洗濯機Waである場合、表示設定情報に含まれる可動部分画像情報(図30参照)のDoor_close画像Waにより、扉51を閉じる動作を示す画像(アニメーション)が表示される。
洗濯動作開始ボタン106iは、洗濯動作を開始させるボタンである。洗濯動作開始ボタン106iは、表示設定情報に含まれる図31の仕様情報で指定された画像ファイルにより示される洗濯動作を表示する。具体的には、仮想物体40が洗濯機Waである場合、表示設定情報に含まれる仕様情報(図31参照)の洗濯画像Waにより、仕様情報に基づく動作音(30dB)に応じた音の出力と、洗濯動作を示す画像(アニメーション)の表示が行われる。
洗濯動作停止ボタン106jは、洗濯動作を停止させるボタンである。洗濯動作停止ボタン106iは、表示設定情報に含まれる図31の仕様情報で指定された画像ファイルにより示される洗濯動作の表示を停止する。具体的には、仮想物体40が洗濯機Waである場合、表示設定情報に含まれる仕様情報(図31参照)の洗濯画像Waにより、仕様情報に基づく動作音(30dB)に応じた音の出力と、洗濯動作を示す画像(アニメーション)の表示を停止する。
配置制限領域指定ボタン109は、配置制限領域指定画面を表示するボタンである。配置制限領域指定画面は、仮想物体40に対応する物体が配置される領域の制限を示す配置制限領域を指定する画面である。第3実施形態の配置制限領域指定画面は、第1実施形態の配置制限領域指定画面(図19参照)と同様なので、説明を省略する。
商品仕様表示ボタン110は、機種名表示部105に表示されている機種名から特定される詳細仕様情報を表示する商品仕様画面を表示するボタンである。第3実施形態の商品仕様画面は、第1実施形態の商品仕様画面(図20参照)と同様なので、説明を省略する。
おすすめ商品表示ボタン111は、ユーザに推薦する機種の機種表示画面を表示するボタンである。ユーザに推薦する機種は、例えば機種名表示部105に表示されている機種に商品仕様が類似する機種である。操作受付部15が、おすすめ商品表示ボタン111の押下を示す操作を受け付けると、生成部16が、ユーザに推薦する機種の表示設定情報に含まれる初期表示画像情報の本体画像が、撮像画像上のARマーカー30の位置に合成された合成画像を生成する。そして表示制御部13が、当該合成画像に対応する機種表示画面を表示部14に表示する。
商品購入ボタン112は、機種名表示部105に表示されている機種を購入可能なウェブサイトを表示するボタンである。操作受付部15が、商品購入ボタン112の押下を示す操作を受け付けると、通信部17が、機種名表示部105に表示されている機種を購入可能なウェブサイトのアドレスを記憶部11から取得する。そして通信部17が、当該アドレスにアクセスすることにより取得されたウェブサイトを、表示制御部13が表示部14に表示する。
地図表示ボタン113は、機種名表示部105に表示されている機種を購入可能な店舗の位置を示す地図表示画面を表示する。第3実施形態の地図表示画面は、第1実施形態の地図表示画面(図21参照)と同様なので、説明を省略する。
シェアボタン114は、Facebook(登録商標)及びTwitter(登録商標)等のシェアアプリのリストをポップアップ表示する。操作受付部15が、シェアアプリの選択を示す操作を受け付けると、当該シェアアプリを利用して表示部14に表示させた情報等を、他のユーザと共有することができる。
第3実施形態の情報処理方法は、第1実施形態の情報処理方法(図22参照)と同様なので、説明を省略する。また第3実施形態の情報処理装置10のハードウェア構成は、第1実施形態の情報処理装置10のハードウェア構成(図23参照)と同様なので、説明を省略する。
以上説明したように、第3実施形態の情報処理装置10では、生成部16が、撮像画像に含まれるARマーカー30により識別される位置に、洗濯機を示す仮想物体40が合成された合成画像を生成する。また操作受付部15が、表示部14に表示された合成画像に含まれる仮想物体40を動作させる操作を受け付ける。そして表示制御部13が、操作受付部15により仮想物体40を動作させる操作が受け付けられたときに、洗濯機の仕様を定義した仕様情報を含む表示設定情報に基づき、仮想物体40の動作を表す表示を制御する。これにより洗濯機を動作させた場合のイメージをより明瞭にユーザに把握させることができる。
なお第3実施形態の説明では、配置対象物が有する機能を動作させた場合の音を示す音情報が仕様情報に含まれる場合を、当該配置対象物が洗濯機である場合を例にして説明したが、当該配置対象物は洗濯機に限られず任意の装置でよい。
1 情報処理システム
10 情報処理装置
11 記憶部
12 撮像部
13 表示制御部
14 表示部
15 操作受付部
16 生成部
17 通信部
18 GPS部
19 出力部
20 サーバ装置
30 ARマーカー
40 仮想物体
100 ネットワーク
301 制御装置
302 主記憶装置
303 補助記憶装置
304 表示装置
305 入力装置
306 通信装置
307 撮像装置
308 GPS装置
309 スピーカー
特許第4032776号公報

Claims (9)

  1. 配置対象物を示す仮想物体が表示される位置を識別する位置識別情報を含む撮像画像を取得する撮像部と、
    前記位置識別情報により識別される前記撮像画像上の位置に、前記仮想物体が合成された合成画像を生成する生成部と、
    表示部に表示された前記合成画像に含まれる前記仮想物体を動作させる操作を受け付ける操作受付部と、
    前記操作受付部により前記仮想物体を動作させる操作が受け付けられたときに、前記配置対象物の仕様を定義した仕様情報を含む表示設定情報に基づき、前記仮想物体の動作を表す表示を制御する表示制御部と、を備え、
    前記配置対象物は投射装置であり、
    前記仕様情報は、前記投射装置が有する機能の明るさを示す明るさ情報を含み、
    前記表示制御部は、投射が行われた際に前記投射装置から画像が出力される様子を示す前記仮想物体の動画像を、前記投射装置の仕様情報により示される明るさに応じて表示する、
    情報処理装置。
  2. 前記表示設定情報を受信する通信部と、
    前記表示設定情報を記憶する記憶部と、
    を更に備える請求項1に記載の情報処理装置。
  3. 前記操作受付部は、複数の前記仮想物体の識別情報から、前記仮想物体の識別情報を選択する操作を受け付け、
    前記生成部は、前記撮像画像に含まれる前記位置識別情報により識別される位置に、選択された前記識別情報により識別される前記仮想物体が合成された合成画像を生成する、
    請求項1又は2に記載の情報処理装置。
  4. 前記生成部は、前記位置識別情報の前記撮像画像上の位置及び形状の少なくとも一方の変更に応じて、前記仮想物体に、拡大、縮小、移動及び回転のうち少なくとも1つを行うことにより、前記仮想物体の表示態様が変更された前記仮想物体が合成された合成画像を合成し、
    前記表示制御部は、前記表示態様が変更された前記仮想物体が合成された合成画像を表示部に表示する、
    請求項1乃至3のいずれか1項に記載の情報処理装置。
  5. 前記仕様情報は、前記投射装置が有する機能の動作速度を示す速度情報を更に含む、
    請求項1乃至4のいずれか1項に記載の情報処理装置。
  6. 前記仕様情報は、前記投射装置が有する機能を動作させた場合に生じる音を示す音情報を更に含み、
    前記情報処理装置は、前記音情報に応じた音を出力する出力部を更に備える、
    請求項1乃至4のいずれか1項に記載の情報処理装置。
  7. 前記投射装置は動作時に音を生じる装置であり、
    前記表示制御部は、前記音を生じる装置が動作する様子を示す前記仮想物体の動画像を表示し、
    前記出力部は、前記音を生じる装置の仕様情報により示される音情報に応じた音を出力する、
    請求項に記載の情報処理装置。
  8. 撮像部が、配置対象物を示す仮想物体が表示される位置を識別する位置識別情報を含む撮像画像を取得するステップと、
    生成部が、前記位置識別情報により識別される前記撮像画像上の位置に、前記仮想物体が合成された合成画像を生成するステップと、
    操作受付部が、表示部に表示された前記合成画像に含まれる前記仮想物体を動作させる操作を受け付けるステップと、
    表示制御部が、前記操作を受け付けるステップにより前記仮想物体を動作させる操作が受け付けられたときに、前記配置対象物の仕様を定義した仕様情報を含む表示設定情報に基づき、前記仮想物体の動作を表す表示を制御するステップと、を含み、
    前記配置対象物は投射装置であり、
    前記仕様情報は、前記投射装置が有する機能の明るさを示す明るさ情報を含み、
    前記表示を制御するステップは、投射が行われた際に前記投射装置から画像が出力される様子を示す前記仮想物体の動画像を、前記投射装置の仕様情報により示される明るさに応じて表示する、
    を含む情報処理方法。
  9. 配置対象物を示す仮想物体が表示される位置を識別する位置識別情報を含む撮像画像を取得する撮像部を備える情報処理装置を、
    前記位置識別情報により識別される前記撮像画像上の位置に、前記仮想物体が合成された合成画像を生成する生成部と、
    表示部に表示された前記合成画像に含まれる前記仮想物体を動作させる操作を受け付ける操作受付部と、
    前記操作受付部により前記仮想物体を動作させる操作が受け付けられたときに、前記配置対象物の仕様を定義した仕様情報を含む表示設定情報に基づき、前記仮想物体の動作を表す表示を制御する表示制御部、として機能させ、
    前記配置対象物は投射装置であり、
    前記仕様情報は、前記投射装置が有する機能の明るさを示す明るさ情報を含み、
    前記表示制御部は、投射が行われた際に前記投射装置から画像が出力される様子を示す前記仮想物体の動画像を、前記投射装置の仕様情報により示される明るさに応じて表示する、
    プログラム。
JP2015199693A 2015-10-07 2015-10-07 情報処理装置、情報処理方法及びプログラム Active JP6582847B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015199693A JP6582847B2 (ja) 2015-10-07 2015-10-07 情報処理装置、情報処理方法及びプログラム
EP16189683.2A EP3154031A3 (en) 2015-10-07 2016-09-20 Information processing device, information processing method, and computer-readable medium
US15/278,263 US9905053B2 (en) 2015-10-07 2016-09-28 Information processing device, information processing method, and computer program product
CN201610879746.3A CN106980361B (zh) 2015-10-07 2016-10-08 信息处理装置以及信息处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015199693A JP6582847B2 (ja) 2015-10-07 2015-10-07 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2017072999A JP2017072999A (ja) 2017-04-13
JP6582847B2 true JP6582847B2 (ja) 2019-10-02

Family

ID=57280937

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015199693A Active JP6582847B2 (ja) 2015-10-07 2015-10-07 情報処理装置、情報処理方法及びプログラム

Country Status (4)

Country Link
US (1) US9905053B2 (ja)
EP (1) EP3154031A3 (ja)
JP (1) JP6582847B2 (ja)
CN (1) CN106980361B (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10026226B1 (en) 2014-06-10 2018-07-17 Ripple Inc Rendering an augmented reality object
US10930038B2 (en) 2014-06-10 2021-02-23 Lab Of Misfits Ar, Inc. Dynamic location based digital element
US12008697B2 (en) 2014-06-10 2024-06-11 Ripple, Inc. Of Delaware Dynamic location based digital element
CN107574625A (zh) * 2017-08-18 2018-01-12 珠海格力电器股份有限公司 衣物的洗涤方法、装置、存储设备、移动终端及洗衣机
US10679414B2 (en) 2017-12-15 2020-06-09 Oath Inc. Presenting an augmented reality interface
JP6560383B1 (ja) * 2018-02-16 2019-08-14 ヤフー株式会社 情報表示プログラム、情報表示方法、情報表示装置、及び配信装置
JP7188901B2 (ja) * 2018-03-30 2022-12-13 東京ガスiネット株式会社 情報処理システム及びプログラム
JP2019185071A (ja) * 2018-03-30 2019-10-24 東京ガスiネット株式会社 情報処理システム及びプログラム
JP7188902B2 (ja) * 2018-03-30 2022-12-13 東京ガスiネット株式会社 情報処理システム及びプログラム
JP2019185072A (ja) * 2018-03-30 2019-10-24 東京ガスiネット株式会社 情報処理システム及びプログラム
CN108628449A (zh) * 2018-04-24 2018-10-09 北京小米移动软件有限公司 设备控制方法、装置、电子设备及计算机可读存储介质
US10803671B2 (en) * 2018-05-04 2020-10-13 Microsoft Technology Licensing, Llc Authoring content in three-dimensional environment
US11138798B2 (en) * 2019-05-06 2021-10-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying objects in 3D contexts

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6291475A (ja) 1985-10-17 1987-04-25 日東紡績株式会社 ガラス繊維プリフオ−ム
JP2761793B2 (ja) 1990-05-30 1998-06-04 株式会社コパル 加速度センサ
JP4032776B2 (ja) 2002-03-04 2008-01-16 ソニー株式会社 複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラム
JP4821354B2 (ja) * 2006-02-13 2011-11-24 富士ゼロックス株式会社 画像形成装置シミュレーション装置、画像形成装置シミュレーション方法及びプログラム
JP5803199B2 (ja) * 2011-03-25 2015-11-04 富士ゼロックス株式会社 映像表示装置、携帯端末およびプログラム
US9235819B2 (en) * 2011-11-04 2016-01-12 Canon Kabushiki Kaisha Printing system, image forming apparatus, and method
JP5831151B2 (ja) * 2011-11-14 2015-12-09 コニカミノルタ株式会社 制御処理プログラム、画像表示装置、および画像表示方法
JP5966510B2 (ja) * 2012-03-29 2016-08-10 ソニー株式会社 情報処理システム
JP6064392B2 (ja) 2012-06-29 2017-01-25 株式会社リコー 検索装置、検索方法、検索プログラムおよび検索システム
US9286727B2 (en) * 2013-03-25 2016-03-15 Qualcomm Incorporated System and method for presenting true product dimensions within an augmented real-world setting
US9872968B2 (en) * 2013-04-17 2018-01-23 Sri International Biofeedback virtual reality sleep assistant

Also Published As

Publication number Publication date
CN106980361B (zh) 2020-03-17
EP3154031A2 (en) 2017-04-12
US9905053B2 (en) 2018-02-27
JP2017072999A (ja) 2017-04-13
EP3154031A3 (en) 2017-05-31
US20170103575A1 (en) 2017-04-13
CN106980361A (zh) 2017-07-25

Similar Documents

Publication Publication Date Title
JP6582847B2 (ja) 情報処理装置、情報処理方法及びプログラム
US9741174B2 (en) Information processing apparatus, information processing method, and computer-readable recording medium
JP6651777B2 (ja) 情報処理装置、情報処理方法及びプログラム
US11154779B2 (en) Processing device, program, and method
JP6354653B2 (ja) 拡張現実操作システムおよび拡張現実操作プログラム
JP2015146113A (ja) 表示プログラムおよび表示装置
JP2018067139A (ja) 情報処理装置及びプログラム
JP2018006882A (ja) 情報処理装置及びプログラム
CN107391061A (zh) 信息处理装置及信息处理方法
JP6428693B2 (ja) 表示操作装置及び操作指示受付プログラム
JP7059715B2 (ja) 画像形成装置、画像形成システム
JP5981617B1 (ja) ユーザ・インタフェース画像表示のためのコンピュータ・プログラムおよびコンピュータ実装方法
US10114518B2 (en) Information processing system, information processing device, and screen display method
JP6558933B2 (ja) コミュニケーション支援システム、情報処理装置およびその制御方法
JP2018160120A (ja) 表示装置および表示システム
JP6327387B2 (ja) 情報処理装置及びプログラム
WO2017149791A1 (ja) プリントシステム
JP2018005899A (ja) 情報処理装置及びプログラム
JP5073608B2 (ja) 画像出力装置、画像出力方法、及びプログラム
JP2016115308A (ja) プレビュー表示装置、印刷装置、プレビュー表示方法、印刷方法、プレビュー表示プログラム、記憶媒体
JP7322679B2 (ja) 映像編集装置の制御方法、映像編集装置、及びプログラム
JP2019068442A (ja) 情報処理装置及びプログラム
JP2017016370A (ja) 端末、画像判定システム、画像判定方法およびプログラム
JP2017182153A (ja) 表示操作装置及び操作指示受付プログラム
JP6455551B2 (ja) 情報処理装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180910

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190521

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190819

R151 Written notification of patent or utility model registration

Ref document number: 6582847

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151