[go: up one dir, main page]

JP6479220B2 - コンテンツ投影制御装置、コンテンツ投影制御方法及びプログラム - Google Patents

コンテンツ投影制御装置、コンテンツ投影制御方法及びプログラム Download PDF

Info

Publication number
JP6479220B2
JP6479220B2 JP2017561497A JP2017561497A JP6479220B2 JP 6479220 B2 JP6479220 B2 JP 6479220B2 JP 2017561497 A JP2017561497 A JP 2017561497A JP 2017561497 A JP2017561497 A JP 2017561497A JP 6479220 B2 JP6479220 B2 JP 6479220B2
Authority
JP
Japan
Prior art keywords
projection
area
content
inappropriate
arrangement unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017561497A
Other languages
English (en)
Other versions
JPWO2017122363A1 (ja
Inventor
宗 益子
宗 益子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Group Inc
Original Assignee
Rakuten Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Inc filed Critical Rakuten Inc
Publication of JPWO2017122363A1 publication Critical patent/JPWO2017122363A1/ja
Application granted granted Critical
Publication of JP6479220B2 publication Critical patent/JP6479220B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/413Classification of content, e.g. text, photographs or tables
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232Content retrieval operation locally within server, e.g. reading video streams from disk arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/74Projection arrangements for image reproduction, e.g. using eidophor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)

Description

本発明はコンテンツ投影制御装置、コンテンツ投影制御方法及びプログラムに関し、特に、投影不適領域によるコンテンツの部分的な視認性低下を防止する技術に関する。
プロジェクタなどのコンテンツ投影装置を利用する場合、平坦であり、且つ白色等の単一色が付された光反射面からなる、専用の投影スクリーンにコンテンツを投影すれば、所期の視認性を確保することができる。これに対して、近年ではコンテンツ投影装置の輝度が向上していることもあって、部屋の壁面等、専用の投影スクリーン以外の面にコンテンツを投影することも多くなってきている。このような利用形態によれば、気軽にコンテンツを複数人で見ることができる。
しかしながら、部屋の壁面等の専用の投影スクリーン以外の投影面では、時計やカレンダーなどの設置物、或は壁パネルの継ぎ目の部材など、投影に不適切な部材が壁面の一部に配置されていることがあり、コンテンツの投影に適していない領域(投影不適領域)が存在しうる。そして、このような投影不適領域にコンテンツの一部を投影してしまうと、その部分のコンテンツの視認性が低下するという問題がある。これに対し、下記特許文献1に記載された発明では、コンテンツ全体を上下又は左右に2分割し、投影不適領域を挟んで、それら2分割したコンテンツを上下又は左右に配置している。
特開2015−139004号公報
しかしながら、上記先行技術文献に係る発明によると、投影不適領域を挟むようにして、上下又は左右に2分割したコンテンツを離間して配置するだけなので、投影領域を上下方向又は左右方向に貫くよう帯状に投影不適領域が存在するという特別の場合以外、投影領域のうち投影不適領域以外の領域(投影可能領域)を有効活用することができない、という問題があった。
本発明は上記課題に鑑みてなされたものであって、その目的は、投影可能領域を有効活用しつつ、投影不適領域によるコンテンツの部分的な視認性低下を防止できるコンテンツ投影制御装置、コンテンツ投影制御方法及びプログラムを提供することにある。
本発明に係るコンテンツ投影制御装置は、複数のオブジェクトを含むコンテンツを示すコンテンツデータを取得し、前記各オブジェクトは1以上の画像又は複数の文字を含む、コンテンツデータ取得手段と、投影領域を示す投影領域データを取得する投影領域データ取得手段と、前記投影領域データに基づき、前記投影領域のうち投影に適さない投影不適領域を判定する投影不適領域判定手段と、前記コンテンツデータが示すコンテンツから、それぞれ1のオブジェクト又は隣接する複数のオブジェクトを含む、複数の配置単位を生成する配置単位生成手段と、前記投影不適領域の位置に基づいて、前記配置単位ごとにその投影位置を決定することにより、前記配置単位のレイアウトを変更するレイアウト変更手段と、を含む。
また、本発明に係るコンテンツ投影制御方法は、複数のオブジェクトを含むコンテンツを示すコンテンツデータを取得し、前記各オブジェクトは1以上のイメージ又は複数の文字を含む、ステップと、投影領域を示す投影領域データを取得するステップと、前記投影領域データに基づき、前記投影領域のうち投影に適さない投影不適領域を判定するステップと、前記コンテンツデータが示すコンテンツから、それぞれ1のオブジェクト又は隣接する複数のオブジェクトを含む、複数の配置単位を生成するステップと、前記投影不適領域の位置に基づいて、前記配置単位ごとにその投影位置を決定することにより、前記配置単位のレイアウトを変更するステップと、を含む。
また、本発明に係るプログラムは、複数のオブジェクトを含むコンテンツを示すコンテンツデータを取得し、前記各オブジェクトは1以上のイメージ又は複数の文字を含む、コンテンツデータ取得手段、投影領域を示す投影領域データを取得する投影領域データ取得手段、前記投影領域データに基づき、前記投影領域のうち投影に適さない投影不適領域を判定する投影不適領域判定手段、前記コンテンツデータが示すコンテンツから、それぞれ1のオブジェクト又は隣接する複数のオブジェクトを含む、複数の配置単位を生成する配置単位生成手段、及び前記投影不適領域の位置に基づいて、前記配置単位ごとにその投影位置を決定することにより、前記配置単位のレイアウトを変更するレイアウト変更手段としてコンピュータを機能させるためのプログラムである。このプログラムは、半導体メモリ、磁気ディスク、光ディスクなどのコンピュータ可読情報記憶媒体に格納されてよい。
本発明の実施形態に係るコンテンツ投影制御装置のシステム構成図である。 本発明の実施形態に係るコンテンツ投影制御装置により壁面に投影されるコンテンツの一例を示す図である。 本発明の実施形態に係るコンテンツ投影制御装置によりコンテンツが投影される壁面の一例を示す図である。 本発明の実施形態に係るコンテンツ投影制御装置により、図2に示すコンテンツのレイアウトを変更し、図3に示される壁面に投影した様子を示す図である。 図2に示されるコンテンツから生成される配置単位を示す図である。 図5(e)に示される配置単位をさらに分割することにより生成される配置単位を示す図である。 図3に示される壁面における投影不適領域及び投影可能領域を示す図である。 図7に示される投影可能領域に各配置単位を配置した例を示す図である。 本発明の実施形態に係るコンテンツ投影制御装置の機能ブロック図である。 本発明の実施形態に係るコンテンツ投影制御装置の動作フロー図である。 本発明の実施形態に係るコンテンツ投影制御装置によるレイアウト変更の他の例を示す図である。 本発明の実施形態に係るコンテンツ投影制御装置によるレイアウト変更のさらに他の例を示す図である。 投影不適領域の変化に応じてコンテンツのレイアウト変更を随時行うためのコンテンツ投影制御装置の動作フロー図である。
以下、本発明の実施形態に係るコンテンツ投影制御装置について図面に基づいて詳細に説明する。
図1は、本実施形態に係るコンテンツ投影制御装置のシステム構成図である。コンテンツ投影制御装置はパーソナルコンピュータ、スマートフォン、タブレットなどのコンピュータ12を中心に構成されており、同コンピュータ12にはカメラ16とコンテンツ投影装置であるプロジェクタ14とが接続されている。コンピュータ12はCPUやメモリを含んで構成されており、CPUがコンピュータプログラムを実行することにより、本発明に係る各種情報処理を行う。このコンピュータプログラムは磁気ディスク、光ディスク、半導体メモリなどのコンピュータ可読情報記憶媒体からコンピュータ12に読み出されてよい。或は、インターネット等の通信ネットワークからダウンロードされてよい。
プロジェクタ14はコンピュータ12から供給されるコンテンツのデータを映像化して、専用の投影スクリーンや壁面等の投影面に投影する。ここでは、部屋の壁面18の一部をコンテンツの投影領域40とし、そこにプロジェクタ14がコンテンツを投影するものとする。カメラ16は壁面18の投影領域40を撮影し、撮影データをコンピュータ12に供給する。この撮影データは、コンピュータ12において、投影領域40のうち投影可能領域及び投影不適領域を判定するのに用いられる。なお、プロジェクタ14及びカメラ16の一方又は双方はコンピュータ12に内蔵されてもよい。
図2は、本発明のコンテンツ投影制御装置により壁面18に投影されるコンテンツの一例を示す図である。コンテンツ20は、例えば新聞記事やプレゼンテーション資料であり、HTML形式やパワーポイント(登録商標)形式といったベクタ形式のコンテンツデータにより記述されている。コンピュータ12は、ベクタ形式のコンテンツデータをレンダリングすることにより、ラスタ形式のデータ(画像データ)を得ることができる。
コンテンツ20は複数のオブジェクトA〜Jを含んでおり、コンテンツデータは、各オブジェクトの内容、属性、表示制御情報(表示位置、表示フォント、出力サイズなど)を示している。オブジェクトA〜Jはそれぞれ、1の画像又は複数文字のいずれかを少なくとも含んでいる。典型的には、オブジェクトA〜Jは文章、画像、又は文章と画像の組み合わせである。
オブジェクトA〜Jの属性は、「タイトル」や「本文」といったコンテンツにおける要素タイプであってよい。さらに、バナー広告画像等、特定目的のオブジェクトに対しては、「広告」等といった目的であってよい。
ここでは、オブジェクトAの属性は「タイトル」であり、オブジェクトB及びCの属性は「本文」である。オブジェクトD乃至F,G乃至Jの属性は「広告」である。本実施形態においてオブジェクトの属性には優先度が設定されており、「タイトル」の優先度が最も高く、「本文」の優先度が次に高く、「広告」の優先度が最も低いものとする。
図3は、本実施形態に係るコンテンツ投影制御装置によりコンテンツ20が投影される壁面18の一例を示す図である。同図に示されるように、壁面18の投影領域40の右上隅には時計等の設置物42が配置されている。このため、設置物42の上にはコンテンツ20を良好に投影することができない。本実施形態によれば、図2に示されるコンテンツ20のレイアウトを変更し、設置物42を避けるようコンテンツ20のオブジェクトA〜Jを再配置している。
図4は、本実施形態に係るコンテンツ投影制御装置により、図2に示されるコンテンツ20のレイアウトを変更し、レイアウト変更後のコンテンツ20を、図3に示される壁面18に投影した様子を示す図である。このように本実施形態によれば、コンテンツ20のレイアウトを大きく変更することにより、投影領域のうち設置物42が配置されていない領域を有効に活用して、オブジェクトA〜Jを投影することができる。
このようなコンテンツ20のレイアウト変更を実現するために、コンピュータ12は、コンテンツ20から図5(a)〜(e)に示される配置単位21〜25を生成している。ここで、同図(a)に示される配置単位21は、元のコンテンツ20において左右に隣接して配置されている3つの広告画像であるオブジェクトD〜Fを含んでいる。同図(b)に示される配置単位22は、タイトル画像であるオブジェクトAを含んでいる。同図(c)に示される配置単位23は、本文の一部を示す文書オブジェクトであるオブジェクトBを含んでいる。同様に、同図(d)に示される配置単位24は、本文の他の一部を示す文書オブジェクトであるオブジェクトCを含んでいる。同図(e)に示される配置単位25は、元のコンテンツ20において上下に隣接して配置されている4つの広告画像であるオブジェクトG〜Jを含んでいる。すなわち、配置単位21〜25は、1のオブジェクト、又は上下又は左右方向に隣接する複数のオブジェクトを含んでいる。
配置単位21〜25は、例えば、いずれもラスタ形式のデータとしてコンピュータ12により生成される。上述のようにコンピュータ12は、ベクタ形式のコンテンツデータをレンダリングすることにより、ラスタ形式のコンテンツ20のデータを得ることができる。このとき、コンピュータ12は、コンテンツデータに含まれる各オブジェクトの表示制御情報に基づき、各配置単位のラスタ形式のデータを取得できる。例えば、各オブジェクトの表示制御情報を手掛かりに、コンテンツ全体のラスタ形式のデータの一部を切り取ることにより、各配置単位のラスタ形式のデータを取得してよい。或は、ベクタ形式のコンテンツデータのうち、1つの配置単位に対応する部分だけをレンダリングすることにより、そのオブジェクトのラスタ形式のデータを取得してよい。なお、配置単位21〜25は、ベクタ形式のコンテンツデータを編集することにより、ベクタ形式のデータとして生成されてもよい。
図6は、図5(e)に示される配置単位25をさらに分割することにより生成される配置単位25a〜25dを示す図である。図4に示すように、オブジェクトG〜Jを縦一列に配置した配置単位25は、そのままでは設置物42の下方に投影することができない。このため、本実施形態では、図5(e)に示される配置単位25を、図6に示される配置単位25a〜25dに分割し、それらを図4に示されるように2列に配置している。
ここで、投影領域40における投影不適領域及び投影可能領域の判定について説明する。図7は、図3に示される壁面18の投影領域40における投影不適領域44及び投影可能領域45を示す図である。同図に示すように、設置物42の位置は投影不適領域44と判定されており、それ以外の領域が投影可能領域45と判定されている。コンピュータ12は、投影領域40の画像をカメラ16により撮影し、撮影データから投影不適領域44及び投影可能領域45を判定する。例えば、投影領域40に既知のパターン画像を投影し、その画像を撮影する。既知のパターン画像は、例えば十字等の既知のマークを多数配列した画像である。撮影データにエッジ抽出処理を施し、処理済み撮影画像を生成する。一方、元のパターン画像自体にも同じエッジ抽出処理を施し、処理済み元パターン画像を生成する。そして、投影領域40を複数のブロック領域に区画し、ブロック領域ごとに、処理済み撮影画像と処理済み元パターン画像の差分量を演算する。そして、差分量が閾値以上であるブロック領域を投影不適領域44と判定し、差分量が閾値未満であるブロック領域を投影可能領域45と判定する。
ここで、パターン画像の代わりに、コンテンツ20の画像を用いても、投影不適領域44及び投影可能領域45を判定できる。こうすれば、パターン画像を投影領域40に投影せずに済む。
さらに、何も投影していない状態、又は無模様の画像を投影した状態の投影領域40の画像をカメラ16により撮影して、こうして得られる撮影画像に基づいて、簡易に投影不適領域44及び投影可能領域45を判定することもできる。すなわち、撮影画像にエッジ抽出処理を施すとともに、エッジを示す画素の量を上記のブロック領域ごとに計数する。そして、画素の量が閾値以上であれば投影不適領域44と判定し、閾値未満であれば投影可能領域45と判定する。
さらに、カメラ16が測距手段を備え、カメラ16から被写体までの距離を取得できる場合には、該距離により被写体である壁面18の形状を判別し、判別される形状から投影不適領域44及び投影可能領域45を判定してよい。すなわち、時計等の設置物42がある場所は手前にせり出しており、こうした領域は投影不適領域44と判定してよい。
図8は、図7に示される投影可能領域45に配置単位21〜24及び25a〜25dを配置した例を示す図である。本実施形態では、配置単位21〜25に対して、まず優先度が設定される。優先度は、配置単位に含まれるオブジェクトの属性、配置単位に含まれるオブジェクトの投影サイズの平均値に基づいて算出される。例えば、配置単位に含まれている、各オブジェクトに付与された属性の優先度を平均し、その平均値が高いほど当該配置単位の優先度を高くする。オブジェクトに付与された属性はコンテンツデータから取得すればよい。また、配置単位に含まれている、各オブジェクトの元の投影サイズを平均し、その平均値が高いほど当該配置単位の優先度を高くする。これにより、元の投影サイズが相対的に大きいオブジェクトを含む配置単位ほど、高い優先度が付与されることになる。オブジェクトの元の投影サイズもコンテンツデータから取得すればよい。また、各オブジェクトが投影されたり表示されたりした出力履歴がコンピュータ12等に記録されている場合には、既に投影されたり表示されたりした回数が多いオブジェクトほど優先度を低くし、そのようなオブジェクトを含む配置単位の優先度も低くしてよい。
投影可能領域45はL字状の領域であり、優先度が高いものから順に、配置単位21〜24及び25a〜25dが配置される。ここでは、優先度の高い「タイトル」の属性が付されたオブジェクトAを含む配置単位22、優先度が次に高い「本文」の属性が付されたオブジェクトB及びCをそれぞれ含み、それらの投影サイズの大きい配置単位23及び24、優先度が低い「広告」の属性が付されたオブジェクトD〜F及びG〜Jを含み、各オブジェクトの投影サイズが小さい配置単位21及び25、の順で優先度が設定されたとする。このため、配置単位22に対して、最初に投影位置が決定される。配置単位22は投影可能領域45内で上下左右に移動され、また適宜縮小されることにより、複数の場所に投影することができるが、そのうち、配置評価値Eの最も高い位置が投影位置となる。すなわち、配置評価値Eを、1)元の配置単位の位置と新しい位置との距離が大きいほど小さくなり、2)投影位置に配置する際に適用する縮小率が小さいほど小さくなり、3)投影可能領域45の左上に近いほど大きくなる、との条件を満たす関数とする。とすると、配置単位22は投影可能領域45の左上に配置され、配置単位23及び24はその下側に順に配置される。また、配置単位21はさらにその下側に配置される。次に、配置単位25は、配置単位21の右側、すなわち投影不適領域44の下側に収まらないので、配置単位25a〜25dに分割される。そして、投影不適領域44の下側に2列に配置される。以上の処理の結果、図4に示されるように、配置物42を避けるようにレイアウト変更されたコンテンツ20が壁面18に表示される。
ここで、コンピュータ12で実行される情報処理について、さらに具体的に説明する。図9は、コンピュータ12の機能ブロック図である。コンピュータ12は、機能的にはコンテンツデータ取得部12a、投影領域データ取得部12b、配置単位生成部12c、投影不適領域判定部12d及びレイアウト変更部12eを含んでいる。これらの機能は、コンピュータ12が本発明の実施形態に係るコンピュータプログラムを実行することにより、実現されるものである。
コンテンツデータ取得部12aは、コンテンツを示すコンテンツデータを取得する。ここで、コンテンツは複数のオブジェクトを含み、各オブジェクトは1以上の画像又は複数の文字を含む。投影領域データ取得部12bは、投影領域40を示す投影領域データを取得する。ここでは、投影領域データは、カメラ16による投影領域40の撮影画像データである。
投影不適領域判定部12dは、投影領域データに基づき、投影領域40のうち投影不適領域44及び投影可能領域45を判定する。上述のように、投影領域判定部12dは、コンテンツデータが示すコンテンツを投影した投影領域40の撮影画像と、同コンテンツの画像と、に基づいて、投影不適領域44を判定してよい。また、配置単位生成部12cは、コンテンツデータが示すコンテンツから、それぞれ1のオブジェクト又は隣接する複数のオブジェクトを含む、複数の配置単位を生成する。
さらに、レイアウト変更部12eは、投影不適領域44の位置に基づいて、配置単位ごとにその投影位置を決定することにより、配置単位のレイアウトを変更する。レイアウト変更部12eは、各配置単位の優先度を設定してよい。例えば優先度は、各配置単位に含まれる各オブジェクトの元の投影サイズに基づいて決定されてよい。また、優先度は、各配置単位に含まれるオブジェクトの属性に基づいて決定されてよい。さらに、優先度は、各配置単位に含まれるオブジェクトの出力履歴に基づいて決定されてよい。
そして、レイアウト変更部12eは、各配置単位の優先度に従って、その投影位置を決定する。このとき、レイアウト変更部12eは、配置単位ごと個別に縮小率を適用して投影サイズを縮小する。このため、各配置単位に適用される縮小率は必ずしも同じ値とはならない。
図10は、本実施形態に係るコンテンツ投影制御装置の動作フロー図である。同図に示すように、コンテンツ投影制御装置では、まずコンテンツデータ取得部12aがコンテンツデータを取得する(S100)。コンテンツデータは、例えばインターネット等の通信ネットワークから受信してよいし、半導体メモリ等の記憶手段から読み出されてもよい。次に、配置単位生成部12cがコンテンツデータから配置単位を生成する(S101)。さらに、投影領域データ取得部12bがカメラ16から投影領域40の撮影画像データを取得する(S102)。そして、撮影画像データに基づいて、投影不適領域判定部12dは撮影不適領域44及び投影可能領域45を判定する(S103)。
その後、レイアウト変更部12eは基準縮小率を決定する(S104)。基準縮小率は、例えば投影可能領域45のサイズ(面積)を投影領域40のサイズ(面積)で除した値に基づいて決定されてよい。例えば、基準縮小率は、当該除算値を所定割合だけ大きくした値としてよい。すべての配置単位には、基準縮小率又はそれより小さな値の縮小率が適用され、縮小されることになる。こうすれば、より多くの配置単位を投影対象として投影画像に含めることができるようになる。
次に、レイアウト変更部12eは各配置単位の優先度を決定する(S105)。優先度は、既に説明したとおり、配置単位に含まれるオブジェクトの属性、オブジェクトの投影サイズ、オブジェクトの出力履歴によって決定される。
その後、レイアウト変更部12eは、優先度の最も高い配置単位から順に(S106)、すべての配置単位について投影位置及び縮小率を決定する(S106〜S113)。すなわち、各配置単位を投影可能領域45内で上下左右に移動させ、かつ複数の縮小率を適用して、該投影可能領域45内で投影可能な位置及びその位置での縮小率を決定する(S107)。但し、配置単位に適用される縮小率はS104で決定した縮小率よりも小さな値とする。すなわち、S104で決定した縮小率を適用した場合と同じか、それよりも小さくなるよう、配置単位を縮小する。また、縮小率には、所定の制限値が設けられており、該制限値より小さな値は取りえないものとする。こうすれば、判読困難な程に縮小することがない。
そして、投影可能領域45内に配置単位を投影可能な位置及び縮小率があれば(S108)、既に説明した配置評価値Eが最大となる投影位置及び縮小率を決定する(S111)。また、投影可能領域45内に配置単位を投影可能な位置及び縮小率がなければ(S108)、図6に示されるように配置単位をさらに分割し(S110)、S107以降の処理を実行する。このとき、配置単位21や25のように、配置単位が複数のオブジェクトを含んでいなければ(S109)、当該配置単位の投影は取りやめ、次の優先度の配置単位について投影位置及び縮小率を決定する(S113)。以上の処理を、すべての配置単位について繰り返す(S112)。図11は、カレンダー等の他の設置物41,43により投影領域40の右下隅及び左下隅に投影不適領域が広がった場合の投影例を示している。同図の例では、配置単位I及びJを配置可能な位置及び縮小率は存在せず、従ってこれらの配置単位は投影されない。
その後、レイアウト変更部12eは、各S111で決定された縮小率で縮小するとともに、S111で決定された投影位置に配置することにより、レイアウト変更されたコンテンツの投影画像を生成する(S114)。この投影画像がプロジェクタ14により壁面18に投影されることにより、図4に示される映像が壁面に現れる。
以上説明したコンテンツ投影制御装置によれば、コンテンツ20から複数の配置単位21〜25が生成される。各配置単位21〜25は、1のオブジェクト又は隣接する複数のオブジェクトを含む。そして、レイアウト変更部12eは、投影不適領域44及び投影可能領域45の位置に基づいて、配置単位ごとにその投影位置を決定する。このため、投影可能領域45を有効活用しつつ、投影不適領域によるコンテンツの部分的な視認性低下を防止することができる。
なお、本発明は上記実施形態に限定されず、種々の変形が可能である。例えば、レイアウト変更部12eは、優先度の低い配置単位については、投影不適領域44に配置してもよい。図12は、カレンダー等の他の設置物41により生じた投影不適領域(投影領域40の右下隅)に、配置単位25c(オブジェクトI)及び25d(オブジェクトJ)が配置された様子を示している。このようにすれば、優先度の低い配置単位を全く投影されないという事態を避けることができる。
また、以上の説明では、投影不適領域44及び投影可能領域45が変化しないことを前提としたが、投影不適領域44及び投影可能領域45が変化する場合にも、本発明は同様に適用することができる。図13は、投影不適領域44及び投影可能領域45の変化に応じてレイアウト変更するためのコンテンツ投影制御装置の動作フロー図である。S201乃至S206において長周期の監視を行い、S207乃至S212で短周期の監視を行う。
同図に示すように、コンテンツ投影制御装置は、まず前回のレイアウト変更から時間T1が経過するタイミングを待機する(S201)。そして、時間T1が経過すれば、現在投影中のコンテンツデータを取得し(S202)、さらに現在コンテンツが投影された投影領域40の撮影画像データを取得する(S203)。そして、S202及びS203で取得されたデータに基づき、投影不適領域44を判断する(S204)。例えば、コンテンツデータが示すコンテンツ画像にエッジ抽出処理を施すとともに、投影領域40の撮影画像にエッジ抽出処理を施す。そして、投影領域40を複数のブロック領域に区画し、ブロック領域ごとに、処理済み撮影画像と処理済みコンテンツ画像の差分量を演算する。そして、差分量が閾値以上であるブロック領域を投影不適領域44と判定し、差分量が閾値未満であるブロック領域を投影可能領域45と判定する。
次に、S204で生成された投影不適領域44と、その直前に生成された投影不適領域44(現在のコンテンツのレイアウト変更の前提となっているもの)と、の差分量を演算する(S205)。そして、その差分量が閾値α以下であればS201に戻る。
一方、投影不適領域44の差分量が閾値αより大きければ、長周期の監視を終了し、短周期の監視を開始する。すなわち、前回、投影不適領域44を生成したタイミング(S204又はS210の実行タイミングのうち直近のタイミング)から時間T2が経過したかを判断する(S207)。この時間T2は既出の時間T1よりも十分に短く、具体的には時間T1は時間T2の数倍以上であることが望ましい。
前回、投影不適領域44を生成したタイミングから時間T2が経過していれば、現在投影中のコンテンツデータを取得し(S208)、さらに現在コンテンツが投影された投影領域40の撮影画像データを取得する(S209)。そして、S208及びS209で取得されたデータに基づき、投影不適領域44を判断する(S210)。
その後、最後にS204で投影不適領域44を生成したタイミング、すなわち長周期の監視を終了したタイミングから時間T3が経過したかを判断する(S211)。この時間T3は時間T2の数倍以上であり、時間T1より短いことが望ましい。時間T3が経過していなければ、S207に戻る。
一方、時間T3が経過していれば、投影不適領域44が現在変化中であるか否かを判断する(S212)。例えば、直前の時間T3において生成されたすべての投影不適領域44から2つの投影不適領域44を抽出し、その差分量を演算する。そして、すべての組み合わせについて差分量を演算し、そのいずれもが所定閾値未満であれば、投影不適領域44は変化中でないと判断する。投影不適領域44が現在変化中であれば、S201に戻り、変化中でなければ、図10に示すレイアウト変更処理を再実行する(S213)。
以上の処理によれば、投影領域40の前を人が横切ったり、レーザーポインタの光が通過したりするなど、動的な投影不適領域44の変化によっては、レイアウトの再変更は実施されない。このため、レイアウト再変更が頻繁に繰り返される事態を防止できる。また、上述のように長周期の監視と短周期の監視を組み合わせているため、長周期の監視により、投影不適領域44の生成処理(S204)を最小限に抑えつつ、短周期の監視により、静的(固定的)な投影不適領域44の変化を速やかに検出することができる。
12 コンピュータ、12a コンテンツデータ取得部、12b 投影領域データ取得部、12c 配置単位生成部、12d 投影不適領域判定部、12e レイアウト変更部、14 プロジェクタ、16 カメラ、18 壁面、20 コンテンツ、21〜25 配置単位、40 投影領域、41,42 設置物、44 投影不適領域、45 投影可能領域。

Claims (11)

  1. 複数のオブジェクトを含むコンテンツを示すコンテンツデータを取得し、前記各オブジェクトは1以上の画像又は複数の文字を含む、コンテンツデータ取得手段と、
    投影領域を示す投影領域データを取得する投影領域データ取得手段と、
    前記投影領域データに基づき、前記投影領域のうち投影に適さない投影不適領域を判定する投影不適領域判定手段と、
    前記コンテンツデータが示すコンテンツから、それぞれ1のオブジェクト又は隣接する複数のオブジェクトを含む、複数の配置単位を生成する配置単位生成手段と、
    前記投影不適領域の位置に基づいて、前記配置単位ごとにその投影位置を決定することにより、前記配置単位のレイアウトを変更するレイアウト変更手段と、
    前記投影領域の面積と、前記投影領域から前記投影不適領域を除いた領域の面積と、に基づいて、基準縮小率を決定する手段と、
    を含み、
    前記レイアウト変更手段は、前記配置単位ごとに個別に前記基準縮小率に基づいて決定される縮小率を適用して投影サイズを縮小する、
    コンテンツ投影制御装置。
  2. 請求項1に記載のコンテンツ投影制御装置において、
    前記投影不適領域判定手段は、前記コンテンツデータが示すコンテンツを投影した前記投影領域の撮影画像と、前記コンテンツの画像と、に基づいて、前記投影不適領域を判定する、コンテンツ投影制御装置。
  3. 請求項1又は2に記載のコンテンツ投影制御装置において、
    前記各配置単位の優先度を設定する優先度設定手段をさらに含む、コンテンツ投影制御装置。
  4. 請求項3に記載のコンテンツ投影制御装置において、
    前記優先度設定手段は、前記各配置単位に含まれるオブジェクトの投影サイズに基づいて、前記各配置単位の優先度を決定する、コンテンツ投影制御装置。
  5. 請求項3に記載のコンテンツ投影制御装置において、
    前記優先度設定手段は、前記各配置単位に含まれるオブジェクトの属性に基づいて、前記各配置単位の優先度を決定する、コンテンツ投影制御装置。
  6. 請求項3に記載のコンテンツ投影制御装置において、
    前記優先度設定手段は、前記各配置単位に含まれるオブジェクトの出力履歴に基づいて、前記各配置単位の優先度を決定する、コンテンツ投影制御装置。
  7. 請求項3乃至6のいずれかに記載のコンテンツ投影制御装置において、
    前記レイアウト変更手段は、前記優先度に従って、前記各配置単位の投影位置を決定する、コンテンツ投影制御装置。
  8. 請求項7に記載のコンテンツ投影制御装置において、
    前記レイアウト変更手段は、前記優先度に基づいて選択される前記配置単位を、前記投影不適領域に配置する、コンテンツ投影制御装置。
  9. 請求項1乃至8のいずれかに記載のコンテンツ投影制御装置において、
    前記レイアウト変更手段は、前記投影領域のうち前記投影不適領域が変化するのに応じて、前記配置単位のレイアウトを変更する、コンテンツ投影制御装置。
  10. 複数のオブジェクトを含むコンテンツを示すコンテンツデータを取得し、前記各オブジェクトは1以上のイメージ又は複数の文字を含む、コンテンツデータ取得手段、
    投影領域を示す投影領域データを取得する投影領域データ取得手段、
    前記投影領域データに基づき、前記投影領域のうち投影に適さない投影不適領域を判定する投影不適領域判定手段、
    前記コンテンツデータが示すコンテンツから、それぞれ1のオブジェクト又は隣接する複数のオブジェクトを含む、複数の配置単位を生成する配置単位生成手段、
    前記投影不適領域の位置に基づいて、前記配置単位ごとにその投影位置を決定することにより、前記配置単位のレイアウトを変更するレイアウト変更手段、及び
    前記投影領域の面積と、前記投影領域から前記投影不適領域を除いた領域の面積と、に基づいて、基準縮小率を決定する手段としてコンピュータを機能させるためのプログラムであって、
    前記レイアウト変更手段は、前記配置単位ごとに個別に前記基準縮小率に基づいて決定される縮小率を適用して投影サイズを縮小する、
    プログラム。
  11. 複数のオブジェクトを含むコンテンツを示すコンテンツデータを取得し、前記各オブジェクトは1以上のイメージ又は複数の文字を含む、ステップと、
    投影領域を示す投影領域データを取得するステップと、
    前記投影領域データに基づき、前記投影領域のうち投影に適さない投影不適領域を判定するステップと、
    前記コンテンツデータが示すコンテンツから、それぞれ1のオブジェクト又は隣接する複数のオブジェクトを含む、複数の配置単位を生成するステップと、
    前記投影不適領域の位置に基づいて、前記配置単位ごとにその投影位置を決定することにより、前記配置単位のレイアウトを変更するステップと、
    前記投影領域の面積と、前記投影領域から前記投影不適領域を除いた領域の面積と、に基づいて、基準縮小率を決定するステップと、を含み、
    前記レイアウトを変更するステップは、前記配置単位ごとに個別に前記基準縮小率に基づいて決定される縮小率を適用して投影サイズを縮小する、
    コンテンツ投影制御方法。
JP2017561497A 2016-01-15 2016-01-15 コンテンツ投影制御装置、コンテンツ投影制御方法及びプログラム Active JP6479220B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/051191 WO2017122363A1 (ja) 2016-01-15 2016-01-15 コンテンツ投影制御装置、コンテンツ投影制御方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2017122363A1 JPWO2017122363A1 (ja) 2018-11-01
JP6479220B2 true JP6479220B2 (ja) 2019-03-06

Family

ID=59312091

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017561497A Active JP6479220B2 (ja) 2016-01-15 2016-01-15 コンテンツ投影制御装置、コンテンツ投影制御方法及びプログラム

Country Status (3)

Country Link
US (1) US10432901B2 (ja)
JP (1) JP6479220B2 (ja)
WO (1) WO2017122363A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019039119A1 (ja) * 2017-08-23 2019-02-28 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP6868665B2 (ja) * 2019-07-03 2021-05-12 三菱電機インフォメーションシステムズ株式会社 データ入力装置、データ入力方法及びデータ入力プログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3854552B2 (ja) * 2002-08-09 2006-12-06 シャープ株式会社 表示装置
JP4026649B2 (ja) * 2005-02-16 2007-12-26 セイコーエプソン株式会社 プロジェクタ、プロジェクタの制御方法、プロジェクタの制御プログラム、およびこのプログラムを記憶した記憶媒体
US8723787B2 (en) * 2008-06-17 2014-05-13 The Invention Science Fund I, Llc Methods and systems related to an image capture projection surface
JP2011008111A (ja) * 2009-06-26 2011-01-13 Canon Inc 表示装置及びその制御方法
WO2012011044A1 (en) * 2010-07-20 2012-01-26 Primesense Ltd. Interactive reality augmentation for natural interaction
EP2439700B1 (en) * 2010-10-06 2013-05-01 Alcatel Lucent Method and Arrangement for Identifying Virtual Visual Information in Images
JP2013120203A (ja) * 2011-12-06 2013-06-17 Seiko Epson Corp 画像表示装置、画像表示システム、及び画像表示装置の制御方法
US20130155308A1 (en) * 2011-12-20 2013-06-20 Qualcomm Incorporated Method and apparatus to enhance details in an image
JP6102215B2 (ja) * 2011-12-21 2017-03-29 株式会社リコー 画像処理装置、画像処理方法およびプログラム
US20130174035A1 (en) * 2011-12-30 2013-07-04 United Video Properties, Inc. Systems and methods for representing a content dependency list
JP2014035656A (ja) * 2012-08-09 2014-02-24 Sony Corp 画像処理装置、画像処理方法、およびプログラム
US9973722B2 (en) * 2013-08-27 2018-05-15 Qualcomm Incorporated Systems, devices and methods for displaying pictures in a picture
US20150130912A1 (en) * 2013-11-14 2015-05-14 Sony Network Entertainment International Llc Projector for use with television display
JP6508874B2 (ja) 2014-01-20 2019-05-08 キヤノン株式会社 映像投影装置、映像投影方法、およびコンピュータプログラム
WO2015111158A1 (ja) * 2014-01-22 2015-07-30 堺ディスプレイプロダクト株式会社 表示装置
JP2015161830A (ja) * 2014-02-27 2015-09-07 株式会社リコー 画像投影システムおよび画像投影装置
JP6519157B2 (ja) * 2014-06-23 2019-05-29 カシオ計算機株式会社 情報評価装置、情報評価方法、及びプログラム
JP6829375B2 (ja) * 2016-09-28 2021-02-10 ミツミ電機株式会社 光走査型ヘッドマウントディスプレイ及び網膜走査型ヘッドマウントディスプレイ

Also Published As

Publication number Publication date
US20190124306A1 (en) 2019-04-25
JPWO2017122363A1 (ja) 2018-11-01
US10432901B2 (en) 2019-10-01
WO2017122363A1 (ja) 2017-07-20

Similar Documents

Publication Publication Date Title
US20170229099A1 (en) Display apparatus and method for controlling display apparatus
US8953048B2 (en) Information processing apparatus and control method thereof
KR101831516B1 (ko) 멀티 스티커를 이용한 영상 생성 방법 및 장치
US20160203628A1 (en) Information processing device editing map acquired from server
EP3043343A1 (en) Information processing device, information processing method, and program
KR20210147868A (ko) 비디오 처리 방법 및 장치
CN103761315A (zh) 一种显示网页内容的方法及系统
EP2364016A1 (en) Apparatus, system, and method of sharing drawing data
JP6479220B2 (ja) コンテンツ投影制御装置、コンテンツ投影制御方法及びプログラム
JP2011193243A (ja) 情報処理装置、情報処理方法、およびプログラム
US9716801B2 (en) Information processing device editing map acquired from server
JP2007041866A (ja) 情報処理装置及び情報処理方法並びにプログラム
JP6339550B2 (ja) 端末用プログラム、端末装置及び端末制御方法
US8441523B2 (en) Apparatus and method for drawing a stereoscopic image
CN107547727B (zh) 一种图像预览方法和装置
CN114049865A (zh) 屏幕刷新方法、装置、计算机可读存储介质及计算机设备
JP2017059041A (ja) 画像処理装置、画像処理方法、およびプログラム
CN109104627B (zh) 安卓电视的焦点背景生成方法、存储介质、设备及系统
CN116524069A (zh) 绘制渲染方法、装置、设备以及计算机可读介质
CN114630086A (zh) 投影系统以及用于影像拼接的取像数量选择方法
TWI469089B (zh) 影像判斷方法以及物件座標計算裝置
CN107291452B (zh) 展示信息的唤醒方法、装置、计算机可读存储介质及终端
CN112118474A (zh) 视频弹幕的显示方法、系统、计算机设备及可读存储介质
US10893205B2 (en) Image display method and image display device using the same
KR20190134217A (ko) 복수 개의 영상을 처리하는 방법 및 전자 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181003

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181003

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20181003

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20181221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190205

R150 Certificate of patent or registration of utility model

Ref document number: 6479220

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250