[go: up one dir, main page]

JP7354686B2 - 出力制御装置、表示制御システム、出力制御方法およびプログラム - Google Patents

出力制御装置、表示制御システム、出力制御方法およびプログラム Download PDF

Info

Publication number
JP7354686B2
JP7354686B2 JP2019154518A JP2019154518A JP7354686B2 JP 7354686 B2 JP7354686 B2 JP 7354686B2 JP 2019154518 A JP2019154518 A JP 2019154518A JP 2019154518 A JP2019154518 A JP 2019154518A JP 7354686 B2 JP7354686 B2 JP 7354686B2
Authority
JP
Japan
Prior art keywords
display
image data
recognition
control device
recognition level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019154518A
Other languages
English (en)
Other versions
JP2021033752A (ja
Inventor
敬太 片桐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2019154518A priority Critical patent/JP7354686B2/ja
Priority to US16/990,386 priority patent/US11354897B2/en
Priority to EP20192109.5A priority patent/EP3786841A1/en
Publication of JP2021033752A publication Critical patent/JP2021033752A/ja
Application granted granted Critical
Publication of JP7354686B2 publication Critical patent/JP7354686B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Description

本発明は、出力制御装置、表示制御システム、出力制御方法およびプログラムに関する。
遠隔拠点に位置するテレプレゼンス・ロボット（以下、ロボットと称する）を、通信ネットワークを経由して他拠点に位置する表示端末を用いて遠隔操作するシステムが知られている。このようなシステムでは、ロボットに備えられた撮影手段によって撮影された画像を表示端末に表示させることで、ロボットが位置する拠点の情報を遠隔地から確認することができる。
また、ロボット等の移動体を操作者が操作する際に、移動体に備えられた撮影手段によって撮影された画像に対してＣＧ（Computer Graphics）等の付加画像を重畳させることで、操作者の操作を支援するＡＲ（Augmented Reality：拡張現実）ナビゲーション技術も知られている。例えば、特許文献１には、予期しない事象に関し、車両等の移動体の運転者を支援するため技術が開示されている。
しかしながら、従来の方法は、撮影画像に含まれる対象物を強調して表示するものであるため、強調される対象物が多くなるほど視認者の注意を妨げる要因となっていた。そのため、従来の方法では、複数の対象物を視認する視認者にとって適した表示画面を提供することができないという課題があった。
上述した課題を解決すべく、請求項１に係る発明は、複数の対象物が撮影された撮影画像データを取得する取得手段と、取得された前記撮影画像データに示されている複数の対象物を検出する検出手段と、検出された複数の対象物に対する視認者の認知度を推定する認知度推定手段と、推定された認知度に基づいて、検出された複数の対象物のうち、認知度の低い対象物を特定する特定手段と、取得された前記撮影画像データに対して、特定された前記認知度の低い対象物に関連する付加情報が示される表示画像データを出力する出力手段と、を備え、前記特定手段は、特定の対象物の認知度と他の対象物の認知度の差分が所定値以上、または所定値を超えている場合、当該特定の対象物を、前記認知度の低い対象物として特定する出力制御装置である。
本発明によれば、複数の対象物を視認する視認者にとって適した表示画面を提供することができるという効果を奏する。
実施形態に係る表示制御システムのシステム構成の一例を示す図である。 実施形態に係るロボットの構成の概略の一例を示す図である。 実施形態に係るロボットのハードウエア構成の一例を示す図である。 実施形態に係る表示端末のハードウエア構成の一例を示す図である。 実施形態に係る情報処理サーバのハードウエア構成の一例を示す図である。 実施形態に係る表示制御システムの機能構成の一例を示す図である。 実施形態に係る評価部の機能構成の一例を示す図である。 実施形態に係る表示制御システムにおける拠点画像の表示処理の一例を示す図である。 実施形態に係るロボットによって取得される撮影画像の一例を示す図である。 実施形態に係る評価部による画像評価処理の一例を示すフローチャートである。 実施形態に係る対象物検出部における検出結果の一例の概略を説明するための図である。 実施形態に係る認知度推定部によって生成される顕著性マップの一例の概略を説明するための図である。 実施形態に係る特定部における特定結果の一例の概略を説明するための図である。 実施形態に係る表示端末に表示される表示画像の一例を示す図である。 実施形態に係る表示制御システムにおける拠点画像の表示処理の一例を示す図である。 実施形態に係る評価部による表示形態の調整処理の一例を示すフローチャートである。 実施形態の変形例１に係る表示制御システムにおける拠点画像の表示処理の一例を示すシーケンス図である。 実施形態の変形例２に係る表示制御システムにおける拠点画像の表示処理の一例を示す図である。
以下、図面を参照しながら、発明を実施するための形態を説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明は省略する。
●システム構成●
図１は、実施形態に係る表示制御システムのシステム構成の一例を示す図である。図１に示す表示制御システム１は、各拠点に位置するロボット１０と遠隔地の管理者が使用する表示端末５０との間で遠隔通信を行うことによって、拠点内の装置の管理もしくは保守作業等、または拠点内に位置する人の位置もしくは動線の確認等を行うことができるシステムである。
表示制御システム１は、複数の拠点（拠点Ａ、拠点Ｂ、拠点Ｃ）のそれぞれに位置するロボット１０（１０Ａ,１０Ｂ,１０Ｃ、以下区別する必要のないときは、ロボット１０と称する。）、表示端末５０および情報処理サーバ７０によって構成される。ロボット１０、表示端末５０および情報処理サーバ７０は、通信ネットワーク９を介して通信可能に接続されている。通信ネットワーク９は、例えば、ＬＡＮ（Local Area Network）、専用線およびインターネット等によって構築される。なお、通信ネットワーク９は、有線だけでなく、Ｗｉ－Ｆｉ（登録商標）等の無線による通信が行われる箇所があってもよい。
ロボット１０は、各拠点（拠点Ａ、拠点Ｂ、拠点Ｃ）に設置され、各拠点内を自律走行する移動体である。ロボット１０は、撮影装置１２によってロボット１０の周囲の被写体を撮像しながら拠点内を移動し、撮影装置１２によって取得された撮影画像を表示端末５０へ送信することで、表示端末５０を使用する管理者に、拠点内の情報（画像）を提供する。
表示端末５０は、各拠点（拠点Ａ、拠点Ｂ、拠点Ｃ）に設置されたロボット１０を用いて、各拠点の遠隔管理を行うＰＣ（Personal Computer）等の端末装置である。表示端末５０は、ロボット１０から送信されてきた撮影画像を表示する。管理者は、表示端末５０に表示された画像を見ながら、ロボット１０が設置された拠点内の利用者と遠隔でコミュニケーションをとることができる。また、管理者は、表示端末５０に表示された画像を見ながら、ロボット１０の遠隔操作を行うことができる。
なお、表示端末５０は、ロボット１０から送信されてきた画像を表示する表示手段を備えたものであればよく、例えば、タブレット端末、携帯電話、スマートフォン、ＰＤＡ(Personal Digital Assistant)、ヘッドマウントディスプレイ（ＨＭＤ）等のウェアラブル端末（例えば、腕時計型、またはサングラス型等）、ヘッドアップディスプレイ（ＨＵＤ）、広角スクリーン(円筒、全天球、または半天球スクリーン等)を備えた通信端末等であってもよい。
情報処理サーバ７０は、情報処理サーバ７０は、各拠点に位置するロボット１０の動作を制御するためのサーバコンピュータである。情報処理サーバ７０は、通信ネットワーク９を介してロボット１０および表示端末５０と接続される。なお、情報処理サーバ７０は、単一のコンピュータによって構築されてもよいし、各部（機能、手段または記憶部）を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。情報処理サーバ７０は、サーバ装置の一例である。
ロボット１０が設置される拠点は、例えば、オフィス、学校、倉庫、工場、建設現場等である。表示端末５０を各拠点の遠隔管理を行う管理者は、ロボット１０から送信された拠点内の画像を確認することによって、拠点内の人の位置や動線の確認、拠点内に設置された装置の管理や保守等を行うことができる。また、ロボット１０と表示端末５０は、双方によって撮影された画像を送受信することで双方向のコミュニケーション（遠隔会議）を行うこともできる。
なお、表示端末５０は、複数の拠点に配置されたロボット１０のそれぞれと通信する構成であってもよいし、一つの拠点に配置されたロボット１０のみと通信する構成であってもよい。
●ロボットの構成●
続いて、図２を用いて、ロボット１０の具体的な構成を説明する。図２は、実施形態に係るロボットの構成の概略の一例を示す図である。
図３に示されているロボット１０は、ロボット１０の処理または動作を制御する制御装置３０を備えた筐体１１、撮影装置１２、支持部材１３、ディスプレイ１４、ロボット１０を移動させるための移動機構１５（１５ａ,１５ｂ）、およびロボット１０に所定の作業（動作）を行わせるための可動アーム１６を備える。
このうち、筐体１１は、ロボット１０の胴体部分に位置し、ロボット１０の全体に必要な電源を供給する電源供給ユニットおよびロボット１０の処理もしくは動作を制御する制御装置３０等が内蔵されている。
撮影装置１２は、ロボット１０が設置された拠点に位置する人物、物体、風景等の被写体を撮影して撮影画像を取得する。撮影装置１２は、デジタル一眼レフカメラ、コンパクトデジタルカメラ等の平面画像（詳細画像）を取得可能なデジタルカメラ（一般撮影装置）である。撮影装置１２によって取得された撮影画像に係る撮影画像データは、情報処理サーバ７０等のサーバ装置によって確立される通信セッションを経由して、表示端末５０へ送信される。撮影装置１２は、撮影手段の一例である。なお、撮影装置１２によって取得される撮影画像は、動画であっても静止画であってもよく、動画と静止画の両方であってもよい。また、撮影装置１２によって取得される撮影画像は、画像データとともに音声データを含んでもよい。さらに、撮影装置１２によって取得される撮影画像は、カラー画像に限られず、グレースケールの輝度画像等であってもよい。
また、撮影装置１２は、全天球（３６０°）パノラマ画像を取得可能な広角撮影装置であってもよい。広角撮影装置は、例えば、被写体を撮影して全天球（パノラマ）画像の元になる２つの半球画像を得るための全天球撮影装置である。さらに、広角撮影装置は、例えば、所定値以上の画角を有する広角画像を取得可能な広角カメラまたはステレオカメラ等であってもよい。すなわち、広角撮影装置は、所定値より焦点距離の短いレンズを用いて撮影された画像（全天球画像、広角画像）を取得可能な撮影手段である。また、ロボット１０は、複数の撮影装置１２を備える構成であってもよい。この場合、ロボット１０は、撮影装置１２として、広角撮影装置と、広角撮影装置によって撮影された被写体の一部を撮影して詳細画像（平面画像）を取得可能な一般撮影装置の両方を備える構成であってもよい。
さらに、撮影装置１２は、例えば、ステレオカメラのような被写体の奥行きを示す奥行き情報（距離情報）を有する視差画像を取得可能な撮影装置であってもよい。また、ロボット１０は、撮影装置１２とともに、ＬＩＤＡＲ（Light Detection and Ranging）のような撮影装置１２の被写体の奥行きを示す奥行き情報（距離情報）を取得可能な測距装置を備えてもよい。
ディスプレイ１４は、各種画面を表示させるための表示部である。ディスプレイ１４には、例えば、遠隔地にいる管理者の拠点の画像を表示される。なお、ディスプレイ１４は、ロボット１０が設置された拠点内において、ロボット１０とは別体に設けられてもよい。この場合、ディスプレイ１４は、ＰＣ、タブレット端末、携帯電話、スマートフォン、ＰＤＡ、またはヘッドマウントディスプレイ等のウェアラブル端末等に備えられたものであってもよい。さらに、ディスプレイ１４は、平面ディスプレイ（Flat Panel Display;FPD）に限られず、広角スクリーン(円筒、全天球、または半天球スクリーン等)を有するものであってもよい。
支持部材１３は、ロボット１０（筐体１１）に撮影装置１２を設置（固定）するための部材である。支持部材１３は、筐体１１に固定されたポール等であってもよいし、筐体１１に固定された台座であってもよい。また、支持部材１３には、撮影装置１２の撮影方向（向き）や位置（高さ）を調整可能な可動式の部材であってもよい。
移動機構１５は、ロボット１０を移動させるユニットであり、車輪、走行モータ、走行エンコーダ、ステアリングモータ、およびステアリングエンコーダ等で構成される。ロボット１０の移動制御については、既存の技術であるため、詳細な説明は省略するが、ロボット１０は、例えば、操作者である管理者（表示端末５０）からの走行指示を受信し、移動機構１５は、受信した走行指示に基づいてロボット１０を移動させる。なお、移動機構１５は、二足歩行の足型や単輪のものであってもよい。また、ロボット１０の形状は、図３に示されているような車両型に限られず、例えば、二足歩行の人型、生物を模写した形態、特定のキャラクターを模写した形態等であってもよい。
可動アーム１６は、ロボット１０の移動以外の付加的動作を可能とする動作手段を有している。図３に示されているように、可動アーム１６には、例えば、可動アーム１６の先端に部品等の物体を掴むためのハンドが動作手段として備えられている。ロボット１０は、可動アーム１６を回転または変形させることによって、所定の作業（動作）を行うことができる。
なお、ロボット１０は、上記構成のほかに、ロボット１０の周囲の情報を検知可能な各種センサを有していてもよい。各種センサは、例えば、気圧計、温度計、光度計、人感センサ、または照度計等のセンサデバイスである。
●ハードウエア構成●
次に、図３乃至図５を用いて、表示制御システム１を構成する各装置または端末のハードウエア構成を説明する。なお、図３乃至図５に示すハードウエア構成は、必要に応じて構成要素が追加または削除されてもよい。
●ロボットのハードウエア構成
図３は、実施形態に係るロボットのハードウエア構成の一例を示す図である。ロボット１０は、ロボット１０の処理または動作を制御する制御装置３０を備える。制御装置３０は、上述のように、ロボット１０の筐体１１の内部に備えられている。なお、制御装置３０は、ロボット１０の筐体１１の外部に設けられてもよく、またはロボット１０とは別の装置として設けられていてもよい。
制御装置３０は、ＣＰＵ（Central Processing Unit）３０１、ＲＯＭ（Read Only Memory）３０２、ＲＡＭ（Random Access Memory）３０３、ＨＤＤ（Hard Disk Drive）３０４、メディアインターフェース（Ｉ／Ｆ）３０５、入出力Ｉ／Ｆ３０６、音入出力Ｉ／Ｆ３０７、ネットワークＩ／Ｆ３０８、近距離通信回路３０９、近距離通信回路３０９のアンテナ３０９ａ、および外部機器接続Ｉ／Ｆ３１１およびバスライン３１０を備える。
ＣＰＵ３０１は、ロボット１０全体の制御を行う。ＣＰＵ３０１は、ＲＯＭ３０２またはＨＤ（Hard Disk）３０４ａ等に格納された、プログラムもしくはデータをＲＡＭ３０３上に読み出し、処理を実行することで、ロボット１０の各機能を実現する演算装置である。
ＲＯＭ３０２は、電源を切ってもプログラムまたはデータを保持することができる不揮発性のメモリである。ＲＡＭ３０３は、ＣＰＵ３０１のワークエリア等として用いられる揮発性のメモリである。ＨＤＤ３０４は、ＣＰＵ３０１の制御にしたがってＨＤ３０４ａに対する各種データの読み出し、または書き込みを制御する。ＨＤ３０４ａは、プログラム等の各種データを記憶する。メディアＩ／Ｆ３０５は、ＵＳＢ（Universal Serial Bus）メモリ、メモリカード、光学ディスクまたはフラッシュメモリ等の記録メディア３０５ａに対するデータの読み出しまたは書き込み（記憶）を制御する。
入出力Ｉ／Ｆ３０６は、文字、数値、各種指示等を各種外部機器等との間で入出力するためのインターフェースである。入出力Ｉ／Ｆ３０６は、ＬＣＤ（Liquid Crystal Display）等のディスプレイ１４に対するカーソル、メニュー、ウィンドウ、文字または画像等の各種情報の表示を制御する。なお、ディスプレイ１４は、入力手段を備えたタッチパネルディスプレイであってもよい。また、入出力Ｉ／Ｆ３０６は、ディスプレイ１４のほかに、例えば、マウス、キーボード等の入力手段が接続されていてもよい。音入出力Ｉ／Ｆ３０７は、ＣＰＵ３０１の制御に従ってマイク３０７ａおよびスピーカ３０７ｂとの間で音信号の入出力を処理する回路である。マイク３０７ａは、ＣＰＵ３０１の制御に従って音信号を入力する内蔵型の集音手段の一種である。スピーカ３０７ｂは、ＣＰＵ３０１の制御に従って音信号を出力する再生手段の一種である。
ネットワークＩ／Ｆ３０８は、通信ネットワーク９を経由して、他の機器または装置との通信（接続）を行う通信インターフェースである。ネットワークＩ／Ｆ３０８は、例えば、有線または無線ＬＡＮ等の通信インターフェースである。なお、ネットワークＩ／Ｆ３０８は、３Ｇ（3rd Generation）、ＬＴＥ(Long Term Evolution)、４Ｇ（4th Generation）、５Ｇ（5th Generation）、Ｗｉ－Ｆｉ、ＷｉＭＡＸ(Worldwide Interoperability for Microwave Access)、Ｚｉｇｂｅｅ（登録商標）、またはミリ波無線通信等の通信インターフェースを備えてもよい。。近距離通信回路３０９は、ＮＦＣ（Near Field communication）またはＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。外部機器接続Ｉ／Ｆ３１１は、制御装置３０に他の装置を接続するためのインターフェースである。
バスライン３１０は、上記各構成要素を電気的に接続するためのアドレスバスやデータバス等であり、アドレス信号、データ信号、および各種制御信号等を伝送する。ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、ＨＤＤ３０４、メディアＩ／Ｆ３０５、入出力Ｉ／Ｆ３０６、音入出力Ｉ／Ｆ３０７、ネットワークＩ／Ｆ３０８、近距離通信回路３０９および外部機器接続Ｉ／Ｆ３１１は、バスライン３１０を介して相互に接続されている。
さらに、制御装置３０には、外部機器接続Ｉ／Ｆ３１１を介して、駆動モータ１０１、アクチュエータ１０２、加速度・方位センサ１０３、ＧＰＳ（Global Positioning System）受信部１０４、撮影装置１２および電源供給ユニット１０５が接続されている。
駆動モータ１０１は、ＣＰＵ３０１からの命令に基づき、移動機構１５を回転駆動させてロボット１０を地面に沿って移動させる。アクチュエータ１０２は、ＣＰＵ３０１からの命令に基づき、可動アーム１６を変形させる。加速度・方位センサ１０３は、地磁気を検知する電子磁気コンパス、ジャイロコンパスおよび加速度センサ等のセンサである。ＧＰＳ受信部１０４は、ＧＰＳ衛星からＧＰＳ信号を受信する。電源供給ユニット１０５は、バッテリ等を内蔵し、ロボット１０の全体に必要な電源を供給するユニットである。
●表示端末のハードウエア構成
図４は、実施形態に係る表示端末のハードウエア構成の一例を示す図である。表示端末５０は、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）５０４、撮像素子Ｉ／Ｆ５０５、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサ５０５ａ、およびメディアＩ／Ｆ５０６を備えている。
ＣＰＵ５０１は、表示端末５０全体の動作を制御する。ＣＰＵ５０１は、ＲＯＭ５０２等に格納されたプログラムまたはデータをＲＡＭ５０３上に読み出し、処理を実行することで、表示端末５０の各機能を実現する演算装置である。
ＲＯＭ５０２は、ＩＰＬ(Initial Program Loader)等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＥＥＰＲＯＭ５０４は、ＣＰＵ５０１の制御にしたがって、表示端末用プログラム等の各種データの読み出しまたは書き込みを行う。
ＣＭＯＳセンサ５０５ａは、ＣＰＵ５０１の制御に従って被写体（主に自画像）を撮像し画像データを得る。撮像素子Ｉ／Ｆ５０５は、ＣＭＯＳセンサ５０５ａの駆動を制御する回路である。メディアＩ／Ｆ５０６は、フラッシュメモリ等の記録メディア５０６ａに対するデータの読み出しまたは書き込み（記憶）を制御する。
また、表示端末５０は、ネットワークＩ／Ｆ５０７、音入出力Ｉ／Ｆ５０８、マイク５０８ａ、スピーカ５０８ｂ、ディスプレイ５１１、キーボード５１２、マウス５１３、外部機器接続Ｉ／Ｆ５１４、近距離通信回路５１５、および近距離通信回路５１５のアンテナ５１５ａを備えている。
ネットワークＩ／Ｆ５０７は、通信ネットワーク９を経由して、他の機器または装置との通信（接続）を行う通信インターフェースである。ネットワークＩ／Ｆ５０７は、例えば、有線または無線ＬＡＮ等の通信インターフェースである。なお、ネットワークＩ／Ｆ５０７は、３Ｇ、ＬＴＥ、４Ｇ、５Ｇ、Ｗｉ－Ｆｉ、ＷｉＭＡＸ、Ｚｉｇｂｅｅ、またはミリ波無線通信等の通信インターフェースを備えてもよい。音入出力Ｉ／Ｆ５０８は、ＣＰＵ５０１の制御に従ってマイク５０８ａおよびスピーカ５０８ｂとの間で音信号の入出力を処理する回路である。マイク５０８ａは、ＣＰＵ５０１の制御に従って音信号を入力する内蔵型の集音手段の一種である。スピーカ５０８ｂは、ＣＰＵ５０１の制御に従って音信号を出力する再生手段の一種である。
ディスプレイ５１１は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬ等の表示手段の一種である。なお、ディスプレイ５１１は、入力手段を備えたタッチパネルディスプレイであってもよい。キーボード５１２は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。マウス５１３は、各種指示の選択や実行、処理対象の選択、カーソルの移動等を行う入力手段の一種である。外部機器接続Ｉ／Ｆ５１４は、各種の外部機器を接続するためのインターフェースである。近距離通信回路５１５は、ＮＦＣまたはＢｌｕｅｔｏｏｔｈ等の通信回路である。
また、表示端末５０は、バスライン５０９を備えている。バスライン５０９は、図４に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
●情報処理サーバのハードウエア構成
図５は、実施形態に係る情報処理サーバのハードウエア構成の一例を示す図である。情報処理サーバ７０は、一般的なコンピュータによって構築されている。情報処理サーバ７０は、ＣＰＵ７０１、ＲＯＭ７０２、ＲＡＭ７０３、ＨＤ７０４、ＨＤＤ７０５、メディアＩ／Ｆ７０７、ネットワークＩ／Ｆ７０８、ディスプレイ７１１、キーボード７１２、マウス７１３、ＤＶＤ－ＲＷ(Digital Versatile Disk Rewritable)ドライブ７１５、およびバスライン７１０を備えている。
ＣＰＵ７０１は、情報処理サーバ７０全体の動作を制御する。ＲＯＭ７０２は、ＣＰＵ７０１の駆動に用いられるプログラムを記憶する。ＲＡＭ７０３は、ＣＰＵ７０１のワークエリアとして使用される。ＨＤＤ７０５は、ＣＰＵ７０１の制御にしたがってＨＤ７０４に対する各種データの読み出し、または書き込みを制御する。ＨＤ７０４は、プログラム等の各種データを記憶する。メディアＩ／Ｆ７０７は、フラッシュメモリ等の記録メディア７０６に対するデータの読み出し、または書き込み（記憶）を制御する。
ネットワークＩ／Ｆ７０８は、通信ネットワーク９を利用してデータ通信をするためのインターフェースである。ディスプレイ７１１は、カーソル、メニュー、ウィンドウ、文字、または画像等の各種情報を表示する。キーボード７１２は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。マウス７１３は、各種指示の選択や実行、処理対象の選択、カーソルの移動等を行う入力手段の一種である。ＤＶＤ－ＲＷドライブ７１５は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ７１４に対する各種データの読み出し等を制御する。なお、ＤＶＤ－ＲＷ７１４は、ＤＶＤ－Ｒ等であってもよい。また、ＤＶＤ－ＲＷドライブ７１５は、ＢＤ－ＲＥ(Blu-ray（登録商標） Disc Rewritable)またはＣＤ－ＲＷ(Compact Disc-ReWritable)等のディスクに対するデータの読み出しまたは書き込み（記憶）を制御するブルーレイドライブまたはＣＤ－ＲＷドライブ等であってもよい。
さらに、情報処理サーバ７０は、バスライン７１０を備えている。バスライン７１０は、図５に示されているＣＰＵ７０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
なお、上記各プログラムは、インストール可能な形式または実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。記録媒体の例として、ＣＤ－Ｒ(Compact Disc Recordable)、ＤＶＤ、ブルーレイディスク、ＳＤカード等が挙げられる。また、記録媒体は、プログラム製品(Program Product)として、国内または国外へ提供されることができる。例えば、制御装置３０、表示端末５０または情報処理サーバ７０は、本発明に係るプログラムが実行されることで本発明に係る出力制御方法を実現する。
●機能構成●
続いて、図６および図７を用いて、本実施形態に係る表示制御システム１の機能構成について説明する。図６は、実施形態に係る表示制御システムの機能構成の一例を示す図である。なお、図６では、図１に示されている各端末、装置およびサーバのうち、後述の処理または動作に関連しているものが示されている。
●制御装置の機能構成
まず、図６を用いて、ロボット１０の処理または動作を制御する制御装置３０の機能構成について説明する。制御装置３０は、送受信部３１、受付部３２、表示画像生成部３３、表示制御部３４、判断部３５、撮影処理部３６、評価部３７、移動制御部３８、アーム操作制御部４１、状態情報生成部４２および記憶・読出部３９を有している。これら各部は、図３に示されている各構成要素のいずれかが、ＲＡＭ３０３上に展開されたプログラムに従ったＣＰＵ３０１からの命令によって動作することで実現される機能、または機能する手段である。また、制御装置３０は、図３に示されているＲＯＭ３０２、ＨＤ３０４ａまたは記録メディア３０５ａによって構築される記憶部３０００を有している。制御装置３０は、出力制御装置の一例である。
送受信部３１は、図３に示されているＣＰＵ３０１からの命令、およびネットワークＩ／Ｆ３０８によって実現され、通信ネットワーク９を介して、他の装置との間で各種データまたは情報の送受信を行う機能である。送受信部３１は、例えば、表示端末５０に対して、表示画像生成部３３によって生成された表示画像に係る表示画像データを送信(出力)する。送受信部３１は、出力手段の一例である。
受付部３２は、図３に示されているＣＰＵ３０１からの命令、および入出力Ｉ／Ｆ３０６によって実現され、ディスプレイ１４等の入力手段に対する操作入力を受け付ける機能である。表示画像生成部３３は、図３に示されているＣＰＵ３０１からの命令によって実現され、所定の表示部に表示させる表示画像を生成する機能である。表示画像生成部３３は、例えば、撮影処理部３６によって取得された撮影画像および評価部３７による評価結果である評価データを用いて、表示画像を生成する。表示画像生成部３３は、生成手段の一例である。また、表示画像生成部３３は、調整手段の一例である。
表示制御部３４は、図３に示されているＣＰＵ３０１からの命令、および入出力Ｉ／Ｆ３０６によって実現され、ディスプレイ１４に各種画面を表示させる機能である。表示制御部３４は、例えば、表示画像生成部３３によって生成された表示画像データに係る表示画像を、ディスプレイ１４に表示（出力）させる。表示制御部３４は、出力手段の一例である。また、表示制御部３４は、表示制御手段の一例である。判断部３５は、図３に示されているＣＰＵ３０１からの命令によって実現され、各種判断を行う機能である。
撮影処理部３６は、図３に示されているＣＰＵ３０１からの命令、および外部機器接続Ｉ／Ｆ３１１によって実現され、撮影装置１２による撮影処理を制御する機能である。撮影処理部３６は、例えば、撮影装置１２による撮影を指示するための指示情報を、撮影装置１２へ送信する。また、撮影処理部３６は、例えば、撮影装置１２が被写体を撮影して取得した撮影画像データを、撮影装置１２から取得する。撮影処理部３６は、取得手段の一例である。
評価部３７は、図３に示されているＣＰＵ３０１からの命令によって実現され、撮影処理部３６によって取得された撮影画像データに対する評価を行う機能である。評価部３７は、例えば、撮影処理部３６によって取得された撮影画像データを用いて、画像の視認者へ明示的に提示する対象物を選択する処理を行う。ここで、画像の視認者とは、ロボット１０または表示端末５０に表示される画像に含まれる視認対象の対象物（視認対象物）を視認する者である。画像の視認者は、例えば、表示端末５０を用いてロボット１０等の移動体を遠隔操作する操作者等である。評価部３７の詳細な構成は後述する。
移動制御部３８は、図３に示されているＣＰＵ３０１からの命令、および外部機器接続Ｉ／Ｆ３１１によって実現され、移動機構１５を駆動させることによって、ロボット１０の移動を制御する機能である。移動制御部３８は、例えば、表示端末５０から送信されてきた所定のコマンドに応じて移動機構１５の駆動を制御することで、ロボット１０を移動させる。アーム操作制御部４１は、図３に示されているＣＰＵ３０１からの命令、および外部機器接続Ｉ／Ｆ３１１によって実現され、可動アーム１６の操作を制御する機能である。アーム操作制御部４１は、例えば、表示端末５０から送信されてきた所定のコマンドに応じて可動アーム１６を変形させることで、可動アーム１６の向きまたは位置を変更する。
状態情報生成部４２は、図３に示されているＣＰＵ３０１からの命令、および外部機器接続Ｉ／Ｆ３１１によって実現され、ロボット１０の状態を示す状態情報を生成する機能である。状態情報生成部４２によって生成される状態情報には、例えば、、電源供給ユニット１０５から取得されるロボット１０のバッテリ残量、ロボット１０の重量、ロボット１０の移動状態等の情報が含まれている。
記憶・読出部３９は、図３に示されているＣＰＵ３０１からの命令によって実行され、記憶部３０００に各種データを記憶させ、または記憶部３０００から各種データを読み出す機能である。記憶部３０００には、表示端末５０との通信を行う際に受信される画像データおよび音データが、受信される度に上書き記憶される。このうち、上書きされる前の画像データによってディスプレイ１４に画像が表示され、上書きされる前の音データによってスピーカ３０７ｂから音声が出力される。また、記憶部３０００は、撮影処理部３６によって取得された撮影画像に係る撮影画像データを記憶している。なお、記憶部３０００に記憶されている撮影画像データは、撮影処理部３６によって取得されてから所定の時間経過した場合に削除される構成であってもよいし、表示端末５０へ送信されたデータが削除される構成であってもよい。
○評価部の構成
続いて、図７を用いて、評価部３７の詳細な機能構成について説明する。図７は、実施形態に係る評価部の機能構成の一例を示す図である。図７に示されている評価部３７は、対象物検出部２１、認知度推定部２２および特定部２３を有している。
対象物検出部２１は、撮影処理部３６によって取得された撮影画像データに示されている被写体に含まれる対象物を検出する機能である。対象物検出部２１は、例えば、Semantic Segmentation等の手法を用いたパターン認識処理を用いて、撮影画像中の対象物を検出する。ここで、検出される対象物は、例えば、ロボット１０等の移動体が移動する際に接触する可能性のある障害物、またはその他視認者へ提示したい撮影画像の被写体に含まれる人もしくは物体等である。対象物検出部２１は、検出手段の一例である。
認知度推定部２２は、対象物検出部２１によって検出された対象物に対する視認者の認知度を推定する機能である。認知度推定部２２は、例えば、撮影処理部３６によって取得された撮影画像データを用いて顕著性マップを生成し、対象物検出部２１によって検出された対象物の認知度を推定する。ここで、顕著性とは、視認者（人）の注視の引きつけやすさを示す指標であり、画像の各画素（ピクセル）に対して注視の度合いを推定したものを顕著性マップ（Saliency map）という。顕著性マップは、画像中で視認者の視覚的な注意が誘発されやすい領域が抽出されて可視化されており、視認者の視覚的注意が定量化されたものである。また、顕著性マップには、各画素が有する注視の引きつけやすさが画素ごとに数値化されており、画素ごとに視認者の認知度に関する評価値を有する。認知度推定部２２は、認知度推定手段の一例である。
特定部２３は、対象物検出部２１による対象物検出結果および認知度推定部２２による認知度推定結果を用いて、撮影画像データに示されている被写体に含まれる認知度の低い対象物を特定する機能である。特定部２３は、例えば、推定された認知度に基づいて、対象物検出部２１によって検出された対象物の中で認知度の低い対象物を特定する。特定部２３は、特定手段の一例である。
●表示端末の機能構成
続いて、図６を用いて、表示端末５０の機能構成について説明する。表示端末５０は、送受信部５１、受付部５２、表示画像生成部５３、表示制御部５４、判断部５５、評価部５６および記憶・読出部５９を有している。これら各部は、図４に示されている各構成要素のいずれかが、ＲＡＭ５０３上に展開されたプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能、または機能する手段である。また、表示端末５０は、図４に示されているＲＯＭ５０２または記録メディア５０６ａによって構築される記憶部５０００を有している。さらに、表示端末５０は、ロボット１０を遠隔操作するための専用のアプリケーションプログラムをインストールしている。表示端末５０は、例えば、インストールされたアプリケーションプログラムをＣＰＵ５０１が実行することによって各機能を実現する。表示端末５０は、出力制御装置の一例である。
送受信部５１は、図４に示されているＣＰＵ５０１からの命令、およびネットワークＩ／Ｆ５０７によって実現され、通信ネットワーク９を介して、他の装置との間で各種データまたは情報の送受信を行う機能である。送受信部５１は、例えば、通信ネットワーク９を介して、ロボット１０（制御装置３０）から送信された表示画像データを受信する。また、送受信部５１は、例えば、ロボット１０（制御装置３０）から送信された撮影画像データおよび評価部３７による画像評価結果を示す評価データを受信する。送受信部５１は、取得手段の一例である。
受付部５２は、図４に示されているＣＰＵ５０１からの命令、並びにキーボード５１２もしくはマウス５１３等の入力手段によって実現され、表示端末５０への各種選択または操作入力を受け付ける機能である。表示画像生成部５３は、図４に示されているＣＰＵ５０１からの命令によって実現され、所定の表示部に表示させる表示画像を生成する機能である。表示画像生成部５３は、例えば、送受信部５１によって受信された撮影画像データおよび評価部５６による評価結果である評価データを用いて、表示画像を生成する。表示画像生成部５３は、生成手段の一例である。また、表示画像生成部５３は、調整手段の一例である。
表示制御部５４は、図４に示されているＣＰＵ５０１からの命令によって実現され、表示端末５０のディスプレイ５１１に各種画面を表示させる機能である。表示制御部５４は、例えば、ロボット１０（制御装置３０）から送信された表示画像データに係る表示画像を、ディスプレイ５１１に表示させる。また、表示制御部５４は、例えば、表示画像生成部５３によって生成された表示画像データに係る表示画像を、ディスプレイ５１１に表示させる。表示制御部５４は、出力手段の一例である。また、表示制御部５４は、表示制御手段の一例である。
判断部５５は、図４に示されているＣＰＵ５０１からの命令によって実現され、各種判断を行う機能である。評価部５６は、図４に示されているＣＰＵ５０１からの命令によって実現され、ロボット１０（制御装置３０）から取得された撮影画像データに対する評価を行う機能である。評価部５６の詳細な構成は、図７に示されている構成と同様であるため、説明を省略する。
記憶・読出部５９は、図４に示されているＣＰＵ５０１からの命令によって実行され、記憶部５０００に各種データを記憶させ、または記憶部５０００から各種データを読み出す機能である。記憶部５０００には、ロボット１０（制御装置３０）との通信を行う際に受信される画像データおよび音データが、受信される度に上書き記憶される。このうち、上書きされる前の画像データによってディスプレイ５１１に画像が表示され、上書きされる前の音データによってスピーカ５０８ｂから音声が出力される。
●情報処理サーバの機能構成
次に、図６を用いて、情報処理サーバ７０の機能構成について説明する。情報処理サーバ７０は、送受信部７１、表示画像生成部７２、評価部７３、判断部７４および記憶・読出部７９を有している。これら各部は、図５に示されている各構成要素のいずれかが、ＲＡＭ７０３上に展開されたプログラムに従ったＣＰＵ７０１からの命令によって動作することで実現される機能、または機能する手段である。また、情報処理サーバ７０は、図５に示されているＲＯＭ７０２、ＨＤ７０４または記録メディア７０６によって構築される記憶部７０００を有している。情報処理サーバ７０は、出力制御装置の一例である。
送受信部７１は、図５に示されているＣＰＵ７０１からの命令、およびネットワークＩ／Ｆ７０８によって実現され、通信ネットワーク９を介して、他の装置との間で各種データまたは情報の送受信を行う機能である。送受信部７１は、例えば、ロボット１０（制御装置３０）から送信された撮影画像データを受信（取得）する。また、送受信部７１は、例えば、表示端末またはロボット１０（制御装置３０）に対して、表示画像生成部７２によって生成された表示画像データを送信（出力）する。送受信部７１は、取得手段の一例である。また、送受信部７１は、出力手段の一例である。さらに、送受信部７１は、受信手段の一例である。また、送受信部７１は、送信手段の一例である。
表示画像生成部７２は、図５に示されているＣＰＵ７０１からの命令によって実現され、所定の表示部に表示させる表示画像を生成する機能である。表示画像生成部７２は、送受信部７１によって受信された撮影画像データおよび評価部７３による評価結果である評価データを用いて、他の装置へ送信する表示画像データを生成する。表示画像生成部７２は、生成手段の一例である。また、表示画像生成部７２は、調整手段の一例である。評価部７３は、図５に示されているＣＰＵ７０１からの命令によって実現され、ロボット１０（制御装置３０）から取得された撮影画像データに対する評価を行う機能である。評価部７３の詳細な構成は、図７に示されている構成と同様であるため、説明を省略する。判断部７４は、図５に示されているＣＰＵ７０１からの命令によって実現され、各種判断を行う機能である。
記憶・読出部７９は、図５に示されているＣＰＵ７０１からの命令によって実行され、記憶部７０００に各種データを記憶させ、または記憶部７０００から各種データを読み出す機能である。また、情報処理サーバ７０がロボット１０と表示端末５０との間の通信を管理する機能を備えている場合、記憶部７０００には、ロボット１０と表示端末５０との間の遠隔通信を行うための通信セッションの確立処理に用いる各種設定情報が記憶されている。
●実施形態の処理または動作●
続いて、図８乃至図１６を用いて、実施形態に係る表示制御システム１の処理または処理について説明する。なお、以降の説明において、ロボット１０が備える制御装置３０によって実行される処理は、ロボット１０によって実行される処理として説明する。また、ロボット１０と表示端末５０は、任意の処理によって、情報処理サーバ７０等の通信管理サーバを用いた遠隔通信を行うための通信セッションが確立されているものとして説明する。ロボット１０と表示端末５０は、確立された通信セッションを用いて遠隔通信を行うことができる。
●拠点画像の表示処理
図８乃至図１４を用いて、ロボット１０が有する撮影装置１２によって撮影された撮影画像（拠点画像）を、遠隔拠点に位置する表示端末５０に表示させる処理について説明する。図８は、実施形態に係る表示制御システムにおける拠点画像の表示処理の一例を示す図である。
まず、ロボット１０の撮影処理部３６は、撮影装置１２によって撮影された撮影画像（拠点画像）を取得する（ステップＳ１１）。具体的には、ロボット１０は、撮影処理部３６から撮影装置１２への撮影指示をトリガーとして、撮影装置１２によって撮影を開始する。そして、撮影処理部３６は、撮影装置１２によって取得された撮影画像に係る撮影画像データを、撮影装置１２から取得する。図９は、実施形態に係るロボットによって取得される撮影画像の一例を示す図である。図９に示されている撮影画像２００には、ロボット１０が位置する拠点内の人、物体または風景を含む被写体が示されている。撮影画像２００に示されている被写体には、例えば、ロボット１０が位置する拠点が工場である場合、工作機械等の各種装置または工場内で作業を行う作業者等が含まれている。
次に、ロボット１０の評価部３７は、撮影処理部３６によって取得された撮影画像データを用いて、所定の視認者へ提示する画像を生成するための画像評価処理を実行する（ステップＳ１２）。
○画像評価処理
ここで、図１０を用いて、評価部３７による画像評価処理の詳細を説明する。図１０は、実施形態に係る評価部による画像評価処理の一例を示すフローチャートである。
まず、対象物検出部２１は、撮影処理部３６によって取得された撮影画像データに含まれている視認対象物を検出する（ステップＳ１２－１）。具体的には、対象物検出部２１は、任意のパターン認識処理（物体認識処理）を用いて、撮影画像データに含まれている視認対象物を検出する。パターン認識処理は、例えば、Semantic Segmentationを用いた検出方法を用いることができる。なお、パターン認識処理に用いる方法は、これに限られず、任意の方法を用いることができる。
ここで、図１１を用いて、対象物検出部２１による対象物検出結果について説明する。図１１は、実施形態に係る対象物検出部における検出結果の一例の概略を説明するための図である。図１１は、対象物検出処理によって検出された対象物を点線で示している。検出された対象物（視認対象物）には、図９に示されている撮影画像２００に示されている被写体に含まれる機械または作業者等が含まれている。この対象物検出処理によって検出される対象物は、例えば、ロボット１０が移動する際に接触する可能性のある障害物または視認者へ提示したい物体である。これにより、対象物検出部２１は、撮影装置１２によって拠点内の被写体が撮影された撮影画像の中から、視認者が視認する対象物を検出することができる。
次に、認知度推定部２２は、撮影処理部３６によって取得された撮影画像データを用いた認知度推定処理を行う（ステップＳ１２－２）。具体的には、認知度推定部２２は、撮影処理部３６によって取得された撮影画像データを用いて顕著性マップを生成し、ステップＳ１２－１によって検出された視認対象物の認知度を推定する。
顕著性マップの生成方法は、非特許文献１、非特許文献２または各種公知の方法が使用されるものとする。認知度推定部２２は、例えば、撮影画像２００に示されている被写体または対象物の輝度、補色および彩度等の特徴の一つまたはこれらの組み合わせを用いて、認知度を定量化させた顕著性マップを生成する。また、撮影装置１２がステレオカメラのような被写体の奥行きを示す奥行き情報（距離情報）を有する視差画像を取得可能である場合には、認知度推定部２２は、被写体の奥行きを示す奥行き情報を特徴の一つとして用いてもよい。さらに、認知度推定部２２は、状態情報生成部４２によって生成された状態情報に含まれるロボット１０の進行方向を示す情報を特徴の一つとして用いてもよい。認知度推定部２２は、撮影画像２００の特徴を示すこれらの指標のコントラストまたは値の高さ等に基づいて、認知度を定量化して、撮影画像を視認する視認者の認知度を推定する。
ここで、図１２を用いて、認知度推定部２２によって推定される。図１２は、実施形態に係る認知度推定部によって生成される顕著性マップの一例の概略を説明するための図である。図１２は、認知度推定処理を実行した結果をヒートマップで可視化した例である。図１２の例は、輝度または色の指標のコントラストの組み合わせを考慮した顕著性マップを示している。図１２の顕著性マップは、エネルギーが高いほど視認者の認知度が高く（認知しやすく）、エネルギーが低いほど認知度が低い（認知しづらい）ことを表現している。このように、顕著性マップは、人の注視を引きつけやすい画素ほど評価値が大きくなっており、この評価値を濃度に対応づけることで、人の注視の引きつけやすい画素ほど明るい画像として表示することができる。なお、顕著性マップは、図１２に示されているようなヒートマップの形式ではなく、評価値を色相に対応づけて表現する構成であってもよい。
これにより、認知度推定部２２は、撮影装置１２によって拠点内の被写体が撮影された撮影画像データを用いた認知度推知処理を行うことによって、撮影画像２００に示されている被写体に含まれる視認対象物の認知度を推定することができる。なお、ステップＳ１２－２において、顕著性マップを用いた認知度推定処理を説明したが、認知度推定処理は、顕著性マップを用いた方法に限られず、上述のような撮影画像２００の特徴を示す指標を用いた他の方法を用いてもよい。また、ステップＳ１２－１に示されている対象物検出処理とステップＳ１２－２に示されている認知度推定処理の順序は、前後してもよく、または並行して行われてもよい。
次に、特定部２３は、ステップＳ１２－１による対象物検出結果、およびステップＳ１２－２による認知度推定結果を用いて、認知度の低い対象物を特定する低認知度対象物特定処理を行う。まず、特定部２３は、ステップＳ１２－２によって推定された認知度を用いて、ステップＳ１２－１によって検出された視認対象物のうち、所定の条件を満たす視認対象物が存在するかどうかを判断する（ステップＳ１２－３）。具体的には、特定部２３は、認知度が低い視認対象物を抽出するための所定の条件を用いて、当該条件を満たす視認対象物が存在するかを判断する。まず、特定部２３は、例えば、ステップＳ１２－１によって検出された視認対象物に該当する撮影画像２００中の領域の認知度の最大値または平均値を、当該領域の代表値として決定する。そして、特定部２３は、決定した認知度の代表値が、所定値以下または所定値を下回っている場合、所定の条件を満たす視認対象物が存在すると判断する。また、特定部２３は、特定の対象物の認知度の代表値と他の対象物の認知度の代表値との差分が所定値以上、または所定値を超えている場合、所定の条件を満たす視認対象物（特定の対象物）が存在すると判断してもよい。
特定部２３は、ステップＳ１２－２によって推定された認知度を用いて、ステップＳ１２－１によって検出された視認対象物のうち、所定の条件を満たす視認対象物が存在する場合（ステップＳ１２－３のＹＥＳ）、処理をステップＳ１２－４へ移行させる。一方で、特定部２３は、ステップＳ１２－２によって推定された認知度を用いて、ステップＳ１２－１によって検出された視認対象物のうち、所定の条件を満たす視認対象物が存在しない場合（ステップＳ１２－３のＮＯ）、処理を終了する。
そして、特定部２３は、ステップＳ１２－３によって所定の条件を満たすと判断した領域に対応する視認対象物を、認知度の低い視認対象物として特定する（ステップＳ１２－４）。図１３は、実施形態に係る特定部における特定結果の一例の概略を説明するための図である。図１３は、低認知度対象物特定処理によって特定された対象物のみが点線で示している。検出された認知度の低い対象物（視認対象物）は、図１２に示されている顕著性マップにおいて、濃度が薄い（認知度が低い）領域に対応する対象物である。これにより、特定部２３は、対象物検出処理による対象物検出結果および認知度推定処理による認知度推定結果に基づいて、撮影画像２００に示されている被写体のうち、視認者の認知度の低い対象物を特定することができる。
このように、ロボット１０の評価部３７は、視認者へ提示する画像の輝度または色のコントラスト等を考慮した顕著性マップの計算モデルを用いて視認者（人）の視知覚を定量化して、撮影画像２００における認知が困難な状態を推定する。そして、評価部３７は、パターン認識により検出された視認対象物に対して顕著性マップのエネルギーを計算し、認知が困難なエネルギーの状態と比較することで、視認者の認知が困難な対象物のみを抽出する。
図８に戻り、ロボット１０の表示画像生成部３３は、撮影処理部３６によって取得された撮影画像データ、および評価部３７による画像評価結果である評価データを用いて、視認者へ提示する表示画像に係る表示画像データを生成する（ステップＳ１３）。次に、ロボット１０の送受信部３１は、表示端末５０に対して、表示画像生成部３３によって生成された表示画像データを送信する（ステップＳ１４）。これにより、表示端末５０の送受信部５１は、ロボット１０から送信された表示画像データを受信する。
そして、表示端末５０の表示制御部５４は、送受信部５１によって受信された表示画像データに係る表示画像を、ディスプレイ５１１に表示させる（ステップＳ１５）。ここで、図１４を用いて、表示端末５０に表示される表示画像について説明する。図１４は、実施形態に係る表示端末に表示される表示画像の一例を示す図である。図１４に示されている表示画像４００は、ロボット１０の表示画像生成部３３により生成された表示画像データに係る表示画像である。表示画像４００には、ステップＳ１２－４によって特定された認知度の低い対象物に対応する領域に付与された付加情報４５０が示されている。具体的には、上記ステップ１３において、ロボット１０の表示画像生成部３３は、ステップＳ１２－４によって特定された認知度の低い対象物に対応する領域の座標情報を用いて、撮影画像２００の対応する座標領域に付加情報４５０を重畳させた表示画像データを生成する。そして、ステップＳ１５において、表示端末５０は、ロボット１０によって生成された表示画像データを受信し、受信した表示画像データに係る表示画像４００をディスプレイ５１１に表示させる。
付加情報４５０は、ＡＲ（Augmented Reality：拡張現実）技術を用いて、撮影画像２００に重畳して表示される。ＡＲ技術とは、現実世界に対してＣＧ等の付加情報を重畳表示させることで、現実の情報を拡張する技術である。付加情報４５０は、上述した低認知度対象物特定処理によって特定された対象物を強調または指し示すことによって、該当する対象物を視認者へ提示するためのものである。図１４に示されている付加情報４５０は、該当する対象物を囲む矩形の図形により構成される。なお、付加情報４５０の種類または形状等は、これに限られず、例えば、該当する対象物を指し示す矢印の画像等であってもよい。
このように、表示制御システム１は、認知度推定処理によって推定された認知度が低い対象物のみにＡＲ表示を施すことにより、視認者の認知を過度なＡＲ表示で妨げないようにすることで、視認対象となる複数の対象物を視認する視認者にとって適した表示画面を提供することができる。また、表示制御システム１は、視認者にとって認知がしづらい対象物に対してのみ付加情報４５０を表示させるため、例えば、視認対象となる対象物の全てに対して強調表示が行われていた従来の方法と比較して必要最小限の強調表現を行うことができる。そのため、視認者は、例えば、表示画像を用いたロボット１０の遠隔操作を過度な情報によって妨げられず、表示画像に示されている情報をより的確に把握することができる。
なお、図８のステップＳ１４に示されている表示画像データの生成処理は、表示端末５０によって行われる構成であってもよい。この場合、表示端末５０の送受信部５１は、ロボット１０から送信された、撮影画像データおよび評価部３７による評価結果を示す評価データを受信する。そして、表示端末５０の表示画像生成部５３は、受信された撮影画像データおよび評価データを用いて、表示画像４００に係る表示画像データを生成する。また、図８のステップＳ１５に示されている表示画像の表示処理は、ロボット１０によって行われる構成であってもよい。この場合、ロボット１０の表示制御部３４は、表示画像生成部３３によって生成された表示画像データに係る表示画像４００を、ディスプレイ１４に表示させる。
○表示形態の調整処理
続いて、図１５および図１６を用いて、視認者に表示画像を提示する前に、表示画像生成部３３によって生成された表示画像データに係る表示画像に含まれる付加情報の表示形態を調整する処理について説明する。ここで、付加情報の表示形態とは、表示される付加情報の外観である。表示態様の調整とは、付加情報の外観を変更することに相当し、例えば、強調または抑制を例とする。強調とは、付加情報の刺激性を高めることをいい、抑制とは、付加情報の刺激性を低くすることをいう。強調は、見えやすくすること、注意を引きやすくすること、視認性を上げること、目立たせること等と称してもよい。また、抑制は、見えにくくすること、注意を引きにくくすること、視認性を下げること、目立たせないこと等と称してもよい。
まず、図１５を用いて、図８に示されている拠点画像の表示処理に、表示形態の調整処理を追加した場合の処理について説明する。図１５は、実施形態に係る表示制御システムにおける表示形態の調整処理を実行する場合の拠点画像の表示処理の一例を示す図である。なお、図１４に示されているステップ３１～ステップＳ３３の処理は、図８に示されているステップＳ１１～ステップＳ１３の処理と同様であるため、説明を省略する。
ロボット１０は、ステップＳ１３によって生成された表示画像データを用いて、表示画像データに示されている付加情報４５０の表示形態の調整処理を行う（ステップＳ３４）。図１６は、実施形態に係る評価部による表示形態の調整処理の一例を示すフローチャートである。
まず、認知度推定部２２は、ステップＳ１３によって生成された表示画像データに示されている付加情報４５０の認知度推定処理を実行する（ステップＳ３４－１）。具体的には、認知度推定部２２は、撮影処理部３６によって取得された表示画像データを用いて顕著性マップを生成し、ステップＳ１２－１によって検出された視認対象物の認知度を推定する。認知度推定部２２は、例えば、表示画像データに示されている被写体および付加情報４５０の輝度、補色、彩度等の指標の一つまたはこれらの組み合わせを用いて、付加情報４５０の認知度を定量化させた顕著性マップを生成する。認知度推定部２２は、表示画像データの特徴を示すこれらの指標のコントラストまたは値の高さ等に基づいて、付加情報４５０の認知度を定量化して、付加情報４５０を視認する視認者の認知度を推定する。
次に、判断部３５は、表示画像データに含まれる付加情報の認知度が、表示形態の調整を行うための所定の条件を満たすかどうかを判断する（ステップＳ３４－２）。具体的には、判断部３５は、ステップＳ３４－１による認知度推定処理の処理結果である表示画像データに示されている付加情報に対応する領域の認知度の最大値、平均値または中央値を、付加情報に対応する領域の代表値として決定する。そして、判断部３５は、付加情報の認知度の代表値が、所定値以上または所定値を超えている場合、所定の条件を満たすと判断する。この場合は、以下の処理において、付加情報の表示形態を抑制するための調整を行う。また、特定部３５は、付加情報の認知度の代表値が所定値以下または所定値を下回っている場合、所定の条件を満たすと判断してもよい。この場合は、以下の処理において、付加情報の表示形態を強調するための調整を行う。
判断部３５は、ステップＳ３４－１によって推定された付加情報の認知度が、所定の条件を満たす場合（ステップＳ３４－２のＹＥＳ）、処理をステップＳ３４－３へ移行させる。一方で、判断部３５は、ステップＳ３４－１によって推定された付加情報の認知度が、所定の条件を満たさない場合（ステップＳ３４－２のＮＯ）、処理を終了する。
そして、表示画像生成部３３は、付加情報の認知度が所定の条件を満たす場合、表示画像データに示されている付加情報の表示形態の調整を行う（ステップＳ３４－３）。具体的には、付加情報の認知度が表示画像データに示されている被写体や他の対象物と比較して高くなっている場合には、表示画像生成部３３は、付加情報の表示形態を抑制するように調整を行う。一方で、付加情報の認知度が表示画像データに示されている被写体や他の対象物と比較して低くなっている場合には、表示画像生成部３３は、付加情報の表示形態を強調するように調整を行う。このように、表示画像生成部３３は、付加情報の輝度、補色、彩度、大きさ、形状、出力タイミング等の指標の一つまたはこれらの組み合わせを変更することにより、付加情報４５０の認知度と表示画像データに示されている被写体の認知度が均等になるように、付加情報の表示形態を調整する。
図１５に戻り、ロボット１０の送受信部３１は、表示端末５０に対して、表示画像生成部３３によって生成された表示画像に係る表示画像データを送信する（ステップＳ３５）。これにより、表示端末５０の送受信部５１は、ロボット１０から送信された表示画像データを受信する。そして、表示端末５０の表示制御部５４は、送受信部５１によって受信された表示画像データに係る表示画像４００を、ディスプレイ５１１に表示させる（ステップＳ３６）。
このように、表示制御システム１は、付加情報４５０が示されている表示画像データの生成後に、生成された表示画像データに含まれる付加情報４５０の認知度に基づいて、表示形態を調整することで、視認対象となる複数の対象物を視認する視認者にとって更に適した表示画面を提供することができる。なお、図１５のステップＳ３４に示されている表示形態の調整処理は、表示端末５０によって行われる構成であってもよい。
ここで、図１５および図１６は、付加情報が付与された表示画像データを用いて表示形態の調整処理行う例を説明したが、表示形態の調整処理は、付加情報が付与される前の撮影画像データを用いて行われる構成であってもよい。この場合、表示端末５０の表示画像生成部３３は、表示画像データを生成する前に、ステップ１２－２によって推定された視認対象物の認知度に基づいて、表示画像に付与する付加情報の表示形態を調整する。表示画像生成部３３は、付加情報の輝度、補色、彩度、大きさ、形状、出力タイミング等の指標の一つまたはこれらの組み合わせを調整することによって、撮影画像に付与する付加情報の表示形態を調整する。そして、表示画像生成部３３は、取得された撮影画像データに対して、表示形態が調整された付加情報が付与された表示画像データを生成する（ステップＳ１３またはステップＳ３３）。
●実施形態の変形例１●
続いて、図１７を用いて、実施形態の変形例１に係る表示制御システム１の構成について説明する。実施形態の変形例１に係る表示制御システム１は、図９に示されているような画像評価処理を、表示端末５０が行うシステムである。図１７は、実施形態の変形例１に係る表示制御システムにおける拠点画像の表示処理の一例を示すシーケンス図である。
まず、ロボット１０の撮影処理部３６は、図８のステップＳ１１の処理と同様に、撮影装置１２によって撮影された撮影画像（拠点画像）を取得する（ステップＳ５１）。次に、送受信部３１は、表示端末５０に対して、ステップＳ５１によって取得された撮影画像に係る撮影画像データを送信する（ステップＳ５２）。これにより、表示端末５０の送受信部５１は、ロボット１０から送信された撮影画像データを受信する。
次に、表示端末５０の評価部５６は、ステップＳ５２によって受信された撮影画像データを用いて、所定の視認者へ提示する画像を生成するための画像評価処理を実行する（ステップＳ５３）。評価部５６による画像評価処理は、ロボット１０の評価部３７による処理（図１０参照）と同様であるため、説明を省略する。表示端末５０の表示画像生成部５３は、ステップＳ５１によって受信された撮影画像データ、およびステップＳ５３による評価結果である評価データに基づいて、視認者へ提示する表示画像に係る表示画像データを生成する（ステップＳ５４）。そして、表示端末５０の表示制御部５４、ステップＳ５４によって生成された表示画像データに係る表示画像４００を、ディスプレイ５１１に表示させる（ステップＳ５５）。
このように、実施形態の変形例１に係る表示制御システム１は、表示端末５０を用いて画像評価処理を行う場合であっても、視認対象となる複数の対象物を視認する視認者にとって適した表示画面を提供することができる。なお、図１６に示されている表示形態の調整処理についても、同様に表示端末５０で実行することできる。
●実施形態の変形例２●
続いて、図１７を用いて、実施形態の変形例２に係る表示制御システム１の構成について説明する。実施形態の変形例２に係る表示制御システム１は、図９に示されている画像評価処理を、情報処理サーバ７０が行うシステムである。図１８は、実施形態の変形例２に係る表示制御システムにおける拠点画像の表示処理の一例を示す図である。
まず、ロボット１０の撮影処理部３６は、図８のステップＳ１１の処理と同様に、撮影装置１２によって撮影された撮影画像（拠点画像）を取得する（ステップＳ７１）。次に、送受信部３１は、情報処理サーバ７０に対して、ステップＳ７１によって取得された撮影画像に係る撮影画像データを送信する（ステップＳ７２）。これにより、情報処理サーバ７０の送受信部７１は、ロボット１０から送信された撮影画像データを受信する。
次に、情報処理サーバ７０の評価部７３は、ステップＳ７２によって受信された撮影画像データを用いて、所定の視認者へ提示する画像を生成するための画像評価処理を実行する（ステップＳ７３）。評価部７３による画像評価処理は、ロボット１０の評価部３７による処理（図１０参照）と同様であるため、説明を省略する。情報処理サーバ７０の表示画像生成部７２は、ステップＳ７１によって受信された撮影画像データ、およびステップＳ７３による評価結果である評価データに基づいて、視認者へ提示する表示画像に係る表示画像データを生成する（ステップＳ７４）。情報処理サーバ７０の送受信部７１は、表示端末５０に対して、ステップＳ７４によって生成された表示画像データを送信する（ステップＳ７５）。これにより、表示端末５０の送受信部５１は、情報処理サーバ７０から送信された表示画像データを受信する。そして、表示端末５０の表示制御部５４は、ステップＳ７５によって受信された表示画像データに係る表示画像４００を、ディスプレイ５１１に表示させる（ステップＳ７６）。
このように、実施形態の変形例２に係る表示制御システム１は、情報処理サーバ７０を用いて画像評価処理を行う場合であっても、視認対象となる複数の対象物を視認する視認者にとって適した表示画面を提供することができる。同様に、図１６に示されている表示形態の調整処理についても、情報処理サーバ７０で実行することできる。なお、ステップＳ７５の処理において、情報処理サーバ７０の送受信部７１は、ロボット１０に対して表示画像データを送信することで、ロボット１０のディスプレイ１４に表示画像４００を表示させる構成であってもよい。
上記説明した各実施形態において、ロボット１０が撮影した撮影画像を用いた処理について説明したが、ロボット１０は、移動体の一例であり、移動体は、自動車もしくは電車等の車両、ＵＡＶ（Unmanned aerial vehicle）等の航空機、または船舶等であってもよい。また、ロボット１０の例としては、テレプレゼンス機能を備えたテレプレゼンスロボット、または産業用ロボット等が挙げられる。さらに、撮影画像を取得する装置は、ロボット１０等の移動体に限られず、所定の撮影手段を備えた装置であれば、移動手段を備えていなくてもよい。
●まとめ●
以上説明したように、本発明の一実施形態に係る出力制御装置（例えば、制御装置３０、表示端末５０または情報処理サーバ７０）は、視認対象となる複数の対象物が含まれる被写体が撮影された撮影画像データ（例えば、撮影画像２００に係る撮影画像データ）を取得し、取得された撮影画像データに示されている被写体に含まれる複数の対象物を検出し、検出された複数の対象物に対する視認者の認知度を推定する。そして、出力制御装置は、推定された認知度に基づいて、検出された複数の対象物のうち、認知度の低い対象物を特定し、取得された撮影画像データに対して、特定された認知度の低い対象物に関連する付加情報４５０が示される表示画像データ（例えば、表示画像４００に係る表示画像データ）を出力する。これにより、出力制御装置は、視認者の認知を過度な表示で妨げないようにすることで、視認対象となる複数の対象物を視認する視認者にとって適した表示画面を提供することができる。
また、本発明の一実施形態に係る出力制御装置（例えば、制御装置３０、表示端末５０または情報処理サーバ７０）は、取得された撮影画像データ（例えば、撮影画像２００に係る撮影画像データ）に示されている被写体もしくは対象物の輝度、補色、彩度、並びに撮影画像データに示されている被写体の奥行きを示す情報の少なくとも一つに基づいて、検出された複数の対象物に対する認知度を推定する。これにより、出力制御装置は、撮影画像データに示されている被写体または対象物の特徴量を用いて認知度を定量化することにより、視認対象の対象物の認知度を推定することができる。
さらに、本発明の一実施形態に係る出力制御装置（例えば、制御装置３０、表示端末５０または情報処理サーバ７０）は、特定の対象物の認知度が所定値以下または所定値を下回る場合、当該特定の対象物を認知度の低い対象物として特定する。また、出力制御装置は、特定の対象物の認知度と他の対象物の認知度の差分が所定値以上、または所定値を超えている場合、当該特定の対象物を認知度の低い対象物として特定する。これにより、出力制御装置は、撮影画像データに示されている被写体のうち、視認者の認知度の低い対象物を特定することができる。
また、本発明の一実施形態に係る出力制御装置（例えば、制御装置３０、表示端末５０または情報処理サーバ７０）は、前記出力手段は、特定された対象物に関連する付加情報４５０を、撮影画像データ（例えば、撮影画像２００に係る撮影画像データ）に重畳させた表示画像データに係る表示画像４００を表示部（例えば、ディスプレイ１４またはディスプレイ５１１）に表示させるように、当該表示画像データを出力する。これにより、出力制御装置は、視認者の認知を過度な表示で妨げないようにすることで、視認対象となる複数の対象物を視認する視認者にとって適した表示画面を提供することができる。
さらに、本発明の一実施形態に係る出力制御装置（例えば、制御装置３０、表示端末５０または情報処理サーバ７０）は、特定された対象物に関連する付加情報４５０が示される表示画像データ（例えば、表示画像４００に係る表示画像データ）を生成し、生成された表示画像データに示されてる付加情報４５０の輝度、補色、彩度、大きさ、形状、および出力タイミングの少なくとも一つに基づいて、付加情報４５０に対する認知度を推定する。そして、出力制御装置は、推定された付加情報４５０に対する認知度が所定値以上、または所定値を超えている場合、付加情報４５０の表示形態を抑制するように調整し、表示形態が調整された表示画像データを出力する。また、出力制御装置は、推定された付加情報４５０に対する認知度が所定値以下、または所定値を下回る場合、付加情報４５０の表示形態を強調するように調整し、表示形態が調整された表示画像データを出力する。これにより、出力制御装置は、視認対象となる複数の対象物を視認する視認者にとって更に適した表示画面を提供することができる。
●補足●
上記で説明した実施形態の各機能は、一または複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。
また、上記で説明した実施形態の各種テーブルは、機械学習の学習効果によって生成されたものでもよく、関連づけられている各項目のデータを機械学習にて分類付けすることで、テーブルを使用しなくてもよい。ここで、機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり，コンピュータが，データ識別等の判断に必要なアルゴリズムを，事前に取り込まれる学習データから自律的に生成し，新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、さらに、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。
これまで本発明の一実施形態に係る出力制御装置、表示制御システム、出力制御方法およびプログラムについて説明してきたが、本発明は上述した実施形態に限定されるものではなく、他の実施形態の追加、変更または削除等、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
１ 表示制御システム
１０ ロボット（移動体の一例）
１２ 撮影装置（撮影手段の一例）
１４ ディスプレイ（表示部の一例）
２１ 対象物検出部（検出手段の一例）
２２ 認知度推定部（認知度推定手段の一例）
２３ 特定部（特定手段の一例）
３０ 制御装置（出力制御装置の一例）
３１ 送受信部（出力手段の一例）
３３ 表示画像生成部（生成手段の一例、調整手段の一例）
３４ 表示制御部（出力手段の一例、表示制御手段の一例）
３６ 撮影処理部（取得手段の一例）
３７ 評価部
５０ 表示端末（出力制御装置の一例）
５１ 送受信部（取得手段の一例）
５３ 表示画像生成部（生成手段の一例、調整手段の一例）
５４ 表示制御部（出力手段の一例、表示制御手段の一例）
５６ 評価部
７０ 情報処理サーバ（出力制御装置の一例、サーバ装置の一例）
７１ 送受信部（取得手段の一例、出力手段の一例、受信手段の一例、送信手段の一例）
７２ 表示画像生成部（生成手段の一例、調整手段の一例）
７３ 評価部
５１１ ディスプレイ（表示部の一例）
特開２０１１－８７７２号公報
L.Itti, C.Koch, and E.Niebur. "A model of saliency－based visual attention for rapid scene analysis," IEEE Transactions on Pattern Analysisand Machine Intelligence, Vol.20, No.11, pp. 1254－1259, 1998. J. Harel, C. Koch, and P. Perona, "Graph－based visual saliency," Advances in Neural Information Processing Systems, pp. 545－552, 2007.

Claims (16)

  1. 複数の対象物が撮影された撮影画像データを取得する取得手段と、
    取得された前記撮影画像データに示されている複数の対象物を検出する検出手段と、
    検出された複数の対象物に対する視認者の認知度を推定する認知度推定手段と、
    推定された認知度に基づいて、検出された複数の対象物のうち、認知度の低い対象物を特定する特定手段と、
    取得された前記撮影画像データに対して、特定された前記認知度の低い対象物に関連する付加情報が示される表示画像データを出力する出力手段と、
    を備え、
    前記特定手段は、特定の対象物の認知度と他の対象物の認知度の差分が所定値以上、または所定値を超えている場合、当該特定の対象物を、前記認知度の低い対象物として特定する出力制御装置。
  2. 前記撮影画像データは、前記複数の対象物を含む被写体を示し、
    前記認知度推定手段は、前記被写体もしくは前記対象物の輝度、補色、彩度、並びに前記被写体の奥行きを示す情報の少なくとも一つに基づいて、検出された複数の対象物に対する認知度を推定する請求項１に記載の出力制御装置。
  3. 前記特定手段は、前記特定の対象物の認知度が所定値以下または所定値を下回る場合、当該特定の対象物を認知度の低い対象物として特定する請求項１または２に記載の出力制御装置。
  4. 前記出力手段は、特定された前記認知度の低い対象物に関連する付加情報を、前記撮影画像データに重畳させた前記表示画像データを出力する請求項１乃至３のいずれか一項に記載に出力制御装置。
  5. 前記出力手段は、前記表示画像データに係る表示画像を表示部に表示させるように当該表示画像データを出力する請求項１乃至４のいずれか一項に記載の出力制御装置。
  6. 請求項１乃至５のいずれか一項に記載の出力制御装置であって、更に、
    前記表示画像データを生成する生成手段を備え、
    前記出力手段は、生成された前記表示画像データを出力する出力制御装置。
  7. 請求項６に記載の出力制御装置であって、
    前記認知度推定手段は、生成された前記表示画像データに示されてる前記付加情報に対する認知度を推定し、更に、
    推定された前記付加情報に対する認知度が所定値以上、または所定値を超えている場合、当該付加情報の表示形態を抑制するように調整する調整手段を備え、
    前記出力手段は、前記表示形態が調整された表示画像データを出力する出力制御装置。
  8. 請求項６に記載の出力制御装置であって、
    前記認知度推定手段は、生成された前記表示画像データに示されてる前記付加情報に対する認知度を推定し、更に、
    推定された前記付加情報に対する認知度が所定値以下、または所定値を下回る場合、当該付加情報の表示形態を強調するように調整する調整手段を備え、
    前記出力手段は、前記表示形態が調整された表示画像データを出力する出力制御装置。
  9. 請求項２に記載の出力制御装置であって、更に、
    前記表示画像データを生成する生成手段と、
    前記撮影画像データに示されている前記被写体に含まれる複数の対象物に対する視認者の認知度に基づいて、前記付加情報の表示形態を調整する調整手段と、
    を備え、
    前記生成手段は、前記表示形態が調整された付加情報が示される表示画像データを生成し、生成された前記表示画像データを出力する出力制御装置。
  10. 前記調整手段は、前記付加情報の輝度、補色、彩度、大きさ、形状、および出力タイミングの少なくとも一つに基づいて、前記付加情報に対する認知度を推定する請求項７乃至９のいずれか一項に記載の出力制御装置。
  11. 前記出力制御装置は、所定の拠点を移動する移動体であって、
    前記移動体は、前記拠点の前記複数の対象物を含む被写体を撮影する撮影手段を備え、
    前記取得手段は、前記撮影手段によって前記被写体が撮影された前記撮影画像データを取得する請求項２または９に記載の出力制御装置。
  12. 前記移動体は、前記拠点を移動するロボット、車両または航空機である請求項１１に記載の出力制御装置。
  13. 所定の拠点の複数の対象物を撮影する撮影手段を備える制御装置と、前記制御装置と通信可能な表示端末とを備える表示制御システムであって、
    前記撮影手段によって複数の対象物が撮影された撮影画像データを取得する取得手段と、
    取得された前記撮影画像データに示されている複数の対象物を検出する検出手段と、
    検出された複数の対象物に対する視認者の認知度を推定する認知度推定手段と、
    推定された認知度に基づいて、検出された複数の対象物のうち、認知度の低い対象物を特定する特定手段と、
    取得された撮影画像データに対して、特定された前記認知度の低い対象物に関連する付加情報が示される表示画像データに係る表示画像を表示部に表示させる表示制御手段と、
    を備え、
    前記特定手段は、特定の対象物の認知度と他の対象物の認知度の差分が所定値以上、または所定値を超えている場合、当該特定の対象物を、前記認知度の低い対象物として特定する表示制御システム。
  14. 所定の拠点の複数の対象物を撮影する撮影手段を備える制御装置と、前記制御装置と通信可能な表示端末と、前記制御装置および前記表示端末と通信可能なサーバ装置と、を備える表示制御システムであって、
    前記サーバ装置は、
    前記撮影手段によって複数の対象物が撮影された撮影画像データを、前記制御装置から受信する受信手段と、
    受信された前記撮影画像データに示されている複数の対象物を検出する検出手段と、
    検出された複数の対象物に対する視認者の認知度を推定する認知度推定手段と、
    推定された認知度に基づいて、検出された複数の対象物のうち、認知度の低い対象物を特定する特定手段と、
    受信された撮影画像データに対して、特定された前記認知度の低い対象物に関連する付加情報が示される表示画像データを、前記表示端末へ送信する送信手段と、
    を備え、
    前記特定手段は、特定の対象物の認知度と他の対象物の認知度の差分が所定値以上、または所定値を超えている場合、当該特定の対象物を、前記認知度の低い対象物として特定する表示制御システム。
  15. 出力制御装置が実行する出力制御方法であって、
    複数の対象物が撮影された撮影画像データを取得する取得ステップと、
    取得された前記撮影画像データに示されている複数の対象物を検出する検出ステップと、
    検出された複数の対象物に対する視認者の認知度を推定する認知度推定ステップと、
    推定された認知度に基づいて、検出された複数の対象物のうち、認知度の低い対象物を特定する特定ステップと、
    取得された前記撮影画像データに対して、特定された前記認知度の低い対象物に関連する付加情報が示される表示画像データを出力する出力ステップと、
    を実行するとともに、
    前記特定ステップは、特定の対象物の認知度と他の対象物の認知度の差分が所定値以上、または所定値を超えている場合、当該特定の対象物を、前記認知度の低い対象物として特定する出力制御方法。
  16. コンピュータに、請求項１５に記載の方法を実行させるプログラム。
JP2019154518A 2019-08-27 2019-08-27 出力制御装置、表示制御システム、出力制御方法およびプログラム Active JP7354686B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019154518A JP7354686B2 (ja) 2019-08-27 2019-08-27 出力制御装置、表示制御システム、出力制御方法およびプログラム
US16/990,386 US11354897B2 (en) 2019-08-27 2020-08-11 Output control apparatus for estimating recognition level for a plurality of taget objects, display control system, and output control method for operating output control apparatus
EP20192109.5A EP3786841A1 (en) 2019-08-27 2020-08-21 Output control apparatus, display control system, output control method, and carrier means

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019154518A JP7354686B2 (ja) 2019-08-27 2019-08-27 出力制御装置、表示制御システム、出力制御方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2021033752A JP2021033752A (ja) 2021-03-01
JP7354686B2 true JP7354686B2 (ja) 2023-10-03

Family

ID=72193306

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019154518A Active JP7354686B2 (ja) 2019-08-27 2019-08-27 出力制御装置、表示制御システム、出力制御方法およびプログラム

Country Status (3)

Country Link
US (1) US11354897B2 (ja)
EP (1) EP3786841A1 (ja)
JP (1) JP7354686B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220305665A1 (en) * 2021-03-24 2022-09-29 Toyota Jidosha Kabushiki Kaisha Robot, communication system, communication method, and computer readable medium

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113920322B (zh) * 2021-10-21 2024-06-14 广东工业大学 一种模块化机器人运动链构型识别方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004030212A (ja) 2002-06-25 2004-01-29 Toyota Central Res & Dev Lab Inc 車両用情報提供装置
JP2007012047A (ja) 2005-06-27 2007-01-18 Honda Research Inst Europe Gmbh 人間型ロボットのための身体近接空間および対象物を認識する方法
WO2008029802A1 (fr) 2006-09-04 2008-03-13 Panasonic Corporation Dispositif fournissant des informations de voyage
JP2014127032A (ja) 2012-12-26 2014-07-07 Clarion Co Ltd 車両用外界認識装置
JP2014170396A (ja) 2013-03-04 2014-09-18 Nec Corp 画面表現評価装置、画面表現評価方法、及びプログラム
JP2017026417A (ja) 2015-07-21 2017-02-02 トヨタ自動車株式会社 情報提示システム
JP2017111649A (ja) 2015-12-17 2017-06-22 大学共同利用機関法人自然科学研究機構 視覚認知支援システムおよび視認対象物の検出システム
JP2019031264A (ja) 2017-08-08 2019-02-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報処理方法、情報処理システム、および、プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200719281A (en) 2005-07-28 2007-05-16 Thomson Licensing Method and device for generating a sequence of images of reduced size
EP2256667B1 (en) 2009-05-28 2012-06-27 Honda Research Institute Europe GmbH Driver assistance system or robot with dynamic attention module
US20120038668A1 (en) * 2010-08-16 2012-02-16 Lg Electronics Inc. Method for display information and mobile terminal using the same
CN102779338B (zh) 2011-05-13 2017-05-17 欧姆龙株式会社 图像处理方法和图像处理装置
US8897578B2 (en) * 2011-11-02 2014-11-25 Panasonic Intellectual Property Corporation Of America Image recognition device, image recognition method, and integrated circuit
US9286658B2 (en) 2012-03-22 2016-03-15 Qualcomm Incorporated Image enhancement
US20150339589A1 (en) * 2014-05-21 2015-11-26 Brain Corporation Apparatus and methods for training robots utilizing gaze-based saliency maps
JP6583996B2 (ja) 2015-07-17 2019-10-02 日本放送協会 映像評価装置、及びプログラム
JP6629139B2 (ja) * 2016-05-30 2020-01-15 株式会社東芝 制御装置、制御方法およびプログラム
US10754351B2 (en) * 2017-02-28 2020-08-25 Toyota Jidosha Kabushiki Kaisha Observability grid-based autonomous environment search
US10796157B2 (en) * 2018-03-13 2020-10-06 Mediatek Inc. Hierarchical object detection and selection
JP2020112698A (ja) 2019-01-11 2020-07-27 株式会社リコー 表示制御装置、表示装置、表示システム、移動体、プログラム、画像生成方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004030212A (ja) 2002-06-25 2004-01-29 Toyota Central Res & Dev Lab Inc 車両用情報提供装置
JP2007012047A (ja) 2005-06-27 2007-01-18 Honda Research Inst Europe Gmbh 人間型ロボットのための身体近接空間および対象物を認識する方法
WO2008029802A1 (fr) 2006-09-04 2008-03-13 Panasonic Corporation Dispositif fournissant des informations de voyage
JP2014127032A (ja) 2012-12-26 2014-07-07 Clarion Co Ltd 車両用外界認識装置
JP2014170396A (ja) 2013-03-04 2014-09-18 Nec Corp 画面表現評価装置、画面表現評価方法、及びプログラム
JP2017026417A (ja) 2015-07-21 2017-02-02 トヨタ自動車株式会社 情報提示システム
JP2017111649A (ja) 2015-12-17 2017-06-22 大学共同利用機関法人自然科学研究機構 視覚認知支援システムおよび視認対象物の検出システム
JP2019031264A (ja) 2017-08-08 2019-02-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報処理方法、情報処理システム、および、プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220305665A1 (en) * 2021-03-24 2022-09-29 Toyota Jidosha Kabushiki Kaisha Robot, communication system, communication method, and computer readable medium

Also Published As

Publication number Publication date
EP3786841A1 (en) 2021-03-03
US20210064876A1 (en) 2021-03-04
US11354897B2 (en) 2022-06-07
JP2021033752A (ja) 2021-03-01

Similar Documents

Publication Publication Date Title
US11165959B2 (en) Connecting and using building data acquired from mobile devices
US11057561B2 (en) Capture, analysis and use of building data from mobile devices
US20210142090A1 (en) Apparatus and method for processing image
US10496163B2 (en) Eye and head tracking
CN111783986B (zh) 网络训练方法及装置、姿态预测方法及装置
CN111344644B (zh) 用于基于运动的自动图像捕获的技术
KR102560689B1 (ko) Ar 객체를 표시하기 위한 장치 및 방법
US20210405772A1 (en) Augmented reality eyewear 3d painting
US11228737B2 (en) Output control apparatus, display terminal, remote control system, control method, and non-transitory computer-readable medium
JP2011146796A5 (ja)
US10776943B2 (en) System and method for 3D association of detected objects
CN115039166A (zh) 增强现实地图管理
CN113205515B (zh) 目标检测方法、装置、及计算机存储介质
CA3069813C (en) Capturing, connecting and using building interior data from mobile devices
US10748000B2 (en) Method, electronic device, and recording medium for notifying of surrounding situation information
JP7354686B2 (ja) 出力制御装置、表示制御システム、出力制御方法およびプログラム
JP7400248B2 (ja) 移動体
EP4206977A1 (en) Electronic device and control method of electronic device
US20220254007A1 (en) Multi-view interactive digital media representation viewer
JP7346983B2 (ja) 表示端末、遠隔制御システム、表示制御方法およびプログラム
DE112018007292T5 (de) Datenverarbeitungsvorrichtung, datenverarbeitungsverfahren und aufzeichnungsmedium
WO2022170327A1 (en) Multi-view interactive digital media representation viewer
JP2023136238A (ja) 情報表示システム、情報表示方法、及びプログラム
US20220166917A1 (en) Information processing apparatus, information processing method, and program
US20240053746A1 (en) Display system, communications system, display control method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220622

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230809

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230904

R151 Written notification of patent or utility model registration

Ref document number: 7354686

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151