JP2018067784A - 操作装置、情報処理システム及びプログラム - Google Patents

Abstract

【課題】 電子機器が生成した画像を表示する、タッチパネルを備えた操作装置において、電子機器が生成した画像がタッチされた際に、メッセージを読み上げ可能とすることを目的とする。【解決手段】 一実施形態に係る操作装置は、電子機器を操作するための操作装置であって、前記電子機器から第１の画像を受信する受信部と、前記受信部により受信された前記第１の画像を含む第２の画像を生成する画像生成部と、前記第２の画像に含まれる前記第１の画像に対して、前記電子機器の状態に応じたメッセージを設定するメッセージ設定部と、前記第２の画像を表示する表示部と、ユーザが表示された前記第２の画像に含まれる前記第１の画像を操作した場合、前記第１の画像に対して設定された前記メッセージを音声出力する音声出力部と、を備える。【選択図】 図４

Description

本発明は、操作装置、情報処理システム及びプログラムに関する。

従来、画像形成装置を操作するための操作パネルとして、例えば、Ａｎｄｒｏｉｄ（登録商標）などのＯＳ（Operating System）を搭載した操作装置が利用されている。この操作装置は、Ａｎｄｒｏｉｄなどが備える読み上げ機能（トークバック機能）を利用することにより、ユーザが操作した画面上の操作ボタンなどのＵＩ（User Interface）パーツに応じたメッセージを読み上げることができる。これにより、操作装置は、ユーザが操作している画面上のＵＩパーツの内容などを、ユーザに音声で通知することができる。このような操作装置を利用することにより、視覚障碍者であっても、画像形成装置を操作することができる。

図１は、従来の操作装置に表示される、コピーアプリの操作画面の一例を示す図である。図１の操作画面には、カラーモード、印刷用紙、印刷部数を設定するための操作ボタンや、コピーを開始するための開始ボタン（スタート）などのＵＩパーツが表示されている。これらのＵＩパーツは、操作装置により生成されているため、視覚障碍者が利用するときに、操作装置は、ユーザにより操作されたＵＩパーツを認識し、ＵＩパーツに設定されたメッセージを読み上げることができる。例えば、操作装置は、開始ボタンが操作されると、「コピーを開始します」というメッセージを読み上げる。図１の操作画面では、視覚障碍者にも利用しやすいように、各ＵＩパーツが大きく、シンプルに配置されている。

一方、上記のような操作装置を備えない、従来の画像形成装置は、画像形成装置が生成した操作画面の画像を用いて操作画面操作パネルに表示させる。このような従来の操作画面を使いなれた健常者のユーザにとっては、図１のような操作画面より、従来の画像形成装置で表示された操作画面の方が使いやすいことが考えられる。このようなユーザの利便性を考慮して、近年の操作装置は、画像形成装置が生成した従来の操作画面の画像を受け取り、受け取った画像を表示可能に構成されている。

しかしながら、上記従来の操作装置は、画像形成装置から受信した操作画面の画像を表示した場合、この画像に含まれるＵＩパーツを認識できず、ＵＩパーツに応じたメッセージを読み上げることができない、という問題があった。この結果、従来の操作装置では、画像形成装置から受信した画像が表示された場合、画像に含まれるＵＩパーツが操作されても、メッセージを音声出力することができず、視覚障碍者にとって利用が困難になった。

本発明は、上記の課題に鑑みてなされたものであり、電子機器から受信した画像を表示する、操作パネルを備えた操作装置において、電子機器から受信した画像が操作された際に、メッセージを読み上げ可能とすることを目的とする。

一実施形態に係る操作装置は、電子機器を操作するための操作装置であって、前記電子機器から第１の画像を受信する受信部と、前記受信部により受信された前記第１の画像を含む第２の画像を生成する画像生成部と、前記第２の画像に含まれる前記第１の画像に対して、前記電子機器の状態に応じたメッセージを設定するメッセージ設定部と、前記第２の画像を表示する表示部と、ユーザが表示された前記第２の画像に含まれる前記第１の画像を操作した場合、前記第１の画像に対して設定された前記メッセージを音声出力する音声出力部と、を備える。

本発明の各実施形態によれば、電子機器が生成した画像を表示する、タッチパネルを備えた操作装置において、電子機器が生成した画像がタッチされた際に、メッセージを読み上げ可能とすることができる。

従来の操作装置に表示されるコピーアプリの操作画面の一例を示す図。 電子機器システムのハードウェア構成の一例を示す図。 電子機器システムのソフトウェア構成の一例を示す図。 電子機器システムの機能構成の一例を示す図。 画像を含む操作画像の一例を示す図。 ＭＦＰ画像を含む操作画像の一例を示す図。 ＭＦＰ画像を含む操作画像の一例を示す図。 第１のメッセージテーブルの一例を示す図。 第２のメッセージテーブルの一例を示す図。 メッセージ設定テーブルの一例を示す図。 第１実施形態に係る電子機器システムの動作の一例を示すシーケンス図。 第２実施形態に係る電子機器システムの動作の一例を示すシーケンス図。 第３実施形態に係る電子機器システムの動作の一例を示すシーケンス図。 第３実施形態に係る電子機器システムの動作の一例を示すシーケンス図。

以下、本発明の各実施形態について、添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に関して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重畳した説明を省略する。

（第１実施形態）
第１実施形態に係る電子機器システムについて、図２〜図１１を参照して説明する。本実施形態に係る電子機器システムは、電子機器と、ユーザが電子機器を操作するための操作装置と、により構成されるシステムである。電子機器は、例えば、ファクシミリ装置、プリンタ装置、スキャナ装置、コピー装置、複合機（ＭＦＰ：Multi-Function Peripheral）、冷蔵庫、洗濯機、テレビ、電子レンジ、及び掃除機などであるが、これに限られない。以下では、電子機器がＭＦＰである場合を例に説明する。

まず、本実施形態に係る電子機器システムのハードウェア構成について説明する。図１は、本実施形態に係る電子機器システムのハードウェエア構成の一例を示す図である。図１の電子機器システムは、ＭＦＰ（電子機器）１と、操作装置２と、通信路３と、を備える。

ＭＦＰ１は、ファクシミリ機能、プリンタ機能、スキャナ機能、及びコピー機能などを備え、操作装置２から受信した指示に従って動作する。ＭＦＰ１は、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ（Read Only Memory）１０２と、ＲＡＭ（Random Access Memory）１０３と、ＨＤＤ（Hard Disk Drive）１０４と、を備える。また、ＭＦＰ１は、通信Ｉ／Ｆ（インタフェース）１０５と、接続Ｉ／Ｆ１０６と、エンジン部１０７と、バス１０８と、を備える。

ＣＰＵ１０１は、ＲＯＭ１０２やＨＤＤ１０４に記憶されたプログラムを実行することにより、ＭＦＰ１の動作を統括的に制御し、ＭＦＰ１の各種機能を実現する。

ＲＯＭ１０２は、各種のプログラムやデータを記憶する。ＲＡＭ１０３は、ＣＰＵ１０１に作業領域を提供する。ＨＤＤ１０４は、各種のプログラムやデータを記憶する。

通信Ｉ／Ｆ１０５は、ネットワークＮと接続し、外部装置と通信するためのインタフェースである。ネットワークＮは、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、及びインターネットなどである。外部装置は、他のＭＦＰ、サーバコンピュータ、及びクライアントコンピュータなどである。

接続Ｉ／Ｆ１０６は、通信路３に接続し、操作装置２と通信するためのインタフェースである。

エンジン部１０７は、ファクシミリ機能、プリンタ機能、スキャナ機能、及びコピー機能などを実現するための１つ又は複数の装置である。エンジン部１０７は、例えば、現行の画像を読み取る画像読取部（スキャナ）、印刷媒体に画像を印刷する画像形成部（プロッタ）、及びファックス通信を行うファックス部などを含む。また、エンジン部１０７は、印刷済みの印刷媒体を仕分ける仕分け部（フィニッシャ）や、印刷媒体を自動給送する自動原稿給送部（ＡＤＦ：Auto Document Feeder）などを含んでもよい。

バス１０８は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＨＤＤ１０４と、通信Ｉ／Ｆ１０５と、接続Ｉ／Ｆ１０６と、エンジン部１０７と、を相互に接続する。

操作装置２は、ユーザからの操作に応じた情報や指示を受け付け、受け付けた情報や指示を、ＭＦＰ１に送信する。操作装置２は、ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、フラッシュメモリ２０４と、通信Ｉ／Ｆ２０５と、接続Ｉ／Ｆ２０６と、外部接続Ｉ／Ｆ２０７と、操作パネル２０８と、スピーカ２０９と、を備える。

ＣＰＵ２０１は、ＲＯＭ２０２やフラッシュメモリ２０４に記憶されたプログラムを実行することにより、操作装置２の動作を統括的に制御し、操作装置２の各種機能を実現する。

ＲＯＭ２０２は、各種のプログラムやデータを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１に作業領域を提供する。フラッシュメモリ２０４は、各種のプログラムやデータを記憶する。

通信Ｉ／Ｆ２０５は、ネットワークＮと接続し、外部装置と通信するためのインタフェースである。ネットワークＮは、ＬＡＮ、ＷＡＮ、及びインターネットなどである。外部装置は、他のＭＦＰ、サーバコンピュータ、及びクライアントコンピュータなどである。

接続Ｉ／Ｆ２０６は、通信路３に接続し、ＭＦＰ１と通信するためのインタフェースである。

外部接続Ｉ／Ｆ２０７は、外部機器を通信可能に接続するためのインタフェースである。外部機器は、例えば、ＩＣ（Integrated Circuit）カードリーダ、マイク、及びキーボードなどである。

操作パネル２０８は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）ディスプレイなどのディスプレイと、ディスプレイ上に設けられたタッチパネルと、を備える。操作パネル２０８は、ユーザの操作に応じた情報や指示を受け付ける。また、操作パネル２０８は、受け付けた操作に応じた情報、ＭＦＰ１の動作状況、及び設定状況などの各種の情報を表示する。操作パネル２０８は、ハードウェアキーなどの操作部や、ランプ等の表示部を備えてもよい。

スピーカ２０９は、後述するメッセージを音声出力する。スピーカ２０９は、外部接続Ｉ／Ｆ２０７を介してＭＦＰ１に接続されてもよい。

バス２１０は、ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、フラッシュメモリ２０４と、通信Ｉ／Ｆ２０５と、接続Ｉ／Ｆ２０６と、外部接続Ｉ／Ｆ２０７と、操作パネル２０８と、スピーカ２０９と、を相互に接続する。

通信路３は、ＭＦＰ１と、操作装置２と、を通信可能に接続する。通信路３の通信規格は、任意であり、ＵＳＢ（Universal Serial Bus）などの有線通信規格であってもよいし、ＷｉＦｉなどの無線通信規格であってもよい。また、通信路３を介して、ＭＦＰ１から操作装置２への電力供給が行われてもよい。

次に、本実施形態に係る電子機器システムのソフトウェア構成について説明する。図３は、本実施形態に係る電子機器システムのソフトウェア構成の一例を示す図である。

ＭＦＰ１は、アプリケーション層１００１と、サービス層１００２と、ＯＳ層１００３と、を備える。これらの各層は、ＲＯＭ１０２及びＨＤＤ１０４に記憶された各種のソフトウェア（プログラム）により構成される。ＣＰＵ１０１が各層のソフトウェアを実行することにより、各層の機能が実現される。

アプリケーション層１００１は、ハードウェアを動作させることにより、ＭＦＰ１の機能をユーザに提供する。以下では、アプリケーション層１００１を構成するソフトウェア（アプリケーションソフトウェア）を、ＭＦＰアプリと称する。ＭＦＰアプリとして、ファクシミリ機能を提供するファクシミリアプリ、プリンタ機能を提供するプリンタアプリ、スキャナ機能を提供するスキャナアプリ、及びコピー機能を提供するコピーアプリなどが考えられる。また、ＭＦＰ１は、これらのアプリケーションを操作するための操作画面を操作装置２に表示させる画像情報を操作装置２に送信する。ＭＦＰ１は、送信された画像情報に基づいて操作装置２で表示される操作画面を介して受け付けたユーザの操作に応じて、アプリケーションを動作させる。

サービス層１００２は、アプリケーション層１００１とＯＳ層１００３との間に介在し、アプリケーション層１００１に対して、ＭＦＰ１のハードウェアを動作させるためのインタフェースを提供する。具体的には、サービス層１００２は、ハードウェアに対する動作要求をアプリケーション層１００１から受け付け、受け付けた動作要求を調停し、動作要求をＯＳ層１００３が解釈可能なコマンドに変換し、変換したコマンドをＯＳ層１００３に渡す。ハードウェアに対する動作要求として、例えば、画像読取部に対する画像の読み取り要求や、画像形成部に対する画像の印刷要求などが考えられる。なお、本実施形態において、サービス層１００２は、操作装置２のアプリケーション層２００１に対しても、ＭＦＰ１のハードウェアを利用するためのインタフェースを提供する。

ＯＳ層１００３は、ＭＦＰ１のＯＳにより構成され、ＭＦＰ１のハードウェアを制御するための基本的な機能を提供する。ＯＳ層１００３が、サービス層１００２から受け取ったコマンドを実行することにより、ＭＦＰ１のハードウェアは、ＭＦＰアプリが要求した動作を実行する。本実施形態において、ＭＦＰ１のＯＳは、後述する操作装置２のＯＳとは異なる種類のＯＳであり、読み上げ機能を備えなくてもよい。ＭＦＰ１のＯＳは、例えば、Ｌｉｎｕｘ（登録商標）であるが、これに限られない。

操作装置２は、アプリケーション層２００１と、サービス層２００２と、ＯＳ層２００３と、を備える。これらの各層は、ＲＯＭ２０２及びＨＤＤ２０４に記憶された各種のソフトウェア（プログラム）により構成される。ＣＰＵ２０１が各層のソフトウェアを実行することにより、各層の機能が実現される。

アプリケーション層２００１は、ハードウェアを動作させることにより、操作装置２の機能をユーザに提供する。以下では、アプリケーション層２００１を構成するソフトウェア（アプリケーションソフトウェア）を、操作アプリと称する。操作アプリには、ＭＦＰアプリをエミュレートするためのエミュレータアプリや、ＵＩを提供するＵＩアプリなどが含まれる。これらの操作アプリは、ＭＦＰ１のサービス層１００２により提供されるインタフェースを用いることで、ＭＦＰ１のアプリケーション層１００１を介さずに、ＭＦＰ１のハードウェアや各機能を制御することができる。

サービス層２００２は、アプリケーション層２００１とＯＳ層２００３との間に介在し、アプリケーション層２００１に対して、操作装置２のハードウェアを動作させるためのインタフェースを提供する。具体的には、サービス層２００２は、ハードウェアに対する動作要求をアプリケーション層２００１から受け付け、受け付けた動作要求を調停し、動作要求をＯＳ層２００３が解釈可能なコマンドに変換し、変換したコマンドをＯＳ層２００３に渡す。ハードウェアに対する動作要求として、例えば、画像読取部に対する画像の読み取り要求や、画像形成部に対する画像の印刷要求などが考えられる。

ＯＳ層２００３は、操作装置２のＯＳにより構成され、操作装置２のハードウェアを制御するための基本的な機能を提供する。ＯＳ層２００３が、サービス層２００２から受け取ったコマンドを実行することにより、操作装置２のハードウェアは、操作アプリが要求した動作を実行する。本実施形態において、操作装置２のＯＳは、ＭＦＰ１のＯＳとは異なる種類のＯＳであり、メッセージの読み上げ機能を備える。操作装置２のＯＳは、例えば、Ａｎｄｒｏｉｄ（登録商標）であるが、これに限られない。

以上説明した通り、本実施形態において、ＭＦＰ１と、操作装置２と、はそれぞれ異なるＯＳを搭載する。このため、ＭＦＰ１と操作装置２との間の通信は、同一の装置内におけるプロセス間通信ではなく、異なる装置間の通信として行われる。ＭＦＰ１と操作装置２との間の通信により、操作装置２が操作アプリを介して受け付けた情報や指示に応じたコマンドが、操作装置２からＭＦＰ１へ送信され、ユーザからの操作に応じたＭＦＰ１の動作が実行される。また、ＭＦＰ１と操作装置２との間の通信により、ＭＦＰ１の動作状況や設定状況などの情報が、ＭＦＰ１から操作装置２へ通知される。

なお、ＭＦＰ１及び操作装置２が備える各プログラムは、インストール可能な形式又は実行可能な形式のファイルとして、コンピュータで読み取り可能な記録媒体に記録されてもよい。このような記録媒体として、ＣＤ（Compact Disk）−ＲＯＭ、フレキシブルディスク（ＦＤ：Flexible Disk）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）、及びＵＳＢメモリなどが挙げられる。また、ＭＦＰ１及び操作装置２が備える各プログラムは、インターネットなどのネットワーク経由で提供又は配布されてもよい。また、ＭＦＰ１及び操作装置２が備える各プログラムは、不揮発性の記録媒体に予め組み込んで提供又は配布されてもよい。

次に、本実施形態に係る電子機器システムの機能構成について説明する。図４は、本実施形態に係る電子機器システムの機能構成の一例を示す図である。

ＭＦＰ１は、通信部１１と、画像情報生成部１２と、制御部１３と、を備える。

通信部１１は、ＣＰＵ１０１がプログラムを実行し、接続Ｉ／Ｆ１０６を制御することにより実現される。通信部１１は、操作装置２と通信し、操作装置２との間で情報を送受信する。

画像情報生成部１２は、ＣＰＵ１０１がプログラムを実行することにより実現される。画像情報生成部１２は、ユーザがＭＦＰアプリの起動を要求した場合、ＭＦＰ１の状態に基づいて、ＭＦＰ画像（第１の画像）を表示させるための画像情報（以下、「ＭＦＰ画像情報」という）を生成する。ＭＦＰ画像は、ＭＦＰ１の状態に応じた画像である。ＭＦＰ画像情報を生成することは、ＭＦＰ画像を生成することに相当する。

画像情報生成部１２は、ＭＦＰ画像を構成可能な複数の画像要素（アイコン、ボタン、フレーム、及びメッセージなど）のデータ（画像データ及びテキストデータなど）を予め記憶している。画像情報生成部１２は、ＭＦＰ１の状態に基づいて、これらの画像要素を組み合わせる（すなわち、使用する画像要素を選択し、選択した画像要素の配置を決定する）ことにより、ＭＦＰ１の状態に応じたＭＦＰ画像を生成する。ＭＦＰ画像情報には、ＭＦＰ画像を構成する各画像要素のデータと、各画像要素の配置を示す配置情報と、が含まれる。各画像要素の配置は、例えば、画面上の座標で表される。

制御部１３は、ＣＰＵ１０１がプログラムを実行することにより実現される。制御部１３は、操作装置からの要求に応じて、ＭＦＰ１のハードウェアやＭＦＰアプリを制御し、また、ＭＦＰ１のハードウェアやＭＦＰアプリの状態を検知する。

操作装置２は、通信部２１と、画像情報生成部２２と、座標取得部２３と、表示部２４と、アプリ管理部２５と、メッセージ記憶部２６と、メッセージ設定部２７と、音声出力部２８と、を備える。

通信部２１は、ＣＰＵ２０１がプログラムを実行し、接続Ｉ／Ｆ１０６を制御することにより実現される。通信部１１は、操作装置２と通信し、操作装置２との間で情報を送受信する。

画像情報生成部２２は、ＣＰＵ２０１がプログラムを実行することにより実現される。画像情報生成部２２は、操作画像（第２の画像）の画像情報（以下、「操作画像情報」という）を生成する。操作画像は、操作パネル２０８の画面（操作パネル２０８が備えるディスプレイの表示部分）に表示される画像である。操作画像情報を生成することは、操作画像を生成することに相当する。

画像情報生成部２２は、操作画像を構成可能な複数の画像要素（アイコン、ボタン、フレーム、及びメッセージなど）のデータ（画像データ及びテキストデータなど）を予め記憶している。画像情報生成部２２は、これらの画像要素を組み合わせる（すなわち、使用する画像要素を選択し、選択した画像要素の配置を決定する）ことにより、操作画像を生成し、記憶する。操作画像情報には、操作画像を構成する各画像要素のデータと、各画像要素の配置を示す配置情報と、が含まれる。各画像要素の配置は、例えば、画面上の座標で表される。また、画像情報生成部２２は、後述する表示部２４に表示させている操作画像の操作画像情報をＲＡＭ２０３に記憶させ、ユーザが操作パネル２０８をタッチした座標に配置された画像要素を特定する。

図５は、操作画像の一例を示す図である。図５の操作画像は、ホーム画面の操作画像であり、図５の上下に配置されたバナーと、それぞれ所定の位置に配置された、アプリを起動するための起動ボタンと、により構成されている。

バナーは、操作画像に常に含まれる画像要素であり、ＭＦＰ１にログイン中のユーザＩＤが記載される。図５の例では、ユーザＩＤは、「ＡＡＡ」である。

上部に配置されたバナー上には、左から順に、ログアウトボタンと、省エネモードボタンと、が配置されている。ログアウトボタンは、ＭＦＰ１からログアウトするためのボタンである。省エネモードボタンは、ＭＦＰ１を省エネモードに移行させるためのボタンである。

下部に配置されたバナー上には、左から順に、状態確認ボタンと、戻るボタンと、ホームボタンと、メニューボタンと、終了ボタン（ストップ）と、が配置されている。状態確認ボタンは、ＭＦＰ１の状態を表示させるためのボタンである。戻るボタンは、１つ前に表示されていた画面を表示させるためのボタンである。ホームボタンは、ホーム画面を表示させるためのボタンである。メニューボタンは、起動中のアプリの操作メニューを表示させるためのボタンである。終了ボタンは、実行中の処理を終了させるためのボタンである。また、操作装置２がバナーに表示される各ボタンに対応する機能を提供するバードキーを備え、ユーザはハードキーを操作しもよい。この場合、ハードキーに対応するボタンはバナーに表示されなくてもよい。

起動ボタンには、操作アプリを起動するための起動ボタンと、ＭＦＰアプリを起動するための起動ボタンと、が含まれている。操作アプリを起動するための起動ボタンには、コピーボタン、スキャンボタン、ファックスボタン、プリンタボタン、アプリ１ボタン及びアプリ２ボタンが含まれる。また、ＭＦＰアプリを起動するための起動ボタンには、コピーボタン（従来の画面）と、システム設定ボタンと、が含まれる。ユーザが起動ボタンをタッチし、アプリの起動を操作装置２に要求すると、操作装置２は、タッチされた起動ボタンに対応するアプリの操作画面を表示する。

例えば、ユーザがコピーボタンをタッチすると、コピーアプリ（操作アプリ）が起動し、図１のようなコピーアプリの操作画像が表示される。上述の通り、ユーザがこの操作画像に含まれる画像要素（ＵＩパーツ）をタッチすると、タッチされた画像要素に応じたメッセージが読み上げられる。

上述の通り、ユーザが、図１のような操作アプリの画面ではなく、ＭＦＰアプリの画面の利用を希望することが考えられる。このような場合、ユーザは、ＭＦＰアプリの起動ボタンをタッチすればよい。

ユーザが、ＭＦＰアプリの起動ボタンをタッチし、ＭＦＰアプリの起動を操作装置２に要求した場合、画像情報生成部２２は、ＭＦＰ１の状態と、ＭＦＰ画像情報と、に基づいて、画像要素としてＭＦＰ画像を含む操作画像の画像情報を生成する。

図６は、ＭＦＰ画像を含む操作画像の一例を示す図である。図６は、図５のシステム設定ボタン（ＭＦＰアプリの起動ボタン）をタッチした場合に表示される操作画像である。図６の操作画像Ｉｍ２は、バナーと、バナーの内側に配置されたＭＦＰ画像Ｉｍ１と、により構成されている。ＭＦＰ画像Ｉｍ１には、各種の設定（ファックス初期設定など）を行うためのボタン（ファックス初期設定ボタンなど）や、テンキー、リセットボタン、及び開始ボタンなどが含まれている。健常者のユーザは、ＭＦＰ画像Ｉｍ１に含まれるボタンをタッチすることにより、ＭＦＰ１を操作することができる。

図７は、ＭＦＰ画像を含む操作画像の他の例を示す図である。図７の操作画像Ｉｍ２は、ＭＦＰ１にエラーが発生している場合の操作画像Ｉｍ２を示している。図７の操作画像Ｉｍ２は、バナーと、バナーの内側に配置されたＭＦＰ画像Ｉｍ１と、により構成されている。ＭＦＰ画像Ｉｍ１には、テンキー、リセットボタン、及び開始ボタンなどが含まれている。また、ＭＦＰ画像Ｉｍ１は、エラーの対応策を表示している。健常者のユーザは、ＭＦＰ画像Ｉｍ１に記載された対応策を実行することにより、エラーを解除し、ＭＦＰ１を復帰させることができる。

図６及び図７のＭＦＰ画像Ｉｍ１は、ＭＦＰ１が生成した画像であるため、ＭＦＰ画像Ｉｍ１に含まれる各画像要素に対するメッセージが設定されていない。したがって、ユーザが画像要素をタッチしても、タッチされた画像要素に対応するメッセージは読み上げられない。このため、ＭＦＰアプリの操作画像Ｉｍ２が表示された場合、視覚障碍者は、電子機器システムの状態を把握できなくなり、電子機器システムを利用できなくなる恐れがある。そこで、本実施形態に係る操作装置２は、ＭＦＰ画像Ｉｍ１の全体に対して、視覚障碍者が電子機器システムを利用可能となるメッセージを設定する。

例えば、操作装置２は、図６のＭＦＰ画像Ｉｍ１に対して、「サポートしていない機能が起動されました。ホームボタンをタップしてホーム画面に戻ってください。」というメッセージを設定する。ユーザがＭＦＰ画像Ｉｍ１をタッチすると、上記のメッセージが読み上げられる。ユーザ（視覚障碍者）は、このメッセージに従ってホームボタンをタッチすることにより、視覚障碍者にも利用可能な、図５のようなホーム画面を表示させることができる。なお、バナー上に配置されているホームボタンは操作装置２により生成されたため、ユーザがタッチすると対応するメッセージが読み上げられる。したがって、視覚障碍者は、メッセージを頼りにホームボタンを探し、ホームボタンをタッチすることができる。

また、操作装置２は、図７のＭＦＰ画像Ｉｍ１に対して、「エラーが発生しました。管理者にご連絡をお願い致します。」というメッセージを設定する。これにより、ユーザ（視覚障碍者）は、ＭＦＰ１にエラーが発生したことを把握し、エラーを解除するための適切な対応をとることができる。

座標取得部２３は、ＣＰＵ２０１がプログラムを実行し、操作パネル２０８が備えるタッチパネルを制御することにより実現される。座標取得部２３は、ユーザがタッチした操作パネル２０８の画面上の座標を取得する。

表示部２４は、ＣＰＵ２０１がプログラムを実行し、操作パネル２０８が備えるディスプレイを制御することにより実現される。表示部２４は、画像情報生成部２２が生成した操作画像を画面に表示する。

アプリ管理部２５は、ユーザからの指示に従って、操作アプリ及びＭＦＰアプリの起動及び終了や、操作画像の切替を制御する。

メッセージ記憶部２６は、ＲＯＭ２０２、ＲＡＭ２０３、及びフラッシュメモリ２０４などにより実現される。メッセージ記憶部２６は、操作画像を構成可能な各画像要素に対して予め設定されたメッセージを記憶する。メッセージを設定する画像要素として、開始ボタン、終了ボタン、ＭＦＰアプリを起動するための起動ボタン、設定ボタン、テンキー、リセットボタン、ホームボタン、及び操作画像のフレームの少なくとも一部（例えば、タブ）などが考えられる。

図８は、操作画像を構成可能な各画像要素に対して予め設定されたメッセージを記憶する第１のメッセージテーブルの一例を示す図である。図８の第１のメッセージテーブルでは、画像要素を識別するための画像要素ＩＤと、画像要素の名称と、画像要素に対して設定されたメッセージと、が対応付けられている。図８の例では、画像要素ＩＤが「Ｃ１」である画像要素Ｃ１は、コピーアプリ（操作アプリ）を起動するための「コピーボタン」（起動ボタン）であり、「コピーアプリを起動します。」というメッセージが設定されている。なお、メッセージを設定する画像要素及び各画像要素に設定するメッセージは、上記の例に限られない。

また、メッセージ記憶部２６は、ＭＦＰ１の各状態に対して予め設定されたメッセージを記憶する。メッセージを設定するＭＦＰ１の状態として、ジャムやシステムコールなどのエラーが発生している状態（エラー状態）、及び通常状態（エラーが発生していない状態）が考えられる。メッセージは、発生しているエラーの種類ごとにそれぞれ設定されてもよい。また、メッセージは、起動しているＭＦＰアプリの種類や画面に表示されているＭＦＰ画像の種類に応じてそれぞれ設定されてもよい。

図９は、ＭＦＰ１の各状態に対して予め設定されたメッセージを記憶する第２のメッセージテーブルの一例を示す図である。図９の第２のメッセージテーブルでは、ＭＦＰ１の状態を識別するための状態ＩＤと、状態の内容と、状態に対して設定されたメッセージと、が対応付けられている。図９の例では、状態ＩＤが「Ｓ１」である状態Ｓ１は、ＭＦＰ１に「エラー１」が発生している状態であり、「エラー１が発生しました。」というメッセージが設定されている。このように、エラー状態に対しては、エラーの発生や種類を通知するメッセージが設定されるのが好ましい。また、状態ＩＤが「Ｓ３」である状態Ｓ３は、ＭＦＰ１の「システム設定アプリ（ＭＦＰアプリ）が起動中」の状態（通常状態）であり、「サポートしていない機能が起動されました。ホームボタンをタップしてホーム画面に戻ってください。」というメッセージが設定されている。このように、通常状態に対しては、視覚障碍者が利用可能な画面（ホーム画面など）を表示させるためのメッセージが設定されるのが好ましい。なお、メッセージを設定する状態及び各状態に設定するメッセージは、上記の例に限られない。例えば、エラー状態に対して、発生しているエラーに対する対処法を通知するメッセージが設定されてもよい。

メッセージ設定部２７は、操作画像情報に基づいて、操作画像を構成する各画像要素に対するメッセージを設定する。具体的には、メッセージ設定部２７は、操作画像情報に含まれる各画像要素の画像要素ＩＤを検索キーとしてメッセージ記憶部２６を検索し、各画像要素に対して設定されたメッセージを抽出する。メッセージ設定部２７は、抽出したメッセージを画像要素ＩＤ及び配置情報と対応付けて記憶する。これにより、操作画像を構成する各画像要素に対して、メッセージが設定される。

本実施形態において、メッセージ設定部２７は、ＭＦＰ画像を、操作画像を構成する画像要素の１つ（すなわち、１つの画像）として扱う。すなわち、メッセージ設定部２７は、ＭＦＰ画像の全体に対して１つのメッセージを設定する。具体的には、メッセージ設定部２７は、ＭＦＰ１の状態を検索キーとしてメッセージ記憶部２６を検索し、ＭＦＰ１の状態に対して設定されたメッセージを抽出する。メッセージ設定部２７は、抽出したメッセージをＭＦＰ画像に対応付けて記憶する。これにより、操作画像に含まれるＭＦＰ画像に対して、ＭＦＰ１の状態に応じたメッセージが設定される。以下では、操作画像の画像要素には、ＭＦＰ画像が含まれるものとする。

図１０は、操作画像の各画像要素に対して設定されたメッセージを記憶するメッセージ設定テーブルの一例を示す図である。図１０のメッセージ設定テーブルでは、画像要素ＩＤと、画像要素の名称と、画像要素の配置情報と、画像要素に対して設定されたメッセージと、が対応付けられている。図１０の例では、画像要素ＩＤが「Ｃ２」である画像要素Ｃ２は、開始ボタンであり、「処理を開始します。」というメッセージが設定されている。また、画像要素ＩＤが「Ｉｍ１」である画像要素Ｉｍ１は、ＭＦＰ画像であり、「エラー１が発生しました。」というメッセージが設定されている。

音声出力部２８は、ＣＰＵ２０１がプログラム（ＯＳ）を実行し、スピーカ２０９を制御することにより実現される。音声出力部２８は、ユーザがタッチした操作画像の画像要素に対して設定されたメッセージを音声出力する。

次に、本実施形態に係る電子機器システムの動作について説明する。図１１は、本実施形態に係る電子機器システムの動作の一例を示すシーケンス図である。以下では、操作画像に含まれるＭＦＰ画像に対して、エラーの有無（エラー状態か通常状態か）に応じたメッセージが設定されるものとする。

ユーザが操作パネル２０８に表示されている操作画面をタッチすると、まず、座標取得部２３が、ユーザがタッチした操作画面上の座標を計算し、取得する（ステップＳ１０１）。座標取得部２３は、取得した座標を示す座標情報を、画像情報生成部２２に渡す（ステップＳ１０２）。

画像情報生成部２２は、座標情報を受け取ると、受け取った座標情報と、ＲＡＭ２０３に記憶されている、操作画像の各画像要素の配置情報と、に基づいて、ユーザがタッチした、操作画像の画像要素を特定する（ステップＳ１０３）。画像情報生成部２２は、座標情報が示す座標に配置された画像要素を、ユーザによりタッチされた画像要素として特定する。ここでは、図５のホーム画面において、システム設定アプリを起動するためのシステム設定ボタンがタッチされたものとする。

画像情報生成部２２は、ユーザによりタッチされた画像要素がシステム設定アプリを起動するためのシステム設定ボタンであることを特定すると、その旨をアプリ管理部２５に通知する（ステップＳ１０４）。

アプリ管理部２５は、システム設定アプリの起動ボタンがタッチされたことを通知されると、システム設定アプリをエミュレートするためのエミュレータアプリを起動する（ステップＳ１０５）。また、アプリ管理部２５は、起動するシステム設定アプリがＭＦＰアプリであるため、通信部２１を介して、システム設定アプリを起動するための起動要求を、ＭＦＰ１に送信する（ステップＳ１０６）。

ＭＦＰ１の制御部１３は、通信部１１を介して、システム設定アプリの起動要求を受信すると、システム設定アプリを起動し、ＭＦＰ１におけるシステム設定アプリの状態を検知する（ステップＳ１０７）。例えば、システム設定アプリに関連するハードウェアやソフトウェアの状態を検知する。制御部１３は、システム設定アプリの状態を示す状態情報を画像情報生成部１２に渡し、システム設定アプリの操作画面を操作装置２に表示させるためのＭＦＰ画像の生成を要求する（ステップＳ１０８）。上述の通り、状態情報が示す状態は、エラー状態又は通常状態のいずれかであるものとする。

画像情報生成部１２は、制御部１３からの生成要求に応じて、状態情報が示す状態に応じたシステム設定アプリのＭＦＰ画像を生成する（ステップＳ１０９）。画像情報生成部１２は、状態情報がエラー状態を示す場合、エラー状態におけるシステム設定アプリのＭＦＰ画像を生成し、状態情報が通常状態を示す場合、通常状態におけるＭＦＰシステム設定アプリのＭＦＰ画像を生成する。画像情報生成部１２は、生成したＭＦＰ画像のＭＦＰ画像情報を制御部１３に渡す（ステップＳ１１０）。制御部１３は、通信部１１を介して、ＭＦＰ画像情報及び状態情報を操作装置２に送信する（ステップＳ１１１）。

操作装置２のアプリ管理部２５は、通信部２１を介してＭＦＰ１から送信されたＭＦＰ画像情報及び状態情報を受信して画像情報生成部２２に渡し、システム設定アプリの操作画像の生成を要求する（ステップＳ１１２）。画像情報生成部２２は、アプリ管理部２５からの生成要求に応じて、渡されたＭＦＰ画像情報及び状態情報に基づいて、システム設定アプリの状態に応じた、ＭＦＰ画像と、バナーに表示されるホームボタンなど、ＭＦＰ画像以外の画像要素とを含むシステム設定アプリの操作画像を生成する（ステップＳ１１３）。画像情報生成部２２は、生成した操作画像をアプリ管理部２５に応答する（ステップＳ１１４）。アプリ管理部２５は、応答された操作画像情報と、状態情報とを、メッセージ設定部２７に渡し、メッセージの設定を要求する（ステップＳ１１５）。ここで、ＭＦＰ１から受信したＭＦＰ画像を含む操作画像を表示させるため、アプリ管理部２５は、メッセージ設定部２７に対して、第２のメッセージテーブルからメッセージを取得するように要求する。すなわち、アプリ管理部２５は、表示させる操作画像に、ＭＦＰから受信したＭＦＰ画が含まれるか否かと、メッセージの取得先とを対応付けて記憶しておく。

メッセージ設定部２７は、アプリ管理部２５からの設定要求に応じて、渡された状態情報が示す状態に対応するメッセージをメッセージ記憶部２６の第２のメッセージテーブルから取得する。メッセージ設定部２７は、取得したメッセージと、渡された操作画面情報に含まれる画素要素のＩＤ、名称及び配置情報とを対応付けて、メッセージ記憶部２６のメッセージ設定テーブルに設定する（ステップＳ１１６）。例えば、システム設定アプリが通常状態の場合、第２のメッセージテーブルにおける「システム設定アプリの起動中」の状態に対応する「サポートしていない機能が起動されました。ホームボタンをタップしてホーム画面に戻ってください。」といったメッセージが取得され、このメッセージが操作画面情報に含まれる画素要素ＩＤ、名称及び配置情報とを対応付けて、メッセージ記憶部２６のメッセージ設定テーブルに設定される。一方、システム設定アプリがエラー状態の場合、第２のメッセージテーブルにおける「エラー１」の状態に対応する「エラーが発生しました。管理者にご連絡をお願い致します。」といったメッセージが取得され、メッセージ設定テーブルに設定される。また、アプリ管理部２５が、状態情報に基づいて、第２のメッセージテーブルからメッセージを取得して、メッセージ設定部２７に渡してもよい。

また、メッセージ設定部２７は、操作画像情報を受け取ると、メッセージ記憶部２６を参照して、操作画像に含まれる、ＭＦＰ画像を除く各画像要素に対して、メッセージを設定する。例えば、バナーに表示されるホームボタンに対して、「ホームアプリを起動します。」といったメッセージをメッセージ設定テーブルに登録する。

続いて、アプリ管理部２５は、操作画像の操作画像情報を表示部２４に渡す（ステップＳ１１７）。表示部２４は、操作画像情報を受け取ると、受け取った操作画像情報に基づいて、操作画像を画面に表示する（ステップＳ１１８）。

その後、ユーザが操作パネル２０８の画面をタッチすると、座標取得部２３は、ユーザがタッチした画面上の座標を計算し、取得する（ステップＳ１１９）。座標取得部２３は、取得した座標を示す座標情報を、メッセージ設定部２７に渡す（ステップＳ１２０）。

メッセージ設定部２７は、座標情報を受け取ると、受け取った座標情報と、操作画像の（ＭＦＰ画像を含む）各画像要素の配置情報と、に基づいて、ユーザがタッチした、操作画像の画像要素を特定する。画像情報生成部２２は、座標情報が示す座標に配置された画像要素を、ユーザによりタッチされた画像要素として特定する。そして、メッセージ設定部２７は、メッセージ設定テーブルを参照して、特定した画像要素に対して設定されたメッセージを、音声出力するメッセージとして決定する（ステップＳ１２１）。メッセージ設定部２７は、決定したメッセージ（テキストデータ）を音声出力部２８に渡す（ステップＳ１２２）。

音声出力部２８は、メッセージを受け取ると、受け取ったメッセージをスピーカ２０９から音声出力する（ステップＳ１２３）。これにより、ユーザがＭＦＰ画像にタッチした場合、起動対象のシステム設定アプリの状態に応じて、メッセージが音声出力される。また、図１１の例では省略されているが、ステップＳ１１９の後に、ステップＳ１０２〜Ｓ１０４と同じように、画像要素がタッチされたことがアプリ管理部２５に通知される。アプリ管理部２５は、タッチされた画像要素に応じて、操作アプリ及びＭＦＰアプリの起動及び終了や、操作画像の切替を制御する。また、ＭＦＰ１から送信されたＭＦＰ画像に基づいて生成された操作画像が表示された場合に、アプリ管理部２５は、画像要素がタッチされたことが通知されても、操作アプリ及びＭＦＰアプリの起動及び終了や、操作画像の切替をしないように制御してもよい。これにより、視覚障碍者による誤操作を防止することができる。

以上説明した通り、本実施形態によれば、操作装置２は、ＭＦＰ１（電子機器）が生成したＭＦＰ画像に対して、ＭＦＰアプリが起動されるか否かを示すＭＦＰ１の状態と、起動されるＭＦＰアプリの状態とに応じたメッセージを設定することができる。したがって、操作装置２は、操作パネル２０８の画面に表示されたＭＦＰ画像がユーザによりタッチされた際に、ＭＦＰ画像に対して設定されたメッセージを音声出力（読み上げる）ことができる。操作装置２のユーザは、ＭＦＰ画像を含む画像要素に関する情報（メッセージ）を音声として得られるため、ユーザが視覚障碍者の場合であっても、操作装置２を利用することにより、ＭＦＰ１を容易に操作することができる。

なお、図１１の例では省略されているが、ホーム画面におけるシステム設定アプリの起動ボタンの画像要素のＩＤ、名称及び配置情報と、第１のメッセージテーブルに設定されたこの起動ボタンに対応するメッセージとがメッセージ設定テーブルに設定されている。このため、ユーザがシステム設定アプリの起動ボタンにタッチした際、音声出力部２８は、起動ボタンに対して設定されたメッセージ（例えば、「システム設定アプリを起動します。」）を音声出力するのが好ましい。このメッセージの音声出力は、ステップＳ１２０〜ステップＳ１２３と同様の処理により実現される。

また、図１１の例では、ＭＦＰシステム設定がバックグランドで起動していることを想定しているため、システム設定アプリの起動処理が行われていない。システム設定アプリが起動していない場合には、ＭＦＰ１は、アプリ起動要求に応じて、システム設定アプリの起動処理を実行すればよい。なお、本実施形態に係る電子機器システムは、システム設定アプリ以外のＭＦＰアプリの場合も、図１１と同じように動作する。

（第２実施形態）
第２実施形態に係る電子機器システムについて、図１２を参照して説明する。第１実施形態では、ユーザの操作により、ＭＦＰアプリを起動する場合の動作について説明した。本実施形態では、ユーザの操作により、ＭＦＰアプリを終了する場合の動作について説明する。なお、本実施形態に係る電子機器システムの構成は、第１実施形態と同様である。

図１２は、本実施形態に係る電子機器システムの動作の一例を示すシーケンス図である。以下では、動作の開始時点で、システム設定アプリがエミュレータアプリ上で起動しており、メッセージを設定されたＭＦＰ画像を含む操作画像が画面に表示されているものとする。

ユーザが操作パネル２０８の画面をタッチすると、まず、座標取得部２３が、ユーザがタッチした画面上の座標を計算し、取得する（ステップＳ２０１）。座標取得部２３は、取得した座標を示す座標情報を、画像情報生成部２２に渡す（ステップＳ２０２）。

画像情報生成部２２は、座標情報を受け取ると、受け取った座標情報と、操作画像の各画像要素の配置情報と、に基づいて、ユーザがタッチした、操作画像の画像要素を特定する（ステップＳ２０３）。画像情報生成部２２は、座標情報が示す座標に配置された画像要素を、ユーザによりタッチされた画像要素として特定する。ここでは、ホーム画面を表示させるためのホームボタンがタッチされたものとする。ホーム画面を表示させることは、エミュレータ上で起動中のシステム設定アプリを終了させることに相当する。

画像情報生成部２２は、ユーザによりタッチされた画像要素がホームボタンであることを特定すると、その旨をアプリ管理部２５に通知する（ステップＳ２０４）。なお、ホームボタンがハードキーの場合は、画像情報生成部２２は、ユーザによりホームボタンがタッチされたことを特定すると、その旨をアプリ管理部２５に通知する。

アプリ管理部２５は、ホームボタンがタッチされたことを通知されると、起動されているシステム設定アプリがＭＦＰアプリであるため、通信部２１を介して、システム設定アプリを終了するための終了要求をＭＦＰ１に送信する（ステップＳ２０５）。ＭＦＰ１の制御部１３は、通信部１１を介して、システム設定アプリの終了要求を受信すると、システム設定アプリを終了させる（ステップＳ２０６）。

また、アプリ管理部２５は、ホームボタンがタッチされたことを通知されると、メッセージ設定部２７にメッセージの削除を要求する（ステップＳ２０７）。メッセージ設定部２７は、メッセージの削除を要求されると、メッセージ設定テーブルに設定された各画像要素（ＭＦＰ画像を含む）のメッセージを削除する（ステップＳ２０８）。なお、バナーに常に表示される画像要素に対応するメッセージは削除しなくてもよい。

また、アプリ管理部２５は、表示部２４に操作画像の非表示を要求する（ステップＳ２０９）。表示部２４は、操作画像の非表示を要求されると、表示しているシステム設定アプリの操作画像を非表示にする（ステップＳ２１０）。

さらに、アプリ管理部２５は、システム設定アプリのエミュレータアプリを終了し（ステップＳ２１１）、ホーム画面を表示するためのホーム画面アプリを起動し（ステップＳ２１２）、その旨を画像情報生成部２２に通知する（ステップＳ２１３）。また、図１２の例では省略されるが、ステップＳ２１１において、アプリ管理部２５は、システム設定アプリの終了要求を、通信部２１を介して、ＭＦＰ１に送信する。ＭＦＰ１の制御部１３は、通信部１１を介して終了要求を受信すると、システム設定アプリを終了させる。

画像情報生成部２２は、ホーム画面アプリの起動を通知されると、ホーム画面アプリの操作画像を生成する（ステップＳ２１４）。画像情報生成部２２は、生成した操作画像の操作画像情報をアプリ管理部２５に応答する（ステップＳ２１５）。アプリ管理部２５は、応答された操作画像情報をメッセージ設定部２７に渡し、メッセージの設定を要求する（ステップＳ２１６）。ここで、ＭＦＰ１から受信するＭＦＰ画像を含まない操作画像を表示させるため、アプリ管理部２５は、メッセージ設定部２７に対して、第１のメッセージテーブルからメッセージを取得するように要求する。

メッセージ設定部２７は、操作画像情報を受け取ると、操作画像に含まれる各画像要素に対応するメッセージをメッセージ記憶部２６の第１のメッセージテーブルから取得する。そして、メッセージ設定部２７は各画像要素のＩＤ、名称及び配置情報と、取得したメッセージとを対応付けてメッセージ設定テーブルに設定する（ステップＳ２１７）。例えば、コピーボタンに対して、「コピーアプリを起動します。」といったメッセージを設定する。なお、この操作画像には、ＭＦＰ画像は含まれない。

また、アプリ管理部２５は、操作画像情報を表示部２４に渡す（ステップＳ２１８）。表示部２４は、操作画像情報を受け取ると、受け取った操作画像情報に基づいて、操作画像を画面に表示する（ステップＳ２１９）。

以降、ユーザが操作パネル２０８の画面をタッチすると、タッチした画像要素に対して設定されたメッセージが音声出力される。

以上説明した通り、本実施形態によれば、ユーザにより、ＭＦＰアプリを終了させるボタンがタッチされた場合、すなわち、ユーザからＭＦＰアプリの終了を指示された場合、表示部２４は、ＭＦＰ画像を含む操作画像を非表示にする。また、メッセージ設定部２７は、操作画像の各画像要素に対して設定されたメッセージを削除する。そして、ユーザの操作に応じた新たな操作画像が表示され、操作画像の各画像要素に新たなメッセージが設定される。このように、本実施形態によれば、ユーザからの指示に従って、新たな操作画像を自動的に生成し、新たな操作画像に新たなメッセージを自動的に設定することができる。

なお、図１２の例では、元の操作画像を非表示にしたのち、新たな操作画像を生成し、画面に表示させたが、元の操作画像は、新たな操作画像が表示可能になるまで画面に表示させておいてもよい。ホーム画面アプリの起動（ステップＳ２１０）は、ホームボタンのタッチの通知された後（ステップＳ２０４以降）、任意のタイミングで実行可能である。

また、本実施形態に係る電子機器システムは、システム設定アプリ以外のＭＦＰアプリの場合も、図１２と同じように動作する。画像情報生成部２２は、生成済みのホームアプリの操作画像をＲＡＭ２０３に記憶させ、ホームボタンのタッチの通知された後、操作画像をＲＡＭ２０３から取得してもよい。
（第３実施形態）
第３実施形態に係る電子機器システムについて、図１３を参照して説明する。第１実施形態では、ユーザからの操作を受け付けたタイミングで新たなメッセージが設定される場合について説明した。本実施形態では、ＭＦＰ１の状態が変化したタイミングで自動的に新たなメッセージが設定される場合について説明する。なお、本実施形態に係る電子機器システムの構成は、第１実施形態と同様である。

図１３は、本実施形態に係る電子機器システムの動作の一例を示すシーケンス図である。以下では、ＭＦＰ１が所定の機能を実行しているときに、ＭＦＰ１にエラーが発生しているものとする。例えば、ユーザがコピーアプリを利用して、コピーアプリの操作画面に対してコピーの実行を指示し、このユーザ指示に応じてＭＦＰ１がコピーを実行しているときに、ジャムなどのエラーが発生しているものとする。

このＭＦＰ１にエラーが発生すると、ＭＦＰ１の制御部１３が、エラーの発生を検知する（ステップＳ３０１）。すなわち、制御部１３は、ＭＦＰ１の状態が、通常状態からエラー状態に変化したことを検知する。

制御部１３は、状態の変化を検知すると、状態情報を画像情報生成部１２に渡す（ステップＳ３０２）。

画像情報生成部１２は、状態情報を受信すると、状態情報が示す状態（エラー状態）に応じた、エラーを解除するための操作手順を表示するためのエラーアプリのＭＦＰ画像を生成する（ステップＳ３０３）。

画像情報生成部１２は、生成したＭＦＰ画像のＭＦＰ画像情報を、制御部１３に渡す（ステップＳ３０４）。制御部１３は、通信部１１を介して、ＭＦＰ画像情報及び状態情報を操作装置２に送信する（ステップＳ３０５）。

操作装置２のアプリ管理部２５は、通信部２１を介して、ＭＦＰ画像情報及び状態情報を受信する。受信した状態情報がエラー状態を示すため、エラーアプリをエミュレートするためのエミュレータアプリを起動する（ステップＳ３０６）。そして、アプリ管理部２５は、ＭＦＰ画像情報を画像情報生成部２２に渡し、エラーアプリの操作画像の生成を要求する（ステップＳ３０７）。画像情報生成部２２は、渡されたＭＦＰ画像情報に基づいて、ＭＦＰ画像を含む操作画像を生成する（ステップＳ３０８）。画像情報生成部２２は、生成した操作画像の操作画像情報を、アプリ管理部２５に応答する（ステップＳ３０９）。アプリ管理部２５は、応答された操作画像情報と、状態情報とをメッセージ設定部２７渡し、メッセージの設定を要求する（ステップＳ３１０）。ここで、ＭＦＰ１から受信したＭＦＰ画像を含む操作画像を表示させるため、アプリ管理部２５は、メッセージ設定部２７に対して、第２のメッセージテーブルからメッセージを取得するように要求する。

メッセージ設定部２７は、アプリ管理部２５からの設定要求に応じて、渡された状態情報が示すエラー１の状態に対応するメッセージ「エラーが発生しました。管理者にご連絡をお願い致します。」をメッセージ記憶部２６の第２のメッセージテーブルから取得し、取得したメッセージと、渡された操作画面情報に含まれる画素要素のＩＤ、名称及び配置情報とを対応付けて、メッセージ記憶部２６のメッセージ設定テーブルに設定する（ステップＳ３１１）。

また、メッセージ設定部２７は、操作画像情報を受け取ると、メッセージ記憶部２６を参照して、操作画像に含まれる、ＭＦＰ画像を除く各画像要素に対して、メッセージを設定する。

続いて、アプリ管理部２５は、操作画像の操作画像情報を表示部２４に渡す（ステップＳ３１２）。表示部２４は、操作画像情報を受け取ると、受け取った操作画像情報に基づいて、操作画像を画面に表示する（ステップＳ３１３）。

以降、ユーザが操作パネル２０８の画面をタッチすると、タッチした画像要素に対して設定されたメッセージが音声出力される。

図１４は、本実施形態に係る電子機器システムの動作の一例を示すシーケンス図である。以下では、ＭＦＰ１が所定の機能を実行しているときに発生したエラーが解除されたものとする。例えば、ユーザがコピーアプリを利用してコピーの実行を指示し、ＭＦＰ１がコピーを実行しているときに発生したジャムなどのエラーが解除されたものとする。

このＭＦＰ１のエラーが解除されると、ＭＦＰ１の制御部１３が、エラーの解除を検知する（ステップＳ４０１）。すなわち、制御部１３は、ＭＦＰ１の状態が、エラー状態から通常状態に変化したことを検知する。

制御部１３は、状態の変化を検知すると、検知したＭＦＰ１の状態（通常状態）を示す状態情報を、通信部１１を介して、操作装置２に送信する（ステップＳ４０２）。操作装置２のアプリ管理部２５は、通信部２１を介して、状態情報を受信する。

アプリ管理部２５は、エラーが解除され、通常状態を示す状態情報を受信すると、メッセージ設定部２７にメッセージの削除を要求する（ステップＳ４０３）。メッセージ設定部２７は、メッセージの削除を要求されると、メッセージ設定テーブルに設定された各要素（ＭＦＰ画像を含む）のメッセージを削除する（ステップＳ４０４）。アプリ管理部２５は、表示部２４に操作画像の非表示を要求する（ステップＳ４０５）。表示部２４は、操作画像の非表示を要求されると、表示しているシステム設定アプリの操作画像を非表示にする（ステップＳ４０６）

また、アプリ管理部２５は、受信した状態情報に基づいて、エラーが解除されたと判断し、エミュレータアプリを終了させ（ステップＳ４０７）、さらに、エラー発生時のアプリを起動させる（ステップＳ４０８）。ここで、ユーザがコピーアプリの操作画面を操作してコピーが実行されたときにエラーが発生したため、コピーアプリを起動し、その旨を画像情報生成部２２に通知する（ステップＳ４０９）。

画像情報生成部２２は、コピーアプリの起動を通知されると、コピーアプリの操作画像を生成する（ステップＳ４１０）。画像情報生成部２２は、生成した操作画像の操作画像情報をアプリ管理部２５に応答する（ステップＳ４１１）。アプリ管理部２５は、応答された操作画像情報をメッセージ設定部２７に渡し、メッセージの設定を要求する（ステップＳ４１２）。ここで、ＭＦＰ１から受信するＭＦＰ画像を含まない操作画像を表示させるため、アプリ管理部２５は、メッセージ設定部２７に対して、第１のメッセージテーブルからメッセージを取得するように要求する。

メッセージ設定部２７は、操作画像情報を受け取ると、操作画像に含まれる各画像要素に対応するメッセージをメッセージ記憶部２６の第１のメッセージテーブルから取得する。そして、メッセージ設定部２７は、各画像要素のＩＤ、名称及び配置情報と、取得したメッセージとを対応付けてメッセージ設定テーブルに設定する（ステップＳ４１３）。例えば、コピーをスタートさせるための開始ボタンに対して、「コピーを開始します。」といったメッセージを設定する。

また、メッセージ設定部２７は、操作画像情報を受け取ると、メッセージ記憶部２６を参照して、操作画像に含まれる、ＭＦＰ画像を除く各画像要素に対して、メッセージを設定する。

また、アプリ管理部２５は、操作画像情報を表示部２４に渡す（ステップＳ４１０）。表示部２４は、操作画像情報を受け取ると、受け取った操作画像情報に基づいて、操作画像を画面に表示する（ステップＳ４１５）。

以降、ユーザが操作パネル２０８の画面をタッチすると、タッチした画像要素に対して設定されたメッセージが音声出力される。

以上説明した通り、本実施形態によれば、ＭＦＰ１のエラー状態が検知された場合、ＭＦＰ１の画像情報生成部１２は、エラー状態に応じた新たなＭＦＰ画像を生成する。操作装置２の画像情報生成部２２は、新たなＭＦＰ画像を含む新たな操作画像を生成する。また、メッセージ設定部２７は、新たなＭＦＰ画像に対して、エラー状態に応じた新たなメッセージを生成する。このように、本実施形態によれば、ＭＦＰ１にエラーが発生したタイミングで、エラー状態に応じた新たな操作画像を自動的に生成し、エラー状態に応じた新たなメッセージをＭＦＰ画像に設定することができる。

そして、ＭＦＰ１のエラー状態が解除された場合、操作装置２の画像情報生成部２２は、エラー発生時のアプリの操作画像を生成する。また、メッセージ設定部２７は、生成した操作画像に対して、メッセージを設定する。このように、本実施形態によれば、ＭＦＰ１のエラー状態が解除されたタイミングで、エラー発生時のアプリの操作画像を自動的に生成し、エラーが解除された後の通常状態に応じたメッセージをＭＦＰ画像に設定することができる。なお、画像情報生成部２２は、生成済みのエラー発生時のアプリの操作画像をＲＡＭ２０３に記憶させ、エラー状態が解除されると操作画像をＲＡＭ２０３から取得してもよい。

なお、以上の各実施形態では、ユーザが画面をタッチする場合を例に説明したが、ユーザの操作はタッチに限られない。ユーザの操作は、タップ、フリップ、スワイプ、ピンチ、マルチタッチなどであってもよいし、これらの操作の組み合わせであってもよい。いずれの場合も、ユーザの操作に応じてメッセージを音声出力することができる。

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

１：複合機（ＭＦＰ）
２：操作装置
３：通信路
Ｎ：ネットワーク
１１：通信部
１２：画像情報生成部１２
１３：制御部
２１：通信部
２２：画像情報生成部
２３：座標取得部
２４：表示部
２５：アプリ管理部
２６：メッセージ記憶部
２７：メッセージ設定部
２８：音声出力部

特開２００３−３２３０８１号公報

Claims (7)

1. 電子機器を操作するための操作装置であって、
   前記電子機器から第１の画像を受信する受信部と、
   前記受信部により受信された前記第１の画像を含む第２の画像を生成する画像生成部と、
   前記第２の画像に含まれる前記第１の画像に対して、前記電子機器の状態に応じたメッセージを設定するメッセージ設定部と、
   前記第２の画像を表示する表示部と、
   ユーザが表示された前記第２の画像に含まれる前記第１の画像を操作した場合、前記第１の画像に対して設定された前記メッセージを音声出力する音声出力部と、
   を備える操作装置。
2. 前記表示部により表示された操作画面に対するユーザ操作に応じて、前記電子機器に対してアプリケーションの動作開始を要求する管理部をさらに備え、
   前記受信部は、
   動作開始が要求された前記アプリケーションに応じた前記第１の画像を前記電子機器から受信し、
   前記メッセージ設定部は、
   前記第２の画像に含まれる前記第１の画像に対して、前記アプリケーションの動作開始を通知する前記メッセージを設定する
   請求項１に記載の操作装置。
3. 前記画像生成部は、
   １以上の画像要素を生成し、生成した前記１以上の画像要素と、前記受信部により受信された前記第１の画像とを含む前記第２の画像を生成し、
   前記管理部は、
   前記表示部により表示された前記第２の画像に含まれる前記１以上の画像要素に対するユーザ操作に応じて、前記電子機器に対して前記アプリケーションの動作停止を要求し、
   前記メッセージ設定部は、
   前記ユーザ操作に応じて、前記第２の画像に含まれる前記第１の画像に対して設定された前記メッセージを削除する
   請求項２に記載の操作装置。
4. 前記受信部は、
   操作画面が前記表示部により表示されたときに、前記電子機器にエラーが発生した場合に、前記エラーに応じた前記第１の画像を含むエラー通知を前記電子機器から受信し、
   前記画像生成部は、
   前記エラー通知に応じて、前記エラーに応じた前記第１の画像を含む前記第２の画像を生成し、
   前記メッセージ設定部は、
   前記エラー通知に応じて、当該エラー通知に含まれる前記第１の画像に対して、エラーの発生を通知する前記メッセージを設定し、
   前記管理部は、
   前記エラー通知に応じて、前記画像生成部により生成された前記第２の画像を前記表示部に表示させる
   請求項２又は請求項３に記載の操作装置。
5. 前記受信部は、
   前記電子機器に発生したエラーが解除された場合に、前記エラーが解除されたことを示すエラー解除通知を前記電子機器から受信し、
   前記メッセージ設定部は、
   前記エラー解除通知に応じて、前記第２の画像に含まれる前記第１の画像に対して設定された前記メッセージを削除し、
   前記管理部は、
   前記エラー解除通知に応じて、前記エラーが発生した前記操作画面を前記表示部に表示させる
   請求項４に記載の操作装置。
6. 電子機器と、前記電子機器を操作するための操作装置とが通信可能に接続された情報処理システムであって、
   前記電子機器は、
   第１の画像を取得する取得部と、
   取得された前記第１の画像を前記操作装置に送信する送信部と、を備え、
   前記操作装置は、
   前記電子機器から前記第１の画像を受信する受信部と、
   前記受信部により受信された前記第１の画像を含む第２の画像を生成する画像生成部と、
   前記第２の画像に含まれる前記第１の画像に対して、前記電子機器の状態に応じたメッセージを設定するメッセージ設定部と、
   前記第２の画像を表示する表示部と、
   ユーザが表示された前記第２の画像に含まれる前記第１の画像を操作した場合、前記第１の画像に対して設定された前記メッセージを音声出力する音声出力部と、
   を備える情報処理システム。
7. 電子機器を操作するためのコンピュータに、
   前記電子機器から第１の画像を受信する受信工程と、
   前記受信工程において受信された第１の画像を含む第２の画像を生成する画像生成工程と、
   前記第２の画像に含まれる前記第１の画像に対して、前記電子機器の状態に応じたメッセージを設定するメッセージ設定工程と、
   前記第２の画像を表示する表示工程と、
   ユーザが表示された前記第２の画像に含まれる前記第１の画像を操作した場合、前記第１の画像に対して設定された前記メッセージを音声出力する出力工程と、
   を実行させるためのプログラム。
   

Images