[go: up one dir, main page]

JP2020035210A - 情報処理装置、その制御方法、プログラム、および情報処理システム - Google Patents

情報処理装置、その制御方法、プログラム、および情報処理システム Download PDF

Info

Publication number
JP2020035210A
JP2020035210A JP2018161687A JP2018161687A JP2020035210A JP 2020035210 A JP2020035210 A JP 2020035210A JP 2018161687 A JP2018161687 A JP 2018161687A JP 2018161687 A JP2018161687 A JP 2018161687A JP 2020035210 A JP2020035210 A JP 2020035210A
Authority
JP
Japan
Prior art keywords
image forming
forming apparatus
information
information processing
status
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018161687A
Other languages
English (en)
Inventor
剛 伊丹
Takeshi Itami
剛 伊丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018161687A priority Critical patent/JP2020035210A/ja
Priority to US16/529,894 priority patent/US20200076971A1/en
Publication of JP2020035210A publication Critical patent/JP2020035210A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00488Output means providing an audible output to the user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00477Indicating status, e.g. of a job
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/0048Indicating an illegal or impossible operation or selection to the user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00482Output means outputting a plurality of job set-up options, e.g. number of copies, paper size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/0049Output means providing a visual indication to the user, e.g. using a lamp

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)
  • Facsimiles In General (AREA)

Abstract

【課題】情報処理装置において、ユーザの操作によらずに、変化した画像形成装置のステータスまたは利用可能な前記画像形成装置の情報を音声により読み上げる。【解決手段】画像形成装置104とデータ通信可能な情報処理装置101は、画像形成装置104のステータスまたは利用可能な画像形成装置104の情報を繰り返し取得し、画像形成装置104から取得するステータスまたは利用可能な画像形成装置104の情報が変化している場合に変更処理を行い、変更処理がなされたことに基づいて、変化した画像形成装置104のステータスまたは利用可能な画像形成装置104の情報を音声により読み上げる。【選択図】図1

Description

本発明は、画像形成装置とデータ通信可能な情報処理装置に関する。
近年、所謂スマートフォンといった高性能なモバイル端末が普及している。このようなモバイル端末といった情報処理装置では、オペレーティングシステムプログラム(OSプログラム)を実行し、情報処理装置から画像形成装置に印刷をさせる印刷用のアプリケーションプログラム(APプログラム)が利用されている。印刷用のAPプログラムを実行する情報処理装置は、無線などによるデータ通信により利用可能な画像形成装置を探索して表示し、表示に対する操作に基づいて使用する画像形成装置を選択する。また、情報処理装置は、保存しているファイルをユーザ操作に基づいて選択し、印刷データをユーザ操作に基づいて生成し、選択した画像形成装置へ送信する。これにより、画像形成装置は、情報処理装置からデータ通信により印刷データを受信し、印刷データの設定により、印刷データを印刷する。
特開2009−157696号公報
ところで、特許文献1は、印刷システムが画像形成装置のステータスを取得し、画像形成装置のステータスを表示するとともに読み上げる技術を開示する。このように画像形成装置のステータスが読み上げられることにより、視覚障害者であっても、画像形成装置のステータスを把握することができる。しかしながら、たとえば上述したように情報処理装置がOSプログラムとともに印刷用のAPプログラムを実行している場合などにおいては、情報処理装置の読上手段は、情報処理装置のOSプログラムにより管理される。印刷用のAPプログラムは、OSプログラムの管理にしたがって読上手段に読み上げを要求できるだけであり、情報処理装置の読上手段を直接的に呼び出して管理することができるとは限らない。情報処理装置は、画像形成装置のステータスを読上手段により読み上げるためには、たとえばユーザによる操作手段への表示の切替操作を要する。情報処理装置は、画像形成装置とデータ通信可能であるとしても、データ通信可能により取得した画像形成装置のステータスを読み上げるためには、たとえば操作手段の操作に基づいて表示を更新しなければならない。画像形成装置の最新のステータスを情報処理装置により読み上げ続ける場合には、ユーザは、情報処理装置の操作手段を操作し続けなければならない。このように、画像形成装置とデータ通信可能な情報処理装置では、ユーザの操作によらずに、画像形成装置のステータスまたは利用可能な画像形成装置の情報が変化した場合に音声により読み上げることができるようにすることが求められている。また、このような要望は、画像形成装置のステータスに限らず、情報処理装置で利用可能な画像形成装置を探索する場合にも存在する。本発明は上述の問題点の少なくとも1つを鑑みなされたものであり、本発明の1つの側面は、画像形成装置に関する情報が変化した場合に音声により読み上げることを可能にすることを目的の1つとする。また、本発明の別の側面は、情報処理装置の音声読み上げの利便性を高めることを目的の1つとする。
本発明の1つの側面に係る情報処理装置は、画像形成装置と通信可能な情報処理装置であって、前記画像形成装置に関連する情報を取得する取得手段と、前記取得された情報に基づき、前記画像形成装置に関する情報であって、ユーザに通知すべき情報が変化していると判断した場合に、音声通知に使用されるメタデータを変更する処理を行う変更手段と、前記変更手段により変更処理がなされたことに基づいて、変化した前記画像形成装置に関する情報を音声により読み上げる読上手段と、を有する。本発明の別の側面に係る情報処理装置は、情報処理装置であって、前記情報処理装置で動作しているアプリケーションが提供する操作画面に関する内容であって、前記操作画面を構成する表示コンテンツの一部に動的な更新が行われたこと及びその更新内容を示すメタデータが変更されたことを検知する検知手段と、前記検知手段によって前記メタデータの変更が検知された場合に、前記更新されたメタデータに基づく音声を出力する出力手段と、を有する。
本発明の1つの側面によれば、画像形成装置とデータ通信可能な情報処理装置において、ユーザの操作によらずに、画像形成装置のステータスまたは利用可能な画像形成装置の情報が変化した場合に音声により読み上げることができる。また、本発明の別の側面によれば、情報処理装置における音声読み上げの利便性を高めることができる。
本発明の実施形態に係る情報処理システムの一例の説明図である。 図1の画像形成装置のハードウェア構成の一例の説明図である。 図1の情報処理装置のハードウェア構成の一例の説明図である。 図2のソフトウェアにより情報処理装置に実現される制御部の機能の一例の説明図である。 図2の情報処理装置において印刷用のアプリケーションプログラムにより表示される画面の一例の説明図である。 本発明の第一実施形態における、印刷中の画像形成装置のステータスを情報処理装置に表示するための処理を示すフローチャートである。 図2の情報処理装置に表示される印刷中の画像形成装置のステータスの表示画面の一例の説明図である。 本発明の第二実施形態における、スキャン中の画像形成装置のステータスを情報処理装置に表示するための処理を示すフローチャートである。 情報処理装置に表示されるスキャン中の画像形成装置のステータスの表示画面の一例の説明図である。 本発明の第三実施形態における、画像形成装置を探索して表示するための処理を示すフローチャートである。 情報処理装置に表示される画像形成装置の探索中の表示画面の一例の説明図である。 本発明の第四実施形態における、情報処理装置の表示用のUIコンポーネントの説明図である。
以下、本発明の実施形態について図面を参照しながら詳細に説明する。しかしながら、以下の実施形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は実施形態に記載されている構成によって限定されることはない。
[第一実施形態]
図1は、本発明の実施形態に係る情報処理システム100の一例の説明図である。図1の情報処理システム100は、モバイル形態の情報処理装置101、複数の画像形成装置104,105、無線LANターミナル102、およびLAN103、を有する。画像形成装置104は、たとえば、プリンタ機能、コピー機能、スキャナ機能、ファクス送信機能、を備える。無線LANターミナル102は、一般的なネットワーク・ルーター機能を有する無線LANの親機である。無線LANターミナル102は、IEEE802.11規格などに準拠した無線LANを提供する。画像形成装置104と無線LANターミナル102は、LAN103に接続される。LAN103は、インターネットに接続されてよい。モバイル形態の情報処理装置101は、画像形成装置104に対して印刷ジョブ送信を指示するユーザが使用するコンピュータである。モバイル形態の情報処理装置101は、無線LANターミナル102が提供する無線LANエリアに入ると、無線LANターミナル102と無線通信する。これにより、モバイル形態の情報処理装置101は、予め設定していた認証情報を利用して自動的にLAN103に参加でき、複数の画像形成装置104,105のそれぞれと通信可能になる。
図2は、図1の画像形成装置104のハードウェア構成の一例の説明図である。画像形成装置105の構成も同様である。図2の画像形成装置104は、スキャナ機能、プリンタ機能を有する複合機(MFP(Multi Function Perpheral))の例である。図2の画像形成装置104は、メインコントローラ308、を有する。メインコントローラ308には、I/F制御部302、RAM制御部304、画像データ調歩回路305、エンジンI/F307、スキャナコントローラ309、が接続される。また、メインコントローラ308には、プリンタコントローラ310、ユーザインターフェース312、スキャナエンジン313、が接続される。メインコントローラ308は、画像形成装置104の全体の動作を制御する。メインコントローラ308は、制御の要のモジュールであり、スキャナコントローラ309やプリンタコントローラ310に、I/O(入出力部)301経由で情報処理装置101から受け取る制御言語の適切な振り分け処理を行う。メインコントローラ308は、それぞれのコントローラやユーザインターフェース312からの指示をうけて、プリンタエンジン306やスキャナエンジン313を制御する。I/O301は、LAN103などの通信媒体に接続される。I/O301は、LAN103を通じて、情報処理装置101とデータ通信する。なお、画像形成装置104は、複数のI/O301を有してよい。I/F制御部302は、I/O301を制御する。RAM303は、一次記録装置である。RAM303は、たとえば、I/O301で取得した制御コマンドなどの外部データや、スキャナエンジン313で読み取られたイメージデータを格納する。RAM303は、たとえば、プリンタコントローラ310で展開されたプリンタエンジン306に渡される前のイメージデータを格納する。RAM制御部304は、RAM303の割り当てを管理する。プリンタコントローラ310は、たとえば情報処理装置101から受けた印刷ジョブとしてのPDLを、RAM303においてメインコントローラ308が解釈可能な展開イメージデータなどを含む内部実行命令に変換する。メインコントローラ308は、たとえばRAM303の内部実行命令に基づいて、エンジンI/F307によりプリンタエンジン306に対して各種の制御を実行する。画像データ調歩回路305は、プリンタコントローラ310やスキャナエンジン313によって取り込まれてRAM303に展開されているイメージデータをプリンタエンジン306の動作にあわせてプリンタエンジン306へ出力する。プリンタエンジン306は、RAM303のイメージデータを、紙などの出力メディアに印刷する。スキャナコントローラ309は、たとえば情報処理装置101から受けたスキャン制御コマンドを、RAM303においてメインコントローラ308が解釈可能な内部実行命令に変換する。メインコントローラ308は、たとえばRAM303の内部実行命令に基づいて、スキャナエンジン313に対して各種の制御を実行する。スキャナエンジン313は、イメージデータを読み取る。スキャナコントローラ309は、と、RAM303において読み取られたイメージデータを含むスキャン制御コマンドを生成する。
近年、所謂スマートフォンといった高性能なモバイル端末が普及している。このため、情報処理システム100においてもモバイル形態の情報処理装置101を利用できることが要望されている。このようなモバイル形態の情報処理装置101では、オペレーティングシステムプログラム(OSプログラム)を実行し、情報処理装置101から画像形成装置104に印刷をさせる印刷アプリケーションプログラム(APプログラム406)が利用されている。APプログラム406を実行する情報処理装置101は、無線などによるデータ通信により利用可能な画像形成装置104を探索して表示し、表示に対する操作に基づいて使用する画像形成装置104を選択する。また、情報処理装置101は、保存しているファイルをユーザ操作に基づいて選択し、印刷データをユーザ操作に基づいて生成し、選択した画像形成装置104へ送信する。これにより、画像形成装置104は、情報処理装置101からデータ通信により印刷データを受信し、印刷データの設定により、印刷データを印刷する。ところで、モバイル形態の情報処理装置101は、ユーザ一人一人が利用することができる。したがって、モバイル形態の情報処理装置101において画像形成装置104のステータスなどを読み上げられるようにすることにより、視覚障害者であっても容易に画像形成装置104のステータスを把握することができる。視覚障害者による情報処理システム100の利便性が向上すると期待できる。しかしながら、たとえば上述したように情報処理装置101がOSプログラムとともにAPプログラム406を実行している場合などにおいては、情報処理装置101の読上機能は、情報処理装置101のOSプログラムにより管理されている。APプログラム406は、OSプログラムの管理にしたがってOSプログラムの読上機能に読み上げを要求できるだけであり、情報処理装置101の読上機能を直接的に呼び出して利用することができるとは限らない。この場合、情報処理装置101が画像形成装置104のステータスを読み上げるためには、たとえばユーザによるタッチパネル215への表示の切替操作などを要することになる。情報処理装置101は、タッチパネル215の操作に基づいて表示を更新し、その表示更新の際に画像形成装置104のステータスを読み上げる。情報処理装置101において画像形成装置104の最新のステータスを読み上げ続けるためには、ユーザは、情報処理装置101のタッチパネル215を操作し続けなければならない。このように、画像形成装置104とデータ通信可能な情報処理装置101では、ユーザの操作によらずに、画像形成装置104のステータスなどが変化した場合に、音声により読み上げることができるようにすることが求められている。
図3は、図1の情報処理装置101のハードウェア構成の一例の説明図である。図3の情報処理装置101は、モバイル端末やスマートフォンであり、小型端末用のOSプログラム、通話、データ通信を制御するプログラムが動いていても構わない。なお、情報処理装置101は、後述する音声制御部206及びマイク・スピーカ213、位置検出制御部210、GPSセンサ216、携帯電話データ通信部212等を備えないパーソナルコンピュータであってもよい。図3の情報処理装置101は、無線LAN通信部211、携帯電話データ通信部212、マイク・スピーカ213、ディスプレイ214、タッチパネル215、GPSセンサ216、を有する。また、図3の情報処理装置101は、システムバス201、を有する。システムバス201には、CPU202、ROM203、RAM204、NetworkController205、音声制御部206、表示制御部207、入力制御部208、記録装置209、位置検出制御部210、が接続される。無線LAN通信部211は、無線LANターミナル102を介してLAN103のネットワークに参加するための通信部である。携帯電話データ通信部212は、携帯キャリアの提供するネットワークに参加するための通信部である。NetworkController(ネットワークコントローラ)205は、無線LAN通信部211と、携帯電話データ通信部212との通信を制御する。無線LAN通信部211が無線LANのネットワークに参加できる場合、NetworkController205は、無線LANの接続を優先する。これにより、情報処理装置101は、画像形成装置104とデータ通信可能になる。マイク・スピーカ213は、音声データの入出力を行う。音声制御部206は、マイク・スピーカ213による音声の入出力を制御する。音声制御部206は、たとえば通話APプログラムを用いてユーザが電話をしている場合、NetworkController205が取得する音声データに基づく音声をスピーカから出力する。また、音声制御部206は、マイクに入力される音声のデータをNetworkController205へ出力する。ディスプレイ214が、操作画面などを表示する。表示制御部207は、ディスプレイ214を制御する。表示制御部207は、たとえばNetworkController205が取得する表示データを、ディスプレイ214に表示させる。タッチパネル215は、ユーザによるディスプレイ214に対する操作が入力される。入力制御部208は、タッチパネル215を制御する。入力制御部208は、たとえばタッチパネル215に入力された操作に基づいて、コマンドなどをNetworkController205へ出力する。GPSセンサ216は、情報処理装置101の位置を検出する。位置検出制御部210は、GPSセンサ216を制御する。記録装置209は、不揮発性の記録装置209であり、情報処理装置101の再起動後も保持しておく必要のある各種動作モード設定、稼働ログなどを記録する。ROM203は、情報処理装置101におけるOSプログラム、通話、データ通信を制御するAPプログラム406を記録する。データ通信を制御するAPプログラム406には、たとえば、APプログラム406やMailプログラム、Webブラウザプログラムがある。RAM204は、プログラムを実行するためのワークメモリエリアである。RAM204は、たとえばAPプログラム406が印刷ジョブを生成する際に使用する。CPU202は、ROM203に記録されているOSプログラムおよびAPプログラム406を、RAM204に読み込んで展開し、実行する。これにより、情報処理装置101の制御部が実現される。
図4は、図2のソフトウェアにより情報処理装置101に実現される制御部の機能の一例の説明図である。図4には、情報処理装置101に実現される機能の一例として、スクリーンリーダ410、UI部402、画像形成装置探索部403、印刷制御部404、スキャン制御部405、が図示されている。図4には、OSプログラム401による機能、画像形成装置用のAPプログラム406による機能、他のAPプログラム407による機能が、分類して図示されている。図4は、CPU202が、ROM203に記録されているOSプログラム401とともにAPプログラム406を実行した状態である。スクリーンリーダ410は、OSプログラム401の機能の1つであり、音声を出力するスクリーンリーダ機能である。モバイル端末向けのOSプログラム401には、視覚障害者向けのスクリーンリーダ410を備えているものがある。スクリーンリーダ410は、OSプログラム401においてあらかじめ定められた画面を読み上げる。ユーザは、OSプログラム401の設定により、スクリーンリーダ410の有効もしくは無効を選択することができる。このスクリーンリーダ410の設定値は、記録装置209に記録される。設定値は、ユーザにより変更の指定があった場合、更新して記録される。スクリーンリーダ410の設定が有効である場合、スクリーンリーダ410は、画面が切り替わるタイミングや画面上のアイテムが選択されるタイミングにおいて、切替後の画面やユーザの選択に関する音声を、音声制御部206を通じてスピーカから出力する。読上手段としてのスクリーンリーダ410は、ディスプレイ214の表示が新たな画面が切り替わるように変更処理がなされたことに基づいて、変化した後の画面に表示する変更後の表示画面に関連付けられている情報を音声により読み上げる。UI部402、画像形成装置探索部403、印刷制御部404、スキャン制御部405は、印刷用のAPによる機能である。UI部402は、APプログラム406に固有の機能をユーザに設定させるためのユーザインターフェース312を提供する。これにより、表示手段としてのディスプレイ214は、たとえば画像形成装置104のステータス、利用可能な画像形成装置104などの情報を表示する。画像形成装置探索部403は、情報処理装置101が接続されているLAN103において、情報処理装置101がSNMPで管理されるネットワーク機器を探索する。画像形成装置探索部403は、探索された機器の中から、情報処理装置101が印刷に用いることができる画像形成装置104を選択する。印刷制御部404は、通信可能な画像形成装置104に対する印刷ジョブを生成して送信する。スキャン制御部405は、MFPとしてスキャン機能を搭載する画像形成装置104に対して通信を行い、スキャンジョブを実行させる。
図5は、図2の情報処理装置101において印刷用のAPにより表示される画面の一例の説明図である。CPU202がAPプログラム406を実行することにより、図5の各画面がディスプレイ214に表示される。図5(A)は、APプログラム406を起動した後にディスプレイ214に表示される印刷画面である。図5(A)の印刷画面は、すでに、CPU202が印刷対象とするPDFファイル501を選択し、さらに印刷を実行する画像形成装置104を選択している。図5(A)の印刷画面には、印刷を実行する画像形成装置104の選択ボタン502、印刷設定ボタン503、印刷開始ボタン504、が表示される。図5(A)の印刷画面に対するユーザによるタッチパネル215の操作位置に基づいて、CPU202は、選択ボタン502が操作されたと判断すると、図5(B)に示す画像形成装置104の選択画面を表示する。図5(B)に示す画像形成装置104の選択画面には、情報処理装置101が印刷に利用可能な画像形成装置104毎の選択ボタン601が表示される。図5(B)に示す画像形成装置104の選択画面に対するユーザによるタッチパネル215の操作位置に基づいて、CPU202は、印刷を実行する画像形成装置104を選択する。その後、CPU202は、図5(A)に示すように、選択した画像形成装置104を選択ボタン502に表示している印刷画面を表示する。図5(A)の印刷画面に対するユーザによるタッチパネル215の操作位置に基づいて、CPU202は、印刷設定ボタン503が操作されたと判断すると、図5(C)に示す印刷設定画面を表示する。図5(C)に示す印刷設定画面には、印刷する用紙サイズの選択ボタン701、カラー白黒の選択ボタン702、給紙トレイの選択ボタン703、印刷部数の選択ボタン704が表示される。図5(C)に示す印刷設定画面に対するユーザによるタッチパネル215の操作位置に基づいて、CPU202は、選択されたボタン701〜704に対応する設定値の選択画面を表示する。設定値の瀬端画面に対するユーザによるタッチパネル215の操作位置に基づいて、CPU202は、選択されたボタンに対応する設定項目の設定値を選択する。その後、CPU202は、図5(A)に示すように、選択した画像形成装置104を選択ボタン502に表示している印刷画面を表示する。以上の処理を繰り返すことにより、CPU202は、印刷する画像形成装置104、印刷設定の設定値を選択する。その後、図5(A)の印刷画面に対するユーザによるタッチパネル215の操作位置に基づいて、CPU202は、印刷開始ボタン504が操作されたと判断すると、印刷ジョブを生成し、選択した画像形成装置104へ送信する。
図6は、本発明の第一実施形態における、印刷中の画像形成装置104のステータスを情報処理装置101に表示するための処理を示すフローチャートである。APプログラム406を実行するCPU202は、印刷ジョブを生成して画像形成装置104へ送信した後、図6の処理を実行する。CPU202は、OSプログラム401を実行しているため、OSプログラム401で提供される機能を利用して、OSプログラム401と協働して図6の処理を実行する。図7は、図2の情報処理装置101に表示される印刷中の画像形成装置104のステータスの表示画面の一例の説明図である。図7(A)は、画像形成装置104が印刷ジョブを中断することなく実行している場合に情報処理装置101のディスプレイ214に表示される印刷実行中のステータス表示画面である。図7(A)の印刷実行中のステータス表示画面には、印刷中を通知する文字列902と、キャンセルボタン903と、が表示される。図7(B)は、画像形成装置104が紙詰まりにより印刷ジョブを中断している場合に情報処理装置101のディスプレイ214に表示されるステータス表示画面である。図7(B)のステータス表示画面には、紙詰まりが発生していることを通知する文字列1001と、キャンセルボタン903と、が表示される。図7(C)は、図7(A)の画面から図7(B)の画面へ遷移している最中にディスプレイ214に表示される遷移画面である。矢線は、画面の遷移を表している。
印刷開始ボタン504が操作されると、ステップS601において、情報処理装置101のCPU202は、図7(A)の印刷実行中画面をディスプレイ214に表示する。なお、CPU202は、OSプログラム401のスクリーンリーダ410により、印刷実行中画面に関連付けられたメタデータなどのテキストデータを音声により通知してよい。CPU202は、たとえば印刷開始したことを音声により通知してよい。これにより、ユーザは、音声フィードバックを受けることができる。ステップS602において、CPU202は、印刷処理を開始する。CPU202は、印刷処理において、ユーザが印刷対象として選択した原稿ファイルを展開し、ユーザが印刷先として選択した画像形成装置104がサポートする描画形式へ変換し、ユーザが設定した印刷設定情報を付加して印刷ジョブを生成する。また、CPU202は、生成した印刷ジョブを、ユーザが印刷先として選択した画像形成装置104を送信先に指定して、送信する。ステップS603において、CPU202は、画像形成装置104と通信して、画像形成装置104のステータスを取得する。画像形成装置104の印刷ステータスには、正常なステータスと、異常なステータスとがある。異常なステータスには、たとえば紙詰まりのステータス、トナー切れのステータスがある。ステップS604において、CPU202は、ステップS603で取得した画像形成装置104のステータスが、前回に取得した画像形成装置104のステータスから変更されているか否かを判断する。初回の判断においては比較対象がないため、CPU202は、正常のステータスから変更されているか否かを判断する。ステータスが変更されている場合、CPU202は、処理をステップS605へ進める。ステータスが変更されていない場合、CPU202は、処理をステップS612へ進める。ステップS612において、CPU202は、表示中の画面において、キャンセルボタンが操作されたかを判断する。キャンセルボタンが操作されていない場合、CPU202は、ステップS613において、印刷処理が完了したかを判断する。印刷処理が完了していない場合、CPU202は、処理をステップS603へ戻す。これにより、CPU202は、印刷中において、画像形成装置104のステータスを取得してその変更を判断する処理を繰り返す。印刷中のまま印刷処理が完了すると、CPU202は、ステップS613において印刷処理が完了したかと判断し、図6の画像形成装置104の監視を終了する。また、ステップS612においてキャンセルボタンが操作されたと判断すると、CPU202は、画像形成装置104のステータスに関係なく、図6の画像形成装置104の監視を終了する。
ステップS604において画像形成装置104のステータスが前回から変更されていると判断すると、CPU202は、処理をステップS605へ進める。ステップS605において、CPU202は、APプログラム406の処理として、OSプログラム401でのスクリーンリーダ410が有効であるかの設定情報を取得する。OSプログラム401を実行するCPU202は、記録装置209に記録されたスクリーンリーダ410の設定値に基づいて、設定情報をAPプログラム406へ通知する。ステップS606において、CPU202は、取得した設定情報から、スクリーンリーダ410が有効であるかを判断する。スクリーンリーダ410が有効である場合、CPU202は、処理をステップS608に進める。スクリーンリーダ410が無効である場合、CPU202は、処理をステップS607に進める。ステップS607において、CPU202は、ステータス表示画面に、変更後のステータスに対応する文字列を入力し、ディスプレイ214に表示する画面を更新する。変更後のステータスが紙詰まりである場合、ディスプレイ214に表示される画面は、図7(B)の紙詰まりが発生している場合でのステータス表示画面になる。その後、CPU202は、処理をステップS603に戻す。これにより、CPU202は、印刷中において、画像形成装置104のステータスを取得してその変更を判断する処理を繰り返す。
ステップS608において、CPU202は、新たなステータス表示画面を生成する。ステップS609において、CPU202は、新たに生成した画面のステータス表示部分に、変更後のステータスに対応する文字列を入力する。ステップS610において、CPU202は、新規画面のタイトルに関連付けられているスクリーンリーダ410向けのヒント情報としてのメタデータに、音声通知に使用される変更後のステータスの文字列を入力する。変更手段としてのCPU202は、画像形成装置104から取得する画像形成装置のジョブ実行に関わるステータスが変化している場合、新たな画像形成装置104のステータスを表示するための新たな表示画面を生成する。また、CPU202は、印刷中の画像形成装置104のステータスを読み上げるテキストデータをメタデータとして生成する。CPU202は、新たな表示画面とともに、表示画面に関連付けられているメタデータとして、画像形成装置104のステータスを読み上げるメタデータを生成する。ステップS611において、CPU202は、ステップS608より新規に作成した画面に遷移させる処理を実行する。現在表示中の印刷実行中のステータス表示画面と同等の構成となる新たな画面に遷移させるため、遷移処理時のディスプレイ214の表示は、図7(C)に示すようにスライド遷移となる。表示手段としてのディスプレイ214の表示は、更新される。この画面遷移により、OSプログラム401を実行するCPU202は、有効なスクリーンリーダ410により、新たな画面に関連付けられているメタデータを音声により読み上げる。CPU202は、新規画面のタイトルまたはヒント情報としてのメタデータを音声により読み上げる。CPU202は、変更手段としてのスクリーンリーダ410により、表示が新たな表示画面に変更される際に、生成されたメタデータを読み上げる。CPU202は、スクリーンリーダ410の機能が有効とされている場合に、生成されたメタデータを読み上げる。これにより、変更後のステータスが、音声により読み上げられる。その後、CPU202は、処理をステップS603に戻す。これにより、CPU202は、印刷中において、画像形成装置104のステータスを取得してその変更を判断する処理を繰り返す。なお、画像形成装置104のステータスがたとえば紙詰まりなどの異常なステータスへ変更されている場合、そのステータスが正常に戻らなければ、図6の画像形成装置104の監視は継続される。ユーザは、図6の画像形成装置104の監視を終了するためには、画像形成装置104に対してそのステータスを正常に戻す処理をするか、キャンセルボタンを操作する必要がある。
以上のように、本実施形態では、取得手段としてのCPU202は、画像形成装置104のステータスを繰り返して自動的に取得する。そして、ステータスに変更があった際には、変更後のステータスがリアルタイムに読み上げられる。視覚障害があるユーザは、印刷中の画像形成装置104のリアルタイムのステータスを、表示によらずに音声により、確認し続けることができる。また、本実施形態では、読み上げを発生させるために、OSプログラム401を実行するCPU202によるメッセージ機能などを使わない。よって、メッセージが出力されるたびにそれを消去するための操作をする必要もない。視覚障害があるユーザは、リアルタイムのステータスを確認し続けるために、情報処理装置101の画面をタップし続ける必要はない。本実施形態において画像形成装置104のステータスはその処理に応じて変化する。情報処理装置101は、画像形成装置104に関する情報であるステータスをデータ通信により繰り返し自動的に取得する。そして、ユーザに通知すべき画像形成装置104のステータスが変化している場合、情報処理装置101は、画像形成装置104のステータスの変化に対応するメタデータの変更処理を行う。このメタデータの変更処理がなされたことに基づいて、変化した画像形成装置104のステータスは、音声により読み上げられる。よって、情報処理装置101は、画像形成装置104のステータスが変化すると、画像形成装置104についての変化したステータスを適切に音声により読み上げることができる。
本実施形態において、画像形成装置104のステータスは、印刷中に画像形成装置104に表示される印刷処理についてのステータスである。この場合、情報処理装置101は、印刷中に画像形成装置104に表示される印刷処理についてのステータスを繰り返して自動的に取得する。そして、情報処理装置101は、印刷中の画像形成装置104のステータスを表示するための新たな表示画面とともに、印刷中の画像形成装置104のステータスを読み上げるメタデータを生成する。これにより、情報処理装置101は、画像形成装置104の印刷に係るステータスが変化すると、画像形成装置104についての変化した印刷のステータスを適切に音声により読み上げることができる。特に、本実施形態では、情報処理装置101には、OSプログラム401とともに印刷用のAPプログラム406がインストールされており、CPU202が印刷用のAPプログラム406を実行することにより、これらの手段を、画像形成装置104に実現する。よって、APプログラム406は、CPU202がOSプログラム401を実行することにより情報処理装置101に実現されるたとえばスクリーンリーダ410を読上に好適に利用することができる。この場合のスクリーンリーダ410は、たとえばディスプレイ214の表示が新たな表示画面に変更される際に、表示画面に関連付けられているメタデータを読み上げるものであればよい。APプログラム406には、上述した処理を実行するためのすべての処理を記述しなくてよい。本実施形態では、変更処理として、画像形成装置104から取得した変化後のステータスまたは変化した利用可能な画像形成装置104の情報をディスプレイ214に新たに表示するための表示画面を新たに生成する。これにより、ディスプレイ214の表示は、更新される。また、新たな表示画面とともに、表示画面に関連付けられているメタデータとして、画像形成装置104のステータスまたは利用可能な画像形成装置104の情報を読み上げるメタデータを生成する。よって、OSプログラム401で提供されて、ディスプレイ214の表示が新たな表示画面に変更される際に、表示画面に関連付けられているメタデータを読み上げるスクリーンリーダ410、を好適に用いることができる。スクリーンリーダ410は、画像形成装置104のステータスまたは利用可能な画像形成装置104の情報を読み上げるメタデータを、新たな表示画面に変更される際に読み上げることができる。また、スクリーンリーダ410は、情報処理装置101において表示の読み上げが有効とされている場合に、生成されたメタデータを読み上げてよい。
[第二実施形態]
次に、本発明の第二実施形態に係る情報処理システム100を説明する。本実施形態では、情報処理装置101が、APプログラム406を実行する。そして、情報処理装置101は、スキャン処理を画像形成装置104に実行させ、そのスキャン中に画像形成装置104のステータスを取得して表示および音声により出力する。以下の説明では、主に第一実施形態との相違点について説明する。
図8は、本発明の第二実施形態における、スキャン中の画像形成装置104のステータスを情報処理装置101に表示するための処理を示すフローチャートである。APプログラム406を実行するCPU202は、スキャンジョブを生成して画像形成装置104へ送信した後、図8の処理を実行する。CPU202は、OSプログラム401を実行しているため、OSプログラム401で提供される機能を利用して、OSプログラム401と協働して図8の処理を実行する。図9は、情報処理装置101に表示されるスキャン中の画像形成装置104のステータスの表示画面の一例の説明図である。図9(A)は、画像形成装置104がスキャンジョブを中断することなく実行している場合に情報処理装置101のディスプレイ214に表示されるスキャン実行中のステータス表示画面である。図9(A)のスキャン実行中のステータス表示画面には、スキャン中を通知する文字列1202と、キャンセルボタン1203と、が表示される。図9(B)は、画像形成装置104が原稿の紙詰まりによりスキャンジョブを中断している場合に情報処理装置101のディスプレイ214に表示されるステータス表示画面である。図9(B)のステータス表示画面には、紙詰まりが発生していることを通知する文字列1301と、キャンセルボタン1203と、が表示される。図9(C)は、図9(A)の画面から図9(B)の画面へ遷移している最中にディスプレイ214に表示される遷移画面である。矢線は、画面の遷移を示す。
スキャンボタンが操作されると、ステップS801において、情報処理装置101のCPU202は、図9(A)のスキャン実行中画面をディスプレイ214に表示する。なお、CPU202は、OSプログラム401のスクリーンリーダ410により、印刷実行中画面に関連付けられたメタデータを音声により通知してよい。CPU202は、たとえば印刷開始したことを音声により通知してよい。これにより、ユーザは、音声フィードバックを受けることができる。ステップS802において、CPU202は、スキャン処理を開始する。CPU202は、スキャン処理において、スキャン機能を持つ画像形成装置104の原稿読み取り台に置かれた紙原稿を読み込む制御コマンドを画像形成装置104に送信する。その後、CPU202は、読み込まれた紙原稿をイメージデータとして画像形成装置104から受信する。ステップS803において、CPU202は、画像形成装置104と通信して、画像形成装置104のステータスを取得する。画像形成装置104のスキャンステータスには、正常なステータスと、異常なステータスとがある。異常なステータスには、たとえば原稿の紙詰まりのステータス、原稿台が閉じていないカバーオープンのステータス、がある。ステップS804において、CPU202は、ステップS803で取得した画像形成装置104のステータスが、前回に取得した画像形成装置104のステータスから変更されているか否かを判断する。初回の判断においては比較対象がないため、CPU202は、正常のステータスから変更されているか否かを判断する。ステータスが変更されている場合、CPU202は、処理を1405へ進める。ステータスが変更されていない場合、CPU202は、処理をステップS812へ進める。ステップS812において、CPU202は、表示中の画面において、キャンセルボタンが操作されたかを判断する。キャンセルボタンが操作されていない場合、CPU202は、ステップS813において、スキャン処理が完了したかを判断する。スキャン処理が完了していない場合、CPU202は、処理をステップS803へ戻す。これにより、CPU202は、スキャン中において、画像形成装置104のステータスを繰り返して自動的に取得してその変更を判断する処理を繰り返す。スキャン中のままスキャン処理が完了すると、CPU202は、ステップS813においてスキャン処理が完了したかと判断し、図8の画像形成装置104の監視を終了する。また、ステップS812においてキャンセルボタンが操作されたと判断すると、CPU202は、画像形成装置104のステータスに関係なく、図8の画像形成装置104の監視を終了する。
ステップS804において画像形成装置104のステータスが前回から変更されていると判断すると、CPU202は、処理をステップS805へ進める。ステップS805において、CPU202は、APプログラム406の処理として、OSプログラム401でのスクリーンリーダ410が有効であるかの設定情報を取得する。OSプログラム401を実行するCPU202は、記録装置209に記録されたスクリーンリーダ410の設定値に基づいて、設定情報をAPプログラム406へ通知する。ステップS806において、CPU202は、取得した設定情報から、スクリーンリーダ410が有効であるかを判断する。スクリーンリーダ410が有効である場合、CPU202は、処理をステップS808に進める。スクリーンリーダ410が無効である場合、CPU202は、処理をステップS807に進める。ステップS807において、CPU202は、ステータス表示画面に、変更後のステータスに対応する文字列を入力し、ディスプレイ214に表示する画面を更新する。変更後のステータスが紙詰まりである場合、ディスプレイ214に表示される画面は、図9(B)の紙詰まりが発生している場合でのステータス表示画面になる。その後、CPU202は、処理をステップS803に戻す。これにより、CPU202は、印刷中において、画像形成装置104のステータスを取得してその変更を判断する処理を繰り返す。
ステップS808において、CPU202は、新たなステータス表示画面を生成する。ステップS809において、CPU202は、新たに生成した画面のステータス表示部分に、変更後のステータスに対応する文字列を入力する。ステップS810において、CPU202は、新規画面のタイトルに関連付けられているスクリーンリーダ410向けのヒント情報としてのメタデータに、変更後のステータスの文字列を入力する。変更手段としてのCPU202は、画像形成装置104から取得するステータスが変化している場合、新たな画像形成装置104のステータスを表示するための新たな表示画面を生成する。また、CPU202は、印刷中の画像形成装置104のステータスを読み上げるメタデータを生成する。CPU202は、新たな表示画面とともに、表示画面に関連付けられているメタデータとして、画像形成装置104のステータスを読み上げるメタデータを生成する。ステップS811において、CPU202は、ステップS808より新規に作成した画面に遷移させる処理を実行する。現在表示中の印刷実行中のステータス表示画面と同等の構成となる新たな画面に遷移させるため、遷移処理時のディスプレイ214の表示は、図9(C)に示すようにスライド遷移となる。ディスプレイ214としてのディスプレイ214の表示は、更新される。この画面遷移により、OSプログラム401を実行するCPU202は、有効なスクリーンリーダ410により、新たな画面に関連付けられているメタデータを音声により読み上げる。CPU202は、新規画面のタイトルまたはヒント情報としてのメタデータを音声により読み上げる。CPU202は、変更手段としてのスクリーンリーダ410により、表示が新たな表示画面に変更される際に、生成されたメタデータを読み上げる。CPU202は、スクリーンリーダ410の機能が有効とされている場合に、生成されたメタデータを読み上げる。これにより、変更後のステータスが、音声により読み上げられる。その後、CPU202は、処理をステップS803に戻す。これにより、CPU202は、印刷中において、画像形成装置104のステータスを取得してその変更を判断する処理を繰り返す。なお、画像形成装置104のステータスがたとえば紙詰まりなどの異常なステータスへ変更されている場合、そのステータスが正常に戻らなければ、CPU202は、図8の画像形成装置104の監視を継続する。ユーザは、図8の画像形成装置104の監視を終了するためには、画像形成装置104に対してそのステータスを正常に戻す処理をするか、キャンセルボタンを操作する必要がある。
以上のように、本実施形態では、取得手段としてのCPU202は、画像形成装置104のステータスを繰り返して自動的に取得する。そして、ステータスに変更があった際には、変更後のステータスがリアルタイムに読み上げられる。視覚障害があるユーザは、スキャン中の画像形成装置104のリアルタイムのステータスを、表示によらずに音声により、確認し続けることができる。また、本実施形態では、読み上げを発生させるために、OSプログラム401を実行するCPU202によるメッセージ機能などを使わない。よって、メッセージが出力されるたびにそれを消去するための操作をする必要もない。視覚障害があるユーザは、リアルタイムのステータスを確認し続けるために、情報処理装置101の画面をタップし続ける必要はない。本実施形態において画像形成装置104のステータスはその処理に応じて変化する。情報処理装置101は、画像形成装置104のステータスをデータ通信により繰り返して自動的に取得する。そして、画像形成装置104のステータスが変化している場合、情報処理装置101は、画像形成装置104のステータスの変化に対応する変更処理を行う。その変更処理がなされたことに基づいて変化した画像形成装置104のステータスは、音声により読み上げられる。よって、情報処理装置101は、画像形成装置104のステータスが変化すると、画像形成装置104についての変化したステータスを適切に音声により読み上げることができる。
本実施形態において、画像形成装置104のステータスは、スキャン中に画像形成装置104に表示されるスキャン処理についてのステータスである。この場合、情報処理装置101は、スキャン中に画像形成装置104に表示されるスキャン処理についてのステータスを繰り返して自動的に取得する。そして、情報処理装置101は、キャン中の画像形成装置104のステータスを表示するための新たな表示画面とともに、スキャン中の画像形成装置104のステータスを読み上げるメタデータを生成する。これにより、情報処理装置101は、画像形成装置104のスキャンに係るステータスが変化すると、画像形成装置104についての変化したスキャンに係るステータスを適切に音声により読み上げることができる。特に、本実施形態では、情報処理装置101は、OSプログラム401とともにAPプログラム406を実行するCPU202を有し、CPU202は、APプログラム406を実行することにより、上述した処理を、画像形成装置104に実現する。よって、APプログラム406は、CPU202がOSプログラム401を実行することにより情報処理装置101に実現されるたとえばスクリーンリーダ410を読上に好適に利用することができる。この場合のスクリーンリーダ410は、たとえばディスプレイ214の表示が新たな表示画面に変更される際に、表示画面に関連付けられているメタデータを読み上げるものであればよい。APプログラム406には、上述したすべての処理を記述しなくてよい。
[第三実施形態]
次に、本発明の第三実施形態に係る情報処理システム100を説明する。本実施形態では、情報処理装置101が、APプログラム406またはAPプログラム406を実行する。そして、情報処理装置101は、利用可能な画像形成装置104を探索する処理を実行し、その探索中に画像形成装置104の探索状態のステータスを取得して表示および音声により出力する。以下の説明では、主に第一実施形態との相違点について説明する。
図10は、本発明の第三実施形態における、画像形成装置104を探索して表示するための処理を示すフローチャートである。APプログラム406またはAPプログラム406を実行するCPU202は、画像形成装置104の探索処理を、OSプログラム401を実行するCPU202に要求した後、図10の処理を実行する。CPU202は、OSプログラム401を実行しているため、OSプログラム401で提供される機能を利用して、OSプログラム401と協働して図10の処理を実行する。図11は、情報処理装置101に表示される画像形成装置104の探索中の表示画面の一例の説明図である。図11(A)は、情報処理装置101が画像形成装置104の探索処理を中断することなく実行している場合に情報処理装置101のディスプレイ214に表示される探索中のステータス表示画面である。図11(A)の探索中のステータス表示画面には、画像形成装置104を探索中であることを通知する文字列1601、前画面に戻るボタン1602、が表示される。図11(B)は、利用可能な画像形成装置104が探索された場合に情報処理装置101のディスプレイ214に表示されるステータス表示画面である。図11(B)のステータス表示画面には、探索された利用可能な画像形成装置104を装置毎に通知する文字列1701、前画面に戻るボタン1602、が表示される。図11(B)のステータス表示画面にリスト表示される複数の画像形成装置104,105は、装置毎にタップ可能である。ユーザは、リスト表示されている画像形成装置104をタップすることにより、印刷などに用いる利用対象先として選択することができる。図11(C)は、図11(A)の画面から図11(B)の画面へ遷移している最中にディスプレイ214に表示される遷移画面である。矢線は、画面の遷移を示す。
探索開始のボタンが操作されると、ステップS1001において、情報処理装置101のCPU202は、図11(A)の探索実行中画面をディスプレイ214に表示する。なお、CPU202は、OSプログラム401のスクリーンリーダ410により、探索実行中画面に関連付けられたメタデータを音声により通知してよい。CPU202は、たとえば探索を開始したことを音声により通知してよい。これにより、ユーザは、音声フィードバックを受けることができる。ステップS1002において、CPU202は、探索処理を開始する。CPU202は、探索処理において、情報処理装置101が接続されているLAN103において、SNMP(Simple Network Management Protocol)で管理されるネットワーク機器を探索する。また、CPU202は、探索したネットワーク機器から、利用可能な画像形成装置104をピックアップする。画像形成装置104がレディ状態の場合、ピックアップに必要な時間は概ね2から3秒以内である。しかしながら、画像形成装置104がスリープ状態にある場合、ピックアップに必要な時間は10秒前後になることがある。ステップS1003において、CPU202は、OSプログラム401を実行するCPU202と通信して、画像形成装置104の探索結果のステータスを取得する。画像形成装置104の探索結果のテータスには、すでに探索されている画像形成装置104の探索結果と、新たに探索された画像形成装置104の探索結果と、が含まれる。ステップS1004において、CPU202は、ステップS1003で取得した画像形成装置104の探索結果のステータスが、前回に取得した画像形成装置104の探索結果のステータスから変更されているか否かを判断する。初回の判断においては比較対象がないため、CPU202は、探索された画像形成装置104がない場合のステータスから変更されているか否かを判断する。ステータスが変更されている場合、CPU202は、処理をステップS1005へ進める。ステータスが変更されていない場合、CPU202は、処理をステップS1012へ進める。ステップS1012において、CPU202は、表示中の画面において、情報処理装置101の戻るボタンが操作されたかを判断する。戻るボタンが操作されていない場合、CPU202は、ステップS1013において、探索処理が完了したかを判断する。探索処理が完了していない場合、CPU202は、処理をステップS1003へ戻す。これにより、CPU202は、探索中において、画像形成装置104の探索結果のステータスを繰り返して自動的に取得してその変更を判断する処理を繰り返す。探索処理が完了すると、CPU202は、ステップS1013において探索処理が完了したかと判断し、図10の画像形成装置104の監視を終了する。また、ステップS1012において戻るボタンが操作されたと判断すると、CPU202は、画像形成装置104の探索結果のステータスに関係なく、図10の画像形成装置104の監視を終了する。
ステップS1004において画像形成装置104の探索結果のステータスが前回から変更されていると判断すると、CPU202は、処理をステップS1005へ進める。ステップS1005において、CPU202は、APプログラム406の処理として、OSプログラム401でのスクリーンリーダ410が有効であるかの設定情報を取得する。OSプログラム401を実行するCPU202は、記録装置209に記録されたスクリーンリーダ410の設定値に基づいて、設定情報をAPプログラム406へ通知する。ステップS1006において、CPU202は、取得した設定情報から、スクリーンリーダ410が有効であるかを判断する。スクリーンリーダ410が有効である場合、CPU202は、処理をステップS1008に進める。スクリーンリーダ410が無効である場合、CPU202は、処理をステップS1007に進める。ステップS1007において、CPU202は、ステータス表示画面に、新たに探索された画像形成装置104を識別する文字列を入力し、ディスプレイ214に表示する画面を更新する。ディスプレイ214に表示される画面は、図11(B)の複数の画像形成装置104,105を表示するステータス表示画面になる。その後、CPU202は、処理をステップS1003に戻す。これにより、CPU202は、探索中において、画像形成装置104の探索結果のステータスを取得してその変更を判断する処理を繰り返す。
ステップS1008において、CPU202は、新たに探索された画像形成装置104を表示するための新たなステータス表示画面を生成する。ステップS1009において、CPU202は、新たに生成した画面のステータス表示部分に、新たに探索された画像形成装置104に対応する文字列を入力する。CPU202は、ピックアップできている画像形成装置104を、探索した順番にリスト化してよい。ステップS1010において、CPU202は、新規画面のタイトルに関連付けられているスクリーンリーダ410向けのヒント情報としてのメタデータに、新たに探索された画像形成装置104に対応する文字列を入力する。画像形成装置104に対応する文字列は、たとえばモデル名でよい。変更手段としてのCPU202は、ネットワーク検索で見つけた利用可能な画像形成装置の情報である、画像形成装置104の探索結果のステータスが変化している場合、複数の画像形成装置104,105のステータスを表示する新たな表示画面を生成する。新たな表示画面には、新たに探索された画像形成装置が含まれる。また、CPU202は、新たに利用可能として探索された増加分の画像形成装置104の情報を読み上げるメタデータを生成して変更する。CPU202は、新たな表示画面とともに、表示画面に関連付けられているメタデータとして、新たに探索された画像形成装置104を読み上げるメタデータを生成する。ステップS1011において、CPU202は、ステップS1008より新規に作成した画面に遷移させる処理を実行する。現在表示中の探索結果のステータス表示画面と同等の構成となる新たな画面に遷移させるため、遷移処理時のディスプレイ214の表示は、図11(C)に示すようにスライド遷移となる。ディスプレイ214としてのディスプレイ214の表示は、更新される。この画面遷移により、OSプログラム401を実行するCPU202は、有効なスクリーンリーダ410により、新たな画面に関連付けられているメタデータを音声により読み上げる。CPU202は、新規画面のタイトルまたはヒント情報としてのメタデータを音声により読み上げる。CPU202は、変更手段としてのスクリーンリーダ410により、表示が新たな表示画面に変更される際に、生成されたメタデータを読み上げる。CPU202は、スクリーンリーダ410の機能が有効とされている場合に、生成されたメタデータを読み上げる。これにより、変更後のステータスが、音声により読み上げられる。その後、CPU202は、処理をステップS1003に戻す。これにより、CPU202は、探索中において、画像形成装置104の探索結果のステータスを取得してその変更を判断する処理を繰り返す。なお、CPU202は、戻るボタンが操作されなければ、図10の画像形成装置104の探索結果の監視を継続する。
以上のように、本実施形態では、取得手段としてのCPU202は、画像形成装置104の探索結果のステータスを繰り返して自動的に取得する。そして、ステータスに変更があった際には、新たに探索された画像形成装置104がリアルタイムに読み上げられる。視覚障害があるユーザは、新たに探索された画像形成装置104を、表示によらずに音声により、確認し続けることができる。また、本実施形態では、読み上げを発生させるために、OSプログラム401を実行するCPU202によるメッセージ機能などを使わない。よって、メッセージが出力されるたびにそれを消去するための操作をする必要もない。視覚障害があるユーザは、リアルタイムのステータスを確認し続けるために、情報処理装置101の画面をタップし続ける必要はない。なお、上述した説明では、表示リストに含まれるすべての画像形成装置104のモデル名を入力するのではなく、増加分のみの画像形成装置104のモデル名を入力している。これにより、同じ画像形成装置104が反復して読み上げられることを防止できる。ただし、表示リストに含まれるすべての画像形成装置104のモデル名を入力し、新たな画像形成装置104が探索される度に、リスト上のすべての画像形成装置104のモデル名を読み上げるようにしてもよい。
本実施形態において情報処理装置101は、利用可能な画像形成装置104の情報をデータ通信により繰り返し自動的に取得する。そして、利用可能な画像形成装置104の情報が変化している場合、情報処理装置101は、その情報の変化に対応する変更処理を行い、その変更処理がなされたことに基づいて、利用可能な画像形成装置104の情報を音声により読み上げる。よって、情報処理装置101は、利用可能な画像形成装置104が変化すると、利用可能な画像形成装置104についての変化した情報を適切に音声により読み上げることができる。本実施形態において、情報処理装置101は、利用可能な画像形成装置104の情報を繰り返して自動的に取得する。そして、情報処理装置101は、利用可能な画像形成装置104の情報を表示するための新たな表示画面とともに、利用可能な画像形成装置104の情報を読み上げるメタデータを生成する。情報処理装置101は、読み上げるメタデータとして、新たに利用可能になる増加分の画像形成装置104の情報を読み上げるメタデータを生成する。これにより、情報処理装置101は、利用可能な画像形成装置104が変化すると、新たに利用可能になる増加分の画像形成装置104の情報を適切に音声により読み上げることができる。なお、情報処理装置101は、読み上げるメタデータとして、新たな表示画面に表示するすべての画像形成装置104の情報を読み上げるメタデータを生成してもよい。特に、本実施形態では、情報処理装置101は、OSプログラム401とともにAPプログラム406を実行するCPU202を有し、CPU202は、APプログラム406を実行することにより、これらの手段を画像形成装置104に実現する。よって、APプログラム406は、CPU202がOSプログラム401を実行することにより情報処理装置101に実現されるたとえばスクリーンリーダ410を読上に好適に利用することができる。この場合のスクリーンリーダ410は、たとえばディスプレイ214の表示が新たな表示画面に変更される際に、表示画面に関連付けられているメタデータを読み上げるものであればよい。APプログラム406には、上述したすべての処理を記述しなくてよい。
[第四実施形態]
次に、本発明の第四実施形態に係る情報処理システム100を説明する。第一実施形態から第三実施形態では、スクリーンリーダ410において、画面読み上げを引き起こすきっかけとして、画面遷移があることを活用している。本実施形態では、OSプログラム401、APプログラム406の両方の機能を拡張し、ステータスの変化に対応して変化後のステータスを読み上げる。これにより、アクセシビリティが向上し得る。
図12は、本発明の第四実施形態における、情報処理装置101の表示用のUIコンポーネントの説明図である。図12(A)は、OSプログラム401により標準的に提供される表示用のUIコンポーネントの説明図である。図12(A)のUIコンポーネントの属性情報2001は、上述した実施形態で説明したヒント情報に相当するものである。OSプログラム401を実行するCPU202は、UIコンポーネントの表示アイテムがタップされたことを検知する。この検知に基づいて、CPU202は、「contentDescription」属性情報2001の属性値として設定された文字列を取得し、スクリーンリーダ410に読み上げさせる。図12(B)は、本実施形態における拡張した表示用のUIコンポーネントの説明図である。図12(B)の表示用のUIコンポーネントでは、図12(A)と比べて、「livecontentDescription」といった属性情報2002が追加される。属性情報2002は、APプログラム406の開発者が動的にコンテンツを変更したことを、OSプログラム401やスクリーンリーダ410に通知したい場合に使用する属性情報である。たとえば、動的にコンテンツが変更となった場合、ユーザに伝えるべき情報が変更となった場合、APプログラム406は、動的コンテンツに関するメタデータである、属性情報2002を書き換える。また、たとえば、画像形成装置104のステータスが、「印刷中」から、「紙詰まり」になり、ユーザに伝えるべき情報が変更となった場合、APプログラム406は、動的コンテンツに関するメタデータである、属性情報2002を書き換える。
OSプログラム401を実行するCPU202は、属性情報2002の変更をイベントとして検知する。たとえば、OSプログラム401が提供するAPプログラム406実行プラットフォームに、当該属性情報が変更されたこと、及び当該変更後の文字列を含むイベントをハンドリングする機能を組み込む。また、OSプログラム401向けのAPプログラム406の開発環境として、当該イベントを発生させるためのコードライブラリを提供する。即ち、UIコンポーネントの属性情報(livecontentDescription)が変更されたことに従って、前述したイベントをスローするようにフレームワークを構築する。このような属性情報の変更を含むソースコードをビルドすることにより、コンテンツの動的な変更処理をトリガーとして、前述のイベントが発生するような中間コード若しくはバイナリコードが生成される。このOSプログラム401の仕組みにより、APプログラム406は、APプログラム406上で発生した動的なコンテンツの変更を、OSプログラム401に簡単に通知することができる。そして、OSプログラム401を実行するCPU202は、当該イベントの発生を検知すると、変更後の文字列をスクリーンリーダ410に通知する。
図12(C)は、UIコンポーネント上に表示する表示コンテンツを動的に変更するための、属性情報2002を書き換えるコードの一例である。StatusImageは、UIコンポーネントの実オブジェクトである。APプログラム406の開発者は、当該実オブジェクトのプロパティである「livecontentDescription」に対して、変更後のコンテンツを説明する文字列(ここでは、「紙詰まり」)をセットする。APプログラム406の開発者は、APプログラム406にこの属性情報2002を書き換えるコードを1行追加する。これにより、拡張されたOSプログラム401を実行するCPU202に、変更された属性情報に対応する文字列を、スクリーンリーダ410に読み上げさせる。ステータスの動的変更の内容は、スクリーンリーダ410から音声により出力される。
本実施形態の仕組みを第一実施形態に適用する場合、CPU202は、図6のステップS608〜ステップS611の処理に替えて、UIコンポーネントの属性情報2002の属性値を変更する処理を実行する。こここで、livecontentDescriptionの属性値には、変更後のステータスの文字列とすればよい。併せて、UIコンポーネントに表示すべきコンテンツ(文字列や文字列を示す画像)を変更してもよい。これにより、拡張されたOSプログラム401を実行するCPU202は、属性情報2002の属性値の変更に基づいて、変更がなされたことを示すイベントを検知する。続けて、CPU202は、APプログラム406において属性情報2002が変更されたことに応じて発生したイベントをハンドリングする。具体的には、CPU202は、イベントに含まれる文字列をスクリーンリーダ410に通知し、変更を読み上げさせる。
また、本実施形態の仕組みを第二実施形態に適用する場合、CPU202は、図8のステップS808〜S811の処理に替えて、UIコンポーネントの「livecontentDescription」属性情報2002の値を変更する処理を実行する。こここで、livecontentDescriptionの値には、変更後のステータスの文字列とすればよい。併せて、UIコンポーネントに表示すべきコンテンツ(文字列や文字列を示す画像)を変更してもよい。これに基づく、拡張されたOSプログラム401を実行するCPU202の処理は、上述したものと同様である。
また、本実施形態の仕組みを第三実施形態に適用する場合、図10のステップS1008〜S1011の処理に替えて、UIコンポーネントの「livecontentDescription」属性情報2002の値を変更する処理を実行する。こここで、livecontentDescriptionの値には、変更後のステータスである追加分のモデル名の文字列とすればよい。併せて、UIコンポーネントに表示すべきコンテンツ(文字列や文字列を示す画像)を変更してもよい。これに基づく、拡張されたOSプログラム401を実行するCPU202の処理は、上述したものと同様である。
以上のように、本実施形態では、ステータスが動的に変更したことを、コンテンツの変更として、APプログラム406から、拡張されたOSプログラム401に対して通知できる。拡張されたOSプログラム401を実行するCPU202は、イベントを取得してハンドリングし、変化後のステータスを音声により出力する。本実施形態では、画像形成装置104は、APプログラム406に基づく処理において、OSプログラム401により提供される情報処理装置101の表示用のUIコンポーネントの属性情報2002の属性値を更新する。また、画像形成装置104は、メタデータの一種である表示用のUIコンポーネントの表示テキストデータを、画像形成装置104の変化後のステータスまたは変化した利用可能な画像形成装置104の情報に変更する。この場合、OSプログラム401を実行する画像形成装置104は、表示用のUIコンポーネントの属性値が変更されるイベントに基づいて、表示用のUIコンポーネントから表示テキストデータを取得する。また、画像形成装置104は、テキストデータを読み上げるスクリーンリーダ410へ通知することができる。その結果、本実施形態では、変化した画像形成装置104のステータスまたは利用可能な画像形成装置104の情報を音声により読み上げることができる。よって、APプログラム406は、CPU202がOSプログラム401を実行することにより情報処理装置101に実現されるたとえばスクリーンリーダ410およびスクリーンリーダ410への通知機能を、読上処理に好適に利用することができる。この場合のスクリーンリーダ410は、たとえば通知されたテキストデータを読み上げるものであればよい。APプログラム406には、上述したすべての処理を記述しなくてよい。
また、本実施形態では、情報処理装置101で動作しているアプリケーションが提供する操作画面に関する内容であって、操作画面を構成する表示コンテンツの一部に動的な更新が行われたこと及びその更新内容を示すメタデータが変更されたことを検知する。そして、本実施形態では、その変更が検知された場合に、更新されたメタデータに基づく音声を出力する。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。本発明は、上述の実施の形態の1以上の機能を実現するプログラムを、ネットワークや記録媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの1つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100 情報処理システム
101 情報処理装置
104,105 画像形成装置
202 CPU
213 マイク・スピーカ
401 OSプログラム
406 APプログラム
410 スクリーンリーダ
2002 属性情報

Claims (12)

  1. 画像形成装置と通信可能な情報処理装置であって、
    前記画像形成装置に関連する情報を取得する取得手段と、
    前記取得された情報に基づき、前記画像形成装置に関する情報であって、ユーザに通知すべき情報が変化していると判断した場合に、音声通知に使用されるメタデータを変更する処理を行う変更手段と、
    前記変更手段により変更処理がなされたことに基づいて、変化した前記画像形成装置に関する情報を音声により読み上げる読上手段と、
    を有する、ことを特徴とする情報処理装置。
  2. 前記画像形成装置に関連する情報は、前記画像形成装置のジョブ実行に関わるステータスであり、
    前記変更手段は、前記取得された情報に基づき、ジョブ実行に関わるステータスが変更になったと判断した場合に、前記メタデータを当該変更後のステータスに基づき変更する処理を行う、ことを特徴とする請求項1に記載の情報処理装置。
  3. 前記画像形成装置に関連する情報は、ネットワーク検索で見つかった利用可能な画像形成装置に関する情報であり、
    前記変更手段は、前記取得された情報に基づき、新たに利用可能な画像形成装置が増えた場合に、前記メタデータを新たに利用可能となった画像形成装置を識別する情報を含む情報に変更する処理を行う、ことを特徴とする請求項1に記載の情報処理装置。
  4. 前記情報処理装置において前記画像形成装置に関する情報を表示する表示手段、を有し、
    前記変更手段は、前記メタデータを変更する処理として、前記画像形成装置の情報を前記表示手段に新たに表示するための表示画面を新たに生成し、当該新たな表示画面に関連付けるメタデータを変更することにより、前記表示手段の表示画面と、前記読上手段が読み上げるべき情報を更新する、ことを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。
  5. 前記読上手段は、前記情報処理装置のオペレーティングシステムが提供する、前記表示手段の表示が新たな表示画面に変更される際に、表示画面に関連付けられているメタデータを読み上げるスクリーンリーダ機能によって実現され、
    前記スクリーンリーダは、前記変更手段によって、前記表示手段の表示が新たな表示画面に変更されたことに応じて、前記新たな表示画面に対応するメタデータを読み上げる、ことを特徴とする請求項4に記載の情報処理装置。
  6. 前記スクリーンリーダは、前記情報処理装置において表示の読み上げが有効とされている場合に、前記変更手段として、生成された前記メタデータを読み上げる、ことを特徴とする請求項5に記載の情報処理装置。
  7. 前記変更手段は、前記変更処理として、前記情報処理装置の表示用のUIコンポーネントによって表示される動的コンテンツに関するメタデータを示す属性値を前記変化した前記画像形成装置に関する情報に変更し、
    前記読上手段は、前記動的コンテンツに関するメタデータが変更されたことに従い発生したイベントに基づく読み上げ指示を受信したことに基づいて、前記変化した前記画像形成装置の情報を音声により読み上げる、ことを特徴とする請求項1に記載の情報処理装置。
  8. 前記情報処理装置には、印刷アプリケーションがインストールされており、前記情報処理装置のプロセッサが前記印刷アプリケーションを実行することで少なくとも、前記取得手段、前記変更手段、が実現される、ことを特徴とする請求項1乃至7のいずれか1項に記載の情報処理装置。
  9. 画像形成装置と通信可能な情報処理装置の制御方法であって、
    前記画像形成装置に関連する情報を取得する取得工程と、
    前記取得された情報に基づき、前記画像形成装置に関する情報であって、ユーザに通知すべき情報が変化していると判断した場合に、音声通知に使用されるメタデータを変更する処理を行う変更工程と、
    前記変更工程により変更処理がなされたことに基づいて、変化した前記画像形成装置に関する情報を音声により読み上げる読上工程と、
    を有する、情報処理装置の制御方法。
  10. 画像形成装置と通信可能な情報処理装置の制御方法をコンピュータに実行させるプログラムであって、
    前記情報処理装置の制御方法は、
    前記画像形成装置に関連する情報を取得する取得工程と、
    前記取得された情報に基づき、前記画像形成装置に関する情報であって、ユーザに通知すべき情報が変化していると判断した場合に、音声通知に使用されるメタデータを変更する処理を行う変更工程と、
    前記変更工程により変更処理がなされたことに基づいて、変化した前記画像形成装置に関する情報を音声により読み上げる読上工程と、
    を有する、プログラム。
  11. 画像形成装置と、前記画像形成装置とデータ通信可能な情報処理装置とを有する情報処理システムであって、
    前記情報処理装置は、
    前記画像形成装置に関連する情報を取得する取得手段と、
    前記取得された情報に基づき、前記画像形成装置に関する情報であって、ユーザに通知すべき情報が変化していると判断した場合に、音声通知に使用されるメタデータを変更する処理を行う変更手段と、
    前記変更手段により変更処理がなされたことに基づいて、変化した前記画像形成装置に関する情報を音声により読み上げる読上手段と、
    を有する、情報処理システム。
  12. 情報処理装置であって、
    前記情報処理装置で動作しているアプリケーションが提供する操作画面に関する内容であって、前記操作画面を構成する表示コンテンツの一部に動的な更新が行われたこと及びその更新内容を示すメタデータが変更されたことを検知する検知手段と、
    前記検知手段によって前記メタデータの変更が検知された場合に、前記更新されたメタデータに基づく音声を出力する出力手段と、
    を有する、ことを特徴とする情報処理装置。
JP2018161687A 2018-08-30 2018-08-30 情報処理装置、その制御方法、プログラム、および情報処理システム Pending JP2020035210A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018161687A JP2020035210A (ja) 2018-08-30 2018-08-30 情報処理装置、その制御方法、プログラム、および情報処理システム
US16/529,894 US20200076971A1 (en) 2018-08-30 2019-08-02 Information processing apparatus allowing data communication with image forming apparatus, control method therefor, and application development environment providing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018161687A JP2020035210A (ja) 2018-08-30 2018-08-30 情報処理装置、その制御方法、プログラム、および情報処理システム

Publications (1)

Publication Number Publication Date
JP2020035210A true JP2020035210A (ja) 2020-03-05

Family

ID=69639134

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018161687A Pending JP2020035210A (ja) 2018-08-30 2018-08-30 情報処理装置、その制御方法、プログラム、および情報処理システム

Country Status (2)

Country Link
US (1) US20200076971A1 (ja)
JP (1) JP2020035210A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021140680A (ja) * 2020-03-09 2021-09-16 キヤノン株式会社 情報処理装置、情報処理システム、その制御方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021140680A (ja) * 2020-03-09 2021-09-16 キヤノン株式会社 情報処理装置、情報処理システム、その制御方法
JP7493968B2 (ja) 2020-03-09 2024-06-03 キヤノン株式会社 情報処理装置、情報処理システム、その制御方法

Also Published As

Publication number Publication date
US20200076971A1 (en) 2020-03-05

Similar Documents

Publication Publication Date Title
JP7179929B2 (ja) 音声制御デバイス、印刷装置、それらの制御方法およびプログラム
US8964206B2 (en) Printing device, management device and management method
JP7071098B2 (ja) 音声制御システム、制御方法およびプログラム
JP7146379B2 (ja) 印刷方法、音声制御システムおよびプログラム
JP6704881B2 (ja) システム
CN106254718B (zh) 图像处理系统、图像接收装置、图像处理装置及其方法
JP6755834B2 (ja) システムおよび印刷装置およびサーバシステムおよび制御方法およびプログラム
JP7596466B2 (ja) 印刷装置とその制御方法、プログラム、記録媒体、システムとその制御方法
JP6172074B2 (ja) プリントシステム、プリントサーバー、プリント制御方法およびプリント制御プログラム
JP2019096295A (ja) 音声制御システム、制御方法及びプログラム
CN111314569B (zh) 图像处理系统、云服务器以及程序
JP2005094444A (ja) スキャナ装置、データ送信方法、データ送信プログラム、およびデータ処理装置
JP2019095835A (ja) 音声制御システム、制御方法及びプログラム
JP5817766B2 (ja) 情報処理装置、通信システム及びプログラム
JP2023053961A (ja) システムおよび制御方法
JP5768637B2 (ja) 情報処理プログラム、情報処理装置、および情報処理方法
JP6215043B2 (ja) 情報表示システム及び電子機器
JP2020035210A (ja) 情報処理装置、その制御方法、プログラム、および情報処理システム
JP7094762B2 (ja) プログラム、情報処理装置、および制御方法
JP6891660B2 (ja) 情報処理装置、情報処理システム及びプログラム
JP2021051416A (ja) 音声操作システム、音声操作方法及びプログラム
JP6693167B2 (ja) 情報端末、画像処理システム、および、プログラム
JP6344233B2 (ja) 画像形成システム、画像形成装置、遠隔制御方法および遠隔制御プログラム
JP2021073548A (ja) 情報処理装置およびその制御方法、並びにプログラム
JP7604217B2 (ja) 画像処理装置、その制御方法、プログラム及びシステム