JP2016162010A - Processing system, terminal device, processing apparatus, processing apparatus control method, and computer program - Google Patents
Processing system, terminal device, processing apparatus, processing apparatus control method, and computer program Download PDFInfo
- Publication number
- JP2016162010A JP2016162010A JP2015037573A JP2015037573A JP2016162010A JP 2016162010 A JP2016162010 A JP 2016162010A JP 2015037573 A JP2015037573 A JP 2015037573A JP 2015037573 A JP2015037573 A JP 2015037573A JP 2016162010 A JP2016162010 A JP 2016162010A
- Authority
- JP
- Japan
- Prior art keywords
- screen
- terminal device
- processing device
- text
- operation screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims description 115
- 238000000034 method Methods 0.000 title claims description 39
- 238000004590 computer program Methods 0.000 title claims 5
- 230000005540 biological transmission Effects 0.000 claims description 36
- 230000008569 process Effects 0.000 claims description 31
- 238000012790 confirmation Methods 0.000 claims description 26
- 230000000694 effects Effects 0.000 claims 2
- 230000006870 function Effects 0.000 description 20
- 238000004891 communication Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 230000007704 transition Effects 0.000 description 9
- 238000001514 detection method Methods 0.000 description 8
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 235000016496 Panda oleosa Nutrition 0.000 description 1
- 240000000220 Panda oleosa Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- JCYWCSGERIELPG-UHFFFAOYSA-N imes Chemical compound CC1=CC(C)=CC(C)=C1N1C=CN(C=2C(=CC(C)=CC=2C)C)[C]1 JCYWCSGERIELPG-UHFFFAOYSA-N 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Landscapes
- Facsimiles In General (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、端末装置と画像形成装置などとのリモートアクセスの際の表示の技術に関する。 The present invention relates to a display technique for remote access between a terminal device and an image forming apparatus.
コピー、スキャン、ファックス、またはドキュメントサーバなど様々な機能が備わった画像形成装置が普及している。このような画像形成装置は、「複合機」または「ＭＦＰ（Multi-functional Peripheral）」と呼ばれることもある。 2. Description of the Related Art Image forming apparatuses having various functions such as copying, scanning, faxing, and document servers are widely used. Such an image forming apparatus is sometimes called a “multifunction peripheral” or “MFP (Multi-functional Peripheral)”.
画像形成装置には、通常、タッチパネルディスプレイが備わっている。タッチパネルディスプレイには、画像形成装置を操作するための様々な画面が表示される。 An image forming apparatus is usually provided with a touch panel display. Various screens for operating the image forming apparatus are displayed on the touch panel display.
また、タブレットコンピュータおよびスマートフォンなどの可搬型の端末装置から画像形成装置へリモートアクセスし、画像形成装置の画面を端末装置に表示させ、端末装置からの操作に基づいて画像形成装置が処理を実行する技術が、提案されている（特許文献１）。 Further, the image forming apparatus is remotely accessed from a portable terminal device such as a tablet computer or a smartphone, the screen of the image forming apparatus is displayed on the terminal apparatus, and the image forming apparatus executes processing based on an operation from the terminal apparatus. A technique has been proposed (Patent Document 1).
さらに、近年、端末装置には、音声によってテキストを入力する機能が備えられるようになった。この機能は、「音声ＩＭＥ」などと呼ばれることがある。 Furthermore, in recent years, terminal devices have been provided with a function of inputting text by voice. This function is sometimes called “voice IME”.
端末装置から画像形成装置へリモートアクセスしている際にも、音声ＩＭＥによって画像形成装置へテキストを入力することができる。 Even during remote access from the terminal device to the image forming apparatus, text can be input to the image forming apparatus by voice IME.
端末装置に備えられる従来の音声ＩＭＥによってテキストを入力する際に、端末装置のディスプレイの表示面のほぼ全域に、音声ＩＭＥの操作用の画面が表示される。 When text is input using a conventional voice IME provided in the terminal device, a screen for operating the voice IME is displayed on almost the entire display surface of the display of the terminal device.
しかし、上述の通り、画像形成装置には、様々な画面が用意されている。したがって、リモートアクセスの最中に音声ＩＭＥの操作用の画面が表示されると、画像形成装置に対してどのような操作を行っているのかがユーザにとって分かりにくくなってしまう。つまり、視認性が悪くなってしまう。 However, as described above, various screens are prepared in the image forming apparatus. Therefore, if a screen for operating the audio IME is displayed during remote access, it is difficult for the user to understand what operation is being performed on the image forming apparatus. That is, the visibility is deteriorated.
本発明は、このような問題点に鑑み、端末装置から画像形成装置へのリモートアクセスの最中に、いわゆる音声ＩＭＥを用いて画像形成装置へテキストを入力する場合の視認性を従来よりも向上させることを、目的とする。 In view of such problems, the present invention improves the visibility when inputting text into an image forming apparatus using a so-called voice IME during remote access from the terminal device to the image forming apparatus. The purpose is to make it.
本発明の一形態に係る処理システムは、特定の処理を行う処理装置と、リモートアクセスによって前記処理装置を制御する端末装置と、によって構成される処理システムであって、前記処理装置に、当該処理装置をユーザが操作するための操作用画面の画面データを前記端末装置へ送信する画面データ送信手段、が設けられ、前記端末装置に、前記処理装置から送信されてきた前記画面データに基づいて前記操作用画面を表示する操作用画面表示手段と、音声を集音する集音手段と、集音された前記音声が表わすテキストを示すためのテキスト領域を有する確認画面を前記操作用画面の一部分の上に重ねて表示する確認画面表示手段と、前記テキストを、前記操作用画面に対して入力されたものとして前記処理装置へ送信するテキスト送信手段と、が設けられる。 A processing system according to an aspect of the present invention is a processing system including a processing device that performs specific processing and a terminal device that controls the processing device by remote access, and the processing device includes the processing device. Screen data transmitting means for transmitting screen data of an operation screen for a user to operate the device to the terminal device is provided, and the terminal device is based on the screen data transmitted from the processing device. An operation screen display means for displaying the operation screen, a sound collection means for collecting sound, and a confirmation screen having a text area for indicating the text represented by the collected sound are displayed as part of the operation screen. A confirmation screen display means for displaying the text on the screen, and a text transmitter for transmitting the text to the processing device as input to the operation screen. And, it is provided.
好ましくは、前記操作用画面は、ソフトウェアキーボードおよび当該ソフトウェアキーボードによって入力された第二のテキストを示すための第二のテキスト領域を有し、前記画面データ送信手段は、前記画面データとともに、前記操作用画面における前記第二のテキスト領域の位置を示す位置データを前記端末装置へ送信し、前記確認画面表示手段は、前記位置データに基づいて、前記第二のテキスト領域の上に前記確認画面を表示する。 Preferably, the operation screen includes a software keyboard and a second text area for indicating a second text input by the software keyboard, and the screen data transmission means includes the operation data together with the screen data. Position data indicating the position of the second text area on the screen for use is transmitted to the terminal device, and the confirmation screen display means displays the confirmation screen on the second text area based on the position data. indicate.
または、前記確認画面表示手段は、前記操作用画面が表示される際に、前記確認画面を表示する。 Alternatively, the confirmation screen display means displays the confirmation screen when the operation screen is displayed.
または、前記テキスト領域の高さは、前記第二のテキスト領域よりも高く、前記確認画面表示手段は、前記テキスト領域に配示される文字よりも大きくサイズで前記テキストを示す。 Alternatively, the height of the text area is higher than that of the second text area, and the confirmation screen display means displays the text in a size larger than characters arranged in the text area.
または、前記確認画面表示手段は、前記操作用画面の中の、前記確認画面が重なっていない部分が操作されたら、前記確認画面を表示するのを止める。 Alternatively, the confirmation screen display means stops displaying the confirmation screen when a portion of the operation screen where the confirmation screen does not overlap is operated.
本発明の他の一形態に係る処理システムは、特定の処理を行う処理装置と、リモートアクセスによって前記処理装置を制御する端末装置と、によって構成される処理システムであって、前記処理装置に、ソフトウェアキーボードおよび当該ソフトウェアキーボードによって当該処理装置に対して入力された第一のテキストを示すためのテキスト領域を有する操作用画面の画面データを、前記端末装置へ送信する画面データ送信手段、が設けられ、前記端末装置に、前記処理装置から送信されてきた前記画面データに基づいて前記操作用画面を表示する操作用画面表示手段と、音声を集音する集音手段と、前記操作用画面が表示された後に前記集音手段によって前記音声が集音され始めた場合に、集音され始めた旨の通知を前記処理装置へ送信する、通知手段と、集音された前記音声が表わす第二のテキストを、前記操作用画面に対して入力されたものとして前記処理装置へ送信するテキスト送信手段と、が設けられ、前記画面データ送信手段は、前記通知があった場合に、前記テキスト領域の高さを高くした前記操作用画面の前記画面データを送信し直し、前記操作用画面表示手段は、新たに送信されてきた前記画面データに基づいて前記操作用画面を表示し直す。 A processing system according to another aspect of the present invention is a processing system including a processing device that performs specific processing and a terminal device that controls the processing device by remote access, and the processing device includes: A screen data transmission means for transmitting screen data of an operation screen having a text area for indicating a first text input to the processing device by the software keyboard and the software keyboard to the terminal device; The operation screen display means for displaying the operation screen based on the screen data transmitted from the processing device, the sound collection means for collecting sound, and the operation screen are displayed on the terminal device. When the sound begins to be collected by the sound collecting means after the sound is collected, a notification that the sound has started to be collected is transmitted to the processing device. And a text transmission means for transmitting the second text represented by the collected voice to the processing device as input to the operation screen, and the screen data When the notification is received, the transmission means retransmits the screen data of the operation screen in which the height of the text area is increased, and the operation screen display means transmits the screen that has been newly transmitted. The operation screen is displayed again based on the data.
本発明によると、端末装置から画像形成装置へのリモートアクセスの最中に、いわゆる音声ＩＭＥを用いて画像形成装置へテキストを入力する場合の視認性を従来よりも向上させることができる。 According to the present invention, it is possible to improve visibility when inputting text to an image forming apparatus using a so-called voice IME during remote access from the terminal device to the image forming apparatus.
〔第一の実施形態〕
図１は、処理システム１００の全体的な構成の例を示す図である。図２は、画像形成装置１のハードウェア構成の例を示す図である。図３は、端末装置のハードウェア構成の例を示す図である。
[First embodiment]
FIG. 1 is a diagram illustrating an example of the overall configuration of the
処理システム１００は、図１に示すように、画像形成装置１、端末装置２、および通信回線４などによって構成される。
As shown in FIG. 1, the
画像形成装置１と端末装置２とは、通信回線４を介して通信することができる。通信回線４として、有線ＬＡＮ（Local Area Network）回線、無線ＬＡＮ回線、インターネット、または専用回線などが用いられる。
The image forming apparatus 1 and the
画像形成装置１は、一般に複合機またはＭＦＰ（Multi Function Peripherals）などと呼ばれる画像処理装置であって、コピー、ＰＣプリント、ファックス、スキャナ、ボックスおよび電子メールの送信などの機能を集約した装置である。 The image forming apparatus 1 is an image processing apparatus generally called a multifunction peripheral or MFP (Multi Function Peripherals), and is an apparatus that integrates functions such as copying, PC printing, faxing, scanners, boxes, and e-mail transmission. .
ＰＣプリント機能は、他の装置から受信した画像データに基づいて画像をシートに印刷する機能である。ボックス機能は、ユーザごとに「ボックス」または「パーソナルボックス」などと呼ばれる記憶領域を与えておき、各ユーザが自分の記憶領域によって画像ファイルなどのドキュメントデータを保存し管理するための機能である。 The PC print function is a function for printing an image on a sheet based on image data received from another apparatus. The box function is a function for giving a storage area called “box” or “personal box” for each user, and for each user to save and manage document data such as an image file in his / her storage area.
画像形成装置１は、図２に示すように、ＣＰＵ（Central Processing Unit）１０ａ、ＲＡＭ（Random Access Memory）１０ｂ、ＲＯＭ（Read Only Memory）１０ｃ、補助記憶装置１０ｄ、タッチパネルディスプレイ１０ｅ、操作キーパネル１０ｆ、ＮＩＣ（Network Interface Card）１０ｇ、モデム１０ｈ、スキャンユニット１０ｊ、プリントユニット１０ｋ、および近距離通信ユニット１０ｍなどによって構成される。
As shown in FIG. 2, the image forming apparatus 1 includes a CPU (Central Processing Unit) 10a, a RAM (Random Access Memory) 10b, a ROM (Read Only Memory) 10c, an auxiliary storage device 10d, a
タッチパネルディスプレイ１０ｅは、ユーザに対するメッセージを示す画面、ユーザがコマンドまたは情報を入力するための画面、およびＣＰＵ１０ａなどが実行した処理の結果を示す画面などを表示する。また、タッチパネルディスプレイ１０ｅは、ユーザがタッチした位置を検知し、その位置をＣＰＵ１０ａへ通知する。
The
操作キーパネル１０ｆは、いわゆるハードウェアキーボードであって、スタートキーおよび他の複数のキーによって構成される。
The
ＮＩＣ１０ｇは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などのプロトコルによって端末装置２または他の装置と通信を行う。
The
モデム１０ｈは、ファックス端末との間でＧ３などのプロトコルで画像データをやり取りする。
The
スキャンユニット１０ｊは、プラテンガラスの上にセットされたシートに記されている画像を読み取って画像データを生成する。 The scan unit 10j reads an image written on a sheet set on the platen glass and generates image data.
プリントユニット１０ｋは、通信回線４を介して他の装置から受信した画像またはスキャンユニット１０ｊによって読み取られた画像などをシートに印刷する。
The
近距離通信ユニット１０ｍは、例えばＢｌｕｅｔｏｏｔｈ（登録商標）によって端末装置２などの装置と通信を行う。
The short-
ＲＯＭ１０ｃまたは補助記憶装置１０ｄには、上述のコピーおよびボックスなどの機能を実現するためのプログラムおよびデータが記憶されている。さらに、被リモートアクセス用プログラム１０Ｐ（図８参照）が記憶されている。
The
これらのプログラムは、必要に応じてＲＡＭ１０ｂにロードされ、ＣＰＵ１０ａによって実行される。補助記憶装置１０ｄとして、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）などが用いられる。
These programs are loaded into the
端末装置２は、画像形成装置１を遠隔的に操作する、いわゆるリモートアクセスに使用される。端末装置２として、パーソナルコンピュータ、タブレットコンピュータ、またはスマートフォンなどが用いられる。以下、端末装置２として、タブレットコンピュータが用いられる場合を例に説明する。
The
端末装置２は、図３に示すように、ＣＰＵ２０ａ、ＲＡＭ２０ｂ、ＲＯＭ２０ｃ、フラッシュメモリ２０ｄ、タッチパネルディスプレイ２０ｅ、操作ボタン群２０ｆ、デジタルカメラ２０ｇ、無線通信装置２０ｈ、近距離通信ユニット２０ｋ、スピーカ２０ｉ、およびマイクロフォン２０ｊなどによって構成される。
As shown in FIG. 3, the
タッチパネルディスプレイ２０ｅは、ユーザに対するメッセージを示す画面、およびユーザがコマンドまたは情報を入力するための画面などを表示する。特に、画像形成装置１のリモートアクセスでは、画像形成装置１から提供される画面を表示する。また、タッチパネルディスプレイ２０ｅは、ユーザがタッチした位置を検知し、その位置をＣＰＵ２０ａへ通知する。
The
操作ボタン群２０ｆは、ホーム画面に戻るためのボタン、入力した内容を確定するためのボタン、音量を調整するためのボタン、および電源のオン／オフを切り換えるためのボタンなどによって構成される。 The operation button group 20f includes a button for returning to the home screen, a button for confirming the input content, a button for adjusting the volume, a button for switching on / off the power, and the like.
デジタルカメラ２０ｇは、種々の被写体を撮影する。スピーカ２０ｉは、音声データに基づいて音声を出力する。
The
マイクロフォン２０ｊは、集音し音声データを生成する。特に、ユーザがいわゆる音声入力によってコマンドまたは情報を入力する場合に、ユーザの発した声に応じた音声データを生成する。
The
無線通信装置２０ｈは、無線基地局を介してＴＣＰ／ＩＰなどのプロトコルによって画像形成装置１などの装置と通信を行う。
The
近距離通信ユニット２０ｋは、例えばＢｌｕｅｔｏｏｔｈによって画像形成装置１などの装置と通信を行う。
The short-
ＲＯＭ２０ｃまたはフラッシュメモリ２０ｄには、リモートアクセス用プログラム２０Ｐ（図８参照）が記憶されている。リモートアクセス用プログラム１０Ｐは、ＲＡＭ２０ｂにロードされ、ＣＰＵ２０ａによって実行される。
A
被リモートアクセス用プログラム１０Ｐおよびリモートアクセス用プログラム２０Ｐによると、ユーザは、タッチパネルディスプレイ１０ｅの代わりに端末装置２を使用して画像形成装置１のリモートアクセスをすることができる。しかも、その際に、音声入力によって文字を入力する場合に、ユーザは、行いたい一連の操作のどの段階で文字を入力しているかを従来よりも理解し易く、かつ自己の話した言葉を文字列へ変換する処理の結果を従来よりも確認し易い、という特徴を有する画面を見ながら文字の入力をすることができる。
According to the
以下、この仕組みについて、関連する画面の例、画面の遷移の例、プログラムによって実現される機能的な構成の例、ならびに画像形成装置１および端末装置２のそれぞれの全体的な処理の流れの例を順に説明する。
Hereinafter, regarding this mechanism, examples of related screens, examples of screen transitions, examples of functional configurations realized by programs, and examples of the overall processing flow of each of the image forming apparatus 1 and the
図４は、キーボード画面１７の例を示す図である。図５は、音声入力画面２６の例を示す図である。
FIG. 4 is a diagram illustrating an example of the
キーボード画面１７は、図４に示すように、キーボード１７１、文字表示エリア１７２、およびＯＫボタン１７３を有する。
As shown in FIG. 4, the
キーボード１７１は、いわゆるソフトウェアキーボードである。
The
文字表示エリア１７２は、ユーザがキーボード１７１によってタイピングをするごとに、タッチされたキーに対応する文字または数字などを表示し、タイピングされた文字または文字列がＩＭＥ（Input Method Editor）によって漢字またはかななどに変換されるごとに、変換の結果を表示するためのエリアである。文字表示エリア１７２は、細長い帯状である。
The
ＯＫボタン１７３は、ユーザがキーボード画面１７の表示の終了を指示するためのボタンである。
The
キーボード画面１７は、画像形成装置１が文字の入力を受け付ける状態であるときに、画像形成装置１のタッチパネルディスプレイ１０ｅによって、表示面のほぼ全域にわたるサイズで表示される。また、リモートアクセスでは、端末装置２のタッチパネルディスプレイ２０ｅによって、表示面のほぼ全域にわたるサイズで表示される。
When the image forming apparatus 1 is in a state of accepting input of characters, the
ユーザは、例えばファックスまたは電子メールの宛先を登録したり、ボックスに保存するドキュメントのドキュメント名を指定したりする際、宛先またはドキュメント名などの文字列の入力欄（テキストボックス）にタッチすることによってキーボード画面１７を表示させる。
For example, when registering a destination of a fax or e-mail or specifying a document name of a document to be stored in a box, the user touches an input field (text box) of a character string such as a destination or a document name. The
リモートアクセスによって文字を入力する場合、ユーザは、端末装置２と画像形成装置１との接続が確立した直後に端末装置２のタッチパネルディスプレイ２０ｅに表示される画面から適宜に画面を遷移させる操作を行うことによって、図４のように端末装置２のタッチパネルディスプレイ２０ｅにキーボード画面１７を表示させる。
When inputting a character by remote access, the user performs an operation to appropriately change the screen from the screen displayed on the
音声入力画面２６は、図５に示すように、帯状の文字表示エリア２６１およびアイコン２６２から構成される。文字表示エリア２６１は、音声入力用のＩＭＥである音声ＩＭＥ２１０（図８参照）によって得られた文字列５２を表示するためのエリアである。
As shown in FIG. 5, the
アイコン２６２は、端末装置２が音声による文字の入力を受け付ける状態であること、すなわち音声ＩＭＥ２１０が音声をそれに応じた文字コードに変換することが可能なオンの状態（以下、これを「アクティブ」と記載することがある）であることを表わすアイコンである。
The
図４と図５とを見比べて分かる通り、音声入力画面２６の文字表示エリア２６１は、キーボード画面１７の文字表示エリア１７２よりも太い。また、文字表示エリア２６１の長さは、文字表示エリア１７２の長さ以上である。つまり、端末装置２によって表示されている状態において、文字表示エリア２６１は、文字表示エリア１７２よりも大きい。文字表示エリア２６１では、文字表示エリア１７２によって表示するのと比べて、文字列５２を大きく表示することができる。
As can be seen by comparing FIG. 4 and FIG. 5, the
端末装置２は、文字表示エリア２６１を用いて、文字列５２を、文字表示エリア１７２に収まるサイズよりも大きいサイズで表示する。つまり、ユーザにとって見易く、自己の話した言葉が意図した通りの文字列５２に変換されたかどうかを確認し易いように、文字列５２を表示する。
The
注目すべき点は、文字表示エリア２６１が文字表示エリア１７２と比べて大きいけれども、タッチパネルディスプレイ２０ｅの表示面の全域を占めるものではない、という点である。文字表示エリア２６１は、キーボード画面１７よりも小さい。
It should be noted that although the
また、アイコン２６２もキーボード画面１７よりも小さい。
The
さらに、文字表示エリア２６１のサイズにアイコン２６２のサイズを加えた合計サイズも、キーボード画面１７よりも小さい。例えば合計サイズは、キーボード画面１７のサイズの５０％以下のサイズである。つまり、音声入力画面２６は、キーボード画面１７よりも小さい。
Furthermore, the total size obtained by adding the size of the
音声入力画面２６は、音声ＩＭＥ２１０がアクティブであるときに、端末装置２のタッチパネルディスプレイ２０ｅに、キーボード画面１７の上に重ねるように表示される。このとき、キーボード画面１７の方が音声入力画面２６よりも大きいので、キーボード画面１７の一部分は隠れない。ユーザは、キーボード画面１７のうちの隠されていない部分を見ることができる。そして、自己がキーボード画面１７を表示させる操作をしたことを認識することができる。よって、音声入力画面２６は、ユーザからみて、自己が行いたい一連の操作のどの段階で文字を入力しているかを、キーボード画面１７が全く見えない場合と比べて理解し易い画面である。
The
なお、音声入力画面２６は、文字表示エリア２６１と、アイコン２６２と、これらを囲む背景２６３とで構成されてもよい。背景２６３は、タッチパネルディスプレイ２０ｅの表示面と同じサイズの画像であってよい。だたし、背景２６３は、透過性を有する画像（好ましくは透過率が１００％の画像）である。
The
また、音声入力の進行の状況をユーザに伝えるメッセージ５１を、文字列５２と並べて文字表示エリア２６１に表示してもよい。
Further, a
図６および図７は、端末装置２における画面の遷移の例を示す図である。図６および図７において、右半部にリモートアクセス中の端末装置２によって表示される画面を示し、左半部に画像形成装置１よって生成される画面を示す。
6 and 7 are diagrams illustrating examples of screen transitions in the
端末装置２による画像形成装置１のリモートアクセスが開始された後、ユーザが適宜に画面を遷移させる操作を行うと、画像形成装置１は、操作に応じた画面の画像データを端末装置２へ送信する。端末装置２は、画面データに基づいて画面を表示する。以下、図６に示す文字入力画面１６が表示された後の流れを説明する。文字入力画面１６は、入力された文字を表示する文字入力欄１６１を有する。
After the remote access of the image forming apparatus 1 by the
端末装置２は、ユーザが文字入力欄１６１にタップすると、タッチパネルディスプレイ２０ｅのタップされた位置の座標値および「タップ」というジェスチャの種類を示すデータであるイベントデータ５を画像形成装置１に送る。
When the user taps on the
画像形成装置１は、イベントデータ５を受け取ると、文字入力欄１６１がタップされたことをイベントデータ５に基づいて認識し、ユーザが文字入力欄１６１に文字を入力しようといていると判断する。画像形成装置１は、端末装置２に次に与えるべきリモートアクセス用の画面（リモートパネル）としてキーボード画面１７を生成する。予めキーボード画面１７がその画像データを記憶することによって用意されている場合には、キーボード画面１７を生成する代わりに画像データを記憶装置から読み出す。
Upon receiving the
そして、画像形成装置１は、キーボード画面１７の画像データである画面データ６を端末装置２に送る。このとき、画像形成装置１は、予めキーボード画面１７の構成に関する情報として記憶しているエリア情報７を、端末装置２に送る。エリア情報７は、キーボード画面１７内の文字表示エリア１７２の位置の範囲を示す。
Then, the image forming apparatus 1 sends
端末装置２は、キーボード画面１７の画面データ６およびエリア情報７を受け取ると、文字入力画面１６に代えてキーボード画面１７を表示し、音声ＩＭＥ２１０をアクティブにするとともに、キーボード画面１７に重ねて音声入力画面２６を表示する。端末装置２は、音声入力画面２６の表示に際して、エリア情報７に基づいて、文字表示エリア２６１をキーボード画面１７の文字表示エリア１７２に重ねて表示する。つまり、キーボード画面１７の文字表示エリア１７２を音声入力画面２６の文字表示エリア２６１によって隠す。これにより、１つの画面に同じ内容を表示する２つの文字表示エリア１７２，２６１が在るという無駄を無くすとともに、２つの文字表示エリア１７２，２６１の間に表示のタイムラグが生じてもユーザがそのタイムラグに気付かないようにすることができる。
Upon receiving the
端末装置２は、ユーザが音声を発すると、その音声に基づいて音声ＩＭＥ２１０によって得られた文字列５２を、音声入力画面２６内の文字表示エリア２６１に表示する。つまり、音声ＩＭＥ２１０による処理の結果を音声入力画面２６に反映させる。さらに、端末装置２は、得られた文字列５２の各文字の文字コード８を画像形成装置１に送る。
When the user utters voice, the
画像形成装置１は、文字コード８を受け取ると、文字コード８の示す文字列５２を文字表示エリア１７２に埋め込んだキーボード画面１７を生成し、そのキーボード画面１７の画面データ６を端末装置２に送る。
Upon receiving the
端末装置２は、画面データ６を受け取ると、改めてキーボード画面１７および音声入力画面２６を表示する。このとき、キーボード画面１７の文字表示エリア１７２には文字列５２が埋め込まれているが、文字表示エリア１７２は音声入力画面２６の文字表示エリア２６１によって隠されている。
Upon receiving the
端末装置２は、図７に示すように音声入力画面２６のうちの文字表示エリア２６１でもアイコン２６２でもない部分をユーザがタッチすると、このタッチに応じたイベントデータ５を画像形成装置１に送る。
When the user touches a portion of the
画像形成装置１は、イベントデータ５を受け取ると、音声入力画面２６のうちのキーボード画面１７の現れた部分がタッチされたことをイベントデータ５に基づいて認識し、ユーザがキーボード画面１７による操作をしようといていると判断する。画像形成装置１は、音声ＩＭＥ２１０のノンアクティブ化を端末装置２に指令する。
When receiving the
端末装置２は、この指令を受け取ると、指令に従って音声ＩＭＥ２１０のノンアクティブ化するとともに、音声入力画面２６の表示を終了する。これによって、キーボード画面１７の全体が表示される。
Upon receiving this command, the
端末装置２は、ユーザがキーボード画面１７のＯＫボタン１７３にタッチすると、それに応じたイベントデータ５を画像形成装置１に送る。
When the user touches the
画像形成装置１は、イベントデータ５を受け取ると、ＯＫボタン１７３がタッチされたことをイベントデータ５に基づいて認識し、ユーザが文字入力欄１６１への文字の入力を終えたと判断する。画像形成装置１は、文字入力欄１６１に文字列５２を埋め込んだ文字入力画面１６を生成し、その画面データ６を端末装置２に送る。
Upon receiving the
端末装置２は、画面データ６を受け取ると、キーボード画面１７に代えて文字入力画面１６を表示する。この文字入力画面１６では、音声入力によって入力された文字列５２が表示される。
Upon receiving the
次に、以上のようにキーボード画面１７および音声入力画面２６を表示するための機能について説明する。
Next, functions for displaying the
図８は、画像形成装置１および端末装置２のそれぞれの機能的構成の例を示す図である。
FIG. 8 is a diagram illustrating examples of functional configurations of the image forming apparatus 1 and the
被リモートアクセス用プログラム１０Ｐによると、画面データ等送信部１０１、画面データ生成部１０２、次処理判別部１０３、音声ＩＭＥ呼出指令部１０４、および音声ＩＭＥ呼出解除部１０５などの機能が画像形成装置１に実現される。
According to the
リモートアクセス用プログラム２０Ｐによると、画面表示部２０１、タッチ検知部２０２、イベントデータ送信部２０３、音声ＩＭＥ呼出部２０４、音声入力画面表示部２０５、入力文字列表示部２０６、入力文字列送信部２０７、および音声ＩＭＥ解除部２０８などの機能が端末装置２に実現される。
According to the
画像形成装置１の画面データ生成部１０２は、各種の画面（リモートパネル）を構成するためのパーツ（部品）のライブラリを有している。画面データ生成部１０２は、次処理判別部１０３から生成の指令を受けると、指令に応じた画面を構成するパーツをライブラリから取り込んで組み合わせることにより、当該画面のビットマップデータを生成する。そして、端末装置２への転送の所要時間を短縮するため、ビットマップデータを例えばＪＰＥＧ（Joint Photographic Experts Group）のフォーマットの画像データに圧縮する。そして、圧縮後の画像データを画面データ６として画面データ等送信部１０１に引き渡す。
The screen
画面データ生成部１０２は、上述のキーボード画面１７の画面データ６を生成した場合には、文字表示エリア１７２の位置の範囲を示すエリア情報７を画面データ６にバインドして画面データ等送信部１０１に引き渡す。
When the screen
画面データ等送信部１０１は、画面データ生成部１０２から画面データ６を受け取ると、画面データ６を端末装置２へ送信する。エリア情報７がバインドされている場合は、画面データ６とエリア情報７とを送信する。
When the screen
端末装置２の画面表示部２０１は、画像形成装置１から送られてきた画面データ６に基づいて、画像形成装置１によって生成された画面をタッチパネルディスプレイ２０ｅに表示させる。この際に、バックグラウンドで、画面データ６の伸張およびビットマップメモリ（ビデオＲＡＭ）への描画などが行われる。
The
タッチ検知部２０２は、タッチパネルディスプレイ２０ｅからタッチの位置の情報を取得してジェスチャの種類を判別する。タッチ検知部２０２は、タッチイベントに応じた上述のイベントデータ５を生成してイベントデータ送信部２０３に引き渡す。なお、タッチ検知部２０２は、音声入力画面２６の範囲内の位置がタッチされた場合には、それを示すタッチイベントを生成しない。
The
イベントデータ送信部２０３は、タッチ検知部２０２からイベントデータ５を受け取ると、そのイベントデータ５を画像形成装置１に送信する。
When the event
画像形成装置１の次処理判別部１０３は、端末装置２からイベントデータ５を受信すると、画面データ生成部１０２に対して最後に生成を指令した際に生成の対象として指定した画面内のどの位置がタッチされたかをイベントデータ５に基づいて認識する。
When the next
次処理判別部１０３は、認識した位置が画面を切り替えるべき操作に対応する位置であるかどうかを、画面内の位置と行うべき処理とを対応づける制御用データを参照することによって判別する。
The next
次処理判別部１０３は、イベントデータ５に基づいて認識した位置が画面を切り替えるべき操作に対応する位置であると判別した場合、新たに表示すべき画面の生成を画面データ生成部１０２に指令する。例えば、次処理判別部１０３は、文字入力画面１６の文字入力欄１６１のタップに応じたイベントデータ５を受け取った場合には、キーボード画面１７の生成を、キーボード画面１７のＯＫボタン１７３のタップに応じたイベントデータ５を受け取った場合には、文字入力画面１６の生成を、画面データ生成部１０２に指令する。
When determining that the position recognized based on the
また、次処理判別部１０３は、キーボード画面１７の生成を画面データ生成部１０２に指令する際に、呼出指令の送信を、音声ＩＭＥ呼出指令部１０４に要求する。
Further, the next
音声ＩＭＥ呼出指令部１０４は、この要求を受けると、音声ＩＭＥ２１０のアクティブ化を端末装置２に指令する。
When receiving this request, the voice IME
さらに、次処理判別部１０３は、音声入力画面２６のキーボード画面１７の部分のタップに応じたイベントデータ５を受け取った場合には、音声ＩＭＥ２１０のノンアクティブ化を音声ＩＭＥ呼出解除部１０５に要求する。
Further, when receiving the
音声ＩＭＥ呼出解除部１０５は、この要求を受けると、音声ＩＭＥ２１０のノンアクティブ化を端末装置２に指令する。
When receiving this request, the voice IME
端末装置２の音声ＩＭＥ呼出部２０４は、画像形成装置１から音声ＩＭＥ２１０のアクティブ化の指令を受けると、音声ＩＭＥ２１０をアクティブ化する。
The voice
また、音声ＩＭＥ呼出部２０４は、画像形成装置１から音声ＩＭＥ２１０のアクティブ化の指令を受けると、音声入力画面表示部２０５に音声入力画面２６の表示を指令する。
When the voice
音声入力画面表示部２０５は、この指令を受けると、タッチパネルディスプレイ２０ｅに音声入力画面２６をキーボード画面１７に重ねるように表示させる。
Upon receiving this command, the voice input
入力文字列表示部２０６は、音声ＩＭＥ２１０からユーザの発した音声に応じた文字コード８を受け取る。入力文字列表示部２０６は、文字コード８を受け取ると、図６に示すように、文字コード８に応じた文字列５２を音声入力画面２６の文字表示エリア２６１に表示する。また、入力文字列表示部２０６は、文字コード８を入力文字列送信部２０７に送る。
The input character
入力文字列送信部２０７は、入力文字列表示部２０６から文字コード８を受け取って画像形成装置１へ送信する。
The input character
画像形成装置１の次処理判別部１０３は、端末装置２から送信された文字コード８を受信する。次処理判別部１０３は、文字コード８を受信すると、図６に示したように文字表示エリア１７２に文字コード８に応じた文字列５２を埋め込んだキーボード画面１７の生成を、画面データ生成部１０２に指令する。これにより、画面データ生成部１０２によって文字列５２を埋め込んだキーボード画面１７が生成され、画面データ等送信部１０１によって端末装置２へ送信される。
The next
音声ＩＭＥ解除部２０８は、画像形成装置１から音声ＩＭＥ２１０のノンアクティブ化の指令を受けると、音声ＩＭＥ２１０をノンアクティブ化する。すると、音声入力画面表示部２０５が音声入力画面２６の表示を終了する。
When the audio
図９は、画像形成装置１の全体的な処理の流れの例を示すフローチャートである。図１０は、端末装置２の全体的な処理の流れの例を示すフローチャートである。
FIG. 9 is a flowchart illustrating an example of the overall processing flow of the image forming apparatus 1. FIG. 10 is a flowchart illustrating an example of the overall processing flow of the
次に、画像形成装置１の全体的な処理の流れ、および端末装置２の全体的な処理の流れを、図９または図１０のフローチャートを参照しながら説明する。
Next, the overall processing flow of the image forming apparatus 1 and the overall processing flow of the
画像形成装置１は、端末装置２によるリモートアクセスが始まると、図９に示すように、デフォルトの画面の画面データ６を端末装置２に送信する（＃１０１）。デフォルトの画面は、画像形成装置１の電源がオンにされてウォームアップが完了した後に最初に表示するトップ画面でもよいし、リモートアクセスが始まる直前にタッチパネルディスプレイ１０ｅに表示していた画面でもよい。
When remote access by the
画像形成装置１は、端末装置２からイベントデータ５を受信すると（＃１０２でＹＥＳ）、イベントデータ５の示す座標値に基づいて、タッチの位置が文字入力欄１６１内の位置かどうかを判別する（＃１０３）。
When receiving the
画像形成装置１は、タッチの位置が文字入力欄１６１内の位置であると判別した場合（＃１０３でＹＥＳ）、キーボード画面１７の画面データ６を送信するとともに、音声ＩＭＥ２１０の呼出（アクティブ化）を端末装置２に指令する（＃１０４）。音声ＩＭＥ２１０がアクティブになると、図６に示した音声入力画面２６が表示される。
When the image forming apparatus 1 determines that the touch position is in the character input field 161 (YES in # 103), the image forming apparatus 1 transmits the
画像形成装置１は、端末装置２によって音声入力画面２６が表示されているときに、音声入力画面２６のうちのキーボード画面１７の現れた部分がタッチされた場合（＃１０５でＹＥＳ）、音声ＩＭＥ２１０の解除（ノンアクティブ化）を端末装置２に指令する（＃１０６）。音声ＩＭＥ２１０がノンアクティブになると、音声入力画面２６の表示が終了する。
When the
画像形成装置１は、端末装置２から受信したイベントデータ５が、その他のタッチに応じたデータであった場合（＃１０７でＹＥＳ）、イベントデータ５に応じて、画面を遷移させたり動作の設定値を変更したりするといったその他の処理をする（＃１０８）。
When the
画像形成装置１は、端末装置２から文字コード８を受信すると（＃１０９でＹＥＳ）、文字コード８に応じた文字列５２を文字表示エリア１７２に埋め込むことによって音声入力の結果を反映させたキーボード画面１７を生成する（＃１１０）。そして、そのキーボード画面１７の画面データ６を端末装置２に送信する（＃１１１）。
When the image forming apparatus 1 receives the
画像形成装置１は、リモートアクセスが続いている間（＃１１２でＮＯ）、ステップ＃１０２ないしステップ＃１１１の処理を適宜、実行する。 While the remote access continues (NO in # 112), the image forming apparatus 1 appropriately executes the processing from step # 102 to step # 111.
端末装置２は、画像形成装置１のリモートアクセスが始まると、次の処理をする。
When the remote access of the image forming apparatus 1 starts, the
端末装置２は、図１０に示すように、画像形成装置１から画面データ６を受信すると（＃２０１でＹＥＳ）、画面データ６に応じた画面をタッチパネルディスプレイ２０ｅに表示させる。
As shown in FIG. 10, when receiving the
端末装置２は、ユーザがタッチパネルディスプレイ２０ｅにタッチすると（＃２０３でＹＥＳ）、ユーザがタッチした位置およびジェスチャの種類を判別し（＃２０４）、判別の結果を示すイベントデータ５を画像形成装置１に送信する（＃２０５）。
When the user touches the
端末装置２は、音声ＩＭＥ２１０のアクティブ化が画像形成装置１から指令されると（＃２０６でＹＥＳ）、音声ＩＭＥ２１０をアクティブ化するとともに、音声入力画面２６をキーボード画面１７に重ねて表示する（＃２０７、＃２０８）。
When the activation of the
端末装置２は、ユーザの発した音声に応じた文字列５２（入力文字列）を音声ＩＭＥ２１０によって取得すると（＃２０９でＹＥＳ）、取得した文字列５２を文字表示エリア２６１に表示するとともに、文字コード８を送信することによって文字列５２を画像形成装置１に通知する（＃２１０、＃２１１）。
When the
端末装置２は、音声ＩＭＥ２１０のノンアクティブ化が画像形成装置１から指令されると（＃２１２でＹＥＳ）、音声ＩＭＥ２１０をノンアクティブ化する（＃２１３）。これによって、音声入力画面２６の表示が終了する。
When the image forming apparatus 1 is instructed to deactivate the audio IME 210 (YES in # 212), the
端末装置２は、リモートアクセスが続いている間（＃２１４でＮＯ）、ステップ＃２０１ないしステップ＃２１３の処理を適宜、実行する。
While the remote access continues (NO in # 214), the
〔第二の実施形態〕
第一の実施形態では、端末装置２が画像形成装置１からリモートパネルとして与えられたキーボード画面１７に重ねて文字表示エリア２６１を表示した。これに対して、第二の実施形態では、第一の実施形態の文字表示エリア２６１と同程度の大きさの文字表示エリア１７２Ｂを有したキーボード画面１７Ｂ（図１１参照）を、画像形成装置１Ｂ（図１３参照）が端末装置２Ｂに与える。以下、この仕組みについて、説明する。第一の実施形態と重複する点は、説明を省略する。
[Second Embodiment]
In the first embodiment, the
第二の実施形態に係る画像形成装置１Ｂとして、図２に示した画像形成装置１と同様のハードウェア構成をもつ装置を用いることができる。端末装置２Ｂについても、図３に示した端末装置２と同様のハードウェア構成をもつ装置を用いることができる。
As the image forming apparatus 1B according to the second embodiment, an apparatus having the same hardware configuration as that of the image forming apparatus 1 shown in FIG. 2 can be used. Also for the
ただし、第二の実施形態の画像形成装置１Ｂでは、ＲＯＭ１０ｃまたは補助記憶装置１０ｄには、被リモートアクセス用プログラム１０Ｐの代わりに被リモートアクセス用プログラム１２Ｐ（図１３参照）が記憶されている。また、第二の実施形態の端末装置２Ｂでは、ＲＯＭ２０ｃまたはフラッシュメモリ２０ｄには、リモートアクセス用プログラム２０Ｐの代わりにリモートアクセス用プログラム２２Ｐ（図１３参照）が記憶されている。
However, in the image forming apparatus 1B of the second embodiment, the
画像形成装置１Ｂと端末装置２Ｂとは、図１に示した通信回線４を介して通信することができる。
The image forming apparatus 1B and the
図１１は、端末装置における画面の遷移の例を示す図である。図１２は、端末装置における画面の遷移の例を示す図である。 FIG. 11 is a diagram illustrating an example of screen transition in the terminal device. FIG. 12 is a diagram illustrating an example of screen transition in the terminal device.
端末装置２Ｂは、リモートアクセスが開始された後、ユーザが適宜に画面を遷移させる操作を行うと、画像形成装置１Ｂは、操作に応じた画面の画像データ６を端末装置２Ｂへ送信する。端末装置２Ｂは、画面データ６に基づいて画面を表示する。以下、図１１に示す文字入力画面１６が表示された後の流れを説明する。
After the remote access is started, when the user performs an operation to change the screen as appropriate, the image forming apparatus 1B transmits
端末装置２Ｂは、ユーザが文字入力欄１６１にタップすると、イベントデータ５を画像形成装置１Ｂに送る。画像形成装置１は、イベントデータ５を受け取ると、キーボード画面１７を生成し、生成したキーボード画面１７の画面データ６を端末装置２Ｂに送る。ここまでは、第一の実施形態と同様である。
When the user taps on the
第一実施形態ではキーボード画面１７の画面データ６を端末装置２に送る際に、文字表示エリア１７２の位置の範囲を示すエリア情報７を、端末装置２に送った。第二の実施形態では、文字表示エリア１７２を拡大することを見込んで、拡大後の文字表示エリア１７２Ｂの位置の範囲を示すエリア情報７Ｂを端末装置２Ｂに送る。
In the first embodiment, when sending the
端末装置２Ｂは、画面データ６およびエリア情報７を受け取ると、文字入力画面１６に代えてキーボード画面１７を表示するとともに、キーボード画面１７に重ねてアイコン２６２を表示する。
When receiving the
端末装置２Ｂは、アイコン２６２の表示に際して、エリア情報７Ｂに基づいて、拡大後の文字表示エリア１７２Ｂが表示される場合にその文字表示エリア１７２Ｂと重ならにように、キーボード画面１７のうちの文字表示エリア１７２Ｂが配置される予定の位置以外と重なるようにアイコン２６２を表示する。
When displaying the
端末装置２Ｂは、アイコン２６２を表示した後、マイクロフォン２０ｊが音声を感知すると、ユーザが話し始めたと判断して、音声ＩＭＥ２１０による処理が開始されたことを画像形成装置１Ｂに通知する。この通知は、音声の文字コードへの変換が確定する前に、文字表示エリア１７２を文字表示エリア１７２Ｂに拡げておくための通知である。
After the
画像形成装置１Ｂは、ユーザが音声入力の正否を確認し易いキーボード画面１７Ｂの生成を開始する。キーボード画面１７Ｂは、キーボード画面１７の文字表示エリア１７２を文字表示エリア１７２Ｂに置き換えた画面である。文字表示エリア１７２Ｂは、文字表示エリア１７２を図の上下方向に拡大したものに相当し、そのサイズは第一の実施形態の文字表示エリア２６１のサイズと同程度である。
The image forming apparatus 1B starts generating the keyboard screen 17B that allows the user to easily confirm whether the voice input is correct. The keyboard screen 17B is a screen in which the
端末装置２から文字コード８が送られてくる以前にキーボード画面１７Ｂの生成を開始することにより、文字コード８が送られてきたときに、キーボード画面１７Ｂを端末装置２に早く提供することができる。なお、予めキーボード画面１７Ｂを用意しておくことによって、より早くキーボード画面１７Ｂを端末装置２に提供するようにしてもよい。
By starting generation of the keyboard screen 17B before the
画像形成装置１Ｂは、端末装置２から文字コード８が送られてくると、文字コード８に応じた文字列５２を文字表示エリア１７２Ｂに埋め込んだキーボード画面１７Ｂ、すなわち音声入力の結果を反映させたキーボード画面１７Ｂを生成する。
When the
文字表示エリア１７２Ｂは文字表示エリア１７２よりも大きいので、文字表示エリア１７２に埋め込む場合と比べて大きいサイズで文字列５２を文字表示エリア１７２Ｂに埋め込むことができる。つまり、文字列５２を見易くすることができる。
Since the
画像形成装置１Ｂは、生成したキーボード画面１７Ｂの画面データ６を端末装置２Ｂへ送信する。
The image forming apparatus 1B transmits the generated
端末装置２Ｂは、キーボード画面１７Ｂの画面データ６を受け取ると、キーボード画面１７Ｂを表示し、キーボード画面１７Ｂに重ねてアイコン２６２を表示する。
When the
端末装置２Ｂは、図１２に示すようにキーボード画面１７Ｂのうちの文字表示エリア１７２Ｂでもアイコン２６２でもない部分をユーザがタッチすると、このタッチに応じたイベントデータ５を画像形成装置１Ｂに送る。
When the user touches a portion of the keyboard screen 17B that is neither the
画像形成装置１Ｂは、イベントデータ５を受け取ると、ユーザがキーボード画面１７による操作をしようといていると判断する。画像形成装置１Ｂは、文字表示エリア１７２Ｂに文字列５２を埋め込んだキーボード画面１７Ｂを生成してその画面データ６を端末装置２Ｂに送信する。このとき、音声ＩＭＥ２１０のノンアクティブ化を端末装置２Ｂに指令する。
When receiving the
端末装置２Ｂは、画面データ６およびノンアクティブ化の指令を受け取ると、キーボード画面１７Ｂに代えてキーボード画面１７を表示するとともに、音声ＩＭＥ２１０をノンアクティブ化する。音声ＩＭＥ２１０のノンアクティブ化によってアイコン２６２の表示が終了する。
Upon receiving the
次に、以上のようにキーボード画面１７Ｂおよびアイコン２６２を表示するための機能について説明する。
Next, the function for displaying the keyboard screen 17B and the
図１３は、画像形成装置１Ｂおよび端末装置２Ｂのそれぞれの機能的構成の例を示す図である。
FIG. 13 is a diagram illustrating examples of functional configurations of the image forming apparatus 1B and the
被リモートアクセス用プログラム１２Ｐによると、画面データ等送信部１２１、画面データ生成部１２２、次処理判別部１２３、音声ＩＭＥ呼出指令部１２４、および音声ＩＭＥ呼出解除部１２５などの機能が画像形成装置１Ｂに実現される。
According to the
リモートアクセス用プログラム２２Ｐによると、画面表示部２２１、タッチ検知部２２２、イベントデータ送信部２２３、音声ＩＭＥ呼出部２２４、音声入力画面表示部２２５、入力文字列送信部２２７、および入力開始通知部２２９などの機能が端末装置２に実現される。
According to the
画面データ等送信部１２１、画面データ生成部１２２、音声ＩＭＥ呼出指令部１２４、および音声ＩＭＥ呼出解除部１２５は、それぞれ、第一の実施形態の画面データ等送信部１０１、画面データ生成部１０２、音声ＩＭＥ呼出指令部１０４、および音声ＩＭＥ呼出解除部１０５（図８参照）と同様の機能を有する。また、画面表示部２２１、タッチ検知部２２２、イベントデータ送信部２２３、音声ＩＭＥ呼出部２２４、音声入力画面表示部２２５、および入力文字列送信部２２７は、それぞれ、第一の実施形態の画面表示部２０１、タッチ検知部２０２、イベントデータ送信部２０３、音声ＩＭＥ呼出部２０４、音声入力画面表示部２０５、および入力文字列送信部２０７（図８参照）と同様の機能を有する。つまり、これらによって、キーボード画面１７Ｂの一部とアイコン２６２とが表示される。
The screen
画像形成装置１Ｂの次処理判別部１２３は、第一の実施形態の次処理判別部１０３と同様に、タッチイベントに応じて次に行うべき処理を判別する。タッチイベントが画面の遷移を指示する操作を示す場合には、画面データ生成部１２２に新たに表示すべき画面の生成を指令する。
Similar to the next
端末装置２の入力開始通知部２２９は、音声入力に際して音声が発せられたときにその旨を通知する機能を有する。
The input start notifying
画像形成装置１Ｂの次処理判別部１２３は、端末装置２の入力開始通知部２２９からの通知を受け取る。次処理判別部１２３は、入力開始通知部２２９からの通知を受け取ると、キーボード画面１７Ｂの生成を、画面データ生成部１２２に指令する。画面データ等送信部１２１は、画面データ生成部１２２によってキーボード画面１７Ｂが生成されると、直ちにキーボード画面１７Ｂの画面データ６を端末装置２Ｂに送信する。
The next
図１４は、画像形成装置１Ｂの全体的な処理の流れの例を示すフローチャートである。図１５は、端末装置２Ｂの全体的な処理の流れの例を示すフローチャートである。
FIG. 14 is a flowchart illustrating an example of the overall processing flow of the image forming apparatus 1B. FIG. 15 is a flowchart illustrating an example of the overall processing flow of the
画像形成装置１Ｂは、リモートアクセスが始まると、第一の実施形態の場合と同様に、デフォルトの画面の画面データ６を送信し（図１４の＃１２１）、その後、リモートアクセスが終了するまでの間、端末装置２Ｂからのデータの入力または通知などに応じて次のように処理をする。
When the remote access starts, the image forming apparatus 1B transmits the
画像形成装置１Ｂは、文字入力欄１６１内の位置のタッチが通知されると（＃１２２でＹＥＳ、＃１２３でＹＥＳ）、キーボード画面１７の画面データ６を送信するとともに、音声ＩＭＥ２１０のアクティブ化を端末装置２Ｂに指令する（＃１２４）。
When the touch of the position in the
画像形成装置１Ｂは、端末装置２によってアイコン２６２が表示されているときに、キーボード画面１７Ｂの現れた部分のタッチが通知されると（＃１２５でＹＥＳ）、第一の実施形態の場合と同様に、音声ＩＭＥ２１０のノンアクティブ化を端末装置２に指令する（＃１２６）。
When the
さらに第二の実施形態では、文字表示エリア１７２Ｂをそれより細い文字表示エリア１７２に戻したキーボード画面１７を生成して、その画面データ６を端末装置２Ｂへ送信する（＃１２７、＃１２８）。
In the second embodiment, the
画像形成装置１Ｂは、その他のタッチが通知されると（＃１２９でＹＥＳ）、第一の実施形態の場合と同様に、その他の処理をする（＃１３０）。 When other touches are notified (YES in # 129), the image forming apparatus 1B performs other processes (# 130) as in the first embodiment.
画像形成装置１Ｂは、第二の実施形態では、音声が発せられたことが通知されると（＃１３１でＹＥＳ）、文字表示エリア１７２をそれよりも太い文字表示エリア１７２Ｂに置き換えたキーボード画面１７Ｂを生成して、それの画面データ６を端末装置２Ｂへ送信する（＃１３２、＃１３３）。
In the second embodiment, when the image forming apparatus 1B is notified that sound has been emitted (YES in # 131), the keyboard screen 17B in which the
画像形成装置１Ｂは、文字コード８を受信すると（＃１３４でＹＥＳ）、音声入力の結果を反映させたキーボード画面１７Ｂを生成して、それの画面データ６を端末装置２に送信する（＃１３５、＃１３６）。
When the image forming apparatus 1B receives the character code 8 (YES in # 134), the image forming apparatus 1B generates a keyboard screen 17B reflecting the voice input result and transmits the
端末装置２Ｂは、第一の実施形態の場合とほぼ同様の処理をする。すなわち、図１５に示すステップ＃２２１〜＃２３３の処理は、それぞれ図１０に示した第一の実施形態の場合のステップ＃２２１〜＃２０９、およびステップ＃２１１〜＃２１４の処理と同様である。
The
第二の実施形態では、第一の実施形態の場合にステップ＃２１０で行われていた文字列５２を表示する処理を、端末装置２Ｂは行わない。それは、文字列５２が、画像形成装置１Ｂによって文字表示領域１７２Ｂに埋め込まれるからである。
In the second embodiment, the
以上の第一の実施形態によると、音声入力に際して入力の結果を示す文字列５２が画像形成装置１Ｂによって文字表示エリア１７２Ｂに大きいサイズで埋め込まれる。そして、文字列５２の埋め込まれたキーボード画面１７Ｂが端末装置２Ｂによって表示され、キーボード画面１７Ｂの一部のみを隠すアイコン２６２がキーボード画面１７Ｂに重ねて表示される。キーボード画面１７Ｂの一部が見えることにより、全く見えない場合と比べて、ユーザが何のために音声入力をしているかまたは次にどのようなアクションをすべきかといったことなどを理解し易い。
According to the first embodiment described above, the
第一および第二の実施形態では、音声入力画面２６またはアイコン２６２が表示されているときに、キーボード画面１７，１７Ｂが表れている部分にユーザがタッチした場合に、音声ＩＭＥ２１０をノンアクティブ化した。これの変形例として、キーボード画面１７，１７Ｂに、音声ＩＭＥ２１０をアクティブとノンアクティブとに切替えるための切替えボタンを配置しておくことができる。その場合、切替えボタンを隠さないように文字表示エリア２６１およびアイコン２６２などを表示する。ユーザは、キーボード画面１７，１７Ｂが表示されているときには、随時に音声ＩＭＥ２１０をアクティブにまたはノンアクティブに切り替えることができる。
In the first and second embodiments, the
音声ＩＭＥ２１０の機能は、端末装置２内で実現されてもよいし、いわゆるクラウドサーバなどの外部の装置に実現されてもよい。
The function of the
端末装置２，２Ｂに、音声ＩＭＥ２１０の他に手書き入力用といった音声以外による文字の入力用のＩＭＥが備わる場合、これらＩＭＥの使用の優先順位に応じて、大きさの異なる文字表示エリアを使い分けるように画面の表示を制御することができる。詳しくは、次のようにする。
When the
第一の実施形態のように画像形成装置１が端末装置２に文字表示エリアの表示を指令して、端末装置２が文字表示エリア２６１の位置を決めて表示する形態では、最優先のＩＭＥが音声ＩＭＥ２１０である場合に、画像形成装置１が表示を指令する際に、例えば３０ポイント以上の大きさで文字を表示することのできるサイズ（これを「大型サイズ」という）を文字表示エリア２６１のサイズとして指定する。最優先のＩＭＥが音声ＩＭＥ２１０以外である場合には、そのＩＭＥの仕様の通りのサイズ（これを「通常サイズ」という）を文字表示エリアのサイズとして指定する。画像形成装置１は、例えばリモートアクセスの接続を確立するときなどに、端末装置２からＩＭＥの使用の優先順位を示すデータを取得しておく。
In the form in which the image forming apparatus 1 instructs the
また、第二の実施形態のように画像形成装置１Ｂが文字表示エリア１７２Ｂをキーボード画面１７Ｂに配置する形態では、最優先のＩＭＥが音声ＩＭＥ２１０である場合に、画像形成装置１が大型サイズを文字表示エリア１７２Ｂのサイズとし、最優先のＩＭＥが音声ＩＭＥ２１０以外である場合には、通常サイズを文字表示エリアのサイズとする。
In the form in which the image forming apparatus 1B arranges the
なお、上述のように切替えボタンを設けることによって、通常サイズを文字表示エリアが表示されているときに、ユーザによる指示に従って大型サイズに切り替えるようにすることができる。 In addition, by providing the switching button as described above, the normal size can be switched to the large size according to an instruction from the user when the character display area is displayed.
その他、処理システム１００の全体または各部の構成、画像形成装置１，１Ｂおよび端末装置２，２Ｂのそれぞれが行う処理の内容、処理の順序などは、本発明の趣旨に沿って適宜変更することができる。
In addition, the
１００ 処理システム
１，１Ｂ 画像形成装置（処理装置）
２，２Ｂ 端末装置
６ 画面データ
１０１，１２１ 画面データ等送信部（画面データ送信手段）
２０１，２２１ 画面表示部（操作用画面表示手段）
２０ｊ マイクロフォン（集音手段）
２６ 音声入力画面（確認画面）を前記操作用画面の一部分の上に重ねて表示する確認 ２０５，２２５ 音声入力画面表示部（画面表示手段）
８ 文字コード（テキスト）
２０７，２２７ 入力文字列送信部（テキスト送信手段）
１７１ キーボード（ソフトウェアキーボード）
１７２ 文字表示エリア（第二のテキスト領域）
７ エリア情報（位置データ）
100 processing system 1, 1B image forming apparatus (processing apparatus)
2,
201, 221 Screen display unit (operation screen display means)
20j Microphone (sound collecting means)
26 Confirmation for displaying a voice input screen (confirmation screen) over a part of the operation screen 205,225 Voice input screen display section (screen display means)
8 character code (text)
207, 227 Input character string transmission unit (text transmission means)
171 Keyboard (software keyboard)
172 Character display area (second text area)
7 Area information (position data)
Claims (12)
前記処理装置に、
当該処理装置をユーザが操作するための操作用画面の画面データを前記端末装置へ送信する画面データ送信手段、
が設けられ、
前記端末装置に、
前記処理装置から送信されてきた前記画面データに基づいて前記操作用画面を表示する操作用画面表示手段と、
音声を集音する集音手段と、
集音された前記音声が表わすテキストを示すためのテキスト領域を有する確認画面を前記操作用画面の一部分の上に重ねて表示する確認画面表示手段と、
前記テキストを、前記操作用画面に対して入力されたものとして前記処理装置へ送信するテキスト送信手段と、
が設けられる、
ことを特徴とする処理システム。 A processing system including a processing device that performs specific processing and a terminal device that controls the processing device by remote access,
In the processing device,
Screen data transmitting means for transmitting screen data of an operation screen for a user to operate the processing device to the terminal device;
Is provided,
In the terminal device,
An operation screen display means for displaying the operation screen based on the screen data transmitted from the processing device;
Sound collecting means for collecting sound;
Confirmation screen display means for displaying a confirmation screen having a text area for indicating the text represented by the collected voice over a part of the operation screen;
Text transmitting means for transmitting the text to the processing device as input to the operation screen;
Is provided,
A processing system characterized by that.
前記画面データ送信手段は、前記画面データとともに、前記操作用画面における前記第二のテキスト領域の位置を示す位置データを前記端末装置へ送信し、
前記確認画面表示手段は、前記位置データに基づいて、前記第二のテキスト領域の上に前記確認画面を表示する、
請求項１に記載の処理システム。 The operation screen has a software keyboard and a second text area for indicating the second text input by the software keyboard,
The screen data transmission means transmits position data indicating the position of the second text area on the operation screen to the terminal device together with the screen data.
The confirmation screen display means displays the confirmation screen on the second text area based on the position data.
The processing system according to claim 1.
請求項２に記載の処理システム。 The confirmation screen display means displays the confirmation screen when the operation screen is displayed.
The processing system according to claim 2.
前記確認画面表示手段は、前記テキスト領域に配示される文字よりも大きくサイズで前記テキストを示す、
請求項１ないし請求項３のいずれかに記載の処理システム。 The height of the text area is higher than the second text area;
The confirmation screen display means displays the text in a size larger than the characters distributed in the text area;
The processing system according to any one of claims 1 to 3.
請求項１ないし請求項４のいずれかに記載の処理システム。 The confirmation screen display means stops displaying the confirmation screen when a portion of the operation screen where the confirmation screen does not overlap is operated.
The processing system according to any one of claims 1 to 4.
前記処理装置に、
ソフトウェアキーボードおよび当該ソフトウェアキーボードによって当該処理装置に対して入力された第一のテキストを示すためのテキスト領域を有する操作用画面の画面データを、前記端末装置へ送信する画面データ送信手段、
が設けられ、
前記端末装置に、
前記処理装置から送信されてきた前記画面データに基づいて前記操作用画面を表示する操作用画面表示手段と、
音声を集音する集音手段と、
前記操作用画面が表示された後に前記集音手段によって前記音声が集音され始めた場合に、集音され始めた旨の通知を前記処理装置へ送信する、通知手段と、
集音された前記音声が表わす第二のテキストを、前記操作用画面に対して入力されたものとして前記処理装置へ送信するテキスト送信手段と、
が設けられ、
前記画面データ送信手段は、前記通知があった場合に、前記テキスト領域の高さを高くした前記操作用画面の前記画面データを送信し直し、
前記操作用画面表示手段は、新たに送信されてきた前記画面データに基づいて前記操作用画面を表示し直す、
ことを特徴とする処理システム。 A processing system including a processing device that performs specific processing and a terminal device that controls the processing device by remote access,
In the processing device,
Screen data transmitting means for transmitting screen data of an operation screen having a text area for indicating a first text input to the processing device by the software keyboard and the software keyboard to the terminal device;
Is provided,
In the terminal device,
An operation screen display means for displaying the operation screen based on the screen data transmitted from the processing device;
Sound collecting means for collecting sound;
A notification means for transmitting a notification to the effect that sound collection has started when the sound begins to be collected by the sound collection means after the operation screen is displayed;
Text transmitting means for transmitting the second text represented by the collected voice to the processing device as input to the operation screen;
Is provided,
The screen data transmission means retransmits the screen data of the operation screen in which the height of the text area is increased when the notification is received,
The operation screen display means redisplays the operation screen based on the newly transmitted screen data.
A processing system characterized by that.
前記処理装置から送信されてきた画面データに基づいて、当該処理装置をユーザが操作するための操作用画面を表示する操作用画面表示手段と、
音声を集音する集音手段と、
集音された前記音声が表わすテキストを示すためのテキスト領域を有する確認画面を前記操作用画面の一部分の上に重ねて表示する確認画面表示手段と、
前記テキストを、前記操作用画面に対して入力されたものとして前記処理装置へ送信するテキスト送信手段と、
を有することを特徴とする端末装置。 A terminal device for controlling a processing device for performing a specific process by remote access,
Based on the screen data transmitted from the processing device, an operation screen display means for displaying an operation screen for a user to operate the processing device;
Sound collecting means for collecting sound;
Confirmation screen display means for displaying a confirmation screen having a text area for indicating the text represented by the collected voice over a part of the operation screen;
Text transmitting means for transmitting the text to the processing device as input to the operation screen;
The terminal device characterized by having.
ソフトウェアキーボードおよび当該ソフトウェアキーボードによって当該処理装置に対して入力された第一のテキストを示すためのテキスト領域を有する操作用画面の画面データを、前記端末装置へ送信し、その後、音声の集音が開始された旨の通知が前記端末装置あった場合に、前記テキスト領域の高さを高くした前記操作用画面の前記画面データを送信し直す、画面データ送信手段、
を有することを特徴とする処理装置。 A processing device that performs specific processing controlled by remote access from a terminal device,
The screen data of the operation screen having the text area for indicating the first text input to the processing device by the software keyboard and the software keyboard is transmitted to the terminal device. Screen data transmission means for resending the screen data of the operation screen with the height of the text area increased when the notification of the start is the terminal device;
A processing apparatus comprising:
前記処理装置に、
当該処理装置をユーザが操作するための操作用画面の画面データを前記端末装置へ送信する処理を実行させ、
前記端末装置に、
前記処理装置から送信されてきた前記画面データに基づいて前記操作用画面を表示する処理を実行させ、
音声を集音する処理を実行させ、
集音された前記音声が表わすテキストを示すためのテキスト領域を有する確認画面を前記操作用画面の一部分の上に重ねて表示する処理を実行させ、
前記テキストを、前記操作用画面に対して入力されたものとして前記処理装置へ送信する処理を実行させる、
ことを特徴とする処理装置制御方法。 A processing device control method for controlling a processing device for performing a specific process by remote access from a terminal device,
In the processing device,
A process of transmitting screen data of an operation screen for a user to operate the processing device to the terminal device;
In the terminal device,
Based on the screen data transmitted from the processing device, the processing for displaying the operation screen is executed,
Execute the process of collecting sound,
Executing a process of displaying a confirmation screen having a text area for indicating the text represented by the collected voice over a part of the operation screen;
Causing the text to be transmitted to the processing device as input to the operation screen;
And a processing apparatus control method.
前記処理装置に、
ソフトウェアキーボードおよび当該ソフトウェアキーボードによって当該処理装置に対して入力された第一のテキストを示すためのテキスト領域を有する操作用画面の画面データを、前記端末装置へ送信する処理を実行させ、
前記端末装置に、
前記処理装置から送信されてきた前記画面データに基づいて前記操作用画面を表示する処理を実行させ、
音声を集音する処理を実行させ、
前記操作用画面が表示された後に前記音声が集音され始めた場合に、集音され始めた旨の通知を前記処理装置へ送信する処理を実行させ、
集音された前記音声が表わす第二のテキストを、前記操作用画面に対して入力されたものとして前記処理装置へ送信する処理を実行させ、
前記処理装置に、
前記通知があった場合に、前記テキスト領域の高さを高くした前記操作用画面の前記画面データを送信し直す処理を実行させ、
前記端末装置に
は、新たに送信されてきた前記画面データに基づいて前記操作用画面を表示し直す処理を実行させる、
ことを特徴とする処理装置制御方法。 A processing device control method for controlling a processing device for performing a specific process by remote access from a terminal device,
In the processing device,
A process for transmitting screen data of an operation screen having a text area for indicating a first text input to the processing device by the software keyboard and the software keyboard to the terminal device;
In the terminal device,
Based on the screen data transmitted from the processing device, the processing for displaying the operation screen is executed,
Execute the process of collecting sound,
When the sound starts to be collected after the operation screen is displayed, a process for transmitting a notification to the effect that the sound has started to be collected is executed,
Causing the second text represented by the collected voice to be transmitted to the processing device as input to the operation screen;
In the processing device,
In the case of the notification, the process of re-sending the screen data of the operation screen with the height of the text area being increased,
Causing the terminal device to execute a process of redisplaying the operation screen based on the newly transmitted screen data;
And a processing apparatus control method.
前記コンピュータに、
前記処理装置から送信されてきた画面データに基づいて、当該処理装置をユーザが操作するための操作用画面を表示する処理を実行させ、
音声を集音する処理を実行させ、
集音された前記音声が表わすテキストを示すためのテキスト領域を有する確認画面を前記操作用画面の一部分の上に重ねて表示する処理を実行させ、
前記テキストを、前記操作用画面に対して入力されたものとして前記処理装置へ送信する処理を実行させる、
ことを特徴とするコンピュータプログラム。 A computer program used in a computer for controlling a processing device for performing a specific process by remote access,
In the computer,
Based on the screen data transmitted from the processing device, a process for displaying an operation screen for a user to operate the processing device is executed.
Execute the process of collecting sound,
Executing a process of displaying a confirmation screen having a text area for indicating the text represented by the collected voice over a part of the operation screen;
Causing the text to be transmitted to the processing device as input to the operation screen;
A computer program characterized by the above.
前記コンピュータに、
ソフトウェアキーボードおよび当該ソフトウェアキーボードによって当該処理装置に対して入力された第一のテキストを示すためのテキスト領域を有する操作用画面の画面データを、前記端末装置へ送信する処理を実行させ、
その後、音声の集音が開始された旨の通知が前記端末装置あった場合に、前記テキスト領域の高さを高くした前記操作用画面の前記画面データを送信し直す処理を実行させる、
ことを特徴とするコンピュータプログラム。
A computer program used in a computer for performing a specific process controlled by remote access from a terminal device,
In the computer,
A process for transmitting screen data of an operation screen having a text area for indicating a first text input to the processing device by the software keyboard and the software keyboard to the terminal device;
Thereafter, when there is a notification that voice collection has started, the terminal device executes processing to retransmit the screen data of the operation screen with the height of the text area being increased.
A computer program characterized by the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015037573A JP6531427B2 (en) | 2015-02-27 | 2015-02-27 | PROCESSING SYSTEM, TERMINAL DEVICE, PROCESSING DEVICE, PROCESSING DEVICE CONTROL METHOD, AND COMPUTER PROGRAM |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015037573A JP6531427B2 (en) | 2015-02-27 | 2015-02-27 | PROCESSING SYSTEM, TERMINAL DEVICE, PROCESSING DEVICE, PROCESSING DEVICE CONTROL METHOD, AND COMPUTER PROGRAM |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016162010A true JP2016162010A (en) | 2016-09-05 |
| JP6531427B2 JP6531427B2 (en) | 2019-06-19 |
Family
ID=56847034
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015037573A Active JP6531427B2 (en) | 2015-02-27 | 2015-02-27 | PROCESSING SYSTEM, TERMINAL DEVICE, PROCESSING DEVICE, PROCESSING DEVICE CONTROL METHOD, AND COMPUTER PROGRAM |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6531427B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022028802A (en) * | 2016-06-10 | 2022-02-16 | アップル インコーポレイテッド | Providing remote keyboard service |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012199799A (en) * | 2011-03-22 | 2012-10-18 | Konica Minolta Business Technologies Inc | Image forming apparatus, setting method, and setting program |
| JP2013251623A (en) * | 2012-05-30 | 2013-12-12 | Kyocera Document Solutions Inc | Image processing apparatus, portable terminal, and image processing system |
| JP2015001865A (en) * | 2013-06-17 | 2015-01-05 | コニカミノルタ株式会社 | Image forming system, image forming apparatus, remote operation device and program |
-
2015
- 2015-02-27 JP JP2015037573A patent/JP6531427B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012199799A (en) * | 2011-03-22 | 2012-10-18 | Konica Minolta Business Technologies Inc | Image forming apparatus, setting method, and setting program |
| JP2013251623A (en) * | 2012-05-30 | 2013-12-12 | Kyocera Document Solutions Inc | Image processing apparatus, portable terminal, and image processing system |
| JP2015001865A (en) * | 2013-06-17 | 2015-01-05 | コニカミノルタ株式会社 | Image forming system, image forming apparatus, remote operation device and program |
Non-Patent Citations (2)
| Title |
|---|
| "ナチュラル入力へ進む新ＩＭＥ ＩＭＥ２００２徹底解剖", ＰＣＦＡＮ, vol. 第８巻, 第１１号, JPN6018039238, 15 May 2001 (2001-05-15), JP, pages 60 - 61, ISSN: 0003892813 * |
| 大橋 源一郎: "「声」で入力・操作ビアボイス９８でパソコンを操る 認識率９５％以上。口述筆記、音声操作の勘所", 日経ＰＣ２１, vol. 第３巻, 第１４号, JPN6018039236, 1 December 1998 (1998-12-01), JP, pages 106 - 117, ISSN: 0003892812 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022028802A (en) * | 2016-06-10 | 2022-02-16 | アップル インコーポレイテッド | Providing remote keyboard service |
| JP7192079B2 (en) | 2016-06-10 | 2022-12-19 | アップル インコーポレイテッド | Provide remote keyboard service |
| US11561693B2 (en) | 2016-06-10 | 2023-01-24 | Apple Inc. | Providing a remote keyboard service |
| US11868611B2 (en) | 2016-06-10 | 2024-01-09 | Apple Inc. | Providing a remote keyboard service |
| US12175071B2 (en) | 2016-06-10 | 2024-12-24 | Apple Inc. | Providing a remote keyboard service |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6531427B2 (en) | 2019-06-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9606755B2 (en) | Portable terminal apparatus, cooperative image processing system, method for displaying screen data, and recording medium | |
| JP6035985B2 (en) | Image processing apparatus, control program for image processing apparatus, and image processing system | |
| JP6170452B2 (en) | Image processing apparatus and system including the same | |
| EP2750029B1 (en) | Display processing apparatus, image forming apparatus, display processing system of a remote screen, and display processing method | |
| JP6003939B2 (en) | Image processing linkage system and linkage method, portable terminal device, and image processing linkage program | |
| US10805484B2 (en) | Image processing device to execute communication processing with information processing device, non-transitory computer-readable recording medium for image processing device, and image processing system | |
| JP2013121053A (en) | Mobile terminal, image processing device, image processing system, control method and program | |
| JP2014219706A (en) | Image processor, portable terminal device, creation program of remote screen data and display control program | |
| JP2013251623A (en) | Image processing apparatus, portable terminal, and image processing system | |
| JP7638666B2 (en) | Information processing device, information processing control method, and computer program | |
| JP6213297B2 (en) | Image forming system, image forming apparatus, remote control device, and program | |
| JP5768637B2 (en) | Information processing program, information processing apparatus, and information processing method | |
| JP6887748B2 (en) | Data transmission device, data transmission method and program | |
| JP2015037197A (en) | Image processing system, image processor, and display control program for remote screen | |
| JP2009163548A (en) | Information processor, operation teaching system for information processor, operation teaching method for information processor, and operation teaching program for information processor | |
| JP5853999B2 (en) | Image forming system, image forming apparatus, remote control device, and program | |
| JP6531427B2 (en) | PROCESSING SYSTEM, TERMINAL DEVICE, PROCESSING DEVICE, PROCESSING DEVICE CONTROL METHOD, AND COMPUTER PROGRAM | |
| JP6119772B2 (en) | Image processing system, image processing device, terminal device, and program | |
| JP6314499B2 (en) | Operation support program and terminal device | |
| JP6260290B2 (en) | Image forming system, image forming apparatus, remote control device, and program | |
| JP6191470B2 (en) | Image processing system, image processing apparatus, and portable terminal device | |
| JP6641901B2 (en) | Image processing apparatus, remote control method, and remote control program | |
| JP6519223B2 (en) | IMAGE DATA TRANSMISSION SYSTEM, TERMINAL DEVICE, IMAGE DATA TRANSMISSION METHOD, AND COMPUTER PROGRAM | |
| US11843730B2 (en) | Information processing method that converts a telephone function code included in destination information to a fax transmission function code, and storage medium | |
| JP2008200884A (en) | Function execution device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180118 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180912 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181009 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20181130 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181130 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190423 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190506 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6531427 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |