JP7476557B2 - 機器、処理実行システム、処理実行方法、プログラム - Google Patents

Description

本発明は、機器、処理実行システム、処理実行方法、及び、プログラムに関する。

スキャナ装置などの機器がネットワーク上の情報処理システムと通信することで動作するＷｅｂアプリが知られている。例えば、機器が複数のレシートをスキャンして画像データを情報処理システムに送信すると、情報処理システムがレシートの分離、保存等を行う。

情報処理システムが個別のレシートを保存するだけでなく、レシートに対する処理結果を機器に送信する技術が考案されている（例えば、特許文献１参照。）。特許文献１には、スキャン画像における文字列の各行の区切りを特定することを目的として、画像形成装置でスキャンした結果を外部に送り補助データを生成し、それを用いた処理結果を画像形成装置に送信するシステムが開示されている。

しかしながら、従来の技術では、機器における処理を再度、機器が実行するか否かをユーザから受け付けることができないという問題があった。例えば、一連の処理を有するワークフロー等を実行する処理実行システムでは、情報処理システムで複数の処理を行う場合がある。この場合、機器からのデータが原因で複数の処理の途中で情報処理システムが処理に失敗していたとしても、ユーザは情報処理システムによる全ての処理の完了後に失敗を知ることとなり、無駄に時間がかかってしまう原因となっていた。

本発明は、上記課題に鑑み、機器での処理を再度、実行するか否かをユーザから受け付けることができる機器を提供することを目的とする。

上記課題に鑑み、本発明は、機器における第一の処理の結果を用いた第二の処理を情報処理システムに要求する機器であり、前記情報処理システムから取得した前記第二の処理の結果を表示する表示部と、前記機器における前記第一の処理を再度、行うことを受け付ける入力受付部と、を有する機器であって、前記第一の処理が複数のレシートをまとめてスキャンする処理であり、前記第二の処理がスキャンにより生成された画像データから前記複数のレシートの各画像を切り出す処理である場合、前記表示部は、前記情報処理システムから取得した、前記複数のレシートの各画像の切り出し画像を表示し、前記入力受付部が、前記スキャンを再度、行うことを受け付けた場合、前記第一の処理を再度行う制御部は前記複数のレシートを再度、スキャンして、前記入力受付部が、前記複数のレシートの前記切り出し画像を結合することを受け付けた場合、前記表示部は、結合の候補となる前記複数のレシートの前記切り出し画像を優先して表示することを特徴とする。

本発明によれば、機器での処理を再度、実行するか否かをユーザから受け付けることができる機器を提供することができる。

本実施形態の処理実行システムが行う処理の概略を説明する図である。 処理実行システムの一例の構成図である。 コンピュータの一例のハードウェア構成図である。 機器の一例のハードウェア構成図である。 処理実行システムの一例の機能構成を示す図である。 機器の操作パネルに表示される画面の遷移図の一例である。 レシートのスキャンからレシートの結合までの処理の流れを説明するシーケンス図の一例である（その１）。 レシートのスキャンからレシートの結合までの処理の流れを説明するシーケンス図の一例である（その２）。 レシートのスキャンからレシートの結合までの処理の流れを説明するシーケンス図の一例である（その３）。 機器の操作パネルに表示される画面例を示す図である。 スタンプが形成されたファイルのプレビュー表示までの処理の流れを説明するシーケンス図の一例である（その１）。 スタンプが形成されたファイルのプレビュー表示までの処理の流れを説明するシーケンス図の一例である（その２）。

以下、本発明を実施するための形態の一例として、処理実行システムと処理実行システムが行う処理実行方法について説明する。

＜動作の概略＞
図１を用いて、本実施形態の処理実行システム１００が行う処理の概略を説明する。図１は、本実施形態の処理実行システム１００が行う処理の概略を説明する図である。図１では、複数のレシートが含まれる画像データから情報処理システム５０が各レシートを切り出して、メール送信又はデータ保存の少なくとも一方を行う処理を例に説明する。

(1) ユーザが複数のレシートをＭＦＰ（Multi－function Peripheral/Product/Printer)等の機器２０でスキャン（第一の処理の一例）して情報処理システム５０に画像データを送信する。

(2) 情報処理システム５０は、
１．レシートの切り出し、２．メール送信、 ３．データ保存
を順番に実行する（いずれも第二の処理の一例）。従来は、ユーザが介在することなく１～３の処理が自動的に実行されていた。本実施形態では、情報処理システム５０が「１．レシートの切り出し」を行うと、処理結果を機器２０に送信する。

(3) 機器２０はレシートの切り出し結果を表示し、再処理を行うかどうかを受け付ける。この場合の再処理はスキャンである。ユーザは複数のレシートが適切に切り出されているかを確認し、レシートの置き方が悪いと考えると置き直す。そして、再度、複数のレシートを機器２０でスキャンして情報処理システム５０に画像データを送信する。

このように、機器２０から処理の要求を行い、情報処理システム５０上で複数の処理を実行するシステムにおいて機器における処理が原因で処理が失敗する可能性のある情報処理システム５０が処理を行った場合、情報処理システム５０は当該処理のあと、そのまま後工程に進まず、処理結果を機器２０に送信する。機器２０は後工程の処理にそのまま進めるか、機器２０での処理を再度実行するかをユーザから受け付ける画面を表示し、ユーザからの入力に応じて、機器２０での処理を再度実行する。そして、機器２０がユーザから画面を介して処理を再度実行しない（後工程の処理を進める）旨の指示を受け付けた後に、情報処理システム５０は、２．メール送信、３．データ保存の後処理を行う。

こうすることで、メール送信やデータ保存後に、レシートが切り出されていないことが判明して、やり直すという手間を削減できる。すなわち、情報処理システムが行う複数の処理の途中で処理結果が機器２０に表示されるので、情報処理システム５０における処理の失敗の原因となる機器２０の処理を再度、行うかどうかをユーザが判断できる。

＜用語について＞
第一の処理の結果を用いた第二の処理とは、例えば、スキャンの結果である画像データに対する情報処理システムのレシート認識である。ただし、機器側の第一の処理と、ネットワーク上の第二の処理があればよく実施例には限られない。

第一の処理を再度、行うとは、機器がすでに行った同じ処理を、再度、行うことをいう。つまり、処理としては同じ内容の処理を２回以上、行うことをいう。

＜システム構成例＞
図２は本実施形態に係る処理実行システム１００の一例の構成図である。図２の処理実行システム１００は、ユーザ環境７とサービス提供環境８がインターネット等の広域的なネットワークＮ１を介して通信可能に接続されている。なお、ネットワークＮ１はファイアウォールの内側のＬＡＮでもよい。

ユーザ環境７には１台以上の機器２０がＬＡＮなどのネットワークＮ２に接続されている。機器２０は例えばスキャナ機能を有する装置である。なお、機器２０はＭＦＰ、レーザプリンタ、画像形成装置、複合機（マルチファンクションプリンタ）、スキャナ装置、ＦＡＸ装置などと呼ばれていてよい。あるいは、機器２０はレシートを二次元の撮像素子で撮像する機能を有する装置でもよい。

機器２０は、情報処理システム５０が行う処理に必要な処理を行えればスキャナ装置に限られない。後述するようにプリント機能を有する装置も機器２０となる。この他、電子黒板、ＰＪ（Projector：プロジェクタ）、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、自動車（Connected Car）、ノートＰＣ、携帯電話、スマートフォン、タブレット端末、ゲーム機、ＰＤＡ（Personal Digital Assistant）、デジタルカメラ、ウェアラブルＰＣ又はデスクトップＰＣ等であってもよい。

本実施形態の機器２０は、情報処理システム５０が提供するサービスをユーザが利用する端末となる。ユーザは、機器２０から情報処理システム５０にログインして、ユーザに利用権限が認められているＷｅｂアプリ（アプリケーションソフト）を選択して、情報処理システム５０が提供するサービスを受ける。

サービス提供環境８はデータセンターなどに構築されており、ネットワークＮ３に入出力サービス装置５０Ａと一時ファイルストレージサービス装置５０Ｂが接続されている。入出力サービス装置５０Ａは、機器２０によってスキャンして得られた画像データの画像処理を行う。一時ファイルストレージサービス装置５０Ｂはスキャンして得られた画像データに対して入出力サービス装置５０Ａが処理を行った結果を一時的に保存しておくための装置である。

情報処理システム５０は、外部クラウドストレージサービス７０などの外部サービスと連携した一連の処理をサービスとして提供する。情報処理システム５０が提供するサービスである一連の処理を例えば、「処理フロー」や「ワークフロー」という。

また、本実施形態では、情報処理システム５０の具体例としてクラウドシステムを想定して説明するが、これに限られない。クラウドシステムとは、特定ハードウェア資源が意識されずにネットワーク上のリソースが利用される利用形態をいう。情報処理システム５０はインターネット上に存在してもオンプレミスに存在してもよい。

入出力サービス装置５０Ａと一時ファイルストレージサービス装置５０Ｂはいずれも一台以上の情報処理装置によって実現されている。図では別体の装置として図示されているが、入出力サービス装置５０Ａと一時ファイルストレージサービス装置５０Ｂは同じ１つの装置であってもよい。

外部クラウドストレージサービス７０は、スキャンされた画像データが保存される記憶装置である。あるいは、機器２０がプリントするためのファイルを保存している記憶装置である。外部クラウドストレージサービス７０としては、公知のサービスが利用されてよい。例えば、Google Drive(登録商標)、Office365（登録商標）、One Drive（登録商標）などがある。

ただし、外部クラウドストレージサービス７０は必ずしもなくてもよい。また、ユーザが実行するＷｅｂアプリに応じてメールサーバなど、多種多様なサーバが利用される場合もある。

＜ハードウェア構成例＞
<<コンピュータ>>
図２の情報処理システム５０、又は、外部クラウドストレージサービス７０は例えば図３に示すハードウェア構成のコンピュータにより実現される。図３はコンピュータの一例のハードウェア構成図である。図３のコンピュータ５００はコンピュータによって構築されており、図３に示されているように、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＨＤ５０４、ＨＤＤコントローラ５０５(Hard Disk Drive)、ディスプレイ５０６、外部機器接続Ｉ／Ｆ５０８(Interface)、ネットワークＩ／Ｆ５０９、バスライン５１０、キーボード５１１、ポインティングデバイス５１２、ＤＶＤ－ＲＷドライブ５１４(Digital Versatile Disk Rewritable)、メディアＩ／Ｆ５１６を備えている。

これらのうち、ＣＰＵ５０１は、コンピュータ全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＨＤ５０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ５０５は、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ５０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続Ｉ／Ｆ５０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやプリンタ等である。ネットワークＩ／Ｆ５０９は、通信ネットワークを利用してデータ通信をするためのインターフェースである。バスライン５１０は、図３に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

また、キーボード５１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス５１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＤＶＤ－ＲＷドライブ５１４は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ５１３に対する各種データの読み出し又は書き込みを制御する。なお、ＤＶＤ－ＲＷに限らず、ＤＶＤ－Ｒ等であってもよい。メディアＩ／Ｆ５１６は、フラッシュメモリ等の記録メディア５１５に対するデータの読み出し又は書き込み（記憶）を制御する。

<<機器>>
図４は、機器２０の一例のハードウェア構成図である。図４では機器２０としてＭＦＰのハードウェア構成を説明する。図４に示されているように、機器２０は、コントローラ９１０、近距離通信回路９２０、エンジン制御部９３０、操作パネル９４０、ネットワークＩ／Ｆ９５０を備えている。

これらのうち、コントローラ９１０は、コンピュータの主要部であるＣＰＵ９０１、システムメモリ９０２（ＭＥＭ－Ｐ）、ノースブリッジ９０３（ＮＢ）、サウスブリッジ９０４（ＳＢ）、ＡＳＩＣ９０６(Application Specific Integrated Circuit)、記憶部であるローカルメモリ９０７（ＭＥＭ－Ｃ）、ＨＤＤコントローラ９０８、及び、記憶部であるＨＤ９０９を有し、ＮＢ９０３とＡＳＩＣ９０６との間をＡＧＰバス９２１(Accelerated Graphics Port)で接続した構成となっている。

これらのうち、ＣＰＵ９０１は、機器２０の全体制御を行う制御部である。ＮＢ９０３は、ＣＰＵ９０１と、ＭＥＭ－Ｐ９０２、ＳＢ９０４、及びＡＧＰバス９２１とを接続するためのブリッジであり、ＭＥＭ－Ｐ９０２に対する読み書きなどを制御するメモリコントローラと、ＰＣＩ(Peripheral Component Interconnect)マスタ及びＡＧＰターゲットとを有する。

ＭＥＭ－Ｐ９０２は、コントローラ９１０の各機能を実現させるプログラムやデータの格納用メモリであるＲＯＭ９０２ａ、プログラムやデータの展開、及びメモリ印刷時の描画用メモリなどとして用いるＲＡＭ９０２ｂとからなる。なお、ＲＡＭ９０２ｂに記憶されているプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

ＳＢ９０４は、ＮＢ９０３とＰＣＩデバイス、周辺デバイスとを接続するためのブリッジである。ＡＳＩＣ９０６は、画像処理用のハードウェア要素を有する画像処理用途向けのＩＣ(Integrated Circuit)であり、ＡＧＰバス９２１、ＰＣＩバス９２２、ＨＤＤコントローラ９０８及びＭＥＭ－Ｃ９０７をそれぞれ接続するブリッジの役割を有する。このＡＳＩＣ９０６は、ＰＣＩターゲット及びＡＧＰマスタ、ＡＳＩＣ９０６の中核をなすアービタ（ＡＲＢ）、ＭＥＭ－Ｃ９０７を制御するメモリコントローラ、ハードウェアロジックなどにより画像データの回転などを行う複数のＤＭＡＣ(Direct Memory Access Controller)、並びに、スキャナ部９３１及びプリンタ部９３２との間でＰＣＩバス９２２を介したデータ転送を行うＰＣＩユニットとからなる。なお、ＡＳＩＣ９０６には、ＵＳＢ(Universal Serial Bus)のインターフェースや、ＩＥＥＥ１３９４(Institute of Electrical and Electronics Engineers 1394）のインターフェースを接続するようにしてもよい。

ＭＥＭ－Ｃ９０７は、コピー用画像バッファ及び符号バッファとして用いるローカルメモリである。ＨＤ９０９は、画像データの蓄積、印刷時に用いるフォントデータの蓄積、フォームの蓄積を行うためのストレージである。ＨＤ９０９は、ＣＰＵ９０１の制御にしたがってＨＤ９０９に対するデータの読出又は書込を制御する。ＡＧＰバス９２１は、グラフィック処理を高速化するために提案されたグラフィックスアクセラレータカード用のバスインタフェースであり、ＭＥＭ－Ｐ９０２に高スループットで直接アクセスすることにより、グラフィックスアクセラレータカードを高速にすることができる。

また、近距離通信回路９２０には、近距離通信回路アンテナ９２０ａが備わっている。近距離通信回路９２０は、ＮＦＣ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。

更に、エンジン制御部９３０は、スキャナ部９３１及びプリンタ部９３２によって構成されている。また、操作パネル９４０は、現在の設定値や選択画面等を表示させ、操作者からの入力を受け付けるタッチパネル等のパネル表示部９４０ａ、並びに、濃度の設定条件などの画像形成に関する条件の設定値を受け付けるテンキー及びコピー開始指示を受け付けるスタートキー等からなるハードキー９４０ｂを備えている。コントローラ９１０は、機器２０全体の制御を行い、例えば、描画、通信、操作パネル９４０からの入力等を制御する。スキャナ部９３１又はプリンタ部９３２には、誤差拡散やガンマ変換などの画像処理部分が含まれている。

なお、機器２０は、操作パネル９４０のアプリケーション切り替えキーにより、ドキュメントボックス機能、コピー機能、プリント機能、及びファクシミリ機能を順次に切り替えて選択することが可能となる。ドキュメントボックス機能の選択時にはドキュメントボックスモードとなり、コピー機能の選択時にはコピーモードとなり、プリント機能の選択時にはプリンタモードとなり、ファクシミリモードの選択時にはファクシミリモードとなる。

また、ネットワークＩ／Ｆ９５０は、通信ネットワークを利用してデータ通信をするためのインターフェースである。近距離通信回路９２０及びネットワークＩ／Ｆ９５０は、ＰＣＩバス９２２を介して、ＡＳＩＣ９０６に電気的に接続されている。

＜機能について＞
次に、図５を参照して、本実施形態に係る処理実行システム１００の機能構成について説明する。図５は、処理実行システム１００の一例の機能構成を示す図である。

＜＜機器＞＞
機器２０は、表示部２１、及び、制御部２３を有する。これら各機能部は、機器２０にインストールされた１以上のプログラム（例えばＷｅｂブラウザとJavaScript（登録商標））に含まれる命令をＣＰＵ９０１が実行することで実現される機能又は手段である。

表示部２１はユーザが操作する画面を表示する。この画面の画面情報は情報処理システム５０から機器２０に送信される場合と、機器２０が保持している場合がある。ユーザが機器２０で実行するアプリがＷｅｂアプリの場合、画面情報は情報処理システム５０から送信され、ユーザが機器２０で実行するアプリがネイティブアプリの場合、機器２０が保持する画面情報に、情報処理システム５０から送信された表示対象の情報が配置される。

なお、情報処理システム５０が送信する画面情報は、ＨＴＭＬ、ＸＭＬ、ＣＳＳ（Cascade Style Sheet）、及びJavaScript（登録商標）等により作成される。Ｗｅｂアプリとは、厳密な定義はないが、Ｗｅｂブラウザ上で動作するプログラミング言語（たとえばJavaScript（登録商標））によるプログラムとＷｅｂサーバ側のプログラムが協調することによって動作し、Ｗｅｂブラウザ上で実行されるソフトウェア又はその仕組みを言う。ＷｅｂアプリによりＷｅｂページを動的に変更できる。この場合、表示部２１はＷｅｂブラウザにより実現される。なお、本実施形態ではＷｅｂアプリを単にアプリという場合がある。

表示部２１は入力受付部２２を有している。入力受付部２２はタッチパネルやハードキーなどを介してユーザからの操作を受け付ける。入力された情報は制御部２３へ送信される。

制御部２３は、機器２０の画面遷移や、情報処理システム５０との通信、機器２０が有する処理（スキャン等）の実行等を行う。例えば、入力受付部２２から送信された情報に応じて、自機で処理を実行したり、入出力サービス装置５０Ａとの通信を行い入出力サービス装置５０Ａに何らかの処理を行わせたりする。また、情報処理システム５０から受信したデータを表示部２１へデータを送信し、画面を遷移させたりする。

＜＜入出力サービス装置＞＞
入出力サービス装置５０Ａは画像情報処理部５１、及び、通信部５６を有する。画像情報処理部５１は、更に、画像認識部５２、画像切り出し部５３、画像結合判断部５４、画像結合部５５、及び、画像スタンプ実行部５７を有する。これら各機能部は、入出力サービス装置５０Ａにインストールされた１以上のプログラムに含まれる命令をＣＰＵ５０１が実行することで実現される機能又は手段である。

画像認識部５２は、機器２０から送信された画像データに対して切り出すべき領域（個別のレシート）を認識する。画像認識部５２は、例えば、画像データを二値化して、切り出し領域の輪郭を認識する。認識により、例えばレシートの４つの頂点の座標を決定する。

画像切り出し部５３は画像認識部５２の結果に基づき画像切り出し処理（画像データから各レシートを切り出す処理）を実行する。

画像結合判断部５４は、画像切り出しの結果、本来は１枚のレシートが１つに分割されているなど、本来であれば結合されているべき切り出し画像を特定する。例えば、切り出し領域のＸ，Ｙ座標や切り出し領域の縦・横のサイズを用いる。レシートＡとレシートＢの横サイズの差が一定以下、かつ、レシートＡの切り出し画像の左下頂点のＹ座標と、レシートＢの切り出し画像の左上頂点のＹ座標の差が一定以下の場合、２つのレシートを縦結合することで元のレシートを復元できる可能性があると検出する。画像結合判断部５４の判断結果をユーザが確認できるように、画像結合判断部５４はユーザに画像結合の判断結果をフィードバックする。画像結合部５５はユーザからの確認結果に応じて複数の切り出し画像（レシート）を１つに結合する。

画像スタンプ実行部５７は、ＰＤＦファイルなどが印刷された場合のイメージ画像にスタンプ画像を重畳してスタンプ結果画像を生成する。すなわち、スタンプが押下されたプレビュー画像を生成する。

通信部５６は、機器２０、外部クラウドストレージサービス７０、及び、一時ファイルストレージサービス装置５０Ｂと、各種の情報を送受信する。

＜＜一時ファイルストレージサービス装置＞＞
一時ファイルストレージサービス装置５０Ｂは、通信部６１とデータ保存部６２を有している。これら各機能部は、一時ファイルストレージサービス装置５０Ｂにインストールされた１以上のプログラムに含まれる命令をＣＰＵ５０１が実行することで実現される機能又は手段である。

通信部６１は、入出力サービス装置５０Ａとの間で、画像データ及び切り出し画像の送受信を行う。データ保存部６２は、画像データ及び切り出し画像をＵＲＬで管理し、一時的に保存する。一時的にとは外部クラウドストレージサービス７０に保存されるまでの間やメール送信されるまでの間をいう（情報処理システム５０が画像処理を終えてから、ユーザが機器２０で再処理が必要かどうかを確認している間）。

＜画面の遷移と処理の流れ＞
続いて、図６を用いて画面の遷移と処理の流れを説明する。図６は、機器２０の操作パネル９４０に表示される画面の遷移図の一例である。図６で実行されるアプリは、機器２０がスキャンして得た画像データから、入出力サービス装置５０Ａがレシートの切り出しを行い、それぞれのレシートに対してファイル名を設定して、指定のメールアドレスに送信を行うという動作をするアプリである。図６ではユーザが行う主要な操作に対して、(1)～(9)までの通し番号を付与した。それぞれの操作について説明する。

(1) 画面３０１において、ユーザはコンタクトガラスに１つ以上のレシートを配置してスキャンを実行する。例えば、スタートボタン３１０を押下する。なお、スキャンは圧板を閉じた状態で行われる。これは、レシートは丸まっている状態の場合があり、圧板で伸ばすことが好ましいためである。一方、圧板が閉じるとレシート間が圧板の色で読み取られるため、圧板の色とレシートの色が同じ場合、画像認識部５２がレシートの座標を特定しにくくなる。なお、圧板を開いた状態で機器２０がスキャンしてもよい。

機器２０は、スキャンにより得た画像データを入出力サービス装置５０Ａに送信する。入出力サービス装置５０Ａはレシートの切り出し処理を行う。また、切り出した結果を一時ファイルストレージサービス装置５０Ｂに保存する。機器２０は一時ファイルストレージサービス装置５０Ｂから切り出し画像（各レシートの画像）をダウンロードする。これにより画面３０２に遷移する。画面３０２は、スキャンにより得た画像データ３１１（切り出す前の画像データ）と、各切り出し画像３１２を表示する。ユーザはボタン３１３により切り出し画像を切り替えることができる。

(2) ユーザは画像データ３１１の右上のアイコン３１４を押下して、画像データ３１１を拡大表示させることができる。

(3) ユーザは切り出し画像３１２の右上のアイコン３１５を押下して、切り出し画像３１２を拡大表示させることができる。画面３０３は拡大された切り出し画像３１２である。アイコン３１４が押下された場合も画像データ３１１が拡大表示される。画面３０３のボタン３１６が押下されると、画面３０２に戻る。

(4) 各切り出し画像３１２には、入出力サービス装置５０Ａが付与した日付３１７がファイル名として表示されている。本アプリにおいては、画像のファイル名として、ユーザが日付３１７を指定することができる。このための入力手段としてカレンダーアイコン３１８が表示されている。ユーザがカレンダーアイコン３１８を押下すると画面３０４が表示される。画面３０４はカレンダーであり、ユーザは任意の日付をファイル名に設定できる。画面３０４のキャンセルボタン３１９又はＯＫボタン３２０が押下されると、画面３０４が画面３０２に戻る。

(5) 本アプリは後工程として切り出し画像３１２を電子メールで送信するので、画面３０２は送信先のメールアドレス３２１と送信ボタン３２２を有している。メールアドレス３２１は本アプリに設定されているとする。ただし、ユーザがアドレス帳を操作パネル９４０に表示させ、別のメールアドレスを設定できてよい。切り出し画像３１２が正しくレシートを切り出したものであれば、ユーザは送信ボタン３２２を押下する。送信後、画面３０２は画面３０１に戻る。なお、電子メールの送信は機器２０から切り出し画像３１２を直接メールサーバへ送信されてもよいし、機器２０が入出力サービス装置５０Ａに対して後工程の処理を開始するための要求を送信し、当該要求に応じて入出力サービス装置５０Ａが一時ファイルストレージサービス装置５０Ｂからファイルを取得して、メールを送信する構成としてもよい。

更に、後工程として電子メールで切り出し画像３１２を送信する形態は一例であって、メールを送信せず、経費精算システム等の外部システムへ切り出し画像３１２を送信する構成でもよい。この場合、機器２０が入出力サービス装置５０Ａに対して後工程の処理を開始するための要求を送信した後、当該要求に応じて入出力サービス装置５０Ａが 一時ファイルストレージサービス装置５０Ｂからファイルを取得し、サービス提供環境に含まれない経費精算システムに送信する構成としてもよい。

(6) 切り出しの実行結果が期待しているものではなかった場合、ユーザはやり直しボタン３２３を押下する。これにより画面３０２は画面３０１に戻る。レシートが大きく傾いていたり、丸まったままであったり、レシート間の距離が近すぎたりする場合、切り出しが成功しない場合がある。ユーザは、レシートの配置をし直すなどして、再度、スタートボタン３１０を押下する。

このように、情報処理システム５０がメール送信する前に、ユーザから機器側の再処理の入力を受け付けることができる。

(7) レシートの配置をやり直しただけでは解決しない場合がある。このため、画面３０２は修正ボタン３２４を有している。例えば、１枚のレシートが複数の切り出し画像として出力されてしまった場合、ユーザは修正ボタン３２４を押下する。これにより画面３０５が表示される。画面３０５は、２つの切り出し画像欄３２５，３２６、結同方向ボタン３２８、３２９、結合結果欄３２７、及び、結合ボタン３３０を有している。２つの切り出し画像欄３２５，３２６は、それぞれ全ての切り出し画像を表示できる。ユーザは２つの切り出し画像欄３２５，３２６で、元は１枚のレシートであった切り出し画像を表示させる。切り出されたレシートが３つの場合、３×３の組み合わせから、元は１つのレシートであった正しい組み合わせをユーザが選択できる。結同方向ボタン３２８，３２９は２つの切り出し画像の結合方向をユーザが指定するためのボタンである。結合結果欄３２７には入出力サービス装置５０Ａによる結合結果が表示される。結合ボタン３３０は結合結果を確定するためのボタンである。これにより画面３０５は画面３０２に戻るが、切り出し画像３１２には結合されたものが表示される。

なお、画面３０５では２つの切り出し画像が結合の候補になっているが、３つ以上の切り出し画像が結合の候補となる場合もある。

(8) 画面３０２でユーザがボタン３１３を押下すると、切り出し画像が切り替わり、画面３０６に遷移する。画面３０６では画面３０２と同じ遷移が可能である。

(9) 画面３０７でユーザがボタン３１３を押下すると、切り出し画像が切り替わり、画面３０７に遷移する。画面３０７では画面３０２と同じ遷移が可能である。

＜画像データの切り出し等の動作手順＞
続いて、図７Ａ～図７Ｃを参照して、処理実行システム１００が画像データを切り出し、再度、機器２０でスキャンするかどうかをユーザから受け付ける処理を説明する。図７Ａ～図７Ｃは、レシートのスキャンからレシートの結合までの処理の流れを説明するシーケンス図の一例である。

まず、概略を説明する。処理実行システム１００においは、入出力サービス装置５０Ａによるクラウド上での処理は、機器２０とは非同期に実行される。そのため、ユーザがスキャンを実行し、画像データが入出力サービス装置５０Ａに送信されると、受信した時点で、入出力サービス装置５０Ａはスキャン成功通知を機器２０へと返す。機器２０は操作パネル上でスキャンジョブが成功した旨を表示する。

実際には、入出力サービス装置５０Ａは切り出し処理の実行、画像データ及び切り出し画像の一時ファイルストレージサービス装置５０Ｂへの保存などを行っている。一時ファイルストレージサービス装置５０Ｂがあることで、入出力サービス装置５０Ａが非同期に処理を行っても、機器２０が画像データと切り出し画像を取得できる。

機器２０はアプリの実行結果に含まれる、一時ファイルストレージサービス装置５０Ｂに保存された画像のＵＲＬを使って、一時ファイルストレージサービス装置５０Ｂから画像データと切り出し画像を取得する。機器２０は画像データと切り出し画像を操作パネル９４０に表示する。

S1：ユーザは機器２０にレシートを配置し、操作パネル９４０に表示されている画面３０１のスタートボタン３１０を押下することによりスキャンの実行を開始する。入力受付部２２はスキャンの実行を受け付ける。

S2：入力受付部２２が受け付けた「スキャン」処理実行命令を、表示部２１は他の装置とのやり取りを行う制御部２３に送信する。

S3：制御部２３は、スキャン処理を行って画像データを生成し、画像データを入出力サービス装置５０Ａへ送信する。

S4：上記の通り、入出力サービス装置５０Ａは非同期で画像処理を実行するため、画像データを受け取った時点で、入出力サービス装置５０Ａの通信部５６は機器２０の制御部２３へスキャンという処理の成功通知を送信する。

S5：制御部２３は受信した成功通知を表示部２１へ送信する。

S6：表示部２１は、成功通知をユーザへフィードバックするためスキャンジョブ成功通知画面を操作パネル９４０に表示する。

S7：以降からステップS27まで、機器２０とは非同期に入出力サービス装置５０Ａが行う画像処理である。まず、通信部５６は画像データを画像情報処理部５１の画像認識部５２へ送信する。

S8：画像認識部５２は、切り出し部位特定のために画像データの解析（二値化等）を行う。

S9：画像認識部５２は解析結果をもとに画像切り出し箇所（各レシートの４つの頂点の座標）の特定を行う。

S10：画像認識部５２は切り出し箇所を、画像切り出し処理を行う画像切り出し部５３へ送信する。

S11：画像切り出し部５３は、受け取った画像切り出し個所をもとに切り出し処理の実行を行う。

S12：画像切り出し部５３は切り出し画像群を通信部５６に送信する。

S13：通信部５６は、切り出し画像群を一時ファイルストレージサービス装置５０Ｂに保存するため、切り出し画像群を一時ファイルストレージサービス装置５０Ｂに送信する。

S14：一時ファイルストレージサービス装置５０Ｂの通信部６１は切り出し画像群を受信し、切り出し画像群をデータ保存部６２へ送信する。

S15：データ保存部６２は切り出し画像群を保存する。

S16：データ保存部６２は切り出し画像群が保存されている保存先ＵＲＬ情報を通信部６１に返却する。

S17：一時ファイルストレージサービス装置５０Ｂの通信部６１は、入出力サービス装置５０Ａに保存先ＵＲＬ情報を送信する。

S18：次に、入出力サービス装置５０Ａの通信部５６は元の画像データを一時ファイルストレージサービス装置５０Ｂに保存するために、画像データを一時ファイルストレージサービス装置５０Ｂに送信する。

S19：一時ファイルストレージサービス装置５０Ｂの通信部６１は画像データを受信し、画像データをデータ保存部６２へ送信する。

S20：データ保存部６２は画像データを保存する。

S21：データ保存部６２は画像データの保存先である保存先ＵＲＬ情報を通信部６１に返却する。

S22：一時ファイルストレージサービス装置５０Ｂの通信部６１は、入出力サービス装置５０Ａに保存先ＵＲＬ情報を送信する。

S23：入出力サービス装置５０Ａの通信部５６は保存先ＵＲＬ情報を、切り出しジョブ実行結果として保存する。

S24：非同期で実行されている画像処理の結果を取得するため、機器２０の制御部２３は入出力サービス装置５０Ａに直前のジョブ実行結果の問い合わせを行う。例えば、制御部２３はステップS4の後、いつ終わるか分からない画像処理の終了を入出力サービス装置５０Ａに繰り返し問い合わせるポーリングを行っている。あるいは、入出力サービス装置５０Ａがプッシュ通知で画像処理の終了を機器２０に送信してもよい。

S25：これにより機器２０の制御部２３は、入出力サービス装置５０Ａから保存先ＵＲＬ情報を含むジョブ実行結果を取得する。

S26～S28：制御部２３は、保存先ＵＲＬ情報を用いて画像データと切り出し画像の取得を行う。図７Ｂでは入出力サービス装置５０Ａを介して行っているが、機器２０が直接、一時ファイルストレージサービス装置５０Ｂと通信してもよい。

S29～S32：一時ファイルストレージサービス装置５０Ｂのデータ保存部６２は保存先ＵＲＬ情報で特定される画像データと切り出し画像を機器２０に送信する。

S33：表示部２１は画像データと切り出し画像を操作パネル９４０に表示する。これにより図６の画面３０２が表示される。

S34：切り出された結果が、レシートの再配置等では修正でき無さそうな場合、ユーザは画面３０２の修正ボタン３２４を押下する。入力受付部２２は押下を受け付ける。

S35～S37：機器２０は切り出し結果結合候補取得命令を入出力サービス装置５０Ａに送信する。

S38：画像結合判断部５４は、切り出し画像から結合されるべき推定値が高いものをデフォルトの候補としてユーザにフィードバックする。例えば、横サイズがほぼ同じ２つの切り出し画像で、一方の切り出し画像の左下頂点のＹ座標と、他方の切り出し画像の左上頂点のＹ座標の差が一定以下の場合、結合されるべき可能性が高いものとする。画像結合判断部５４は、結合されるべき可能性が高い２つの切り出し画像を組み合わせて同じ優先度を付しておく。

S39～S41：入出力サービス装置５０Ａは切り出し結果結合候補を機器２０に送信する。

S42：機器２０の表示部２１は優先度の順に、切り出し結果結合候補を操作パネル９４０に表示する。これにより、画面３０５が表示される。なお、画面３０５の２つの切り出し画像欄３２５，３２６はそれぞれ全ての切り出し画像を表示できるので、ステップS35～S41はなくてもよい。ただし、ステップS35～S41の処理により機器２０は切り出し画像欄３２５，３２６に、結合される可能性が高い切り出し画像を優先して又はデフォルトで表示できる。

S43：ユーザが結像を行う２つの切り出し画像を選択し、結合方向を入力する。入力受付部２２は選択と入力を受け付ける。

S44～S46：機器２０は２つの切り出し画像と結合方向を指定して、結合要求を入出力サービス装置５０Ａに送信する。

S47：画像結合部５５は指定された２つの切り出し画像を結合する。

S48～S50：入出力サービス装置５０Ａは結合された切り出し画像を機器２０に送信する。

S51：機器２０の表示部２１は画像データと切り出し画像を操作パネル９４０に表示する。これにより画面３０２が再度、表示される。結合前の切り出し画像の数が３つの場合、結合により切り出し画像の数が２つになる。

S52：ユーザが再度、機器２０でスキャンを行うべきと判断した場合、ユーザは画面３０２のやり直しボタン３２３を押下する。これにより画面３０２は画面３０１に戻るので、ユーザはレシートの配置をやり直してスタートボタン３１０を押下する。入力受付部２２は押下を受け付ける。

S53：表示部２１は画像処理のやり直しを制御部２３に送信する。

S54：制御部２３はスキャンを行って画像データを作成し、画像データと共に画像処理のやり直しを入出力サービス装置５０Ａに送信する。

S55：入出力サービス装置５０Ａはやり直し要求を受信すると、直前の画像データと切り出し画像が不要になるので、通信部５６は保存先ＵＲＬ情報を指定して一時保存ファイルの削除を一時ファイルストレージサービス装置５０Ｂに送信する。

S56：一時ファイルストレージサービス装置５０Ｂの通信部６１は一時保存ファイルの削除を受信すると、データ保存部６２が画像データと切り出し画像を削除する。

S57～S60：一時ファイルストレージサービス装置５０Ｂは、入出力サービス装置５０Ａを介して一時保存ファイル削除成功を機器２０に送信する。これにより、機器２０と情報処理システム５０はステップS3～S33の処理を再度行うので、機器２０はレシートのスキャン（原稿のスキャン）をやり直した画像データから切り出された切り出し画像を画面３０２に表示できる。

処理実行システム１００は、ユーザから図６（６）の送信ボタン３２２の押下等、切り出し画像３１２を用いて後工程を開始するための操作を受け付けるまで、ステップS3～S60までの処理を繰り返す。後工程を開始するための操作を受け付けた後、処理実行システム１００は上述した後工程を開始する。したがって、機器２０で再処理を行うかどうかを、処理実行システム１００が全ての処理を実行する前に受け付けることができる。なお、ステップS43～S51の切り出し画像３１２の修正・結合処理は必須ではなく、省略されてもよい。ただし、ステップS43～S51の処理により、機器２０へのユーザの操作に応じて容易に切り出し画像３１２の修正を行うことが可能となるため、切り出し画像３１２をメールで受信した後などの後工程が行われた後に、画像の修正を行う手間を省くことが可能となる。

＜プリントアウトの処理＞
図６，図７では、機器２０がレシートをスキャンし入出力サービス装置５０Ａが自動切り出しを行うアプリケーションを例にして説明したが、以下ではプリントを行うアプリケーションの場合を説明する。

図８は、機器２０の操作パネル９４０に表示される画面例を示す。図８の例は、外部クラウドストレージサービス７０上に保存されたデータとこのデータに付加したいスタンプをユーザが選択し、機器２０が印刷するという動作をするアプリケーションである。主要な操作に対して(1)～(4)までの通し番号を付与したためそれぞれの操作について説明を行う。

(1) 画面４０１は印刷するファイルとスタンプの選択画面である（外部クラウドストレージサービス７０が有するファイルのリストを表示している）。ユーザは画面４０１の左側のファイルブラウズ４１０においてスタンプ画像を有するファイルの選択を行い、画面右側のファイルブラウズ４１１においてスタンプが押されるＰＤＦファイル（印刷対象のファイル）の選択を行う（第一の処理の一例）。それらを選択した状態でユーザがスタートボタン４１２を押下すると、機器２０はプレビュー（後述するスタンプ結果画像）を取得する画面４０２に遷移する。

(2) 画面４０２ではプレビュー欄４１３に印刷対象のファイルとスタンプのプレビューが表示される。プレビュー欄４１３に表示されるプレビューは入出力サービス装置５０Ａで作成されたものである（第二の処理の一例）。ユーザはスタンプ４１８の位置を確認できる。スタンプの位置の修正を行う場合、ユーザは位置パラメータ４１４を指定し（第一の処理の一例）、取得ボタン４１７を押下する。これにより、機器２０は再度、入出力サービス装置５０Ａからプレビューを取得し、画面４０２に再表示する。

(3) プレビューが期待したものである場合、ユーザは印刷ボタン４１６を押下する。これにより、機器２０はプレビューされている画像を印刷する。

(4) ファイルの選択が間違っていた場合、ユーザはファイル選択をやり直すためにやり直しボタン４１５を押下する。これにより画面４０１に戻る。

このように、機器２０が印刷する前に、ファイル又はスタンプの選択を受け付けるという再処理や、スタンプ位置の設定を再度受け付けるという再処理が可能である。従来は、画面４０２から直接、印刷が行われていたが、この場合は、ファイルやスタンプの選択の間違い、スタンプの位置の誤設定などにより再印刷が必要になる場合があった。本実施例では入出力サービス装置５０Ａの処理結果（スタンプ結果画像のプレビュー）を表示して、機器２０側で再処理するか否かを受け付けることができる。

＜ファイルのプレビュー表示等の動作手順＞
続いて、図９Ａ、図９Ｂを参照して、処理実行システム１００がスタンプを有するファイルのプレビューを作成し、再度、機器２０でユーザが設定するかどうかをユーザから受け付ける処理を説明する。図９Ａ、図９Ｂは、スタンプが形成されたファイルのプレビュー表示までの処理の流れを説明するシーケンス図の一例である。

S61：ユーザは画面４０１でスタンプのファイルと印刷用のファイルをそれぞれ選択し、スタートボタン４１２を押下する。入力受付部２２はこれらを受け付ける。

S62：表示部２１はスタンプのファイルと印刷用のファイルを指定して画像スタンプ実行命令を制御部２３へ送信する。

S63：制御部２３は入出力サービス装置５０Ａに画像スタンプ実行命令を送信する。

S64：画像処理は非同期に実行されるため、入出力サービス装置５０Ａの通信部５６はすぐに成功通知を機器２０に返却する。

S65：制御部２３は受信した成功通知を表示部２１へ送信する。

S66：表示部２１は、成功通知をユーザへフィードバックするため画像スタンプ実行命令通知画面を操作パネル９４０に表示する。

S67：以降は非同期で行う画像処理である。まず、通信部５６はスタンプのファイルと印刷用のファイルを指定して、画像スタンプ実行命令を画像スタンプ実行部５７に送信する。

S68：画像スタンプ実行部５７は、選択された印刷用のファイルに対して選択されたスタンプのファイルが有する画像を押下する。つまり、印刷用のファイルの印刷イメージにスタンプ画像を重ねる。

S69：画像スタンプ実行部５７はスタンプ結果画像を入出力サービス装置５０Ａへ送信する。

S70：入出力サービス装置５０Ａの通信部５６はスタンプ結果画像を一時ファイルストレージサービス装置５０Ｂに送信する。

S71：一時ファイルストレージサービス装置５０Ｂの通信部６１はスタンプ結果画像を受信し、データ保存部６２へ送信する。

S72：データ保存部６２はスタンプ結果画像を一時保存する。

S73～S74：データ保存部６２は通信部６１を介してスタンプ結果画像の保存先 ＵＲＬ情報を入出力サービス装置５０Ａに送信する。

S75：入出力サービス装置５０Ａの通信部５６は保存先ＵＲＬ情報を画像スタンプジョブ実行結果として保存する。

S76：機器２０の制御部２３は、非同期で実行される画像処理の結果を取得するため入出力サービス装置５０Ａへ直前のジョブ実行結果を問い合わせる（ポーリング）。あるいは、制御部２３は入出力サービス装置５０Ａから画像処理の終了の通知を受ける。

S77：制御部２３は保存先ＵＲＬ情報を含むジョブ実行結果を入出力サービス装置５０Ａから取得する。

S78～S83：制御部２３は保存先ＵＲＬ情報を用いてスタンプ結果画像を一時ファイルストレージサービス装置５０Ｂから取得する。

S84：制御部２３はスタンプ結果画像を表示部２１に送信する。

S85：表示部２１はスタンプ結果画像を操作パネル９４０に表示する。これにより、画面４０２が表示される。

S86：表示されたプレビューのスタンプ位置、印刷用のファイル、又は、スタンプそのものが期待されたものでない場合、ユーザはやり直しボタン４１５を押下して、ファイル選択を再度行う。あるいは、画面４０２の位置パラメータ４１４を変更することで、スタンプ位置を変更する。そして、ユーザは取得ボタン４１７を押下する。入力受付部２２はファイルの選択やスタンプ位置を受け付ける。

S87、S88：これにより、機器２０はスタンプ結果画像の取得を再度、行う。この処理は、ステップＳ63～84と同様でよい。

S89：表示部２１はスタンプ結果画像を操作パネル９４０に再度、表示する。これにより、画面４０２が更新される。

S90：表示されたスタンプ結果画像をユーザが機器２０で印刷する場合、ユーザは印刷ボタン４１６を押下する。入力受付部２２は押下を受け付ける。

S91：表示部２１は、スタンプ結果画像印刷命令を制御部２３に送信する。

S92～S97：制御部２３は保存先ＵＲＬ情報を用いてスタンプ結果画像を一時ファイルストレージサービス装置５０Ｂから取得する。図９Ｂでは入出力サービス装置５０Ａを介して行っているが、機器２０が直接、一時ファイルストレージサービス装置５０Ｂと通信してもよい。

S98：制御部２３は取得したスタンプ結果画像を印刷する。

S99：制御部２３は印刷成功通知を表示部２１に送信する。

S100：表示部２１は、スタンプ結果画像印刷の成功通知画面を表示する。

このように、機器２０は、プリントアプリにおいても、機器２０で再処理を行うかどうかを、処理実行システム１００が全ての処理を実行する前に受け付けることができる。

＜主な効果＞
以上説明したように、本実施形態の処理実行システムは、機器２０の処理（スキャン）に基づく情報処理システム５０の処理結果（レシートの切り出し）が機器２０に表示されるので、情報処理システム５０における処理の失敗の原因となる機器２０の処理を再度、行うかどうかをユーザが判断できる。また、機器２０の処理（ファイル選択、スタンプ位置設定）に基づく情報処理システム５０の処理結果（スタンプ結果画像の生成）が機器２０に表示されるので、情報処理システム５０における処理の失敗の原因となる機器２０の処理を再度、行うかどうかをユーザが判断できる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、図５などの構成例は、機器２０、情報処理システム５０、及び、一時ファイルストレージサービス装置５０Ｂによる処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。機器２０、情報処理システム５０、及び、一時ファイルストレージサービス装置５０Ｂの処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

また、実施例に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの１つを示すものにすぎない。ある実施形態では、情報処理システム５０は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。

更に、情報処理システム５０は、開示された処理ステップ、例えば図７，図９を様々な組み合わせで共有するように構成できる。例えば、所定のユニットによって実行されるプロセスは、情報処理システム５０が有する複数の情報処理装置によって実行され得る。また、情報処理システム５０は、１つのサーバ装置にまとめられていても良いし、複数の装置に分けられていても良い。

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（Digital Signal Processor）、FPGA（Field Programmable Gate Array）や従来の回路モジュール等のデバイスを含むものとする。

２０ 機器
５０ 情報処理システム
５０Ａ 入出力サービス装置
５０Ｂ 一時ファイルストレージサービス装置
７０ 外部クラウドストレージサービス
１００ 処理実行システム

特許6066108号公報

Claims (12)

1. 機器における第一の処理の結果を用いた第二の処理を情報処理システムに要求する機器であり、
   前記情報処理システムから取得した前記第二の処理の結果を表示する表示部と、
   前記機器における前記第一の処理を再度、行うことを受け付ける入力受付部と、
   を有する機器であって、
   前記第一の処理が複数のレシートをまとめてスキャンする処理であり、前記第二の処理がスキャンにより生成された画像データから前記複数のレシートの各画像を切り出す処理である場合、
   前記表示部は、前記情報処理システムから取得した、前記複数のレシートの各画像の切り出し画像を表示し、
   前記入力受付部が、前記スキャンを再度、行うことを受け付けた場合、前記第一の処理を再度行う制御部は前記複数のレシートを再度、スキャンして、
   前記入力受付部が、前記複数のレシートの前記切り出し画像を結合することを受け付けた場合、前記表示部は、結合の候補となる前記複数のレシートの前記切り出し画像を優先して表示することを特徴とする機器。
2. 前記第二の処理は複数の処理を有し、
   前記表示部は、全ての前記複数の処理が実行される前に、前記第二の処理の結果を表示することを特徴とする請求項１に記載の機器。
3. 前記第一の処理は原稿のスキャンであり、前記第二の処理がスキャンにより生成された画像データの画像処理、及び、前記画像データの外部への送信である場合、
   前記表示部は、前記情報処理システムから取得した前記画像処理の結果を表示し、
   前記入力受付部が、前記スキャンを再度、行うことを受け付けた場合、前記制御部は再度、原稿をスキャンして、前記第二の処理を前記情報処理システムに要求し、
   前記入力受付部が、前記外部への送信を受け付けた場合、前記制御部は前記画像データを前記情報処理システムに送信することを特徴とする請求項１又は２に記載の機器。
4. 前記第一の処理は複数のレシートをまとめてスキャンする処理であり、前記第二の処理がスキャンにより生成された画像データから前記複数のレシートの各画像を切り出す処理、及び、前記複数のレシートの各画像の切り出し画像の外部への送信である場合、
   前記表示部は、前記情報処理システムから取得した前記複数のレシートの各画像の切り出し画像を表示し、
   前記入力受付部が、前記スキャンを再度、行うことを受け付けた場合、前記制御部は前記複数のレシートを再度、スキャンすることを特徴とする請求項３に記載の機器。
5. 前記入力受付部が、前記複数のレシートの前記切り出し画像を結合することを受け付けた場合、
   前記制御部は結合の候補となる前記複数のレシートの前記切り出し画像を前記情報処理システムから取得し、
   前記表示部は、結合の候補となる前記複数のレシートの前記切り出し画像を優先して表示することを特徴とする請求項４に記載の機器。
6. 前記表示部は、レシートの前記切り出し画像を表示する複数の欄のそれぞれに、
   全てのレシートの前記切り出し画像の中からユーザにより指示された前記切り出し画像を表示し、
   前記入力受付部は、前記複数の欄に表示された複数の前記切り出し画像を結合することを受け付けることを特徴とする請求項５に記載の機器。
7. 前記表示部は前記切り出し画像と共にカレンダーアイコンを表示し、
   前記カレンダーアイコンの押下を受け付けると、カレンダーを表示し、
   前記入力受付部は前記カレンダーの日付の押下により、前記切り出し画像のファイル名を受け付けることを特徴とする請求項４～６のいずれか１項に記載の機器。
8. 前記第一の処理はスタンプ画像とファイルの選択であり、前記第二の処理は前記スタンプ画像が重ねられた前記ファイルのスタンプ結果画像の生成である場合、
   前記表示部は、前記情報処理システムから取得した前記スタンプ結果画像を表示し、
   前記入力受付部が、前記スタンプ画像又は前記ファイルの選択を再度、行うことを受け付けた場合、前記表示部は再度、前記スタンプ画像又は前記ファイルの選択画面を表示し、
   前記制御部は、前記入力受付部が受け付けた前記スタンプ画像又は前記ファイルを用いた前記スタンプ結果画像を再度、前記情報処理システムから取得し、
   前記表示部は前記スタンプ結果画像を再度、表示し、
   前記入力受付部が、前記スタンプ結果画像の印刷を受け付けた場合、前記制御部は前記スタンプ結果画像を印刷することを特徴とする請求項２に記載の機器。
9. 前記第一の処理は、更に前記スタンプ画像の位置の選択の受け付ける処理を有し、
   前記表示部は、前記情報処理システムから取得した前記スタンプ結果画像を表示し、
   前記入力受付部は、前記スタンプ画像の位置の選択を再度、受け付け、
   前記制御部は、前記入力受付部が受け付けた前記スタンプ画像の位置に基づいて生成された前記スタンプ結果画像を再度、前記情報処理システムから取得し、
   前記表示部は前記スタンプ結果画像を再度、表示し、
   入力受付部が、前記スタンプ結果画像の印刷を受け付けた場合、前記制御部は前記スタンプ結果画像を印刷することを特徴とする請求項８に記載の機器。
10. 機器における第一の処理の結果を用いた第二の処理を機器が情報処理システムに要求する処理実行システムであって、
    前記機器は、
    前記情報処理システムから取得した前記第二の処理の結果を表示する表示部と、
    前記機器における前記第一の処理を再度、行うことを受け付ける入力受付部と、
    を有し、
    前記第一の処理が複数のレシートをまとめてスキャンする処理であり、前記第二の処理がスキャンにより生成された画像データから前記複数のレシートの各画像を切り出す処理である場合、
    前記表示部は、前記情報処理システムから取得した、前記複数のレシートの各画像の切り出し画像を表示し、
    前記入力受付部が、前記スキャンを再度、行うことを受け付けた場合、前記第一の処理を再度行う制御部は前記複数のレシートを再度、スキャンして、
    前記入力受付部が、前記複数のレシートの前記切り出し画像を結合することを受け付けた場合、前記表示部は、結合の候補となる前記複数のレシートの前記切り出し画像を優先して表示することを特徴とする処理実行システム。
11. 機器における第一の処理の結果を用いた第二の処理を情報処理システムに要求する機器が行う処理実行方法であって、
    表示部が、前記情報処理システムから取得した前記第二の処理の結果を表示するステップと、
    入力受付部が、前記機器における前記第一の処理を再度、行うことを受け付けるステップと、を有し、
    前記第一の処理が複数のレシートをまとめてスキャンする処理であり、前記第二の処理がスキャンにより生成された画像データから前記複数のレシートの各画像を切り出す処理である場合、
    前記表示部は、前記情報処理システムから取得した、前記複数のレシートの各画像の切り出し画像を表示し、
    前記入力受付部が、前記スキャンを再度、行うことを受け付けた場合、前記第一の処理を再度行う制御部は前記複数のレシートを再度、スキャンして、
    前記入力受付部が、前記複数のレシートの前記切り出し画像を結合することを受け付けた場合、前記表示部は、結合の候補となる前記複数のレシートの前記切り出し画像を優先して表示することを特徴とする処理実行方法。
12. 機器における第一の処理の結果を用いた第二の処理を情報処理システムに要求する機器を、
    前記情報処理システムから取得した前記第二の処理の結果を表示する表示部と、
    前記機器における前記第一の処理を再度、行うことを受け付ける入力受付部、
    として機能させるためのプログラムであって、
    前記第一の処理が複数のレシートをまとめてスキャンする処理であり、前記第二の処理がスキャンにより生成された画像データから前記複数のレシートの各画像を切り出す処理である場合、
    前記表示部は、前記情報処理システムから取得した、前記複数のレシートの各画像の切り出し画像を表示し、
    前記入力受付部が、前記スキャンを再度、行うことを受け付けた場合、前記第一の処理を再度行う制御部は前記複数のレシートを再度、スキャンして、
    前記入力受付部が、前記複数のレシートの前記切り出し画像を結合することを受け付けた場合、前記表示部は、結合の候補となる前記複数のレシートの前記切り出し画像を優先して表示することを特徴とするプログラム。

Images