JP5679655B2

JP5679655B2 - 携帯端末装置及びその表示制御方法

Info

Publication number: JP5679655B2
Application number: JP2009291840A
Authority: JP
Inventors: 修渡部
Original assignee: レノボ・イノベーションズ・リミテッド（香港）
Priority date: 2009-12-24
Filing date: 2009-12-24
Publication date: 2015-03-04
Anticipated expiration: 2029-12-24
Also published as: JP2011135248A

Description

本発明は、カメラ機能を備えた携帯端末装置及びその表示制御方法に関する。

携帯電話機のような携帯端末装置にはカメラ機能を備えるのが普通になってきており、カメラ機能について言えば高画質化が課題の一つとなっている。このような課題は、これまでは、カメラ機能で撮影した画像信号を携帯電話機とは別の画像処理装置に送信して高画質とするための画像処理を行なうことで達成されていた（特許文献１参照）。

しかし、近年、カメラ機能を備えた携帯端末装置においては、装置自体の高機能化、すなわちカメラの高解像度化、画像表示部としてのＬＣＤの大画面化と高解像度化が進んできており、これに伴い、装置内でのソフトウェアの処理負荷が増加する傾向にある。このような傾向の中で、ユーザに対する使い勝手の良さ、処理の速さ（体感的なものを含む）を提供することが携帯端末装置の要件として重要となってきている。

特開２００３−２８１５１１

携帯端末装置におけるカメラ機能の使い勝手の一例として、携帯端末装置でカメラ撮影を行う場合に、携帯端末装置を動かしてはいけない撮影中と、撮影が完了したあとの高画質化などの後処理がＵＩ（ＵｓｅｒＩｎｔｅｒｆａｃｅ）上わかりにくく、その結果、ユーザは後処理が終わるまで携帯端末装置を動かさないという使い勝手の悪さ、そして撮影動作の体感的な遅さを感じさせている。

そこで、本発明の課題は、カメラ機能を備えた携帯端末装置において、カメラ撮影に際し、装置を動かしてはいけない時間と撮影後の高画質化などの後処理の時間をＵＩにおいて明確に識別できるようにすることにある。

本発明は、カメラ機能により得られた撮影（画像）データを処理する画像処理部を含むカメラモジュール部をもつマイクロプロセッサを実装した携帯端末装置に適用されるのが好ましい。この場合、本携帯端末装置は、上記目的を達成するために必要な要素としては、マイクロプロセッサのほか、カメラモジュール部から転送された撮影（画像）データを格納するＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、高画質化のための画像処理のソフトウェアプログラムや携帯端末装置に必要な様々な機能を実現するための様々なソフトウェアプログラムを格納したＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、画像表示部としてのＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）を備えることが望ましい。

マイクロプロセッサは命令を実行するＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）のほか、カメラ撮影完了や高画質化などの後処理の終了を検出する検出部、検出部を監視し表示画面を更新する表示制御部を含む。

なお、本発明は、カメラモジュール部がカメラと一体にされてマイクロプロセッサの外に配置される、いわゆる外付けタイプの携帯端末装置にも適用され得る。

本発明は、以下の態様で実施されることが好ましい。

（第１の態様）
カメラ機能により得られた画像を処理する画像処理部を含むカメラモジュール部と、前記カメラモジュール部から転送された画像データを格納するＲＡＭと、少なくとも手ブレ補正、高画質化のための画像処理用のソフトウェアプログラムを格納したＲＯＭと、前記ソフトウェアプログラムに基づいて、前記画像データに対して手ブレ補正、高画質化処理を含む後処理を実行する後処理手段と、画像表示部としてのＬＣＤと、前記ＬＣＤの表示を制御する表示制御部と、前記カメラ機能による撮影開始から前記後処理手段による後処理終了までの複数の処理の開始あるいは終了タイミングを検出する検出部と、を含み、前記表示制御部は、前記カメラ機能による撮影に際し、前記検出部において前記複数の処理の開始あるいは終了タイミングが検出される毎に前記ＬＣＤの表示内容を更新することにより、撮影中の表示と撮影終了後の画像の後処理中の表示とを区別して表示することを特徴とする携帯端末装置。

（第２の態様）
上記第１の態様において、前記表示制御部は、前記撮影中の表示を、「撮影中」の文字を表示することで行い、前記撮影終了後の画像の後処理中の表示を、後処理の画像を表示することで行なう。

（第３の態様）
上記第２の態様において、前記複数の処理の開始あるいは終了タイミングの検出として、少なくとも、前記カメラ機能のシャッターボタンの押下により発生され、前記「撮影中」の文字表示の開始を規定する撮影トリガの検出と、前記カメラモジュール部内部での画像処理完了に伴って発生され、前記「撮影中」の文字表示から前記撮影終了後の後処理中の画像表示への切替えを規定する撮影完了トリガの検出と、前記後処理手段での前記後処理完了に伴って発生され、前記撮影終了後の後処理中の画像表示から確認のための画像表示への切替えを規定する終了トリガの検出と、を行なう。

（第４の態様）
上記第１〜第３の態様のいずれかにおいて、前記後処理手段、前記表示制御部、前記検出部、前記カメラモジュール部がマイクロプロセッサで実現される。

（第５の態様）
上記第１〜第４の態様のいずれかにおいて、前記表示制御部は、前記撮影終了後の後処理中の画像表示を、前記手ブレ補正や高画質化処理により時間と共に鮮明化されてゆく画像を表示することで行なうことにより、ユーザにおける体感的な遅さを抑制する。

（第６の態様）
ＬＣＤとカメラ機能を備えた携帯端末装置の表示制御方法において、前記カメラ機能により得られた画像を処理する画像処理過程と、処理された画像データをメモリに格納する過程と、前記画像データに対して手ブレ補正、高画質化処理を含む後処理を実行する後処理過程と、前記カメラ機能による撮影開始から前記後処理過程の終了までの複数の処理の開始あるいは終了タイミングを検出する検出過程と、前記カメラ機能による撮影に際し、前記複数の処理の開始あるいは終了タイミングが検出される毎に前記ＬＣＤの表示内容を更新する過程と、を含み、撮影中の表示と撮影終了後の画像の後処理中の表示とを区別して表示することを特徴とする携帯端末装置の表示制御方法。

本発明によれば、カメラ撮影を行なった際に、撮影終了と撮影終了後の後処理を、ＵＩ上で明確に識別できるようにしたことにより、使い勝手の悪さや体感的な処理の遅さを軽減できる。

本発明に係る携帯端末装置の実施例のブロック構成を示した図である。これまでの携帯端末装置と本発明の実施例におけるカメラ撮影時のＵＩ上の処理、表示形態を比較説明するための図である。

［実施例の構成］
次に、本発明に係る携帯端末装置の実施例の構成について図面を参照して説明する。

図１は、本発明を、携帯端末装置のうち、携帯電話機に適用した場合の実施例を示す。

図１を参照すると、携帯電話機１はマイクロプロセッサＭＰＵを備える。図１ではマイクロプロセッサＭＰＵの構成を機能ブロック図で示しており、マイクロプロセッサＭＰＵは、プログラム制御により動作し少なくとも手ブレ補正や高画質化処理を実行するＣＰＵ（後処理手段）１１と、カメラで取得した撮影（画像）データに対し画像フォーマットの変換を含む画像処理を行う画像処理部を含むカメラモジュール部１２と、撮影や画像処理、手ブレ補正や高画質化処理の終了を検出する検出部１３と、検出部１３からのトリガを監視し、そのトリガによって表示画面を更新する表示制御部１４を含む。携帯電話機１はまた、撮影データを格納するためのＲＡＭ２０と、ＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）や携帯電話機の備える各種機能を実現するための各種プログラム、本実施例で言えば画像処理を制御するプログラムを格納したＲＯＭ３０、画像表示部としてのＬＣＤ４０を有する。

ＭＰＵの各構成要素は内部バスで相互接続され、ＲＡＭ２０、ＲＯＭ３０、ＬＣＤ４０とはデータバスで接続されている。

以降の実施例の動作説明は複数種類のトリガを用いて行なうが、これらのトリガについて説明すると以下の通りである。

撮影トリガＴＧ１：ユーザが撮影を行う際にシャッターボタンを押下したタイミングで発生される信号。

撮影完了トリガＴＧ２：カメラモジュール部内での撮影(露光)処理、画像フォーマットの変換処理を含む画像処理の完了（＝撮影データの取得処理完了）のタイミングで発生される信号。

終了トリガＴＧ３：ＣＰＵ１１においてカメラモジュール部から取得した撮影データに対する手ブレ補正や高画質化処理が終了したタイミングで発生される信号。

撮影完了トリガＴＧ２はカメラモジュール部１２から検出部１３に通知され、終了トリガＴＧ３は、ＣＰＵ１１の実行するプログラムが、手ブレ補正や高画質化処理の終了時に検出部１３に通知する。表示制御部１４は、検出部１３が撮影完了トリガＴＧ２や終了トリガＴＧ３を受けたかを監視し、受け取ったトリガに応じて表示制御を行なう。

なお、図１は、携帯電話機１の備える構成要素のうち、本発明を実施するために必要な構成要素を示しており、キー入力部のほか、携帯電話機として機能させるために必要な構成は周知の構成が適用されるので、図示、説明は省略する。

［実施例の動作］
次に、図２をも参照して本発明の実施例の動作について説明する。

図２は、これまでの携帯電話機と本発明の実施例による携帯電話機におけるカメラによる撮影時のＵＩ上の処理を比較説明するための図である。

図２（ａ）はこれまでの携帯電話機におけるカメラ撮影時の表示形態を示す。これまでの表示形態では、単一色による背景に「撮影中」、「処理中」というような文字表示による案内がＬＣＤにより切替え表示されるが、ユーザは、撮影完了がわからない＝その間は装置を動かしてはいけない、と誤解し、ＵＩ上好ましくない形態となっている。

これに対し、本実施例ではまず、携帯電話機１において、ユーザがキー入力部によりカメラ機能の使用を選択する操作を行なうと、ＣＰＵ１１がＲＯＭ３０に格納されたプログラムを読み出して実行することにより、前記プログラムで規定された目的に応じた設定をカメラモジュール部１２に対して行う。これにより、カメラモジュール部１２はその動作を開始する。カメラモジュール部１２は、前記プログラム、シャッターボタン押下による撮影トリガＴＧ１に同期して撮影処理を行い、撮影データをＲＡＭ２０に格納する。

検出部１３は、カメラモジュール部１２からの撮影完了トリガＴＧ２の有無を監視する。検出部１３はまた、ＣＰＵ１１において前記プログラムによってＲＡＭ２０に格納された撮影データに対して行われる、手ブレ補正や高画質化処理の終了トリガＴＧ３を監視する。

表示制御部１４は、撮影トリガＴＧ１を監視すると共に検出部１３を監視し、図２（ｂ）に示すように、撮影トリガＴＧ１の発生時から撮影完了トリガＴＧ２の発生時まではＬＣＤ４０により、所定の背景、ここでは単一色の背景に「撮影中」の文字による案内表示を行なう。表示制御部１４は続いて、検出部１３において撮影完了トリガＴＧ２を受けたことを知ると表示を更新し、手ブレ補正、高画質化処理などの後処理中であることを示す後処理画像をＬＣＤ４０に表示する。表示制御部１４は更に、検出部１３において各処理の終了トリガＴＧ３を受けたことを知ると、この終了トリガＴＧ３に従い、ＬＣＤ４０の表示画面を画像処理後の確認のための画像に更新する。

このようにして、撮影からはじまる処理プロセスにおいて、各処理の開始あるいは終了をトリガにより明確に検出することによって表示画面を更新することで、ＵＩ上の使い勝手の悪さ、体感的な遅さを軽減させる。すなわち、撮影から始まる処理プロセスの各段階を把握して表示画面を更新し、特に、装置を動かしてはいけないという拘束時間が経過したら直ちに後処理中の画像を表示させるようにしたことにより、ユーザは後処理中の画像が表示されたら拘束を解除しても良いと判断することができ、これによって、これまでの表示形態に比べて、装置を動かしてはいけないという拘束時間を短縮することができる。

なお、後処理中の画像は、後処理開始時の画像を変化させずに表示しても良いが、体感的な遅さを抑制するためには手ブレ補正や高画質化処理により時間と共に鮮明化されてゆく画像を表示させるのが好ましい。

［実施例の効果］
本発明の実施例では、検出部１３の機能を用い、撮影からはじまる処理プロセスにおける各処理の開始あるいは終了トリガを監視し、そのトリガに従ってＬＣＤ４０における表示画面を更新できる構成としたことにより、撮影終了と撮影後の後処理を明確に識別でき、さらに後処理の経過を画面に表示することで、撮影に際して携帯電話機を動かしてはいけない時間帯をユーザに明確に知らせることができ、処理経過における体感的な遅さを抑制することができる。

本発明は、カメラモジュール部とＭＰＵ、あるいはカメラモジュール部をオンチップ化したＭＰＵを搭載した携帯型の情報処理装置全般に適用できる。

１携帯電話機

Claims

カメラ機能により得られた画像を処理する画像処理部を含むカメラモジュール部と、
前記カメラモジュール部から転送された画像データを格納するＲＡＭと、
少なくとも手ブレ補正、高画質化のための画像処理用のソフトウェアプログラムを格納したＲＯＭと、
前記ソフトウェアプログラムに基づいて、前記画像データに対して手ブレ補正、高画質化処理を含む後処理を実行する後処理手段と、
画像表示部としてのＬＣＤと、
前記ＬＣＤの表示を制御する表示制御部と、
前記カメラ機能による撮影開始から前記後処理手段による後処理終了までの複数の処理の開始あるいは終了タイミングを検出する検出部と、を含み、
前記表示制御部は、前記カメラ機能による撮影に際し、前記検出部において前記複数の処理の開始あるいは終了タイミングが検出される毎に前記ＬＣＤの表示内容を更新することにより、撮影中の表示と撮影終了後の画像の後処理中の表示とを区別して表示し、
前記検出部は、前記複数の処理の開始あるいは終了タイミングの検出として、少なくとも、前記カメラ機能のシャッターボタンの押下により発生され、「撮影中」の文字表示の開始を規定する撮影トリガの検出と、前記カメラモジュール部内部での画像処理完了に伴って発生され、前記「撮影中」の文字表示から前記撮影終了後の後処理中の画像表示への切替えを規定する撮影完了トリガの検出と、前記後処理手段での前記後処理終了に伴って発生され、前記撮影終了後の後処理中の画像表示から確認のための画像表示への切替えを規定する終了トリガの検出と、を行い、
前記表示制御部は、前記撮影トリガを監視すると共に、前記検出部を監視し、前記撮影トリガの発生時から前記撮影完了トリガの発生時までは、前記撮影中の表示を、前記「撮影中」の文字による案内を表示することで行い、前記検出部において前記撮影完了トリガが検出されると、表示を更新し、前記撮影終了後の画像の後処理中の表示を、後処理の画像を表示することで行い、前記検出部において前記終了トリガが検出されると、表示を更新し、画像処理後の確認のための画像表示を行うことを特徴とする携帯端末装置。
前記後処理手段、前記表示制御部、前記検出部、前記カメラモジュール部がマイクロプロセッサで実現されることを特徴とする請求項１に記載の携帯端末装置。
前記表示制御部は、前記撮影終了後の後処理中の画像表示を、前記手ブレ補正や高画質化処理により時間と共に鮮明化されてゆく画像を表示することで行なうことにより、ユーザにおける体感的な遅さを抑制することを特徴とする請求項１又は２に記載の携帯端末装置。
ＬＣＤとカメラ機能を備えた携帯端末装置の表示制御方法において、
前記カメラ機能により得られた画像を処理する画像処理過程と、
処理された画像データをメモリに格納する過程と、
前記画像データに対して手ブレ補正、高画質化処理を含む後処理を実行する後処理過程と、
前記カメラ機能による撮影開始から前記後処理過程の終了までの複数の処理の開始あるいは終了タイミングを検出する検出過程と、
前記カメラ機能による撮影に際し、前記複数の処理の開始あるいは終了タイミングが検出される毎に前記ＬＣＤの表示内容を更新する過程と、を含み、
撮影中の表示と撮影終了後の画像の後処理中の表示とを区別して表示し、
前記検出過程においては、前記複数の処理の開始あるいは終了タイミングの検出として、少なくとも、前記カメラ機能のシャッターボタンの押下により発生され、「撮影中」の文字表示の開始を規定する撮影トリガの検出と、前記画像処理過程での画像処理完了に伴って発生され、前記「撮影中」の文字表示から前記撮影終了後の後処理中の画像表示への切替えを規定する撮影完了トリガの検出と、前記後処理過程での前記後処理終了に伴って発生され、前記撮影終了後の後処理中の画像表示から確認のための画像表示への切替えを規定する終了トリガの検出と、を行い、
前記ＬＣＤの表示内容を更新する過程においては、前記撮影トリガを監視すると共に、前記検出過程を監視し、前記撮影トリガの発生時から前記撮影完了トリガの発生時までは、前記撮影中の表示を、前記「撮影中」の文字による案内を表示することで行い、前記検出過程において前記撮影完了トリガが検出されると、表示を更新し、前記撮影終了後の画像の後処理中の表示を、後処理の画像を表示することで行い、前記検出過程において前記終了トリガが検出されると、表示を更新し、画像処理後の確認のための画像表示を行うことを特徴とする携帯端末装置の表示制御方法。
前記撮影終了後の後処理中の画像表示を、前記手ブレ補正や高画質化処理により時間と共に鮮明化されてゆく画像を表示することで行なうことにより、ユーザにおける体感的な遅さを抑制することを特徴とする請求項４に記載の携帯端末装置の表示制御方法。