図1を参照して、携帯端末10は、制御部20、入力装置であるキー入力装置22およびタッチパネル制御回路34によって制御されるタッチパネル36aとタッチキー36bとを含む。また、制御部20は、CPU(プロセサまたはコンピュータと呼ばれることもある。)20aとDSP(Digital Signal Processor)20bと含む。CPU20aは、CDMA方式に対応する無線通信回路14を制御して発呼信号を出力する。出力された発呼信号は、アンテナ12から送出され、基地局を含む移動通信網に送信される。通話相手が応答操作を行うと、通話可能状態が確立される。
通話可能状態に移行した後にキー入力装置22、タッチパネル36aおよびタッチキー36bによって通話終了操作が行われると、CPU20aは、無線通信回路14を制御して、通話相手に通話終了信号を送信する。そして、通話終了信号の送信後、CPU20aは、通話処理を終了する。また、先に通話相手から通話終了信号を受信した場合も、CPU20aは、通話処理を終了する。さらに、通話相手によらず、移動通信網から通話終了信号を受信した場合も、CPU20aは通話処理を終了する。
携帯端末10が起動している状態で通話相手からの発呼信号がアンテナ12によって捉えられると、無線通信回路14は、着信をCPU20aに通知する。また、CPU20aは、LCDドライバ24によって、表示装置であるLCDモニタ26を制御し、着信通知に記述された発信元情報をLCDモニタ26に表示させる。そして、CPU20aは、第2スピーカ18bから着信音を出力させる。さらに、CPU20aは、バイブレータとして機能するモータ40を駆動(回転)させることで携帯端末10を振動させ、着信を使用者に通知する。
通話可能状態では、次のような処理が実行される。通話相手から送られてきた変調音声信号(高周波信号)は、アンテナ12によって受信される。受信された変調音声信号は、無線通信回路14によって復調処理および復号処理が施される。そして、得られた受話音声信号は、第1スピーカ18aから出力される。一方、第1マイク16aによって取り込まれた送話音声信号は、無線通信回路14によって符号化処理および変調処理を施される。そして、生成された変調音声信号は、上述と同様、アンテナ12を利用して通話相手に送信される。
タッチパネル36aは、LCDモニタ26の画面内で、任意の位置を指示するためのポインティングデバイスである。タッチパネル36aは、その上面を指で、押したり、スライドしたり(撫でたり)、触られたりすることにより操作されると、その操作を検出する。そして、タッチパネル36aに指が触れると、タッチパネル制御回路34は、その指の位置を特定し、操作された位置の座標データをCPU20aに出力する。つまり、使用者は、タッチパネル36aの上面を指で、押したり、スライドしたり(擦ったり)、触れたりすることによって、操作の方向や図形などを携帯端末10に入力することができる。
また、タッチパネル36aは、指がタッチパネル36aの表面に接近して生じた電極間の静電容量の変化を検出する静電容量方式と呼ばれる方式で、1本または複数本の指がタッチパネル36aに触れたことを検出する。具体的には、このタッチパネル36aは、電極パターンが形成された透明フィルムに、指が接近することで生じる電極間の静電容量の変化を検出する、投影型の静電容量方式が採用されている。なお、検出方式には、表面型の静電容量方式が採用されてもよいし、抵抗膜方式、超音波方式、赤外線方式および電磁誘導方式などであってもよい。
ここで、使用者がタッチパネル36aの上面を指で触れる操作を「タッチ」と言うことにする。一方、タッチパネル36aから指を離す操作を「リリース」と言うことにする。また、タッチパネル36aの表面を擦る操作を「スライド」と言うことにする。そして、タッチによって示された座標を「タッチ点」、リリースによって示された座標を「リリース点」と言うことにする。さらに、使用者がタッチパネル36aの上面をタッチして、続けてリリースする操作を「タッチアンドリリース」と言うことにする。そして、タッチ、リリース、スライドおよびタッチアンドリリースなどのタッチパネル36aに対して行う操作を、総じて「タッチ操作」と言うことにする。
なお、タッチ点は、タッチパネル36aに触れている指の面積の重心座標となる。また、タッチ操作を行うために、専用のタッチペンなどを備えるようにしてもよい。さらに、LCDモニタ26の表示座標およびタッチパネル36aのタッチ位置座標の原点は左上端とする。つまり、横座標は左上端から右上端に進むにつれて大きくなり、縦座標は左上端から左下端に進むにつれて大きくなる。
一方、タッチキー36bは、タッチセンサーとも呼ばれ、タッチパネル36aと同様に静電容量方式で、タッチ操作を検出する。そして、タッチキー36bは、タッチパネル36aと同様に、タッチパネル制御回路34によって制御される。たとえば、タッチキー36bには、実行する機能を表わすアイコン(画像)が表示されている。なお、タッチキー36bは、CPU20aの制御によりアイコンの表示が切り換えられると、タッチ操作に応じて実行する機能も切り換えられてもよい。
また、携帯端末10は、二次電池であるリチウムイオン電池48の電圧に基づく電源をシステム全体に供給する電源回路46を含む。また、電源回路46がリチウムイオン電池48の電圧に基づく電源をシステム全体に供給している場合には、電源オン状態と言うことにする。同様に、電源回路46がリチウムイオン電池48の電圧に基づく電源をシステム全体に供給していない場合には、電源オフ状態と言うことにする。電源回路46は、電源オフ状態で、キー入力装置22によって電源オン操作がされると起動され、電源オフ状態で、キー入力装置22による電源オフ操作がされると停止される。さらに、電源オフ状態であっても、電源回路46は、リチウムイオン電池48の充電に応答して起動され、リチウムイオン電池48の充電が完了するのに応答して停止される。また、充電とは、リチウムイオン電池48が外部電源と接続され外部電源から電力の供給を受けることで、リチウムイオン電池48が電気エネルギーを蓄えることを言う。
携帯端末10は、音声認識機能を備えており、たとえば、使用者によって発話された音声が音声入力手段である第2マイク16bに入力されると、LCDモニタ26には音声が認識(変換)された文章が表示される。具体的には、第2マイク16bによって取り込まれた音声信号はDPS20bによって音声データに変換され、CPU20aおよびDSP20bは音声データから特徴パターン(特徴量)を抽出する。また、CPU20aおよびDSP20bは、音声認識用の音声辞書を構成する参照音声データをROM32から読み出す。そして、CPU20aおよびDSP20bは、統計的決定理論に基づく音声認識の手法によって、特徴パターンと各参照パターンとを照合することで、音声データと一致する参照音声データを特定する。この音声辞書は参照音声データとその参照音声データが表わす文字列とが対応付けられているため、CPU20aおよびDSP20bは特定した参照音声データに対応する文字列を読み出すことで、当該音声データを文字列に変換する。
また、この統計的決定理論に基づく音声認識の手法では、音声認識の手法として広く利用されているHMM(Hidden Markov Model:隠れマルコフモデル)を利用して、各参照音声データと特徴パターンとの尤度を算出する。そして、CPU20aおよびDSP20bは最も尤度が高い参照パターンを特定する。
なお、CPU20a、DSP20bおよびROM32は、音声認識手段として機能する。また、他の実施例では、特徴パターンの照合による音声認識の手法が採用されてもよい。
また、携帯端末10はカメラ機能を備えており、キー入力装置22、タッチパネル36aおよびタッチキー36bによってカメラ機能を実行する操作が行われると、カメラ制御回路38aおよびイメージセンサ38bを撮影手段として機能させ、カメラ機能を実行する。
たとえば、被写界の光学像はイメージセンサ38bに照射され、イメージセンサ38bの撮像エリアには、たとえばUXGA(1600×1200画素)に対応する受光素子が配置されており、撮像エリアでは、光電変換によって、被写界の光学像に対応する電荷つまりUXGAの生画像信号が生成される。
そして、カメラ機能が実行されると、被写体のリアルタイム動画像つまりスルー画像を表示装置であるLCDモニタ26に表示するべく、CPU20aは、カメラ制御回路38aに内蔵されるイメージセンサドライバを起動させ、露光動作および指定された読み出し領域に対応する電荷読み出し動作をイメージセンサドライバに命令する。
イメージセンサドライバは、イメージセンサ38bの撮像面の露光と、当該露光によって生成された電荷の読み出しとを実行する。この結果、生画像信号が、イメージセンサ38bから出力される。また、イメージセンサ38bから出力された生画像信号は、カメラ制御回路38aに入力される。カメラ制御回路38aは、入力された生画像信号に対して、色分離、白バランス調整、YUV変換などの処理を施し、YUV形式の画像データを生成する。そして、CPU20aには、YUV形式の画像データが入力される。このとき、カメラ制御回路38aは、フォーカスレンズ38cを制御することで、被写界にピントを合わせる。
また、CPU20aに入力されたYUV形式の画像データは、CPU20aによってRAM30に一旦格納される。さらに、格納されたYUV形式の画像データは、CPU20aを介して、RAM30からLCDドライバ24に与えられる。また同時に、CPU20aは、間引き読み出し命令をLCDドライバ24に発行する。そして、LCDドライバ24は、CPU20aから発行された間引き読み出し命令に従って、YUV形式の画像データを30fpsでLCDモニタ26に出力する。これによって、被写界を表す低解像度(320×240画素)のスルー画像がLCDモニタ26に表示される。
なお、YUV形式の画像データにおいて、Yは輝度を意味し、Uは青色から輝度を引いた色差を意味し、Vは赤色から輝度を引いた色差を意味する。つまり、YUV形式の画像データは、輝度信号(Y)データと青色の色差信号(U)データと赤色の色差信号(V)データとから構成される。
さらに、キー入力装置22、タッチパネル36aおよびタッチキー36bによって撮影操作が行われると、CPU20aは、本撮影処理を実行する。つまり、CPU20aは、イメージセンサ38bから出力されるUXGAの生画像信号に所定の信号処理を施して、RAM30に一旦格納し、メモリカード44に対する記録処理をI/F42に命令する。I/F42は、CPU20aを通してRAM30から画像データを読み出し、読み出された画像データを含む画像ファイルとしてメモリカード44に記録する。さらに、CPU20aは、第2スピーカ18bから、本撮影処理が実行されていること通知する音を出力させる。なお、メモリカード44は着脱自在であり、スロット(図示せず)に装着されたときにI/F42によってアクセス可能となる。
また、使用者は、撮影される画像データのサイズを、UXGAの他に、WQVGA(240×400画素)およびVGA(640×480画素)を選択することができる。そして、選択された画像データのサイズがWQVGAの場合は、画像データはメモリカード44に保存されず、フラッシュメモリ28に記録される。
そして、携帯端末10は、連続撮影によってベストショットを撮影するためのベストショット撮影機能も備えている。たとえば、図2(A)−図2(I)を参照して、ベストショット撮影機能によって撮影された9つの画像データは、或る時刻から3秒(第1所定時間)毎に撮影された画像データである。図2(A)は或る時刻に人間Aの顔を撮影した画像であり、図2(B)は人間Aの全体像を撮影した画像である。また、図2(C)は人間Bの全体像を撮影した画像であり、図2(D)は人間Aと人間Bとが集合したときに撮影した画像である。また、図2(E)は人間Aが玩具を持っているときに全体像を撮影した画像であり、図2(F)は人間Aと人間Bとが玩具で遊んでいるときに撮影した画像である。また、図2(G)は人間Aと人間Cとが一緒に移動しているときに撮影した画像であり、図2(H)は人間Aと人間Bと人間Cとが集合しているときに撮影した画像である。そして、図2(I)は使用者が撮影している場所から見える山の風景を撮影した画像である。
ここで、本実施例では、ベストショット撮影機能によって画像が撮影されているときに、音声が入力されると、その音声に基づく識別情報が画像データに対応付けられて記録される。
図3(A)を参照して、図2(A)−図2(I)の9つの画像データは、まずRAM30のテンポラリ領域に一時保存される。たとえば、図2(A)の画像データは「画像001」に対応し、図2(B)の画像データは「画像002」に対応し、図2(C)の画像データは「画像003」に対応し、図2(D)の画像データは「画像004」に対応し、図2(E)の画像データは「画像005」に対応し、図2(F)の画像データは「画像006」に対応し、図2(G)の画像データは「画像007」に対応し、図2(H)の画像データは「画像008」に対応し、図2(I)の画像データは「画像009」に対応する。
また、「画像001」、「画像002」、「画像003」、「画像004」、「画像006」、「画像008」および「画像009」が撮影されるときに、音声が認識されたため、識別情報が対応付けられる。たとえば、「画像001」には、撮影するシーン(以下、単に「シーン」と言うことがある。)を識別する「人物写真」の識別情報が対応付けられており、さらにベストショットのプライオリティ(優先順位)を識別する「エクセレント」の識別情報も対応付けられている。これは、「画像001」の撮影に合わせて、シーンの識別情報を表わす音声と、ベストショットの識別情報を表わす音声とが、第2マイク16b入力されたためである。
「画像002」には、シーンを識別する「人物写真」の識別情報が対応付けられているが、ベストショットの識別情報(第2識別情報)は対応付けられていない。これは、「画像002」の撮影に合わせてシーンの識別情報を表わす音声のみが入力されたためである。また、「画像003」には、シーンの識別情報(第1識別情報)は対応付けられていないが、ベストショットのプライオリティを表わす「グッド」の識別情報が対応付けられている。これは、「画像003」の撮影に合わせてベストショットの識別情報を表わす音声のみが入力されたためである。
さらに、「画像004」には、シーンを識別する「集合写真」の識別情報と、「グッド」の識別情報とが対応付けられる。「画像006」には、「エクセレント」の識別情報のみが対応付けられる。「画像008」には、「集合写真」の識別情報が対応付けられる。「画像009」には、シーンを識別する「風景写真」の識別情報と、ベストショットのプライオリティを表わす「セレクト」とが対応付けられる。
図3(B)を参照して、ベストショットの識別情報が対応付けられた画像データは、フラッシュメモリ28またはメモリカード44のベストショット保存領域に保存される。つまり、「エクセレント」、「グッド」または「セレクト」の識別情報が対応付けられた、「画像001」、「画像003」、「画像004」、「画像006」および「画像009」がベストショット保存領域に保存される。
さらに、図3(C)を参照して、シーンの識別情報のみが対応付けられた画像データは、フラッシュメモリ28またはメモリカード44のシーン保存領域に保存される。つまり、「人物写真」、「集合写真」または「風景写真」の識別情報が対応付けられた、「画像002」および「画像008」がシーン保存領域に保存される。
そして、図3(D)を参照して、識別情報が対応付けられていない画像データは、RAM30の暫定領域に一時保存される。つまり、「画像005」および「画像007」がRAM30に一時保存される。
このように、認識された音声に基づいて識別情報が決まるため、使用者は、ベストショットを分類して、撮影することができる。
なお、テンポラリ内には、格納(保存)されたデータのうち、古いデータから順に読み出されるFIFO(First In First Out)のアルゴリズムが適用されている。たとえば、テンポラリ領域に、「画像001」から順番に「画像009」まで保存されれば、最初に保存された「画像001」から読み出される。
ここで、シーンの識別情報とベストショットの識別情報とを対応付けるための音声認識処理について説明する。図4を参照して、撮影される前の時間A(第2所定時間)の間に認識される音声に基づいてシーンの識別情報が決定される。たとえば、時刻aまでの2秒間に認識された音声が「集合写真」であれば、時刻aに撮影される「画像004」は、集合の撮影シーンとして撮影される。
また、撮影された後の時間B(第3所定時間)に認識される音声に基づいてベストショットの識別情報が決定される。たとえば、時刻aから1秒以内に認識された音声が「グッド」であれば、時刻aに撮影された「画像004」には、「グッド」の識別情報が対応付けられる。
このように、撮影される時刻を基準として、使用者は、撮影される前に発声した内容に基づいてシーンの識別情報を決めることができ、撮影された後に発声した内容に基づいてベストショットのプライオリティを決定することができる。つまり、使用者は、撮影される時刻を基準として、2種類の識別情報を決めることができる。
なお、他の実施例では、音声認識が可能な時間を、LEDによる発光で使用者に伝えてもよい。つまり、携帯端末10は、音声認識によって識別情報が決定できる状態では、LEDを発光させる。さらに、携帯端末10は、第2所定時間と第3所定時間とを区別できるように、第2所定時間と第3所定時間とで、LEDが発光する色を変えるようにしてもよい。
図5(A)および図5(B)は、初期設定された識別情報が記録されるテーブルを示す図解図である。図5(A)を参照して、シーン設定テーブルは、「シーン」の列と、シーンに対応する「識別情報」が記録される列とから構成される。たとえば、「シーン」の列には、「人物の撮影シーン」、「集合の撮影シーン」および「風景の撮影シーン」などが記録される。また、「識別情報」の列には、「人物の撮影シーン」に対応して「人物写真」が記録され、「集合の撮影シーン」に対応して「集合写真」が記録され、「風景の撮影シーン」に対応して「風景写真」が記録される。
たとえば、シーンの初期設定のときに、設定されるシーンが「人物の撮影シーン」であり、「人物写真」の音声が入力されると、シーン設定テーブルには、「人物の撮影シーン」のシーンと「人物写真」の識別情報とが記録される。なお、設定されるシーンの名称は、キー入力装置22に対する文字入力のキー操作によって決まる。
また、図5(B)を参照して、ベストショット設定テーブルは、「プライオリティ」の列と、プライオリティに対応する「識別情報」の列とから構成されている。たとえば、「プライオリティ」の列には、上からプライオリティが高い順番に番号が記録される。つまり、1からm(m:自然数)までの番号が記録される。また、「識別情報」の列は、「1」に対応して「エクセレント」が記録され、「2」に対応して「グッド」が記録され、「3」に対応して「セレクト」が記録される。
たとえば、ベストショットの初期設定では、使用者によって入力された音声の順番にプライオリティが設定される。つまり、最初に認識された音声が「エクセレント」であれば、プライオリティが最も高い「1」が「エクセレント」に設定され、次に認識された音声が「グッド」であれば、プライオリティが2番目に高い「2」が「グッド」に設定され、3番目に認識された音声が「セレクト」であれば、プライオリティが3番目に高い「3」が「セレクト」に設定される。
図6(A)および図6(B)は、ベストショット撮影機能を終了させる操作がされた後にLCDモニタ26に表示されるGUIの一例を示す図解図である。図6(A)を参照して、LCDモニタ26は、状態表示領域50、機能表示領域52およびキー表示領域54を含む。状態表示領域50には、アンテナ12による電波受信状態、リチウムイオン電池48の残電池容量および現在日時などが表示される。また、機能表示領域52には、「エクセレント」または「グッド」の識別情報が対応付けられた画像(写真)が表示される。たとえば、「エクセレント」の識別情報が対応付けられた画像としては、図2(A)および図2(F)に示した画像が表示される。また、「グッド」の識別情報が対応付けられた画像としては、図2(C)および図2(D)に示した画像が表示される。
キー表示領域54には、切り換えキー56およびモードキー58が含まれる。切り換えキー56は、機能表示領域52に表示される内容を切り替えるためのキーである。たとえば、モードキー56の表示範囲内がタッチされると、機能表示領域52に表示される画像が図6(B)に示す状態に切り替わる。
なお、図6(A)で示す状態表示領域50、機能表示領域52、キー表示領域54および切り換えキー56については、他の図面でも同様であるため、他の図面では、詳細な説明を省略する。
図6(B)を参照して、機能表示領域52には、「セレクト」の識別情報が対応付けられた画像と、ベストショットの識別情報が対応付けられていない「その他」の画像が表示される。たとえば、「セレクト」の識別情報が対応付けられた画像としては、図2(I)に示した画像である。また、「その他」の画像としては、図2(B)、図2(E)、図2(G)および図2(H)に示した画像が表示される。
ここで、ベストショットの識別情報に基づいて画像が表示される状態(ベストショットモード)でモードキー58が操作されると、シーンの識別情報に基づいて画像が表示される状態(シーンモード)に切り替わる。図7(A)を参照して、機能表示領域52には、「人物写真」または「集合写真」の識別情報が対応付けられた画像が表示される。たとえば、人物写真の識別情報が対応付けられた画像としては、図2(A)および図2(B)に示した画像が表示される。また、「集合写真」の識別情報が対応付けられた画像としては、図2(D)および図2(H)に示した画像が表示される。
図7(B)を参照して、切り替えキー56が操作されると、機能表示領域52には、「風景写真」の識別情報が対応付けられた画像と、シーンの識別情報が対応付けられていない「その他のシーン」の画像とが表示される。たとえば、「風景写真」の識別情報が対応付けられた画像としては、図2(I)に示した画像である。また、「その他のシーン」の画像としては、図2(C)、図2(E)、図2(F)および図2(G)に示した画像が表示される。
シーンモードでモードキー58が操作されると、ベストショットおよびシーンの両方の識別情報に基づいて画像が表示される状態(同時モード)に切り替わる。図8(A)を参照して、機能表示領域52には、「人物写真」の識別情報が対応付けられた画像が、ベストショットの識別情報毎に表示されている。たとえば、「人物写真」と「エクセレント」との識別情報が対応付けられた画像として図2(A)に示す画像が表示され、「人物写真」の識別情報が対応付けられたが、ベストショットの識別情報が対応付けられていない画像として図2(B)に示した画像が表示される。
なお、該当する画像が存在しない場合には、画像が存在しないことを示す文字列が表示される。たとえば、人物の撮影シーンにおいて、「グッド」または「セレクト」の識別情報が対応付けられた画像が存在しなければ、「グッド」および「セレクト」の画像が表示される領域には「no image」の文字列が表示される。
「人物写真」の識別情報に基づいて画像表示されている状態で、切り替えキー56が操作されると、機能表示領域52には、「集合写真」の識別情報が対応付けられた画像が、ベストショットの識別情報毎に表示される。たとえば、図8(B)を参照して、「集合写真」と「グッド」との識別情報が対応付けられた画像として図2(D)に示す画像が表示され、集合写真の識別情報が対応付けられたが、ベストショットの識別情報が対応付けられていない画像として図2(H)に示した画像が表示される。なお、図8(B)では、「エクセレント」および「セレクト」の画像が表示される領域には、「no image」の文字列が表示される。
また、「集合写真」の識別情報に基づいて画像表示されている状態で、切り替えキー56が操作されると、「風景写真」の識別情報が対応付けられた画像が、ベストショットの識別情報毎に表示される。たとえば、図9(A)を参照して、「風景写真」と「セレクト」とが対応付けられた画像として図2(I)に示す画像が表示される。なお、図9(A)では、「エクセレント」、「グッド」および「その他」の画像が表示される領域には、「no image」の文字列が表示される。
また、「風景写真」の識別情報に基づいて画像表示されている状態で、切り替えキー56が操作されると、シーンの識別情報が対応付けられていない画像が、ベストショットの識別情報毎に表示される。たとえば、図9(B)を参照して、「エクセレント」の識別情報のみが対応付けられた画像として図2(F)に示す画像が表示され、「グッド」の識別情報のみが対応付けられた画像として図2(C)に示す画像が表示され、識別情報が対応付けられていない画像データとして図2(E)および図2(G)のそれぞれに示す画像が表示される。
そして、同時モードでモードキー58が操作されると、ベストショットモード(図6(A),(B)参照)に戻る。
ここで、使用者によって任意の画像に対して削除操作がされると、その画像データはフラッシュメモリ28、RAM30またはメモリカード44から削除される。たとえば、使用者によって画像が選択(タッチ操作)されると、その画像を削除するか否かを確認するGUIが表示される。さらに、削除が選択されると、その画像の表示が消去される。このように、本実施例では、識別情報別に画像データを表示することで、使用者による画像データの取捨選択を容易に行うことができる。
なお、削除操作には、同一の識別情報が対応付けられている画像を一括で削除する一括削除操作や、タッチアンドリリースやタッチアンドスライドによって任意の画像データを選択してから、まとめて削除する選択削除操作が含まれる。また、多くの画像が撮影された場合に、1画面中に全ての画像を表示しきれなければ、画面をスクロールする操作に応じて、表示されていない画像が表示されるようにしてもよい。
また、モードキー58が操作された後に入力される音声を認識して、表示される画像の状態を切り替えるようにしてもよい。たとえば、携帯端末10は、モードキー58が操作された後に、「ベストショット別」の音声を認識すれば、ベストショットモードとなり、「シーン別」の音声を認識すれば、シーンモードとなり、「シーンとベストショット」の音声を認識すれば、同時モードとなる。
図10は、RAM30のメモリマップを示す図解図である。図10を参照して、RAM30のメモリマップには、プログラム記憶領域302およびデータ記憶領域304が含まれる。プログラムおよびデータの一部は、フラッシュメモリ28から一度に全部または必要に応じて部分的にかつ順次的に読み出され、RAM30に記憶されてからCPU20aなどで処理される。
プログラム記憶領域302は、携帯端末10を動作させるためのプログラムを記憶する。携帯端末10を動作させるためのプログラムは、音声認識プログラム310、撮影プログラム312、識別情報設定プログラム314、ベストショット撮影プログラム316および画像表示プログラム318などによって構成される。音声認識プログラム310は、第2マイク16bに入力された音声を認識するためのプログラムである。撮影プログラム312は、カメラ制御回路38a、イメージセンサ38bおよびフォーカスレンズ38cを利用して被写界の画像を撮影するためのプログラムである。
識別情報設プログラム314は、シーンの識別情報およびベストショットの識別情報を初期設定するためのプログラムであり、このプログラムが実行されること、シーン設定テーブルおよびベストショット設定テーブルが更新される。ベストショット撮影プログラム316は、第1所定時間毎に連続して画像を撮影するためのプログラムであり、シーンの識別情報およびベストショットの識別情報を、撮影した画像に対応付けて保存する。画像表示プログラム318は、撮影された画像をLCDモニタ26に表示するためのプログラムであり、図6(A)などに示すように画像を表示させる。
なお、図示は省略するが、携帯端末10を動作させるためのプログラムは、通話を行うためのプログラムや、現在時刻を表示するためのプログラムなどを含む。
データ記憶領域304には、タッチバッファ330、スルー画像バッファ332、テンポラリバッファ334、表示画像バッファ336および暫定バッファ338が設けられる。また、データ記憶領域304には、タッチ座標マップデータ340および識別情報データ342が記憶されるとともに、タッチフラグ344、音声認識フラグ346、第1カウンタ348および第2カウンタ350が設けられる。
タッチバッファ330は、タッチパネル36aによって検出されたタッチなどの入力結果を一時記憶するためのバッファであり、たとえばタッチ点およびリリース点の座標データを一時的に記憶する。スルー画像バッファ332は、カメラ制御回路38aから読み出されたYUV形式の画像データが一時的に保存(一旦格納)されるバッファである。
テンポラリバッファ334は、撮影された画像が一時的に保存されるバッファであり、たとえば図3(A)に示すテンポラリ領域が含まれる。表示画像バッファ336は、LCDモニタ26に表示される画像が一旦格納されるバッファである。暫定バッファ338は、識別情報が対応付けられなかった画像が一時的に保存されるバッファであり、たとえば図3(D)に示す暫定領域が含まれる。
タッチ座標マップデータ340は、タッチパネル制御回路34によって特定されるタッチ点などの座標を、LCDモニタ26の表示座標と対応付けるためのデータである。つまり、CPU20aは、タッチ座標マップデータ328に基づいて、タッチパネル36aに対して行われたタッチ操作の結果をLCDモニタ26の表示に対応付けることができる。識別情報データ342は、図5(A)に示すシーン設定テーブルと、図5(B)に示すベストショット設定テーブルとから構成されるデータである。
タッチフラグ344は、タッチパネル36aにタッチしているか(触れているか)否かを判断するためのフラグである。たとえば、タッチフラグ344は、1ビットのレジスタで構成される。タッチフラグ344がオン(成立)されると、レジスタにはデータ値「1」が設定される。一方、タッチフラグ344タッチフラグ344がオフ(不成立)されると、レジスタにはデータ値「0」が設定される。
また、音声認識フラグ346は、音声が認識されたか否かを判断するためのフラグであり、音声認識プログラム310による処理で、音声が認識されればオンに切り替わる。なお、音声認識フラグ346の構成は、タッチフラグ344と同じであるため、詳細な説明は省略する。
第1カウンタ348は、連続撮影処理において、画像が撮影されるまでの第2所定時間(2秒)をカウントするためのカウンタである。また、第2カウンタ350は、連続撮影処理において、画像が撮影された後の第3所定時間(1秒)をカウントするためのカウンタである。
なお、図示は省略するが、データ記憶領域304には、GUIを表示するための画像データが記憶されると共に、携帯端末10の動作に必要なカウンタや、フラグも設けられる。
CPU20aは、「Linux(登録商標)」および「REX」などのRTOS(Real-time Operating System)の制御下で、図11に示す識別情報設定処理、図12と図13とに示すベストショット撮影処理および図14に示す画像表示処理などを含む複数のタスクを並列的に実行する。
図11は、識別情報設定処理のフロー図である。たとえば、使用者が識別情報を設定する操作を行うと、CPU20aは、ステップS1では設定される識別情報を決定する。たとえば、使用者が行う操作に応じて、シーンの識別情報か、ベストショットの識別情報かを決定する。続いて、ステップS3では、音声認識処理が実行される。つまり、設定される識別情報に対応する音声を取り込むために、音声認識処理を実行する。なお、識別情報設定処理と音声認識処理とは、並列的に実行される。
続いて、ステップS5では、音声が入力されたか否かを判断する。つまり、第2マイク16bに音声が入力されたか否かを判断する。ステップS5で“NO”であれば、つまり音声が入力されなければステップS5の処理を繰り返し実行する。一方、ステップS5で“YES”であれば、つまり音声が入力されればステップS7で、入力された音声を認識する。たとえば、第2マイク16bに入力された音声が「人物写真」であれば、音声認識処理によって「人物写真」の文字列のデータがROM32から読み出される。
続いて、ステップS9では、シーンの設定であるか否かを判断する。つまり、ステップS1でシーンの識別情報を設定する操作がされたか否かを判断する。ステップS9で“YES”であれば、つまりシーンの識別情報を設定する操作がされていれば、ステップS11で認識結果をシーン設定テーブルに記録し、ステップS15に進む。たとえば、「人物の撮影シーン」に対する識別情報の設定であり、かつ音声の認識結果が「人物写真」であれば、シーン設定テーブルには、「人物の撮影シーン」に対応して「人物写真」の識別情報が記録される。
一方、ステップS9で“NO”であれば、つまりベストショットの識別情報を設定する操作がされていれば、ステップS13で認識結果をベストショット設定テーブルに記録する。たとえば、ベストショットのプライオリティが最も高い識別情報の設定であり、かつ音声の認識結果が「エクセレント」であれば、ベストショットの設定テーブルには、プライオリティが最も高いことを示す「1」に対応して、「エクセレント」の識別情報が記録される。
ステップS15では、終了操作か否かを判断する。つまり、識別情報設定処理を終了するための操作がされたか否かを判断する。ステップS15で“NO”であれば、つまり終了操作でなければ、ステップS1に戻る。一方、ステップS15で“YES”であれば、つまり終了操作がされれば、識別情報設定処理を終了する。
図12は、ベストショット撮影処理を示すフロー図である。CPU20aは、ステップS31では、撮影開始操作か否かを判断する。たとえば、キー入力装置22に含まれる、シャッターキーが押下されたか否かを判断する。ステップS31で“NO”であれば、つまり撮影開始操作がされなければ、ステップS31の処理を繰り返し実行する。一方、ステップS31で“YES”であれば、つまり撮影開始操作がされると、ステップS33で音声認識処理を実行する。つまり、撮影された画像データに対応づけられる識別情報を決めるために、音声認識処理を実行する。なお、ベストショット撮影処理と音声認識処理とは、並列的に実行される。
続いて、ステップS35では、タイマー処理を実行する。たとえばタイマー処理では、第1カウンタ348によって画像が撮影される前の第2所定時間を計測し、第2カウンタ350によって画像が撮影された後の第3所定時間を計測する。なお、第2所定時間はステップS35の処理が実行された時にカウントが始まり、第3所定時間は画像が撮影された時にカウントが始まる。
ステップS37では、シーンを決定する音声が入力されたか否かを判断する。つまり、「人物写真」、「集合写真」または「風景写真」の音声が入力され、その音声が認識されたか否かを判断する。ステップS37で“NO”であれば、つまりシーンを決定する音声が入力されなければ、ステップS41に進む。一方、ステップS37で“YES”であれば、つまりシーンを決定する音声が入力されれば、ステップS39でシーンの識別情報を決定する。たとえば、「人物写真」の音声が認識されていれば、次に撮影される画像に対応付けられる識別情報を「人物写真」とする。
続いて、ステップS41では、タイマーが満了か否かを判断する。つまり、ステップS41では、タイマー処理が実行されてから第2所定時間が経過したか否かを判断する。ステップS41で“NO”であれば、つまり第2所定時間が経過していなければ、ステップS37に戻る。一方、ステップS41で“YES”であれば、つまり第2所定時間が経過すれば、ステップS43で撮影処理を実行する。つまり、被写界の画像が撮影される。
続いて、ステップS45では、ベストショットを決定する音声が入力されたか否かを判断する。つまり、「エクセレント」、「グッド」および「セレクト」の音声が入力され、その音声が認識されたか否かを判断する。ステップS45で“NO”であれば、つまりベストショットを決定する音声が入力されなければ、ステップS49に進む。一方、ステップS45で“YES”であれば、つまりベストショットを決定する音声が入力されていれば、ステップS47でベストショットの識別情報を決定する。たとえば、「グッド」の音声が認識されていれば、ステップS43で撮影された画像に対応付ける識別情報を「グッド」とする。
続いて、ステップS49でタイマーが満了か否かを判断する。つまり、ステップS49では、ステップS41の処理とは異なり、撮影されてから第3所定時間が経過したか否かを判断する。ステップS49で“NO”であれば、つまり第3所定時間が経過していなければ、ステップS45に戻る。一方、ステップS49で“YES”であれば、つまり第3所定時間が経過していれば、図13に示すステップS51で画像をバッファに一時保存する。つまり、ステップS43で撮影された画像をテンポラリ領域(テンポラリバッファ334)に一時保存する。
続いて、ステップS53では、音声が認識されたか否かを判断する。つまり、音声認識フラグ346がオンであるか否かを判断する。ステップS53で“NO”であれば、つまり音声認識フラグ346がオフであれば、ステップS55で画像を暫定領域(暫定バッファ338)に一時保存して、ステップS63に進む。つまり、音声が認識されず、識別情報が決まっていないため、ステップS55では、撮影された画像が暫定領域に一時保存される。
一方、ステップS53で“YES”であれば、つまり音声認識フラグ346がオンであれば、ステップS57で識別情報を画像に対応付ける。たとえば、シーンの識別情報が「人物写真」と決められており、ベストショットの識別情報が「グッド」と決められていれば、テンポラリ領域に格納された撮影された画像に、「人物写真」および「グッド」の識別情報が対応付けられる。なお、シーンの識別情報のみが決まっていればシーンの識別情報のみが対応付けられ、ベストショットの識別情報のみが決まっていればベストショットの識別情報のみが対応付けられる。
続いて、ステップS59では、画像を保存領域に保存する。つまり、識別情報が対応付けられた画像データを、ベストショット保存領域またはシーン保存領域に保存する。なお、ステップS59の処理を実行するCPU20aは保存手段として機能する。続いて、ステップS61では、空き容量が十分か否かを判断する。つまり、フラッシュメモリ28またはメモリカード44に、さらに画像データを保存することが可能であるか否かを判断する。ステップS61で“NO”であれば、つまりフラッシュメモリ28またはメモリカード44に、さらに画像データを保存することが不可能な状態であれば、ベストショット撮影処理を終了する。
一方、ステップS61で“YES”であれば、つまりフラッシュメモリ28またはメモリカード44に、さらに画像データを保存することが可能な状態であれば、ステップS63で終了操作か否かを判断する。たとえば、キー入力装置22に含まれるシャッターキーが再び操作されたか否かを判断する。ステップS63で“NO”であれば、つまり終了操作がされていなければ図12に示すステップS35に戻る。一方、ステップS63で“YES”であれば、つまり終了操作がされれば、ベストショット撮影処理を終了する。
なお、ベストショット撮影処理において、ステップS35,S41,S43,S49の処理を実行するCPU20aは撮影制御手段として機能する。また、ステップS39およびステップS47の処理を実行するCPU20aは決定手段として機能し、さらにステップS39の処理を実行するCPU20aは第1決定手段、ステップS47の処理を実行するCPU20aは第2決定手段として機能する。また、ステップS57の処理を実行するCPU20aは対応付手段として機能する。
図14は、画像表示処理を示すフロー図である。CPU20aは、ベストショット撮影処理が終了すると画像表示処理を実行し、ステップS71で画像データを読み込む。つまり、ベストショット保存領域およびシーン保存領域と、RAM30の暫定保存領域(暫定バッファ338)とから画像データを読み出し、表示画像バッファ336に格納する。続いて、ステップS73では、ベストショットモードであるか否かを判断する。つまり、ベストショットの識別情報に基づいて画像を表示するモードであるか否かを判断する。ステップS73で“YES”であれば、つまりベストショットモードであれば、ステップS75でベストショットの識別情報に基づいて画像を表示し、ステップS85に進む。たとえば、ステップS75では、図6(A),図6(B)に示すように、表示画像バッファ336に格納された画像データのそれぞれは、「エクセレント」、「グッド」、「セレクト」および「その他」に分けられて、LCDモニタ26に表示される。
なお、携帯端末10が工場出荷状態の場合には、ベストショットモードで、画像が表示されるように設定されているため、1度目のループ(ステップS73−S83)では、ステップS73では“YES”と判断され、ステップS75の処理が実行される。そして、使用者は、ベストショット撮影機能の後に画像が表示されるモードを、任意に設定することができてもよい。
一方、ステップS73で“NO”であれば、つまりベストショットモードでなければ、ステップS77でシーンモードか否かを判断する。ステップS77で“YES”であれば、つまりシーンモードであれば、ステップS79でシーンの識別情報に基づいて画像を表示し、ステップS85に進む。たとえば、ステップS79では、図7(A),図7(B)に示すように、表示画像バッファ336に格納された画像データのそれぞれは、「人物の撮影シーン」、「集合の撮影シーン」、「風景の撮影シーン」および「その他の撮影シーン」に分けられて、LCDモニタ26に表示される。
一方、ステップS77で“NO”であれば、つまりベストショットシーンでなければ、ステップS81で同時モードか否かを判断する。ステップS81で“NO”であれば、ステップS85に進み、“YES”であれば、ステップS83でベストショットおよびシーンの識別情報に基づいて画像を表示する。たとえば、ステップS83では、図8(A),図8(B),図9(A)および図9(B)に示すように、表示画像バッファ336に格納された画像データのそれぞれは、撮影されたシーンにおいて、ベストショット毎に表示される。
なお、ステップS75、ステップS79またはステップS83の処理を実行するCPU20aは、画像表示手段として機能する。
ステップS85では、モード切り替え操作か否かを判断する。たとえば、モードキー58が操作されたか否かを判断する。ステップS85で“YES”であれば、たとえばモードキー58が操作されれば、ステップS73に戻る。一方、ステップS85で“NO”であれば、つまりモードキー58が操作されていなければ、ステップS87で終了操作か否かを判断する。たとえば、キー入力装置22に含まれる終話キーなどが操作されたか否かを判断する。ステップS87で“NO”であれば、つまり終了操作がされなければステップS85に戻る。一方、ステップS87で“YES”であれば、つまり終了操作がされれば、画像表示処理を終了する。
なお、ステップS87で“YES”である場合に、暫定バッファ338に格納された画像データをフラッシュメモリ28またはメモリカード44に保存するか否かの処理が実行されてもよい。そして、保存する操作がされなければ、暫定バッファ338に格納された画像データは消去される。
また、本実施例では、撮影される前の2秒(第2所定時間)と撮影された後の1秒(第3所定時間)と合わせて、第1所定時間(3秒)となるように処理が実行されているが、使用者は、第2所定時間と第3所定時間とを変えずに、第1所定時間のみを任意に変更してもよい。また、使用者は、第1所定時間との矛盾を生じない限り、第2所定時間および第3所定時間も任意に変更してもよい。
以上の説明から分かるように、携帯端末10は、音声を認識するための第2マイク16bおよびイメージセンサ38bとフォーカスレンズ38cとを制御するカメラ制御回路38aを備える。また、携帯端末10は、カメラ制御回路38aを制御することで、カメラ機能を実行し、被写界の画像を撮影する。また、携帯端末10は3秒毎に画像を撮影するベストショット撮影機能を実行することができる。そして、携帯端末10は、ベストショット撮影機能が実行されて、画像が撮影されるときに、音声が入力されると、その画像に識別情報を対応付けてフラッシュメモリ28またはメモリカード44に保存する。
これにより、使用者は、連続して撮影される写真のうち、上手に撮影されたときに発話することで、ベストショットを容易に撮影することができる。さらに、ベストショットには識別情報が対応付けられて保存されるため、使用者は、複数の写真の中から、ベストショットを選別する作業をしなくても済むようになる。
なお、本実施例では、撮影される画像データのサイズとしてUXGA,WQVGAおよびVGAに限定されるものではなく、適宜他のサイズが用いられてもよい。さらに、カメラ機能では、静止画像だけでなく、動画像も撮影可能であってもよい。また、イメージセンサ38bには、CMOSイメージセンサまたはCCDイメージセンサが採用される。
また、携帯端末10の通信方式には、CDMA方式に限らず、W-CDMA方式、TDMA方式、PHS方式およびGSM方式などを採用してもよい。携帯端末10のみに限らず、カメラ機能を備えるPDA(Personal Digital Assistant)などの携帯情報端末などであってもよい。さらに、カメラ機能を備えない携帯端末10に対して、WEBカメラやモバイルカメラなどを取り付け、ベストショット撮影機能のソフト(プログラム)をインストールすることで、本実施例が実施されてもよい。また、音声認識処理には、第1マイク16aが用いられてもよい。
また、本明細書中の「ベストショット」の語は、和製英語であるため、英語文法における「best shot:ベストを尽くしての試み、できるだけのこと」とは解釈しないでいただきたい。さらに、「ベストショット」の語は、「上手に撮影できた写真」だけでなく、「大切に保存しておきたい写真」や、「お気に入りの写真」などの意味も包含されるものと理解されたい。