JP2006345246A - 立体撮影機能付き携帯電話機 - Google Patents

Abstract

【課題】カメラ間の視差を大きくでき、立体画像を生成するのに適したスライド式の立体撮影機能付き携帯電話機を提供する。
【解決手段】第一のカメラ３Ｌと表示部６が配置された第一の筐体１と、第一の筐体１をスライド自在に載置し、第二のカメラ３Ｒが配置された第二の筐体２とで構成された立体撮影機能付き携帯電話機であって、第一のカメラ３Ｌは、第一の筐体１のスライド方向の端部に配置され、第二のカメラ３Ｒは、第二の筐体２の第一のカメラ３Ｌのスライド方向とは反対側の方向の端部に配置され、第一の筐体１をスライドさせると第一のカメラ３Ｌと第二のカメラ３Ｒの間の距離が大きくなるように構成する。
【選択図】図１

Description

この発明は、カメラ撮影機能を有する携帯電話に係わり、さらに詳しくは、立体画像の撮影・表示が可能なスライド式の携帯電話機に関する。

図３は、非特許文献１（ＮＴＴ‐ＤｏＣｏＭｏ「取り扱い説明書ＦＯＭＡ Ｄ９０１ｉ」）に記載されている従来のカメラ撮影機能を有する携帯電話機の構成を示す外観図である。
図に示すように、この携帯電話機は、画像表示用のＬＣＤ（Liquid Crystal Display）１０２を配置した第一の筐体１００が電池を収納した第二の筐体２００に対してスライド可能に取り付けられている。
なお、図３（ａ）は正面側（第一の筐体側であって携帯電話機の操作者がいる側）からみたときの図であり、図３（ｂ）は裏面側（第二の筐体側）からみたときの図である。

図３（ａ）からわかるように、ＬＣＤ１０２が配置された第一の筐体１００にはテレビ電話用の自分撮りカメラ１０１が配置されている。
自分撮りカメラ１０１の向き（即ち、撮影方向）は固定であり、自分撮りカメラ１０１はＬＣＤ表示側（即ち、携帯電話機の操作者がいる側）のみが撮影可能である。
なお、ＬＣＤ１０１は、通常の２Ｄ（２‐Ｄｉｍｅｎｓｉｏｎ：２次元）表示用のものである。
また、図３（ｂ）からわかるように、第二の筐体２００の背面側（裏面側）には動画・静止画撮影用の高画素カメラ２０１が配置されている。
高画素カメラ２０１の向き（撮影方向）も固定であり、携帯電話機の背面側（即ち、携帯電話機の操作者の前方側）のみの撮影が可能である。

なお、高画素カメラ２０１で撮影（いわゆるデジカメモードでの撮影）を行うときには、第一の筐体１００に配置されているＬＣＤ１０１をファインダとして撮影を行うことが可能である。
このように、非特許文献１に記載されている携帯電話機D９０１ｉは、一般的なカメラと同様に２Ｄ画像を撮影するためのカメラ（自分撮りカメラ１０１あるいは高画素カメラ２０１）を備え、２Ｄ画像の撮影と表示のみを行うことが可能である。

また、特許文献１〜４に記載のように、視差を利用した２つの画像を同時撮影することによって、立体画像を記録するアイデアも存在する。
例えば、特許文献１（特開２００５−６２６６号公報）には、一体構成のビデオカメラあるいは携帯電話にレンズを２個設け、独立かつ同時に録画できるようにし、各々の映像を左右の目で独立かつ同時に見られるようにし、専用の眼鏡である３Ｄ再生グラスを使用して立体画像を鑑賞可能とすることが記載されている。
特許文献２（特開２００４−２４２０９２号公報）には、立体撮影を行うための２つのデジタルカメラを一体構成の端末（即ち、携帯電話端末）の長手方向に配置することによって、視差を稼ぎ、立体感のある３次元画像を表示するように構成されたカメラ付き携帯電話が記載されている。

特許文献３（特開２００４−１２０６１１号公報）には、立体視用の画像を取得するための２つのカメラが一体構成の筐体に組み込まれ、さらにこの２つのカメラのうち一方を回転させるように構成された複数画像同時撮影機能付き携帯機器が記載されている。
特許文献４（特開２００３−５１８７２号公報）には、第一のカメラが搭載された第一の筐体と第二のカメラが搭載された第二の筐体とが回転軸によって折りたたみ可能に構成され、第一の筐体に対して第二の筐体を開くことにより、第一のカメラと第二のカメラの視差を稼ぎ、立体画像を生成するようにした携帯型通信装置が記載されている。
また、特許文献４には、カメラを回転させ、立体自分撮りと立体相手撮りとを切り替えるアイデアや、同一端末に３Ｄ（３‐Ｄｉｍｅｎｓｉｏｎ：３次元）表示可能（即ち、立体画像表示可能）な表示装置を同時に搭載するアイデアも記載されている。
特開２００５−６２６６号公報（図３、段落０００４） 特開２００４−２４２０９２号公報（図２、段落００３０） 特開２００４−１２０６１１号公報（図１、段落００２２） 特開２００３−５１８７２号公報（図５、図６、段落００３９、段落００１３、段落０００８） ＮＴＴ‐ＤｏＣｏＭｏ「取り扱い説明書ＦＯＭＡ Ｄ９０１ｉ」

従来の一般的な携帯電話は一つのカメラしか備えず、また、非特許文献１に示された従来の携帯電話では、２つのカメラを備えてはいるが、この２つのカメラは、固定の異なる方向（正面側および背面側）を撮影するように固定的に組み込まれているために、立体画像を撮影することは出来なかった。
特許文献１〜３に記載の携帯電話は、２つのカメラを用いて、立体画像を生成あるいは鑑賞することが記載されているが、いずれも一体構成の筐体（携帯電話）に２つのカメラを配置しているものである。

特許文献４には、「第一のカメラが搭載された第一の筐体と第二のカメラが搭載された第二の筐体とが折りたたみ可能であり、第一の筐体に対して第二の筐体を開くことにより第一のカメラと第二のカメラの視差を稼ぎ、立体撮影画像を得る」ことは示されているが、「第一の筐体に対して第二の筐体をスライドさせることにより第一のカメラと第二のカメラの視差を稼ぐ」ことを示唆する記載はない。

また、一般的に、カメラを２つ使用して立体撮影を行った場合、２つのカメラは互いに独立に動作するため、下記のような問題が発生する。
＊ 右眼用画像と左眼用画像の撮影タイミングが異なるため、移動する物体や変化する物体を立体撮影した場合には、違和感のある撮影画像となる。
＊ 右眼用カメラと左眼用カメラは独立の自動画像調整を行うため、右眼用画像と左眼用画像とが異なる明るさ、色調、ピント位置になり、違和感のある撮影画像となる。

特許文献１〜４に記載の携帯電話では、立体撮影および撮影した立体画像を立体鑑賞する手方法については記載されているものの、右眼用カメラと左眼用カメラの影タイミングが異なるためや、右眼用カメラと左眼用カメラが独立して自動画像調整を行うために起因する違和感のある撮影画像を防止するための画像信号処理方法については、一切記載されていない。
なお、特許文献１〜４には、立体撮影した画像を保存する方法は記載されていないが、立体撮影画像のデータ量を減らして保存するための動画圧縮伸張方式には、立体画像専用の符号化処理が必要となる。

図４は、従来の立体撮影再生機能付き携帯電話機における画像処理系の構成を示すブロック図であり、後述する本発明による立体撮影機能付き携帯電話機における画像信号処理系の構成を示すブロック図と対比させて示したものである。
図において、３００Ｒは右眼用カメラであり、右眼用カメラ３００Ｒは、右眼用ＡＦ（Auto Focus）レンズ駆動部３０１Ｒ、右眼用イメージセンサ３０２Ｒ、右眼用画像信号処理部３０３Ｒ、右眼用イメージセンサ制御部３０４Ｒ、右眼用撮影条件処理部３０５Ｒ、右眼用ＡＦ制御部３０６Ｒで構成されている。
また、３００Ｌは左眼用カメラであり、左眼用カメラ３００Ｌは、左眼用ＡＦレンズ駆動部３０１Ｌ、左眼用イメージセンサ３０２Ｌ、左眼用画像信号処理部３０３Ｌ、左眼用イメージセンサ制御部３０４Ｌ、左眼用撮影条件処理部３０５Ｌ、左眼用ＡＦ制御部３０６Ｌで構成されている。

また、４００Ｒは右眼用画像圧縮部、４５０Ｒは右眼用画像伸張部、６００Ｒは右眼用画像表示部、４００Ｌは左眼用画像圧縮部、４５０Ｌは左眼用画像伸張部、６００Ｌは左眼用画像表示部、５００は記憶メモリ部である。
なお、図において、二重線の矢印は画像信号の流れを、細線の矢印は制御情報の流れを、太線の矢印は圧縮された画像情報の流れを示す。
また、波線にて囲んだ範囲（即ち、右眼用カメラ３００Ｒあるいは右眼用カメラ３００Ｌ）は、一般的なカメラが備える構成要素を示している。

従来の立体撮影再生機能付き携帯電話では、立体撮影を行うための２つのカメラ（即ち、右眼用カメラおよび左眼用カメラ）は、互いに独立分離して動作を行うので、以下のような問題が生じる。
＊ イメージセンサ制御部が右眼用と左眼用で独立していると考えられ、その結果、右眼用画像の露光タイミングと左眼用画像の露光タイミングが異なり、特に移動物体を撮影した場合には露光タイミングのズレにより被写体が写りこむ位置が変化し、立体鑑賞時に違和感が生じる原因となる。
＊ カメラの露光条件を決定する撮影信号処理部が右眼用と左眼用で独立していると考えられ、その結果、右眼用イメージセンサと左眼用イメージセンサのアナログゲインが異なるため右眼用画像と左眼用画像の明るさが異なる、右眼用イメージセンサと左眼用イメージセンサの露光時間が異なるため右眼用画像と左眼用画像に写りこむ移動被写体のブレかたが異なる、など、立体鑑賞時に違和感が生じる原因となる。

＊ カメラの焦点位置を決定するＡＦ制御部が右眼用と左眼用で独立していると考えられ、その結果、右眼用カメラの焦点位置と左眼用カメラの焦点位置が異なり、右眼用画像と左眼用画像の被写体のボケ方が異なり、立体鑑賞時に違和感が生じる原因となる。
＊ 画像圧縮処理が右眼用と左眼用で独立していると考えられ、その結果、右眼用画像と左眼用画像の圧縮条件が異なり、圧縮ノイズの出方などに差が出るため、立体鑑賞時に違和感が生じる原因となる。
＊ 画像伸張処理が右眼用と左眼用で独立していると考えられ、その結果、右眼用画像と左眼用画像の伸張条件が異なり、伸張タイミングなどに差が出るため、立体鑑賞時に違和感が生じる原因となる。

この発明は、このような問題点を解決するためになされたものであり、第一のカメラが配置された第一の筐体と第二のカメラが配置された第二の筐体をスライド自在に配置することにより、第一のカメラと第二のカメラの視差を大きく取ることが可能とし、立体画像を生成するのに適したスライド式の立体撮影機能付き携帯電話機を提供することを目的とする。
また、この発明は、更に、生成された立体画像の鑑賞時に違和感を感じることがなく、高品位な立体画像を提供することができる立体撮影機能付き携帯電話機を提供することを目的とする。
また、この発明は、更に、立体画像を生成すると同時ステレオ録音したり、立体画像を圧縮・伸張したり、オートフォーカスの収束を早めたりすることができる立体撮影機能付き携帯電話機を提供することを目的とする。

この発明に係る立体撮影再生機能付き携帯電話機は、第一のカメラと表示部が配置された第一の筐体と、上記第一の筐体をスライド自在に載置し、第二のカメラが配置された第二の筐体とで構成された立体撮影機能付き携帯電話機であって、上記第一のカメラは上記第一の筐体のスライド方向の端部に配置され、上記第二のカメラは上記第二の筐体の上記第一のカメラのスライド方向とは反対側の方向の端部に配置され、上記第一の筐体をスライドさせると、上記第一のカメラと上記第二のカメラの間の距離が大きくなるように構成されたものである。

また、この発明に係る立体撮影再生機能付き携帯電話機は、上記第一のカメラの近傍に第一のマイクロフォンが配置され、上記第二のカメラの近傍に第二のマイクロフォンが配置されているものである。

また、この発明に係る立体撮影再生機能付き携帯電話機では、同期して動作する上記第一のカメラおよび上記第二のカメラは、同一の撮影条件で制御されるものである。

また、この発明に係る立体撮影再生機能付き携帯電話機は、同期して動作する上記第一のカメラおよび上記第二のカメラから出力する２系統の画像信号をフレーム毎に連結して１系統の画像信号に変換するものである。

また、この発明に係る立体撮影再生機能付き携帯電話機は、同期して動作する上記第一のカメラおよび上記第二のカメラの撮影画像に写る被写体位置の差に基づいて被写体までの距離を推測し、フォーカス位置を自動的に合わせるものである。

この発明によれば、第一のカメラは上記第一の筐体のスライド方向の端部に配置され、第二のカメラは第二の筐体の第一のカメラのスライド方向とは反対側の方向の端部に配置され、第一の筐体をスライドさせると、第一のカメラと第二のカメラの間の距離が大きくなるように構成されているので、第一の筐体をスラスドさせることにより第一のカメラと第二のカメラの視差を大きく取ることが可能であり、立体画像を生成するのに適した画像の撮影を容易に行うことができる。

また、この発明によれば、第一のカメラの近傍に第一のマイクロフォンが配置され、第二のカメラの近傍に第二のマイクロフォンが配置されているので、立体撮影と同時にステレオ録音が可能となる。

また、この発明によれば、同期して動作する第１および第二の２つのカメラは、同一の撮影条件で制御されるので、違和感のない、より高品位な立体画像撮影が可能となる。

また、この発明によれば、第一のカメラおよび第二のカメラから出力する２系統の画像信号をフレーム毎に連結して１系統の画像信号に変換するので、立体画像に非対応の画像圧縮／伸張処理を利用して立体画像を圧縮伸張することが可能となる。

また、この発明によれば、第一のカメラおよび第二のカメラの撮影画像に写る被写体位置の差に基づいて被写体までの距離を推測し、フォーカス位置を自動的に合わせるので、立体撮影あるいは非立体撮影のいずれの場合においても、オートフォーカスの収束を早めることができる。

実施の形態１．
以下、図面に基づいて、本発明の一実施の形態について説明する。
なお、各図間において、同一符合は、同一あるいは相当のものであること表す。
図１は、本発明に係わる立体撮影機能付き携帯電話機の外観構成を示す斜視図である。
図おいて、１は第一の筐体（表示側筐体）、２は第二の筐体（電池側筐体）、３Ｌは第一の筐体（表示側筐体）１の端部に配置され、略１８０度回転可能な左眼用カメラ（第一のカメラ）、３Ｒは第二の筐体（表示側筐体）２の端部に配置され、略１８０度回転可能な右眼用カメラ（第二のカメラ）、４Ｌは左眼用カメラ（第一のカメラ）３Ｌと一体に配置された左側マイクロフォン（第一のマイクロフォン）の集音孔、４Ｒは右眼用カメラ（第二のカメラ）３Ｒと一体に配置された右側マイククロフン（第二のマイクロフォン）の集音孔、５Ｌは第一の筐体（表示側筐体）１に配置された左側スピーカーの放音孔、５Ｒは第一の筐体（表示側筐体）１に配置された右側スピーカーの放音孔、６は第一の筐体（表示側筐体）１に配置された表示部（立体表示パネル）、７は第一の筐体（表示側筐体１）に配置された操作キー、８は第二の筐体（電池側筐体）２に配置された操作キーである。

第一の筐体（表示側筐体）１は、第二の筐体（電池側筐体）２にスライド自在に取り付けられている。
なお、図１（ａ）は第一の筐体（表示側筐体）１がスライドされておらず第二の筐体（電池側筐体）２に重なっている時の状態を示しており、図１（ｂ）は第一の筐体（表示側筐体）１が第二の筐体２に対して左方向にスライドされている時の状態を示している。
即ち、第一の筐体（表示側筐体）１と第二の筐体（電池側筐体）２とで構成されたものを携帯電話機の本体とすると、図１（ａ）は本体を閉じた時の状態を示しており、図１（ｂ）は本体を開いた時の状態を示している。

本実施の形態による立体撮影機能付き携帯電話機は、図１（ａ）に示した本体を閉じた状態では、右側スピーカー（右側スピーカーの放音孔５Ｒに対応して第一の筐体１の内部に配置されている）と左側マイクロフォン（左側マイクロフォンの集音孔４Ｌと対応して左眼用カメラ３Ｌと一体に配置されている）とを使用し、音声通話の用途に供することができる。
通話先ダイヤル番号を入力する必要がある場合には、本体を開き（即ち、第一の筐体１を左方向にスライドして）、第二の筐体（電池側筐体）２に配置された操作キー８を用いて通話先ダイヤル番号を入力することが可能である。
テレビ電話として使用する場合も同様に、ダイヤル入力が不要な場合には本体を閉じたままで（即ち、第二の筐体２に第一の筐体を重ねた状態で）、右側スピーカー、左側スピーカー、左側マイクロフォン、左眼用カメラ３L、表示パネル６（２D表示モード）にて通信を行うことができる。

カメラにて自分（撮影者）を撮影する場合は、第一の筐体１の端部に配置されている左眼用カメラ３Lが撮影する画像を、表示パネル６（２D表示モード）にてファインダ表示しながら、撮影を行うことができる。
カメラにて遠方を撮影する場合は、第二の筐体２の端部に配置されている右眼用カメラ３Ｒを撮影者前方の撮影が可能なように回転させて、右眼用カメラ３Ｒが撮影する画像を表示パネル６（２D表示モード）にてファインダ表示しながら、撮影を行うことができる。
このように、従来の携帯電話機に行えることは、一通り実現可能である。

本実施の形態による立体撮影機能付き携帯電話機において、自分の立体撮影を行う場合、第一の筐体（表示側筐体）１をスライドさせて本体を開いた状態とし、左眼用カメラ３Lと右眼用カメラ３Ｒを正面（即ち、撮影者のいる方向）に向けた状態で撮影することにより、左眼用カメラ３Lと右眼用カメラ３Ｒの視差を利用した立体撮影が可能である。
撮影中の立体画像は、リアルタイムで表示パネル６（３D表示モード）にてファインダ表示しながら、撮影を行うことができる。

本携帯電話において、遠方の立体撮影を行う場合、本体をスライドさせ、左眼用カメラ３Lと右眼用カメラ３Ｒを背面（即ち、撮影者の前方の方向）に向けた状態で、左眼用カメラ３Lと右眼用カメラ３Ｒの視差を利用した立体撮影が可能である。
撮影中の立体画像は、リアルタイムで表示部６にてファインダ表示（３D表示モード）しながら、撮影を行うことができる。

図２は、本実施の形態による立体撮影再生機能付き携帯電話機における画像信号処理系の構成を示すブロック図である。
図において、３Ｌは左眼用カメラ（第一のカメラ）であり、左眼用カメラ３Ｌは、左眼用ＡＦレンズ駆動部３１Ｌ、左眼用イメージセンサ３２Ｌ、左眼用画像信号処理部３３Ｌで構成されている。なお、左眼用カメラ３Ｌには、図示しない左眼用レンズが存在する。
また、３Ｒは右眼用カメラ（第二のカメラ）であり、右眼用カメラ３Ｒは、右眼用ＡＦレンズ駆動部３１Ｒ、右眼用イメージセンサ３２Ｒ、右眼用画像信号処理部３３Ｒで構成されている。なお、右眼用カメラ３Ｒには、図示しない左眼用レンズが存在する。
また、４１はイメージセンサ制御部、４２は画像連結部、４３は撮影条件処理部、４４はＡＦ（Auto Focus）制御部、４５は画像圧縮部、４６は記憶メモリ部、４７は画像伸張部、４８は画像分離部である。

また、６は表示部（立体表示パネル）であり、表示部６は右眼用画像表示部６Ｒと左眼用画像表示部６Ｌが１枚の表示面に集積されたものである。
この表示部６は、２D表示の際には右眼用画像表示部６Ｒと左眼用画像表示部６Ｌには同一の画像が表示され、このため立体視効果は表れない。
３D表示（立体画像表示）の際には右眼用画像表示部６Ｒと左眼用画像表示部６Ｌには、右眼用カメラ３Rと左眼用カメラ３L間の視差を利用した異なる画像が表示され、このため立体視効果が表れる。
なお、図には、マイクロフォンやスピーカーなどは図示していない、また、図において、二重線の矢印は画像信号の流れを、細線の矢印は制御情報の流れを、太線の矢印は圧縮された画像情報の流れを示す。

ＡＦレンズ駆動部は、イメージセンサに光学像を結像するレンズとイメージセンサの結像面との間の距離をＡＦ制御部からの制御信号に従って可変可能とするものであり、通常はステッピングモーター等のアクチュエータでレンズを光軸方向に機械的に動かす機構である。
本実施の形態においては、右眼用ＡＦレンズ駆動部３１Ｒと左眼用レンズ駆動部３１Ｌは、左眼用カメラ（第一のカメラ）１および右眼用カメラ（第二のカメラ）のそれぞれに対応させて別々に設けてある。
これは、視差を稼ぐために、右眼用カメラ３Ｒと左眼用カメラ３Ｌの位置関係が離れて配置されることを想定しているためである。
もし右眼用カメラと左眼用カメラが近傍に配置されていれば、一つのＡＦレンズ駆動部で右眼用レンズ３Ｒと左眼用レンズ３Ｌの両方を駆動することも可能である。

イメージセンサは、イメージセンサ制御部の制御に従って、結像面に結像した光学像を電気信号に変換し、電気的な画像情報を出力する。一般的にＣＣＤセンサやＣＭＯＳセンサと呼ばれる部分である。
ただし、ＣＭＯＳセンサの場合は、センサ制御部や画像信号処理まで一つのシリコンチップに集積されている場合が多い。
本実施の形態においては、右眼用カメラ３Ｒには右眼用イメージセンサ３２Ｒが、左眼用カメラ３Ｌには左眼用イメージセンサ３２Ｌが配置されている。

イメージセンサ制御部４１は、右眼用イメージセンサ３２Ｒおよび左眼用イメージセンサ３２Ｌの動作タイミングを制御する信号を生成する。
例えば、イメージセンサとしてＣＣＤイメージセンサを使用する場合は、以下のような制御を行う。
（１）蓄積電荷の放電（電荷蓄積前に蓄積部の不要電荷を放電する）。
（２）露光・電荷蓄積開始（蓄積電荷が放電された後、結像面の画素に光が入力すると、その強さに応じた電荷が蓄積される）。
（３）蓄積電荷を垂直転送路へ移動（各画素に蓄積した電荷をチップ外部に出力するため、電荷を転送路へ移動する）。
（４）垂直転送路の電荷を移動（垂直転送路の電荷を１画素分づつ縦方向に移動し、最下段画素１列分は水平転送路に入る）。
（５）水平転送路の電荷を移動（水平転送路の電荷を１画素分づつ横方向に移動し、一番端の電荷はＡＤ変換機に入る）。
（６）ＡＤ変換実行・ＡＤ変換データ出力（１画素の電荷の量をデジタルデータに変換する）。この際、AD変換のフルスケールはアナログゲインの値で決まる。
（７）水平画素数の数だけ、（５）から繰り返す。
（８）垂直画素数の数だけ、（４）ら繰り返す。
なお、上記のような制御において、（２）から（３）までの間の時間が露光時感となる。

右眼用画像信号処理部３３Ｒは、右眼用イメージセンサ３２Ｒの出力画像が適正な色を再現するよう、加工を行う。
同様に、左眼用画像信号処理部３３Ｌは、左眼用イメージセンサ３２Ｌの出力画像が適正な色を再現するよう、加工を行う。
右眼用イメージセンサ３２Ｒあるいは左眼用イメージセンサ３２Ｌの出力は、光源の色温度（光の色）を忠実に出力するが、そのまま記録すると、再生された画像を鑑賞する際に不自然な色合いとなる。
従って、通常、カメラ（即ち、右眼用カメラ３Ｒあるいは左眼用カメラ３L）は、撮影した画像から光源の色温度を推定し、白色光下の色合いとなるよう加工する。
なお、本実施の形態には関係ないが、右眼用イメージセンサ３２Ｒおよび左眼用イメージセンサ３２Ｌは、イメージセンサの欠陥画素を補正したり、イメージセンサ出力をビットマップ形式やＹＵＶ形式など、後処理が容易なデータ形式に変換する。

画像連結部４２は、右眼用画像信号処理部３３Ｒおよび左眼用画像信号処理部３３Ｌから入力される２枚の画像を１枚に連結して出力する。
例えば、右眼用イメージセンサ３２Ｒおよび左眼用イメージセンサ３２Ｌの出力が、横６４０ドット×縦４８０ドット×毎秒３０フレームであれば、画像連結部４２は横６４０ドット×縦４８０ドット×毎秒３０枚×２系統の入力画像を横１２８０ドット×縦４８０ドット×毎秒３０枚の画像に変換し出力する。
なお、立体撮影を行わない場合、画像連結部４２は、右眼用画像信号処理部３３Ｒあるいは左眼用画像信号処理部３３Ｌのうちの片方からの入力画像をそのまま出力する。

撮影条件処理部４３は、入力画像の露光状態を調べ、右眼用イメージセンサ３２Ｒおよび左眼用イメージセンサ３２Ｌのアナログゲインおよび露光時感が適切か否かを判断し、修正が必要であればイメージセンサ制御部４１に修正信号を出力する。
ＡＦ制御部４４は、入力される画像のコントラストを調べ、カメラの焦点が正しく被写体に合っているか否かを判断し、修正が必要であればＡＦレンズ駆動部に修正信号を出力する。
この際、右眼用カメラ３Ｒに写る被写体の画像位置と左眼用カメラ３Ｌに写る被写体の画像位置との差分から被写体までの距離を推測することで、高速かつ連続的な焦点制御を行うことができる。

なお、通常の単眼カメラにおいては、レンズの位置を動かしながら複数枚の画像を撮影し、その中で最もコントラストの高い画像が得られたレンズ位置を最適な焦点位置と判断している。
そのため、１回のピント合わせに複数回の露光が必要となり、オートフォーカス制御が遅くなってしまう。
また、動画撮影中はレンズ位置を可変した画像を取得できないために、オートフォーカス制御が行えない。

画像圧縮部４５は、例えばＪＰＥＧ圧縮処理やＭＰＥＧ圧縮処理である。
本実施の形態による立体撮影機能付き携帯電話機では、画像圧縮部４５は立体撮影を意識した処理を行う必要はなく、一般的なものでよい。
なお、立体撮影と同時にステレオ音声を録音する場合には、音声圧縮部および圧縮済み音声と圧縮済み画像の多重化処理が必要であるが、これは既存のビデオカメラやＴＶ電話機能付き携帯電話にて既に実装されている機能であるので、説明は省略する。
記憶メモリ部４６は、携帯電話が内蔵するＮａｎｄＦｌａｓｈや、携帯電話のメモリカードスロットに装着したｍｉｎｉＳＤカードまたはＭＳ‐Ｄｕｏカードにデータを書き込み／読み出しする部分である。これは既存の携帯電話に実装されている機能であるので、説明は省略する。

画像伸張部４７は、例えばＪＰＥＧ伸張処理やＭＰＥＧ伸張処理である。本実施の形態による立体撮影機能付き携帯電話機の画像伸張部４７は立体撮影を意識した処理を行う必要はなく、一般的なものでよい。
なお、立体画像と同時にステレオ音声が録音されているデータを再生する場合には、圧縮済み音声と圧縮済み画像の分離処理および音声の伸張処理が必要であるが、これは既存のビデオカメラやＴＶ電話機能付き携帯電話に既に実装されている機能であるので、説明は省略する。

画像分離部４８は、画像連結部４２あるいは画像伸張部４７から送られてくる１枚の画像を２枚の画像に分離して出力する。
画像分離部４８に入力される入力画像が横１２８０ドット×縦４８０ドット×毎秒３０枚であれば、画像分離部は横６４０ドット×縦４８０ドット×毎秒３０枚×２系統の画像を出力する。
なお、入力画像が立体撮影された画像ではない場合、画像分離部４８は両方の出力に入力画像をそのまま出力する。

表示部６は、入力された画像情報を表示パネルの表示面に可視的に表示する。
本実施の形態では、立体撮影された画像を立体表示するために、視差を利用して撮影した２枚の画像を立体表示可能な表示パネルが必要であり、表示部６は、右眼用画像表示部６Ｒと左眼用画像表示部６Ｌとを備えている。
立体表示パネルの詳細については、各種の方式が既存技術として発表されているので、説明は省略する。

図１および図２に示した構成の立体撮影機能付き携帯電話機を用いて、通常撮影を行う場合と立体撮影を行う場合の動作について説明する。
通常撮影を行う場合は、左眼用カメラ３Lあるいは右眼用カメラ３Ｒのいずれか一方のカメラのみを動作させる。
例えば左眼用カメラ３Lを使用して通常撮影を行う場合、画像連結部４２は右眼用画像信号処理部３３Ｒの出力を使用せず、左眼用画像信号処理部３３Ｌの出力画像をそのまま出力する。

撮影条件処理部４３は、画像連結部４２が出力する左眼用画像信号処理部３３Ｌの画像を解析し、左眼用画像のみの露光条件やホワイトバランス条件を出力する。
イメージセンサ制御部４１は、左眼用画像のみから解析された露光条件に従って、イメージセンサの露出時間、フレームレート、アナログゲイン等を調整し、左眼用画像が最適な露出条件となるよう左眼用イメージセンサ３２Ｌを制御する。
左眼用画像信号処理部３３Ｌは、左眼用画像のみから解析されたホワイトバランス条件に従って、イメージセンサ出力に適切な色変換処理を行い、左眼用画像が最適な色再現性を保つよう、画像信号を加工する。
ＡＦ制御部４４は、画像連結部が出力する左眼用画像信号処理の画像を解析し、左眼用画像が最適なコントラストとなるよう左眼用ＡＦレンズ駆動部を制御して焦点を合わせる動作を行う。

左眼用AFレンズ駆動部３１Ｌは、ＡＦ制御部４４の出力に従って、左眼用カメラ３Ｌのレンズ（図示なし）を動かし、左眼用カメラ３Ｌの焦点位置を変える。
画像圧縮部４５は、撮影画像を保存する際に機能し、画像連結部が出力する左眼用画像信号処理の画像を、静止画であれば例えばJPEGフォーマットに、動画であれば例えばMPEGフォーマットに圧縮したデータを出力する。
記憶メモリ部４６は、画像圧縮部４５が圧縮した画像データを、携帯電話機本体に内蔵するＮａｎｄＦｌａｓｈメモリや、携帯電話機本体のメモリカードスロットに装着されたｍｉｎｉＳＤカードやＭＳ‐Ｄｕｏ等のメモリカードに保存する。
画像伸張部４７は、保存済み画像を再生する際に機能し、記憶メモリ部が保存している圧縮されたデータを受け、それを伸張し、圧縮前の画像に復元する。
画像分離部４８は、画像連結部４２が出力する画像または画像伸張部が出力する画像のどちらか一方を選択し、選択した画像が通常撮影されたものであれば、その画像を右眼用画像表示部６Ｒと左眼用画像表示部６Ｌにそのまま出力する。
右眼用画像表示部６Ｒおよび左眼用画像表示部ＲＬは、画像分離部４８が出力する画像を表示部（立体表示パネル）６の表示面に表示する。

立体撮影を行う場合は、左眼用カメラ３Lと右眼用カメラ３Lの両方を動作させる。
この場合、画像連結部４２は、右眼用画像信号処理部３３Ｒの出力と左眼用画像信号処理部３３Ｌの出力画像を、画素数が２倍の１枚の画像に合成する。
例えば、右眼用画像および左眼用画像が横６４０ドット×縦４８０ドットの画像である場合、画像連結部の出力画像は横１２８０ドット×縦４８０ドットとなる。
この際、右眼用イメージセンサ３２Ｒと左眼用イメージセンサ３２Ｌは一つのイメージセンサ制御部４１にて同一タイミングで駆動されるため、右眼用画像と左眼用画像は同一フレームレートで、同一タイミングで画像連結部４２に入力される。

撮影条件処理部４３は、この画像連結部４２が出力する左右合成画像を解析し、左右合成画像の露光条件やホワイトバランス条件を出力する。
イメージセンサ制御部４１は、左右合成画像から解析された露光条件に従い、イメージセンサの露出時間、フレームレート、アナログゲイン等を調整し、左右合成画像が最適な露出条件となるよう右眼用イメージセンサ３２Ｒおよび左眼用イメージセンサ３２Ｌを制御する。
その結果、右眼用イメージセンサ３２Ｒの露光条件と左眼用イメージセンサ３２Ｌの露光条件が同一となり、右眼用画像と左眼用画像の露光条件に不整合が生じない。
右眼用画像信号処理部３３Ｒおよび左眼用画像信号処理部３３Ｌは、左右合成画像から解析されたホワイトバランス条件に従って、各イメージセンサ出力に適切な色変換処理を行い、左右合成画像が最適な色再現性を保つよう、各イメージセンサの出力画像に同一内容の画像信号加工を実施する。
その結果、右眼用画像と左眼用画像のホワイトバランスに不整合が生じない。

ＡＦ制御部４４は、画像連結部４２が出力する左右合成画像を解析し、左右合成画像が最適なコントラストとなるよう右眼用ＡＦレンズ駆動部３１Ｒおよび左眼用ＡＦレンズ駆動部３１Ｌを制御して焦点を合わせる動作を行う。
その結果、右眼用カメラ３Ｒの焦点位置と左眼用カメラ３Ｌの焦点位置とが同一となり、右眼用画像と左眼用画像の焦点位置に不整合が生じない。
右眼用ＡＦレンズ駆動部３１Ｒおよび左眼用ＡＦレンズ駆動部３１Ｌは、一つのＡＦ制御部４４の一つの出力に従い、各々のカメラのレンズ（図示なし）を動かし焦点位置を変える。

画像圧縮部４５は、撮影画像を保存する際に機能し、画像連結部が出力する左右連結画像を、静止画であれば、例えばＪＰＥＧフォーマットに、動画であれば、例えばMPEGフォーマットに圧縮したデータを出力する。
左右連結画像を一つの画像として処理するため、右眼用画像の圧縮条件と左眼用画像の圧縮条件が同一となり、右眼用画像と左眼用画像の圧縮条件に不整合が生じない。
記憶メモリ部４６は、画像圧縮部４５が圧縮した画像データを保存する。この部分の動作は、データ量が異なる以外は、通常撮影時と同一である。

画像伸張部４７は、保存済み画像を再生する際に機能し、記憶メモリ部が保存している圧縮されたデータを受け、それを伸張し、圧縮前の画像に復元する。
圧縮されたデータが立体撮影されたものであれば、右眼用画像と左眼用画像が１枚に連結された状態の画像を復元する。
このため、右眼用画像の伸張条件と左眼用画像の伸張条件が同一となり、かつ同一タイミングで伸張処理を行うため、伸張した右眼用画像と伸張した左眼用画像に不整合が生じない。

画像分離部４８は、画像連結部４２が出力する画像または画像伸張部４７が出力する画像のどちらか一方を選択し、選択した画像が立体撮影されたものであれば、１枚に連結された右眼用画像と左眼用画像とを分離し、右眼用画像表示部６Ｒへは右眼用画像を、左眼用画像表示部６Ｌへは左眼用画像を、各々出力する。
例えば、左右連結された画像が横１２８０ドット×縦４８０ドットである場合、右眼用画像と左眼用画像の各々は横６４０ドット×縦４８０ドットとなる。
右眼用画像表示部６Ｒおよび左眼用画像表示部６Ｌは、画像分離部４８が出力する右眼用画像と左眼用画像を表示部（立体表示パネル）６の表示面に表示する。
右眼用画像と左眼用画像は、もともと視差を利用した立体視画像であるため、表示面には立体視可能な画像が表示される。

なお、立体撮影時においては、ＡＦ制御部４４は、左右連結画像の中から右眼用画像と左眼用画像とを独立に認識し、右眼用カメラ３Ｒと左眼用カメラ３Ｌの視差と、その中に撮影されている被写体が写りこんでいる位置との関係から、三角測量の原理で被写体までの距離を演算することで、より高速にＡＦ制御を行うことが可能となる。
また、動画撮影中においても焦点位置を変えることなく被写体の移動に追従して焦点位置を調整することが可能となる。
また、カメラの近傍に配置されカメラと同じ向きを向く右側マイクおよび左側マイクを使用して、立体動画撮影中にステレオ音声を録音することが可能となる。
また、ステレオ音声が付加された立体撮影動画を再生する際には、表示部の両側に配置された右側スピーカーおよび左側スピーカーを使用して、ステレオ再生を行うことが可能となる。
ステレオ音声の録音再生に関しては、既存のビデオカメラやステレオＩＣレコーダー等と同等であり、ＭＰＥＧ画像にステレオ音声を付加／分離する手法も確立されているため、ここでは説明は省略する。

ここで、本実施の形態による立体撮影機能付き携帯電話機の主たる構成・動作の特徴をまとめて説明しておく。
本実施の形態による立体撮影機能付き携帯電話機は、同一仕様の二つのカメラと一つの立体表示パネルとを搭載するスライド型の携帯端末（携帯電話機）において、カメラの一つは表示側筐体に、もう一つは電池側筐体に配置し、端末をスライドさせることで端末長手方向の寸法以上の視差を得ることを可能とする。
表示側筐体に配置したカメラは、端末正面側（即ち、撮影者がいる側）の撮影と端末背面側（即ち、撮影者の前方側）の撮影を切り替え可能なように、機構的に180度回転する構造を有している。

そして下記のカメラ撮影モードを備える。
＊ 正面撮影状態にした表示側筐体（第一の筐体）に配置されたカメラによる端末正面側の平面撮影（自分撮りモード）
＊ 背面撮影状態にした表示側筐体（第一の筐体）に配置されたカメラによる端末背面側の平面撮影（デジカメモード）
＊ 背面撮影状態にした表示側筐体（第一の筐体）に配置されたカメラと背面撮影状態にした電池側筐体（第二の筐体）に配置されたカメラによる立体撮影（立体撮影モード）
＊ 正面撮影状態にした表示側筐体（第一の筐体）に配置されたカメラと正面撮影状態にした電池側筐体（第二の筐体）に配置されたカメラによる立体撮影（立体撮影モード）

立体撮影モードにおいて、二つのカメラに対する撮影条件制御（カメラの露光タイミング制御、明るさ制御、露光時感制御、ホワイトバランス制御、焦点位置制御）を１系統とすることで、右眼用画像と左眼用画像とで撮影条件の差が生じないよう制御するカメラ制御機能を備える。
１系統の動画圧縮処理にて右眼用画像と左眼用画像とを同時に圧縮可能なように、２つのカメラが出力する２系統の画像信号を１系統の画像信号に連結する機能を備える。
動画伸張処理にて再生した１系統の連結済み立体撮影画像情報から、右眼用画像と左眼用画像とを抽出し独立した２系統の画像信号に分割する画像情報分割機能を備える。
二つのカメラが出力する、または前記画像情報分割機能が出力する右眼用画像と左眼用画像とを同時に１枚の表示パネルに立体視表示する機能を備える。

以上のように構成されるため、自分撮りモードおよびデジカメモードでは従来のカメラ付き携帯電話と同様の機能を実現しながら、立体撮影モードでは立体表示パネルをファインダとして立体画像を確認しながら立体画像撮影を行える。
また、立体撮影した画像をメモリに保存し、それを再生することで立体撮影画像を立体鑑賞することが可能となる。
立体撮影する際は、右眼用画像と左眼用画像撮影条件が同じに制御されており、違和感の無い立体画像を記録することが可能となる。
また、立体画像用の特別な動画像圧縮伸張処理を必要とせず、一般的な非立体撮影用の動画像圧縮伸張処理にて立体画像の圧縮伸張を行え、かつ圧縮伸張処理の際に起こる処理時間のずれが生じないため、違和感の無い立体画像を記録再生することが可能となる。

また、デジカメモードおよび立体撮影モードにおいては、二つのカメラの視差を利用し被写体までの距離を測定することで、従来の単一カメラでのＴＴＬ測距方式に比べ格段に高速にオートフォーカス制御を行うことが可能となる。
また、二つのカメラの近傍にマイクを取り付け、立体表示ＬＣＤの両側にスピーカーを取り付けることにより、立体画像撮影時にステレオ音声を記録し、立体画像再生時にステレオ記録した音声をステレオ再生する機能も実現可能である。

以上説明したように、本実施の形態による立体撮影機能付き携帯電話機は、第一のカメラ３Ｌと表示部６が配置された第一の筐体１と、第一の筐体１をスライド自在に載置し、第二のカメラ３Ｒが配置された第二の筐体２とで構成された立体撮影機能付き携帯電話機であって、第一のカメラ３Ｌは、第一の筐体１のスライド方向の端部に配置され、第二のカメラ３Ｒは、第二の筐体２の第一のカメラ３Ｌのスライド方向とは反対側の方向の端部に配置され、第一の筐体１をスライドさせると、第一のカメラ３Ｌと第二のカメラ３Ｒの間の距離が大きくなるように構成されている。
従って、第一の筐体１をスラスドさせることにより、第一のカメラ３Ｌと第二のカメラ３Ｒの視差を大きく取ることが可能であり、立体画像を生成するのに適した画像の撮影を容易に行うことができる。

また、本実施の形態による立体撮影機能付き携帯電話機の第一のカメラ３Ｌは、第二のカメラ３Ｒが撮影する方向と同一方向の撮影が可能となるように回転可能に配置されているので、通常は自分撮りモードで使用する第一のカメラを回転させてデジカメモードで立体撮影が可能となる。
また、本実施の形態による立体撮影機能付き携帯電話機の第二のカメラ３Ｒは、第一のカメラ３Ｌが撮影する方向と同一方向の撮影が可能となるように回転可能に配置されているので、通常はデジカメモードで使用する第二のカメラ３Ｒを回転させて自分撮りモードで立体撮影が可能とる。

また、本実施の形態による立体撮影機能付き携帯電話機の第一のカメラ３Ｌおよび第二のカメラ３Ｒは、正面側および背面側いずれの方向も撮影可能なように回転可能に配置されているので、自分撮りモードおよびデジカメモードのいずれの撮影モードにおいても立体撮影が可能となる。
また、本実施の形態による立体撮影機能付き携帯電話機では、第一のカメラ３Ｌの近傍に第一のマイクロフォンが配置され、第二のカメラ３Ｒの近傍に第二のマイクロフォンが配置されているので、立体撮影と同時にステレオ録音が可能となる。

また、本実施の形態による立体撮影機能付き携帯電話機では、第一のマイクロフォンは第一のカメラ３Ｌと連動して回転し、第二のマイクロフォンは第二のカメラ３Ｒと連動して回転するように構成されているので、第１および第二のマイクロフォンは、それぞれ第１および第二のカメラの撮影方向を集音することが可能であり、種々の撮影モードにおいて立体撮影と同時にステレオ録音が可能となる。
また、本実施の形態による立体撮影機能付き携帯電話機では、同期して動作する第一のカメラ３Ｌおよび第二のカメラ３Ｒは、同一の撮影条件で制御されるので、違和感のない、より高品位な立体画像撮影が可能となる。

また、本実施の形態による立体撮影機能付き携帯電話機では、同期して動作する第一のカメラ３Ｌおよび第二のカメラ３Ｒから出力する２系統の画像信号をフレーム毎に連結して１系統の画像信号に変換するので、立体画像に非対応の画像圧縮／伸張処理を利用して、立体画像を圧縮伸張することが可能となる。
また、本実施の形態による立体撮影機能付き携帯電話機では、同期して動作する上記第一のカメラおよび上記第二のカメラの撮影画像に写る被写体位置の差に基づいて被写体までの距離を推測し、フォーカス位置を自動的に合わせるので、立体撮影あるいは非立体撮影のいずれの場合においても、オートフォーカスの収束を早めることができる。

この発明は、カメラ間の視差を大きくでき、立体画像を生成するのに適したスライド式の立体撮影機能付き携帯電話機の実現に有用である。

実施の形態１による立体撮影機能付き携帯電話機の外観構成を示す斜視図である。 実施の形態１による立体撮影機能付き携帯電話機における画像信号処理系の構成を示すブロック図である。 非特許文献１に記載されている従来のカメラ撮影機能を有する携帯電話機の構成を示す外観図である。 従来の立体撮影再生機能付き携帯電話機における画像処理系の構成を示すブロック図である。

符号の説明

１ 第一の筐体（表示側筐体）
２ 第二の筐体（電池側筐体）
３Ｌ 左眼用カメラ（第一のカメラ）
３１Ｌ 左眼用ＡＦレンズ駆動部
３２Ｌ 左眼用イメージセンサ
３３Ｌ 左眼用画像信号処理部
３Ｒ 右眼用カメラ（第二のカメラ）
３１Ｒ 右眼用ＡＦレンズ駆動部
３２Ｒ 右眼用イメージセンサ
３３Ｒ 右眼用画像信号処理部
４Ｌ 左側マイクロフォン（第一のマイクロフォン）の集音孔
４Ｒ 右側マイククロフン（第二のマイクロフォン）の集音孔
５Ｌ 左側スピーカーの放音孔
５Ｒ 右側スピーカーの放音孔
６ 表示部（立体表示パネル）
６Ｌ 左眼用画像表示部
６Ｒ 右眼用画像表示部
７ 第一の筐体（表示側筐体）に配置された操作キー
８ 第二の筐体（電池側筐体）に配置された操作キー
４１ イメージセンサ制御部
４２ 画像連結部
４３ 撮影条件処理部
４４ ＡＦ制御部
４５ 画像圧縮部
４６ 記憶メモリ部
４７ 画像伸張部
４８ 画像分離部

Claims (9)

1. 第一のカメラと表示部が配置された第一の筐体と、上記第一の筐体をスライド自在に載置し、第二のカメラが配置された第二の筐体とで構成された立体撮影機能付き携帯電話機であって、
   上記第一のカメラは、上記第一の筐体のスライド方向の端部に配置され、
   上記第二のカメラは、上記第二の筐体の上記第一のカメラのスライド方向とは反対側の方向の端部に配置され、
   上記第一の筐体をスライドさせると、上記第一のカメラと上記第二のカメラの間の距離が大きくなることを特徴とする立体撮影機能付き携帯電話機。
2. 上記第一のカメラは、上記第二のカメラが撮影する方向と同一方向の撮影が可能となるように回転可能に配置されていることを特徴とする請求項１に記載の立体撮影機能付き携帯電話機。
3. 上記第二のカメラは、上記第一のカメラが撮影する方向と同一方向の撮影が可能となるように回転可能に配置されていることを特徴とする請求項１に記載の立体撮影機能付き携帯電話機。
4. 上記第一のカメラおよび上記第二のカメラは、正面側および背面側いずれの方向も撮影可能なように回転可能に配置されていることを特徴とする請求項１に記載の立体撮影機能付き携帯電話機。
5. 上記第一のカメラの近傍に第一のマイクロフォンが配置され、上記第二のカメラの近傍に第二のマイクロフォンが配置されていることを特徴とする請求項１〜４のいずれか１項に記載の立体撮影機能付き携帯電話機。
6. 上記第一のマイクロフォンは上記第一のカメラと連動して回転し、上記第二のマイクロフォンは上記第二のカメラと連動して回転するように構成されていることを特徴とする請求項５に記載の立体撮影機能付き携帯電話機。
7. 同期して動作する上記第一のカメラおよび上記第二のカメラは、同一の撮影条件で制御されることを特徴とする請求項１〜４のいずれか１項に記載の立体撮影機能付き携帯電話機。
8. 同期して動作する上記第一のカメラおよび上記第二のカメラから出力する２系統の画像信号をフレーム毎に連結して１系統の画像信号に変換することを特徴とする請求項１〜４のいずれか１項に記載の立体撮影機能付き携帯電話機。
9. 同期して動作する上記第一のカメラおよび上記第二のカメラの撮影画像に写る被写体位置の差に基づいて被写体までの距離を推測し、フォーカス位置を自動的に合わせることを特徴とする請求項１〜４のいずれか１項に記載の立体撮影機能付き携帯電話機。

Images