JP4860498B2

JP4860498B2 - 移動端末装置および画像表示システム

Info

Publication number: JP4860498B2
Application number: JP2007024566A
Authority: JP
Inventors: 鏡子奥山; 俊之福岡; 英志北川; 亮介宮田; 拓郎池田
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2007-02-02
Filing date: 2007-02-02
Publication date: 2012-01-25
Anticipated expiration: 2027-02-02
Also published as: JP2008190956A

Description

本発明は、無線通信を行なう通信部と、表示画面上に画像を表示する表示部とを備えた移動端末装置および画像表示システムに関する。

最近、ナビゲーション装置にカメラを取り付けそのカメラで撮影された撮影画像をナビゲーション装置内の保持部に保持しておいて、ドライバがその撮影場所と同じ場所を通過しようとしたときには表示画面上に地図のほかにその撮影画像を表示することができるようにするシステムが提案されている（例えば特許文献１参照）。また、特定の利用者がＧＰＳ機能を有する移動端末装置を活用してその移動端末装置内に利用者データベースを作成して野外活動記録を短時間かつ容易に作成することができるようにする技術も提案されている（例えば特許文献２参照）。これらの特許文献１や特許文献２の技術を用いると、利用者自らによって記録された情報による独自のデータベースを作成することが可能となり、そのデータベース上にある情報に基づく画像をいつでも好きなときに表示画面上で確認することができるようになる。

しかしながら、この特許文献２の技術は、移動端末装置が備える表示画面上に撮影画像をリアルタイムに表示する技術ではない。また特許文献１の技術にあっては、ナビゲーション装置が備える表示画面上にリアルタイムに位置情報に関連した画像を表示することができるものの、道路構造つまり道路の分岐情報（ノード情報）と画像情報とを関連づけてデータベースを作成しているために自動車が進行している方向の道路沿いの情報しか得ることができないという欠点がある。さらに特許文献１の技術においては、地図上に写真を重ねて表示しようとすると、写真情報が小さくなって見難くなり、写真情報を見易くするために写真を大きくすると今度は地図が見難くなってしまうという問題もある。

もしも、利用者が進行している道路沿いの情報だけでなく道路沿いを含む周辺の画像情報を取得して表示画面上にうまく表示することができれば、その画像情報を見て脇道にそれて名所旧跡等に立ち寄ったり、その時期に開催されている祭りなどに立ち寄ったりすることができる。

ところで、上記特許文献１では、ナビゲーション装置が備える通信機能を使って、又は携帯電話機をナビゲーション装置に接続してインターネットにアクセスすることができるようにすることでインターネット上の画像サーバに撮影画像を登録するようにしてナビゲーション装置が備えるメモリ容量の削減を図ろうとしている。

この特許文献１の様にインターネット上の画像サーバに接続される構成であると、移動端末装置の記憶容量を小さくしても画像サーバ内に蓄積されている位置情報付きの画像情報の多くを取得することができる。しかし、画像サーバ内の位置情報付きの画像情報を取得することができるようになると、画像情報量が膨大になって上記した様に表示が見難くなる恐れが出てくる。

そこでエリアを区画して区画されたエリアの位置情報ごとに画像情報を整理してエリア別に画像を表示することが考えられるが、画像を単に並べて表示画面上に表示するだけでは、方角が分からなくなる恐れがある。もしも表示された画像情報の方角が分からないと、利用者は画像情報が表示されて興味のある場所が近くにあることは分かってもどこにあるかがすぐには分からない。
特開２０００−３０４５５９号公報特開２００４−１７３１０５号公報

本発明は、利用者にとってより分かり易い周辺画像情報の表示機能を備えた移動端末装置、およびその移動端末装置を備えた周辺画像表示システムを提供することを目的とする。

上記目的を達成する本発明の移動端末装置は、無線通信を行なう通信部と、表示画面上に画像を表示する表示部とを備えた移動端末装置において、当該移動端末装置の現在の位置情報を取得する位置情報取得手段と、当該移動端末装置の現在の移動方向を取得する移動方向取得手段と、位置情報付き画像が蓄積された画像サーバから、当該移動端末装置の現在位置周辺の位置情報が付与された画像を無線で受信する画像受信手段と、上記画像受信手段で受信した画像を、その画像に付与された位置情報に基づいて、当該移動端末装置の現在位置を原点とし当該移動端末装置の移動方向を縦軸上方とした２次元座標空間内の、縦軸と横軸とで区切られた４つの区画に区分けする画像区分け手段と、
上記画像区分け手段で区分けされた画像を、上記表示画面上に設定された区画内に表示する画像表示手段とを備えたことを特徴とする。

上記本発明の移動端末装置によれば、上記画像区分け手段によって上記画像受信手段で受信した画像サーバーからの画像情報が移動方向を縦軸上方とした２次元座標空間内の、縦軸と横軸とで区切られた４つの区画に区分けされ、区分けされた画像が上記画像表示手段によって設定された区画内にそれぞれ表示される。このため、利用者は表示画面上の画像を見るだけでどちらの方向に何かあるかがすぐに分かる。

すなわち、利用者にとって分かり易い画像情報の表示機能を備えた移動端末装置が実現する。

ここで、上記画像区分け手段により区分けされた４つの区画の画像の数のバランスに応じて上記表示画面上の、当該移動端末装置の現在位置を表わす原点座標を決定する原点決定手段を備え、上記画像表示手段は、上記画像区分け手段で区分けされた画像を、上記原点決定手段で決定した原点を基にして設定された上記表示画面上の区画内に表示するものであることが好ましい。

そうすると、上記原点決定手段によって、４つの区画の画像の数のバランスに応じて上記表示画面上の、当該移動端末装置の現在位置を表わす原点座標が決定され、上記画像表示手段によって、その原点決定手段によって決定された原点を基にして設定された表示画面上の区画内のいずれかにより多くの画像が表示される。つまり、移動方向を縦軸として区画された４つの区画のうち、より多くの画像情報がある区画の表示範囲が大きくなるように表示が変更されて、その大きく変更されたところに画像情報が表示されることになる。

このため、ユーザは、表示画面上の表示に基づいて、多くの画像情報がある方向へと進行方向を変えることもできる。

また、上記画像表示手段は、上記表示画面上に、上記画像区分け手段で区分けされた画像を表示するとともに、区画内の画像を、現在位置と画像の持つ位置情報から現在位置と画像の位置関係を計算し、現在位置に近い画像を原点の近くに配置し、現在位置から離れた画像を原点から離れて配置するものであると良く。

さらに上記画像表示手段は、上記表示画面上に、上記画像区分け手段で区分けされた画像を表示するとともに、その表示画面上に、その表示画面上方を当該移動端末装置の移動方向としたときの地理上の方位を表示するものであるとなお良い。

そうすると、ユーザが進行している方位をすぐに把握することができるようになり、地図を広げて行き先を確認することができる。

当該移動端末装置が、電話機能とＧＰＳ機能を有する携帯電話機であっても良く、また当該移動端末装置が、電話機能を有する携帯電話機と、車に搭載され、現在の位置情報を取得するＧＰＳ機能を有するカーナビゲーションシステムとの複合からなるものであっても良い。

また、上記目的を達成する本発明の画像表示システムは、無線通信を行なう通信部と表示画面上に画像を表示する表示部とを備えた移動端末装置と、位置情報付き画像が蓄積され上記移動端末装置からの送信要求に応じてその移動多難津装置に向けて画像を送信する画像サーバとを備えた画像表示システムであって、上記移動端末装置が、当該移動端末装置の現在の位置情報を取得する位置情報取得手段と、当該移動端末装置の現在の移動方向を取得する移動方向取得手段と、位置情報付き画像が蓄積された画像サーバから、当該移動端末装置の現在位置周辺の、位置情報が付与された画像を無線で受信する画像受信手段と、上記画像受信手段で受信した画像を、その画像に付与された位置情報に基づいて、当該移動端末装置の現在位置を原点とし当該移動端末装置の移動方向を縦軸上方とした２次元座標空間内の、縦軸と横軸とで区切られた４つの区画に区分けする画像区分け手段と、上記画像区分け手段で区分けされた画像を、上記表示画面上に設定された区画内に表示する画像表示手段とを備えたことを特徴とする。

ここで、上記画像区分け手段により区分けされた４つの区画の画像の数のバランスに応じて上記表示画面上の、当該移動端末装置の現在位置を表わす原点座標を決定する原点決定手段を備え、上記画像表示手段は、上記画像区分け手段で区分けされた画像を、上記原点決定手段で決定した原点を基にして設定された、上記表示画面上の区画内に表示するものであると良い。

また、上記画像表示手段は、上記表示画面上に、上記画像区分け手段で区分けされた画像を表示するとともに、区画内の画像を、現在位置と画像の持つ位置情報から現在位置と画像の位置関係を計算し、現在位置に近い画像を原点の近くに配置し、現在位置から離れた画像を原点から離れて配置するものであると良い。

さらに上記画像表示手段は、上記表示画面上に、上記画像区分けで手段で区分けされた画像を表示するとともに、その表示画面上に、その表示画面上方を当該移動端末装置の移動方向としたときの地理上の方位を表示するものであると良い。

本発明によれば、利用者にとってより分かり易い画像情報の表示機能を備えた移動端末装置および画像表示システムが実現する。

以下、本発明の実施の形態について説明する。

図１、図２、図３は、本発明の一実施形態である移動端末装置の構成を示す図である。

図１には、移動端末装置の一例である携帯電話機１００を右斜め上方から見た図が示されており、図２には図１に示す携帯電話機１００の内部構成が示されている。また図３には携帯電話機１００が備える液晶パネル１０１上に表示されている画像の表示例が示されている。

図１に示す携帯電話機１００には、外部装置との間で音声や電子メールなどを送受信するデータ通信機能に加えて、被写体を撮影する撮影機能や、テレビ番組を閲覧するためのテレビ機能などが搭載されている。

図１に示す携帯電話機１００においては、表示画面である液晶パネル１０１が設けられた上側筐体１００Ａと、ユーザが手で持つ下側筐体１００Ｂとがヒンジで接続されている。上側筐体１００Ａ又は下側筐体が、下側筐体又は上側筐体に対して回動されると図１に示す形になる。

上側筐体１００Ａには、電話番号やテレビ番組や撮影画像などが表示される液晶パネル１０１、および内部にスピーカ（図２参照）が配備され、スピーカから発せられる音声や電話相手の音声を空間に放つための受話口１０２が備えられており、下側筐体１００Ｂには、各種機能の選択や、撮影を行う際のシャッタボタンとして使用される選択ボタン１０４、電話番号等を入力するためのプッシュボタン１０５、および内部にマイクロフォン（図２参照）が配備され、声をマイクロフォンに伝えるための送話口１０６が備えられている。

続いて、携帯電話機１００の内部構成を図２を参照しながら説明する。

図２には、ＣＰＵ１１０、ＲＯＭ１１１、不揮発メモリ１１２、ＲＡＭ１１３、マイクデバイス１２１、表示デバイス１２２、スピーカデバイス１２３、キーデバイス１２４、カメラデバイス１２５、時計１２６、近距離無線デバイス１３１、遠距離デバイス１３２、テレビデバイス１３３、ＧＰＳデバイス１４０、メディアコントローラ１４１、および充電池１５０が示されており、これらの間はバスを介して互いに接続されている。

ＣＰＵ１１０は、各種プログラムを実行する機能を有し、この携帯電話機１００の全体を制御している。その各種プログラムの中の一つのプログラム中に本発明にいう位置情報取得手段の機能を達成するプログラムや本発明にいう移動方向取得手段の機能を達成するプログラムなどが記述されている。詳細は、図４以降にあるＣＰＵ１１０の処理手順を示すフローチャートの説明をするときに説明する。

ＲＯＭ１１１には、ＣＰＵ１１０で実行される各種プログラムやそれら各種プログラムの実行に必要な各種定数が記憶されており、ＣＰＵ１１０は、ＲＯＭ１１１に記憶されたプログラムをＲＡＭ１１３を作業領域として使いながら実行する。

不揮発メモリ１１２には、アドレス帳や受信した電子メールなど、書き換えられることがありうる各種情報が記録されている。

マイクデバイス１２１は、ユーザの声をピックアップするマイクロホンおよびそのマイクロホンでピックアップされた声を処理する機能ブロックである。

スピーカデバイス１２３は、ユーザに向けて音声を出力するスピーカ、およびそのスピーカを駆動する音声信号を生成する機能ブロックである。

カメラデバイス１２５は、写真撮影による画像データの収集を司るブロックであり、表示デバイス１２２は、液晶パネル１０１（図１参照）への画像表示を司るブロックであり、キーデバイス１２４は、ユーザによる各種キー操作を検出するブロックであり、時計１２６は、現在時刻を取得するためのブロックである。この表示デバイス１２２の動作はＣＰＵ１１０によって制御されており、ＣＰＵ１１０からの指示に応じて液晶パネル１０１上の表示の切替などが行なわれる。この表示デバイス１２２とＣＰＵ１１０が本発明にいう画像表示手段の一例に相当する。図３には、ＣＰＵ１１０と表示デバイス１２２とが連携して液晶パネル１０１上に画像を表示したときの表示例が示されている。本実施形態では、図３に示す様に、携帯電話機１００の現在位置を原点ＯＲＧとし携帯電話機１００の移動方向を縦軸上方とした２次元座標空間内の、縦軸（ＡＸＩＳＹ）と横軸（ＡＸＩＳＸ）とで区切られた４つの区画に画像が区分けされて表示され、それらの画像の上方に方位Ｐが矢印で表示される。

ＧＰＳデバイス１４０は、２４個の衛星のうちの３つの衛星からの位置情報を取得して現在位置を算出する機能を有するデバイスであり、ＣＰＵ１１０からの指示に応じて動作して衛星からの位置情報に応じて現在位置を取得してＣＰＵ１１０に伝達する機能を有している。このＧＰＳデバイス１４０とＣＰＵ１１０とが本発明にいう現在位置取得手段の一例に相当し、さらに移動方向取得手段の一例にも相当する。

メディアコントローラ１４１は、装填された記録メディア１４２からデータを読み出したり、カメラデバイス１２５で生成された画像データ等を記録メディア１４２に書き込むためのものである。

近距離無線デバイス１３１は、近距離にある外部装置に、画像や電話番号などを基地局（図示しない）を介さずに赤外線通信によって送信するためのものである。

遠距離デバイス１３２は、基地局（図示しない）を介して通話や電子メールの送受信などを行うためのものである。この遠距離デバイス１３２はインターネットにも接続することが可能なデバイスであって、そのインターネット上の画像情報を配信するサーバが備える蓄積媒体には、位置情報付きの画像情報が多数蓄積されているとして以降説明する。なお、以降の説明においては、本実施形態の画像サーバが備える蓄積媒体内には主にＧＰＳ機能付きのカメラ付き携帯電話機で撮影された位置情報付きの画像情報が蓄積されているとして説明するので、画像情報を写真情報と記載することがある。

つまり図１の携帯電話機１００を有するユーザは、操作によりインターネットを経由してＧＰＳデバイス１４０で取得した位置情報に応じた画像情報をそのサーバが備える蓄積媒体からダウンロードすることができる。この遠距離デバイスとＣＰＵ１１０とが本発明にいう画像受信手段に相当する。なお、この例では移動端末装置である携帯電話機１００の構成を説明しているが、インターネットを介して接続される画像サーバと携帯電話機１００とで本発明の画像表示システムの一例が構成される。

テレビデバイス１３３は、アンテナで受信した電波をチューナでデジタルの番組データに変換し、番組データが表わす番組を液晶パネル１０１（図１参照）に表示させるブロックである。

本実施形態の携帯電話機は、以上の構成を有する。

ここで、本発明にいう位置情報取得手段、移動方向手段手段、画像区分け手段、画像受信手段、画像表示手段、さらには原点決定手段のいずれの構成にも係わるＣＰＵ１１０の処理を説明する。前述したように本実施形態のＣＰＵ１１０は、ＧＰＳデバイス１４０と連携して位置情報取得手段並びに移動方向取得手段を構成するとともに、遠距離デバイス１３２と連携して本発明にいう画像受信手段、さらには表示デバイス１２２と連携して画像表示手段を構成し、ＣＰＵ自らは画像区分け手段並びに原点決定手段を構成する。

図４は、ＣＰＵ１１０が実行する処理の手順を示すフローチャートである。

ＣＰＵ１１０はこのフローチャートの処理を所定の間隔ごとに繰り返し実行する。

まずステップＳ４０１でＧＰＳデバイス１４０と連携して所定の間隔ごとに現在位置情報（緯度経度情報）を取得する。次のステップＳ４０２で一回前のステップＳ４０１の処理で取得した位置情報を読み出し、次のステップＳ４０３でこのフローチャートの処理を繰り返し実行している間に進行した距離を計算する。距離は緯度経度の差から求めることができる。進行した距離を計算したら次のステップＳ４０４へ進んでステップＳ４０４で一回前のステップＳ４０３の計算で得た距離に、今回計算した距離を加算して累積距離を得て累積距離を更新する。ステップＳ４０４で更新した累積距離が所定の距離Ｎｋｍを越えたかどうかを判定する。このステップＳ４０５でＮｋｍをまだ超えていないと判定したら、ステップＳ４０１に戻ってステップＳ４０１からステップＳ４０５の処理を繰り返す。

ステップＳ４０５でＮｋｍを超えたと判定したら、Ｙｅｓ側へ進んでステップＳ４０６で、ステップＳ４０４で更新した累積距離を０にリセットする。次のステップＳ４０７でステップＳ４０１で取得した現在位置情報をセンタに遠距離デバイスの送信機能を使って送信し、また現在位置の周辺Ｎｋｍ以内にある写真情報を遠距離デバイスの受信機能を使ってセンタ側の画像サーバからダウンロードして取得する。次のステップＳ４０８でステップＳ４０７で取得した写真情報の枚数が０枚以上であるかどうかを判定し、０枚であると判定したらＮｏ側へ進んでステップＳ４０９で表示デバイス１２２に指示して例えば‘情報がありません’等の表示を表示画面上に行なってこのフローの処理を終了する。

ステップＳ４０８で写真枚数が１枚以上あると判定したら、Ｙｅｓ側へ進んでステップＳ４１０で進行方向計算が可能であるかどうかを判定する。このステップＳ４１０では、ステップＳ４０１で取得した現在位置情報とステップＳ４０２で読み出した１回前の現在位置情報から進行方向の計算が可能であるかどうか判定する。ある位置に停止していて、現在位置情報と１回前の現在位置情報が同じ場合、進行方向の計算はできないので、Ｎｏ側へ進んでステップＳ４１２でθの算出を行なわずに進行方向を北方向と見なしθ＝０と設定してステップＳ４１３へ進み、ステップＳ４１３で写真区画マッピング処理を実行する。また、現在位置情報と１回前の現在位置情報で、緯度が同じ場合、北に進んでいることになるので、この場合もＮｏ側に進む。

また、ステップＳ４１０で進行方向の計算が可能であった場合にはＹｅｓ側へ進んでステップＳ４１１で進行方向の、北方向からのずれ角度θを現在位置情報（緯度経度情報）と１回前の現在位置情報（緯度経度情報）の差から算出して、次のステップＳ４１３で写真区画マッピング処理を実行する。

そしてステップＳ４１４で区間内写真位置計算処理を行なって各区画ごとの画像情報数の数のバランスに応じて写真を表示することができるように区画内の写真位置の計算処理を実行した後、次のステップＳ４１５で表示画面内のどの位置を現在位置つまり原点にするかの決定を行なって、ステップＳ４１６で表示画面上にサーバから取得した写真情報の表示を行なってこのフローの処理を終了する。

ＣＰＵ１１０がこのフローの処理を実行すると、図３に示すように縦軸（ＡＸＩＳＹ）と横軸（ＡＸＩＳＸ）とに区分けされた複数の画像が液晶パネル１０１上に並べて表示される。

図３に示すように進行方向に対して区分けされた画像が表示されると、ユーザはどの位置に興味のある場所があるかがすぐに分かる。

ここで、図５を参照して、図３の表示を行なうのに必要な、図４のフロー中のステップＳ４１３の写真区画マッピング処理の詳細を説明する。なお、Ｓ４０８の処理で取得する写真の枚数をＭ（Ｍ＞０）枚とする。

図５は写真区画マッピング処理の詳細を説明するフローチャートである。

図５に示す様に、まずステップＳ４１３１でθが０であるかどうかを判定する。

ステップＳ４１３１でθが０であると判定したら、Ｙｅｓ側へ進んでＭ枚の写真を１枚ずつ処理する。ステップＳ４１３２で未処理の写真がまだあるかどうかを判定し、処理すべき写真がないと判定したらステップＳ４１３５へ進んでステップＳ４１３５で各区画に含まれる写真の枚数をカウントし、このフローの処理を終了してステップＳ４１４へ進む。ステップＳ４１３２で未処理の写真があると判定したらＹｅｓ側へ進んでステップＳ４１３３で写真を一枚取り出し、ステップＳ４１３４でその写真に付加されている位置情報を参照してその写真情報が４つの区画のうちのいずれの区画に属するものであるかを判定する。ステップＳ４１３２に戻ってステップＳ４１３２からステップＳ４１３４の処理をＭ枚分繰り返し行なってステップＳ４１３２で未処理の写真がないと判定したらＮｏ側へ進んでステップＳ４１３５で各区画内の写真枚数のカウントを行なってこのフローの処理を終了して図４のステップＳ４１４に進む。

一方、ステップＳ４１３１でθが０ではないと判定したらＮｏ側へ進んでステップＳ４１３６で未処理の写真がまだあるかどうかを判定し、写真がもうないと判定したらステップＳ４１３５へ進んでステップＳ４１３５で各区画内の写真枚数のカウントを行なってこのフローの処理を終了する。

このステップＳ４１３６で未処理の写真があると判定したらＹｅｓ側へ進んでステップＳ４１３７で写真を一枚取り出し、ステップＳ４１３８でθを０にするように回転処理を施す。回転処理を施したらステップＳ４１３９へ進んで進行方向に対して写真情報が４つの区画のうちのいずれの区画に属するものであるかを判定する。ステップＳ４１３６に戻ってステップＳ４１３６からステップＳ４１３９の処理をＭ枚分繰り返し行なってステップＳ４１３６で処理対象の写真がもうないと判定したらＮｏ側へ進んでステップＳ４１３５で各区画内の写真枚数のカウントを行なってこのフローの処理を終了して図４のステップＳ４１４に進む。このフロー中のステップＳ４１３５の各区画内の写真枚数のカウント値は、後述するステップＳ４１５の原点決定処理で用いられる。

この図５の処理を図６を参照してもう少し分かり易く説明する。

図６は、図５のフローの処理の内容を説明する図である。

図６（ａ）には、図５中に記載されている様にＣＰＵ１１０がステップＳ４１３１でＹｅｓと判定した場合のステップＳ４１３２〜ステップＳ４１３４の処理内容が示されており、図６（ｂ）にはステップＳ４１３１でＮｏと判定された場合のステップＳ４１３６〜Ｓ４１３９の処理内容とがそれぞれ示されている。

図６（ａ）に示されているように、ＣＰＵ１１０がステップＳ４１３１でＹｅｓと判定した場合、つまり北方向へ向かって進んでいると判定した場合には、ステップＳ４１３２からステップＳ４１３４で図６（ａ）に示す４つの場合分けの処理を実行する。

図６（ａ）には、ＣＰＵ１１０がＧＰＳデバイスと連携して取得した現在地位置情報を経度Ｘ、緯度Ｙとしてその位置情報（Ｘ、Ｙ）を原点とし携帯電話機の移動方向（北方向）を縦軸情報とした２次元座標空間内の、縦軸と横軸とで区切られた４つの区画（右前Ａ、左前Ｂ、左後Ｃ、右後Ｄ）が示されている。さらに図６（ａ）には、画像サーバから取得した写真情報をＣＰＵ１１０が４つの区画（右前Ａ、左前Ｂ、左後Ｃ、右後Ｄ）に区分けする際に実行する処理内容も示されている。

例えば、写真情報に付加されている位置情報が写真座標点（ｘ、ｙ）であったとすると、ＣＰＵ１１０は、ｘ≧Ｘ、かつｙ≧Ｙであるときにその写真情報がＡ（右前）区画に属するものであると判定する。

また、ＣＰＵ１１０が、ｘ≧Ｘ、かつｙ＜Ｙであるときにその写真情報がＢ（左前）区画に属するものであると判定する。また、ｘ＜Ｘ、かつｙ≧Ｙであるときにその写真情報がＤ（右後）区画に属するものであると判定し、ｘ＜Ｘ、かつｙ＜Ｙであるときにその写真情報がＣ（左後）区画に属するものであると判定する。

こうして図６（ａ）に示すように携帯電話機の移動方向が北方向であった場合つまりθが０であった場合には、写真情報に付加されている位置情報をそのまま用いて４つの区画に写真情報を区分けする。

これに対し、図６（ｂ）に示す様に、携帯電話機の移動方向が北方向からずれている場合つまりθが０でない場合には、縦軸方向が北方向にならないので、そのままでは図６（ａ）に示す処理を行なって４つの区画に写真情報を区分けすることができない。

そこで、この場合には北方向からのずれの角度をθとして三角関数の回転公式を用いて座標全体を回転させる処理を行なってθを０に変換した後、図６（ａ）に示す処理と同じ処理を行なうようにしている。ＣＰＵ１１０が、回転処理を行なってから図６（ａ）の処理を実行すると、北方向以外のいずれの方向へ向かって進行していたとしても表示画面の各区画内に、写真情報が的確に区分けされ表示されるので、利用者はその写真情報を見て写真情報のある位置に正しく向かうことができる。また回転処理がおこなわれて表示が行なわれるときには回転角度から計算される方位を示す矢印の向きが変更されるので、その矢印の方向つまり方角を参考にして地図を見て周辺の状況を確認することができる。

次に、ステップＳ４１４の区画内写真位置計算処理の詳細を説明する。この処理は、ステップ４１３によって区画に割り振られた写真を、現在位置と写真のもつ位置情報との位置関係から区画内での写真を並び替える、つまり現在位置に近い写真は原点ＯＲＧの近くに並べ、現在位置から離れた写真は原点ＯＲＧから離れた場所に並ぶように写真を並べ替える処理である。

図７（ａ），（ｂ），（ｃ）は、ステップＳ４１４の詳細を示すフローチャートである。

ステップＳ４１４０１で、ステップＳ４１３の結果、例えば区画Ｂ（図６参照）内にあると判定された写真があるかどうかを判定する。写真があると判定したら次のステップＳ４１４０２に進んでステップＳ４１４０２で区画内の写真が１枚ずつ入るようなメッシュを区画内にふる。ステップＳ４１４０２の処理について、図７（ｃ）で説明する。

まず、ステップＳ４１４０２１で、区画内のすべての写真の位置情報からすべての緯度差を計算し、この中から０より大きい最小の緯度差を求めて、これをｍｉｎＹとする。次に、ステップＳ４１４０２２で、区画内の全ての写真の位置情報からすべての経度差を計算し、この中から０より大きい最小の経度差を求めて、これをｍｉｎＸとする。次に、ステップＳ４１４０２３に進み、区画内の全ての写真の位置情報である緯度と経度を比較し、同じ緯度経度をもつ写真を検出し、あわせてその枚数をカウントする。ステップＳ４１４０２３の結果得られる枚数をｍ枚とする。ステップＳ４１４０２４で、ｍが０以上であるか判定し、０以上であれば、ステップＳ４１４０２５に進む。ステップＳ４１４０２５からステップＳ４１４０２１０までの処理は、同じ座標点を持つ写真の座標点をずらす処理である。まずステップＳ４１４０２５で、写真の座標点をずらす値Δｘに経度差をｍで割った値、すなわちΔｘ＝ｍｉｎＸ／ｍに代入して計算する。そして、写真枚数カウントのｉに０を代入する。続いてステップＳ４１４０２６で、ステップＳ４１４０２３で検出した同じ座標点をもつ写真から１枚取り出す。写真の持つ位置情報の経度に、ｉ×Δｘを加える。ステップＳ４１４０２８でｉに１を加算する。ステップＳ４１４０２９で、ｉとｍを比較し、ｉがｍより小さければ、すなわち未処理の写真がまだあれば、ステップＳ４１４０２６に戻り、ｍ枚終了するまで行う。ステップＳ４１４０２９でｉがｍ以上であれば、未処理の写真が無いので、ステップＳ４１４０２１０に進み、ステップＳ４１４０２５からステップＳ４１４０２１０の処理で座標を修正した写真とそのほかの写真から改めて経度差を計算し、この中から０より大きい最小の経度差を求め、これをｍｉｎＸとする。そして、ステップＳ４１４０２１１で、幅が緯度方向ｍｉｎＹ、経度方向ｍｉｎＸになるようにメッシュを作成し、ステップＳ４１４０２１２で区画内の写真を１枚取り出し、ステップＳ４１４０２１３で、写真の位置座標とメッシュを比較して写真が入るメッシュを決定し、ステップＳ４１４０２１４で区画内の写真が残っているか調べ、あれば、Ｓ１４０２１２に進み、区画内の写真枚数分これを繰り返す。ステップＳ４１４０２１４で、処理対象の写真がもうなければ、処理を終了する。また、ステップＳ４１４０２４でｍが０であったら、ステップＳ４１４０２１１に進み、ステップＳ４１４０２１１以降の処理は前述のとおりである。なお、ステップＳ４１４０２において、経度差から同じ位置座標を持つ写真の座標をずらす値を決定しているが、これは緯度差から求めてもよい。また、フローには示していないが、ステップＳ４１４０２７で修正された座標は、このフローの終了とともに、元に戻される。

ステップＳ４１４０２で、写真が１枚ずつ入るようなメッシュを決定したら、続いて、写真を現在位置を示す原点ＯＲＧ方向につめる作業を行う。まずステップＳ４１４０３でＸ軸（経度軸）で原点ＯＲＧ方向のメッシュに写真を１つ移動する処理を行う。ステップＳ４１４０３の処理を図７（ｂ）で説明する。

ステップＳ４１４３０１で、移動枚数に０を代入する。ステップＳ４１４０３２で、ステップＳ４１４０２でメッシュに割り振られたすべての写真の中から１枚取り出し、次のステップＳ４１４０３３でその写真のＸ軸で原点ＯＲＧ方向の隣に空きがあるかどうかを判定し、ステップＳ４１４０３３で空きがないと判定したらいいえ側へ進んでステップＳ４１４０３６へ進む。またステップＳ４１４０３３で空きがあると判定したらステップＳ４１４０３４へ進み、ステップＳ４１４０３４で空いているメッシュに一つ移動する処理を実行してステップＳ４１４０３５へ進む。ステップＳ４１４０３５では、移動枚数に１を加算し、ステップＳ４１４０３６へ進み、ステップＳ４１４０３６で未処理の写真がまだあると判定したら、ステップＳ４１４０３２からステップＳ４１４０３６の処理を繰り返す。

ステップＳ４１４０３６で写真がないと判定したら終了し、移動枚数を返す。

ステップＳ４１４０３の次に、ステップＳ４１４０４に進み、ステップＳ４１４０４でＹ軸（緯度軸）で原点ＯＲＧ方向のメッシュに写真を１つ移動する処理を行う。この処理は、ステップＳ４１４０３の処理の移動方向をＹ軸（緯度軸）で原点ＯＲＧ方向に変更することで行う。次のステップＳ４１４０５では、ステップＳ４１４０３とステップＳ４１４０４の結果得られた移動枚数を足して、１以上かどうかを判定する。１以上であれば、“はい”側に進み、まだ移動の余裕があると判断し、ステップＳ４１４０３からステップＳ４１４０５を繰り返す。ステップＳ４１４０５で移動枚数が０の場合、“いいえ”側に進み、ステップＳ４１４０６で区画Ａや区画Ｃや区画Ｄ（図５参照）の他の区画の処理を行なうかどうかを判定して、他に移動処理を行なう区画が残っていると判定したらステップＳ４１４０１に戻って一連の処理を繰り返し、ステップＳ４１４０６でその区画がないと判定したらＮｏ側へ進んでこのフローの処理を終了する。

ＣＰＵ１１０がこのフローの処理を実行すると、図３に示す様に写真情報をできるだけ詰めて並べて表示するとともに、以降の図８が示すように、現在地と写真の持つ位置関係をできるだけ維持して写真をならば、また方向を表わす縦軸（ＡＸＩＳＹ）と横軸（ＡＸＩＳＸ）とに区分けされた複数の画像を液晶パネル１０１上に並べて表示することが可能となる。

ここで図７のフローの処理をもう少し分かり易く説明する。

図８は、ステップＳ４１４０３の処理を説明する図である。

図８には、Ｂ区画内に写真が整理して並べられるときの状況を説明する図が示されている。

図８の左上に示す様に、図７のステップＳ４１４０２の処理の結果、写真がメッシュ内に１枚おさまるようにメッシュがふられるが、単にメッシュと緯度経度とを対応付けて写真（丸で囲まれている１〜１０）を並べていくと、空欄が生じたりしてしまう。

そこで、本実施形態においては、ステップＳ４１４０３の処理で写真情報を詰めて表示する処理を行なって、図８の右下のように写真情報を整列させてから表示を行なう様にしている。この様な処理を実行すると、図３に示すような表示を行なうことができるとともに、現在地と写真の持つ位置関係をできるだけ維持して写真を並べることができる。

さらに本実施形態では、見やすい画面を得るために、図４のステップＳ４１５の処理により、４つの区画の画像の数のバランスに応じて表示画面上の、携帯電話機の現在位置を表わす原点座標を決定し、決定した原点を基にして設定された表示画面上の区画内に区分けされた画像を表示する処理が行なわれる。

図９は、図３の画像が表示され携帯電話機を持つユーザがＮｋｍ移動して画面が切り替えられたときの表示例を説明する図である。また図１０は、携帯電話機を持つユーザが例えば移動方向を南西方向に変更したときの表示例を説明する図である。

図４のステップＳ４１５の処理では、図５に示すステップＳ４１３５の処理で各区画内の写真情報数がカウントされていることを利用して区分けされた４つの区画の画像の数のバランスに基づいて，一回前の表示のときに比べて例えばＢ区画内の画像数が多いと判定したときには図９の右側に示す位置に原点位置を決定して区画Ｂ内により多くの画像情報を表示するようにしている。このようにすると、例えばＡ区画内に画像情報がないときには画像数の多いＢ区画内の画像情報が多く表示され、移動している場所の周辺状況に応じて適宜情報が提供されるようになる。

さらに、本実施形態においては、ステップＳ４１１で方位が計算されているので、図１０に示す様に写真情報とともに進行方向がどちらの方角であるかを表わす方位Ｐの変更表示も行なうようにしている。

例えばＣＰＵ１１０がステップＳ４１１の処理で携帯電話機１００を持つ利用者が進行方向を北から南西方向に変更したということをθの計算により検知したときには、内部で回転処理を行なうとともに液晶パネル１０１上の表示画像を図１０に示す様に切り替え、さらに図１０に示す様に方位Ｐの矢印の向きも変更して表示するようにしている。このようにしておくと、携帯電話機を持つ利用者は、どの方角に何が在るかをすぐに把握することが可能となる。

すなわち、本実施形態の携帯電話機１００は、本発明にいう画像区分け手段により区分けされた４つの区画の画像の数のバランスに応じて表示画面上の、当該移動端末装置の現在位置を表わす原点座標を決定する原点決定手段を備え、画像表示手段は、画像区分け手段で区分けされた画像を、原点決定手段で決定した原点を基にして設定された表示画面上の区画内に表示するものであるということになる。

なお、図９の例では、液晶パネル１０１上の符号Ｓで示す部分を選択して手動で操作することによりユーザ自らが液晶パネル１０１上の画像をスクロールさせて図９（ａ）から図９（ｂ）への表示切替を行なうことができるようにしている。

以上説明した様に、利用者にとって分かり易い画像情報の表示機能を備えた移動端末装置が実現する。

なお、本実施形態では、移動端末装置として電話機能を有する携帯電話機の例を掲げたが、移動端末装置が、電話機能を有する携帯電話機と、車に搭載され、現在の位置情報を取得するＧＰＳ機能を有するカーナビゲーションシステムとの複合からなるものであっても良い。

以下に本発明の各種形態を付記する。

（付記１）
無線通信を行なう通信部と、表示画面上に画像を表示する表示部とを備えた移動端末装置において、
当該移動端末装置の現在の位置情報を取得する位置情報取得手段と、
当該移動端末装置の現在の移動方向を取得する移動方向取得手段と、
当該移動端末装置の現在位置を位置情報付き画像が蓄積された画像サーバに送信し、画像サーバから、当該移動端末装置の現在位置周辺の位置情報が付与された画像を無線で受信する画像受信手段と、
前記画像受信手段で受信した画像を、該画像に付与された位置情報に基づいて、当該移動端末装置の現在位置を原点とし当該移動端末装置の移動方向を縦軸上方とした２次元座標空間内の、縦軸と横軸とで区切られた４つの区画に区分けする画像区分け手段と、
前記画像区分け手段で区分けされた画像を、前記表示画面上に設定された区画内に表示する画像表示手段とを備えたことを特徴とする移動端末装置。

（付記２）
前記画像区分け手段により区分けされた４つの区画の画像の数のバランスに応じて前記表示画面上の、当該移動端末装置の現在位置を表わす原点座標を決定する原点決定手段を備え、
前記画像表示手段は、前記画像区分け手段で区分けされた画像を、前記原点決定手段で決定した原点を基にして設定された前記表示画面上の区画内に表示するものであることを特徴とする付記１記載の移動端末装置。

（付記３）
前記画像表示手段は、前記表示画面上に、前記画像区分け手段で区分けされた画像を表示するとともに、区画内の画像を、現在位置と画像の持つ位置情報から現在位置と画像の位置関係を計算し、現在位置に近い画像を原点の近くに配置し、現在位置から離れた画像を原点から離れて配置することを特徴とする付記１記載の移動端末装置。

（付記４）
前記画像表示手段は、前記表示画面上に、前記画像区分け手段で区分けされた画像を表示するとともに、該表示画面上に、該表示画面上方を当該移動端末装置の移動方向としたときの地理上の方位を表示するものであることを特徴とする付記１記載の移動端末装置。

（付記５）
当該移動端末装置が、電話機能とＧＰＳ機能を有する携帯電話機であることを特徴とする付記１記載の移動端末装置。

（付記６）
当該移動端末装置が、電話機能を有する携帯電話機と、車に搭載され、現在の位置情報を取得するＧＰＳ機能を有するカーナビゲーションシステムとの複合からなることを特徴とする付記１記載の移動端末装置。

（付記７）
無線通信を行なう通信部と表示画面上に画像を表示する表示部とを備えた移動端末装置と、位置情報付き画像が蓄積され前記移動端末装置からの送信要求に応じて該移動端末装置に向けて画像を送信する画像サーバとを備えた画像表示システムであって、
前記移動端末装置が、
当該移動端末装置の現在の位置情報を取得する位置情報取得手段と、
当該移動端末装置の現在の移動方向を取得する移動方向取得手段と、
位置情報付き画像が蓄積された画像サーバから、当該移動端末装置の現在位置周辺の位置情報が付与された画像を無線で受信する画像受信手段と、
前記画像受信手段で受信した画像を、該画像に付与された位置情報に基づいて、当該移動端末装置の現在位置を原点とし当該移動端末装置の移動方向を縦軸上方とした２次元座標空間内の、縦軸と横軸とで区切られた４つの区画に区分けする画像区分け手段と、
前記画像区分け手段で区分けされた画像を、前記表示画面上に設定された区画内に表示する画像表示手段とを備えたことを特徴とする画像表示システム。

（付記８）
前記画像区分け手段により区分けされた４つの区画の画像の数のバランスに応じて前記表示画面上の、当該移動端末装置の現在位置を表わす原点座標を決定する原点決定手段を備え、
前記画像表示手段は、前記画像区分け手段で区分けされた画像を、前記原点決定手段で決定した原点を基にして設定された、前記表示画面上の区画内に表示するものであることを特徴とする付記７記載の画像表示システム。

（付記９）
前記画像表示手段は、前記表示画面上に、前記画像区分け手段で区分けされた画像を表示するとともに、区画内の画像を、現在位置と画像の持つ位置情報から現在位置と画像の位置関係を計算し、現在位置に近い画像を原点の近くに配置し、現在位置から離れた画像を原点から離れて配置することを特徴とする付記７記載の画像表示システム。

（付記１０）
前記画像表示手段は、前記表示画面上に、前記画像区分け手段で区分けされた画像を表示するとともに、該表示画面上に、該表示画面上方を当該移動端末装置の移動方向としたときの地理上の方位を表示するものであることを特徴とする付記７記載の画像表示システム。

本発明の一実施形態である携帯電話機の構成を示す図である。本発明の一実施形態である携帯電話機の構成を示す図である。図１の携帯電話機が備える液晶パネル１０１上の表示例を示す図である。ＣＰＵ１１０が実行する処理の手順を示すフローチャートである。ステップＳ４１３の写真区画マッピング処理の詳細を説明するフローチャートである。図５のフローの処理の内容を説明する図である。ステップＳ４１４の詳細を示すフローチャートである。図７（ａ）のステップＳ４１４０３の詳細を示すフローチャートである。図７（ａ）のステップＳ４１４０２の詳細を示すフローチャートである。図７の処理を分かり易く説明する図である。図３の画像が表示され携帯電話機を持つユーザがＮｋｍ移動して画面が切り替えられたときの表示例を説明する図である。携帯電話機を持つユーザが例えば移動方向を南西方向に変更したときの表示例を説明する図である。

符号の説明

１００携帯電話機
１００Ａ上側筐体
１００Ｂ下側筐体
１０１液晶パネル（表示画面）
１０２送話口
１１０ＣＰＵ
１１１ＲＯＭ
１１２不揮発メモリ
１１３ＲＡＭ
１２１マイクデバイス１２１
１２２表示デバイス
１２３スピーカデバイス
１２４キーデバイス
１２５カメラデバイス
１２６時計
１３１近距離無線デバイス
１３２遠距離デバイス
１３３テレビデバイス
１４０ＧＰＳデバイス
１４１メディアコントローラ
１５０充電池
１〜９メッシュ内の画像情報

Claims

位置情報付き画像が蓄積された画像サーバとインターネット経由で無線通信可能な通信部と、表示画面上に画像を表示する表示部とを備えた移動端末装置において、
当該移動端末装置の現在の位置情報を取得する位置情報取得手段と、
前記位置情報を含む周辺画像送信要求を前記サーバに送信する送信手段と、
当該移動端末装置の現在の移動方向を計算する移動方向計算手段と、
前記画像サーバから、当該移動端末装置の現在位置周辺の位置情報が付与された画像を無線で受信する画像受信手段と、
前記画像受信手段で受信した画像を、該画像に付与された位置情報に基づいて、当該移動端末装置の現在位置を原点とし当該移動端末装置の移動方向を縦軸上方とした２次元座標空間内の、縦軸と横軸とで区切られた４つの区画に区分けする画像区分け手段と、
前記画像区分け手段で区分けされた画像を、前記表示画面上に設定された区画内に表示する画像表示手段と、
前記画像区分け手段により区分けされた４つの区画の画像の数のバランスに応じて前記表示画面上の、当該移動端末装置の現在位置を表わす原点座標を決定する原点決定手段を備え、
前記画像表示手段は、前記画像区分け手段で区分けされた画像を、前記原点決定手段で決定した原点を基にして設定された前記表示画面上の区画内に表示するものであることを特徴とする移動端末装置。
前記画像表示手段は、前記表示画面上に、前記画像区分け手段で区分けされた画像を表示するとともに、区画内の画像を、現在位置と画像の持つ位置情報から現在位置と画像の位置関係を計算し、現在位置に近い画像を原点の近くに配置し、現在位置から離れた画像を原点から離れて配置することを特徴とする請求項１記載の移動端末装置。
前記画像表示手段は、前記表示画面上に、前記画像区分け手段で区分けされた画像を表示するとともに、該表示画面上に、該表示画面上方を当該移動端末装置の移動方向としたときの地理上の方位を表示するものであることを特徴とする請求項１記載の移動端末装置。
無線通信を行なう通信部と表示画面上に画像を表示する表示部とを備えた移動端末装置と、位置情報付き画像が蓄積され前記移動端末装置からの送信要求に応じて該移動端末装置に向けて画像を送信する画像サーバがインターネット経由で接続される画像表示システムであって、
前記移動端末装置が、
当該移動端末装置の現在の位置情報を取得する位置情報取得手段と、
前記位置情報を含む周辺画像送信要求を前記画像サーバに送信する送信手段と、
当該移動端末装置の現在の移動方向を取得する移動方向取得手段と、
前記画像サーバから、当該移動端末装置の現在位置周辺の位置情報が付与された画像を無線で受信する画像受信手段と、
前記画像受信手段で受信した画像を、該画像に付与された位置情報に基づいて、当該移動端末装置の現在位置を原点とし当該移動端末装置の移動方向を縦軸上方とした２次元座標空間内の、縦軸と横軸とで区切られた４つの区画に区分けする画像区分け手段と、
前記画像区分け手段で区分けされた画像を、前記表示画面上に設定された区画内に表示する画像表示手段と、
前記画像区分け手段により区分けされた４つの区画の画像の数のバランスに応じて前記表示画面上の、当該移動端末装置の現在位置を表わす原点座標を決定する原点決定手段を備え、
前記画像表示手段は、前記画像区分け手段で区分けされた画像を、前記原点決定手段で決定した原点を基にして設定された、前記表示画面上の区画内に表示するものであり、
前記画像サーバは、
前記位置情報を含む周辺画像を格納している周辺画像格納手段と、
前記移動端末装置からの前記周辺画像送信要求を受信する送信要求受信手段と、前記周辺画像送信要求に含まれる前記移動端末装置の位置情報に基づいて、所定の範囲内の位置情報が付与された画像を抽出する画像抽出手段と、
抽出した位置情報が付与された画像を前記移動端末装置に送信する画像送信手段と
を備えたことを特徴とする画像表示システム。
前記画像表示手段は、前記表示画面上に、前記画像区分け手段で区分けされた画像を表示するとともに、区画内の画像を、現在位置と画像の持つ位置情報から現在位置と画像の位置関係を計算し、現在位置に近い画像を原点の近くに配置し、現在位置から離れた画像を原点から離れて配置することを特徴とする請求項４記載の画像表示システム。
前記画像表示手段は、前記表示画面上に、前記画像区分け手段で区分けされた画像を表示するとともに、該表示画面上に、該表示画面上方を当該移動端末装置の移動方向としたときの地理上の方位を表示するものであることを特徴とする請求項４記載の画像表示システム。