JP4321128B2 - 画像サーバ、画像収集装置、および画像表示端末 - Google Patents
画像サーバ、画像収集装置、および画像表示端末 Download PDFInfo
- Publication number
- JP4321128B2 JP4321128B2 JP2003167806A JP2003167806A JP4321128B2 JP 4321128 B2 JP4321128 B2 JP 4321128B2 JP 2003167806 A JP2003167806 A JP 2003167806A JP 2003167806 A JP2003167806 A JP 2003167806A JP 4321128 B2 JP4321128 B2 JP 4321128B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- vehicle
- photographed
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000010365 information processing Effects 0.000 description 101
- 238000000034 method Methods 0.000 description 77
- 230000008569 process Effects 0.000 description 65
- 238000012545 processing Methods 0.000 description 42
- 238000004891 communication Methods 0.000 description 41
- 238000010586 diagram Methods 0.000 description 33
- 238000001914 filtration Methods 0.000 description 23
- 230000005540 biological transmission Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000007726 management method Methods 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 5
- 238000010845 search algorithm Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 238000003825 pressing Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000004397 blinking Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
- Facsimiles In General (AREA)
- Instructional Devices (AREA)
Description
【発明の属する技術分野】
本発明は、車両の周囲の画像を撮影する画像収集装置、撮影された画像を配信する画像サーバ、画像サーバによって配信された画像を表示させる画像表示端末に関するものである。
【0002】
【従来の技術】
従来、道路の渋滞状況等を遠隔地の人に伝えるために、道路に定点カメラを設置し、このカメラによって撮影された道路の画像を要求する人に配信するというサービスがある。例えばモネ(MONET:登録商標)と呼ばれるサービスは、道路状況を画像として携帯電話のユーザに配信するようになっている。
【0003】
しかし、このようなサービス形態では、任意の点の情報を閲覧することができない。これに対処するために、あらかじめ各地の画像を撮影してデータベース化しておく技術が開示されている(例えば特許文献1、2)。
【0004】
また、任意の地点を何度も撮影することでデータベースを更新する技術も提案されている。
【0005】
【特許文献1】
特開2002−236990号公報
【0006】
【特許文献2】
特許第3019299号明細書
【0007】
【発明が解決しようとする課題】
しかし、連続する領域において異なる時期に撮影された複数のデータがデータベースに存在する場合、天候等の撮影環境の違いから、データベースの画像の配信を受けてそれらを連続して閲覧するユーザに違和感を与える可能性がある。
【0008】
本発明は、この点に鑑み、撮影された画像を閲覧するユーザに与える違和感を軽減するような効率的な画像収集または画像配信を行うことを目的とする。
【0009】
また、収集され、配信された画像を円滑に閲覧できるようにすることを目的とする。
【0010】
【課題を解決するための手段】
上記目的を達成するための請求項1に記載の発明は、車両に搭載されたカメラ(21)によって撮影された前記車両の周辺の撮影画像および前記撮影画像の撮影情報を記憶するための記憶媒体(51)と、入力された前記撮影画像および前記撮影画像の撮影情報を前記記憶媒体に記憶させ、前記記憶媒体が記憶している撮影画像を、受信した撮影画像を表示する画像表示端末(36、37)に配信する配信手段(54、57)と、を備えた画像サーバであって、前記撮影情報は、当該撮影画像が撮影された撮影地点の情報を含み、前記配信手段は、入力された撮影画像を、その撮影画像の撮影地点の属する区域による区分毎に、前記撮影情報および所定の選択条件に基づいて選択したものを前記記憶媒体に記憶し、前記撮影情報は、当該撮影画像が撮影されたときの当該車両の走行速度の情報を含み、前記選択条件は、前記区分内で撮影時の当該車両の走行速度が最も遅い撮影画像を優先的に選択するものであることを特徴とする画像サーバである。
また、請求項2に記載の発明は、車両に搭載されたカメラ(21)によって撮影された前記車両の周辺の撮影画像および前記撮影画像の撮影情報を記憶するための記憶媒体(51)と、入力された前記撮影画像および前記撮影画像の撮影情報を前記記憶媒体に記憶させ、前記記憶媒体が記憶している撮影画像を、受信した撮影画像を表示する画像表示端末(36、37)に配信する配信手段(54、57)と、を備えた画像サーバであって、前記撮影情報は、当該撮影画像が撮影された撮影地点の情報を含み、前記配信手段は、入力された撮影画像を、その撮影画像の撮影地点の属する区域による区分毎に、前記撮影情報および所定の選択条件に基づいて選択したものを前記記憶媒体に記憶させ、前記撮影情報は、当該撮影画像の撮影時における当該撮影地点の天候の情報を含み、前記選択条件は、前記区分内で撮影時の当該地点の天候が良かった撮影画像を優先的に選択するものであることを特徴とする画像サーバである。
また、請求項3に記載の発明は、車両に搭載されたカメラ(21)によって撮影された前記車両の周辺の撮影画像および前記撮影画像の撮影情報を記憶するための記憶媒体(51)と、入力された前記撮影画像および前記撮影画像の撮影情報を前記記憶媒体に記憶させ、前記記憶媒体が記憶している撮影画像を、受信した撮影画像を表示する画像表示端末(36、37)に配信する配信手段(54、57)と、を備えた画像サーバであって、前記撮影情報は、当該撮影画像が撮影された撮影地点の情報を含み、前記配信手段は、入力された撮影画像を、その撮影画像の撮影地点の属する区域による区分毎に、前記撮影情報および所定の選択条件に基づいて選択したものを前記記憶媒体に記憶させ、前記撮影情報は、当該撮影画像の撮影時における当該車両の傾斜の情報を含み、前記選択条件は、前記区分内で撮影時における当該車両の傾斜角が最も少ない撮影画像を優先的に選択するものであることを特徴とする画像サーバである。
また、請求項4に記載の発明は、車両に搭載されたカメラ(21)によって撮影された前記車両の周辺の撮影画像および前記撮影画像の撮影情報を記憶するための記憶媒体(51)と、入力された前記撮影画像および前記撮影画像の撮影情報を前記記憶媒体に記憶させ、前記記憶媒体が記憶している撮影画像を、受信した撮影画像を表示する画像表示端末(36、37)に配信する配信手段(54、57)と、を備えた画像サーバであって、前記撮影情報は、当該撮影画像が撮影された撮影地点の情報を含み、前記配信手段は、入力された撮影画像を、その撮影画像の撮影地点の属する区域による区分毎に、前記撮影情報および所定の選択条件に基づいて選択したものを前記記憶媒体に記憶させ、前記撮影情報は、当該撮影画像の撮影時に当該車両が交差点内にいたか否かの情報を含み、前記選択条件は、前記区分内で撮影時において当該車両が交差点内にいた撮影画像を優先的に選択するものであることを特徴とする画像サーバである。
また、請求項5に記載の発明は、車両に搭載されたカメラ(21)によって撮影された前記車両の周辺の撮影画像および前記撮影画像の撮影情報を記憶するための記憶媒体(51)と、入力された前記撮影画像および前記撮影画像の撮影情報を前記記憶媒体に記憶させ、前記記憶媒体が記憶している撮影画像を、受信した撮影画像を表示する画像表示端末(36、37)に配信する配信手段(54、57)と、地図情報を記憶するための記憶媒体(52)と、を備えた画像サーバであって、前記撮影情報は、当該撮影画像が撮影された撮影地点の情報を含み、前記配信手段は、入力された撮影画像を、その撮影画像の撮影地点の属する区域による区分毎に、前記撮影情報および所定の選択条件に基づいて選択したものを前記記憶媒体に記憶させ、前記配信手段は、前記地図情報および前記撮影情報に基づいて当該撮影画像の撮影時に当該車両が交差点内にいたか否かを判定し、前記選択条件は、前記区分内で撮影時において当該車両が交差点内にいた撮影画像を優先的に選択するものであることを特徴とする画像サーバである。
【0011】
これによって、各区分毎に、所定の条件によって撮影画像が選択され記憶されるので、記憶された撮影画像は区分間で等質なものになる。したがって、撮影された画像を閲覧するユーザに与える違和感を軽減するような効率的な画像収集を行うことができる。
【0012】
なお、撮影画像の撮影情報は、その撮影画像が撮影された車両において作成されたものであってもよいし、それ以外のものによって作成されたものであってもよい。例えば、撮影時の天候などに関して、降雨の有無などは車両内のワイパー情報から取得可能であるが、詳細な天候情報は他の天候サーバから自動的に取得することにより、より均質的な情報提供が可能となる。
【0014】
また、請求項6に記載の発明は、車両に搭載されたカメラによって撮影された前記車両の周辺の撮影画像および前記撮影画像の撮影情報を記憶するための記憶媒体(51)と、前記記憶媒体が記憶している撮影画像を画像表示端末(36、37)に配信する配信手段(54、57)と、を備えた画像サーバであって、前記撮影情報は、当該撮影画像が撮影された撮影地点の情報を含み、前記配信手段は、前記記憶媒体が記憶している撮影画像を、その撮影画像の撮影地点の属する区域による区分毎に、前記撮影情報および所定の選択条件に基づいて選択したものを前記画像表示端末に配信し、前記撮影情報は、当該撮影画像の撮影時における当該車両の走行の向きの情報を含み、前記配信手段は、前記画像表示端末が現在表示している撮影画像の正面方向の情報が含まれた問い合わせ信号を前記画像表示端末から受信した後、前記記憶媒体が記憶している撮影画像を、その撮影画像の撮影地点の属する区域および撮影時の当該車両の走行の正逆向きの組み合わせによる区分毎に、前記撮影情報および前記問い合わせ信号中の正面方向の情報に基づいて選択したものを前記画像表示端末に配信することを特徴とする画像サーバである。
【0015】
これによって、各区分毎に、所定の条件によって撮影画像が選択され配信されるので、配信された撮影画像は区分間で等質なものになる。したがって、撮影された画像を閲覧するユーザに与える違和感を軽減するような効率的な画像配信を行うことができる。
【0016】
また、請求項7に記載の発明は、請求項1ないし5のいずれか1つに記載の画像サーバにおいて、前記撮影情報は、当該撮影画像の撮影時における当該車両の走行の向きの情報を含み、前記配信手段は、入力された前記撮影画像を、その撮影画像の撮影地点の属する区域および撮影時の当該車両の走行の正逆向きの組み合わせによる区分毎に、前記撮影情報および所定の選択条件に基づいて選択したものを前記記憶媒体に記憶させることを特徴とする。
【0017】
また、請求項8に記載の発明は、請求項1ないし7のいずれか1つに記載の画像サーバにおいて、前記撮影情報は、当該撮影画像が撮影された撮影時刻の情報を含み、前記選択条件は、前記区分内で最も撮影時刻が新しい撮影画像を優先的に選択するものであることを特徴とする。
【0024】
また、請求項9に記載の発明は、車両の周囲の画像を撮影する撮影手段(21)と、前記車両の現在地点を特定する現在地点特定手段(22)と、前記車両の水平面に対する傾斜量を特定する傾斜量特定手段と、前記撮影手段によって撮影された撮影画像、前記撮影画像が撮影された時の前記車両の現在地点の情報、および前記画像が撮影されたときの前記車両の傾斜の情報を、請求項3に記載の画像サーバへの提供用に記憶するための記憶媒体(16)と、を備えた車載画像収集装置である。
【0025】
これによって、車載画像収集装置は、車両の傾斜の情報を請求項3に記載の画像サーバに送信することができるので、画像サーバは傾斜に基づく撮影画像の選択を行うことができる。したがって、車載画像収集装置は、撮影された画像を閲覧するユーザに与える違和感を軽減するような効率的な画像収集を行うことができる。
【0026】
また、請求項10に記載の発明は、車両の周囲の画像を撮影する撮影手段(21)と、前記車両の現在地点を特定する現在地点特定手段(22)と、前記車両が交差点内にいるか否かを判定する交差点判定手段と、前記撮影手段によって撮影された撮影画像、前記撮影画像が撮影された時の前記車両の現在地点の情報、および前記画像が撮影されたときに前記車両が交差点内にいたか否かの情報を、請求項4に記載の画像サーバへの提供用に記憶するための記憶媒体(16)と、を備えた車載画像収集装置である。
【0027】
これによって、車載画像収集装置は、車両が交差点内にいるか否かの情報を請求項4に記載の画像サーバに送信することができるので、画像サーバは車両が交差点内にいるか否かの情報に基づく撮影画像の選択を行うことができる。したがって、車載画像収集装置は、撮影された画像を閲覧するユーザに与える違和感を軽減するような効率的な画像収集を行うことができる。
【0030】
また、請求項11に記載の発明は、車両に搭載されたカメラ(21)によって撮影された前記車両の周辺の撮影画像および前記撮影画像の撮影情報を記憶するための記憶媒体(51)と、入力された前記撮影画像および前記撮影画像の撮影情報を前記記憶媒体に記憶させ、前記記憶媒体が記憶している撮影画像を、受信した撮影画像を表示する画像表示端末(36、37)に配信する配信手段(54、57)と、地図情報を記憶するための記憶媒体(52)と、を備え、前記撮影情報は、当該撮影画像が撮影された撮影地点の情報を含み、前記配信手段は、入力された撮影画像を、その撮影画像の撮影地点の属する区域による区分毎に、前記撮影情報および所定の選択条件に基づいて選択したものを前記記憶媒体に記憶させることを特徴とする画像サーバと通信する車載画像収集装置であって、車両の周囲の全方位の画像を撮影する撮影手段(21)と、前記車両の現在地点を特定する現在地点特定手段(22)と、前記撮影手段によって撮影された撮影画像、前記撮影画像が撮影された時の前記車両の現在地点の情報を、前記画像サーバへの提供用に記憶するための記憶媒体(16)と、を備え、前記撮影手段は、あらかじめ指定された重点地点が道路外の地点の場合、前記重点地点から最も近い道路上の地点に近づいたと判定したときに、前記画像の撮影を通常より詳細に行うことを特徴とする車載画像収集装置である。
【0031】
このようにすることで、あらかじめ指定された重要な地点においては通常より詳細な撮影を行うことができるので、車載画像収集装置は、撮影された画像を閲覧するユーザに与える違和感を軽減するような効率的な画像収集を行うことができる。
【0035】
また、請求項12に記載の発明は、車両に搭載されたカメラによって撮影された前記車両の周辺の撮影画像および前記撮影画像の撮影情報を配信する画像サーバ(5)から配信された前記撮影画像および前記撮影情報を受信する受信手段(73)と、前記受信した前記撮影画像を表示手段(77)に表示させる表示制御手段(75)と、を備えた画像表示端末であって、前記撮影情報は、当該撮影画像が撮影された撮影地点の情報を含み、前記表示制御手段は、ある向きへの画像の進行の命令を受信すると、前記向きを含む所定の方向領域内であり、かつ前記表示手段に現在表示させている撮影画像が撮影された地点からの距離が所定の範囲内である検索領域内で撮影された撮影画像を検索し、この検索された撮影画像から、所定の選択規則に基づいて、次に表示手段に表示させる撮影画像を選択することを特徴とする画像表示端末である。
【0036】
このようにすることで、画像サーバから配信された撮影画像および撮影情報に基づいて、連続的に画像を表示させるときに、ユーザが撮影画像を円滑に閲覧できるようにすることができる。
【0037】
また、請求項13に記載の発明は、請求項12に記載の画像表示端末において、前記選択規則は、前記検索領域内で最も撮影時刻が新しい撮影画像を優先的に選択するものであることを特徴とする。
【0038】
また、請求項14に記載の発明は、請求項12に記載の画像表示端末において、前記選択規則は、前記検索領域内で撮影時の当該車両の走行速度が最も遅い撮影画像を優先的に選択するものであることを特徴とする。
【0039】
また、請求項15に記載の発明は、請求項12に記載の画像表示端末において、前記撮影情報は、当該撮影画像が撮影された撮影時刻の情報を含み、前記選択条件は、前記区分内で、前記表示手段に現在表示させている撮影画像と撮影時刻が最も近い撮影画像を優先的に選択するものであることを特徴とする。
【0040】
また、請求項16に記載の発明は、請求項12ないし15のいずれか1つに記載の画像表示端末において、前記表示制御手段は、前記検索の結果、当該検索領域内で撮影された撮影画像がなかった場合、前記表示手段に進行不能の旨の表示をさせることを特徴とする。
【0041】
また、請求項17に記載の発明は、請求項12ないし16のいずれか1つに記載の画像表示端末において、前記表示制御手段は、複数の向きのそれぞれについて、その向きの方向領域内であり、かつ前記表示手段に表示させる撮影画像が撮影された地点からの距離が所定の範囲内である検索領域内で撮影された撮影画像を検索し、検索の結果当該検索領域内で撮影された撮影画像があれば、その向きに進行できる旨の表示を、前記表示させる前記撮影画像と共に前記表示手段に表示させることを特徴とする。
【0042】
また、請求項18に記載の発明は、請求項12ないし17のいずれか1つに記載の画像表示端末において、前記ある向きとは、前進の向きであり、前記撮影情報は、当該撮影画像が撮影された時の車両の走行方向の情報を含み、前記表示制御手段は、前記選択した次に前記表示手段に表示させる撮影画像が撮影された時の車両の走行方向および今回の前進の向きとの関係に基づいて、前記走行方向またはその逆方向を次回の前進の向きとして、当該撮影画像を表示させることを特徴とする。
【0046】
なお、上記各手段の括弧内の符号は、後述する実施形態に記載の具体的手段、構成要素等との対応関係を示すものである。
【0047】
【発明の実施の形態】
(第1実施形態)
図1は、本発明の第1実施形態に係る画像配信システムを模式的に示す概念図である。道路2上を走行している車両1(プローブカー)は、自車の周囲360°を撮影することのできる全方位撮影機能と、基地局3と無線通信をする通信機能とを有している。この車両1は、全方位撮影機能によって撮影した撮影画像6と、この撮影画像6を撮影したときの車両の位置、撮影時刻、撮影時の車両の進行方向(方位)、撮影時の車両1の走行速度等を含む撮影画像6の撮影情報を、基地局3および基地局3が接続する基地局網4を介して画像サーバ5に送信する。画像の撮影情報とは、画像を撮影したときの撮影状況に関する情報である。撮影画像6は、車両1から見た全方位の映像が、魚眼レンズを通して周囲を見たような映像の形式でひとまとまりになった画像である。この画像は、実際の風景から歪んでいるので、人間にとっては非常に見づらくなっている。
【0048】
なお、撮影場所とは、撮影画像6を撮影したときの車両1の位置、および撮影画像6を撮影したときの撮影対象の位置の両方を含む概念である。後者の撮影対象の位置とは、例えば車両1の直前の道路2である場合もあり、また道路2から直接見える遠方の風景である場合もある。
【0049】
この撮影画像6と撮影画像6の撮影情報とを受信した画像サーバ5は、画像サーバ5が接続する広域ネットワーク8を介して画像サーバ5に接続し、画像の配信を要求するパーソナルコンピュータ61や車載機62に対して配信画像7および配信画像7の撮影情報を配信する。この際、画像サーバ5は必要ならば撮影情報に撮影対象の位置の情報を含めておく。ここで配信画像7は、撮影画像6について人間にとって見易くなるよう画像の歪みを矯正した展開画像である。本明細書においては、この撮影画像6から配信画像7への画像の変換のことを展開と記す。
【0050】
また、車両1は無線通信によって画像サーバ5から撮影を行うタイミングの指定を受信し、この指定通りのタイミングで撮影を行うようになっている。撮影を行うタイミングとは、本実施形態においては撮影を行うときの車両1の位置のことである。車両1がある位置に来たら撮影するということは、車両1がある位置に来た時刻に撮影するということと同じことである。
【0051】
図2は、この車両1内に搭載される、画像の撮影および画像サーバ5への送信を行うための機器の構成のブロック図である。
【0052】
これら車両1内の機器は、画像制御コンピュータ10、全方位カメラ21、GPSセンサ22、方位センサ23、速度センサ24、無線機25、およびアンテナ26から構成される。
【0053】
全方位カメラ21は、周囲360°全方位の風景を一度に受像し、それら受像した全方位映像を常時出力するカメラである。このようなものとしては、特許第2939087号明細書に記載の全方位カメラを用いることができる。
【0054】
GPSセンサ22は、GPS衛星から情報を受信することにより、車両1の現在位置、走行速度、走行方向を算出し、これを現在位置情報として出力するものである。また、GPSセンサ22は、現在位置情報を出力可能か否かの情報も出力するようになっている。
【0055】
方位センサ23は、ジャイロスコープを利用して、東西南北等の車両1の現在の向きを検知し、これを方向情報として出力する装置である。
【0056】
速度センサ24は、車両1のタイヤの回転数を検出し、この回転数と経過時間から車両1の走行速度を算出し、これを速度情報として出力するものである。
【0057】
無線機25は、通信データを無線信号に変換し、この無線信号をアンテナ26から無線機25の通信システムに対応する基地局に送信するものである。なお、この無線機25の通信システムとしては、例えばPDC、無線LAN等がある。
【0058】
画像制御コンピュータ10は、センサ制御部11、画像記録部12、情報処理部13、および通信制御部14から構成される。
【0059】
センサ制御部11は、GPSセンサ22、方位センサ23、および速度センサ24からそれぞれ車両1の現在位置情報、方向情報、速度情報を受信し、これら受信した情報を情報処理部13に出力するものである。このセンサ制御部11は、これら情報の受信および出力を定期的、例えば本実施形態においては1秒程度毎、に行い、さらに情報処理部13からこれらの情報を要求する制御信号を受信することによっても情報の受信および出力を行うようになっている。
【0060】
画像記録部12は、全方位カメラ21から全方位映像を受信し、これを全方位の画像として記録し、同時に情報処理部13に出力するものである。この画像記録部12は、情報処理部13から画像記録の制御信号を受信しているときに、全方位カメラ21から受信した全方位映像を画像として記録するようになっている。
【0061】
情報処理部13は、撮影を行うときの車両1の位置の指定を通信制御部14から受信し、その指定の情報を、HDD(ハードディスクドライブ)等の大容量記憶装置であるメモリ15に保存するようになっている。またこのメモリ15中には、情報管理DB(データベース)16、スケジュールDB17、地図DB18のための領域が確保されている。
【0062】
情報管理DB16には、情報処理部13によって画像記録部12に記録された画像および当該画像についての後述する撮影情報を格納するための領域である。スケジュールDB17は、撮影を行う時の車両の位置の指定等、撮影時期、撮影位置等の撮影スケジュールの情報を格納するための領域である。なお、撮影スケジュールは、あらかじめ定められていてもよい。地図DB18には、後述するマップマッチングや地図表示用の地図データが格納されている。
【0063】
また情報処理部13は、センサ制御部11からGPSセンサ22発の現在位置情報を定期的に受信し、またメモリ15からスケジュールDB17中に保存されている指定の情報を読み込み、車両1の現在位置と指定の位置とを比較するようになっている。そして情報処理部13は、車両1が指定の位置に到達したとき、画像記録部12に画像記録の制御信号を出力し、画像記録部12から画像を受信するようになっている。この画像の受信は、全方位カメラ21による撮影である。
【0064】
また情報処理部13は、上記の撮影時に、センサ制御部11に現在位置情報、方向情報、および速度情報を要求する制御信号を出力し、この制御信号に基づいてセンサ制御部11が出力したこれらの情報を受信するようになっている。そして、これら受信した情報から、撮影時における時刻、現在位置情報、方向情報、および速度情報を含む画像の撮影情報を作成しそれを情報管理DB16に格納する。
【0065】
情報処理部13が作成する画像の撮影情報の一例を図3に示す。この作成情報は、XMLフォーマットで記載されており、ブラケットで囲まれたデータの属性を示す文字列であるタグと、タグによって属性付けられたデータとから成る。<file>タグ中のnameパラメータの値“cap0001.jpg”は、対応する画像のファイル名を示している。
【0066】
<position>〜</position>間には、<longitude>〜</longitude>間に示される緯度、および<latitude>〜</latitude>間に示される経度から成る現在位置情報が格納される。また、マップコードを含めることも可能である。図3においては、画像が撮影されたときの現在位置情報は東経137°4′41.981998″、北緯35°7′13.692000″であることを示している。
【0067】
<time>〜</time>間には、<date>〜</date>間に示される日付、および<localtime>〜</localtime>間に示される地方時から成る時刻の情報が格納される。図3においては、撮影されたときの時刻は2002年3月1日10時44分46秒であることを示している。
【0068】
<speed>〜</speed>間には、速度情報が示される。図3においては、撮影されたときの車両1の速度は4.444800km/hであることを示している。
【0069】
<direction>〜</direction>間には、車両の向きの情報が方位角で示される。図3においては、撮影された画像の中央部は、北から254.500000°である。
【0070】
また情報処理部13は、撮影した画像と、この画像の撮影情報とを、通信データとして通信制御部14に送信するようになっている。なお情報処理部13は、この通信データに、無線機25を介してこの通信データを送信するよう通信制御部14に指定する情報も含めるようになっている。
【0071】
通信制御部14は、無線機25を制御し、基地局および基地局ネットワークに接続し、画像サーバ5とデータ通信を行うようにする装置である。この通信制御部14は、このデータ通信によって情報処理部13から無線送信のために受信した画像や画像の撮影情報といった通信データを画像サーバ5に送信する。
【0072】
また通信制御部14は、無線機25が基地局から受信した画像サーバ5発の無線信号から変換した通信データを受信し、情報処理部13に出力するようになっている。この画像サーバ5発の無線信号とは、例えば画像制御コンピュータ10が撮影を行うタイミングの指定のための無線信号である。
【0073】
図4は、以上のような構成の車両1の情報処理部13が全方位カメラ21で画像を撮影して画像サーバ5に送信するために行う処理を示すフローチャートである。以下このフローチャートにもとづいて情報処理部13の具体的な作動を説明する。なお、情報処理部13はこの処理以前に、あらかじめ画像サーバ5発の撮影を行うときの車両1の位置の指定を通信制御部14から受信し、メモリ15に保存している(ステップ400)。
【0074】
このような状態において車両1が走行しているとき、車両1は定期的な処理としてセンサ制御部11からGPSセンサ22発の現在位置情報を取得する(ステップ401)。
【0075】
次に情報処理部13は、メモリ15からスケジュールDB17中に保存されている指定の情報を読み込む(ステップ405)。
【0076】
そしてステップ410で情報処理部13は、ステップ401とステップ405で取得したこの車両1の現在位置と指定の撮影位置とを比較する。そして情報処理部13は、車両1が指定の位置から所定の距離に近づいたか否かの判定によって、全方位カメラ21による撮影を始めるべきか否かを判定する。また、メモリ中の指定に撮影の時刻の指定があれば、その時刻から所定の時間になったか否かの判定によって、全方位カメラ21による撮影を始めるべきか否かを判定する。この判定処理は、撮影を始めるべきであると判定するまで繰り返される。
【0077】
撮影を始めるべきであると判定すると、情報処理部13は全方位カメラ21による撮影を開始し、またこのときセンサ制御部11から現在位置情報、方向情報、および速度情報等を受信する(ステップ415)。
【0078】
そして撮影が終了すると、情報処理部13はセンサ制御部11から受信した車両1の現在地点情報、走行方向情報、および速度情報等から画像の撮影情報を作成し(ステップ425)、撮影した画像とこの画像の撮影情報とをアーカイブとしてまとめ(ステップ430)、無線機25を介してこの画像と画像の撮影情報を画像サーバ5に送出するように通信データを作成し、この通信データを通信制御部14に送信する(ステップ435)。そして処理はステップ401に戻る。
【0079】
なお、このように撮影を行う度に撮影された画像、撮影情報を通信制御部14に送信するのではなく、画像の量が所定量に達したときに、まとめて通信制御部14に送信するようにしてもよい。
【0080】
このような処理により、画像サーバ5からの指定または設置時の設定に基づいて車両1で撮影された画像が画像サーバ5に送信されるようになる。
【0081】
図5は、上記した車両1の各機器を含む画像配信システムの構成を示すブロック図である。この画像配信システムは、車両1のアンテナ26と通信を行う無線機基地局31、この基地局の参加する有線ネットワークである基地局網33、この基地局網33に接続する画像サーバ5、この画像サーバ5と基地局網34を介して接続する基地局35および固定端末36、基地局35と無線通信を行う車内端末37から構成される。
【0082】
固定端末36は、オフィスや家庭に設置された端末であり、この端末は基地局網34経由で画像サーバ5を相手に画像および画像の撮影情報の要求、受信等を行うことができるようになっている。
【0083】
車内端末37は、自動車内に設置された端末、この端末は基地局35および基地局網34経由で画像サーバ5を相手に画像および画像の撮影情報の要求、受信等を行うことができるようになっている。
【0084】
画像サーバ5は、基地局網33、無線機基地局31を介して車両1から画像および画像の撮影情報を受信して保存する処理を行う装置である。また画像サーバ5は、基地局網34を介して固定端末36と、また基地局網34、基地局35を介して車内端末37と通信を行い、これら固定端末36および車内端末37から保存する画像および画像の撮影情報のリスト問い合わせを受信しそれに基づいてリストを固定端末36および車内端末37に返信するようになっている。また画像サーバ5は、これら固定端末36または車内端末37から指定の撮影場所における画像とこの画像の撮影情報とを配信するよう要求する信号を受信するようになっている。
【0085】
また画像サーバ5は、この要求の受信に応じて画像と、画像の撮影情報に撮影場所の情報を含めたものを配信する。
【0086】
この画像サーバ5は、このような処理を行うための処理装置(図示せず)を有し、この処理装置で各種機能を有するプログラムを実行するようになっている。各プログラムはそれぞれ並列的に実行され、それぞれの間でデータの受け渡しを行うようになっている。
【0087】
また画像サーバ5は、車両1等から取得した画像データのうち、1つのエリアという区分毎に、そのエリア内について撮影された複数の画像データがあれば、それらのうちの代表的なものだけを選別して記憶し、また配信に用いるようになっている。なお、エリアとは、地理的領域を区分分けした区域をいう。
【0088】
また画像サーバ5は、このような処理のために利用する情報が記録されたデータベースを有した大容量記憶装置(図示せず)を備えている。具体的には、撮影画像データベース51、データベース読み出し・情報処理プログラム52、および運行路線データベース53を有したHDDを備えている。
【0089】
撮影画像データベース51は、車両から受信した画像および画像の撮影情報を記録している。これらの画像および画像の撮影情報は、画像が撮影された撮影時刻あるいは撮影場所別に整理して保存されている。ただし、この撮影画像データベース51に記録される画像は、後述する処理によって撮影画像6から配信画像7へと展開されている。
【0090】
地図情報データベース52は、地名、道路の位置および車線の形状、建造物情報を有する地図情報を記録している。建造物情報とは、駐車場名や店舗名等の建造物の名称、建造物の所有者名、電話番号、e−mailアドレス、建造物に関するホームページアドレス、建造物の所在地コード、建造物の広告、キャッチコピー、その他建造物に関わる固有の情報等のことである。
【0091】
運行路線データベース53は、例えば定期路線バスや運送会社の定期配送トラック等、あらかじめ決められた経路、決められたダイヤに従って運行する車両で、車両1のような画像撮影および送信の機能を有したものについての、時刻と走行位置とを対応づける運行スケジュールを記録している。これら運行スケジュールが決まった車両を撮影に利用すれば、要求された画像を撮影させる車両を選ぶときの判断基準となるので、効率よく画像の撮影および配信を行うことができるようになる。
【0092】
上述したプログラムは、これらのデータベースを利用するようになっている。画像サーバ5の処理装置がロードして実行するプログラムとして、画像サーバ5は、データベース読み出し・情報処理プログラム54、撮影指令送信プログラム55、撮影情報処理プログラム56、ユーザ向けデータ配信プログラム57、画像変換プログラム58、および車両データ受付プログラム59を備えている。
【0093】
図6は、このような画像配信システムにおいて、画像サーバ5が車両1から受信した画像および画像の撮影情報を保存し、固定端末36および車内端末37、からの画像および画像の撮影情報の配信の要求に応じてこれらを配信する等の処理を、画像サーバ5と車両1および固定端末36、車内端末37との通信を基にして示すタイミングチャートである。
【0094】
以下、これらのプログラムの作動を、固定端末36または車内端末37からの画像および画像の撮影情報の配信の要求を画像サーバ5が受信して、当該画像および画像の撮影情報を要求に応じて配信する処理の順序に沿って説明し、それによって個々のプログラムおよび画像サーバ5全体の作動を明らかにする。
【0095】
車両1は、撮影および撮影した画像および画像の撮影情報を画像サーバ5に送信するための機器の設置時に、システム管理者等によって定期的に撮影すべき場所や時刻の設定をされる(ステップ505)。この設定は車両1のメモリに指定の場所や時刻を記録することで行われる。そして情報処理部13はこの設定に従い定期的に画像を撮影し、無線機基地局31および基地局網33を介して画像サーバ5に撮影した画像と作成した画像の撮影情報とを送信する(ステップ510)。
【0096】
画像サーバ5の車両データ受付プログラム59は、これら送信された画像と画像の撮影情報とを受信するようになっている。車両データ受付プログラム59はこれらを受信すると(ステップ515)、受信した画像を画像変換プログラム58に送信し、受信した画像の撮影情報を撮影情報処理プログラム56に送信する。
【0097】
画像変換プログラム58は、車両データ受付プログラム59から画像を受信し、それを展開しさらに補正し、展開した画像をデータベース読み出し・情報処理プログラム54に送信するプログラムである。画像変換プログラム58の行う処理の概念図を図7に示す。情報処理部13が撮影して車両データ受付プログラム59が受信した画像は図7の画像63のような全方位画像である。このような全方位画像は、上記したように実際の風景が歪んだものとなっており、人間にとっては見づらく、扱いづらいものである。そこで、人間が視覚的に扱いやすくなるように、図7の画像64のような実際の風景通りの画面比率の画像に変換するようになっている。この画像の変換は画像の展開と呼ばれる。
【0098】
この展開は、受信した画像中の、車両の正面方向に対応する部分が中心となるように行われる。従って、画像が撮影されたときの車両1の向きによって、展開後の画像65の中心の方位が異なっている。そこで、画像変換プログラム58は、撮影画像データベース51または撮影情報処理プログラム56から当該画像の撮影情報を取得し、当該画像の撮影時の車両1の向きに基づいて、展開後の画像の表示の向きが北になるように、画像の配置をそのままスライドさせる補正を行う。すなわち、撮影された画像の表示の向きを揃える処理を行う(画像65→画像66への変換に対応する)。なお、画像の表示の向きとは、画像の表示の中心の方角をいう。
【0099】
撮影情報処理プログラム56は、車両データ受付プログラム59から画像の撮影情報を受信し、これに対して所定の処理を行い、処理の結果の情報をデータベース読み出し・情報処理プログラム54に送信するようになっている。所定の処理とは、例えば図3に示したようなXML形式で記載された撮影情報を、データテーブルのような形式に変換することをいう。
【0100】
データベース読み出し・情報処理プログラム54は、画像変換プログラム58から展開された画像を受信し、また同時に撮影情報処理プログラム56から所定の処理を施された画像の撮影情報を受信する。そしてこれら受信した画像と画像の撮影情報とを関連づけ、さらにこの画像および画像の撮影情報を、画像が撮影された撮影時刻あるいは撮影場所別に整理して撮影画像データベース51に保存する。画像の撮影時刻および撮影場所は画像の撮影情報を参照することによって判別する。
【0101】
ただし、データベース読み出し・情報処理プログラム54は、車両1等から取得した画像データのうち、1つのあらかじめ定められたエリア(区域)内について撮影された画像データが複数あれば、それらのうちの代表的なものだけを1つ選択して撮影画像データベース51に保存する。図8に、この選択の方法の概念図を示す。図8では、領域65が、マップコード(登録商標)の最小エリア(エリアAA、AB,BA、BB)毎に区画分けされている。例えば、取得した画像Bの撮影された位置がエリアAAであり、撮影画像データベース51には既に同じエリアAAについて撮影された画像Aが存在する場合、選択条件(以降フィルタリング条件と記す)として撮影時の時刻を用い、画像Aと画像Bのうち、撮影時刻がより新しいものを撮影画像データベース51に保存し、それ以外のものを破棄する。
【0102】
このように、フィルタリング条件を用いて、1つのエリア内の画像は1つだけ保存されるようにする。このようにすることで、画像サーバ5から配信される各画像は、撮影の時刻がそれぞれ近いものとなり、連続表示したときの違和感が軽減される。
【0103】
なお、フィルタリング条件としては、撮影時の車両1の速度が遅い画像を優先的に保存する条件、撮影時の車両1の傾斜の少ないものを優先的に保存する条件等であってもよい。上記したフィルタリング条件の判定は、取得した画像についての画像情報を用いて行う。
【0104】
また、フィルタリング条件としては、撮影時にその場所の天気が良かったものを優先的に保存する条件が用いられてもよい。ただし、この場合は、図9に示すような、広域ネットワーク8等に接続され、各地の天気情報を配信する天気サーバ9から、当該画像の撮影が行われた場所の、当該撮影が行われた時刻における天気情報を取得し、その情報を撮影情報に含めて撮影画像データベース51に保存する。
【0105】
また、車両1の位置において雨が降っているかの情報については、車両1の情報処理部13がワイパー(図示せず)の作動を検出することができるようになっており、ワイパーが作動していれば雨が降っており、そうでなければ雨が降っていないと判定し、その判定結果の情報を撮影情報として撮影した画像と共に画像サーバ5に送信するようになっていてもよい。
【0106】
上記のようなフィルタリング条件を用いた場合であっても、それぞれのエリアで選択される画像は同一の条件で選ばれたものとなるので、それらを連続表示したときの違和感が軽減される。
【0107】
データベース読み出し・情報処理プログラム54が行う上記したフィルタリング条件を用いる処理の部分についてのフローチャートを図10に示す。
【0108】
まず、ステップ210で、画像変換プログラム58からの撮影画像の入力があるかないかを検知する。
【0109】
次に、ステップ220で、ステップ210の結果入力があれば処理をステップ230に進め、なければ処理をステッププ210に戻す。
【0110】
ステップ230では、入力があった画像について撮影情報処理プログラム56から入力された撮影情報を基に、その画像の撮影地点が属するエリアが、既に撮影画像データベース51にある既存の画像データの撮影地点を含むエリアと同じであるか否かを判定し、同じであれば処理をステップ250に進め、同じものがなければ処理をステップ240に進める。
【0111】
ステップ240では、当該当該画像を撮影画像データベース51に保存し、その後処理はステップ210に戻る。
【0112】
ステップ250では、当該画像と、当該画像と撮影位置のエリアが同一の画像のうち、上記したフィルタリング条件を用いてどちらか1つを選択し、選択したもののみを撮影画像データベース51に保存する。そして処理はステップ210に戻る。
【0113】
以上のような処理によって、フィルタリング条件に基づく選択が実現される。
【0114】
また、データベース読み出し・情報処理プログラム54は、撮影情報処理プログラム56から地図情報の送信を要求されると、運行路線データベース53から地図情報を読み出し、読み出したものを撮影情報処理プログラム56へ送信するようになっている。
【0115】
以上のような車両データ受付プログラム59、撮影情報処理プログラム56、画像変換プログラム58、データベース読み出し・情報処理プログラム54の処理によって、ステップ515で車両データ受付プログラム59が受信したデータは撮影画像データベース51に保存される(ステップ520)。
【0116】
このようにして撮影画像データベース51に撮影された画像および画像の撮影情報が保存されている画像サーバ5に、ユーザが画像閲覧のために基地局網34等のネットワークを経由してアクセスすると、画像サーバ5のユーザ向けデータ信プログラム57は、データベース読み出し・情報処理プログラム54に対し撮影画像データベース51の有する画像のリスト、および地図情報データベース52の地図情報を送信するよう要求する。
【0117】
データベース読み出し・情報処理プログラム54は、この画像のリストおよび地図情報の送信要求を受信すると、撮影画像データベース51を検索してこのリストを作成し、また地図情報データベース52から地図情報を読み出し、作成したリストと読み出した地図情報とをユーザ向けデータ配信プログラム57に送信する。
【0118】
このリストおよび地図情報をデータベース読み出し・情報処理プログラム54から受信したユーザ向けデータ配信プログラム57は、受信したリストを地図情報と組み合わせ、地図上に撮影済み地点をプロットし、さらに撮影時刻を付記した図のデータをWebデータとしてユーザに送信する。ユーザからのアクセスを受けてからここまでの処理がステップ525の画像サーバ5の処理である。なお、ユーザはこのWebデータをWebブラウザを使用して閲覧することができる(ステップ528)。
【0119】
このWebデータを受信したユーザが、この図中にプロットされた地点の画像を閲覧するために、閲覧したい画像の撮影場所を指定して画像および画像の撮影情報の配信の要求を行うと(ステップ530)、ユーザ向けデータ配信プログラム57はこの配信の要求を受信し、指定の画像と画像の撮影情報をデータベース読み出し・情報処理プログラム54に対して要求する。
【0120】
データベース読み出し・情報処理プログラム54はこの要求を受信し、この要求された画像と画像の撮影情報が撮影画像データベース51内に存在するか否かを検索する。検索の結果存在すると判定するので、データベース読み出し・情報処理プログラム54は撮影画像データベース51から当該画像と画像の撮影情報を読み出し、この画像の撮影情報に記載された位置情報の周辺の地図情報を地図情報データベース52から読み出し、この画像、画像の撮影情報、地図情報をユーザ向けデータ配信プログラム57に送信する。
【0121】
この送信をユーザ向けデータ配信プログラム57が受信すると、それを要求元のユーザにWebデータとして配信する。ユーザ向けデータ配信プログラム57が画像および画像の撮影情報の配信の要求を受信してからここまでを、ユーザ向けデータ配信プログラム57およびデータベース読み出し・情報処理プログラム54が行う処理が、ステップ535に対応する。
【0122】
なお、このWebデータは、ユーザ側のWebブラウザからの要求信号に応じてインタラクティブに変化する。このWebデータをWebブラウザを使用して表示したものの例を図11に示す。図11では、HTMLのマルチフレーム機能を利用した分割画面による表示がなされている。右上の分割画面は、ユーザの要求した全方位の画像中の、ある瞬間のある方向領域の部分をパノラマ表示したものである。ただし、この分割画面中の左下隅にはxx方面、右上隅には○○方面との文字が画像に併せて表示されている。xxおよび○○は地名である。この表示は、ユーザ向けデータ配信プログラム57がWebデータ作成段階で、撮影情報の有する方向情報をこの画像に関連づけ、それによってこの画面中の交差点から延びる道路の方向を判断し、また地図情報と撮影情報の車両の位置とを連携させ、この道路がどの道路で、どの地名に向かう道路であるかを判断し、それをユーザインターフェースに反映することによって実現することができる。
【0123】
左側の分割画面は、表示されている画像がどの位置の画像であり、どの方向を向いた時に見える画像であるかを示す地図である。この地図中で帯状に記されたものが道路であり、またこの地図中で丸で示されたものが車両の位置であり、矢印が視点の中心の向き、すなわち表示している画像の中央の方向である。また、地図中に斜線で示されたエリアは、撮影データが存在するエリア、すなわちこの車両によって画像が撮影されたエリアを示している。これらは、ユーザ向けデータ配信プログラム57が地図情報の道路の位置および車線の形状と撮影情報の車両の位置および方向情報を連携させることで表示することができる。
【0124】
また、中央下の分割画面は、画像の撮影情報の現在位置情報と撮影時刻の情報を文字によって表示している。これは、地図情報の道路の位置と撮影情報の車両の位置および撮影時刻を連携させることで表示することができる。
【0125】
また、右下の4つのユーザが操作可能な分割画面は、表示画像の正面方向(すなわち表示画像の中心の方向)への前進、表示画像の真後ろへの後退、あるいは視点の左右への回転によって右上の画像の表示をインタラクティブに変化させることができるようになっている。これは例えばJava(登録商標)やcgi等の技術を使用することによって実現可能である。ユーザ向けデータ配信プログラム57がこのようインタラクティブなインターフェースを配信することにより、ユーザはあたかも自分が撮影された場所を仮想的に左右を見回しながら行き来しているかのような視覚効果を享受することができる。
【0126】
また、画像サーバ5から配信される画像は同一のフィルタリング条件によって選ばれたものとなっているので、連続表示したときの違和感が軽減される。
【0127】
以上のような画像サーバ5および画像制御コンピュータ10の作動により、画像サーバ5が、ネットワークを介して、ユーザから指定の撮影場所における画像の配信の要求を受け、指定の撮影場所における画像をユーザに配信する。
【0128】
そして、画像制御コンピュータ10がこの画像サーバ5から車両に搭載された全方位カメラ21での撮影を行う位置の指定を受信し、また指定されたタイミングでこの撮影を行い、撮影された画像とこの画像の撮影情報とを、画像サーバ5に無線機25を介して送信する。
【0129】
そして、画像サーバ5が、この画像制御コンピュータ10から、この車両によって撮影された画像と画像の撮影情報とを無線通信により受信し、この画像と画像の撮影情報とをユーザに配信するので、車外のユーザの要求に従って、車両の周囲の画像を、固定ユーザ36、車内ユーザ37等に画像を配信する画像サーバ5にアップロードすることが可能となる。
【0130】
なお、本実施形態においては、データベース読み出し・情報処理プログラム54は、車両1から送信された画像を撮影画像データベース51に保存する際に、上記したフィルタリング条件に基づいた当該画像の選択を行うようになっているが、フィルタリング条件を用いた画像の選択は、撮影画像データベース51に格納された画像を読み出してユーザ向けデータ配信プログラム57に渡すときに行うようになっていてもよい。すなわち、データベース読み出し・情報処理プログラム54は、画像変換プログラム58および撮影情報処理プログラム56から渡された画像および撮影情報を全て撮影画像データベース51に格納し、ユーザ向けデータ配信プログラム57からあるエリアの画像の要求があった場合、撮影画像データベース51に格納されている当該エリアの画像から、上記フィルタリング条件を用いて1つ選択し、その選択したものをユーザ向けデータ配信プログラム57に出力するようになっていてもよい。
【0131】
すなわち、最終的に固定端末36や車内端末37に画像が配信される画像が、フィルタリング条件によって選択されたものであればよいのであって、実際の選択は、撮影画像データベース51への保存の前であっても後であってもよい。
【0132】
(第2実施形態)
次に、本発明の第2実施形態について、第1実施形態と異なる部分についてのみ説明する。本実施形態においては、固定端末36、車内端末37の構成が、第1実施形態との差違の主要部である。
【0133】
図12に、本実施形態における固定端末36、車内端末37の車載器の構成を示す。この通信装置は無線アンテナ71、無線機72、GPSセンサ74、および制御用コンピュータ70を有している。無線機72は無線アンテナ71を使用し、広域ネットワーク8に接続された無線基地局を介して通信データの無線送受信を行うものである。GPSセンサ74は図2に示したGPSセンサ22と同等のものである。
【0134】
制御用コンピュータ70はセンサ制御部76、通信制御部73、情報処理部75、およびユーザインターフェース部77を有している。
【0135】
センサ制御部76は、定期的に(例えば1秒に一回)GPSセンサ74を制御することによって、自車両の位置情報を取得し、この取得した位置情報を図示しないバッファメモリに蓄える。バッファメモリの内容は、GPSセンサ74が新たな位置情報を受信する度に更新される。
【0136】
通信制御部73は、無線機72を制御することで、無線機72が受信した無線信号のデータを取得し、情報処理部75に出力する。また通信制御部73は、情報処理部75から無線送信のためのデータを受信すると、無線機72にこのデータを出力し、また無線機72を制御して出力したデータを無線送信させる。
【0137】
ユーザインターフェース部77は、画像表示装置、音声出力装置、入力装置を一体として備えている。このユーザインターフェース部77は、情報処理部75の制御によってユーザに情報を表示し、またユーザからの入力を受け付けるとそれを情報処理部75に出力する。
【0138】
ユーザインターフェース部77は、画像表示装置、音声出力装置、入力装置を一体として備えている。このユーザインターフェース部77は、情報処理部75の制御によってユーザに情報を表示し、またユーザからの入力を受け付けるとそれを情報処理部75に出力する。
【0139】
情報処理部75は、制御用コンピュータ70中の図示しないROMからプログラムを読み出して実行することで作動するCPU(図示せず)を有する。またこのCPUは、プログラムの命令に従ってセンサ制御部76、通信制御部73、およびユーザインターフェース部77と制御信号やデータのやりとりを行う。このCPUの作動のプログラムについては後述する。なお、以下は特に断りのない限りCPUの作動を情報処理部75の作動とみなして説明する。
【0140】
本実施形態の固定端末36、車内端末37は、第1実施形態と同様、画像サーバ5からWebデータとして送信される画像および撮影情報に基づいてユーザインターフェース部77に情報を表示させる。図13に、この情報の表示画面を示す。
【0141】
この表示画面は、画像サーバ5から送信される撮影画像を表示する画像表示部81、画像表示部81が現在表示している画像の位置のマークと共に地図を表示する地図表示部82、ユーザが押下等の操作を行って命令を入力するための操作部83を備えている。
【0142】
なお、情報処理部75は、画像サーバ5に対して撮影が行われた地点の情報を要求し、その回答としての撮影地点のリストを受信すると、当該撮影地点(図中丸囲み地点に対応する)を地図表示部82上に表示する。このとき、撮影地点は、その撮影の時刻によって色分けされて表示される。なお、固定端末36、車内端末37側の機器装置(図示せず)には、地図データが格納されており、情報処理部75は地図の描画にこの地図データを用いることができる。
【0143】
このような表示画面を表示させるプログラムは、ユーザによる上ボタン84、下ボタン85、右ボタン86、左ボタン87等の押下を検出すると、その押下されたボタンに基づく動作を行うようになっている。具体的には、上ボタン84が押下されると、現在画像表示部81に表示されている画像の中央に対応する向き、すなわち前方方向に進んだエリアの画像を画像サーバ5に要求し、それを受信して表示する。また、下ボタン85が押下されると、現在画像表示部81に表示されている画像の中央に対応する向きと反対の向きへ進んだエリアの画像を画像サーバ5に要求し、それを受信して表示する。
【0144】
また、右ボタン86または左ボタン87が押下されると、それぞれ表示している画像を左または右にずらし、それによってはみ出た画像の左端部または右端部を、画像表示部81右端部または左端部に表示させる。このように、右ボタン86または左ボタン87ボタンを押下することで、360°のそれぞれを正面とする画像を表示することができる。
【0145】
図14に、上記表示画面を表示させるプログラム(画像表示プログラムと記す)における、上ボタン84が押下される場合に関する部分をより詳細に表したフローチャートを示す。
【0146】
まず、ステップ110では、ボタン84〜87等のユーザによる押下があるまで待機する。
【0147】
ユーザによる操作を検知すると、処理はステップ120に進み、それが前進の向きへの進行命令、すなわち上ボタン84の押下であるか否かを判定し、上ボタン84の押下でなければ処理はステップ110に戻り、上ボタン84の押下であれば処理はステップ130に進む。
【0148】
ステップ130では、進行方向に対応する位置の画像が画像サーバ5にあるか否かを判定する。この判定は、以下に示す近接地点検索アルゴリズムを用いて行う。このような上ボタン84の押下を行う典型的な場合の概念図を図15に示す。いま交差点78における撮影画像が、矢印79で示す向きを正面として画像表示部81に表示されており、近接する位置A、B、Cにおいて撮影画像が画像サーバ5の撮影画像データベース51に格納されているとする。このような場合に、上ボタン84が押下されたときに、位置A、B、Cのいずれが表示されるかを決定するための方法が近接地点検索アルゴリズムである。
【0149】
この近接地点検索アルゴリズムについて、図16の説明図を用いて説明する。現在の画像の正面に対応する向きの、北向きに対する時計回りの角度をθとすると、北向きに対して角度θ-α(αは例えば45°)からθ+αまでの向きにあり、かつ現在画像表示部81に表示している画像の撮影地点88を中心とする半径d−max、d−minの2つの円弧に挟まれた扇形の領域89を検索領域とする。
【0150】
そして、この検索領域の中において撮影された画像のリスト、すなわち次の画像の候補のリストを画像サーバ5に要求する。画像サーバ5からの回答が、次の候補はない旨のものである場合、処理はステップ140に進み、図17のように、表示画面に止まれマーク90を表示させ、その後処理はステップ110に進む。次の候補がない時に止まれマークを表示することによって、ユーザは、視覚的に次の候補がないことを確認することができる。
【0151】
次の候補が1つある旨の情報を取得すると、その1つを次の表示対象としてステップ150および160の処理を並列的に実行する。次の候補が複数ある場合、すなわち上記した検索領域の中で該当する画像が複数ある場合、所定の選択規則でそれらのうちの1つを次の表示対象として選択した後、その1つを次の表示対象としてステップ150および160の処理を並列的に実行する。所定の選択規則として、撮影時刻が最も新しいものを優先的に選択する方法、撮影時の車速の小さいものを優先的に選択する方法、撮影時刻が現在表示している画像の撮影時刻と最も近いものを優先的に選択する方法等がある。
【0152】
ステップ150では、ステップ130で選択された1つの画像の配信を画像サーバ5に要求し、その要求した画像およびその画像の撮影情報を画像サーバ5から受信する。
【0153】
ステップ160では、ステップ130で選択された1つの画像の撮影地点における、次の表示対象候補を検索する。具体的には、当該撮影地点から北、北東、東、南東、南、南西、西、北西の8方向を進行方向として上記した近接地点探索アルゴリズムを用い、それぞれの進行方向について候補があるか否か画像サーバ5に問い合わせ、複数候補があればそれらのうちの1つを次候補として選択する。
【0154】
ステップ150およびステップ160が終了すると、処理はステップ170に進み、ステップ150で取得した画像を画像表示部81に表示させ、当該画像の撮影地点を中心とする地図を地図表示部82に表示させる。更に、図18に示す様に、ステップ160で候補があった方向について、それらの方向を示す矢印91を画像表示部81内に表示させる。これによって、ユーザは次にどの方向に進めば次の画像が閲覧できるかを知ることができる。
【0155】
ステップ170の後、処理はステップ110に戻る。
【0156】
以上のような情報処理部75の処理により、ユーザは、画像サーバ5から配信される画像の表示において、図17に示す進行不能の表示や、図18に示す進行方向の誘導矢印といった、進行補助の表示を行うことができ。これによって円滑な撮影画像の表示を行うことができる。
【0157】
(第3実施形態)
次に、本発明の第3実施形態について説明する。本実施形態が第2実施形態と異なるのは、画像表示プログラムにおいて、上ボタン84が押下された場合、次に表示する画像の正面の向きを、その画像の撮影時の方向に基づいて制御する場合があることである。
【0158】
図19に、本実施形態の効果が特徴的に表れる場合の図を示す。画像表示プログラムが、現在カーブしている道路41の矢印部分で撮影された画像を表示し、その表示の正面方向を矢印方向とする場合、上ボタン84が押下されると、図16に示された扇形の検索領域内に画像サーバ5が撮影画像を有する地点Aが入るので、次に矢印方向を正面とする地点Aの撮影画像を画像表示プログラムは表示させる。
【0159】
しかし、次に上ボタン84が押下された場合、地点Aから地点Bまでの方向と矢印方向との乖離が大きくなり、検索領域内に地点Bが入らない場合がある。そうなると、道なりに撮影画像を表示させる場合であっても、正面方向に変化が無ければ、前進を意味する上ボタン84を押下し続けたときに図17に示すような行き止まりの表示が出てしまう恐れがある。
【0160】
そこで、本実施形態においては、画像表示プログラムは、所定の条件下で、上ボタン84が押下された場合、次に表示する画像の正面の向きを、その画像の撮影時の方向またはその逆方向とする。
【0161】
図20に、上記のような作動を実現するための画像表示プログラムの一部をフローチャートとして示す。この図のフローチャートは、図14のステップ170を詳細に表したものである。
【0162】
ステップ410では、次候補が1つか否かを判定する。次候補とは、上ボタン84ボタンの押下によって進行できるエリアのことである。すなわち、ステップ130で、次候補が複数存在すると判定したか否かを判定する。図19を例にとれば、現在位置から前進ボタンによって移動可能な地点は、地点A以外にもあるか否かを判定することに対応する。次候補が1つでなければ、処理はステップ450に進み、1つであれば、処理はステップ420に進む。
【0163】
ステップ420では、次候補方向と現在方向との角度差の絶対値が90°未満であるか否かを判定する。つまり、次回すなわち上ボタン84が押された直後に更新表示される撮影画像の撮影方向と、今回すなわち上ボタン84が押される直前の表示画像の正面方向(前進の向きに相当する)との角度差の絶対値が90°未満であるか否かを判定する。90°未満であれば処理はステップ430に進み、90°以上であれば処理はステップ440に進む。なお、次候補方向とは、次候補の画像が撮影されたときの車両1の方向である。例えば、図19における次候補方向は、地点Aにおいてこの地点を撮影した車両1の向きである。また現在方向とは、画像表示プログラムが現在正面として表示している画像部分に対応する方向である。例えば、図19においては、矢印方向である。
【0164】
ステップ430では、次回の方向を、次候補方向とする。次回の方向とは、画像表示プログラムが次候補の画像を表示するときの、その画像表示における正面部分に対応する方向である。このように、次に表示する画面の正面の向きを、その画像の撮影時の方向に合わせることで、表示画面の正面の向きと、次候補と更に次の候補の向きとの成す角が増大することを抑えることができる。したがって、上ボタン84を押し続けることで、道なりに画像を表示させることが可能となる。
【0165】
ただし、画像撮影時の車両1の走行の向きと、画像表示プログラムによる道なりの表示の順序とが逆になる場合、上ボタン84の押下によって表示を道なりに進めるには、次に表示する画面の正面の向きを、その画像の撮影時の方向の逆方向に合わせることが必要となる。そこで、このような場合のために、ステップ420で角度の絶対値が90°以上の場合、すなわち画像表示の順序と車両1の撮影時の走行方向とが逆である可能性が高い場合に、ステップ440で次回の方向を、次候補方向に180°を加えたもの、すなわち次回方向の逆向きとする。
【0166】
ステップ430、440の後のステップ450では、図14のステップ170の他の処理、すなわちステップ430または440で特定した方向を正面とする撮影画像の表示、および誘導矢印の表示等を行い、その後図20の処理は終了する。
【0167】
(第4実施形態)
次に、本発明の第4実施形態について説明する。第1〜第3実施形態においては、画像サーバ5が車両1等から受信した画像のうち、同一のエリアに属するものは、そのうち1つだけを撮影画像データベース51に保存するようになっていたが、本実施形態においては、1つのエリアについて複数の画像を保存できるようになっていることである。具体的には、同一エリアの画像であっても、その撮影時の車両1の走行方向として、1つの方向と、その反対の方向の画像を撮影画像データベース51に保存する。すなわち、区分毎に複数の画像があればそれらのうちから1つ選択するが、その区分は、撮影地点の属するエリアおよび撮影時の車両1の走行の正逆向きの組み合わせによって特定される。
なお、車両1、画像サーバ5、固定端末36、車内端末37の構成、作動について、本実施形態に記載のない部分については、第2実施形態と同様とする。
【0168】
図21に、本実施形態の特徴部分を説明する模式図を示す。片側1車線の道路67の一部を含むエリア66内を、プローブカーとしての車両68、69が走行している。これら車両68、69がこのエリア66内で撮影した画像を画像サーバ5に送信した場合、2つの画像はそれぞれ向きが反対の画像であるとされ、これら向きが反対の画像同士は、第1実施形態に示したフィルタリング条件で互いを排除し合うことがない。
【0169】
具体的には、本実施形態におけるフィルタリング条件は、以下のようになる。すなわち、データベース読み出し・情報処理プログラム54は、車両1から画像変換プログラム58を経て受信したあるエリアの画像について、当該画像と同一エリアに属し、かつ当該画像の撮影時の車両1の向きと同じ画像があれば、これら2つの画像から第1実施形態のフィルタリング条件によって1つを選択し、選択されたもののみを撮影画像データベース51に保存する。そして、車両1から受信したあるエリアの画像について、当該画像と同一エリアに属し、かつ当該画像の撮影時の車両1の向きと反対の画像があれば、これら2つの画像の両方が撮影画像データベース51に保存されるようにする。
【0170】
なお、2つの画像の向きが反対とは、これら2つの向きがある閾値角度以上の角度を成す場合をいい、そうでない場合は、これら2つの向きが同じであるとする。このようにすることで、あるエリア内の道路における両方向の向きの画像を配信することができるので、固定端末36、車内端末37等のユーザにより違和感のない画像を配信することができる。
【0171】
データベース読み出し・情報処理プログラム54が、画像変換プログラム58から受信した画像を撮影画像データベース51に保存するときに行う上記したフィルタリング条件を用いる処理の部分についてのフローチャートを図22に示す。なお、図10と図22において同一の符号が付されたステップは、互いに同一の処理を行うものであり、ここではそれらについての説明は省略する。
【0172】
ステップ245では、ステップ230で同一のエリアの画像であると判定された撮影画像データベース51中の画像と、今回画像変換プログラム58から入力された画像とにおいて、それらの撮影時の車両の向きが閾値角度としての150°以上異なっているか否かを判定し、肯定ならば処理はステップ240に進んで、入力された画像を撮影画像データベース51に保存し、否定ならばステップ250で2つの画像のうち1つをフィルタリング条件によって選択する。
【0173】
このようにすることで、同一のエリア内の道路における両方向向きの画像が保存される。
【0174】
次に、この様にして1つのエリア内の両方向について撮影画像データベース51に保存されている画像を固定端末36、車内端末37に配信する場合のデータベース読み出し・情報処理プログラム54の動作について説明する。この場合について説明するための図を図23に示す。
【0175】
画像92、93、94は、それぞれこの図において道路96上に示された地点において、それぞれの矢印の方向を向いた車両によって撮影されたものである。画像92、画像93は、点線に囲まれた1つのエリア95に属する互いに反対方向向きの画像である。
【0176】
固定端末36、車内端末37のユーザ側において、現在画像92が表示されており、ユーザが図13の上ボタン84を押下すると、データベース読み出し・情報処理プログラム54は、ユーザ向けデータ配信プログラム57を介して、図14のステップ130の様なユーザ側からの問い合わせの信号を受けた後、次候補として画像94の撮影情報をユーザ向けデータ配信プログラム57を介してユーザ側に返す。これによって、ユーザ側は図14のステップ150の処理によって当該画像94を取得する。
【0177】
その後、ユーザが図13の下ボタン85を押下すると、データベース読み出し・情報処理プログラム54は、ユーザ側からの問い合わせの信号を受けた後、次候補として画像92の撮影情報をユーザ向けデータ配信プログラム57を介してユーザ側に返す。これによって、ユーザ側は図14のステップ150の処理によって当該画像94を取得する。
【0178】
ただし、ユーザ側において画像94が表示されているときに、図13の右ボタン86、左ボタン87を押下して、逆の方向(図23中左方向)を正面とした後、上ボタン84を押下すると、データベース読み出し・情報処理プログラム54は、ユーザ側からの問い合わせの信号を受けた後、次候補として画像93の撮影情報をユーザ向けデータ配信プログラム57を介してユーザ側に返す。これによって、ユーザ側は図14のステップ150の処理によって当該画像93を取得する。
【0179】
すなわち、1つのエリアにおいてデータベース読み出し・情報処理プログラム54が2つの方向の画像を配信できる場合には、ユーザが現在表示している画像の正面方向に近い方の画像を配信する。
【0180】
なお、上記した作動を実現するために、ユーザ側は、上記した問い合わせ信号を送信するときには、現在表示している画像の正面方向の情報を上記信号に含めるようになっており、データベース読み出し・情報処理プログラム54はこの正面方向の情報に基づいてどちらの方向の画像の情報を返すかを判定する。
【0181】
このためのデータベース読み出し・情報処理プログラム54の処理のフローチャートを図24に示す。
【0182】
まず、ステップ310で、ユーザ向けデータ配信プログラム57からの特定のエリアの画像の要求があるかないかを検出する。
【0183】
次に、ステップ320で、ステップ310の結果要求があれば処理をステップ330に進め、なければ処理をステッププ310に戻す。
【0184】
ステップ330では、要求があったエリアの画像を撮影画像データベース51から検索する。
【0185】
次にステップ340では、ステップ330の検索の結果、該当する画像が存在するか否かを判定する。存在しない場合、処理をステップ350に進め、存在する場合、処理をステップ360に進める。
【0186】
ステップ350では、当該エリアの画像は存在しない旨の情報をユーザ向けデータ配信プログラム57に出力し、その後処理をステップ310に戻す。
【0187】
ステップ360では、該当する候補が1つのみであるか否かを判定し、1つのみであれば処理をステップ370に進め、複数あれば処理をステップ380に進める。
【0188】
ステップ370では、当該1つの画像およびその画像の撮影情報をユーザ向けデータ配信プログラム57に出力し、その後処理をステップ310に戻す。
【0189】
ステップ380では、要求時の方向に近い方向の画像を配信する。すなわち、画像表示プログラムが画像表示部81に表示している画像の正面部に対応する方向に、その撮影の方向が近い画像を配信する。そして処理はステップ310に戻る。
【0190】
通常車両1において撮影される画像は、その移動の向きによって車両1の位置する車線が異なるので、以上の様な作動によって、ユーザは正面方向、すなわち進行方向に合った車線からの画像を閲覧することができる。
【0191】
(第5実施形態)
次に、本発明の第5実施形態について説明する。本実施形態においては、車両1は走行速度に応じて画像の撮影方法を変更するようになっている。更に車両1は、撮影時の傾きの情報や、撮影場所が交差点内であるか否かの情報を撮影情報として画像サーバ5に送信するようになっている。
【0192】
なお、車両1、画像サーバ5、固定端末36、車内端末37の構成、作動について、本実施形態に記載のない部分については、第2実施形態と同様とする。
【0193】
まず、車両1は、自車両が停止しているとみなせる場合は、その停止しているとみなせる地点の撮影は2度以上行わない。図25に、このための画像制御コンピュータ10の情報処理部13における処理をフローチャートとして示す。この図に示す処理は、図4のステップ415の処理に置き換わるものであってもよいし、図4の処理全体に代替するものとして定期的(例えば5秒毎)に実行されるものであってもよい。ただし、図4の情報処理部13の処理に代替するものとして定期的に実行される場合、ステップ425〜ステップ435の処理は、図25の処理と同期して並行的に行われるものとする。
【0194】
まずステップ610で、速度センサ24から車速情報を取得する。なお、速度センサ24が使用不能な場合は、GPSセンサ22からの現在位置情報に含まれる車速の情報を用いてもよい。
【0195】
次にステップ620では、取得した車速が0または0に近似できる程度に小さい値であるか否かを判定する。この判定が肯定ならば処理はステップ630に進み、否定ならば処理はステップ625に進む。
【0196】
ステップ625では、全方位カメラ21を用いて撮影を行い、その後図25の処理は終了する。
【0197】
ステップ630では、前回の撮影位置と今回の撮影位置とが同じであるか否かを判定する。すなわち、この場所の画像が直前に撮影されているか否かを判定する。具体的には、前回撮影時の撮影情報に含まれる撮影位置と、GPSセンサ22からの現在位置情報に含まれる現在位置とが同じとみなせるか否かを判定する。同じとみなせるとは、同じであるか、あるいは近似的に同じである場合をいう。この判定が肯定の場合、処理はステップ625で撮影を行い、否定の場合、図25の処理は終了する。
【0198】
この処理により、車両が止まっているとみなせ、かつ当該止まっている地点で前回に撮影が行われていなければ、撮影の処理は行わない様になる。したがって、自車両が止まっている地点の撮影は続けて2度以上行われない。
【0199】
また、車両1は、繰り返し撮影を行う場合、車両の走行速度が大きいときは撮影の間隔を短くし、速度が遅いときは撮影間隔を長くする(図26参照)。具体的には、車の走行速度と撮影の時間間隔とが反比例の関係を保つようにする。このようにすることで、一定の距離間隔で撮影を行うことができる。
【0200】
また、車両1は、図4のステップ425の処理において、撮影時に車両1が交差点内にいるかいないかを示す情報、すなわち交差点フラグを撮影情報に含める。交差点フラグがオンのとき、当該撮影したときの地点は交差点内であり、交差点フラグがオフのとき、当該撮影したときの地点は交差点外であるとする。
【0201】
画像制御コンピュータ10の情報処理部13が撮影時に車両1が交差点内にいるか否かを判定する方法(この方法によって情報処理部13は交差点判定手段として機能する)としては、撮影時にGPSセンサ22から取得する現在位置の情報と、メモリ15中の地図DB18から取得する地図情報とに基づいて判定する方法がある。また、情報処理部13が、車両1のブレーキペダル、ウィンカー、アクセルペダルの動作の検知をすることができる場合、ブレーキ踏み込み、ウィンカー点滅、アクセル踏み込みがこの順に行われた場合、現在交差点にいると判定することもできる(図27参照)。また、図2に図示しない入力装置を用いて、ドライバーが明示的に情報処理部13に交差点内にいる旨を通知するようになっていてもよい。
【0202】
また、画像サーバ5のデータベース読み出し・情報処理プログラム54においては、このようにして撮影情報に付加された交差点フラグを、フィルタリング条件の基準として用いてもよい。具体的には、交差点フラグがオンの撮影情報に係る画像は、他の判断基準に関わらず優先的に選択されるようにしてもよい。
【0203】
また、図14に示した固定端末36、車内端末37側のステップ130および160の処理において、検索範囲内に2つ以上の該当する画像がある場合に用いる選択規則として、交差点フラグを有する撮影情報に係る画像を優先的に選択するようにしてもよい。このようにすることで、画像閲覧時の交差点付近における経路の選択が容易になり、操作性の向上に繋がる。
【0204】
なお、車両1が交差点フラグを撮影情報に含めない場合でも、画像サーバ5のデータベース読み出し・情報処理プログラム54が、入力された撮影情報の撮影位置と、地図情報データベース52の地図情報を用いて、撮影位置が交差点であるか否かを判定し、この判定結果を上記フィルタリング条件の基準として用いるようになっていてもよい。
【0205】
また、車両1は、図4のステップ425の処理において、撮影時の車両1の傾斜角の情報を撮影情報に含める。車両1の傾きは、図2には図示しない、車両1の傾斜角を検出する3Dジャイロスコープ(傾斜量特定手段に相当する)から、情報処理部13が車両1の傾斜角情報を取得するようになっている。なお、具体的には、傾斜角情報とは、図28に示すように、車両1の進行方向(図中矢印の向き)が水平面に対して成す角度θである。
【0206】
固定端末36、車内端末37では、画像サーバ5から画像と共に受信した撮影情報中にある傾斜角情報を利用して、画像の補正処理を行う。この補正処理を説明する模式図を図29に示す。傾斜のある道路であっても、その道路沿いにある建物97は、通常水平に建てられている。したがって、車両1によって撮影された画像の道路脇方向の部分は、図29(a)に示すように、建物97が角度θだけ傾斜しているように見える。
【0207】
そこで、図13のような画像を表示させるプログラムでは、ステップ170で画像を表示するときに、当該画像の撮影情報に含まれる傾斜情報に基づいて、図29(b)のような補正を行う。すなわち、道路脇方向の部分を表示させるとき、傾斜角をθとすると、その部分を傾斜角と反対の向きにθ/2だけ回転させる。このように画像を回転させると、回転により画像の欠け98が発生するので、その欠けが発生しないよう、表示する範囲をやや狭める。具体的には、表示範囲の境界を矩形100から矩形99にする。このようにすることで、自然な画像の閲覧処理が可能となる。
【0208】
なお、図29に示したような傾斜情報に基づく画像の補正は、画像サーバ5のデータベース読み出し・情報処理プログラム54が行うようになっていてもよい
(第6実施形態)
次に、本発明の第6実施形態について説明する。本実施形態においては、車両1は、あらかじめ定められた重点撮影地点においては、撮影を詳細に行うようになっている。
【0209】
具体的には、画像サーバ5からは撮影場所の指定に加え、重点撮影地点の指定の情報も受信する。そして、情報処理部13における図4のステップ410の処理においては、当該重点地点に近づいたか否かの判定も行い、重点地点なら、ステップ415の撮影に置いて、当該地点の通常より詳細な撮影を行う。図30に、このような詳細撮影のためのシステムの一例の全体図を示す。画像サーバ5からの重点地点の指定は、固定端末36、車内端末37からの要求信号を起因として行われてもよい。
【0210】
通常より詳細な撮影としては、撮影の時間間隔を短くすることが挙げられる。これは、例えば、通常5秒間隔で撮影していたものを、0.5秒間隔で撮影するように変更することである。
【0211】
あるいは、撮影の時間間隔は一定のまま、自動的に車両1の速度を低くすることが挙げられる。これによっても、実質的に撮影の距離間隔を短くすることができる。
【0212】
またあるいは、車両1に搭載された図2に図示しない表示装置(ディスプレイ、スピーカ等)に情報処理部13から信号を出力し、車両1の乗員に詳細撮影をするよう通知してもよい。
【0213】
なお、重点地点の指定としては、道路上の地点であってもよいし、店舗等の道路外の地点であってもよい。重点地点が道路外の地点の場合、重点地点に近づいたか否かの判定は、指定された重点地点から最も近い道路上の地点に近づいたか否かの判定によって行う(図31参照)。
【0214】
このようにすることで、ユーザ側は、重要な地点の詳細な画像を閲覧することができる。
【0215】
なお、車両1、画像サーバ5、固定端末36、車内端末37の構成、作動について、本実施形態に記載のない部分については、第2実施形態と同様とする。
(第7実施形態)
次に、本発明の第7実施形態について説明する。本実施形態においては、第2実施形態において、高いビルや立体歩道等が障害となって車両1にGPS衛星からの情報が届かないため、GPSセンサ22からGPS情報(現在位置情報、速度情報、走行方向等を含む)が取得できない場合、その前後にGPS情報が取得できた時点の位置情報を基にマップマッチングを利用して、当該現在位置情報が取得できなかった時の撮影位置を推定する。
【0216】
このための処理として、画像制御コンピュータ10の情報処理部13は、図4のステップ425において、図32に示すような処理を行う。なお、本実施形態においては、図4の処理によって撮影された画像が所定量に達したときに、まとめて通信制御部14に送信するようになっている。
【0217】
以下、図32の処理について説明する。ステップ710では、図4のステップ415で撮影された画像の撮影情報として、GPSセンサ22からGPS情報を取得することができるか否かを判定する。GPSセンサ22は、GPS情報を取得することができるか否かの情報も出力するので、上記判定はこの情報を用いて行う。また、GPS情報の示す現在位置が変化しないにも関わらず、速度センサ24から出力される車速情報は、車両が走行していることを示している場合に、GPSセンサ22はGPS情報を取得できていないと判定してもよい。
【0218】
GPS情報が取得不可能な場合、処理はステップ720に進み、撮影情報としてGPS情報を含める代わりに、測定不能である旨の情報、すなわち測定不能フラグを含める。次にステップ760で、当該測定不能フラグ、撮影した画像のファイル名、撮影時刻等の情報を含む撮影情報を情報管理DB16に保存し、その後図32の処理は終了する。
【0219】
ステップ710で現在位置情報が取得できる場合、処理はステップ730に進み、情報管理DB16中の撮影情報が格納されるテーブルに、測定不能フラグを有する撮影情報が存在するか否かを判定し、あれば処理はステップ740に進み、なければ処理はステップ760に進む。
【0220】
ステップ740では、マップマッチングを用いてGPS情報の補完を行う。具体的には、直前にステップ710で取得したGPS情報中の現在位置(位置1と記す)の情報と時刻(時刻2と記す)の情報、情報管理DB16中で測定不能フラグを有していない最新のGPS情報に含まれる位置(位置2と記す)の情報と時刻(時刻2と記す)の情報、当該撮影フラグを有する撮影情報の撮影時刻(時刻3と記す)の情報、および地図DB18から取得した道路の情報を基に、マップマッチングを用いて当該撮影不能フラグを有する撮影情報の撮影地点、走行方向を特定する。
【0221】
たとえば、位置1を始点とし、位置2を終点とする地図上の道路に沿った経路において、始点から[(始点1から始点2までの当該経路に沿った距離)×(時刻3−時刻1)/(時刻2−時刻1)]で示される距離だけ当該経路上を移動した位置を、当該撮影不能フラグを有する撮影情報の撮影地点とする。そして、その地点における当該経路沿いの終点向きを走行方向とする。
【0222】
次に、ステップ750では、ステップ740で特定した撮影地点、走行方向の情報を、当該撮影不能フラグを有する撮影情報の位置情報、走行速度情報とし、当該撮影不能フラグを削除する。その後処理はステップ760に進む。
【0223】
以上のような処理によって、マップマッチングによるGPS情報の補完が行われる。
【0224】
また、車両1側でなく画像サーバ5側で、GPSセンサ22が正常に機能していないとみなせる場合に、マップマッチングを用いGPS情報を補完してもよい。これは、GPSセンサ22がGPS取得不能であるか否かの情報を出力しないようになっている場合等、GPS情報取得不能であるか否かの判別が困難である場合に特に有効である。以下に、画像サーバ5が行うマップマッチングによるGPS情報の補完を説明する。
【0225】
一般にGPSセンサは、GPS情報を取得できない場合、最後に取得したGPS情報を継続的に出力する。従って、例えばGPS衛星からの情報が届かないトンネル内を通過する場合に、このGPS情報をそのまま撮影情報に含めて車両1が画像サーバ5に送信すると、車両1は当該トンネル手前で一定時間停止し、その後瞬時に当該トンネル外に移動したという情報が残る。
【0226】
そこで画像サーバ5のデータベース読み出し・情報処理プログラム54は、車両1からの撮影情報において、車両1が一定時間停止し、その後瞬時に所定距離以上移動した場合に、車両1から送信された撮影情報を基に、上記したマップマッチングによるGPS情報の補完の手法を用いて、当該一時停止していたときの撮影情報に含まれるGPS情報を修正する。
【0227】
なお、車両1、画像サーバ5、固定端末36、車内端末37の構成、作動について、本実施形態に記載のない部分については、第2実施形態と同様とする。
(他の実施形態)
なお、上記した各実施形態においては、車両1は画像サーバ5に無線通信を用いて撮影画像および撮影情報を送信するが、必ずしもこのようになっていなくともよい。例えば、車両1において撮影された撮影画像および撮影情報を、取り外し可能なHDDに保存し、そのHDDを後に画像サーバ5に接続することで、車両1による撮影画像および撮影情報を画像サーバ5に入力することができる。
【0228】
なお、上記した手段のうち、ソフトウェアとして実現した各手段は、専用のハードウェアとして構成されていてもよい。
【図面の簡単な説明】
【図1】本発明の第1実施形態に係る画像配信システムを模式的に示す概念図である。
【図2】車両1内に搭載される、画像の撮影および画像サーバ5への送信を行うための機器の構成のブロック図である。
【図3】情報処理部13が作成する画像の撮影情報の一例の図である。
【図4】情報処理部13が画像を撮影して画像サーバ5に送信する処理のフローチャートである。
【図5】車両1の各機器を含む画像配信システムの構成を示すブロック図である。
【図6】画像サーバ5と車両1および固定端末36、車内端末37との通信のタイミングチャートである。
【図7】画像サーバ5の画像変換プログラム58の行う処理の概念図である。
【図8】データベース読み出し・情報処理プログラム54の画像を選択する方法を示す概念図である。
【図9】画像サーバ5と通信を行う天気サーバ9を示す図である。
【図10】データベース読み出し・情報処理プログラム54が行うフィルタリング条件を用いる処理の部分についてのフローチャートである。
【図11】画像サーバ5からのWebデータをユーザ側のWebブラウザを使用して表示したものの例を示す図である。
【図12】本実施形態における固定端末36、車内端末37の車載器の構成を示す図である。
【図13】ユーザインターフェース部77に表示させる情報の表示画面を示す図である。
【図14】画像表示プログラムにおける、上ボタン84が押下される場合に関する部分をより詳細に表したフローチャートである。
【図15】上ボタン84の押下を行う典型的な場合の概念図である。
【図16】近接地点検索アルゴリズムの説明図である。
【図17】止まれマーク90が画像表示部81内に表示されている図である。
【図18】誘導矢印91が画像表示部81内に表示されている図である。
【図19】第3実施形態の効果が特徴的に表れる場合の図を示す。
【図20】次に表示する画像の正面の向きを、その画像の撮影時の方向またはその逆方向とするための処理のフローチャートである。
【図21】第4実施形態の特徴部分を説明する模式図を示す。
【図22】データベース読み出し・情報処理プログラム54がフィルタリング条件を用いる処理の部分についてのフローチャートである。
【図23】1つのエリア内の両方向について保存されている画像をユーザに配信する場合のデータベース読み出し・情報処理プログラム54の動作の説明図である。
【図24】正面方向の情報に基づいてどちらの方向の画像の情報を返すかを判定する。 このためのデータベース読み出し・情報処理プログラム54の処理のフローチャートである。
【図25】自車両が停止しているとみなせる場合にその地点の撮影を2度以上行わないための情報処理部13の処理のフローチャートである。
【図26】繰り返し撮影を行う場合、車両の走行速度が大きいときは撮影の間隔を短くし、速度が遅いときは撮影間隔を長くすることを説明する参考図である。
【図27】ブレーキ踏み込み、ウィンカー点滅、アクセル踏み込みがこの順に行われた場合に、現在交差点にいると判定することを説明する参考図である。
【図28】傾斜路を走行する車両1を示す図である。
【図29】車両1の傾きに基づく補正処理を説明する模式図である。
【図30】重点地点における詳細撮影のためのシステムの一例の全体図である。
【図31】重点地点に近づいたか否かの判定を、指定された重点地点から最も近い道路上の地点に近づいたか否かの判定によって行う場合を説明する参考図である。
【図32】GPS情報が取得できない場合のマップマッチングための処理を示すフローチャートである。
【符号の説明】
1…車両、2…道路、3…基地局、4…基地局網、5…画像サーバ、
6…撮影画像、7…配信画像、8…広域ネットワーク、9…天気サーバ、
10…画像制御コンピュータ、11…センサ制御部、12…画像記録部、
13…情報処理部、14…通信制御部、15…メモリ、16…情報管理DB、
17…スケジュールDB、18…地図DB、21…全方位カメラ、
22…GPSセンサ、23…方位センサ、24…速度センサ、25…無線機、
26…アンテナ、31…無線機基地局、33…基地局網、34…基地局網、
35…基地局、36…固定端末、37…車内端末、
51…撮影画像データベース、52…地図情報データベース、
53…運行路線データベース、
54…データベース読み出し・情報処理プログラム、
55…撮影指令送信プログラム、56…撮影情報処理プログラム、
57…ユーザ向けデータ配信プログラム、58…画像変換プログラム、
59…車両データ受付プログラム、70…制御用コンピュータ、
71…無線アンテナ、72…無線機、73…通信制御部、
74…GPSセンサ、75…情報処理部、76…センサ制御部、
77…ユーザインターフェース部、81…画像表示部、82…地図表示部、
83…操作部、84…上ボタン、85…下ボタン、86…右ボタン、
87…左ボタン。
Claims (18)
- 車両に搭載されたカメラ(21)によって撮影された前記車両の周辺の撮影画像および前記撮影画像の撮影情報を記憶するための記憶媒体(51)と、
入力された前記撮影画像および前記撮影画像の撮影情報を前記記憶媒体に記憶させ、前記記憶媒体が記憶している撮影画像を、受信した撮影画像を表示する画像表示端末(36、37)に配信する配信手段(54、57)と、を備えた画像サーバであって、
前記撮影情報は、当該撮影画像が撮影された撮影地点の情報を含み、
前記配信手段は、入力された撮影画像を、その撮影画像の撮影地点の属する区域による区分毎に、前記撮影情報および所定の選択条件に基づいて選択したものを前記記憶媒体に記憶させ、
前記撮影情報は、当該撮影画像が撮影されたときの当該車両の走行速度の情報を含み、
前記選択条件は、前記区分内で撮影時の当該車両の走行速度が最も遅い撮影画像を優先的に選択するものであることを特徴とする画像サーバ。 - 車両に搭載されたカメラ(21)によって撮影された前記車両の周辺の撮影画像および前記撮影画像の撮影情報を記憶するための記憶媒体(51)と、
入力された前記撮影画像および前記撮影画像の撮影情報を前記記憶媒体に記憶させ、前記記憶媒体が記憶している撮影画像を、受信した撮影画像を表示する画像表示端末(36、37)に配信する配信手段(54、57)と、を備えた画像サーバであって、
前記撮影情報は、当該撮影画像が撮影された撮影地点の情報を含み、
前記配信手段は、入力された撮影画像を、その撮影画像の撮影地点の属する区域による区分毎に、前記撮影情報および所定の選択条件に基づいて選択したものを前記記憶媒体に記憶させ、
前記撮影情報は、当該撮影画像の撮影時における当該撮影地点の天候の情報を含み、
前記選択条件は、前記区分内で撮影時の当該地点の天候が良かった撮影画像を優先的に選択するものであることを特徴とする画像サーバ。 - 車両に搭載されたカメラ(21)によって撮影された前記車両の周辺の撮影画像および前記撮影画像の撮影情報を記憶するための記憶媒体(51)と、
入力された前記撮影画像および前記撮影画像の撮影情報を前記記憶媒体に記憶させ、前記記憶媒体が記憶している撮影画像を、受信した撮影画像を表示する画像表示端末(36、37)に配信する配信手段(54、57)と、を備えた画像サーバであって、
前記撮影情報は、当該撮影画像が撮影された撮影地点の情報を含み、
前記配信手段は、入力された撮影画像を、その撮影画像の撮影地点の属する区域による区分毎に、前記撮影情報および所定の選択条件に基づいて選択したものを前記記憶媒体に記憶させ、
前記撮影情報は、当該撮影画像の撮影時における当該車両の傾斜の情報を含み、
前記選択条件は、前記区分内で撮影時における当該車両の傾斜角が最も少ない撮影画像を優先的に選択するものであることを特徴とする画像サーバ。 - 車両に搭載されたカメラ(21)によって撮影された前記車両の周辺の撮影画像および前記撮影画像の撮影情報を記憶するための記憶媒体(51)と、
入力された前記撮影画像および前記撮影画像の撮影情報を前記記憶媒体に記憶させ、前記記憶媒体が記憶している撮影画像を、受信した撮影画像を表示する画像表示端末(36、37)に配信する配信手段(54、57)と、を備えた画像サーバであって、
前記撮影情報は、当該撮影画像が撮影された撮影地点の情報を含み、
前記配信手段は、入力された撮影画像を、その撮影画像の撮影地点の属する区域による区分毎に、前記撮影情報および所定の選択条件に基づいて選択したものを前記記憶媒体に記憶させ、
前記撮影情報は、当該撮影画像の撮影時に当該車両が交差点内にいたか否かの情報を含み、
前記選択条件は、前記区分内で撮影時において当該車両が交差点内にいた撮影画像を優先的に選択するものであることを特徴とする画像サーバ。 - 車両に搭載されたカメラ(21)によって撮影された前記車両の周辺の撮影画像および前記撮影画像の撮影情報を記憶するための記憶媒体(51)と、
入力された前記撮影画像および前記撮影画像の撮影情報を前記記憶媒体に記憶させ、前記記憶媒体が記憶している撮影画像を、受信した撮影画像を表示する画像表示端末(36、37)に配信する配信手段(54、57)と、
地図情報を記憶するための記憶媒体(52)と、を備えた画像サーバであって、
前記撮影情報は、当該撮影画像が撮影された撮影地点の情報を含み、
前記配信手段は、入力された撮影画像を、その撮影画像の撮影地点の属する区域による区分毎に、前記撮影情報および所定の選択条件に基づいて選択したものを前記記憶媒体に記憶させ、
前記配信手段は、前記地図情報および前記撮影情報に基づいて当該撮影画像の撮影時に当該車両が交差点内にいたか否かを判定し、
前記選択条件は、前記区分内で撮影時において当該車両が交差点内にいた撮影画像を優先的に選択するものであることを特徴とする画像サーバ。 - 車両に搭載されたカメラ(21)によって撮影された前記車両の周辺の撮影画像および前記撮影画像の撮影情報を記憶するための記憶媒体(51)と、
前記記憶媒体が記憶している撮影画像を画像表示端末(35、36)に配信する配信手段(54、57)と、を備えた画像サーバであって、
前記撮影情報は、当該撮影画像が撮影された撮影地点の情報を含み、
前記配信手段は、前記記憶媒体が記憶している撮影画像を、その撮影画像の撮影地点の属する区域による区分毎に、前記撮影情報および所定の選択条件に基づいて選択したものを前記画像表示端末に配信し、
前記撮影情報は、当該撮影画像の撮影時における当該車両の走行の向きの情報を含み、
前記配信手段は、前記画像表示端末が現在表示している撮影画像の正面方向の情報が含まれた問い合わせ信号を前記画像表示端末から受信した後、前記記憶媒体が記憶している撮影画像を、その撮影画像の撮影地点の属する区域および撮影時の当該車両の走行の正逆向きの組み合わせによる区分毎に、前記撮影情報および前記問い合わせ信号中の正面方向の情報に基づいて選択したものを前記画像表示端末に配信することを特徴とする画像サーバ。 - 前記撮影情報は、当該撮影画像の撮影時における当該車両の走行の向きの情報を含み、
前記配信手段は、入力された前記撮影画像を、その撮影画像の撮影地点の属する区域および撮影時の当該車両の走行の正逆向きの組み合わせによる区分毎に、前記撮影情報および所定の選択条件に基づいて選択したものを前記記憶媒体に記憶させることを特徴とする請求項1ないし5のいずれか1つに記載の画像サーバ。 - 前記撮影情報は、当該撮影画像が撮影された撮影時刻の情報を含み、
前記選択条件は、前記区分内で最も撮影時刻が新しい撮影画像を優先的に選択するものであることを特徴とする請求項1ないし7のいずれか1つに記載の画像サーバ。 - 車両の周囲の画像を撮影する撮影手段(21)と、
前記車両の現在地点を特定する現在地点特定手段(22)と、
前記車両の水平面に対する傾斜量を特定する傾斜量特定手段と、
前記撮影手段によって撮影された撮影画像、前記撮影画像が撮影された時の前記車両の現在地点の情報、および前記画像が撮影されたときの前記車両の傾斜の情報を、請求項3に記載の画像サーバへの提供用に記憶するための記憶媒体(16)と、を備えた車載画像収集装置。 - 車両の周囲の画像を撮影する撮影手段(21)と、
前記車両の現在地点を特定する現在地点特定手段(22)と、
前記車両が交差点内にいるか否かを判定する交差点判定手段と、
前記撮影手段によって撮影された撮影画像、前記撮影画像が撮影された時の前記車両の現在地点の情報、および前記画像が撮影されたときに前記車両が交差点内にいたか否かの情報を、請求項4に記載の画像サーバへの提供用に記憶するための記憶媒体(16)と、を備えた車載画像収集装置。 - 車両によって撮影された前記車両の周辺の撮影画像および前記撮影画像の撮影情報を記憶するための記憶媒体(51)と、入力された前記撮影画像および前記撮影画像の撮影情報を前記記憶媒体に記憶させ、前記記憶媒体が記憶している撮影画像を、受信した撮影画像を表示する画像表示端末(36、37)に配信する配信手段(54、57)と、地図情報を記憶するための記憶媒体(52)と、を備え、前記撮影情報は、当該撮影画像が撮影された撮影地点の情報を含み、前記配信手段は、入力された撮影画像を、その撮影画像の撮影地点の属する区域による区分毎に、前記撮影情報および所定の選択条件に基づいて選択したものを前記記憶媒体に記憶させることを特徴とする画像サーバと通信する車載画像収集装置であって、
車両の周囲の全方位の画像を撮影する撮影手段(21)と、
前記車両の現在地点を特定する現在地点特定手段(22)と、
前記撮影手段によって撮影された撮影画像、前記撮影画像が撮影された時の前記車両の現在地点の情報を、前記画像サーバへの提供用に記憶するための記憶媒体(16)と、を備え、
前記撮影手段は、あらかじめ指定された重点地点が道路外の地点の場合、前記重点地点から最も近い道路上の地点に近づいたと判定したときに、前記画像の撮影を通常より詳細に行うことを特徴とする車載画像収集装置。 - 車両に搭載されたカメラによって撮影された前記車両の周辺の撮影画像および前記撮影画像の撮影情報を配信する画像サーバ(5)から配信された前記撮影画像および前記撮影情報を受信する受信手段(73)と、
前記受信した前記撮影画像を表示手段(77)に表示させる表示制御手段(75)と、を備えた画像表示端末であって、
前記撮影情報は、当該撮影画像が撮影された撮影地点の情報を含み、
前記表示制御手段は、ある向きへの画像の進行の命令を受信すると、前記向きを含む所定の方向領域内であり、かつ前記表示手段に現在表示させている撮影画像が撮影された地点からの距離が所定の範囲内である検索領域内で撮影された撮影画像を検索し、この検索された撮影画像から、所定の選択規則に基づいて、次に表示手段に表示させる撮影画像を選択することを特徴とする画像表示端末。 - 前記選択規則は、前記検索領域内で最も撮影時刻が新しい撮影画像を優先的に選択するものであることを特徴とする請求項12に記載の画像表示端末。
- 前記選択規則は、前記検索領域内で撮影時の当該車両の走行速度が最も遅い撮影画像を優先的に選択するものであることを特徴とする請求項12に記載の画像表示端末。
- 前記撮影情報は、当該撮影画像が撮影された撮影時刻の情報を含み、
前記選択条件は、前記区分内で、前記表示手段に現在表示させている撮影画像と撮影時刻が最も近い撮影画像を優先的に選択するものであることを特徴とする請求項12に記載の画像表示端末。 - 前記表示制御手段は、前記検索の結果、当該検索領域内で撮影された撮影画像がなかった場合、前記表示手段に進行不能の旨の表示をさせることを特徴とする請求項12ないし15のいずれか1つに記載の画像表示端末。
- 前記表示制御手段は、複数の向きのそれぞれについて、その向きの方向領域内であり、かつ前記表示手段に表示させる撮影画像が撮影された地点からの距離が所定の範囲内である検索領域内で撮影された撮影画像を検索し、検索の結果当該検索領域内で撮影された撮影画像があれば、その向きに進行できる旨の表示を、前記表示させる前記撮影画像と共に前記表示手段に表示させることを特徴とする請求項12ないし16のいずれか1つに記載の画像表示端末。
- 前記ある向きとは、前進の向きであり、
前記撮影情報は、当該撮影画像が撮影された時の車両の走行方向の情報を含み、
前記表示制御手段は、前記選択した次に前記表示手段に表示させる撮影画像が撮影された時の車両の走行方向および今回の前進の向きとの関係に基づいて、前記走行方向またはその逆方向を次回の前進の向きとして、当該撮影画像を表示させることを特徴とする請求項12ないし17のいずれか1つに記載の画像表示端末。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003167806A JP4321128B2 (ja) | 2003-06-12 | 2003-06-12 | 画像サーバ、画像収集装置、および画像表示端末 |
PCT/JP2004/008112 WO2004111973A1 (ja) | 2003-06-12 | 2004-06-10 | 画像サーバ、画像収集装置、及び画像表示端末 |
CNB2004800160861A CN100530265C (zh) | 2003-06-12 | 2004-06-10 | 图像服务器、图像获取设备以及图像显示终端 |
US11/294,882 US20060132602A1 (en) | 2003-06-12 | 2005-12-06 | Image server, image acquisition device, and image display terminal |
US13/370,430 US9369675B2 (en) | 2003-06-12 | 2012-02-10 | Image server, image deliver based on image information and condition, and image display terminal |
US13/423,514 US9369676B2 (en) | 2003-06-12 | 2012-03-19 | Image server, image deliver based on image information and condition, and image display terminal |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003167806A JP4321128B2 (ja) | 2003-06-12 | 2003-06-12 | 画像サーバ、画像収集装置、および画像表示端末 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005006081A JP2005006081A (ja) | 2005-01-06 |
JP4321128B2 true JP4321128B2 (ja) | 2009-08-26 |
Family
ID=33549314
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003167806A Expired - Fee Related JP4321128B2 (ja) | 2003-06-12 | 2003-06-12 | 画像サーバ、画像収集装置、および画像表示端末 |
Country Status (4)
Country | Link |
---|---|
US (3) | US20060132602A1 (ja) |
JP (1) | JP4321128B2 (ja) |
CN (1) | CN100530265C (ja) |
WO (1) | WO2004111973A1 (ja) |
Families Citing this family (92)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150235094A1 (en) | 2014-02-17 | 2015-08-20 | General Electric Company | Vehicle imaging system and method |
US10110795B2 (en) | 2002-06-04 | 2018-10-23 | General Electric Company | Video system and method for data communication |
US10798282B2 (en) | 2002-06-04 | 2020-10-06 | Ge Global Sourcing Llc | Mining detection system and method |
US11208129B2 (en) | 2002-06-04 | 2021-12-28 | Transportation Ip Holdings, Llc | Vehicle control system and method |
US11358615B2 (en) | 2002-06-04 | 2022-06-14 | Ge Global Sourcing Llc | System and method for determining vehicle orientation in a vehicle consist |
US9875414B2 (en) | 2014-04-15 | 2018-01-23 | General Electric Company | Route damage prediction system and method |
US11124207B2 (en) | 2014-03-18 | 2021-09-21 | Transportation Ip Holdings, Llc | Optical route examination system and method |
US7353034B2 (en) | 2005-04-04 | 2008-04-01 | X One, Inc. | Location sharing and tracking using mobile phones or other wireless devices |
US7945938B2 (en) * | 2005-05-11 | 2011-05-17 | Canon Kabushiki Kaisha | Network camera system and control method therefore |
JP4841864B2 (ja) * | 2005-05-27 | 2011-12-21 | 寺田軌道株式会社 | 作業計画立案システム、画像表示装置およびプログラム |
JP4770367B2 (ja) * | 2005-09-28 | 2011-09-14 | 日産自動車株式会社 | 車両位置検出システム |
JP4708203B2 (ja) * | 2006-02-08 | 2011-06-22 | パイオニア株式会社 | 地理情報表示装置及び地理情報表示プログラム |
JP2007306353A (ja) * | 2006-05-12 | 2007-11-22 | Opt Kk | 動画の表示方法、動画表示システムおよび広角動画撮像装置 |
JP5140889B2 (ja) * | 2006-08-10 | 2013-02-13 | サンリツオートメイション株式会社 | ゆらぎ補正による画像表示方法及びその方法を用いた動体リモートコントロールシステム |
EP2091798B1 (de) * | 2006-10-13 | 2011-12-07 | Continental Teves AG & Co. oHG | Fahrzeug und verfahren zur bestimmung von in der fahrzeugumgebung befindlichen fahrzeugen |
WO2008072429A1 (ja) * | 2006-12-12 | 2008-06-19 | Locationview Co. | 地理情報関連付き画像データ表示システム |
JPWO2008117495A1 (ja) * | 2007-03-23 | 2010-07-15 | 三菱電機株式会社 | ナビゲーションシステムおよびレーン情報表示方法 |
EP2518686B1 (en) * | 2007-05-25 | 2018-08-08 | Google LLC | Rendering, viewing and annotating panoramic images, and applications thereof |
US7990394B2 (en) | 2007-05-25 | 2011-08-02 | Google Inc. | Viewing and navigating within panoramic images, and applications thereof |
KR101362764B1 (ko) * | 2007-07-02 | 2014-02-14 | 삼성전자주식회사 | 사진 파일 제공 장치 및 방법 |
KR101423928B1 (ko) | 2007-08-20 | 2014-07-28 | 삼성전자주식회사 | 전자지도에 포함된 이미지 파일을 이용한 이미지 재생장치, 이의 재생 방법 및 상기 방법을 실행하기 위한프로그램을 기록한 기록매체. |
EP2051222A1 (en) * | 2007-10-17 | 2009-04-22 | Harman/Becker Automotive Systems GmbH | Method and system for providing a visual information of a remote location to a user of a vehicle |
JP4470992B2 (ja) | 2007-12-05 | 2010-06-02 | セイコーエプソン株式会社 | 映像管理システム |
JP2009235696A (ja) * | 2008-03-26 | 2009-10-15 | Compensation Seminary Co Ltd | 建物の経年変化を調査するためのシステム、方法、及びコンピュータ・プログラム |
EP2146325B1 (de) * | 2008-07-16 | 2013-03-06 | SMR Patents S.à.r.l. | Aufzeichnungsgerät für die Aufnahme, Bearbeitung und Speicherung von Bilddaten in einem Fahrzeug sowie Verfahren |
KR101502013B1 (ko) * | 2008-12-24 | 2015-03-12 | 엘지전자 주식회사 | 이동 단말기 및 이동 단말기의 위치기반서비스 제공방법 |
US8554871B2 (en) * | 2009-01-30 | 2013-10-08 | Navteq B.V. | Method and system for exchanging location content data in different data formats |
JPWO2010095459A1 (ja) * | 2009-02-20 | 2012-08-23 | 日本電気株式会社 | 解析前処理システム、解析前処理方法および解析前処理プログラム |
JPWO2010095457A1 (ja) * | 2009-02-20 | 2012-08-23 | 日本電気株式会社 | 解析前処理システム、解析前処理方法および解析前処理プログラム |
US8416300B2 (en) | 2009-05-20 | 2013-04-09 | International Business Machines Corporation | Traffic system for enhancing driver visibility |
US8818641B2 (en) | 2009-12-18 | 2014-08-26 | Honda Motor Co., Ltd. | Method of intersection estimation for a vehicle safety system |
US8823556B2 (en) | 2010-09-02 | 2014-09-02 | Honda Motor Co., Ltd. | Method of estimating intersection control |
US8618951B2 (en) | 2010-09-17 | 2013-12-31 | Honda Motor Co., Ltd. | Traffic control database and distribution system |
US8618952B2 (en) | 2011-01-21 | 2013-12-31 | Honda Motor Co., Ltd. | Method of intersection identification for collision warning system |
JP2012159967A (ja) * | 2011-01-31 | 2012-08-23 | Nec Corp | 通信装置、通信システムおよび通信方法 |
DE102011003553A1 (de) * | 2011-02-03 | 2012-08-09 | Robert Bosch Gmbh | Vorrichtung und Verfahren zur optischen Aufnahme des Unterbodens eines Fahrzeugs |
CA2772206C (en) | 2011-03-24 | 2016-06-21 | Kabushiki Kaisha Topcon | Omnidirectional camera |
JP5870618B2 (ja) * | 2011-10-21 | 2016-03-01 | 大日本印刷株式会社 | 自由視点映像表示装置 |
JP6007495B2 (ja) * | 2011-12-28 | 2016-10-12 | 日本電気株式会社 | 画像データベースシステム |
JP5853693B2 (ja) * | 2011-12-28 | 2016-02-09 | 株式会社Jvcケンウッド | 端末装置、表示制御プログラム、及び表示制御方法 |
GB201202344D0 (en) | 2012-02-10 | 2012-03-28 | Isis Innovation | Method of locating a sensor and related apparatus |
JP5907250B2 (ja) * | 2012-03-22 | 2016-04-26 | ソニー株式会社 | 表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム |
JP5910241B2 (ja) * | 2012-03-29 | 2016-04-27 | 富士通株式会社 | 映像抽出装置、方法及びプログラム |
JP6058907B2 (ja) * | 2012-03-29 | 2017-01-11 | 矢崎エナジーシステム株式会社 | 車載記録装置 |
US10666860B2 (en) * | 2012-09-11 | 2020-05-26 | Ricoh Company, Ltd. | Image processor, image processing method and program, and imaging system |
EP2730890B1 (en) | 2012-11-07 | 2020-01-15 | Volvo Car Corporation | Vehicle image capture system |
JP5745497B2 (ja) | 2012-12-04 | 2015-07-08 | 任天堂株式会社 | 表示システム、表示制御装置、情報処理プログラム及び表示方法 |
US9930592B2 (en) | 2013-02-19 | 2018-03-27 | Mimosa Networks, Inc. | Systems and methods for directing mobile device connectivity |
US9179336B2 (en) | 2013-02-19 | 2015-11-03 | Mimosa Networks, Inc. | WiFi management interface for microwave radio and reset to factory defaults |
JP6028848B2 (ja) * | 2013-02-28 | 2016-11-24 | アイシン精機株式会社 | 車両の制御装置、及びプログラム |
WO2014138292A1 (en) | 2013-03-06 | 2014-09-12 | Mimosa Networks, Inc. | Enclosure for radio, parabolic dish antenna, and side lobe shields |
WO2014137370A1 (en) | 2013-03-06 | 2014-09-12 | Mimosa Networks, Inc. | Waterproof apparatus for cables and cable interfaces |
US10742275B2 (en) | 2013-03-07 | 2020-08-11 | Mimosa Networks, Inc. | Quad-sector antenna using circular polarization |
US9191081B2 (en) | 2013-03-08 | 2015-11-17 | Mimosa Networks, Inc. | System and method for dual-band backhaul radio |
US9753950B2 (en) * | 2013-03-15 | 2017-09-05 | Pictometry International Corp. | Virtual property reporting for automatic structure detection |
TR201904736T4 (tr) * | 2013-04-16 | 2019-05-21 | Trajet Gmbh | Bir taşıttan ve uygun bir düzenekten gelen bir görsel kaydı ve bir hızın kombine belirlenmesi için yöntem. |
JP6208977B2 (ja) * | 2013-05-16 | 2017-10-04 | 株式会社Nttドコモ | 情報処理装置、通信端末およびデータ取得方法 |
US9295103B2 (en) | 2013-05-30 | 2016-03-22 | Mimosa Networks, Inc. | Wireless access points providing hybrid 802.11 and scheduled priority access communications |
US10938110B2 (en) | 2013-06-28 | 2021-03-02 | Mimosa Networks, Inc. | Ellipticity reduction in circularly polarized array antennas |
CN103685944A (zh) * | 2013-11-26 | 2014-03-26 | 移康智能科技(上海)有限公司 | 一种摄像设备的定位摄像方法 |
CN103795918A (zh) * | 2013-11-29 | 2014-05-14 | 深圳市中兴移动通信有限公司 | 一种拍摄方法和拍摄装置 |
US9001689B1 (en) | 2014-01-24 | 2015-04-07 | Mimosa Networks, Inc. | Channel optimization in half duplex communications systems |
US9780892B2 (en) | 2014-03-05 | 2017-10-03 | Mimosa Networks, Inc. | System and method for aligning a radio using an automated audio guide |
US9998246B2 (en) | 2014-03-13 | 2018-06-12 | Mimosa Networks, Inc. | Simultaneous transmission on shared channel |
US10958332B2 (en) | 2014-09-08 | 2021-03-23 | Mimosa Networks, Inc. | Wi-Fi hotspot repeater |
USD752566S1 (en) | 2014-09-12 | 2016-03-29 | Mimosa Networks, Inc. | Wireless repeater |
JP6047197B2 (ja) * | 2015-05-01 | 2016-12-21 | 任天堂株式会社 | 表示システム、表示制御装置、情報処理プログラム及び表示方法 |
JP6499514B2 (ja) * | 2015-05-29 | 2019-04-10 | 株式会社デンソーテン | ドライブレコーダ、データ記録システム、データ記録方法、及び、プログラム |
US10217283B2 (en) | 2015-12-17 | 2019-02-26 | Google Llc | Navigation through multidimensional images spaces |
WO2017109979A1 (ja) * | 2015-12-25 | 2017-06-29 | パイオニア株式会社 | 距離推定装置、距離推定方法及びプログラム |
WO2017109976A1 (ja) * | 2015-12-25 | 2017-06-29 | パイオニア株式会社 | 距離推定装置、距離推定方法及びプログラム |
WO2017123558A1 (en) | 2016-01-11 | 2017-07-20 | Mimosa Networks, Inc. | Printed circuit board mounted antenna and waveguide interface |
JP6580516B2 (ja) * | 2016-05-02 | 2019-09-25 | 株式会社ソニー・インタラクティブエンタテインメント | 処理装置および画像決定方法 |
WO2017183292A1 (ja) * | 2016-04-20 | 2017-10-26 | 株式会社ソニー・インタラクティブエンタテインメント | 処理装置および画像決定方法 |
JP6543823B2 (ja) * | 2016-05-13 | 2019-07-17 | 本田技研工業株式会社 | 鞍乗り型車両の光学センサ配置構造 |
CN107515006A (zh) * | 2016-06-15 | 2017-12-26 | 华为终端(东莞)有限公司 | 一种地图更新方法和车载终端 |
US11251539B2 (en) | 2016-07-29 | 2022-02-15 | Airspan Ip Holdco Llc | Multi-band access point antenna array |
JP2018037886A (ja) * | 2016-08-31 | 2018-03-08 | 株式会社東芝 | 画像配信装置、画像配信システム、および画像配信方法 |
WO2018163750A1 (ja) * | 2017-03-06 | 2018-09-13 | パイオニア株式会社 | 距離推定装置、距離推定方法及びプログラム |
US10339392B2 (en) * | 2017-06-15 | 2019-07-02 | Blackberry Limited | Method and system for rear status detection |
US10511074B2 (en) | 2018-01-05 | 2019-12-17 | Mimosa Networks, Inc. | Higher signal isolation solutions for printed circuit board mounted antenna and waveguide interface |
WO2019168800A1 (en) | 2018-03-02 | 2019-09-06 | Mimosa Networks, Inc. | Omni-directional orthogonally-polarized antenna system for mimo applications |
JP7026003B2 (ja) * | 2018-06-11 | 2022-02-25 | 本田技研工業株式会社 | 表示制御装置及びプログラム |
WO2020019115A1 (zh) * | 2018-07-23 | 2020-01-30 | 深圳前海达闼云端智能科技有限公司 | 融合建图方法、相关装置及计算机可读存储介质 |
US11289821B2 (en) | 2018-09-11 | 2022-03-29 | Air Span Ip Holdco Llc | Sector antenna systems and methods for providing high gain and high side-lobe rejection |
KR102522923B1 (ko) * | 2018-12-24 | 2023-04-20 | 한국전자통신연구원 | 차량의 자기위치 추정 장치 및 그 방법 |
US11151376B2 (en) | 2019-01-23 | 2021-10-19 | Uber Technologies, Inc. | Rider-driver localization for determining placement of AR content for passenger |
JP2020166584A (ja) * | 2019-03-29 | 2020-10-08 | トヨタ自動車株式会社 | 画像情報収集システム及び車両 |
GB201909556D0 (en) * | 2019-07-03 | 2019-08-14 | Tomtom Traffic Bv | Collecting user-contributed data relating to a navibable network |
JP6879351B2 (ja) * | 2019-10-31 | 2021-06-02 | 株式会社リコー | 撮影装置、表示方法、撮影方法、およびプログラム |
JP7230783B2 (ja) * | 2019-11-15 | 2023-03-01 | トヨタ自動車株式会社 | 服装情報取得システムおよび服装情報取得方法 |
JP7055853B2 (ja) * | 2020-10-28 | 2022-04-18 | 株式会社東芝 | 画像配信装置、画像配信システム、および画像配信方法 |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5043816A (en) * | 1988-12-26 | 1991-08-27 | Casio Computer Co., Ltd. | Electronic still camera including photographing timing control |
JPH0952555A (ja) * | 1995-08-11 | 1997-02-25 | Mitsubishi Electric Corp | 周辺監視装置 |
JPH11144185A (ja) * | 1997-09-03 | 1999-05-28 | Honda Motor Co Ltd | 自動運転制御誘導システム |
DE19746570A1 (de) * | 1997-10-22 | 1999-05-06 | Daimler Chrysler Ag | Verfahren und Vorrichtung zur großflächigen Verkehrslageüberwachung |
US7027087B2 (en) * | 1998-08-21 | 2006-04-11 | Nikon Corporation | Electronic camera |
JP3019299B1 (ja) | 1998-12-09 | 2000-03-13 | 株式会社リオスコーポレーション | 実写画像データを記録した記録媒体および画像読み出し装置 |
JP2000278672A (ja) * | 1999-01-21 | 2000-10-06 | Matsushita Electric Ind Co Ltd | ネットワーク型監視装置 |
JP3788111B2 (ja) * | 1999-06-30 | 2006-06-21 | 株式会社デンソー | 情報サービスシステム |
JP2001184595A (ja) * | 1999-12-27 | 2001-07-06 | Matsushita Electric Ind Co Ltd | 伝送システム、送信装置、受信装置、表示装置、および車 |
JP2001236509A (ja) * | 2000-02-24 | 2001-08-31 | Minolta Co Ltd | 被写体の傾き検出装置および方法 |
US7313289B2 (en) * | 2000-08-30 | 2007-12-25 | Ricoh Company, Ltd. | Image processing method and apparatus and computer-readable storage medium using improved distortion correction |
JP2002099537A (ja) * | 2000-09-21 | 2002-04-05 | Ntt Docomo Inc | 活動情報公開システムおよび活動情報公開方法 |
US6351710B1 (en) * | 2000-09-28 | 2002-02-26 | Michael F. Mays | Method and system for visual addressing |
JP3809901B2 (ja) | 2000-12-06 | 2006-08-16 | 株式会社つくばマルチメディア | 地図誘導映像システム |
JP3804766B2 (ja) | 2001-03-15 | 2006-08-02 | シャープ株式会社 | 画像通信装置および携帯型電話機 |
JP2002318127A (ja) * | 2001-04-23 | 2002-10-31 | Ntt Advanced Technology Corp | 携帯機位置検出システムおよび携帯機位置検出方法 |
JP2003030201A (ja) * | 2001-07-19 | 2003-01-31 | Matsushita Electric Ind Co Ltd | 画像管理装置及び映像配信方法 |
JP2003085690A (ja) * | 2001-09-13 | 2003-03-20 | Alpine Electronics Inc | ライブビュー装置及びライブビューシステム |
JP2003123190A (ja) * | 2001-10-10 | 2003-04-25 | Sumitomo Electric Ind Ltd | 画像送信システム、画像送信装置、及び画像取得装置 |
US20030081934A1 (en) * | 2001-10-30 | 2003-05-01 | Kirmuss Charles Bruno | Mobile video recorder control and interface |
JP3843817B2 (ja) * | 2001-11-26 | 2006-11-08 | コニカミノルタホールディングス株式会社 | 道路画像データベースシステムおよびそのための車載装置 |
US20030212567A1 (en) * | 2002-05-07 | 2003-11-13 | Hitachi Ltd. | Witness information service with image capturing and sharing |
JP3744002B2 (ja) * | 2002-10-04 | 2006-02-08 | ソニー株式会社 | 表示装置、撮像装置、および撮像/表示システム |
US20050137794A1 (en) * | 2003-12-18 | 2005-06-23 | Dehua Cui | Intersection route navigation system for a motor vehicle |
-
2003
- 2003-06-12 JP JP2003167806A patent/JP4321128B2/ja not_active Expired - Fee Related
-
2004
- 2004-06-10 CN CNB2004800160861A patent/CN100530265C/zh not_active Expired - Fee Related
- 2004-06-10 WO PCT/JP2004/008112 patent/WO2004111973A1/ja active Application Filing
-
2005
- 2005-12-06 US US11/294,882 patent/US20060132602A1/en not_active Abandoned
-
2012
- 2012-02-10 US US13/370,430 patent/US9369675B2/en not_active Expired - Fee Related
- 2012-03-19 US US13/423,514 patent/US9369676B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
WO2004111973A1 (ja) | 2004-12-23 |
CN1802678A (zh) | 2006-07-12 |
JP2005006081A (ja) | 2005-01-06 |
CN100530265C (zh) | 2009-08-19 |
US20120176500A1 (en) | 2012-07-12 |
US20120140077A1 (en) | 2012-06-07 |
US9369676B2 (en) | 2016-06-14 |
US9369675B2 (en) | 2016-06-14 |
US20060132602A1 (en) | 2006-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4321128B2 (ja) | 画像サーバ、画像収集装置、および画像表示端末 | |
JP3951786B2 (ja) | 画像アップロード装置 | |
JP4434219B2 (ja) | 画像サーバ | |
JP6371469B2 (ja) | リクエストされた車両が獲得した交通事情の映像のダウンロード | |
JP3941312B2 (ja) | 道路交通システム及びその情報処理方法 | |
JP2010170518A (ja) | 画像データベース形成方法、ナビゲーション方法、データベースシステム、ナビゲーション用モバイル装置、ナビゲーションシステムおよび画像データベースを形成するためのプログラム | |
JP2003329462A (ja) | 映像配信装置および映像情報配信システム | |
JP7275556B2 (ja) | 情報処理システム、プログラム、及び情報処理方法 | |
JP2010028492A (ja) | 撮影情報閲覧システム | |
JPH11160080A (ja) | 移動体情報システム | |
JP2003202235A (ja) | 配信装置及び表示装置及び配信方法及び情報配信・表示方式 | |
JP7139967B2 (ja) | サーバ、サーバ制御方法、及びサーバ制御プログラム | |
US20110032359A1 (en) | Server device, mobile terminal, road junction guidance system, and road junction guidance method | |
JP2022121482A (ja) | 管理装置、管理方法、管理システム、およびプログラム | |
JP2009289227A (ja) | 道路情報配信システムおよび移動体端末装置 | |
JP2003153230A (ja) | 画像情報提供システム | |
JPH11211499A (ja) | 情報提供システム | |
JP2004151063A (ja) | ナビゲーションシステム | |
JP7348724B2 (ja) | 車載装置および表示方法 | |
CN111966772A (zh) | 一种实景地图生成方法及系统 | |
JP2010164402A (ja) | 情報収集装置、移動端末、情報センターおよびナビゲーションシステム | |
JP4685286B2 (ja) | 情報更新処理装置 | |
JP2006031583A (ja) | 車載システム及び遠隔地点観測システム | |
JP2001005994A (ja) | 画像処理装置および画像処理方法 | |
JP2003536185A (ja) | 交通情報伝達方法および交通情報システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050708 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080603 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080723 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080902 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081017 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081202 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081224 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090204 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090512 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090525 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4321128 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120612 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120612 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130612 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140612 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |