[go: up one dir, main page]

JP7079451B2 - Map data creation system - Google Patents

Map data creation system Download PDF

Info

Publication number
JP7079451B2
JP7079451B2 JP2020131205A JP2020131205A JP7079451B2 JP 7079451 B2 JP7079451 B2 JP 7079451B2 JP 2020131205 A JP2020131205 A JP 2020131205A JP 2020131205 A JP2020131205 A JP 2020131205A JP 7079451 B2 JP7079451 B2 JP 7079451B2
Authority
JP
Japan
Prior art keywords
map data
data creation
mobile terminal
control unit
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020131205A
Other languages
Japanese (ja)
Other versions
JP2022027295A (en
Inventor
恵恒 谷口
哲安 劉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZMP Inc
Original Assignee
ZMP Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZMP Inc filed Critical ZMP Inc
Priority to JP2020131205A priority Critical patent/JP7079451B2/en
Publication of JP2022027295A publication Critical patent/JP2022027295A/en
Application granted granted Critical
Publication of JP7079451B2 publication Critical patent/JP7079451B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Traffic Control Systems (AREA)
  • Instructional Devices (AREA)

Description

本発明は、歩行者、車両又は自動運転車両等に用いられるマップデータ作成システムに関するものである。 The present invention relates to a map data creation system used for pedestrians, vehicles, self-driving vehicles, and the like.

一般に、自動運転車両やナビゲーションシステムを搭載した車両は、走行状態を検出する各種センサや他の車両や障害物を検出する周囲センサ等から成る検出部からの検出信号に基づいて、走行制御部が駆動制御部を制御しこれにより駆動制御部が走行部及び操舵部を駆動制御して運転や自動運転を行なう。 Generally, in a vehicle equipped with an autonomous driving vehicle or a navigation system, a driving control unit is based on a detection signal from a detection unit consisting of various sensors for detecting the driving state and surrounding sensors for detecting other vehicles and obstacles. The drive control unit is controlled, whereby the drive control unit drives and controls the traveling unit and the steering unit to perform operation or automatic operation.

例えば自動運転車両の走行制御部は、当該自動運転車両の運行範囲のマップデータを利用して前もって走行経路を設定しておくと共に、走行中は、位置センサ及び姿勢検出センサを含む検出部からの検出信号に基づいて当該自動運転車両の自己位置を推定し、この推定された自己位置が走行経路内に納まるように走行経路を修正し、修正された走行経路に対応して駆動制御部が走行部及び操舵部を駆動制御することにより、走行経路に沿って当該自動運転車両を走行させる。 For example, the driving control unit of the autonomous driving vehicle sets a traveling route in advance using the map data of the operating range of the autonomous driving vehicle, and while driving, the detection unit including the position sensor and the attitude detection sensor. The self-position of the autonomous driving vehicle is estimated based on the detection signal, the travel route is corrected so that the estimated self-position is within the travel route, and the drive control unit travels in response to the corrected travel route. By driving and controlling the unit and the steering unit, the autonomous driving vehicle is driven along the traveling path.

一般に、マップデータは、マップデータ作成装置を搭載した自動車を、車両又は自動運転車両の運行範囲全体に亘って又は歩行者の通路に沿って走行させて作成される。即ち、マップデータ作成装置を搭載した自動車を実際に道路に沿って走行させながら、マップデータ作成装置により走行中の道路に関して三次元点群を作成し、この三次元点群とそのときの現在位置の位置情報とを相互に関連付けて、三次元マップデータとしてのポイントクラウドを作成し、無線ネットワークを介してマップデータサーバに送信する。マップデータサーバでは、これらのポイントクラウドをデータベースとして登録することで、車両や自動運転車両の運行範囲全体に亘ってマップデータが作成される。 Generally, map data is created by driving a vehicle equipped with a map data creation device over the entire operating range of a vehicle or an autonomous vehicle or along a pedestrian passage. That is, while the vehicle equipped with the map data creation device is actually driven along the road, the map data creation device creates a three-dimensional point cloud for the running road, and the three-dimensional point cloud and the current position at that time are created. Create a point cloud as 3D map data by associating it with the location information of, and send it to the map data server via the wireless network. By registering these point clouds as a database in the map data server, map data is created over the entire operating range of vehicles and autonomous vehicles.

ところで、車両が走行する走行路には、一般の公道以外に自動車が通行できないような狭い道路，歩行者専用道路に加え、例えば歩道，公園内の通路，建物内の通路等があり、上述したマップデータ作成装置を搭載した自動車は通行することができず、マップデータを作成することができない。 By the way, in addition to narrow roads and pedestrian-only roads where automobiles cannot pass other than general public roads, the roads on which vehicles travel include, for example, sidewalks, passages in parks, passages in buildings, etc., as described above. Vehicles equipped with a map data creation device cannot pass and cannot create map data.

また、道路やその周辺環境は常に一定とはいえず、建物の新築や撤去、新規道路の開設、道路の付け替え等によって変動することもある。従って、マップデータに関して、定期的に変更箇所について修正を行なってマップデータを修正する必要がある。 In addition, the road and its surrounding environment are not always constant, and may change due to new construction or removal of buildings, opening of new roads, replacement of roads, etc. Therefore, regarding the map data, it is necessary to periodically correct the changed part to correct the map data.

従来、マップデータの修正は、マップデータ作成と同様に、マップデータ作成装置を搭載した自動車がマップデータを修正したい箇所を実際に走行してマップデータに必要な各種情報を収集する。このような測量機材は高コストであり、測量機材を積載した自動車を大量に導入することは大きな経済的負担を生じる。 Conventionally, in the modification of map data, as in the case of map data creation, a vehicle equipped with a map data creation device actually travels at a place where the map data is desired to be modified and collects various information necessary for the map data. Such surveying equipment is expensive, and the introduction of a large number of automobiles loaded with surveying equipment creates a great economic burden.

これに対して、小型に構成された機材をバックパック状に背負って移動する所謂可搬型のマップデータ作成装置も実用化されている。可搬型のマップデータ作成装置では、使用者が当該マップデータ作成装置をバックパックのように背負って歩行や自転車などで移動しつつ、道路及び周辺環境の三次元データマップとしてのポイントクラウドを作成することで、自動車が通行できないような道路等のマップデータの作成や修正が可能になる。また、可搬型のマップデータ作成装置は、小型で自動車搭載のマップデータ作成装置より低コストで構成されることから、マップデータの作成及び修正のためのランニングコストが低減される。しかしながら、このような小型の測量機材であっても、高コストであると共に使いこなすためには熟練した技術が必要であり、特に歩行などの移動時の姿勢に注意を払う必要があることから、一般的には誰でも使いこなせるものではない。 On the other hand, a so-called portable map data creation device that moves a small-sized device on its back like a backpack has also been put into practical use. In the portable map data creation device, the user carries the map data creation device on his back like a backpack and moves by walking or biking, while creating a point cloud as a three-dimensional data map of the road and the surrounding environment. This makes it possible to create and modify map data such as roads that cars cannot pass through. Further, since the portable map data creation device is small and configured at a lower cost than the map data creation device mounted on an automobile, the running cost for creating and modifying the map data is reduced. However, even with such a small surveying instrument, it is expensive and requires skillful skills to master it, and it is necessary to pay particular attention to the posture during movement such as walking. Not everyone can use it.

本発明は以上の点に鑑み、小型で且つ軽量な構成で、初心者であっても容易に使いこなせるようにした可搬型のマップデータ作成システムを提供することを目的としている。 In view of the above points, it is an object of the present invention to provide a portable map data creation system having a compact and lightweight configuration so that even a beginner can easily use it.

上記目的を達成するため、本発明は、ケースと、ケース内に配置された通信部、制御部及び記憶部と、ケースから上方に延びる支持部材の上端付近に配置され周囲の静止画を撮像するカメラを備えた撮像部と、支持部材に取り付けられたライダー部と位置センサと姿勢検出センサと、を備えたマップデータ作成装置と、使用者が保持し且つマップデータ作成装置の通信部と第一のネットワークを介して接続される携帯端末と、から構成され、使用者がケースを携帯して移動しながらカメラにより周囲を撮像し、ライダーの検出信号により周囲の三次元点群を生成すると共に、位置センサにより現在位置の位置情報を検出し、制御部が三次元点群及び位置情報を互いに関連付けて三次元マップデータとしてのポイントクラウドを作成するマップデータ作成システムであって、使用者がケースを携帯して移動する際に、制御部が、姿勢検出センサ及び位置センサからの検出信号に対応してそのときの三軸方向の傾斜角度，移動速度，回転速度又は振動を検出し、これら傾斜角度，移動速度，回転速度又は振動の各項目の検出結果を携帯端末に送信し、携帯端末が受信した検出結果を表示部に画面表示するように構成している。 In order to achieve the above object, the present invention is arranged near the upper end of the case, the communication unit, the control unit and the storage unit arranged in the case, and the support member extending upward from the case, and captures a still image of the surroundings. A map data creation device equipped with an image pickup unit equipped with a camera, a rider unit attached to a support member, a position sensor, and an attitude detection sensor, and a communication unit and a communication unit of the map data creation device held by the user. It is composed of a mobile terminal connected via the network of the above, and while the user carries the case and moves, the surroundings are imaged by the camera, and the surrounding three-dimensional point group is generated by the detection signal of the rider. It is a map data creation system that detects the position information of the current position by the position sensor, and the control unit associates the three-dimensional point group and the position information with each other to create a point cloud as three-dimensional map data. When moving by carrying it, the control unit detects the tilt angle, movement speed, rotation speed or vibration in the triaxial direction at that time in response to the detection signals from the attitude detection sensor and the position sensor, and these tilt angles , The detection result of each item of movement speed, rotation speed or vibration is transmitted to the mobile terminal, and the detection result received by the mobile terminal is displayed on the screen on the display unit.

好ましくは、制御部は、各項目の検出結果に関してそれぞれしきい値と比較して正常範囲か否かを判定しその判定結果を携帯端末に送信し、携帯端末は受信した判定結果を表示部に画面表示する。携帯端末は、判定結果のうち正常範囲でない項目に関して表示部の画面表示を警告表示とする。判定結果のうち、正常範囲でない項目に関して、警告音又は警告振動を発生させる。ライダー部は、好ましくは、前方に向かって水平方向を検出する横ライダー及び前方に向かって垂直方向を検出する縦ライダーから構成し、制御部は、撮像部からの撮像信号及び横ライダー及び縦ライダーの検出信号から生成される三次元点群に基づいて当該マップデータ作成装置の進行方向前方の物体の高さ位置を検知し、その高さ位置が所定高さ以下である場合に高さ警告信号を携帯端末に送信し、携帯端末は受信した高さ警告信号に基づいて表示部に高さ警告表示を画面表示しあるいは警告音又は警告振動を発生させる。
制御部は、カメラからの撮像信号及びライダーの検出信号から生成される三次元点群に基づいて当該マップデータ作成装置の進行方向の空間の幅を検知し、その幅が所定幅以下である場合に幅警告信号を携帯端末に送信し、携帯端末は受信した幅警告信号に基づいて表示部に幅警告表示を画面表示しあるいは警告音警告振動を発生させてもよい。好ましくは、制御部は初心者の使用のための練習モードを備え、練習モードにて使用者がマップデータ作成装置を背負った状態での試用時に、姿勢検出センサ及び位置センサからの検出信号に基づいて三軸方向の傾斜角度を検出し、各傾斜角度をそれぞれしきい値と比較して正常範囲か否かを判定し、検出結果である傾斜角度と正常範囲でない傾斜角度に関して判定結果を携帯端末に送信し、携帯端末が受信した傾斜角度及び判定結果を表示部に画面表示する。制御部は、練習モードにて姿勢検出センサ及び位置センサからの検出信号に基づいて、移動速度，回転速度及び振動の各項目を検出し、各項目の検出結果をそれぞれしきい値と比較して正常範囲か否かを判定し、各項目の検出結果と正常範囲でない項目に関して判定結果を携帯端末に送信し、携帯端末は受信した検出結果，判定結果及び修正対応を表示部に画面表示する。
好ましくは、さらにマップデータの保存及び管理を行なうマップデータサーバが備えられ、マップデータ作成装置が第二のネットワークを介してマップデータサーバに接続され、マップデータ作成装置の制御部は、作成されたポイントクラウドを第二のネットワークを介してマップデータサーバに送信し、マップデータサーバが受信したポイントクラウドをデータベースとして登録する。 Preferably, the control unit determines whether or not the detection result of each item is within the normal range by comparing with the threshold value, transmits the determination result to the mobile terminal, and the mobile terminal displays the received determination result on the display unit. Display on the screen. The mobile terminal sets the screen display of the display unit as a warning display for items that are not in the normal range among the determination results. A warning sound or warning vibration is generated for an item that is not in the normal range among the judgment results. The rider unit is preferably composed of a horizontal rider that detects the horizontal direction toward the front and a vertical rider that detects the vertical direction toward the front, and the control unit includes an image pickup signal from the image pickup unit and the horizontal rider and the vertical rider. A height warning signal is detected when the height position of an object in front of the traveling direction of the map data creation device is detected based on the three-dimensional point group generated from the detection signal of, and the height position is equal to or less than a predetermined height. Is transmitted to the mobile terminal, and the mobile terminal displays a height warning display on the screen or generates a warning sound or warning vibration based on the received height warning signal.
The control unit detects the width of the space in the traveling direction of the map data creation device based on the three-dimensional point group generated from the image pickup signal from the camera and the detection signal of the rider, and the width is equal to or less than the predetermined width. The width warning signal may be transmitted to the mobile terminal, and the mobile terminal may display the width warning display on the screen or generate a warning sound warning vibration based on the received width warning signal. Preferably, the control unit comprises a practice mode for beginner use, which is based on detection signals from the attitude detection sensor and position sensor during trial with the user carrying the map data creation device on his back. The tilt angle in the triaxial direction is detected, each tilt angle is compared with the threshold value to determine whether or not it is within the normal range, and the determination result is sent to the mobile terminal regarding the tilt angle that is the detection result and the tilt angle that is not in the normal range. The tilt angle received by the mobile terminal and the determination result are displayed on the screen on the display unit. The control unit detects each item of movement speed, rotation speed and vibration based on the detection signals from the attitude detection sensor and the position sensor in the practice mode, and compares the detection result of each item with the threshold value. It is determined whether or not it is within the normal range, the detection result of each item and the determination result regarding the item not within the normal range are transmitted to the mobile terminal, and the mobile terminal displays the received detection result, the determination result and the correction response on the screen.
Preferably, a map data server for storing and managing map data is provided, the map data creation device is connected to the map data server via a second network, and the control unit of the map data creation device is created. The point cloud is sent to the map data server via the second network, and the point cloud received by the map data server is registered as a database.

本発明によれば、小型で軽量な構成により、初心者であっても容易に使いこなせるようにした、極めて優れた可搬型のマップデータ作成システムを提供することができる。 According to the present invention, it is possible to provide an extremely excellent portable map data creation system that even a beginner can easily use due to a small and lightweight configuration.

本発明のマップデータ作成システムの全体構成を示すブロック図である。It is a block diagram which shows the whole structure of the map data creation system of this invention. マップデータ作成装置の外観を示す概略斜視図である。It is a schematic perspective view which shows the appearance of the map data creation apparatus. 撮像部のカメラ配置を示す概略平面図である。It is a schematic plan view which shows the camera arrangement of the image pickup part. 横ライダーの機能を説明する、（Ａ）正面図及び（Ｂ）側面図である。It is (A) front view and (B) side view explaining the function of a lateral rider. 縦ライダーの機能を説明する、（Ａ）正面図及び（Ｂ）側面図である。It is (A) front view and (B) side view explaining the function of a vertical rider. 携帯端末の表示部で表示される傾斜角度の、（Ａ）正常範囲でない場合及び（Ｂ）正常範囲の場合の表示例を示す図である。It is a figure which shows the display example of the tilt angle displayed on the display part of a mobile terminal in the case of (A) not the normal range and (B) the case of the normal range. 携帯端末の表示部で表示される移動速度の、（Ａ）正常範囲でない場合及び（Ｂ）正常範囲の場合の表示例を示す図である。It is a figure which shows the display example in the case of (A) not the normal range and (B) the case of the normal range of the movement speed displayed on the display unit of the mobile terminal. 携帯端末の表示部で表示される回転速度の、（Ａ）正常範囲でない場合及び（Ｂ）正常範囲の場合の表示例を示す図である。It is a figure which shows the display example of the rotation speed displayed on the display part of a mobile terminal in the case of (A) not in the normal range and (B) in the case of the normal range. マップデータ作成作業を示すフローチャートである。It is a flowchart which shows the map data creation work. マップデータ作成作業での姿勢チェック作業のフローチャートである。It is a flowchart of the posture check work in the map data creation work. 練習モードでの作業を示すフローチャートである。It is a flowchart which shows the work in a practice mode.

以下、図面に基づいて本発明によるマップデータ作成システムの一実施形態を詳細に説明する。
図１において、マップデータの作成システム（以下、マップデータ作成システムという）１０は、マップデータ作成装置２０と携帯端末３０と第一のネットワーク４０とから構成されている。さらに、マップデータ作成装置２０は、第二のネットワーク５０を介してマップデータサーバ６０に接続される。 Hereinafter, an embodiment of the map data creation system according to the present invention will be described in detail based on the drawings.
In FIG. 1, a map data creation system (hereinafter referred to as a map data creation system) 10 is composed of a map data creation device 20, a mobile terminal 30, and a first network 40. Further, the map data creation device 20 is connected to the map data server 60 via the second network 50.

マップデータ作成装置２０と携帯端末３０とは、第一のネットワーク４０を介してワイヤレス接続され各種信号の送受信を行なう。第一のネットワーク４０は、任意の構成の無線ネットワークであり専用回線ネットワークであっても公衆回線ネットワークであってもよく、あるいはマップデータ作成装置２０と携帯端末３０とを直接に相互接続するＷｉ－Ｆｉ（登録商標）接続又はBluetooth（登録商標）接続等の無線ＬＡＮであってもよい。第二のネットワーク５０は、マップデータ作成装置２０とマップデータサーバ６０とを接続する任意の構成のネットワークであり、無線ネットワーク、専用回線ネットワーク及び公衆回線ネットワークの何れかであってよい。 The map data creating device 20 and the mobile terminal 30 are wirelessly connected via the first network 40 to transmit and receive various signals. The first network 40 is a wireless network having an arbitrary configuration and may be a dedicated line network or a public line network, or a Wi-that directly interconnects the map data creating device 20 and the mobile terminal 30. It may be a wireless LAN such as a Fi (registered trademark) connection or a Bluetooth (registered trademark) connection. The second network 50 is a network having an arbitrary configuration for connecting the map data creating device 20 and the map data server 60, and may be any of a wireless network, a dedicated line network, and a public line network.

マップデータ作成装置２０は、図２に一例を示すように、ケース２１と、ケース２１から上方に延びる支持部材２５の上端付近に配置された撮像部２６と、さらに該支持部材２５に取り付けられた位置センサ２７と姿勢検出センサ２８と横ライダー２９ａ及び縦ライダー２９ｂから成るライダー部２９と、から構成されている。ケース２１内には図１に示すように、通信部２２，制御部２３及び記憶部２４が配置される。 As an example shown in FIG. 2, the map data creating device 20 is attached to a case 21, an image pickup unit 26 arranged near the upper end of a support member 25 extending upward from the case 21, and further to the support member 25. It is composed of a position sensor 27, a posture detection sensor 28, and a rider portion 29 including a horizontal rider 29a and a vertical rider 29b. As shown in FIG. 1, a communication unit 22, a control unit 23, and a storage unit 24 are arranged in the case 21.

ケース２１は、例えばバックパック状に構成され、使用者が背負って移動するなど携行できるように、左右一対のショルダーベルト２１ａを備えている。使用者は、歩行による移動でも自転車やオートバイあるいは車両による移動でもよいが、以下の実施例では使用者がケース２１を携帯して歩行により移動する場合で説明する。また、ケース２１は内側に収容空間を有しており、この収容空間内に、前述の通信部２２，制御部２３及び記憶部２４と後述する電源部２０ａとを収納するようになっている。 The case 21 is configured in the shape of a backpack, for example, and is provided with a pair of left and right shoulder belts 21a so that the user can carry it on his / her back. The user may move by walking, or may move by bicycle, motorcycle, or vehicle, but in the following embodiment, the case where the user carries the case 21 and moves by walking will be described. Further, the case 21 has an accommodation space inside, and the communication unit 22, the control unit 23, the storage unit 24, and the power supply unit 20a, which will be described later, are accommodated in the accommodation space.

通信部２２，制御部２３及び記憶部２４は、例えばパーソナルコンピュータにより構成され、制御部２３が後述する各種処理を行なうと共に、通信部２２を介してデータの送受信を行ない、また記憶部２４にデータを読み書き可能に登録する。 The communication unit 22, the control unit 23, and the storage unit 24 are configured by, for example, a personal computer, and the control unit 23 performs various processes described later, transmits / receives data via the communication unit 22, and also sends / receives data to the storage unit 24. Is registered as readable and writable.

支持部材２５は、例えば真っ直ぐなロッド状に形成されており、使用者がケース２１を背負った状態でほぼ垂直に配置されるように、例えばケース２１に対して着脱可能に取り付けられている。 The support member 25 is formed, for example, in the shape of a straight rod, and is detachably attached to, for example, the case 21 so that the user can be arranged substantially vertically while carrying the case 21 on his back.

撮像部２６は周囲の静止画を撮像するカメラからなり、支持部材２５の上端付近に固定配置されている。図３に示すようにカメラは、例えば二台のカメラ２６ａ及び２６ｂから構成され、各カメラ２６ａ及び２６ｂは、それぞれ水平方向に関して約２２０度の画角を備えている。各カメラ２６ａ及び２６ｂは、互いにその水平方向の画角がオーバーラップするように逆向きに配置されて全体として全方位カメラとして構成される。撮像部２６の各カメラ２６ａ及び２６ｂは、それぞれ制御部２３からの撮像指示信号に基づいて静止画の撮像を行ない、静止画を検出信号Ｓ１及びＳ２として制御部２３に出力する。各カメラ２６ａ及び２６ｂのシャッター速度は、周囲が暗くなっても静止画の撮像ができるよう周囲の明るさに応じて自動調節されると好ましい。なお、カメラ２６ａ及び２６ｂは、周囲の静止画と共に動画が撮像できるカメラでもよい。この場合、各カメラ２６ａ及び２６ｂで撮像する静止画は、一旦撮像した動画から切り出した静止画であってもよい。 The image pickup unit 26 is composed of a camera that captures a still image of the surroundings, and is fixedly arranged near the upper end of the support member 25. As shown in FIG. 3, the camera is composed of, for example, two cameras 26a and 26b, and each of the cameras 26a and 26b has an angle of view of about 220 degrees in the horizontal direction. The cameras 26a and 26b are arranged in opposite directions so that their horizontal angles of view overlap each other, and are configured as an omnidirectional camera as a whole. Each camera 26a and 26b of the imaging unit 26 captures a still image based on an imaging instruction signal from the control unit 23, and outputs the still image as detection signals S1 and S2 to the control unit 23. It is preferable that the shutter speeds of the cameras 26a and 26b are automatically adjusted according to the brightness of the surroundings so that a still image can be captured even when the surroundings are dark. The cameras 26a and 26b may be cameras that can capture moving images together with surrounding still images. In this case, the still image captured by each of the cameras 26a and 26b may be a still image cut out from the once captured moving image.

位置センサ２７は、支持部材２５の上端付近に固定配置され、全球測位衛星システム（Global Navigation Satellite System、ＧＮＳＳと呼ぶ）用の、例えばＧＰＳセンサであり、当該マップデータ作成装置２０の位置、即ち経度及び緯度を検出して検出信号Ｓ３を制御部２３に出力する。なお、位置センサ２７は、支持部材２５の上端付近ではなく支持部材２５の他の部分に対して固定配置してもよい。 The position sensor 27 is fixedly arranged near the upper end of the support member 25 and is, for example, a GPS sensor for a global positioning satellite system (called GNSS), and the position, that is, the longitude of the map data creation device 20. And the latitude are detected and the detection signal S3 is output to the control unit 23. The position sensor 27 may be fixedly arranged not near the upper end of the support member 25 but with respect to other parts of the support member 25.

姿勢検出センサ２８は、支持部材２５の上端付近に固定配置され、例えばＭＥＭＳ技術で製造された所謂ジャイロ及び高さを検出するセンサであって、当該マップデータ作成装置２０の三軸又は六軸の方向の加速度により、マップデータ作成装置２０の三次元又は角度も含む六軸の姿勢と高さ又は標高を検出し、検出信号Ｓ４を制御部２３に出力する。なお、姿勢検出センサ２８は、支持部材２５の上端付近ではなく支持部材２５の他の部分に対して固定配置されてもよい。本明細書において、位置センサ２７と姿勢検出センサ２８は、これらのセンサを組み合わせたモジュールやこれらのセンサを搭載した基板等でもよく、位置及び姿勢を検出できる機能を有する部品を含むものである。 The attitude detection sensor 28 is a sensor that is fixedly arranged near the upper end of the support member 25 and detects a so-called gyro and height manufactured by, for example, MEMS technology, and is a sensor having three or six axes of the map data creation device 20. The six-axis attitude including the three dimensions or angles of the map data creation device 20 and the height or altitude are detected by the acceleration in the direction, and the detection signal S4 is output to the control unit 23. The posture detection sensor 28 may be fixedly arranged not near the upper end of the support member 25 but with respect to other parts of the support member 25. In the present specification, the position sensor 27 and the posture detection sensor 28 may be a module in which these sensors are combined, a substrate on which these sensors are mounted, or the like, and include parts having a function of detecting the position and the posture.

ライダー部２９は本実施形態では横ライダー２９ａ及び縦ライダー２９ｂから構成される。横ライダー２９ａ及び縦ライダー２９ｂは、共にレーザーレーダーとも呼ばれるセンサであり、光検出と測距（LIDAR(Light Detection and Ranging)）又はレーザー画像検出と測距（Laser Imaging Detection and Ranging)を行なうセンサで、LIDARとも表記される。ライダーとしては二次元ライダーや三次元ライダーを用いてもよい。 In the present embodiment, the rider unit 29 is composed of a horizontal rider 29a and a vertical rider 29b. The horizontal lidar 29a and the vertical lidar 29b are both sensors that are also called laser radars, and are sensors that perform light detection and ranging (LIDAR (Light Detection and Ranging)) or laser image detection and ranging (Laser Imaging Detection and Ranging). , Also written as LIDAR. As the rider, a two-dimensional rider or a three-dimensional rider may be used.

ここで、横ライダー２９ａは支持部材２５の上端に取り付けられて水平方向を検出範囲となるように配置されていて、前方及び所定の水平方向を含む周囲の道路や町並みの形状を三次元点群として検出し、検出信号Ｓ５を制御部２３に出力する。これにより横ライダー２９ａは、図４に示すように使用者が歩行する前方（ｙ方向）に対して水平方向に走査することにより横方向（ｘ方向）の壁面Ｗを検出することができる。 Here, the horizontal rider 29a is attached to the upper end of the support member 25 and is arranged so as to have a detection range in the horizontal direction, and the shape of the surrounding roads and townscape including the front and the predetermined horizontal direction is a three-dimensional point cloud. And outputs the detection signal S5 to the control unit 23. As a result, as shown in FIG. 4, the lateral rider 29a can detect the wall surface W in the lateral direction (x direction) by scanning in the horizontal direction with respect to the front (y direction) in which the user walks.

また、縦ライダー２９ｂは支持部材２５の後ろ側に取り付けられ縦方向を検出範囲となるように配置されていて、狭い空間の形状を三次元点群として検出し検出信号Ｓ６を制御部２３に出力する。これにより縦ライダー２９ｂは、図５に示すように使用者が歩行する前方（ｙ方向）に対して垂直方向に走査することにより間隔の狭い壁面Ｗであっても密度の高い三次元点群取得することができると共に、高いビルや天井等の三次元点群を取得することができる。 Further, the vertical lidar 29b is attached to the rear side of the support member 25 and arranged so as to have a detection range in the vertical direction, detects the shape of a narrow space as a three-dimensional point cloud, and outputs the detection signal S6 to the control unit 23. do. As a result, as shown in FIG. 5, the vertical rider 29b scans in the direction perpendicular to the front (y direction) in which the user walks, so that a dense three-dimensional point cloud can be acquired even on a wall surface W having a narrow interval. At the same time, it is possible to acquire a 3D point cloud such as a tall building or a ceiling.

この構成によれば、使用者が本マップデータ作成装置２０を背負って歩行しているとき、進行方向の前方に例えば天井の低い場所や上方に障害物が存在する場合、三次元点群に基づいて進行方向前方の物体の高さ位置を検知し、所定高さ以下であれば高さ警告信号を携帯端末３０に送信する。これを受けて携帯端末３０の表示部３４に高さ警告表示や警告音又は警告振動が発生するので、使用者は進行方向前方の上方に物体が存在することを迅速に認知し、進行方向前方の低い天井や障害物等への本マップデータ作成装置２０のカメラ２６ａ，２６ｂとライダー２９ａ，２９ｂの衝突を確実に回避できる。エレベータ内や狭い通路等に進入しようとする場合も、幅警告表示が携帯端末３０の表示部３４に画面表示、警告音又は警告振動で表示するので、注意深く向きを変えることで、背負ったマップデータ作成装置２０の一部が壁等に突き当たってしまうようなことを防止できる。 According to this configuration, when the user is walking with the map data creation device 20 on his back, if there is an obstacle in front of the traveling direction, for example, in a place with a low ceiling or above, it is based on a three-dimensional point cloud. The height position of the object in front of the traveling direction is detected, and if the height is equal to or less than the predetermined height, a height warning signal is transmitted to the mobile terminal 30. In response to this, a height warning display, a warning sound, or a warning vibration is generated on the display unit 34 of the mobile terminal 30, so that the user quickly recognizes that an object exists above the front in the traveling direction and moves forward in the traveling direction. It is possible to reliably avoid the collision between the cameras 26a and 26b of the map data creating device 20 and the riders 29a and 29b on a low ceiling or an obstacle. Even when trying to enter an elevator or a narrow passage, the width warning display is displayed on the display unit 34 of the mobile terminal 30 with a screen display, a warning sound, or a warning vibration. It is possible to prevent a part of the creating device 20 from hitting a wall or the like.

電源部２０ａは充電式電池であって、ケース２１の底部付近に収納されて通信部２２，制御部２３，記憶部２４，撮像部２６，位置センサ２７，姿勢検出センサ２８，ライダー２９に対して給電を行なう。充電式電池は、交換可能に複数の充電式電池で構成されてもよい。電源部２０ａが２つの充電式電池を接続するＡ端子及びＢ端子を備えている場合には連続給電が可能である。最初にＡ端子に満充電された第１の充電式電池が接続され、第１の充電式電池の残量が、後述する携帯端末３０の表示部３４にシステム情報として表示される。表示部３４に充電式電池の交換と表示された場合には、使用者は満充電された第２の充電式電池をＢ端子に接続して、使用済みの第１の充電式電池が交換される。第２の充電式電池の交換も満充電された第３の充電式電池をＡ端子に接続し、使用済みの第２の充電式電池をＢ端子から抜いて同様に交換できる。これにより使用者は、マップデータ作成装置２０の使用時間に応じて複数の充電式電池を携帯することにより電源部２０ａから連続給電が可能となる。 The power supply unit 20a is a rechargeable battery and is housed near the bottom of the case 21 with respect to the communication unit 22, the control unit 23, the storage unit 24, the image pickup unit 26, the position sensor 27, the attitude detection sensor 28, and the rider 29. Power is supplied. The rechargeable battery may be interchangeably composed of a plurality of rechargeable batteries. When the power supply unit 20a includes an A terminal and a B terminal for connecting two rechargeable batteries, continuous power supply is possible. First, a fully charged first rechargeable battery is connected to the A terminal, and the remaining amount of the first rechargeable battery is displayed as system information on the display unit 34 of the mobile terminal 30 described later. When the display unit 34 indicates that the rechargeable battery should be replaced, the user connects the fully charged second rechargeable battery to the B terminal, and the used first rechargeable battery is replaced. To. Replacement of the second rechargeable battery can also be performed in the same manner by connecting a fully charged third rechargeable battery to the A terminal and removing the used second rechargeable battery from the B terminal. As a result, the user can continuously supply power from the power supply unit 20a by carrying a plurality of rechargeable batteries according to the usage time of the map data creation device 20.

いま、使用者が携帯端末３０に動作開始指令３０ａを受け取り、作業開始信号２０ａを第二のネットワーク５０を介してマップデータサーバ６０に送信すると、マップデータサーバ６０からマップデータの作成エリア６０ａを受信して、当該マップデータの作成エリア６０ａが第一のネットワーク４０を介して携帯端末３０に送信される。携帯端末３０の表示部３４に、マップデータの作成エリア６０ａが表示されるので、使用者は携帯端末３０の表示部３４の表示に従いマップデータの作成エリア６０ａにマップデータ作成装置２０一式を携行して移動し、当該マップデータの作成エリア６０ａに到着したら携帯端末３０を操作して作業開始指令３０ｂを第一のネットワーク４０を介してマップデータ作成装置２０に送信する。 Now, when the user receives the operation start command 30a to the mobile terminal 30 and transmits the work start signal 20a to the map data server 60 via the second network 50, the map data creation area 60a is received from the map data server 60. Then, the map data creation area 60a is transmitted to the mobile terminal 30 via the first network 40. Since the map data creation area 60a is displayed on the display unit 34 of the mobile terminal 30, the user carries a set of the map data creation device 20 in the map data creation area 60a according to the display of the display unit 34 of the mobile terminal 30. When the mobile terminal 30 arrives at the map data creation area 60a, the mobile terminal 30 is operated to transmit the work start command 30b to the map data creation device 20 via the first network 40.

マップデータ作成装置２０の制御部２３には、使用者の歩行に伴って所定時間毎にあるいは所定距離毎に撮像部２６により撮像された周囲の静止画としての検出信号Ｓ１及びＳ２と、ライダー２９により取得された周囲の三次元点群としての検出信号Ｓ５及びＳ６と、位置センサ２７からの位置情報としての検出信号Ｓ３と、姿勢検出センサ２８からの姿勢情報としての検出信号Ｓ４が入力される。そして、制御部２３は、検出信号Ｓ５及びＳ６と検出信号Ｓ３により三次元点群と位置情報を互いに関連付けて、三次元マップデータとしてのポイントクラウド２３ａを作成し、第二のネットワーク５０を介してマップデータサーバ６０に送信する。
ここで、ポイントクラウド２３ａは、目標物との相対距離を示す三次元点群に、検出信号Ｓ３及びＳ４から得られる位置及び姿勢に関する位置情報、つまり、絶対座標（緯度、経度、標高）による座標を加えた絶対座標で表示する点群であり、マップデータシステムで使用されている。ポイントクラウド２３ａは、単に点群と呼ぶ場合もある。絶対座標は、例えばＧＰＳセンサである位置センサ２７による位置取得時刻を加えて、絶対座標を（緯度、経度、標高、時刻）で表してもよい。 The control unit 23 of the map data creation device 20 includes detection signals S1 and S2 as surrounding still images captured by the image pickup unit 26 at predetermined time intervals or predetermined distance intervals as the user walks, and a rider 29. The detection signals S5 and S6 as the surrounding three-dimensional point group acquired by the above, the detection signal S3 as the position information from the position sensor 27, and the detection signal S4 as the attitude information from the attitude detection sensor 28 are input. .. Then, the control unit 23 creates a point cloud 23a as three-dimensional map data by associating the three-dimensional point cloud and the position information with each other by the detection signals S5 and S6 and the detection signal S3, and via the second network 50. It is transmitted to the map data server 60.
Here, the point cloud 23a has a three-dimensional point cloud indicating a relative distance to the target, and position information regarding the position and attitude obtained from the detection signals S3 and S4, that is, coordinates based on absolute coordinates (latitude, longitude, elevation). It is a point cloud displayed in absolute coordinates with the addition of, and is used in the map data system. The point cloud 23a may be simply called a point cloud. The absolute coordinates may be expressed by (latitude, longitude, altitude, time) by adding, for example, the position acquisition time by the position sensor 27 which is a GPS sensor.

さらに、マップデータ作成装置２０の制御部２３は、本実施形態の機能により、マップデータ作成作業の開始前と各撮像直後あるいは所定時間毎に、位置センサ２７及び姿勢検出センサ２８からの検出信号Ｓ３，Ｓ４に基づいて下記の各項目を検出する。すなわち、支持部材２５の上端、マップデータ作成装置２０そして使用者の上半身の三軸方向の傾斜角度２３ｂ、歩行速度２３ｃ、回転速度２３ｄ及び振動２３ｅの各項目を検出し、次いで、これらの傾斜角度２３ｂ，歩行速度２３ｃ，回転速度２３ｄ及び振動２３ｅの各項目の検出結果をそれぞれしきい値と比較し、正常範囲か否かを判定する。
なお、回転速度２３ｄは、地面をｘｙ方向としたとき、地面に対して垂直な高さ方向であるｚ方向つまり垂直軸の周りの回転速度であり、例えば使用者が角を曲がるとき、あるいはＵターンするときの回転速度である。回転速度２３ｄが速すぎると、撮像部２６及びライダー部２９の静止画や三次元点群に水平方向のブレやボケが発生してしまう。 Further, the control unit 23 of the map data creation device 20 uses the function of the present embodiment to detect signals S3 from the position sensor 27 and the posture detection sensor 28 before the start of the map data creation work, immediately after each imaging, or at predetermined time intervals. , Each of the following items is detected based on S4. That is, each item of the upper end of the support member 25, the map data creation device 20, the tilt angle 23b in the triaxial direction of the upper body of the user, the walking speed 23c, the rotation speed 23d, and the vibration 23e is detected, and then these tilt angles are detected. The detection results of each item of 23b, walking speed 23c, rotation speed 23d, and vibration 23e are compared with the threshold values, and it is determined whether or not the range is normal.
The rotation speed 23d is the rotation speed in the z direction, which is the height direction perpendicular to the ground, that is, around the vertical axis when the ground is in the xy direction. For example, when the user turns a corner, or U The rotation speed when turning. If the rotation speed 23d is too fast, horizontal blurring and blurring will occur in the still images and the three-dimensional point cloud of the image pickup unit 26 and the rider unit 29.

ここで、傾斜角度２３ｂのしきい値は、例えば３０度である。傾斜角度２３ｂが３０度を越えると、ライダー２９による三次元点群の取得の際に傾きによって精度が低下してしまう。歩行速度のしきい値は、例えば１０ｋｍ／ｈである。歩行速度２３ｃが１０ｋｍ／ｈを越えると、撮像部２６により撮像される静止画が流れてしまい、ライダー２９で取得される三次元点群の解像度が低下してしまう。 Here, the threshold value of the inclination angle 23b is, for example, 30 degrees. If the tilt angle 23b exceeds 30 degrees, the accuracy will decrease due to the tilt when the rider 29 acquires the three-dimensional point cloud. The threshold value of walking speed is, for example, 10 km / h. If the walking speed 23c exceeds 10 km / h, the still image captured by the image pickup unit 26 will flow, and the resolution of the three-dimensional point cloud acquired by the rider 29 will decrease.

回転速度２３ｄのしきい値は、例えば９０度／秒である。回転速度２３ｄが９０度／秒を越えると、同様にして撮像部２６により撮像される静止画が流れてライダー２９により取得される三次元点群の解像度が低下してしまう。振動２３ｅのしきい値は、例えば上記のｚ方向の加速度が０．５ｍ/ｓ２である。振動２３ｅが０．５ｍ/ｓ２を越えると、撮像部２６により撮像される静止画にブレが生じ、ライダー２９により取得される三次元点群もぶれて解像度が低下してしまう。
そして、マップデータ作成装置２０の制御部２３は、これらの検出結果及び判定結果を第一のネットワーク４０を介して携帯端末３０に送信する。 The threshold value of the rotation speed 23d is, for example, 90 degrees / sec. When the rotation speed 23d exceeds 90 degrees / sec, the still image captured by the image pickup unit 26 flows in the same manner, and the resolution of the three-dimensional point cloud acquired by the rider 29 decreases. The threshold value of the vibration 23e is, for example, the above-mentioned acceleration in the z direction of 0.5 m / s 2 . When the vibration 23e exceeds 0.5 m / s 2 , the still image captured by the image pickup unit 26 is blurred, and the three-dimensional point cloud acquired by the rider 29 is also blurred and the resolution is lowered.
Then, the control unit 23 of the map data creation device 20 transmits these detection results and determination results to the mobile terminal 30 via the first network 40.

また、マップデータ作成装置２０の制御部２３は、使用者が初心者でマップデータ作成装置２０によるマップデータ作成作業に不慣れな場合には、練習モードに切り替えて使用者を短時間だけ歩行させて試用させる。その際、マップデータ作成装置２０の制御部２３は、位置センサ２７及び姿勢検出センサ２８からの検出信号Ｓ３，Ｓ４に基づいて支持部材２５の上端、マップデータ作成装置２０そして使用者の上半身の三軸方向の傾斜角度２３ｂ、歩行速度２３ｃ、回転速度２３ｄ及び振動２３ｅを検出すると共に、これらの傾斜角度２３ｂ、歩行速度２３ｃ、回転速度２３ｄ及び振動２３ｅの各項目の検出結果をそれぞれしきい値と比較し、正常範囲か否かを判定する。マップデータ作成装置２０の制御部２３は、これらの検出結果及び判定結果を第一のネットワーク４０を介して携帯端末３０に送信する。 If the user is a beginner and is unfamiliar with the map data creation work by the map data creation device 20, the control unit 23 of the map data creation device 20 switches to the practice mode and walks the user for a short time to try it. Let me. At that time, the control unit 23 of the map data creation device 20 is based on the detection signals S3 and S4 from the position sensor 27 and the attitude detection sensor 28, the upper end of the support member 25, the map data creation device 20, and the upper body of the user. The axial inclination angle 23b, walking speed 23c, rotation speed 23d and vibration 23e are detected, and the detection results of each of these inclination angles 23b, walking speed 23c, rotation speed 23d and vibration 23e are used as thresholds. Compare and determine if it is within the normal range. The control unit 23 of the map data creation device 20 transmits these detection results and determination results to the mobile terminal 30 via the first network 40.

携帯端末３０は公知の携帯端末、例えばスマートホン、タブレット等のスマートデバイスであって、第一のネットワーク４０に接続可能に構成されている。携帯端末３０は、図１に示すように送受信部３１、制御部３２、記憶部３３及び表示部３４から構成される。 The mobile terminal 30 is a known mobile terminal, for example, a smart device such as a smart phone or a tablet, and is configured to be connectable to the first network 40. As shown in FIG. 1, the mobile terminal 30 includes a transmission / reception unit 31, a control unit 32, a storage unit 33, and a display unit 34.

送受信部３１は、第一のネットワーク４０に接続してデータの送受信を行なう。制御部３２は、送受信部３１、記憶部３３及び表示部３４を制御して所定の動作を行なう。 The transmission / reception unit 31 connects to the first network 40 to transmit / receive data. The control unit 32 controls the transmission / reception unit 31, the storage unit 33, and the display unit 34 to perform a predetermined operation.

表示部３４は、所謂タッチパネルとして構成され、制御部３２により駆動制御されて所定の表示を行なうと共に、手指の操作で所定の入力を行なうことができる。 The display unit 34 is configured as a so-called touch panel, is driven and controlled by the control unit 32 to perform a predetermined display, and can perform a predetermined input by operating a finger.

さらに、携帯端末３０の制御部３２は、マップデータ作成装置２０から送受信部３１を介して前述した傾斜角度２３ｂ、歩行速度２３ｃ、回転速度２３ｄ及び振動２３ｅの各項目の検出結果及び判定結果を受信したとき、検出結果及び判定結果を表示部３４に表示し、正常範囲でない場合には例えば赤色の警告表示としまた警告振動を発生させる。 Further, the control unit 32 of the mobile terminal 30 receives the detection result and the determination result of each item of the inclination angle 23b, the walking speed 23c, the rotation speed 23d and the vibration 23e described above from the map data creation device 20 via the transmission / reception unit 31. When this is done, the detection result and the determination result are displayed on the display unit 34, and if the range is not normal, for example, a red warning display is displayed and a warning vibration is generated.

携帯端末３０の制御部３２は、マップデータ作成装置２０で計測された傾斜角度２３ｂについて、図６に示すように表示部３４に傾斜角度の数値３４ａ，３４ａ’及び模式図３４ｂ，３４ｂ’を表示する。その際、例えば傾斜角度のしきい値を３０度とすると、マップデータ作成装置２０で計測された傾斜角度２３ｂが３０度を越えて正常範囲ではない場合には、図６（Ａ）に示すように傾斜角度の数値３４ａは、赤色で表示部３４に警告表示され、バイブレータによる警告振動も発生する。これに対して、マップデータ作成装置２０で計測された傾斜角度２３ｂが５度で正常範囲にある場合には、図６（Ｂ）に示すように傾斜角度の数値３４ａ’は緑色表示となる。 The control unit 32 of the mobile terminal 30 displays the numerical values 34a, 34a'and the schematic diagram 34b, 34b' of the tilt angle on the display unit 34 as shown in FIG. 6 for the tilt angle 23b measured by the map data creation device 20. do. At that time, for example, assuming that the threshold value of the tilt angle is 30 degrees, if the tilt angle 23b measured by the map data creation device 20 exceeds 30 degrees and is not in the normal range, as shown in FIG. 6 (A). The numerical value 34a of the inclination angle is displayed in red on the display unit 34, and a warning vibration is also generated by the vibrator. On the other hand, when the tilt angle 23b measured by the map data creation device 20 is 5 degrees and is within the normal range, the tilt angle numerical value 34a'is displayed in green as shown in FIG. 6B.

また、携帯端末３０の制御部３２は、マップデータ作成装置２０で計測された歩行速度２３ｃについて、図７に示すように表示部３４に歩行速度の数値３４ｃ，３４ｃ’及び模式図３４ｄ，３４ｄ’を表示する。その際、例えば歩行速度のしきい値を１０ｋｍ／ｈとすると、マップデータ作成装置２０で計測された歩行速度２３ｃが１０ｋｍ／ｈを越え正常範囲ではない場合には、図７（Ａ）に示すように、歩行速度の数値３４ｃは、赤色で表示部３４に警告表示され、バイブレータによる警告振動も発生する。これに対して、マップデータ作成装置２０で計測された歩行速度２３ｃが５ｋｍ／ｈで正常範囲にある場合には、図７（Ｂ）に示すように歩行速度の数値３４ｃ’は緑色表示となる。 Further, the control unit 32 of the mobile terminal 30 displays the walking speed values 34c, 34c'and the schematic diagrams 34d, 34d' on the display unit 34 for the walking speed 23c measured by the map data creating device 20. Is displayed. At that time, for example, assuming that the threshold value of the walking speed is 10 km / h, if the walking speed 23c measured by the map data creating device 20 exceeds 10 km / h and is not in the normal range, it is shown in FIG. 7 (A). As described above, the walking speed value 34c is displayed as a warning in red on the display unit 34, and a warning vibration is also generated by the vibrator. On the other hand, when the walking speed 23c measured by the map data creating device 20 is within the normal range at 5 km / h, the walking speed value 34c'is displayed in green as shown in FIG. 7 (B). ..

さらに、携帯端末３０の制御部３２は、マップデータ作成装置２０で計測された回転速度２３ｄについて、図８に示すように表示部３４に回転速度の表示３４ｅ，３４ｅ及び模式図３４ｆ，３４ｆ’を表示する。その際、例えば回転速度２３ｄが速すぎて正常範囲ではない場合には、図８（Ａ）に示すように、回転速度の表示３４ｅは赤色で表示され、バイブレータによる警告振動も発生する。これに対して、回転速度２３ｄが正常範囲にある場合には、図８（Ｂ）に示すように回転速度の表示３４ｅ’は緑色表示となる。 Further, the control unit 32 of the mobile terminal 30 displays the rotation speed displays 34e and 34e and the schematic diagrams 34f and 34f'on the display unit 34 as shown in FIG. 8 for the rotation speed 23d measured by the map data creation device 20. indicate. At that time, for example, when the rotation speed 23d is too fast to be in the normal range, the rotation speed display 34e is displayed in red as shown in FIG. 8A, and warning vibration by the vibrator is also generated. On the other hand, when the rotation speed 23d is in the normal range, the rotation speed display 34e'is displayed in green as shown in FIG. 8 (B).

携帯端末３０の制御部３２は、マップデータ作成装置２０の練習モードにおいて、マップデータ作成装置２０から送受信部３１を介して傾斜角度２３ｂ、歩行速度２３ｃ、回転速度２３ｄ及び振動２３ｅの各項目の検出結果及び判定結果を受信したとき、同様に検出結果及び判定結果を表示部３４に表示し、正常範囲でない場合には表示を例えば赤色の警告表示とし、また警告振動を発生させる。ここで、携帯端末３０の制御部３２は、練習モードにおいては検出結果及び判定結果を表示部３４に表示するだけでなく修正対応、すなわち正常範囲ではない項目について正常範囲内にするための修正方法を表示部３４に表示し、あるいは音声ガイドを発生するようにしてもよい。 In the practice mode of the map data creation device 20, the control unit 32 of the mobile terminal 30 detects each item of the inclination angle 23b, the walking speed 23c, the rotation speed 23d, and the vibration 23e from the map data creation device 20 via the transmission / reception unit 31. When the result and the determination result are received, the detection result and the determination result are similarly displayed on the display unit 34, and if the display is not in the normal range, the display is set to, for example, a red warning display, and a warning vibration is generated. Here, in the practice mode, the control unit 32 of the mobile terminal 30 not only displays the detection result and the determination result on the display unit 34, but also makes corrections, that is, a correction method for making an item that is not in the normal range within the normal range. May be displayed on the display unit 34, or voice guidance may be generated.

マップデータサーバ６０は適宜の箇所に設置されたサーバであり、例えば自動運転車両のためのマップデータ（以下、マップデータという）６１を登録する記憶部６２と、記憶部６２に対してマップデータ６１の読み書きや修正を含む各種管理を行なう制御部６３と、から構成されている。マップデータ６１は、自動運転車両等の運行範囲内の走行可能エリアに関して運転に必要な道路及び周辺環境に関するデータを含む。記憶部６２には、マップデータ６１がデータベースとして登録されており、位置情報に基づいて当該位置情報付近のマップデータ６１を読み出すことができる。 The map data server 60 is a server installed at an appropriate place, for example, a storage unit 62 for registering map data (hereinafter referred to as map data) 61 for an automatically driven vehicle, and a map data 61 for the storage unit 62. It is composed of a control unit 63 that performs various management including reading / writing and correction of the above. The map data 61 includes data on the road and the surrounding environment necessary for driving with respect to the travelable area within the operating range of the self-driving vehicle or the like. The map data 61 is registered as a database in the storage unit 62, and the map data 61 in the vicinity of the location information can be read out based on the location information.

制御部６３は、後述するように、マップデータ作成装置２０から送られてくるポイントクラウド２３ａに基づいて当該ポイントクラウドを記憶部６２に登録する。さらに制御部６３は、第三のネットワーク７０を介して自動運転車両８０と接続可能であり、自動運転車両８０からの要求に応じて記憶部６２からマップデータ６１を読み出し、第二のネットワーク７０を介して当該自動運転車両８０に対して送信する。この構成によれば、マップデータ作成装置２０により作成されたポイントクラウド２３ａが、逐次、あるいは一連のポイントクラウド２３ａの作成作業の終了後に一括して第二のネットワーク５０を介してマップデータサーバ６０に送信され、マップデータサーバ６０がポイントクラウド２３ａを一元管理することができる。 As will be described later, the control unit 63 registers the point cloud in the storage unit 62 based on the point cloud 23a sent from the map data creation device 20. Further, the control unit 63 can be connected to the autonomous driving vehicle 80 via the third network 70, reads map data 61 from the storage unit 62 in response to a request from the autonomous driving vehicle 80, and connects the second network 70. It is transmitted to the self-driving vehicle 80 via the above. According to this configuration, the point cloud 23a created by the map data creation device 20 is sequentially or collectively connected to the map data server 60 via the second network 50 after the completion of the creation work of the series of point clouds 23a. It is transmitted and the map data server 60 can centrally manage the point cloud 23a.

本発明によるマップデータ作成システム１０によるマップデータの作成作業は、図９に示すフローチャートに従って以下のように実行される。 The work of creating map data by the map data creating system 10 according to the present invention is executed as follows according to the flowchart shown in FIG.

まずステップＡ１にて使用者がマップデータ作成装置２０の電源を入れて自分の背中に背負った状態で、ステップＡ２にて携帯端末３０を操作して動作開始指令３０ａを第一のネットワーク４０を介してマップデータ作成装置２０に送信する。マップデータ作成装置２０の制御部２３は、ステップＡ３にて動作開始指令３０ａを第二のネットワーク５０を介してマップデータサーバ６０に送信する。 First, in step A1, the user turns on the map data creation device 20 and carries it on his / her back, and in step A2, he / she operates the mobile terminal 30 to issue an operation start command 30a via the first network 40. Is transmitted to the map data creation device 20. The control unit 23 of the map data creation device 20 transmits the operation start command 30a to the map data server 60 via the second network 50 in step A3.

これを受けて、マップデータサーバ６０の制御部６３は、ステップＡ４にてマップデータ６１を作成すべき場所を指定するマップデータの作成エリア６０ａを第二のネットワーク５０を介してマップデータ作成装置２０に送信する。マップデータ作成装置２０の制御部２３は、ステップＡ５にてマップデータの作成エリア６０ａを第一のネットワーク４０を介して携帯端末３０に送信する。これにより、携帯端末３０の制御部３２は、ステップＡ６にて表示部３４にマップデータ６１の作成エリア６０ａを表示する。 In response to this, the control unit 63 of the map data server 60 sets the map data creation area 60a that specifies the place where the map data 61 should be created in step A4 via the second network 50 to the map data creation device 20. Send to. In step A5, the control unit 23 of the map data creation device 20 transmits the map data creation area 60a to the mobile terminal 30 via the first network 40. As a result, the control unit 32 of the mobile terminal 30 displays the map data 61 creation area 60a on the display unit 34 in step A6.

使用者は、携帯端末３０の表示部３４に表示されたマップデータ６１の作成エリア６０ａを見て当該作成エリア６０ａまで移動し、当該作成エリア６０ａに到着したら、ステップＡ７にて携帯端末３０を操作すると、作業開始指令３０ｂを第一のネットワーク４０を介してマップデータ作成装置２０に送信する。同時に、使用者はマップデータ作成のための歩行を開始する。すると、マップデータ作成装置２０の制御部２３は、ステップＡ８にてマップデータ作成装置２０即ち使用者の姿勢チェックを行なう。 The user sees the creation area 60a of the map data 61 displayed on the display unit 34 of the mobile terminal 30 and moves to the creation area 60a, and when the user arrives at the creation area 60a, operates the mobile terminal 30 in step A7. Then, the work start command 30b is transmitted to the map data creating device 20 via the first network 40. At the same time, the user starts walking for creating map data. Then, the control unit 23 of the map data creation device 20 performs the map data creation device 20, that is, the posture check of the user in step A8.

本発明のマップデータ作成システム１０によれば、使用者がケースを背負った状態で歩行して、所定時間毎又は所定距離毎に撮像部２６の全方位カメラが周囲の静止画を撮像し、ライダー部２９の横ライダー２９ａ及び縦ライダーの検出信号Ｓ３に基づいて前方の三次元点群を生成する。そして、制御部２３がこれらの三次元点群を位置センサ２７からの検出信号Ｓ３による位置情報と互いに関連付けて使用者が歩行した範囲における三次元マップデータ６１としてのポイントクラウド２３ａが作成される。
本発明のマップデータ作成システム１０は可搬型のマップデータ作成装置２０を使用するので、使用者が当該マップデータ作成装置２０をバックパックのように背負って携行しながら歩行や自転車などで移動しつつ、道路及び周辺環境の三次元データマップとしてのポイントクラウド２３ａを作成することができ、自動車が通行できないような小道などのマップデータの作成や修正が可能になる。また、可搬型のマップデータ作成装置２０が小型で自動車搭載のマップデータ作成装置より低コストで構成されるから、マップデータ６１の作成及び修正のためのランニングコストが低減する。 According to the map data creation system 10 of the present invention, the user walks with the case on his back, and the omnidirectional camera of the imaging unit 26 captures a still image of the surroundings at predetermined time intervals or predetermined distance intervals, and the rider. A front three-dimensional point group is generated based on the detection signals S3 of the horizontal rider 29a and the vertical rider of the unit 29. Then, the control unit 23 associates these three-dimensional point clouds with the position information obtained by the detection signal S3 from the position sensor 27, and creates a point cloud 23a as the three-dimensional map data 61 in the range where the user walks.
Since the map data creation system 10 of the present invention uses the portable map data creation device 20, the user carries the map data creation device 20 on his back like a backpack while moving by walking or biking. , The point cloud 23a as a three-dimensional data map of the road and the surrounding environment can be created, and map data such as a path that a car cannot pass can be created or modified. Further, since the portable map data creating device 20 is small and configured at a lower cost than the map data creating device mounted on an automobile, the running cost for creating and modifying the map data 61 is reduced.

使用者の姿勢チェックは、図１０のフローチャートに従って以下のように行なわれる。マップデータ作成装置２０の制御部２３は、ステップＢ１にて図９によるマップデータ作成作業を中断し、ステップＢ２にて位置センサ２７及び姿勢検出センサ２８からの検出信号Ｓ３，Ｓ４に基づいて三軸方向の傾斜角度２３ｂ、歩行速度２３ｃ、回転速度２３ｄ及び振動２３ｅの各項目を検出すると共に、ステップＢ３にてこれらの傾斜角度２３ｂ、歩行速度２３ｃ、回転速度２３ｄ及び振動２３ｅの各項目の検出結果をそれぞれしきい値と比較して正常範囲か否かを判定する。そして、ステップＢ４にてこれらの検出結果及び判定結果を第一のネットワーク４０を介して携帯端末３０に送信する。 The posture check of the user is performed as follows according to the flowchart of FIG. The control unit 23 of the map data creation device 20 interrupts the map data creation work according to FIG. 9 in step B1, and in step B2, the three axes are based on the detection signals S3 and S4 from the position sensor 27 and the attitude detection sensor 28. Each item of inclination angle 23b, walking speed 23c, rotation speed 23d and vibration 23e in the direction is detected, and the detection result of each item of these inclination angles 23b, walking speed 23c, rotation speed 23d and vibration 23e in step B3. Is compared with the threshold value to determine whether or not it is within the normal range. Then, in step B4, these detection results and determination results are transmitted to the mobile terminal 30 via the first network 40.

これを受けて、携帯端末３０の制御部３２はステップＢ５にてこれらの検出結果及び判定結果を表示部３４に表示する。その際、表示部３４は、前述した各項目、即ち三軸方向の傾斜角度２３ｂ、歩行速度２３ｃ、回転速度２３ｄ及び振動２３ｅの各項目を順次に時系列で表示する。ステップＢ６にていずれの項目も正常範囲である場合には、ステップＢ７にてマップデータ作成作業を再開して姿勢チェック作業を終了し、図９によるマップデータ作成作業に戻る。 In response to this, the control unit 32 of the mobile terminal 30 displays these detection results and determination results on the display unit 34 in step B5. At that time, the display unit 34 sequentially displays each of the above-mentioned items, that is, each item of the inclination angle 23b in the triaxial direction, the walking speed 23c, the rotation speed 23d, and the vibration 23e in chronological order. If any of the items is within the normal range in step B6, the map data creation work is resumed in step B7, the posture check work is completed, and the process returns to the map data creation work according to FIG.

使用者の歩行中に三軸方向の傾斜角度２３ｂ、歩行速度２３ｃ、回転速度２３ｄ又は振動２３ｅの各項目に関して正常範囲であるか否かの判定結果が携帯端末３０の表示部３４に画面表示されるので、使用者は携帯端末３０の表示部３４を視認することで、自分の姿勢や歩行速度２３ｃ、角を曲がる際の回転速度２３ｄ及び振動２３ｅがそれぞれ正常範囲にあるか否かを視覚的に容易に把握することができる。上記各項目の判定結果のうち、正常範囲にない項目に関して使用者が姿勢、歩行速度２３ｃ、回転速度２３ｄ又は振動２３ｅを修正し、当該項目の検出結果が正常範囲内に収まると、判定結果が即時に表示され使用者は携帯端末３０の画面表示により当該項目が正常範囲に修正されたことを容易に把握することができる。
携帯端末３０の表示部３４には、マップデータ作成装置２０のシステム状態が表示されてもよい。このシステム状態としては、ケース２１ａ、撮像部２６の静止画カメラ２６ａ，２６ｂ及びライダー部２９の温度、電源部２０aのバッテリー残量、各センサ２７，２８の接続状態、記憶部２４のメモリの記憶容量の残量等が挙げられる。ケース２１ａの温度は、ケース２１ａ内に収容されるマップデータ作成装置２０の制御部２３や通信部２２等を搭載した基板の温度や、制御部２２に使用するＣＰＵやＧＰＵの温度が表示されてもよい。また、各センサ２７，２８の接続状態は、これらのセンサ２７，２８から出力されるデータを判断することにより接続状態の良否が表示される。 While the user is walking, the determination result of whether or not each item of the inclination angle 23b in the triaxial direction, the walking speed 23c, the rotation speed 23d, or the vibration 23e is within the normal range is displayed on the screen of the display unit 34 of the mobile terminal 30. Therefore, by visually recognizing the display unit 34 of the mobile terminal 30, the user can visually check whether or not his / her posture, walking speed 23c, rotation speed 23d when turning a corner, and vibration 23e are within the normal range. Can be easily grasped. Of the judgment results of each of the above items, when the user corrects the posture, walking speed 23c, rotation speed 23d or vibration 23e for items that are not in the normal range, and the detection result of the item falls within the normal range, the judgment result is obtained. It is displayed immediately and the user can easily grasp that the item has been corrected to the normal range by the screen display of the mobile terminal 30.
The system status of the map data creating device 20 may be displayed on the display unit 34 of the mobile terminal 30. The system states include the case 21a, the temperatures of the still image cameras 26a and 26b of the imaging unit 26 and the rider unit 29, the remaining battery level of the power supply unit 20a, the connection state of the sensors 27 and 28, and the storage of the memory of the storage unit 24. The remaining capacity and the like can be mentioned. As the temperature of the case 21a, the temperature of the board on which the control unit 23 and the communication unit 22 of the map data creation device 20 housed in the case 21a are mounted, and the temperature of the CPU and GPU used in the control unit 22 are displayed. May be good. Further, the connection state of each of the sensors 27 and 28 is displayed as good or bad by judging the data output from these sensors 27 and 28.

ステップＢ６にて正常範囲でない項目がある場合には、ステップＢ８にて所定時間が経過した後にステップＢ２に戻る。これにより、使用者が姿勢に関する各項目のうち正常範囲にない項目について修正し、正常範囲になるのを待ってマップデータ作成作業を再開することになる。
上記構成によれば、正常範囲にない項目に関して表示部３４の画面表示が警告表示となり警告音又は警告振動が発生するので、使用者は当該項目の検出結果が正常範囲にないことを視覚的に又は体感的により容易に把握して迅速に修正することが可能となる。 If there is an item that is not in the normal range in step B6, the process returns to step B2 after the predetermined time has elapsed in step B8. As a result, the user corrects each item related to the posture that is not in the normal range, waits for the normal range, and then restarts the map data creation work.
According to the above configuration, the screen display of the display unit 34 becomes a warning display for an item that is not in the normal range, and a warning sound or a warning vibration is generated. Therefore, the user visually indicates that the detection result of the item is not in the normal range. Alternatively, it becomes possible to grasp it more easily and to correct it quickly.

このようにしてステップＡ８の姿勢チェックが終了すると、マップデータ作成装置２０の制御部２３は、ステップＡ９にて撮像部２６及びライダー部２９に対して撮像を実行させて、ステップＡ１０にて位置センサ２７からの検出信号Ｓ３と姿勢検出センサ２８からの検出信号Ｓ４を受信し、ステップＡ１１にてライダー部２９の横ライダー２９ａ及び縦ライダー２９ｂからの検出信号Ｓ５及びＳ６を受信し、ステップＡ１２にて検出信号Ｓ５及びＳ６による三次元点群がマップデータの作成に適正か否かの判定を行なう。 When the posture check in step A8 is completed in this way, the control unit 23 of the map data creation device 20 causes the image pickup unit 26 and the rider unit 29 to perform imaging in step A9, and the position sensor in step A10. The detection signal S3 from 27 and the detection signal S4 from the attitude detection sensor 28 are received, and the detection signals S5 and S6 from the horizontal rider 29a and the vertical rider 29b of the rider unit 29 are received in step A11, and the detection signals S5 and S6 are received in step A12. It is determined whether or not the three-dimensional point group by the detection signals S5 and S6 is appropriate for creating the map data.

ここで、検出信号Ｓ５及びＳ６が適正でないと判定されると、ステップＡ１３にてマップデータ作成装置２０の制御部２３は再撮像確認信号２３ｆを作成し、第一のネットワーク４０を介して携帯端末３０に送信する。これを受けて携帯端末３０の制御部３２は、ステップＡ１４にて表示部３４に再撮像を確認する表示を行なう。マップデータ作成装置２０の制御部２３は、ステップＡ９に戻って再撮像を行なう。 Here, if it is determined that the detection signals S5 and S6 are not appropriate, the control unit 23 of the map data creation device 20 creates the re-imaging confirmation signal 23f in step A13, and the mobile terminal via the first network 40. Send to 30. In response to this, the control unit 32 of the mobile terminal 30 displays on the display unit 34 in step A14 to confirm the re-imaging. The control unit 23 of the map data creation device 20 returns to step A9 to perform reimaging.

これに対して、ステップＡ１２にて検出信号Ｓ５及びＳ６が適正であると判定されると、ステップＡ１５にてマップデータ作成装置２０の制御部２３は、これらの検出信号Ｓ３即ち位置情報と検出信号Ｓ５及びＳ６即ち進行方向前方の三次元点群を互いに関連付けて三次元マップデータとしてのポイントクラウド２３ａを作成する。そして、ステップＡ１６にてマップデータ作成装置２０の制御部２３は、検出信号Ｓ３による位置情報に基づいて当該マップデータの作成エリア６０ａで指定される範囲全体の撮像が完了したか否かを判断し、完了していない場合にはステップＡ１７にて例えば所定距離だけ水平方向に離れた撮像位置まで移動してステップＡ８に戻り、姿勢チェックの後、次の撮像を行なう。 On the other hand, if it is determined in step A12 that the detection signals S5 and S6 are appropriate, the control unit 23 of the map data creation device 20 in step A15 determines these detection signals S3, that is, the position information and the detection signal. S5 and S6, that is, the point cloud 23a as the three-dimensional map data is created by associating the three-dimensional point cloud in front of the traveling direction with each other. Then, in step A16, the control unit 23 of the map data creation device 20 determines whether or not the entire range designated by the map data creation area 60a has been imaged based on the position information obtained by the detection signal S3. If it is not completed, in step A17, for example, the image is moved to an image pickup position horizontally separated by a predetermined distance, the process returns to step A8, the posture is checked, and then the next image pickup is performed.

これに対して、ステップＡ１６にて撮像が完了した場合には、マップデータ作成装置２０の制御部２３はステップＡ１８にて撮像毎に作成したポイントクラウド２３ａを一括して、第二のネットワーク５０を介してマップデータサーバ６０に送信する。 On the other hand, when the imaging is completed in step A16, the control unit 23 of the map data creation device 20 collectively collects the point cloud 23a created for each imaging in step A18 and sets the second network 50. It is transmitted to the map data server 60 via.

これにより、ステップＡ１９にてマップデータサーバ６０の制御部６３は、受信したポイントクラウド２３ａを記憶部６２に登録されているマップデータ６１に追加登録する。以上で、マップデータの作成作業が完了する。 As a result, in step A19, the control unit 63 of the map data server 60 additionally registers the received point cloud 23a in the map data 61 registered in the storage unit 62. This completes the map data creation work.

次に、初心者の使用のための練習モードによる使用者の習熟作業について、図１１のフローチャートに従って以下に説明する。
練習モードでは、マップデータ作成装置２０を背負った使用者が短時間、例えば数分間から１５分程度の練習時間Ｔだけ歩行することにより、マップデータ作成装置２０そして使用者の上半身の姿勢、即ち三軸方向の傾斜角度２３ｂ、歩行速度２３ｃ、回転速度２３ｄ及び振動２３ｅの各項目を検出して各項目の検出結果をそれぞれしきい値と比較する。これにより、各項目の検出結果がしきい値以下に収まるように、携帯端末３０の表示部３４における画面表示で修正の指示を行なうことで、マップデータ作成時の姿勢を使用者に体感させる。 Next, the user's proficiency work in the practice mode for beginners' use will be described below according to the flowchart of FIG.
In the practice mode, the user carrying the map data creation device 20 walks for a short time, for example, a practice time T of about several minutes to 15 minutes, so that the map data creation device 20 and the posture of the upper body of the user, that is, three. Each item of the axial inclination angle 23b, the walking speed 23c, the rotation speed 23d, and the vibration 23e is detected, and the detection result of each item is compared with the threshold value. As a result, the user is made to experience the posture at the time of map data creation by instructing the correction on the screen display on the display unit 34 of the mobile terminal 30 so that the detection result of each item is within the threshold value.

図１１のフローチャートにおいて、まずステップＣ１にてマップデータ作成装置２０の電源部２０ａのスイッチを入れて使用者の背中に背負った状態で、ステップＣ２にて携帯端末３０の操作により練習開始指令３０ｃを第一のネットワーク４０を介してマップデータ作成装置２０に送信する。マップデータ作成装置２０の制御部２３は、ステップＣ３にてその動作を練習モードに切り替えて、ステップＣ４にて歩行開始信号２３ｇを作成し、第一のネットワーク４０を介して携帯端末３０に送信する。これを受けて携帯端末３０の制御部３２は、ステップＣ５にて表示部３４に練習モードの歩行開始の旨を表示する。 In the flowchart of FIG. 11, first, in step C1, the power supply unit 20a of the map data creation device 20 is switched on and carried on the back of the user, and in step C2, the practice start command 30c is issued by operating the mobile terminal 30. It is transmitted to the map data creation device 20 via the first network 40. The control unit 23 of the map data creation device 20 switches the operation to the practice mode in step C3, creates a walking start signal 23g in step C4, and transmits the walking start signal 23g to the mobile terminal 30 via the first network 40. .. In response to this, the control unit 32 of the mobile terminal 30 displays on the display unit 34 in step C5 that walking in the practice mode has started.

使用者が歩行を開始すると、ステップＣ６にてマップデータ作成装置２０の制御部２３は、位置センサ２７及び姿勢検出センサ２８からの検出信号Ｓ３，Ｓ４に基づいて三軸方向の傾斜角度２３ｂ、歩行速度２３ｃ、回転速度２３ｄ及び振動２３ｅの各項目を検出し、ステップＣ７にてこれらの傾斜角度２３ｂ、歩行速度２３ｃ、回転速度２３ｄ及び振動２３ｅの各項目の検出結果をそれぞれしきい値と比較して正常範囲か否かを判定する。マップデータ作成装置２０の制御部２３は、ステップＣ８にてこれらの検出結果及び判定結果を第一のネットワーク４０を介して携帯端末３０に送信する。 When the user starts walking, in step C6, the control unit 23 of the map data creation device 20 walks at an inclination angle of 23b in the triaxial direction based on the detection signals S3 and S4 from the position sensor 27 and the attitude detection sensor 28. Each item of speed 23c, rotation speed 23d and vibration 23e is detected, and the detection results of each item of inclination angle 23b, walking speed 23c, rotation speed 23d and vibration 23e are compared with the threshold value in step C7. To determine whether it is within the normal range. In step C8, the control unit 23 of the map data creation device 20 transmits these detection results and determination results to the mobile terminal 30 via the first network 40.

携帯端末３０の制御部３２は、ステップＣ９にてこれらの検出結果及び判定結果を表示部３４に表示する。即ち三軸方向の傾斜角度２３ｂ、歩行速度２３ｃ、回転速度２３ｄ及び振動２３ｅの各項目を順次に時系列で表示する。ステップＣ１０にていずれの項目も正常範囲である場合には、ステップＣ１１にて所定時間ｔだけ経過した後にステップＣ１２にて練習モード開始から練習時間Ｔが経過しているか否かを判断し、練習時間Ｔが経過していない場合にはステップＣ６に戻る。 The control unit 32 of the mobile terminal 30 displays these detection results and determination results on the display unit 34 in step C9. That is, each item of the inclination angle 23b in the triaxial direction, the walking speed 23c, the rotation speed 23d, and the vibration 23e is sequentially displayed in chronological order. If any of the items is within the normal range in step C10, after the predetermined time t has elapsed in step C11, it is determined in step C12 whether or not the practice time T has elapsed from the start of the practice mode, and practice is performed. If the time T has not elapsed, the process returns to step C6.

ステップＣ１０にて正常範囲でない項目がある場合には、マップデータ作成装置２０の制御部２３は、ステップＣ１３にて当該項目に関する修正対応２３ｈを作成し、第一のネットワーク４０を介して携帯端末３０に送信する。これを受けて、携帯端末３０の制御部３２は、ステップＣ１４にて当該項目の表示部３４への検出結果及び判定結果の表示を行なう際に、この修正対応２３ｈに基づいて当該項目の検出結果を正常範囲にするための方策を併せて表示しあるいは音声メッセージを発生させる。 If there is an item that is not in the normal range in step C10, the control unit 23 of the map data creation device 20 creates a correction response 23h for the item in step C13, and the mobile terminal 30 via the first network 40. Send to. In response to this, when the control unit 32 of the mobile terminal 30 displays the detection result and the determination result on the display unit 34 of the item in step C14, the detection result of the item is based on the modification correspondence 23h. Also display measures to bring the to normal range or generate a voice message.

使用者は、携帯端末３０の表示部３４に表示される上記方策を視認しあるいは音声メッセージを聞き取り、各項目が正常範囲となるように姿勢を修正する。その後、マップデータ作成装置２０の制御部２３は、ステップＣ１５にて所定時間ｔ経過後にステップＣ１２に進む。 The user visually recognizes the above-mentioned measure displayed on the display unit 34 of the mobile terminal 30 or listens to a voice message, and corrects the posture so that each item is within the normal range. After that, the control unit 23 of the map data creation device 20 proceeds to step C12 after a predetermined time t has elapsed in step C15.

ここで、使用者が姿勢を正しく修正した場合には、ステップＣ１０にて各項目の検出結果がすべて正常範囲になる。マップデータ作成装置２０の制御部２３は、ステップＣ６以降の作業を練習時間Ｔの間繰り返し実行することにより、ステップＣ１２にて練習時間Ｔが経過すると練習モードが終了する。 Here, if the user corrects the posture correctly, the detection results of each item are all within the normal range in step C10. The control unit 23 of the map data creating device 20 repeatedly executes the work after step C6 during the practice time T, and the practice mode ends when the practice time T elapses in the step C12.

マップデータ作成装置２０は、所謂システムエラーに対して以下のように動作し、ハードウェア及び各種センサの不具合やソフトウェアの不具合などのシステムエラーによる不具合を回避することができる。ハードウェアの不具合は、具体的にはライダー部２９の接触不良や回転停止、電源部２０ａのバッテリー残量が少ない等があるが、このようなハードウェアの不具合は制御部２３が検出する。ソフトウェアの不具合も、同様にして制御部２３が検出する。 The map data creation device 20 operates as follows in response to a so-called system error, and can avoid defects due to system errors such as hardware and various sensor defects and software defects. Specific hardware defects include poor contact of the rider unit 29, rotation stoppage, low battery level of the power supply unit 20a, and the like. Such hardware defects are detected by the control unit 23. Similarly, the control unit 23 detects a software defect.

マップデータ作成装置２０の制御部２３は、このようなハードウェア又はソフトウェアの不具合を検出した場合には、エラー発生信号を第一のネットワーク４０を介して携帯端末３０に送信し、第二のネットワーク５０を介してマップデータサーバ６０に送信すると共に、マップデータ作成作業を中止する。 When the control unit 23 of the map data creation device 20 detects such a hardware or software defect, it transmits an error occurrence signal to the mobile terminal 30 via the first network 40, and the second network. It is transmitted to the map data server 60 via 50, and the map data creation work is stopped.

使用者が移動している間、マップデータ作成装置２０の制御部２３は、例えば所定距離毎に横ライダー２９ａ及び縦ライダー２９ｂからの検出信号Ｓ５及びＳ５から生成される三次元点群に基づいて、進行方向前方の物体の高さ位置を検知すると共に、進行方向前方の空間の幅を検知している。そして、高さ位置が所定高さ以下である場合には、高さ警告信号を第一のネットワーク４０を介して携帯端末３０に送信し、幅が所定幅以下である場合に、幅警告信号を第一のネットワーク４０を介して携帯端末３０に送信すると共に、マップデータの作成作業を中断する。 While the user is moving, the control unit 23 of the map data creation device 20 is based on, for example, three-dimensional point clouds generated from the detection signals S5 and S5 from the horizontal rider 29a and the vertical rider 29b at predetermined distance intervals. , The height position of the object in front of the traveling direction is detected, and the width of the space in front of the traveling direction is detected. Then, when the height position is equal to or less than the predetermined height, the height warning signal is transmitted to the mobile terminal 30 via the first network 40, and when the width is equal to or less than the predetermined width, the width warning signal is transmitted. It is transmitted to the mobile terminal 30 via the first network 40, and the map data creation work is interrupted.

これにより、携帯端末３０は高さ警告信号又は幅警告信号を受け取ったとき、表示部３４に高さ警告表示または幅警告表示を画面表示しあるいは警告音又は警告振動を発生させる。使用者は、高さ警告表示又は幅警告表示に対して確認操作を行なうと、携帯端末３０の制御部３２は確認信号を第一のネットホーク４０を介してマップデータ作成装置２０に送信する。これを受けて、マップデータ作成装置２０の制御部２３は、マップデータ作成作業を再開する。なお、使用者が高さ警告表示を確認する際、ケース２１から支持部材２５を取り外して支持部材２５を手持ちすることにより、マップデータ作成装置２０の全高を低くしてマップデータ作成作業を再開することも可能である。 As a result, when the mobile terminal 30 receives the height warning signal or the width warning signal, the height warning display or the width warning display is displayed on the screen of the display unit 34, or a warning sound or a warning vibration is generated. When the user performs a confirmation operation on the height warning display or the width warning display, the control unit 32 of the mobile terminal 30 transmits the confirmation signal to the map data creation device 20 via the first nethawk 40. In response to this, the control unit 23 of the map data creation device 20 resumes the map data creation work. When the user confirms the height warning display, the support member 25 is removed from the case 21 and the support member 25 is held by hand to lower the total height of the map data creation device 20 and restart the map data creation work. It is also possible.

上記練習モードによれば、本マップデータ作成装置を背負った状態で短時間だけ歩行することで、当該初心者の歩行時における姿勢の検出結果、即ち三軸方向の傾斜角度２３ｂそして正常範囲でない場合の判定結果が携帯端末３０の表示部３４に表示される。従って、当該初心者は自分の歩行時の姿勢のクセや傾向を客観的に把握し、さらに正常範囲となるように修正することができる。当該初心者の歩行時における歩行速度２３ｃ，回転速度２３ｄ及び振動２３ｅの各項目の検出結果、そして正常範囲にあるか否かの判定結果も携帯端末３０の表示部３４に表示されるので、自分の歩行時の歩行速度２３ｃ、回転速度２３ｄ及び振動２３ｅのクセや傾向を客観的に把握し、さらに正常範囲となるように修正することができる。 According to the above practice mode, by walking for a short time while carrying the map data creation device on the back, the posture detection result at the time of walking of the beginner, that is, the inclination angle 23b in the triaxial direction and the case where the normal range is not obtained. The determination result is displayed on the display unit 34 of the mobile terminal 30. Therefore, the beginner can objectively grasp the habit and tendency of his / her walking posture and correct it so that it is within the normal range. Since the detection results of each item of the walking speed 23c, the rotation speed 23d, and the vibration 23e during walking of the beginner, and the determination result of whether or not they are within the normal range are also displayed on the display unit 34 of the mobile terminal 30, one's own. The habits and tendencies of the walking speed 23c, the rotation speed 23d, and the vibration 23e during walking can be objectively grasped and corrected so as to be within the normal range.

本発明はその趣旨を逸脱しない範囲において様々な形態で実施することができる。携帯端末３０はスマートホン，タブレット等のスマートデバイスに限らず、ノートパソコン等の携帯端末であってもよいことは明らかである。使用者が所持しているスマートホン，タブレット等の各種スマートデバイスを使用すれば初期投資がほぼ不要となり、低コストで且つ容易に、正しい姿勢で、自動運転車両８０等のためのマップデータ６１の作成を行なうことができる。 The present invention can be implemented in various forms without departing from the spirit of the present invention. It is clear that the mobile terminal 30 is not limited to a smart device such as a smart phone or a tablet, but may be a mobile terminal such as a notebook computer. If various smart devices such as smart phones and tablets owned by the user are used, the initial investment is almost unnecessary, and the map data 61 for the autonomous driving vehicle 80 etc. can be easily performed at low cost and in the correct posture. Can be created.

撮像部２６は、水平方向の画角が２２０度の二台のカメラ２６ａ，２６ｂによって全方位カメラを構成しているが、複数台のカメラを各カメラの水平方向の画角を互いにオーバーラップさせて等角度間隔に配置することによって、全方位カメラを構成してもよい。例えば、水平方向の画角が５０度のカメラを五台使用して、互いに７２度の等角度間隔に配置することによっても、全方位カメラを構成することが可能である。 The image pickup unit 26 constitutes an omnidirectional camera by two cameras 26a and 26b having a horizontal angle of view of 220 degrees, but the plurality of cameras overlap each other with the horizontal angle of view of each camera. The omnidirectional cameras may be configured by arranging them at equal angle intervals. For example, it is possible to configure an omnidirectional camera by using five cameras having a horizontal angle of view of 50 degrees and arranging them at equal intervals of 72 degrees from each other.

１０…マップデータ作成システム； ２０…マップデータ作成装置；
２０ａ…電源部； ２１…バックパック状のケース； ２１ａ…ショルダーベルト；
２２…通信部； ２３…制御部； ２３ａ…ポイントクラウド； ２３ｂ…傾斜角度；
２３ｃ…歩行速度； ２３ｄ…回転速度； ２３ｅ…振動； ２３ｆ…再撮像確認信号； ２３ｇ…歩行開始信号； ２３ｈ…修正対応； ２４…記憶部； ２５…支持部材；
２６…撮像部； ２６ａ，２６ｂ…カメラ； ２７…位置センサ； ２８…姿勢検出センサ； ２９…ライダー部； ２９ａ…横ライダー； ２９ｂ…縦ライダー；
３０…携帯端末； ３０ａ…動作開始指令； ３０ｂ…作業開始指令； ３０ｃ…練習開始指令； ３１…送受信部； ３２…制御部； ３３…記憶部； ３４…表示部；
３４ａ，３４ａ’…傾斜角度の数値； ３４ｂ，３４ｂ’…傾斜角度の模式図；
３４ｃ，３４ｃ’…歩行速度の数値； ３４ｄ，３４ｄ’…歩行速度の模式図；
３４ｅ，３４ｅ’…回転速度の表示； ３４ｆ，３４ｆ’…回転速度の模式図；
４０…第一のネットワーク； ５０…第二のネットワーク； ６０…マップデータサーバ； ６０ａ…作成エリア； ６１…マップデータ； ６２…記憶部； ６３…制御部；
７０…第三のネットワーク； ８０…自動運転車両； Ｓ１～Ｓ６…検出信号 10 ... Map data creation system; 20 ... Map data creation device;
20a ... Power supply unit; 21 ... Backpack-shaped case; 21a ... Shoulder belt;
22 ... Communication unit; 23 ... Control unit; 23a ... Point cloud; 23b ... Tilt angle;
23c ... Walking speed; 23d ... Rotational speed; 23e ... Vibration; 23f ... Re-imaging confirmation signal; 23g ... Walking start signal; 23h ... Correction support; 24 ... Storage unit; 25 ... Support member;
26 ... Imaging unit; 26a, 26b ... Camera; 27 ... Position sensor; 28 ... Posture detection sensor; 29 ... Rider unit; 29a ... Horizontal rider; 29b ... Vertical rider;
30 ... Mobile terminal; 30a ... Operation start command; 30b ... Work start command; 30c ... Practice start command; 31 ... Transmission / reception unit; 32 ... Control unit; 33 ... Storage unit; 34 ... Display unit;
34a, 34a'... Numerical values of tilt angle; 34b, 34b' ... Schematic diagram of tilt angle;
34c, 34c'... Numerical value of walking speed; 34d, 34d' ... Schematic diagram of walking speed;
34e, 34e'... Rotation speed display; 34f, 34f' ... Schematic diagram of rotation speed;
40 ... first network; 50 ... second network; 60 ... map data server; 60a ... creation area; 61 ... map data; 62 ... storage unit; 63 ... control unit;
70 ... Third network; 80 ... Self-driving vehicle; S1 to S6 ... Detection signal

Claims (10)

ケースと、該ケース内に配置された通信部、制御部及び記憶部と、ケースから上方に延びる支持部材の上端付近に配置され周囲を撮像する撮像部と、前記支持部材に取り付けられたライダー部と位置センサと姿勢検出センサと、を備えたマップデータ作成装置と、
使用者が保持し且つ前記マップデータ作成装置の通信部と第１のネットワークを介して接続される携帯端末と、
から構成され、
使用者が前記ケースを携帯して移動することで前記撮像部により周囲を撮像し、前記ライダー部の検出信号により周囲の三次元点群を生成すると共に、前記位置センサにより現在位置の位置情報を検出し、前記制御部が前記三次元点群及び位置情報を互いに関連付けて三次元マップデータとしてのポイントクラウドを作成する、マップデータ作成システムであって、
使用者が前記ケースを携帯して移動する際に、前記制御部が前記姿勢検出センサ及び位置センサからの検出信号に対応してそのときの三軸方向の傾斜角度、移動速度、回転速度又は振動を検出し、これら傾斜角度、移動速度、回転速度又は振動の各項目の検出結果を前記携帯端末に送信し、
前記携帯端末が、受信した前記検出結果を表示部に画面表示する、
マップデータ作成システム。 A case, a communication unit, a control unit and a storage unit arranged in the case, an image pickup unit arranged near the upper end of a support member extending upward from the case and taking an image of the surroundings, and a rider unit attached to the support member. A map data creation device equipped with a position sensor and an attitude detection sensor,
A mobile terminal held by the user and connected to the communication unit of the map data creation device via the first network, and
Consists of
When the user carries and moves the case, the image pickup unit captures the surroundings, the detection signal of the rider unit generates a surrounding three-dimensional point cloud, and the position sensor obtains the position information of the current position. A map data creation system in which the control unit detects and creates a point cloud as 3D map data by associating the 3D point cloud and position information with each other.
When the user carries and moves the case, the control unit responds to the detection signals from the attitude detection sensor and the position sensor, and the tilt angle, movement speed, rotation speed, or vibration in the triaxial direction at that time. Is detected, and the detection result of each item of the inclination angle, the moving speed, the rotation speed or the vibration is transmitted to the mobile terminal.
The mobile terminal displays the received detection result on the screen on the display unit.
Map data creation system. 前記制御部が、前記各項目の検出結果に関してそれぞれしきい値と比較して正常範囲か否かを判定してその判定結果を前記携帯端末に送信し、
前記携帯端末が、受信した前記判定結果を表示部に画面表示する、請求項１に記載のマップデータ作成システム。 The control unit determines whether or not the detection result of each item is within the normal range by comparing with the threshold value, and transmits the determination result to the mobile terminal.
The map data creation system according to claim 1, wherein the mobile terminal displays the received determination result on a screen on the display unit. 前記携帯端末が、前記判定結果のうち正常範囲でない項目に関して表示部の画面表示を警告表示とする、請求項２に記載のマップデータ作成システム。 The map data creation system according to claim 2, wherein the mobile terminal displays a warning on the screen of the display unit for an item of the determination result that is not in the normal range. 前記携帯端末が、前記判定結果のうち正常範囲でない項目に関して警告音を発生させる、請求項２又は３に記載のマップデータ作成システム。 The map data creation system according to claim 2 or 3, wherein the mobile terminal generates a warning sound for an item of the determination result that is not in the normal range. 前記携帯端末が、前記判定結果のうち正常範囲でない項目に関して警告振動を発生させる、請求項２から４の何れかに記載のマップデータ作成システム。 The map data creation system according to any one of claims 2 to 4, wherein the mobile terminal generates a warning vibration with respect to an item in the determination result that is not in the normal range. 前記ライダー部が、前方に向かって水平方向を検出する横ライダーと前方に向かって垂直方向を検出する縦ライダーとから構成され、
前記制御部が、前記撮像部からの撮像信号及び前記横ライダー及び縦ライダーの検出信号から生成される三次元点群に基づいて、当該マップデータ作成装置の進行方向前方の物体の高さ位置を検知してその高さ位置が所定高さ以下である場合に高さ警告信号を前記携帯端末に送信し、
前記携帯端末が、受信した高さ警告信号に基づいて表示部に高さ警告表示を画面表示しあるいは警告音又は警告振動を発生させる、請求項１から５の何れかに記載のマップデータ作成システム。 The rider unit is composed of a horizontal rider that detects the horizontal direction toward the front and a vertical rider that detects the vertical direction toward the front.
The control unit determines the height position of the object in front of the map data creation device in the traveling direction based on the three-dimensional point group generated from the image pickup signal from the image pickup unit and the detection signals of the horizontal rider and the vertical rider. When it is detected and the height position is equal to or less than the predetermined height, a height warning signal is transmitted to the mobile terminal.
The map data creation system according to any one of claims 1 to 5, wherein the mobile terminal displays a height warning display on the screen or generates a warning sound or warning vibration based on the received height warning signal. .. 前記制御部が、前記撮像部からの撮像信号及び前記横ライダー及び縦ライダーの検出信号から生成される三次元点群に基づいて当該マップデータ作成装置の進行方向の空間の幅を検知し、その幅が所定幅以下である場合に幅警告信号を前記携帯端末に送信し、
前記携帯端末が、受信した幅警告信号に基づいて表示部に幅警告表示を画面表示しあるいは警告音又は警告振動を発生させる、請求項６に記載のマップデータ作成システム。 The control unit detects the width of the space in the traveling direction of the map data creation device based on the three-dimensional point cloud generated from the image pickup signal from the image pickup unit and the detection signals of the horizontal rider and the vertical rider. When the width is equal to or less than the predetermined width, a width warning signal is transmitted to the mobile terminal.
The map data creation system according to claim 6, wherein the mobile terminal displays a width warning display on a screen or generates a warning sound or warning vibration on a display unit based on a received width warning signal. 前記制御部が、初心者の使用のための練習モードを備え、
前記制御部が、前記練習モードにて使用者がマップデータ作成装置を携帯した状態での試用時に、前記姿勢検出センサ及び位置センサからの検出信号に基づいて三軸方向の傾斜角度を検出し、各傾斜角度をそれぞれしきい値と比較して正常範囲か否かを判定し、検出結果の傾斜角度と正常範囲でない傾斜角度に関して判定結果を前記携帯端末に送信し、
前記携帯端末が、受信した傾斜角度及び判定結果を前記表示部に画面表示する、請求項１から７の何れかに記載のマップデータ作成システム。 The control unit comprises a practice mode for beginner use.
The control unit detects the tilt angle in the triaxial direction based on the detection signals from the attitude detection sensor and the position sensor when the user is carrying the map data creation device in the practice mode. Each tilt angle is compared with the threshold value to determine whether or not it is within the normal range, and the determination result is transmitted to the mobile terminal regarding the tilt angle of the detection result and the tilt angle that is not in the normal range.
The map data creation system according to any one of claims 1 to 7, wherein the mobile terminal displays a received tilt angle and a determination result on a screen on the display unit. 前記制御部が、前記練習モードにて試用開始後に前記姿勢検出センサ及び位置センサからの検出信号に基づいて移動速度，回転速度及び振動の各項目を検出し、各項目の検出結果をそれぞれしきい値と比較して正常範囲か否かを判定し、各項目の検出結果と正常範囲でない項目に関して判定結果を前記携帯端末に送信し、
前記携帯端末が、受信した前記検出結果，判定結果及び修正対応を表示部に画面表示する、請求項８に記載のマップデータ作成システム。 After the trial is started in the practice mode, the control unit detects each item of movement speed, rotation speed, and vibration based on the detection signals from the attitude detection sensor and the position sensor, and determines the detection result of each item. It is determined whether or not it is within the normal range by comparing it with the value, and the detection result of each item and the determination result for the items that are not in the normal range are transmitted to the mobile terminal.
The map data creation system according to claim 8, wherein the mobile terminal displays the received detection result, determination result, and correction response on the screen. さらに、マップデータの保存及び管理を行なうマップデータサーバを備え、
前記マップデータ作成装置が第二のネットワークを介して前記マップデータサーバに接続され、
前記マップデータ作成装置の制御部が、作成されたポイントクラウドを前記第二のネットワークを介して前記マップデータサーバに送信し、
前記マップデータサーバが、受信したポイントクラウドをデータベースとして登録する、請求項１から９の何れかに記載のマップデータ作成システム。 In addition, it is equipped with a map data server that stores and manages map data.
The map data creation device is connected to the map data server via a second network, and the map data creation device is connected to the map data server.
The control unit of the map data creation device transmits the created point cloud to the map data server via the second network.
The map data creation system according to any one of claims 1 to 9, wherein the map data server registers the received point cloud as a database.
JP2020131205A 2020-07-31 2020-07-31 Map data creation system Active JP7079451B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020131205A JP7079451B2 (en) 2020-07-31 2020-07-31 Map data creation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020131205A JP7079451B2 (en) 2020-07-31 2020-07-31 Map data creation system

Publications (2)

Publication Number Publication Date
JP2022027295A JP2022027295A (en) 2022-02-10
JP7079451B2 true JP7079451B2 (en) 2022-06-02

Family

ID=80264446

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020131205A Active JP7079451B2 (en) 2020-07-31 2020-07-31 Map data creation system

Country Status (1)

Country Link
JP (1) JP7079451B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018206003A (en) 2017-06-02 2018-12-27 キヤノン電子株式会社 Portable terminal with laser scanner
WO2019103150A1 (en) 2017-11-27 2019-05-31 三菱電機株式会社 Map maintenance system and map maintenance method
WO2019163005A1 (en) 2018-02-20 2019-08-29 三菱電機株式会社 Measurement monitoring apparatus and measurement monitoring program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018206003A (en) 2017-06-02 2018-12-27 キヤノン電子株式会社 Portable terminal with laser scanner
WO2019103150A1 (en) 2017-11-27 2019-05-31 三菱電機株式会社 Map maintenance system and map maintenance method
WO2019163005A1 (en) 2018-02-20 2019-08-29 三菱電機株式会社 Measurement monitoring apparatus and measurement monitoring program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
進藤 智則，「Cool Topic グーグルの地図作成支えるＳＬＡＭ技術 リアルタイムでのループクロージャが必要な訳」，ＮＩＫＫＥＩ Ｒｏｂｏｔｉｃｓ 第１３号 ，日本，日経ＢＰ社，2016年07月10日，p.6-7

Also Published As

Publication number Publication date
JP2022027295A (en) 2022-02-10

Similar Documents

Publication Publication Date Title
JP7058233B2 (en) Vehicle control devices, vehicle control methods, and programs
US20190250619A1 (en) Autonomous bicycle
US8666571B2 (en) Flight control system for flying object
US20160161602A1 (en) Sensor calibration for autonomous vehicles
US11181902B2 (en) Remote operation system, transportation system, and remote operation method
JP2021144732A (en) Control device, control method, control program and control system
EP3867136A1 (en) Detecting types of travel corridors on which personal mobility vehicles travel
CN109144057A (en) A kind of guide vehicle based on real time environment modeling and autonomous path planning
JP7096183B2 (en) Vehicle control systems, vehicle control methods, and programs
JP2012105557A (en) Automatic lawn mower
US20190250615A1 (en) Autonomous Skateboard
WO2008068849A1 (en) Navigation system, portable terminal device, and peripheral-image display method
US20210349465A1 (en) Autonomous scooter
CN111284498A (en) Driving support device, system, method, wearable device, and storage medium
JP2007240380A (en) Intra-tunnel position detector
KR20190084896A (en) System for controlling drone inculding gimbal and drone device using voice and method for controlling group drone
JP2017227463A (en) Position and attitude determination device
TW201927610A (en) Safety confirmation evaluating device, on-vehicle device, safety confirmation evaluation system having the two, safety confirmation evaluation method, and safety confirmation evaluation program
JP2022039951A (en) Vehicle travel control device
KR20200032547A (en) Device of augmented reality games for self-driving vehicles and method for the same
JP7003699B2 (en) Field work vehicle management system
KR102163462B1 (en) Path-finding Robot and Mapping Method Using It
JP7079451B2 (en) Map data creation system
JP6850643B2 (en) Autonomous movement control device, moving body, autonomous movement control method and program
CN115718487A (en) Self-moving equipment pose determining method and device, self-moving equipment and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210520

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220422

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220513

R150 Certificate of patent or registration of utility model

Ref document number: 7079451

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150