JP7046402B1

JP7046402B1 - Information display device and information display program

Info

Publication number: JP7046402B1
Application number: JP2021079936A
Authority: JP
Inventors: 吉穗坂口
Original assignee: 齊藤建設株式会社
Priority date: 2021-05-10
Filing date: 2021-05-10
Publication date: 2022-04-04
Anticipated expiration: 2041-05-10
Also published as: JP2022173892A

Abstract

【課題】消波ブロックの据付範囲を仮想的に表示すること。【解決手段】情報表示装置１００は、消波ブロックの据付施工の設計データに基づいて、消波ブロックの据付範囲を示す３次元モデルを生成する３次元モデル生成手段と、３次元モデル生成手段によって生成された３次元モデルを、消波ブロックの据付現場の映像に重畳して表示する表示手段と、表示手段によって表示された映像において、複合現実の技術を用いて、消波ブロック据付の規格範囲外に位置する消波ブロックと、消波ブロック据付の規格範囲内に位置する消波ブロックの表示方法を変化させる表示方法変化手段とを備える。【選択図】図１PROBLEM TO BE SOLVED: To virtually display an installation range of a wave-dissipating block. An information display device 100 uses a three-dimensional model generation means for generating a three-dimensional model indicating an installation range of a wave-dissipating block and a three-dimensional model generation means based on design data for installation of the wave-dissipating block. A display means that superimposes the generated 3D model on the image of the installation site of the wave-dissipating block, and a standard range of wave-dissipating block installation using the combined reality technology in the image displayed by the display means. It is provided with a wave-dissipating block located outside and a display method changing means for changing the display method of the wave-dissipating block located within the standard range for installing the wave-dissipating block. [Selection diagram] Fig. 1

Description

本発明は、情報表示装置、および情報表示プログラムに関する。 The present invention relates to an information display device and an information display program.

次のようなブロック体の設置方法が知られている。このブロック体の設置方法では、構造物の側面の上縁部に一又は複数の保護部材を移動可能に配置し、ブロック体を吊り下ろす際に、ブロック体の吊り下ろし位置に合わせて保護部材を上縁部に沿って移動させることによって、ブロック体と構造物との接触による構造物の破損を防止している（例えば、特許文献１）。 The following methods of installing blocks are known. In this method of installing the block body, one or more protective members are movably arranged on the upper edge of the side surface of the structure, and when the block body is hung, the protective member is arranged according to the hanging position of the block body. By moving along the upper edge portion, damage to the structure due to contact between the block body and the structure is prevented (for example, Patent Document 1).

特開２０２０－１５３０９６号公報Japanese Unexamined Patent Publication No. 2020-153096

従来、海岸での消波ブロックの設置では、事前に現地に木製の定規を所定間隔で設置してその定規を目安にブロックを据付けていた。この場合、消波ブロックの据付けを底部から積み上がるにつれて定規が障害となるため定規の撤去が必要となり、据付中盤以降は定規無しで作業が行われていた。また、港湾での消波ブロックの設置では、海中から海上での作業となるために定規の設置が不可能であった。このように、従来、消波ブロックの設置に当たっては定規などの目安なしに作業が行われることがあったため、消波ブロックを設計通りに設置するのが困難であった。このため、この問題を解決するための技術が求められているが、従来は、このような問題を解決するための技術については何ら検討されていなかった。 Conventionally, when installing a wave-dissipating block on the coast, wooden rulers were installed at predetermined intervals in advance, and the blocks were installed using the ruler as a guide. In this case, as the installation of the wave-dissipating block was piled up from the bottom, the ruler became an obstacle, so it was necessary to remove the ruler, and the work was performed without the ruler after the middle stage of installation. In addition, when installing a wave-dissipating block at a harbor, it was not possible to install a ruler because the work was done from underwater to sea. As described above, in the past, when installing the wave-dissipating block, work was sometimes performed without a guideline such as a ruler, so it was difficult to install the wave-dissipating block as designed. Therefore, a technique for solving this problem is required, but conventionally, no technique for solving such a problem has been studied.

本発明による情報表示装置は、消波ブロックの据付施工の設計データに基づいて、消波ブロックの据付範囲を示す３次元モデルを生成する３次元モデル生成手段と、３次元モデル生成手段によって生成された３次元モデルを、消波ブロックの据付現場の映像に重畳して表示する表示手段と、表示手段によって表示された映像において、複合現実の技術を用いて、消波ブロック据付の規格範囲外に位置する消波ブロックと、消波ブロック据付の規格範囲内に位置する消波ブロックの表示方法を変化させる表示方法変化手段とを備え、表示方法変化手段は、現実空間で消波ブロックが据え付けられた範囲を対象として、消波ブロック据付の規格範囲外のブロックは現実映像で表示し、消波ブロック据付の規格範囲内のブロックは半透明色に表示することを特徴とする。
本発明による情報表示プログラムは、消波ブロックの据付施工の設計データに基づいて、消波ブロックの据付範囲を示す３次元モデルを生成する３次元モデル生成手順と、３次元モデル生成手順で生成した３次元モデルを、消波ブロックの据付現場の映像に重畳して表示する表示手順と、表示手順で表示した映像において、複合現実の技術を用いて、消波ブロック据付の規格範囲外に位置する消波ブロックと、消波ブロック据付の規格範囲内に位置する消波ブロックの表示方法を変化させる表示方法変化手順とをコンピュータに実行させるためのプログラムであって、表示方法変化手順は、現実空間で消波ブロックが据え付けられた範囲を対象として、消波ブロック据付の規格範囲外のブロックは現実映像で表示し、消波ブロック据付の規格範囲内のブロックは半透明色に表示することを特徴とする。 The information display device according to the present invention is generated by a three-dimensional model generation means for generating a three-dimensional model indicating the installation range of the wave-dissipating block and a three-dimensional model generation means based on the design data of the installation construction of the wave-dissipating block. The display means that superimposes the three-dimensional model on the image of the installation site of the wave-dissipating block and the image displayed by the display means are out of the standard range of the wave-dissipating block installation by using the combined reality technology. It is equipped with a wave-dissipating block located and a display method changing means for changing the display method of the wave-dissipating block located within the standard range of the wave- dissipating block installation. Blocks outside the standard range for installing the wave-dissipating block are displayed in a real image, and blocks within the standard range for installing the wave-dissipating block are displayed in a semi-transparent color .
The information display program according to the present invention is generated by a three-dimensional model generation procedure and a three-dimensional model generation procedure for generating a three-dimensional model showing the installation range of the wave-dissipating block based on the design data of the installation construction of the wave-dissipating block. In the display procedure of superimposing the 3D model on the image of the installation site of the wave-dissipating block and the image displayed in the display procedure, it is located outside the standard range of the wave-dissipating block installation using the combined reality technology. It is a program to make a computer execute a wave-dissipating block and a display method change procedure that changes the display method of the wave-dissipating block located within the standard range of the wave-dissipating block installation. The display method change procedure is a real space. Targeting the range where the wave-dissipating block is installed in, the block outside the standard range of the wave-dissipating block installation is displayed in the actual image, and the block within the standard range of the wave-dissipating block installation is displayed in semi-transparent color. And.

本発明によれば、消波ブロックの据付範囲を示す３次元モデルを消波ブロックの据付現場の映像に重畳して表示するとともに、消波ブロック据付の規格範囲外に位置する消波ブロックと、消波ブロック据付の規格範囲内に位置する消波ブロックの表示方法を変化させるようにしたので、消波ブロックを設計通りに設置するのを支援することができる。 According to the present invention, a three-dimensional model showing the installation range of the wave-dissipating block is superimposed and displayed on the image of the installation site of the wave-dissipating block, and the wave-dissipating block located outside the standard range of the wave-dissipating block installation. Since the display method of the wave-dissipating block located within the standard range of the wave-dissipating block installation is changed, it is possible to support the installation of the wave-dissipating block as designed.

情報表示装置１００の一実施の形態の構成を示すブロック図である。It is a block diagram which shows the structure of one Embodiment of an information display device 100. 設計データの具体例を示す図である。It is a figure which shows the specific example of the design data. 位置合わせに用いる基準点の設定例を模式的に示す図である。It is a figure which shows typically the setting example of the reference point used for alignment. 基準点と３Ｄ仮想面定規の位置合わせ方法の具体例を示す図である。It is a figure which shows the specific example of the alignment method of a reference point and a 3D virtual surface ruler. ３Ｄ仮想面定規の具体例を示す図である。It is a figure which shows the specific example of the 3D virtual surface ruler. 設置場所に消波ブロックが据え付けられた後の状態例を示す映像図である。It is a video figure which shows the state example after the wave-dissipating block is installed in the installation place. 情報表示装置１００で実行される設計データ記録処理の流れを示すフローチャート図である。It is a flowchart which shows the flow of the design data recording process executed by the information display apparatus 100. 情報表示装置１００で実行される３Ｄ仮想面定規表示処理の流れを示すフローチャート図である。It is a flowchart which shows the flow of the 3D virtual surface ruler display processing executed by the information display apparatus 100.

本実施の形態における情報表示装置は、海岸工事や港湾工事における消波ブロックの据付において、ＭＲ（ＭｉｘｅｄＲｅａｌｉｔｙ）と呼ばれる複合現実の技術を用いて、消波ブロック据付の精度向上と作業の安全性向上の実現を支援するために利用される。 The information display device in this embodiment uses a mixed reality technology called MR (Mixed Reality) in the installation of wave-dissipating blocks in coastal construction and harbor construction to improve the accuracy of wave-dissipating block installation and work safety. It is used to support the realization of improvement.

従来方式の海岸での消波ブロック据付は、事前にドウブチやサギ等の木製定規を所定間隔、例えば５～１０ｍ間隔に現地に設置し、その定規を目安にブロックを据付けるものである。しかし、消波ブロックの据付けを底部から積み上がるにつれて定規が障害となるためブロック据付の中盤で定規の撤去が必要となる。一度撤去した定規は、安全性の問題や固定方法の問題があり、再設置することは困難である。このため、消波ブロック据付の中盤からは定規無しで作業が行われている。また、港湾での消波ブロック据付は、海中から海上に向けての作業となるため、安全性や固定方法の問題で据付定規の設置が不可能であり、熟練作業員の堪に頼った作業となっている。さらに、消波ブロックの据付作業においては、安全上、ブロックの上に乗っての作業は禁止されているため、定規の設置や据付出来形の確認に苦慮しているのが実情である。 In the conventional method of installing a wave-dissipating block on the coast, wooden rulers such as doubuchi and herons are installed in advance at predetermined intervals, for example, at intervals of 5 to 10 m, and the blocks are installed using the ruler as a guide. However, as the installation of the wave-dissipating block is piled up from the bottom, the ruler becomes an obstacle, so it is necessary to remove the ruler in the middle of the block installation. Once removed, the ruler is difficult to re-install due to safety issues and fixing method issues. For this reason, work is being carried out without a ruler from the middle of the installation of the wave-dissipating block. In addition, since the installation of the wave-dissipating block at the port is a work from the sea to the sea, it is impossible to install the installation ruler due to the problem of safety and fixing method, so the work relies on the patience of skilled workers. It has become. Furthermore, in the installation work of the wave-dissipating block, the work of riding on the block is prohibited for safety reasons, so it is difficult to install a ruler and check the installed form.

このような問題を解決するために、本実施の形態における情報表示装置は、複合現実の技術を用いて現実空間と仮想空間を融合させることにより、現実の映像にＣＧで仮想定規を表示させた映像をリアルタイムに表示することによって、消波ブロックの据付を正確かつ安全に行うことができるように支援するための仕組みを提供する。以下、本実施の形態における情報表示装置で実行される処理について説明する。 In order to solve such a problem, the information display device in the present embodiment fuses the real space and the virtual space by using the mixed reality technology, so that the virtual ruler is displayed on the real image by CG. By displaying the image in real time, it provides a mechanism to support the installation of the wave-dissipating block accurately and safely. Hereinafter, the processing executed by the information display device in the present embodiment will be described.

情報表示装置は、例えば、スマートフォンやタブレット端末などの携帯情報端末が用いられる。図１は、本実施の形態における情報表示装置１００として、タブレット端末を用いた場合の一実施の形態の構成を示すブロック図である。図１に示すように、情報表示装置１００は、タッチパネル１０１と、カメラ１０２と、制御装置１０３とを備えている。 As the information display device, for example, a mobile information terminal such as a smartphone or a tablet terminal is used. FIG. 1 is a block diagram showing a configuration of an embodiment when a tablet terminal is used as the information display device 100 in the present embodiment. As shown in FIG. 1, the information display device 100 includes a touch panel 101, a camera 102, and a control device 103.

タッチパネル１０１は、液晶パネル等の表示装置とタッチパッドのような位置入力装置を組み合わせた電子部品であり、画面上の表示を押すことで機器を操作することができる入力装置である。例えば、情報表示装置１００の操作者は、液晶パネル上に表示されたボタンやメニュー等の表示項目を指やタッチペンを用いてタッチまたはスライドさせることにより、情報表示装置１００を操作することができる。タッチパネル１０１は、操作者によるタッチやスライドといった操作を検出して、その検出信号を制御装置１０３へ出力する。 The touch panel 101 is an electronic component that combines a display device such as a liquid crystal panel and a position input device such as a touch pad, and is an input device that can operate the device by pressing a display on the screen. For example, the operator of the information display device 100 can operate the information display device 100 by touching or sliding display items such as buttons and menus displayed on the liquid crystal panel with a finger or a stylus. The touch panel 101 detects an operation such as touch or slide by the operator, and outputs the detection signal to the control device 103.

カメラ１０２は、レンズ、撮像素子、その他周辺回路によって構成される公知の撮像装置である。カメラ１０２で撮影された画像や動画のデータは、制御装置１０３へ出力される。本実施の形態における情報表示装置１００では、制御装置１０３は、カメラ１０２から所定のフレームレートで入力される画像をタッチパネル１０１に出力することにより、タッチパネル１０１にカメラ１０２で撮影した映像を表示することができる。 The camera 102 is a known image pickup device including a lens, an image pickup device, and other peripheral circuits. The image and moving image data taken by the camera 102 are output to the control device 103. In the information display device 100 according to the present embodiment, the control device 103 displays an image taken by the camera 102 on the touch panel 101 by outputting an image input from the camera 102 at a predetermined frame rate to the touch panel 101. Can be done.

制御装置１０３は、ＣＰＵ、メモリ、およびその他の周辺回路によって構成され、情報表示装置１００の全体を制御する。なお、制御装置１０３を構成するメモリは、例えばＳＤＲＡＭ等の揮発性のメモリやフラッシュメモリ等の不揮発性のメモリを含む。揮発性のメモリは、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリや、データを一時的に記録するためのバッファメモリとして使用される。また、不揮発性のメモリには、情報表示装置１００を動作させるためのファームウェアや種々のアプリケーションを動作させるためのソフトウェアのプログラムデータが記録される。本実施の形態では、以下に説明する処理を実行するためのプログラムは不揮発性のメモリに記録されている。なお、フラッシュメモリ等の不揮発性のメモリは、不図示のカードスロットに挿入されたメモリカードなどの外部の記憶媒体を利用するようにしてもよい。 The control device 103 is composed of a CPU, a memory, and other peripheral circuits, and controls the entire information display device 100. The memory constituting the control device 103 includes, for example, a volatile memory such as SDRAM and a non-volatile memory such as a flash memory. The volatile memory is used as a work memory for the CPU to expand the program at the time of program execution and as a buffer memory for temporarily recording data. Further, in the non-volatile memory, the program data of the firmware for operating the information display device 100 and the software for operating various applications are recorded. In the present embodiment, the program for executing the process described below is recorded in the non-volatile memory. As the non-volatile memory such as a flash memory, an external storage medium such as a memory card inserted in a card slot (not shown) may be used.

本実施の形態における情報表示装置１００では、ライダー（ＬｉＤＡＲ）機能を備えたＭＲの活用により、消波ブロック据付の規格範囲外に位置する消波ブロックと、消波ブロック据付の規格範囲内に位置する消波ブロックの表示方法を変化させる。例えば、消波ブロック据付の規格範囲を半透明色のＣＧで表した３Ｄ仮想面定規で表示する。そして、消波ブロック据付の規格範囲外のブロックは現実映像で表示し、消波ブロック据付の規格範囲内のブロックは半透明色に表示することによって、従来用いていた木製定規なしに正確な据付指示をリアルタイムに行う。 In the information display device 100 in the present embodiment, the wave-dissipating block located outside the standard range for installing the wave-dissipating block and the wave-dissipating block located within the standard range for installing the wave-dissipating block are located within the standard range for installing the wave-dissipating block by utilizing the MR equipped with the lidar (LiDAR) function. Change the display method of the wave-dissipating block. For example, the standard range for installing a wave-dissipating block is displayed by a 3D virtual surface ruler represented by a translucent color CG. By displaying the blocks outside the standard range of wave-dissipating block installation in a real image and the blocks within the standard range of wave-dissipating block installation in semi-transparent color, accurate installation without the conventional wooden ruler. Give instructions in real time.

なお、一般的なＡＲ（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ＝拡張現実）では、ＡＲコンテンツが現実の物体の前後関係により後ろに隠れたり手前に表示されたりするオクルージョンが生じ、ＡＲコンテンツより手前に実物がある場合には遠近感や位置関係を表示できないという問題がある。これに対して、ＭＲでは、ライダーで計測することで深度を認識するため、手前に実物がある場合にはモデルが奥に隠れて表示される。ライダーはレーダーよりも遥かに短い波長の電磁波を用い、その反射光を光センサでとらえ距離を測定するリモートセンシング方式であり、このライダー機能を用いることにより、周囲の位置関係を正確に測定して現実とコンテンツの自然な表示が可能となる。なお、ＡＲ、ＭＲ、およびＭＲにおけるライダー（ＬｉＤＡＲ）は、公知の技術のためここでは詳細な説明は省略する。 In general AR (Augmented Reality), there is an occlusion that the AR content is hidden behind or displayed in front depending on the context of the actual object, and if the real thing is in front of the AR content, There is a problem that the perspective and positional relationship cannot be displayed. On the other hand, in MR, the depth is recognized by measuring with the rider, so if the real thing is in the foreground, the model is hidden in the back and displayed. The rider uses electromagnetic waves with a wavelength much shorter than that of radar, and is a remote sensing method that measures the distance by capturing the reflected light with an optical sensor. By using this rider function, the positional relationship of the surroundings can be accurately measured. It enables a natural display of reality and content. Since the AR, MR, and lidar in MR (LiDAR) are known techniques, detailed description thereof will be omitted here.

本実施の形態における情報表示装置１００を利用して消波ブロックの据付施工を行うためには、あらかじめ消波ブロックの据付施工の設計データが入力されている必要がある。このため、設計データの入力者、例えば消波ブロックの据付施工工事の作業者は、情報表示装置１００を操作して消波ブロックの据付施工の設計データを入力する。本実施の形態では、設計データの入力者は、タッチパネル１０１を操作して消波ブロックの据付施工用のアプリケーションを起動し、タッチパネル１０１に表示される設計データの入力画面上で設計データの入力を行う。 In order to perform the installation work of the wave-dissipating block using the information display device 100 in the present embodiment, it is necessary to input the design data of the installation work of the wave-dissipating block in advance. Therefore, the person who inputs the design data, for example, the worker of the wave-dissipating block installation work, operates the information display device 100 to input the design data of the wave-dissipating block installation work. In the present embodiment, the person who inputs the design data operates the touch panel 101 to activate the application for installing the wave-dissipating block, and inputs the design data on the design data input screen displayed on the touch panel 101. conduct.

消波ブロック据付施工は、そのほとんどである８０％程度が構造物に沿って行われるため、本実施の形態では、消波ブロックの据付施工の設計データは、構造物の高さ(標高)と、据付地盤高さと、消波ブロックの天端高さと、消波ブロックの天端幅と、消波ブロックの斜面勾配と、延長方向の測点とが入力される。これらの設計データは、例えば、図２に示す設計データに基づいて入力される。図２（Ａ）に示す断面図に基づいて入力される設計データは、構造物の高さ（標高）２ａ＝＋５．２ｍ、据付地盤高さ２ｂ＝－１．０ｍ～－０．５ｍ、消波ブロックの天端高さ２ｃ＝＋４．２ｍ、消波ブロックの天端幅２ｄ＝２．９１ｍ、消波ブロックの斜面勾配２ｅ＝１：４／３となる。また、延長方向の測点は、図２（Ｂ）に示す平面図において範囲２ｆに含まれる測点の全ての値、例えば１９．７７、２４．０７、３３．０７、５６．４０、６２．８８、および６９．７０となる。 Since most of the wave-dissipating block installation work is performed along the structure, about 80% of the work is performed along the structure. Therefore, in the present embodiment, the design data of the wave-dissipating block installation work is the height (elevation) of the structure. , The height of the installation ground, the height of the top of the wave-dissipating block, the width of the top of the wave-dissipating block, the slope slope of the wave-dissipating block, and the station in the extension direction are input. These design data are input based on, for example, the design data shown in FIG. The design data input based on the cross-sectional view shown in FIG. 2 (A) is the height (elevation) of the structure 2a = +5.2 m, the installation ground height 2b = -1.0 m to -0.5 m, and disappearance. The height of the top of the wave block is 2c = + 4.2m, the width of the top of the wave-dissipating block is 2d = 2.91m, and the slope gradient of the wave-dissipating block is 2e = 1: 4/3. Further, the stations in the extension direction are all the values of the stations included in the range 2f in the plan view shown in FIG. 2 (B), for example, 19.77, 24.07, 33.07, 56.40, 62. It becomes 88 and 69.70.

制御装置１０３は、入力された設計データをメモリに記録しておき、操作者によって３Ｄ仮想面定規の表示が指示されると、消波ブロックの据付施工の設計データを変換して、消波ブロックの据付範囲を示す３次元モデルを生成することにより、設計データを３Ｄ仮想面定規に変換する。すなわち、制御装置１０３は、構造物の高さ(標高)と、据付地盤高さと、消波ブロックの天端高さと、消波ブロックの天端幅と、消波ブロックの斜面勾配と、延長方向の測点を満たすような３Ｄ仮想面定規のデータを生成する。そして、制御装置１０３は、生成した３Ｄ仮想面定規をタッチパネル１０１に表示する。なお、設計データに基づいて３次元モデルを生成する方法は公知のため、ここでは詳細な説明は省略する。 The control device 103 records the input design data in the memory, and when the operator instructs the display of the 3D virtual surface ruler, the control device 103 converts the design data of the installation work of the wave-dissipating block to the wave-dissipating block. By generating a 3D model showing the installation range of, the design data is converted into a 3D virtual surface ruler. That is, the control device 103 has the height (elevation) of the structure, the installation ground height, the height of the top of the wave-dissipating block, the width of the top of the wave-dissipating block, the slope gradient of the wave-dissipating block, and the extension direction. Generate 3D virtual surface ruler data that satisfies the station. Then, the control device 103 displays the generated 3D virtual surface ruler on the touch panel 101. Since a method for generating a three-dimensional model based on design data is known, detailed description thereof will be omitted here.

消波ブロックの据付施工を指示する指示者は、消波ブロックの据付現場に隣接した現実空間における構造物、例えば擁壁、防波堤等にあらかじめ基準点を設置し、タッチパネル１０１上で該基準点と３Ｄ仮想面定規の位置合わせを行っておく。図３は、位置合わせに用いる基準点の設定例を、図２に示した断面図と平面図上に模式的に表した図である。指示者は、図３に示された位置３ａに基準点を設定して３Ｄ仮想面定規の位置合わせを行う。 The instructor instructing the installation work of the wave-dissipating block sets a reference point in advance on a structure in the real space adjacent to the installation site of the wave-dissipating block, for example, a retaining wall, a breakwater, etc. Align the 3D virtual surface ruler. FIG. 3 is a diagram schematically showing a setting example of a reference point used for alignment on a cross-sectional view and a plan view shown in FIG. The instructor sets a reference point at the position 3a shown in FIG. 3 and aligns the 3D virtual surface ruler.

図４は、本実施の形態における情報表示装置１００における基準点と３Ｄ仮想面定規の位置合わせ方法の具体例を示す図である。指示者は、図４（Ａ）に示すように、タッチパネル１０１に表示された位置合わせ用の点４ａを構造物上に設定した基準点に合わせるとともに、構造物の向きと情報表示装置１００の向きを合わせる。具体的には、図４（Ｂ）に示すように、位置合わせ用の点４ａを構造物上に標した基準点のずれ量を表すＸ、Ｙ、Ｚの位置座標をゼロに合わせるとともに、構造物の向きと情報表示装置１００の向きのずれ量を表す回転のＸ、Ｙ、Ｚをゼロに合わせるように、タッチパネル１０１に表示される映像の範囲や向きを調整する。 FIG. 4 is a diagram showing a specific example of a method of aligning a reference point and a 3D virtual surface ruler in the information display device 100 according to the present embodiment. As shown in FIG. 4A, the instructor aligns the alignment point 4a displayed on the touch panel 101 with the reference point set on the structure, and the orientation of the structure and the orientation of the information display device 100. To match. Specifically, as shown in FIG. 4B, the position coordinates of X, Y, and Z representing the amount of deviation of the reference point marked on the structure by the point 4a for alignment are adjusted to zero, and the structure is formed. The range and orientation of the image displayed on the touch panel 101 are adjusted so that the rotations X, Y, and Z indicating the amount of deviation between the orientation of the object and the orientation of the information display device 100 are set to zero.

上述したように位置合わせが行われると、制御装置１０３は、設定された基準点の情報をメモリに記録した後に、消波ブロックの据付施工範囲に合わせて３Ｄ仮想面定規を表示する。図５（Ａ）は、制御装置１０３によって生成された３Ｄ仮想面定規を模式的に示す図であり、図５（Ｂ）は、図５（Ａ）に示した３Ｄ仮想面定規をカメラ１０２で撮影された映像に重畳して表示することにより、消波ブロックの据付施工範囲を現実映像に重ね合わせて表示した例を示している。 When the alignment is performed as described above, the control device 103 records the information of the set reference point in the memory, and then displays the 3D virtual surface ruler according to the installation construction range of the wave-dissipating block. FIG. 5A is a diagram schematically showing a 3D virtual surface ruler generated by the control device 103, and FIG. 5B is a diagram showing the 3D virtual surface ruler shown in FIG. 5A by the camera 102. An example is shown in which the installation work range of the wave-dissipating block is superimposed on the actual image and displayed by superimposing it on the captured image.

消波ブロックの据付施工を指示する指示者は、消波ブロックの据付現場にカメラ１０２を向けて、タッチパネル１０１に表示された現実の映像に３Ｄ仮想面定規を融合させた映像を視認ながら消波ブロックの据付けを指示することができる。これによって、クレーンオペレータなどの作業員に消波ブロックを誘導するための正確な指示を出すことができ、消波ブロックを設計図に沿った適切な箇所に据付けることができる。また、上述したように基準点を用いて現実映像と３Ｄ仮想面定規の位置合わせを行っているため、指示者は移動時には基準点に照準を設定ながら使用することで高精度な据付管理を行うことができる。 The instructor instructing the installation of the wave-dissipating block points the camera 102 at the installation site of the wave-dissipating block, and while visually recognizing the image in which the actual image displayed on the touch panel 101 is fused with the 3D virtual surface ruler, the wave is extinguished. You can instruct the installation of the block. As a result, it is possible to give an accurate instruction for guiding the wave-dissipating block to a worker such as a crane operator, and the wave-dissipating block can be installed at an appropriate place along the design drawing. In addition, as described above, since the actual image and the 3D virtual surface ruler are aligned using the reference point, the instructor performs highly accurate installation management by using the reference point while setting the aim when moving. be able to.

本実施の形態では、制御装置１０３は、上述したように、ＭＲのライダー（ＬｉＤＡＲ）機能を利用することにより、現実空間で消波ブロックが据え付けられた範囲を対象として、消波ブロック据付の規格範囲外のブロックは現実映像で表示し、消波ブロック据付の規格範囲内のブロックは半透明色に表示する。例えば、図６は、図５（Ｂ）に示した設置場所に消波ブロックが据え付けられた後の状態を示す映像図である。この図６に示すように、制御装置１０３は、３Ｄ仮想面定規で示した消波ブロックの据付範囲外に位置している消波ブロックは現実映像で表示し、３Ｄ仮想面定規で示した消波ブロックの据付範囲内に位置している消波ブロックは半透明色に変換して表示する。制御装置１０３は、この変換処理をリアルタイムで行ってタッチパネル１０１上の表示を更新する。これによって、指示者は、タッチパネル１０１に表示されている映像を確認することによって、ブロックが規格面よりどの程度出入りしているかをリアルタイムで視認することができるため、現実のブロック据付出来形を確認することができる。 In the present embodiment, as described above, the control device 103 uses the MR lidar (LiDAR) function to target the range in which the wave-dissipating block is installed in the real space, and is a standard for installing the wave-dissipating block. Blocks outside the range are displayed as real images, and blocks within the standard range for installing wave-dissipating blocks are displayed in semi-transparent color. For example, FIG. 6 is a video diagram showing a state after the wave-dissipating block is installed at the installation location shown in FIG. 5 (B). As shown in FIG. 6, the control device 103 displays the wave-dissipating block located outside the installation range of the wave-dissipating block shown by the 3D virtual surface ruler as a real image, and the wave-dissipating block shown by the 3D virtual surface ruler. Wave-dissipating blocks located within the installation range of the wave block are converted to translucent color and displayed. The control device 103 performs this conversion process in real time to update the display on the touch panel 101. As a result, the instructor can visually check in real time how much the block is moving in and out of the standard surface by checking the image displayed on the touch panel 101, so that the actual block installation form can be confirmed. can do.

図７は、本実施の形態における情報表示装置１００で実行される設計データ記録処理の流れを示すフローチャートである。図７に示す処理は、上述したように、設計データの入力者によって設計データの入力開始が指示されると起動するプログラムとして、制御装置１０３によって実行される。 FIG. 7 is a flowchart showing the flow of the design data recording process executed by the information display device 100 in the present embodiment. As described above, the process shown in FIG. 7 is executed by the control device 103 as a program to be started when the input starter of the design data is instructed to start inputting the design data.

ステップＳ１０において、制御装置１０３は、上述した設計データが入力されたか否かを判断する。ステップＳ１０で肯定判断した場合には、ステップＳ２０へ進む。 In step S10, the control device 103 determines whether or not the above-mentioned design data has been input. If an affirmative decision is made in step S10, the process proceeds to step S20.

ステップＳ２０では、制御装置１０３は、入力された設計データをメモリに記録する。その後、処理を終了する。 In step S20, the control device 103 records the input design data in the memory. After that, the process ends.

図８は、本実施の形態における情報表示装置１００で実行される３Ｄ仮想面定規表示処理の流れを示すフローチャートである。図８に示す処理は、上述したように、消波ブロックの据付施工を指示する指示者によって３Ｄ仮想面定規の表示が指示されると起動するプログラムとして、制御装置１０３によって実行される。 FIG. 8 is a flowchart showing the flow of the 3D virtual surface ruler display process executed by the information display device 100 in the present embodiment. As described above, the process shown in FIG. 8 is executed by the control device 103 as a program to be activated when the instructor instructing the installation work of the wave-dissipating block instructs the display of the 3D virtual surface ruler.

ステップＳ１１０において、制御装置１０３は、上述したように、消波ブロックの据付施工の設計データを３Ｄ仮想面定規に変換することにより、３Ｄ仮想面定規のデータを生成する。その後、ステップＳ１２０へ進む。 In step S110, as described above, the control device 103 generates the data of the 3D virtual surface ruler by converting the design data of the installation work of the wave-dissipating block into the 3D virtual surface ruler. Then, the process proceeds to step S120.

ステップＳ１２０では、制御装置１０３は、指示者によって、上述したように、位置合わせを行うための基準点が設定されたか否かを判断する。ステップＳ１２０で肯定判断した場合には、ステップＳ１３０へ進む。 In step S120, the control device 103 determines whether or not the reference point for performing the alignment has been set by the instructor as described above. If an affirmative decision is made in step S120, the process proceeds to step S130.

ステップＳ１３０では、制御装置１０３は、上述したように、カメラ１０２で撮影された映像に３Ｄ仮想面定規を重畳して表示することにより、消波ブロックの据付施工範囲に合わせて３Ｄ仮想面定規を表示する。その後、ステップＳ１４０へ進む。 In step S130, as described above, the control device 103 superimposes the 3D virtual surface ruler on the image taken by the camera 102 and displays the 3D virtual surface ruler according to the installation construction range of the wave-dissipating block. indicate. Then, the process proceeds to step S140.

ステップＳ１４０では、制御装置１０３は、上述したように、消波ブロックが据え付けられた範囲については、消波ブロック据付の規格範囲外のブロックは現実映像で表示し、消波ブロック据付の規格範囲内のブロックは半透明色に表示するように、タッチパネル１０１上の表示を更新する。その後、ステップＳ１５０へ進む。 In step S140, as described above, the control device 103 displays a block outside the standard range for installing the wave-dissipating block as a real image in the range where the wave-dissipating block is installed, and is within the standard range for installing the wave-dissipating block. The display on the touch panel 101 is updated so that the block of is displayed in a semi-transparent color. Then, the process proceeds to step S150.

ステップＳ１５０では、制御装置１０３は、指示者によって３Ｄ仮想面定規の表示終了が指示されたか否かを判断する。ステップＳ１５０で否定判断した場合には、ステップＳ１４０へ戻る。これに対して、ステップＳ１５０で肯定判断した場合には、処理を終了する。 In step S150, the control device 103 determines whether or not the instructor has instructed the end of the display of the 3D virtual surface ruler. If a negative determination is made in step S150, the process returns to step S140. On the other hand, if an affirmative decision is made in step S150, the process ends.

以上説明した実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０３は、消波ブロックの据付施工の設計データに基づいて、消波ブロックの据付範囲を示す３次元モデルとして３Ｄ仮想面定規を生成し、生成した３Ｄ仮想面定規を消波ブロックの据付現場の映像に重畳して表示し、該映像において、複合現実の技術を用いて、消波ブロック据付の規格範囲外に位置する消波ブロックと、消波ブロック据付の規格範囲内に位置する消波ブロックの表示方法を変化させるようにした。これによって、消波ブロックを設計通りに設置するのを支援することができる。具体的には、消波ブロックの据付施工を指示する指示者は、タッチパネル１０１に表示された現実の映像に３Ｄ仮想面定規を融合させた映像を視認ながら消波ブロックの据付けを指示することができるため、クレーンオペレータなどの作業員に消波ブロックを誘導するための正確な指示を出すことができ、消波ブロックを設計図に沿った適切な箇所に据付けることができる。 According to the embodiment described above, the following effects can be obtained.
(1) The control device 103 generates a 3D virtual surface ruler as a three-dimensional model showing the installation range of the wave-dissipating block based on the design data of the installation work of the wave-dissipating block, and dissipates the generated 3D virtual surface ruler. It is displayed superimposed on the image of the installation site of the block, and in the image, the wave-dissipating block located outside the standard range of wave-dissipating block installation and the wave-dissipating block installation within the standard range of the wave-dissipating block installation are used in the image. Changed to change the display method of the located wave-dissipating block. This can help install the wave-dissipating block as designed. Specifically, the instructor instructing the installation of the wave-dissipating block may instruct the installation of the wave-dissipating block while visually observing the image in which the 3D virtual surface ruler is fused with the actual image displayed on the touch panel 101. Therefore, it is possible to give an accurate instruction for guiding the wave-dissipating block to a worker such as a crane operator, and the wave-dissipating block can be installed at an appropriate place along the design drawing.

（２）消波ブロックの据付現場に隣接した現実空間における構造物に設定された基準点と３Ｄ仮想面定規とはあらかじめ位置合わせが行われており、制御装置１０３は、該位置合わせの結果に基づいて、３Ｄ仮想面定規を消波ブロックの据付現場の映像に重畳して表示するようにした。これによって、消波ブロックの据付現場の映像に３Ｄ仮想面定規を正確に重畳して表示することができる。また、消波ブロックの据付施工を指示する指示者は、移動時には基準点に照準を設定ながら使用することで高精度な据付管理を行うことができる。 (2) The reference point set in the structure in the real space adjacent to the installation site of the wave-dissipating block and the 3D virtual surface ruler are aligned in advance, and the control device 103 determines the result of the alignment. Based on this, the 3D virtual surface ruler was superimposed on the image of the installation site of the wave-dissipating block and displayed. As a result, the 3D virtual surface ruler can be accurately superimposed and displayed on the image of the installation site of the wave-dissipating block. In addition, the instructor who instructs the installation work of the wave-dissipating block can perform highly accurate installation management by using the wave-dissipating block while setting the aim at the reference point when moving.

（３）制御装置１０３は、現実空間で消波ブロックが据え付けられた範囲を対象として、消波ブロック据付の規格範囲外のブロックは現実映像で表示し、消波ブロック据付の規格範囲内のブロックは半透明色に表示するようにした。これによって、消波ブロックの据付施工を指示する指示者は、ブロックが規格面よりどの程度出入りしているかをリアルタイムで視認することができるため、現実のブロック据付出来形を確認することができる。 (3) The control device 103 targets the range in which the wave-dissipating block is installed in the real space, displays the blocks outside the standard range for installing the wave-dissipating block in a real image, and blocks within the standard range for installing the wave-dissipating block. Is displayed in a semi-transparent color. As a result, the instructor instructing the installation work of the wave-dissipating block can visually check how much the block moves in and out of the standard surface in real time, so that the actual block installation form can be confirmed.

（４）制御装置１０３は、複合現実の技術におけるＬｉＤＡＲ機能を用いることによって消波ブロック据付の規格範囲外に位置する消波ブロックと、消波ブロック据付の規格範囲内に位置する消波ブロックの表示方法を変化させるようにした。これによって、公知の技術を活用して消波ブロック据付の規格範囲外に位置する消波ブロックと、消波ブロック据付の規格範囲内に位置する消波ブロックの表示方法を変化させることができる。 (4) The control device 103 includes a wave-dissipating block located outside the standard range of wave-dissipating block installation and a wave-dissipating block located within the standard range of wave-dissipating block installation by using the LiDAR function in the combined reality technology. Changed the display method. Thereby, it is possible to change the display method of the wave-dissipating block located outside the standard range of the wave-dissipating block installation and the wave-dissipating block located within the standard range of the wave-dissipating block installation by utilizing known technology.

―変形例―
なお、上述した実施の形態の情報表示装置は、以下のように変形することもできる。
（１）上述した実施の形態では、制御装置１０３は、消波ブロック据付の規格範囲を半透明色のＣＧで表した３Ｄ仮想面定規で表示するようにした。そして、現実空間で消波ブロックが据え付けられた範囲を対象として、消波ブロック据付の規格範囲外のブロックは現実映像で表示し、消波ブロック据付の規格範囲内のブロックは半透明色に表示する例について説明した。しかしながら、３Ｄ仮想面定規の表示は半透明色に限定されない。また、指示者が消波ブロック据付の規格範囲外のブロックと消波ブロック据付の規格範囲内のブロックを区別して認識可能な表示方法であれば、消波ブロック据付の規格範囲外のブロックと消波ブロック据付の規格範囲内のブロックの表示方法はこれに限定されない。 -Modification example-
The information display device of the above-described embodiment can also be modified as follows.
(1) In the above-described embodiment, the control device 103 displays the standard range for installing the wave-dissipating block with a 3D virtual surface ruler represented by CG in a translucent color. Then, targeting the range where the wave-dissipating block is installed in the real space, the blocks outside the standard range of the wave-dissipating block installation are displayed in the real image, and the blocks within the standard range of the wave-dissipating block installation are displayed in semi-transparent color. An example of doing so was explained. However, the display of the 3D virtual surface ruler is not limited to the translucent color. In addition, if the display method allows the instructor to distinguish between blocks outside the standard range for installing the wave-dissipating block and blocks within the standard range for installing the wave-dissipating block, the block outside the standard range for installing the wave-dissipating block and the block can be erased. The display method of blocks within the standard range of wave block installation is not limited to this.

（２）上述した実施の形態では、制御装置１０３は、３Ｄ仮想面定規で示した消波ブロックの据付範囲外に位置している消波ブロックは現実映像で表示し、３Ｄ仮想面定規で示した消波ブロックの据付範囲内に位置している消波ブロックは半透明色に変換して表示するようにし、このための表示色の変換処理をリアルタイムで行う例について説明した。しかしながら、制御装置１０３は、指示者によって指示されたタイミングで表示色の変換処理を行うようにしてもよい。 (2) In the above-described embodiment, the control device 103 displays the wave-dissipating block located outside the installation range of the wave-dissipating block shown by the 3D virtual surface ruler as a real image and shows it by the 3D virtual surface ruler. An example was described in which the wave-dissipating block located within the installation range of the wave-dissipating block is converted into a semi-transparent color and displayed, and the display color conversion process for this purpose is performed in real time. However, the control device 103 may perform the display color conversion process at the timing instructed by the instructor.

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。 The present invention is not limited to the configuration in the above-described embodiment as long as the characteristic functions of the present invention are not impaired. Further, the configuration may be a combination of the above-described embodiment and a plurality of modified examples.

１００情報表示装置
１０１タッチパネル
１０２カメラ
１０３制御装置 100 Information display device 101 Touch panel 102 Camera 103 Control device

Claims

A 3D model generation means that generates a 3D model showing the installation range of the wave-dissipating block based on the design data of the installation construction of the wave-dissipating block.
A display means for displaying the three-dimensional model generated by the three-dimensional model generation means by superimposing it on an image of the installation site of the wave-dissipating block.
In the image displayed by the display means, the wave-dissipating block located outside the standard range of the wave-dissipating block installation and the wave-dissipating block located within the standard range of the wave-dissipating block installation are displayed by using the technique of composite reality. Equipped with a display method change means that changes the method ,
The display method changing means targets the range in which the wave-dissipating block is installed in the real space, displays the blocks outside the standard range of the wave-dissipating block installation in a real image, and the blocks within the standard range of the wave-dissipating block installation. An information display device characterized by displaying in a semi-transparent color .

In the information display device according to claim 1,
The reference point set in the structure in the real space adjacent to the installation site of the wave-dissipating block and the three-dimensional model are aligned in advance, and the display means is based on the result of the alignment. An information display device characterized by superimposing and displaying the three-dimensional model on an image of an installation site of a wave-dissipating block.

In the information display device according to claim 1 or 2 .
The display method changing means displays a wave-dissipating block located outside the standard range of the wave-dissipating block installation and a wave-dissipating block located within the standard range of the wave-dissipating block installation by using the LiDAR function in the composite reality technology. An information display device characterized by changing the method.

A 3D model generation procedure that generates a 3D model showing the installation range of the wave-dissipating block based on the design data of the installation construction of the wave-dissipating block.
A display procedure for superimposing and displaying the 3D model generated by the 3D model generation procedure on the image of the installation site of the wave-dissipating block, and a display procedure.
In the image displayed by the above display procedure, a method of displaying a wave-dissipating block located outside the standard range of wave-dissipating block installation and a wave-dissipating block located within the standard range of wave-dissipating block installation by using the technique of composite reality. It is an information display program for making a computer execute the display method and the change procedure .
The display method change procedure targets the range where the wave-dissipating block is installed in the real space, the blocks outside the standard range of the wave-dissipating block installation are displayed in the real image, and the blocks within the standard range of the wave-dissipating block installation are displayed. An information display program characterized by displaying in a semi-transparent color.

In the information display program according to claim 4 ,
The reference point set in the structure in the real space adjacent to the installation site of the wave-dissipating block and the three-dimensional model are aligned in advance, and the display procedure is based on the result of the alignment. An information display program characterized by superimposing and displaying the three-dimensional model on an image of an installation site of a wave-dissipating block.

In the information display program according to claim 4 or 5 .
The display method change procedure is to display a wave-dissipating block located outside the standard range of wave-dissipating block installation and a wave-dissipating block located within the standard range of wave-dissipating block installation by using the LiDAR function in compound reality technology. An information display program characterized by changing the method.