JP6823036B2 - 建設機械の表示システムおよびその制御方法 - Google Patents

Description

本発明は、建設機械の表示システムおよびその制御方法に関する。

油圧ショベル等の建設機械において、エンジンの冷却水の水温などの各種情報を運転室内のモニタ装置に表示する技術が知られている（例えば、特許文献１参照）。
さらに、運転室のモニタ装置に、作業対象の設計面やバケットの刃先の位置を示す画像を表示するものも知られている（例えば、特許文献２参照）。

特開２０１２−１３６９８５号公報 特開２０１２−１７２４３１号公報

前記モニタ装置は、オペレータの前方視界を妨げないように、運転室の前方窓と側方窓とを仕切る縦枠の下部に設けられていた（特許文献１の図２参照）。オペレータは、作業機を見ながら操作するため、前記モニタ装置の情報を確認するためには、視点を大きくずらしてモニタ装置を確認する必要がある。
従って、操作作業中の視点の移動が大きくなり作業効率が向上しないという課題がある。

本発明の目的は、操作作業中の視点の移動を少なくできて、作業効率を向上できる建設機械の表示システムおよびその制御方法を提供することにある。

第１態様に係る建設機械の表示システムは、作業機と、前記作業機が取り付けられかつ運転室を有する本体部とを有する建設機械の表示システムであって、前記作業機の位置情報を検出する作業機位置検出部と、実像を表示する実像表示部と、前記実像を運転室内に反射することで前記運転室の外部に虚像を形成するとともに、前記運転室の外部からの光を透過する凹面ハーフミラーによって構成されるコンバイナと、前記虚像の第１部分の表示位置を固定しながら、前記作業機の位置情報に基づいて前記虚像の第２部分の表示位置を変更する制御を行う表示制御部とを備え、前記虚像の第２部分には少なくとも警告情報が表示される。

第１態様によれば、表示システムは、実像表示部およびコンバイナを備えるので、虚像を運転室の前方景色に重ねて表示できる。このため、オペレータは、作業機および虚像を視認する場合に、視点の移動を少なくできる。従って、操作作業中の視点の移動を少なくでき、作業効率を向上できる。
その上、表示制御部は、作業機の位置情報に基づいて、前記虚像の位置を制御する。このため、前記運転室のオペレータが知覚する前記虚像を、前記作業機の位置に基づいて表示することができ、オペレータの視線の動きと焦点調節とを最小限に抑えることができる。このため、オペレータが作業機および虚像を認識する場合の負荷も低減できる。

他の態様において、前記作業支援情報として、前記作業機の位置情報と、前記本体部の三次元位置情報と、前記目標地形情報とに基づいて作業機の操作情報を作成してもよい。このため、操作情報として、作業機の移動方向や移動量を表示でき、オペレータは容易に作業機を操作することができる。

他の態様において、本体部の三次元位置情報と、目標地形情報とに基づいて作成される施工設計面情報を、作業対象の地形位置に合わせて表示してもよい。このため、オペレータは、表示された施工設計面情報に合わせて作業機を操作すればよく、容易に作業機を操作することができる。

他の態様において、本体部の三次元位置情報と、目標地形情報と、作業機の軌跡情報に基づく作業進度情報とに基づいて作成される施工設計面情報を、作業対象の地形位置に合わせて表示してもよい。このため、オペレータは、表示された施工設計面情報に合わせて作業機を操作すればよく、容易に作業機を操作することができる。また、施工後の出来形を確認でき、目標地形情報通りに正しく施工されているかを容易に確認できる。

他の態様において、前記実像表示部とコンバイナとの間に、複数のレンズを備え、かつ、少なくとも一部のレンズが光軸方向に移動可能なレンズ光学系を配置し、前記表示制御部は、前記レンズ光学系の少なくとも一部のレンズを光軸方向に移動してもよい。このため、作業支援情報の奥行き表示位置を容易にかつ迅速に制御できる。

他の態様において、前記表示制御部は、前記実像表示部と前記コンバイナとの距離を変更して前記作業支援情報の奥行き表示位置を制御してもよい。このため、一部のレンズが移動可能なレンズ光学系を不要にできる。

本発明の一実施形態にかかる建設機械の斜視図。 建設機械の構成を模式的に示す図。 建設機械が備える制御系の構成を示すブロック図。 建設機械の運転室の斜視図。 建設機械の運転室の側面図。 建設機械の表示装置に表示された案内画面を示す図。 建設機械の表示装置に表示された案内画面を示す図。 建設機械のバケット位置を模式的に示す図。 案内画面の表示制御方法を示すフローチャート。 警告情報表示処理を示すフローチャート。 施工設計面情報表示処理を示すフローチャート。 バケットの軌跡情報の算出方法を説明する図。 操作支援情報表示処理を示すフローチャート。

以下、本発明の実施形態を図面に基づいて説明する。
［１．油圧ショベルの全体構成］
以下、図面を参照して、本発明の建設機械の表示システムの一実施形態に係る油圧ショベルの表示システムについて説明する。
図１は、表示システムが搭載される油圧ショベル１００の斜視図である。油圧ショベル１００は、車体１と作業機２とを有する。車体１は、本発明の本体部に相当する。車体１は、旋回体３と運転室４と走行装置５とを有する。旋回体３は、走行装置５に旋回可能に取り付けられている。旋回体３は、図示しないエンジンや油圧ポンプなどの装置を収容している。運転室４は旋回体３の前部に載置されている。運転室４内には、後述する表示装置３８および操作装置２５が配置される（図３参照）。走行装置５は左右の履帯５ａ，５ｂを有しており、履帯５ａ，５ｂが回転することにより油圧ショベル１００が走行する。

作業機２は、車体１の前部に取り付けられており、ブーム６とアーム７とバケット８とブームシリンダ１０とアームシリンダ１１とバケットシリンダ１２とを有する。
ブーム６の基端部は、ブームピン１３を介して車体１の前部に揺動可能に取り付けられている。すなわち、ブームピン１３は、ブーム６の旋回体３に対する揺動中心に相当する。
アーム７の基端部は、アームピン１４を介してブーム６の先端部に揺動可能に取り付けられている。すなわち、アームピン１４は、アーム７のブーム６に対する揺動中心に相当する。
アーム７の先端部には、バケットピン１５を介してバケット８が揺動可能に取り付けられている。すなわち、バケットピン１５は、バケット８のアーム７に対する揺動中心に相当する。

図２は、油圧ショベル１００の構成を模式的に示す図である。図２（Ａ）は油圧ショベル１００の側面図であり、図２（Ｂ）は油圧ショベル１００の背面図である。図２（Ｃ）は油圧ショベル１００の上面図である。図２（Ａ）に示すように、ブーム６の長さ、すなわち、ブームピン１３からアームピン１４までの長さは、Ｌ１である。アーム７の長さ、すなわち、アームピン１４からバケットピン１５までの長さは、Ｌ２である。バケット８の長さ、すなわち、バケットピン１５からバケット８の刃先Ｐまでの長さは、Ｌ３である。

図１に示すブームシリンダ１０とアームシリンダ１１とバケットシリンダ１２とは、それぞれ油圧によって駆動される油圧シリンダである。ブームシリンダ１０の基端部は、ブームシリンダフートピン１０ａを介して旋回体３に揺動可能に取り付けられている。また、ブームシリンダ１０の先端部は、ブームシリンダトップピン１０ｂを介してブーム６に揺動可能に取り付けられている。ブームシリンダ１０は、油圧によって伸縮することによって、ブーム６を駆動する。
アームシリンダ１１の基端部は、アームシリンダフートピン１１ａを介してブーム６に揺動可能に取り付けられている。また、アームシリンダ１１の先端部は、アームシリンダトップピン１１ｂを介してアーム７に揺動可能に取り付けられている。アームシリンダ１１は、油圧によって伸縮することによって、アーム７を駆動する。
バケットシリンダ１２の基端部は、バケットシリンダフートピン１２ａを介してアーム７に揺動可能に取り付けられている。また、バケットシリンダ１２の先端部は、バケットシリンダトップピン１２ｂを介して第１リンク部材４７の一端および第２リンク部材４８の一端に揺動可能に取り付けられている。第１リンク部材４７の他端は、第１リンクピン４７ａを介してアーム７の先端部に揺動可能に取り付けられている。第２リンク部材４８の他端は、第２リンクピン４８ａを介してバケット８に揺動可能に取り付けられている。
バケットシリンダ１２は、油圧によって伸縮することによって、バケット８を駆動する。

ブームシリンダ１０、アームシリンダ１１、バケットシリンダ１２などの油圧シリンダと図示しない油圧ポンプとの間には、比例制御弁３７が配置されている（図３参照）。比例制御弁３７が後述する作業機コントローラ２６によって制御されることにより、油圧シリンダ１０〜１２に供給される作動油の流量が制御される。これにより、油圧シリンダ１０〜１２の動作が制御される。

図２（Ａ）に示すように、ブーム６とアーム７とバケット８には、それぞれ第１〜第３ストロークセンサ１６〜１８が設けられている。
第１ストロークセンサ１６は、ブームシリンダ１０のストローク長さを検出する。後述する表示コントローラ３９（図３参照）は、第１ストロークセンサ１６が検出したブームシリンダ１０のストローク長さから、後述する車体座標系のｚｍ軸に対するブーム６の揺動角αを算出する。
第２ストロークセンサ１７は、アームシリンダ１１のストローク長さを検出する。表示コントローラ３９は、第２ストロークセンサ１７が検出したアームシリンダ１１のストローク長さから、ブーム６に対するアーム７の揺動角βを算出する。
第３ストロークセンサ１８は、バケットシリンダ１２のストローク長さを検出する。表示コントローラ３９は、第３ストロークセンサ１８が検出したバケットシリンダ１２のストローク長さから、アーム７に対するバケット８の揺動角γを算出する。
後述するように、第１〜第３ストロークセンサ１６〜１８によって、車体１に対する作業機２のバケット８の刃先Ｐの位置情報を検出できる。従って、第１〜第３ストロークセンサ１６〜１８は、本発明の作業機位置検出部に相当する。

図２（Ａ）に示すように、車体１には、位置検出部１９が備えられている。位置検出部１９は、油圧ショベル１００の現在位置を検出する。位置検出部１９は、ＲＴＫ−ＧＮＳＳ（Real Time Kinematic - Global Navigation Satellite Systems、ＧＮＳＳは全地球航法衛星システムをいう。）用の２つのアンテナ２１、２２と、３次元位置センサ２３と、傾斜角センサ２４とを有する。
アンテナ２１，２２は、後述する車体座標系ｘｍ−ｙｍ−ｚｍのｙｍ軸に沿って一定距離だけ離間して配置されている。アンテナ２１、２２で受信されたＧＮＳＳ電波に応じた信号は３次元位置センサ２３に入力される。３次元位置センサ２３は、アンテナ２１、２２のグローバル座標系における設置位置を検出する。
なお、グローバル座標系は、ＧＮＳＳによって計測される座標系であり、地球に固定された原点を基準とした座標系である。これに対して、後述する車体座標系は、車体１（具体的には旋回体３）に固定された原点を基準とする座標系である。２つのアンテナ２１、２２は、車体１の現在位置および車体１（具体的には旋回体３）の向きを検出するためのアンテナである。位置検出部１９は、２つのアンテナ２１、２２の位置によって、後述する車体座標系のｘｍ軸のグローバル座標系での方向角（方位角）を検出する。

図３に示すように、車体１には、傾斜角センサ２４が備えられている。傾斜角センサ２４は、図２（Ｂ）に示すように、重力方向（鉛直線）に対する車体１の幅方向（左右方向）の傾斜角θ１（以下、「ロール角θ１」と呼ぶ）を検出する。また、傾斜角センサ２４は、図２（Ａ）に示すように、重力方向に対する車体１の前後方向の傾斜角θ２（以下、「ピッチ角θ２」と呼ぶ）を検出する。さらに、傾斜角センサ２４は、旋回体３の旋回角度つまり車体座標系の鉛直軸（ｚｍ軸）回りの傾斜角（以下、「ヨー角θ３」と呼ぶ）を検出する。
なお、本実施形態において、車体１の幅方向とは、バケット８の幅方向を意味しており、車幅方向と一致している。ただし、作業機２がチルトバケットを備える場合には、バケット８の幅方向と車幅方向とが一致しないことがあり得る。
位置検出部１９は、アンテナ２１、２２、３次元位置センサ２３、傾斜角センサ２４を備えるため、車体１のグローバル座標上の現在位置、向き、傾斜角度を有する本体部の三次元位置情報を検出する。車体１のグローバル座標上の現在位置は、緯度、経度、標高のデータで表される。グローバル座標上の車体１の向きは、方位角で表される。傾斜角度は、前記ロール角θ１、ピッチ角θ２、ヨー角θ３で表される。

図３は、油圧ショベル１００が備える制御系の構成を示すブロック図である。油圧ショベル１００は、操作装置２５と、作業機コントローラ２６と、作業機制御装置２７と、表示システム２８とを備える。
操作装置２５は、作業機２および旋回体３を操作する操作部材３１Ｌ、３１Ｒと、操作部材３１Ｌ、３１Ｒの操作を検出する操作検出部３２と、走行操作部材３３と、走行操作検出部３４とを有する。操作部材３１Ｌ、３１Ｒは、オペレータが作業機２および旋回体３を操作するための部材であり、例えば操作レバーである。
操作部材３１Ｒは作業機２におけるブーム６とバケット８の操作を行い、操作部材３１Ｒの前後方向の操作はブームの上げ下げの動作に対応し、左右方向の操作はバケットの掘削、開放の動作に対応する。
操作部材３１Ｌは旋回体３とアーム７の操作を行い、操作部材３１Ｌの前後方向の操作はアームの掘削、開放の動作に対応し、左右方向の操作は旋回体３の左右方向の旋回動作に対応する。
操作検出部３２は、操作部材３１Ｌの操作を検出する操作検出部３２Ｌと、操作部材３１Ｒの操作を検出する操作検出部３２Ｒとを備える。操作検出部３２Ｌ、３２Ｒは、例えば操作部材３１Ｌ、３１Ｒに設けられた図示しない検出角を検出するポテンショメータ等を用いる。操作部材３１Ｌ、３１Ｒの操作内容に対応し、操作検出部３２Ｌ、３２Ｒは傾倒角を電気信号として検出して、検出信号として作業機コントローラ２６へ送る。操作部材３１Ｌ、３１Ｒでは操作信号に応じパイロット流量を発生させ、操作検出部３２Ｌ、３２Ｒではパイロット圧を検出し、検出信号としてもよい。
走行操作部材３３は、オペレータが油圧ショベル１００の走行を操作するための部材であり、例えば操作レバーである。走行操作検出部３４は、走行操作部材３３の操作内容に応じパイロット流量を発生する。パイロット圧に応じて走行モータに供給する流量が決定し、走行装置５が駆動される。

作業機コントローラ２６は、ＲＡＭやＲＯＭなどの記憶部３５や、ＣＰＵなどの演算部３６を有している。作業機コントローラ２６は、主として作業機２の動作および旋回体３の旋回の制御を行う。作業機コントローラ２６は、操作部材３１Ｌ、３１Ｒの操作に応じて作業機２および旋回体３を動作させるための制御信号を生成して、作業機制御装置２７に出力する。
作業機制御装置２７は比例制御弁３７を有しており、作業機コントローラ２６からの制御信号に基づいて比例制御弁３７が制御される。作業機コントローラ２６からの制御信号に応じた流量の作動油が比例制御弁３７から流出され、油圧シリンダ１０〜１２や図示しない旋回モータに供給される。油圧シリンダ１０〜１２や旋回モータは、比例制御弁３７から供給された作動油に応じて駆動される。これにより、作業機２が動作し、旋回体３が旋回する。

［２．表示システムの構成］
表示システム２８は、警告情報、操作ガイダンス、施工設計面情報、車体情報などの各種情報をオペレータに提供するためのシステムである。表示システム２８は、表示装置３８と、表示コントローラ３９と、前記各種のセンサ１６、１７、１８、２３、２４と、後述する監視装置６０とを有している。

表示装置３８は、図４、５に示すように、実像表示部４０と、レンズ光学系４１と、コンバイナ４２とを有する。実像表示部４０は、液晶ディスプレイ、有機ＥＬディスプレイ、プロジェクタおよびスクリーン等の実像を表示できる表示装置で構成される。なお、透過型スクリーンを用いてスクリーンの裏面側に配置したプロジェクタから映像を投射して表示してもよい。
レンズ光学系４１は、実像表示部４０とコンバイナ４２との間に配置され、複数枚のレンズを備える。そして、レンズ光学系４１のレンズの一部は光軸方向に移動可能に構成されている。レンズの駆動機構は、カメラのズームレンズなどで利用されている駆動機構が利用できる。

コンバイナ４２は、運転室４の前面のフレーム４AF内に上下2枚設置されたフロントグラス４Ａ部分に設けられた一部の光を反射し、残りの光を透過するハーフミラーで構成されている。このコンバイナ４２は、実像表示部４０に表示された映像を運転室４内のオペレータ側に反射するとともに、運転室４の外部からの光を運転室４内に透過する。
このため、オペレータの視点からは、前記実像表示部４０に表示された実像を、コンバイナ４２から透過して視認できる運転室４の前方景色に重ねて表示される虚像７０として捉えることができる。このため、表示装置３８は、オペレータの視野に直接映像を映し出すいわゆるヘッドアップディスプレイとして機能する。

なお、コンバイナ４２にレンズ効果を持たせることで、オペレータが視認する虚像７０を拡大したり、虚像７０の表示位置を変更することができる。本実施形態では、コンバイナ４２にレンズ効果を持たせるために、コンバイナ４２として凹面ハーフミラーを用いている。

さらに、本実施形態では、表示コントローラ３９の制御によって、レンズ光学系４１の少なくとも一部のレンズを光軸方向に移動することで、オペレータが視認する虚像７０の奥行き表示位置（オペレータの視点位置から運転室の前方に表示される虚像７０までの距離）を変更できる。すなわち、レンズ光学系４１を配置した場合、この光学系により、その奥にある実像表示部４０を拡大して覗き込むような形になる。そして、前記レンズ光学系４１内部の一部のレンズを光軸方向に移動することで、実像表示部４０の奥行き（コンバイナ４２から実像表示部４０までの距離）が変化した場合と同様の効果が得られ、結果的に虚像７０の奥行き表示位置も変更される。図５は、点線で示す虚像７０と、実線で示す虚像７０とで奥行き表示位置が変更されている。
さらに、虚像７０の大きさはレンズ光学系４１の射出窓の大きさに依存するため、虚像７０の奥行き表示位置が変わっても、オペレータの視野角上の虚像７０の大きさは一定に保つことができる。

なお、前記虚像７０の奥行き表示位置を変更するには、レンズ光学系４１を配置せずに、リニアアクチュエータなどを用いて前記実像表示部４０をコンバイナ４２に対して近づく方向および遠ざかる方向に移動可能に構成し、実像表示部４０およびコンバイナ４２の距離を変更する構成を採用してもよい。

表示コントローラ３９は、表示システム２８の各種の機能を実行する。表示コントローラ３９と作業機コントローラ２６とは、無線あるいは有線の通信手段で互いに通信可能となっている。
表示コントローラ３９は、ＲＡＭやＲＯＭなどの記憶部４３や、ＣＰＵなどの演算部４４を有している。
記憶部４３には、３次元の目標地形情報が記憶されている。目標地形情報は、作業対象となる地面の施工後の地形（設計地形）の形状および位置に関する情報であり、三角形や四角形などのポリゴンによって表現される。
演算部４４は、記憶部４３に記憶されている目標地形情報や、位置検出部１９で検出される車体１の三次元位置情報、作業機位置検出部である第１〜第３ストロークセンサ１６〜１８で検出されるバケット８の刃先の位置情報に基づいて、作業支援情報を作成するための各種の演算を実行する。表示コントローラ３９は、実像表示部４０にオペレータに対する作業支援情報を表示する。このため、表示コントローラ３９は、本発明の表示制御部に相当する。

［３．案内画面］
以下、表示装置３８に表示される案内画面について詳細に説明する。案内画面は、図６に示すように、操作支援情報８２を作業支援情報として表示し、さらに、車体情報８３や施工設計面情報８４を表示する。また、警告情報（コーション情報）８１を表示する場合は、図７に示すように、作業支援情報として警告情報８１も表示する。

警告情報８１は、表示コントローラ３９に接続された監視装置６０から出力される。監視装置６０は、油圧ショベル１００における各種状態を検出するセンサ等を備え、検出データに異常があった場合に警告情報８１を表示コントローラ３９に出力する。例えば、監視装置６０は、油圧ポンプの吐出圧を検出するセンサや、エンジンの冷却水の水温を検出するセンサ、コンタミセンサなどを備える。また、監視装置６０は、油圧ショベル１００の周囲に人等の障害物が近接したことを検出する近接センサなども備える。
監視装置６０は、これらのセンサのデータに基づいて、オペレータに警告を伝えるための警告情報８１を作成し、表示コントローラ３９に出力する。表示コントローラ３９は、監視装置６０から警告情報８１を受信すると、直ちに実像表示部４０に表示する。すなわち、警告情報８１は最優先で表示する。
図７の警告情報８１は、油圧ショベル１００の左方向に人などの障害物を検出した場合の警告情報の例である。

操作支援情報８２は、作業機２の操作をサポートするガイダンス情報である。例えば、表示コントローラ３９の演算部４４は、後述するように、位置検出部１９で検出された車体１の三次元位置情報と、第１〜第３ストロークセンサ１６〜１８で検出された作業機２におけるバケット８の刃先の位置情報と、記憶部４３に記憶された目標地形情報とを参照することで、作業機２の移動方向および移動量を算出する。そして、表示コントローラ３９は、作業機２の移動方向および移動量から操作支援情報８２を作成し、実像表示部４０に表示する。
例えば、図６の操作支援情報８２は、図８に示す油圧ショベル１００において、バケット８がバケット８Ａの位置にある場合に表示される情報である。図６の操作支援情報８２では、バケット８が目標地形から４ｍ上方に配置されているため、４ｍ下方に移動させる必要があることを示している。図７の操作支援情報８２は、バケット８がバケット８Ｂの位置にある場合に表示される情報である。図７の操作支援情報８２では、バケット８の残りの移動量を示している。
なお、操作支援情報８２は、バケット８の移動方向を示す矢印と、移動距離を示す数字とで表示するタイプでもよいし、移動目標位置（高さレベル）を示す三角マークと現在のバケット８の位置を示すバーとで表示するタイプでもよい。図６，７にはこれら２つの表示タイプを併記しているが、通常は、いずれか一方のみを表示すればよい。

車体情報８３は、燃料計のデータや、現在時刻、現在の燃費での残り稼動時間などの情報である。車体情報８３の表示の有無や、表示するデータの種類等は、オペレータが設定でき、この設定情報は記憶部４３に記憶される。表示コントローラ３９は、車体情報８３が表示有りに設定されている場合、指定されたデータを表示する。なお、車体情報８３の表示位置は、バケット８の刃先位置に連動せず、固定されている。

施工設計面情報８４は、前記目標地形情報と、バケット８の刃先の軌跡情報とを用いて作成される。すなわち、表示コントローラ３９は、施工前には、前記目標地形情報や、位置検出部１９で検出される三次元位置情報に基づいて、目標地形情報を施工設計面情報８４として実像表示部４０に表示する。このため、オペレータの視点からは、コンバイナ４２を通して視認できる作業対象の地面に、前記目標地形情報が重なって見える。
また、表示コントローラ３９は、施工途中や施工後には、前記目標地形情報に加えてバケット８の刃先の軌跡情報を重ねて施工設計面情報８４を作成し、出来形の情報も表示する。

実像表示部４０に表示された案内画面は、レンズ光学系４１を介してコンバイナ４２で反射され、オペレータに視認される。このため、オペレータは、コンバイナ４２を透過して見ることができるフロントグラス４Ａの前方景色つまり作業現場の光景に、前記案内画面を重ねて見ることができる。
表示コントローラ３９は、警告情報８１、操作支援情報８２を、作業機２のバケット８の位置に合わせて表示する。このため、警告情報８１および操作支援情報８２は、バケット８の移動に伴い、コンバイナ４２の表面に沿った表示位置および奥行き表示位置が変化する。
表示コントローラ３９は、車体情報８３を、実像表示部４０の決められた位置に固定して表示する。ただし、警告情報８１、操作支援情報８２と同様に、車体情報８３をバケット８の位置に合わせて表示してもよい。
表示コントローラ３９は、施工設計面情報８４を、作業対象となる地面に合わせて表示する。

［４．案内画面の表示制御方法］
次に、上述した案内画面の表示制御方法について図９のフローチャートに基づいて説明する。表示コントローラ３９は、油圧ショベル１００による施工作業中、図９に示す案内画面の表示制御を、一定時間間隔、例えば０．１秒間隔で繰り返し実行し、例えば１秒程度の間隔で表示を変更する。

（警告情報の表示）
案内画面の表示制御を開始すると、表示コントローラ３９の演算部４４は、監視装置６０から警告情報８１が出力されているか（警告情報８１が有るか）を判定する（ステップＳ１）。警告情報８１が有る場合、演算部４４は警告情報８１を表示する（ステップＳ２）。表示制御の最初に警告情報８１の表示処理を行うことで、警告情報８１を最優先で表示でき、オペレータに迅速に警告情報を伝えることができる。警告情報の表示処理の詳細は後述する。なお、他の情報の表示処理時に、監視装置６０から警告情報８１が出力された場合は、警告情報８１の表示処理（ステップＳ２）を割り込みで実行すればよい。

（施工設計面情報の表示）
演算部４４は、ステップＳ２の警告情報８１の表示処理後、または、警告情報８１が無いためにステップＳ１でＮｏと判定された場合、施工設計面情報８４が記憶部４３に記憶されているかを判定する（ステップＳ３）。施工現場によっては施工設計面情報８４が存在しない場合もあるため、その有無を判定している。
施工設計面情報８４が有る場合、演算部４４は、施工設計面情報８４の表示処理を行う（ステップＳ４）。

（操作支援情報の表示）
演算部４４は、ステップＳ４の施工設計面情報８４の表示処理後、または、施工設計面情報８４が無いためにステップＳ３でＮｏと判定された場合、操作支援情報８２の表示設定の有無を判定する（ステップＳ５）。
操作支援情報８２の表示設定が有る場合、演算部４４は、操作支援情報８２の表示処理を行う（ステップＳ６）。
なお、ステップＳ２、Ｓ４、Ｓ６の各表示処理の詳細は後述する。

（車体情報の表示）
演算部４４は、ステップＳ５でＮｏと判定された場合、またはステップＳ６の表示処理の後、車体情報８３を表示する設定になっているかを判定する（ステップＳ７）。
そして、演算部４４は、車体情報８３の表示設定有りと判定された場合、車体情報８３の表示処理を行う（ステップＳ８）。この場合、演算部４４は実像表示部４０を制御し、図６、７に示すように、燃料計のデータや、現在時刻等の車体情報を、決められた表示位置に表示する。
そして、演算部４４は、前述のとおり、施工作業が継続している間は、前記ステップＳ１からステップＳ８までの処理を所定時間間隔で繰り返すため、ステップＳ１に戻り、表示処理を続行する。

［４−１．警告情報表示処理Ｓ２］
次に、ステップＳ２の警告情報８１の表示処理について、図１０のフローチャートに基づいて説明する。なお、警告情報表示処理Ｓ２では、油圧ショベル１００の車体座標系を利用して刃先位置を算出するため、まず、車体座標系に関して説明する。

（車体座標系の説明）
油圧ショベル１００では、図２に示すように、前記傾斜角センサ２４の検出値を参照して、ブームピン１３の軸と作業機２の動作平面との交点を原点として車体座標系ｘｍ−ｙｍ−ｚｍを設定している。ここで作業機２の動作平面はｘｍ−ｚｍとなる。また、車体座標系は、各アンテナ２１、２２の位置データを用いても設定できる。なお、以下の説明においてブームピン１３の位置は、ブームピン１３の車幅方向における中点の位置を意味するものとする。
アンテナ２１，２２と車体座標系の原点との位置関係、すなわち、アンテナ２１，２２とブームピン１３の車幅方向における中点との位置関係は予め設定される。具体的には、図２（Ｂ）及び図２（Ｃ）に示すように、ブームピン１３とアンテナ２１との間の車体座標系のｘｍ軸方向の距離Lbbxと、ブームピン１３とアンテナ２１との間の車体座標系のｙｍ軸方向の距離Lbbyと、ブームピン１３とアンテナ２１との間の車体座標系のｚｍ軸方向の距離Lbbzとで、車体座標系の原点とアンテナ２１との位置関係が決まる。
また、ブームピン１３とアンテナ２２との間の車体座標系のｘｍ軸方向の距離Lbdxと、ブームピン１３とアンテナ２２との間の車体座標系のｙｍ軸方向の距離Lbdyと、ブームピン１３とアンテナ２２との間の車体座標系のｚｍ軸方向の距離Lbdzとで、車体座標系の原点とアンテナ２２との位置関係が決まる。

（車体座標系上の刃先位置算出Ｓ１１）
演算部４４は、車体座標系上のバケット８の刃先位置を算出する（ステップＳ１１）。演算部４４は、第１〜第３ストロークセンサ１６〜１８の検出結果から、上述したブーム６、アーム７、バケット８の現在の揺動角α、β、γを算出する。
演算部４４は、ブーム６、アーム７、バケット８の揺動角α、β、γと、ブーム６、アーム７、バケット８の長さＬ１、Ｌ２、Ｌ３とを用いて、以下の数１の式により、車体座標系でのバケット８の刃先の座標（ｘ、ｙ、ｚ）を演算する。

（警告情報の生成Ｓ１２）
次に、演算部４４は、監視装置６０から出力される警告情報８１の表示内容を生成する（Ｓ１２）。例えば、監視装置６０の近接センサが左方向に障害物があることを検出し、その検出情報を出力すると、演算部４４は、警告情報８１の表示内容（表示画像）として、左方向の矢印と、エクスクラメーションマークとを生成する。なお、警告情報８１の表示内容（表示画像）は、警告情報の種類に応じて設定される。すなわち、オペレータの注意喚起が必要な場合にエクスクラメーションマークを生成する。そして、前記障害物の検出のように注意すべき方向を指示する必要がある場合に、その方向の矢印を生成する。また、油圧ポンプの吐出圧や、エンジン冷却水の水温の異常を警告する場合には、それらの警告対象を示すアイコンや文字などの画像を生成する。

（警告情報の表示位置算出Ｓ１３）
次に、演算部４４は、バケット８の刃先の現在位置に合わせて警告情報８１の表示位置を算出する（ステップＳ１３）。コンバイナ４２の表示面における警告情報８１の表示位置は、バケット８や操作支援情報８２に重ならない位置であり、かつ、バケット８に近接した位置に設定される。また、警告情報８１の内容に合わせて表示位置を調整する。このため、図７に示すように、左方向の障害物を警告する警告情報８１は、バケット８の斜め左上方位置などに表示される。右方向の障害物を警告する警告情報であれば、バケット８の斜め右上方位置などに表示される。
また、虚像として表示される警告情報８１のオペレータから見て奥行き方向になる座標（ｘ）に相当する奥行き表示位置は、バケット８の刃先のコンバイナ４２からの距離つまりオペレータの視点からの距離に合わせて設定される。

（警告情報の表示Ｓ１４）
次に、演算部４４は、レンズ光学系４１および実像表示部４０を制御し、ステップＳ１３で算出した表示位置に、警告情報８１を表示する（ステップＳ１４）。以上のＳ１１〜Ｓ１４の処理により、警告情報表示処理Ｓ２が終了する。

［４−２．施工設計面情報表示処理Ｓ４］
次に、ステップＳ４の施工設計面情報８４の表示処理について、図１１のフローチャートに基づいて説明する。

（グローバル座標系の車体の三次元位置情報算出Ｓ２１）
施工設計面情報８４を表示する場合、演算部４４は、グローバル座標系上の車体１の三次元位置情報を算出する（ステップＳ２１）。
具体的に、演算部４４は、３次元位置センサ２３および傾斜角センサ２４の検出値を用いて、グローバル座標系上の車体１の三次元位置情報（緯度、経度、高度、方位角、ロール角、ピッチ角、ヨー角）を算出する（ステップＳ２１）。
すなわち、３次元位置センサ２３は、アンテナ２１、２２のグローバル座標上の位置（緯度、経度、高度）を検出する。そして、演算部４４は、前述した車体座標系の原点と各アンテナ２１、２２との位置関係と、３次元位置センサ２３が検出したグローバル座標系におけるアンテナ２１，２２の座標から、車体座標系の原点位置のグローバル座標（Ａ，Ｂ，Ｃ）を演算する。
さらに、アンテナ２１，２２は、車体座標系のｙｍ軸に沿って配置されるため、演算部４４は、グローバル座標系におけるアンテナ２１，２２の座標から車体１（旋回体３）の向き（方位角）を演算する。

（車体座標系上の刃先位置算出Ｓ２２）
次に、演算部４４は、車体座標系上のバケット８の刃先の位置を算出する（ステップＳ２２）。この車体座標系上のバケット８の刃先位置の具体的な算出方法は、前記警告情報８１の表示処理におけるステップＳ１１と同じであるため、説明を省略する。

（グローバル座標系上の刃先位置算出Ｓ２３）
次に、演算部４４は、グローバル座標系上のバケット８の刃先位置を算出する（ステップＳ２３）。演算部４４は、数１から求められた車体座標系でのバケット８の刃先の座標（ｘ、ｙ、ｚ）を、以下の数２の式により、グローバル座標系での座標（X，Y，Z）に変換する。

ただし、ω，φ，κは以下の数３で表される。

ここで、上述したとおり、θ１はロール角である。θ２はピッチ角である。θ３はヨー角である。

（刃先の軌跡情報記憶Ｓ２４）
次に、演算部４４は、ステップＳ２３で算出された刃先位置を記憶部４３に記憶することで、刃先の軌跡情報を記憶する（ステップＳ２４）。
この際、施工後の出来形を計算・表示するためには、バケット８の刃先をバケット８の刃先の両端により形成する線として捉え、その軌跡を計算する必要がある。このため、図１２に示すように、車体１と施工面２００が並行でない時には、バケット８の刃先の中で地形に最も近い点と地形との距離ｄ１に加え、グローバル座標系における車体１の傾斜角度と施工面２００の傾斜角度の情報を用いてバケット８の刃先の線２０１が移動した時の軌跡情報を取得する。

（目標地形に対する作業進度情報算出Ｓ２５）
次に、演算部４４は、記憶部４３に記憶したバケット８の刃先の軌跡情報と、記憶部４３に記憶されている目標地形情報とに基づいて、目標地形に対する作業進度情報を算出する（ステップＳ２５）。

（施工設計面情報生成＆表示位置算出Ｓ２６）
次に、演算部４４は、前記目標地形情報および作業進度情報に基づいて施工設計面情報８４の表示内容を生成する（ステップＳ２６）。また、車体１の三次元位置情報に基づいて、施工設計面情報８４を表示する位置を算出する（ステップＳ２６）。

（施工設計面情報表示Ｓ２７）
そして、演算部４４は、レンズ光学系４１および実像表示部４０を制御し、ステップＳ２６で算出した表示位置に、施工設計面情報８４を表示する（ステップＳ２７）。

このため、オペレータは、作業対象の地面に、施工設計面情報８４を重ねて視認することができる。例えば、施工作業前であれば、施工設計面情報８４は、作業目標の地形が表示されるため、オペレータはこれからの作業すべき目標面を容易に把握できる。
また、作業中であれば、施工設計面情報８４は作業進度情報も含んでいるため、オペレータは、実際に視認できるバケット８の刃先位置と、掘削等の作業の目標面の位置関係を視点および焦点を変更することなく容易に把握でき、かつ、目標通りに施工できているかも容易に確認できる。

なお、施工設計面情報８４と、警告情報８１や操作支援情報８２とを同時に表示する場合、表示コントローラ３９は、警告情報８１や操作支援情報８２の奥行き表示位置が、バケット８の位置となることを優先してレンズ光学系４１を制御する。すなわち、警告情報８１や操作支援情報８２の奥行き表示位置と、施工設計面情報８４の奥行き表示位置が異なる場合、レンズ光学系４１は、警告情報８１や操作支援情報８２の奥行き表示位置を設定するために制御される。
また、バケット８の刃先位置に合わせて表示位置を変更する作業支援情報である警告情報８１や操作支援情報８２を表示する実像表示部４０およびレンズ光学系４１と、バケット８の刃先位置に合わせて表示位置を変更しない情報である車体情報８３や施工設計面情報８４を表示する実像表示部４０およびレンズ光学系４１を別々に設けてもよい。

［４−３．操作支援情報表示処理Ｓ６］
次に、ステップＳ６の施工設計面情報８４を利用した操作支援情報８２の表示処理について図１３のフローチャートに基づいて説明する。
操作支援情報８２を表示する場合も、演算部４４は、グローバル座標系上の車体１の三次元位置情報を算出する（ステップＳ３１）。次に、演算部４４は、車体座標系上の刃先の位置を算出する（ステップＳ３２）。次に、演算部４４は、グローバル座標上の刃先位置を算出する（ステップＳ３３）。これらのステップＳ３１〜Ｓ３３の具体的な算出方法は、前記施工設計面情報８４の表示処理におけるステップＳ２１〜Ｓ２３と同じであるため、説明を省略する。なお、ステップＳ６の操作支援情報８２の表示処理が、ステップＳ４の施工設計面情報８４の表示処理に続いて行われた場合、ステップＳ３１〜Ｓ３３を省略し、ステップＳ２１〜Ｓ２３で算出したデータを利用してもよい。

次に、演算部４４は、上記のように演算したバケット８の刃先のグローバル座標での現在位置と、記憶部４３に記憶されている目標地形情報とに基づいて、目標地点への到達に必要な刃先の移動量情報を算出する（ステップＳ３４）。
次に、演算部４４は、ステップＳ３４で算出した移動量情報に基づいて操作支援情報８２の表示内容を生成し、バケット８の刃先の現在位置に合わせて表示位置を算出する（ステップＳ３５）。コンバイナ４２の表示面における操作支援情報８２の表示位置は、バケット８や警告情報８１に重ならない位置であり、かつ、バケット８に近接した位置に設定される。このため、図６，７では、バケット８の側方位置に表示される。また、虚像として表示される操作支援情報８２のオペレータから見て奥行き方向となる座標（ｘ）に相当する奥行き表示位置は、バケット８の刃先の位置に合わせて設定される。

次に、演算部４４は、レンズ光学系４１および実像表示部４０を制御し、ステップＳ３５で算出した表示位置に、操作支援情報８２を表示する（ステップＳ３６）。

このような本実施形態によれば、表示装置３８を、実像表示部４０、レンズ光学系４１、コンバイナ４２を備えて構成したので、作業支援情報を運転室４の前方景色に重ねて表示できる。このため、オペレータは、作業機２のバケット８および作業支援情報である警告情報８１や操作支援情報８２を視認する場合に、視点および焦点の移動を少なくでき、作業効率を向上できる。
表示コントローラ３９は、バケット８の位置情報に基づいて、警告情報８１、操作支援情報８２のコンバイナ４２の表面に沿った表示位置および奥行き表示位置を制御する。このため、オペレータが知覚する警告情報８１や操作支援情報８２の投影像を、バケット８の周囲に表示でき、オペレータの視線の動きと焦点調節とを最小限に抑えることができる。このため、オペレータがバケット８および作業支援情報を認識する場合の負荷を低減できる。
コンバイナ４２は、フロントグラス４Ａの大きさに合わせて設定できるため、従来のモニタ装置に比べて各種情報の表示領域を大きくできる。このため、従来は、モニタ装置の画面を切り替えなければ表示できない複数の情報を、コンバイナ４２の領域内に継ぎ目なく表示できる。さらに、情報化による様々な作業支援情報を提供する場合に、運転室４内のモニタ装置を増やす必要がなく、運転室４内のスペースを確保でき、オペレータの作業性や視界性を維持できる。

[実施形態の変形]
なお、本発明は前述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
上記の実施形態では、第１〜第３ストロークセンサ１６〜１８によって、ブーム６、アーム７、バケット８の傾斜角を検出しているが、傾斜角の検出手段はこれらに限られない。例えば、ブーム６、アーム７、バケット８の傾斜角を検出する角度センサが備えられてもよい。

上記の実施形態では、バケット８を有しているが、バケット８はこれに限られず、チルトバケットであってもよい。チルトバケットとは、バケットチルトシリンダを備え、バケットが左右にチルト傾斜することで油圧ショベルが傾斜地にあっても、斜面、平地を自由な形に成形、整地をすることができ、低板プレートによる転圧作業もできるバケットである。
また、作業機２は、バケット８を有するものに限らない。例えば、作業機２としては、油圧ブレーカ等のバケット８以外のアタッチメントを装着したものでもよい。
さらに、建設機械としては、油圧ショベル１００に限らず、ブルドーザ、ホイールローダー、モーターグレーダー等の作業機を有する各種の建設機械でもよい。

実像表示部４０に表示される案内画面の内容は、上記のものに限られず、アタッチメントの種類や建設機械の種類などに応じて設定すればよい。また、表示コントローラ３９の機能の一部、あるいは、全てが、建設機械の外部の基地局に配置されたコンピュータによって実行されて配信されてもよい。
操作支援情報８２としては、目標地点までの移動量情報に限らない。例えば、掘削後にバケット８を上方に移動する場合は、バケット８の上方への移動量を操作支援情報８２として表示してもよい。操作支援情報８２の内容は、作業機の種類や、オペレータの操作に応じて設定すればよい。

建設機械としては、アンテナ２１、２２等のグローバル座標系上の現在位置を検出する機構を備えないものでもよい。この場合は、車体座標系上での情報に基づいて警告情報８１などを作成して表示すればよい。
また、作業機２の位置に合わせて表示する作業支援情報の奥行き表示位置は、レンズ光学系４１のレンズを移動したり、実像表示部４０を移動するものに限定されない。例えば、作業支援情報の表示画像を処理して、オペレータが知覚する投影像の奥行き表示位置を調整してもよい。

本発明は、油圧ショベルに利用できる他、ホイールローダー、ブルドーザ、モーターグレーダーなど、オペレータが作業機を視認できる各種の建設機械にも利用することができる。

１…車体、３…旋回体、４…運転室、４Ａ…フロントグラス、５…走行装置、６…ブーム、７…アーム、８…バケット、１６…第１ストロークセンサ、１７…第２ストロークセンサ、１８…第３ストロークセンサ、１９…位置検出部、２１、２２…アンテナ、２３…３次元位置センサ、２４…傾斜角センサ、２５…操作装置、２６…作業機コントローラ、２７…作業機制御装置、２８…表示システム、３８…表示装置、３９…表示コントローラ、４０…実像表示部、４１…レンズ光学系、４２…コンバイナ、４３…記憶部、４４…演算部、６０…監視装置、７０…虚像、８１…警告情報、８２…操作支援情報、８３…車体情報、８４…施工設計面情報、１００…油圧ショベル

Claims (8)

1. 作業機と、前記作業機が取り付けられかつ運転室を有する本体部とを有する建設機械の表示システムであって、
   前記作業機の位置情報を検出する作業機位置検出部と、
   実像を表示する実像表示部と、
   前記実像を運転室内に反射することで前記運転室の外部に虚像を形成するとともに、前記運転室の外部からの光を透過する凹面ハーフミラーによって構成されるコンバイナと、 前記虚像の第１部分の表示位置を固定しながら、前記作業機の位置情報に基づいて前記虚像の第２部分の表示位置を変更する制御を行う表示制御部と
   を備え、
   前記虚像の第２部分には少なくとも警告情報が表示される
   建設機械の表示システム。
2. 前記表示制御部は、作業機の位置情報に基づいて、前記虚像の前記第２部分の前記コンバイナの表面に沿った表示位置および前記運転室の前方への奥行き表示位置を変更する制御を行う
   請求項１に記載の建設機械の表示システム。
3. 請求項１または請求項２に記載の建設機械の表示システムにおいて、
   前記虚像の前記第２部分は、前記作業機の位置情報と、作業対象の目標地形情報とに基づいて作成される前記作業機の操作情報を含む
   建設機械の表示システム。
4. 請求項１から請求項３のいずれかに記載の建設機械の表示システムにおいて、
   前記本体部の現在位置、向き、傾斜角度を有する三次元位置情報を検出する位置検出部と、
   作業対象の目標地形情報を記憶する記憶部と、を備え、
   前記表示制御部は、施工後の出来形を表す施工設計面情報を表す前記虚像の前記第２部分が、前記作業対象の地形位置に表示されるように制御を行い、
   前記施工設計面情報は、前記本体部の三次元位置情報と、前記目標地形情報とに基づいて作成される
   建設機械の表示システム。
5. 作業機と、前記作業機が取り付けられかつ運転室を有する本体部とを有する建設機械の表示システムであって、
   前記作業機の位置情報を検出する作業機位置検出部と、
   実像を表示する実像表示部と、
   前記実像を運転室内に反射することで前記運転室の外部に虚像を形成するとともに、前記運転室の外部からの光を透過する凹面ハーフミラーによって構成されるコンバイナと、 前記虚像の第１部分の表示位置を固定しながら、前記作業機の位置情報に基づいて前記虚像の第２部分の表示位置を変更する制御を行う表示制御部と、
   前記本体部の現在位置、向き、傾斜角度を有する三次元位置情報を検出する位置検出部と、
   作業対象の目標地形情報および前記作業機の軌跡情報を記憶する記憶部と、を備え、
   前記表示制御部は、施工後の出来形を表す施工設計面情報を表す前記虚像の前記第２部分が、前記作業対象の地形位置に表示されるように制御を行い、
   前記施工設計面情報は、前記本体部の三次元位置情報と、前記目標地形情報と、前記作業機の軌跡情報に基づく作業進度情報とに基づいて作成される
   建設機械の表示システム。
6. 作業機と、前記作業機が取り付けられかつ運転室を有する本体部とを有する建設機械の表示システムであって、
   前記作業機の位置情報を検出する作業機位置検出部と、
   実像を表示する実像表示部と、
   前記実像を運転室内に反射することで前記運転室の外部に虚像を形成するとともに、前記運転室の外部からの光を透過する凹面ハーフミラーによって構成されるコンバイナと、 前記虚像の第１部分の表示位置を固定しながら、前記作業機の位置情報に基づいて前記虚像の第２部分の表示位置を変更する制御を行う表示制御部と、
   前記実像表示部と前記コンバイナとの間に配置される第１レンズ光学系および第２レンズ光学系と、
   を備え、
   前記第１レンズ光学系は、前記実像の前記第１部分に対応して設けられ、
   前記第２レンズ光学系は、前記実像の前記第２部分に対応して設けられ、複数のレンズを備え、かつ、少なくとも一部のレンズは光軸方向に移動可能に設けられ、
   前記表示制御部は、前記第２レンズ光学系の少なくとも一部のレンズを光軸方向に移動させて前記虚像の第２部分の奥行き表示位置を制御する
   建設機械の表示システム。
7. 請求項１から請求項５のいずれかに記載の建設機械の表示システムにおいて、
   前記実像表示部は、前記コンバイナとの距離を変更可能に設けられ、
   前記表示制御部は、前記実像表示部と前記コンバイナとの距離を変更して前記虚像の第２部分の奥行き表示位置を制御する
   建設機械の表示システム。
8. 作業機と、前記作業機が取り付けられかつ運転室を有する本体部とを有する建設機械において、実像を表示する実像表示部と、前記実像を運転室内に反射することで前記運転室の外部に虚像を形成するとともに、前記運転室の外部からの光を透過する凹面ハーフミラーによって構成されるコンバイナとを備えた表示システムの制御方法であって、
   前記作業機の位置情報を検出するステップと、
   前記虚像の第１部分の表示位置を固定しながら、前記作業機の位置情報に基づいて前記コンバイナによる前記虚像の第２部分の表示位置を変更する制御を行うステップと、
   を備え、
   前記虚像の第２部分には少なくとも警告情報が表示される
   建設機械の表示システムの制御方法。

Images