[go: up one dir, main page]

JP6582144B2 - 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム - Google Patents

投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム Download PDF

Info

Publication number
JP6582144B2
JP6582144B2 JP2018557554A JP2018557554A JP6582144B2 JP 6582144 B2 JP6582144 B2 JP 6582144B2 JP 2018557554 A JP2018557554 A JP 2018557554A JP 2018557554 A JP2018557554 A JP 2018557554A JP 6582144 B2 JP6582144 B2 JP 6582144B2
Authority
JP
Japan
Prior art keywords
projection display
display device
unit
work
cab
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2018557554A
Other languages
English (en)
Other versions
JPWO2018116577A1 (ja
Inventor
広大 藤田
広大 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Application granted granted Critical
Publication of JP6582144B2 publication Critical patent/JP6582144B2/ja
Publication of JPWO2018116577A1 publication Critical patent/JPWO2018116577A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3155—Modulator illumination systems for controlling the light source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B60K35/233—Head-up displays [HUD] controlling the size or position in display areas of virtual images depending on the condition of the vehicle or the driver
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/142—Adjusting of projection optics
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B29/00—Combinations of cameras, projectors or photographic printing apparatus with non-photographic non-optical apparatus, e.g. clocks or weapons; Cameras having the shape of other objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0183—Adaptation to parameters characterising the motion of the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Civil Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、投写型表示装置、投写型表示装置の制御方法、及び、投写型表示装置の制御プログラムに関する。
油圧ショベル、ホイールローダー、ブルドーザ、又は、モーターグレーダー等の作業者が作業機を運転室から観察できる各種の作業用機械を用いて建設作業又は土木作業を行う際の作業効率を、ＨＵＤ（Ｈｅａｄ−ｕｐ Ｄｉｓｐｌａｙ）を利用して向上させる技術が特許文献１及び特許文献２に開示されている。
特許文献１には、バケットの昇降方向と昇降量の情報をＨＵＤによって運転席前方に表示する油圧ショベルが記載されている。
特許文献２には、施工計画図をＨＵＤによって運転席前方に表示する油圧ショベルが記載されている。
また、特許文献３には、施工計画図と、施工の現況を示す情報と、現況におけるバケットの位置を示すバケット画像とを、運転室内の表示装置に表示する油圧ショベルが記載されている。
特開２０１４−１２９６７６号公報 特開２０１０−０１８１４１号公報 特開２０１２−２５５２８６号公報
特許文献２及び特許文献３の技術によれば、施工計画図を確認しながら作業用機械を操作することができるため、作業効率を向上させることが可能である。しかし、施工計画図や現在のバケットの位置が表示されるだけでは、熟練度の低い作業者にとっては目標通りの施工を行うことは難しい。
特許文献１の技術によれば、施工計画図と共にバケットの昇降量が表示されるため、熟練度の低い作業者に対する作業支援として有効となる。しかし、施工すべき範囲は広範囲となる場合もあり、この場合には、施工すべき範囲におけるどの位置においてバケットを昇降させる必要があるかを作業者は判断する必要がある。特許文献１にはこのような判断の支援の必要性については考慮していない。
また、特許文献１の油圧ショベルでは、作業者が車体を旋回又は前進させることでバケットを適当な位置に移動させて停止し、その位置でＨＵＤによって表示される昇降量にしたがってバケットを操作する手順を繰り返すことが考えらえる。このような手順では、作業者の熟練度によっては車体が無駄に動いている可能性もあり、作業効率が低下する可能性がある。
ここでは建設機械を例に説明したが、運転席前方において運転者が操作可能な作業機を搭載する乗り物（例えば、フォークリフト等）に搭載されるＨＵＤにおいても同様に作業効率の向上という課題が生じる。
本発明は、上記事情に鑑みてなされたものであり、作業機を有する乗り物による作業効率を向上させることのできる投写型表示装置、投写型表示装置の制御方法、及び、投写型表示装置の制御プログラムを提供することを目的とする。
本発明の投写型表示装置は、可動の作業機と、上記作業機が取り付けられかつ運転室を有する本体部とを有する乗り物に搭載される投写型表示装置であって、上記乗り物の位置及び上記運転室の向きを検出する検出部と、光源から出射される光を、入力される画像情報に基づいて空間変調する光変調部を含み、上記光変調部により空間変調して得られた画像光を上記運転室に搭載された投写面に投写して上記画像光に基づく虚像を表示する投写表示部と、上記光変調部に入力する上記画像情報を制御して上記投写表示部により表示させる虚像を制御する表示制御部と、を備え、上記表示制御部は、記憶部に記憶された上記乗り物の位置、上記運転室の向き、及び、上記作業機の姿勢を指定する作業計画情報と上記検出部により検出された上記位置及び上記向きとに基づいて、計画上の上記作業機の状態を示す、上記作業機を模した作業機虚像を上記投写表示部に表示させるものである。
本発明の投写型表示装置の制御方法は、可動の作業機と、上記作業機が取り付けられかつ運転室を有する本体部とを有する乗り物に搭載される投写型表示装置の制御方法であって、上記投写型表示装置は、光源から出射される光を、入力される画像情報に基づいて空間変調する光変調部と、上記光変調部により空間変調して得られた画像光を上記運転室に搭載された投写面に投写して上記画像光に基づく虚像を表示する投写表示部と、を有し、上記乗り物の位置及び上記運転室の向きを検出する検出ステップと、記憶部に記憶された上記乗り物の位置、上記運転室の向き、及び、上記作業機の姿勢を指定する作業計画情報と、上記検出ステップにより検出された上記位置及び上記向きとに基づいて、計画上の上記作業機の状態を示す、上記作業機を模した作業機虚像を上記投写表示部に表示させる表示制御ステップを備えるものである。
本発明の投写型表示装置の制御プログラムは、可動の作業機と、上記作業機が取り付けられかつ運転室を有する本体部とを有する乗り物に搭載される投写型表示装置の制御プログラムであって、上記投写型表示装置は、光源から出射される光を、入力される画像情報に基づいて空間変調する光変調部と、上記光変調部により空間変調して得られた画像光を上記運転室に搭載された投写面に投写して上記画像光に基づく虚像を表示する投写表示部と、を有し、上記乗り物の位置及び上記運転室の向きを検出する検出ステップと、記憶部に記憶された上記乗り物の位置、上記運転室の向き、及び、上記作業機の姿勢を指定する作業計画情報と、上記検出ステップにより検出された上記位置及び上記向きとに基づいて、計画上の上記作業機の状態を示す、上記作業機を模した作業機虚像を上記投写表示部に表示させる表示制御ステップと、をコンピュータに実行させるためのものである。
本発明によれば、作業機を有する乗り物による作業効率を向上させることのできる投写型表示装置、投写型表示装置の制御方法、及び、投写型表示装置の制御プログラムを提供することができる。
本発明の投写型表示装置の一実施形態であるＨＵＤ１０を搭載する建設機械１の概略構成を示す模式図である。 図１に示す建設機械１における運転室５の内部構成例を示す模式図である。 図１に示す建設機械１における運転室５内の構成例を示す模式図である。 図１及び図２に示すＨＵＤ１０の内部構成を示す模式図である。 図４に示すシステム制御部６０の機能ブロック図である。 図５に示すシステム制御部６０の動作を説明するためのフローチャートである。 図５に示すシステム制御部６０の動作を説明するためのフローチャートである。 図１に示すＨＵＤ１０の投写表示部５０による表示例を示す模式図である。 図１に示すＨＵＤ１０の投写表示部５０による表示例を示す模式図である。 図１に示すＨＵＤ１０の投写表示部５０による表示例を示す模式図である。 図１に示すＨＵＤ１０の投写表示部５０による表示例を示す模式図である。 図１に示すＨＵＤ１０の投写表示部５０による表示例を示す模式図である。 図１に示すＨＵＤ１０の投写表示部５０による表示例を示す模式図である。 図１に示すＨＵＤ１０の投写表示部５０による表示例を示す模式図である。 図１に示すＨＵＤ１０の投写表示部５０による表示例を示す模式図である。 図１に示すＨＵＤ１０の投写表示部５０による表示例を示す模式図である。 図１に示すＨＵＤ１０の投写表示部５０による表示例を示す模式図である。 図１に示すＨＵＤ１０の投写表示部５０による表示例を示す模式図である。
以下、本発明の実施形態について図面を参照して説明する。
図１は、本発明の投写型表示装置の一実施形態であるＨＵＤ１０を搭載する建設機械１の概略構成を示す模式図である。
建設機械１は、油圧ショベルであって、下部走行体２、下部走行体２に旋回可能に支持される上部旋回体３、及び、上部旋回体３によって支持されたフロント作業部４等の各部から構成されている。下部走行体２及び上部旋回体３は建設機械１の本体部を構成する。
下部走行体２は、公道及び作業現場を走行するための金属製又はゴム製のクローラを備える。
上部旋回体３は、フロント作業部４を操作するための操作装置及び作業者が着座するための運転席６が設置される運転室５と、運転室５の向きを検出する方位センサ１４と、建設機械１の位置（緯度及び経度）を検出するＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機１５と、を備える。
フロント作業部４は、上部旋回体３によって重力方向と重力方向に直交する方向（図中の上下方向及び紙面に垂直な方向）とに移動可能に支持されたアーム４Ｃと、アーム４Ｃによってアーム４Ｃに対し回転可能に支持されたブーム４Ｂと、ブーム４Ｂによってブーム４Ｂに対して回転可能に支持されたバケット４Ａと、を備える。バケット４Ａは、地面又は搬出物等の作業対象物に対して直接接触可能な部分であり、作業機を構成する。
なお、バケット４Ａに代えて、鉄骨切断機、コンクリート圧砕機、つかみ機、又は、打撃式破砕具等の他の作業機がブーム４Ｂに装着された構成であってもよい。
バケット４Ａは、アーム４Ｃ及びブーム４Ｂを介して、運転室５に対して図中の上下方向に移動させることができる。また、バケット４Ａは、運転席６に着座する作業者の視線方向及び重力方向と直交する方向を軸として回転可能となっている。また、ブーム４Ｂは、図中の紙面に垂直な方向を軸として回転可能となっている。
図示省略されているが、フロント作業部４には、フロント作業部４の姿勢を検出するための角速度センサ及び３軸加速度センサ等のセンサ群が設けられている。
運転室５には、運転席６の前方にフロントウインドシールド１１が設けられており、このフロントウインドシールド１１の一部は、後述する画像光を反射させる加工がなされた領域となっている。そして、この領域が、ＨＵＤ１０から出射された画像光が投写される投写範囲１１Ａを構成している。方位センサ１４は、フロントウインドシールド１１の正面の方向を検出するために設けられている。
ＨＵＤ１０は、運転室５内に設置されており、フロントウインドシールド１１の一部の領域である投写範囲１１Ａに投写する画像光により、運転席６に着座する作業者によってフロントウインドシールド１１前方において虚像を視認可能に表示する。
図２は、図１に示す建設機械１における運転室５の内部構成例を示す模式図である。
図２に示すように、ＨＵＤ１０は、作業者が運転席６に着座した状態で、作業者の上方かつ後方に設けられている。ＨＵＤ１０は、ＧＰＳ受信機１５の検出信号と、方位センサ１４の検出信号と、フロント作業部４に設けられたセンサ群の検出信号と、内部に予め記憶されている作業計画情報とに基づいて、作業支援のための虚像をフロントウインドシールド１１の前方に表示する。
建設機械１の作業者は、フロントウインドシールド１１の投写範囲１１Ａに投写され、ここで反射された画像光を見ることで、建設機械１による作業を支援するための画像又は文字等の情報を虚像として視認することができる。また、投写範囲１１Ａは、ＨＵＤ１０から投写された画像光を反射すると同時に、外部（外界）からの光を透過する機能を持つ。このため、作業者は、ＨＵＤ１０から投写された画像光に基づく虚像を外界の景色に重ねて視認することができる。
ＨＵＤ１０は、図１の例では油圧ショベルに搭載されて用いられるが、運転席前方において作業者が操作可能な作業機を搭載する作業用機械（例えば、ホイールローダー、ブルドーザ、モーターグレーダー、又は、フォークリフト等）であれば同様に搭載可能である。
図３は、図１に示す建設機械１における運転室５内の構成例を示す模式図である。
運転室５は、フロントウインドシールド１１、右サイドウインドシールド２１、及び、左サイドウインドシールド２２に取り囲まれている。運転室５は、フロント作業部４の曲げ伸ばし及び上部旋回体３の旋回を操作するための左操作レバー２３及びフロント作業部４のバケット４Ａの掘削及び開放を操作するための右操作レバー２４等を運転席６周りに備える。なお、左操作レバー２３と右操作レバー２４への操作機能の割り当ては一例であり、これに限定されるものではない。
フロントウインドシールド１１には、ＨＵＤ１０から出射された画像光が投写される投写範囲１１Ａがあり、この投写範囲１１Ａが画像光を反射すると同時に、外部（外界）からの光を透過する。
なお、建設機械１は、図示省略されているが、下部走行体２によって走行する際に操作される走行用のハンドル、アクセル、及び、ブレーキ等が設けられている。
図４は、図１及び図２に示すＨＵＤ１０の内部構成を示す模式図である。
ＨＵＤ１０は、光源ユニット４０と、光変調素子４４と、光変調素子４４を駆動する駆動部４５と、投写光学系４６と、拡散板４７と、反射ミラー４８と、拡大鏡４９と、光源ユニット４０及び駆動部４５を制御するシステム制御部６０と、フラッシュメモリ等の記憶媒体により構成されうる記憶部７０と、を備える。
光源ユニット４０は、光源制御部４０Ａと、赤色光を出射する赤色光源であるＲ光源４１ｒと、緑色光を出射する緑色光源であるＧ光源４１ｇと、青色光を出射する青色光源であるＢ光源４１ｂと、ダイクロイックプリズム４３と、Ｒ光源４１ｒとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｒと、Ｇ光源４１ｇとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｇと、Ｂ光源４１ｂとダイクロイックプリズム４３の間に設けられたコリメータレンズ４２ｂと、を備えている。
ダイクロイックプリズム４３は、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及びＢ光源４１ｂの各々から出射される光を同一光路に導くための光学部材である。すなわち、ダイクロイックプリズム４３は、コリメータレンズ４２ｒによって平行光化された赤色光を透過させて光変調素子４４に出射する。また、ダイクロイックプリズム４３は、コリメータレンズ４２ｇによって平行光化された緑色光を反射させて光変調素子４４に出射する。さらに、ダイクロイックプリズム４３は、コリメータレンズ４２ｂによって平行光化された青色光を反射させて光変調素子４４に出射する。このような機能を持つ光学部材としては、ダイクロイックプリズムに限らない。例えば、クロスダイクロイックミラーを用いてもよい。
Ｒ光源４１ｒ、Ｇ光源４１ｇ、及び、Ｂ光源４１ｂは、それぞれ、レーザ又はＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の発光素子が用いられる。Ｒ光源４１ｒ、Ｇ光源４１ｇ、及び、Ｂ光源４１ｂは、ＨＵＤ１０の光源を構成する。本実施形態では、ＨＵＤ１０の光源として、Ｒ光源４１ｒとＧ光源４１ｇとＢ光源４１ｂの３つの光源を含むものとしているが、光源の数は１つ、２つ、又は、４つ以上であってもよい。
光源制御部４０Ａは、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及び、Ｂ光源４１ｂの各々の発光量を予め決められた発光量パターンに設定し、この発光量パターンに従ってＲ光源４１ｒ、Ｇ光源４１ｇ、及び、Ｂ光源４１ｂから光を順次出射させる制御を行う。
光変調素子４４は、ダイクロイックプリズム４３から出射された光を画像情報に基づいて空間変調し、空間変調した光（赤色画像光、青色画像光、及び緑色画像光）を投写光学系４６に出射する。
光変調素子４４としては、例えば、ＬＣＯＳ（Ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｏｎ ｓｉｌｉｃｏｎ）、ＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ）、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）素子、又は、液晶表示素子等を用いることができる。
駆動部４５は、システム制御部６０から入力される画像情報に基づいて光変調素子４４を駆動し、画像情報に応じた光（赤色画像光、青色画像光、及び緑色画像光）を光変調素子４４から投写光学系４６に向けて出射させる。
光変調素子４４と駆動部４５とは、ＨＵＤ１０の光変調部を構成する。
投写光学系４６は、光変調素子４４から出射された光を、拡散板４７に投写するための光学系である。この光学系は、レンズに限らず、スキャナを用いることもできる。例えば、走査型スキャナから出射された光を拡散板４７で拡散させて面光源化してもよい。
反射ミラー４８は、拡散板４７で拡散された光を拡大鏡４９に向けて反射させる。
拡大鏡４９は、反射ミラー４８で反射されてきた光に基づく像を拡大させて投写範囲１１Ａに投写する。
光源ユニット４０、光変調素子４４、駆動部４５、投写光学系４６、拡散板４７、反射ミラー４８、及び、拡大鏡４９は、Ｒ光源４１ｒ、Ｇ光源４１ｇ、及び、Ｂ光源４１ｂから出射される光を、システム制御部６０から入力された画像情報に基づいて空間変調し、空間変調して得られた画像光を投写範囲１１Ａに投写する投写表示部５０を構成する。投写範囲１１Ａは、投写表示部５０によって虚像を表示可能な表示範囲を構成している。
システム制御部６０は、光源制御部４０Ａ及び駆動部４５を制御して、画像情報に基づく画像光を、投写光学系４６を介して拡散板４７に出射させる。
図４に示した拡散板４７、反射ミラー４８、及び、拡大鏡４９は、投写範囲１１Ａに投写された画像光に基づく画像が、フロントウインドシールド１１前方の位置において虚像として視認可能となるように光学設計がなされている。
システム制御部６０は、プロセッサを主体に構成されており、プロセッサの実行するプログラム等が記憶されるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びワークメモリとしてのＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を含む。
記憶部７０は複数の作業計画情報を記憶している。
作業計画情報は、バケット４Ａによって掘削を開始すべき建設機械１の位置（緯度及び経度）、その位置における運転室５の向き、その位置における掘削開始の際のバケット４Ａの姿勢（バケット４Ａの上下方向の位置及びバケット４Ａの運転室５からの距離等を含む）、及び、その位置における掘削量をそれぞれ指定する情報である。なお、作業計画情報において掘削量の情報は省略されてもよい。
以下では、作業計画情報によって指定される建設機械１の位置を計画位置といい、作業計画情報によって指定される運転室５の向きを計画向きといい、作業計画情報によって指定されるバケット４Ａの姿勢を計画姿勢という。
図４に示すセンサ群８０は、フロント作業部４に設けられた３軸加速度センサ及び角速度センサ等である。センサ群８０で検出された加速度情報及び角速度情報と、方位センサ１４によって検出された運転室５の向きを示す方位情報と、ＧＰＳ受信機１５で検出された緯度及び経度を示す建設機械１の位置情報は、システム制御部６０に入力される。
システム制御部６０は、記憶部７０から読み出した作業計画情報と、方位センサ１４から入力された方位情報と、ＧＰＳ受信機１５から入力された位置情報とに基づいて、バケット４Ａを模した作業機虚像を表示するための画像情報を生成し、この画像情報に基づく画像光を投写範囲１１Ａに投写させる。なお、ＨＵＤ１０は、記憶部７０を備えるとしたが、これに限らない。ＨＵＤ１０は、ＨＵＤ１０に外付けされた記憶媒体に記憶された作業計画情報を読み出しても良い。また、ＨＵＤ１０は、ネットワークを介して、建設機械１の外部にある記憶媒体から作業計画情報を読み出しても良い。
図５は、図４に示すシステム制御部６０の機能ブロック図である。
システム制御部６０は、検出部６１と、重なり判定部６２と、表示制御部６３と、を備える。検出部６１、重なり判定部６２、及び、表示制御部６３は、システム制御部６０のプロセッサがＲＯＭに記憶された制御プログラムを含むプログラムを実行することで形成される機能ブロックである。
検出部６１は、センサ群８０から入力された加速度情報及び角速度情報に基づいて、バケット４Ａの上下方向の位置及びバケット４Ａの運転室５からの距離によって決まるバケット４Ａの姿勢を検出する。検出部６１によって検出されるバケット４Ａの姿勢を以下では検出姿勢という。
また、検出部６１は、方位センサ１４から入力された方位情報に基づいて、運転室５の向き（フロントウインドシールド１１の正面の向き）を検出する。検出部６１によって検出される運転室５の向きを以下では検出向きという。
更に、検出部６１は、ＧＰＳ受信機１５から入力された位置情報に基づいて、建設機械１の位置を検出する。検出部６１によって検出される建設機械１の位置を以下では検出位置という。
表示制御部６３は、駆動部４５に入力する画像情報を制御して投写表示部５０により表示させる虚像を制御する。
表示制御部６３は、記憶部７０に記憶された複数の作業計画情報のいずれかと、検出部６１によって検出される検出位置及び検出向きとに基づいて、投写範囲１１Ａの所定位置にバケット４Ａを模したバケット虚像（作業機虚像）を投写表示部５０に表示させることで、掘削作業を開始するのに適した建設機械１の位置、運転室５の向き、及び、バケット４Ａの姿勢を作業者に提示する。
重なり判定部６２は、検出位置と計画位置が一致しかつ検出向きと計画向きが一致する場合に、検出姿勢と計画姿勢とに基づいて、投写表示部５０によって表示されるバケット虚像と、バケット４Ａとが、運転席６から見て重なる状態にあるか否かを判定する。バケット虚像とバケット４Ａとが重なる状態とは、バケット虚像の外縁とバケット４Ａの外縁とが完全に重なる状態の他、これら２つの外縁が僅かにずれている状態も含まれる。
また、検出位置と計画位置とが一致するとは、検出位置と計画位置とが完全に一致する場合に限らず、検出位置と計画位置との差が予め決められた値以下となる場合を言う。検出向きと計画向きとが一致するとは、フロントウインドシールド１１の正面が掘削作業を行う位置と対向しかつ検出向きと計画向きとが完全に一致する場合に限らず、フロントウインドシールド１１の正面が掘削作業を行う位置と対向しかつ検出向きと計画向きとの差が予め決められた値以下となる場合を言う。
具体的には、重なり判定部６２は、検出姿勢と、記憶部７０に記憶されている作業計画情報に基づく計画姿勢の差を求め、この差が閾値未満である場合には、バケット虚像とバケット４Ａとが運転席６から見て重なっていると判定し、この差が閾値以上である場合には、バケット虚像とバケット４Ａとが運転席６から見て重なっていないと判定する。
なお、運転席６に着座する作業者の視界と同じ範囲を撮像することのできるデジタルカメラを運転室５内に設置しておき、重なり判定部６２は、このデジタルカメラの撮像画像を解析することで、投写表示部５０によって表示中のバケット虚像とバケット４Ａとが運転席６から見て重なっているか否かを判定してもよい。
表示制御部６３は、重なり判定部６２により、バケット虚像とバケット４Ａとが運転席６から見て重なっていると判定された場合には、掘削作業を開始すべき状態になったことを作業者に報知するための報知情報を含む画像情報を生成して駆動部４５に入力し、この報知情報を表示させる。
報知情報とは、バケット４Ａが計画姿勢と一致したことを報知するための情報であって、作業者が容易に視認することが可能な画像又は文字等の情報である。
図６及び図７は、図５に示すシステム制御部６０の動作を説明するためのフローチャートである。図８〜図１８は、投写表示部５０による表示例を示す模式図である。
ＨＵＤ１０では、記憶部７０に複数の作業計画情報Ｄｎ（ｎは２以上の整数）が予め記憶されており、複数の作業計画情報Ｄｎの各々には作業の実行順序が対応付けて記憶されている。なお、“ｎ”の値は、実行順序が早いものほど小さい値となっている。
ＨＵＤ１０が起動し、作業支援モードに設定されると、表示制御部６３は、まず、実行順序が１番となる作業計画情報Ｄｎを記憶部７０から読み出す（ステップＳ１）。
次に、検出部６１は、方位センサ１４からの方位情報及びＧＰＳ受信機１５からの位置情報に基づいて、建設機械１の位置と運転室５の向きとを検出する（ステップＳ２）。
次に、表示制御部６３は、ステップＳ１で記憶部７０から読み出した作業計画情報に基づく計画位置と、ステップＳ２で検出された検出位置とが一致するか否かを判定する（ステップＳ３）。
ステップＳ３の判定がＹＥＳの場合、表示制御部６３は、ステップＳ１で記憶部７０から読み出した作業計画情報に基づく計画向きと、ステップＳ２で検出された検出向きとが一致するか否かを判定する（ステップＳ４）。
ステップＳ４の判定がＹＥＳの場合、表示制御部６３は、ステップＳ１で記憶部７０から読み出した作業計画情報によって指定される計画姿勢に基づいて、図８に示すように、バケット４Ａを模したバケット虚像１０１Ｃと、このバケット虚像１０１Ｃにバケット４Ａを重ねるよう指示するテキスト画像１１１とを投写表示部５０に表示させる（ステップＳ５）。テキスト画像１１１は、バケット４Ａの操作内容を指示するための情報である。なお、テキスト画像１１１の表示は必須ではない。
バケット虚像１０１Ｃは、バケット４Ａが計画姿勢にある状態で、運転席６から投写範囲１１Ａ内に観察されるこのバケット４Ａを仮想的に示すものである。したがって、このバケット虚像１０１Ｃとバケット４Ａとを重ね合わせる操作を行うことで、バケット４Ａの空間上の位置を計画上の位置に一致させることが可能となる。
ステップＳ５でバケット虚像が表示されると、重なり判定部６２は、バケット虚像とバケット４Ａとが重なっているか否かを判定する（ステップＳ６）。
図８に示す状態から、作業者がバケット４Ａを上方向に移動させることで図９に示す状態となり、バケット虚像１０１Ｃとバケット４Ａとが重なったと判定されると（ステップＳ６：ＹＥＳ）、表示制御部６３は、図９に示されるように、掘削開始の最適姿勢になったことを示すテキスト画像１１２と、バケット４Ａの移動方向及び掘削量（１０ｍ）を指示する画像１１３とを投写表示部５０により表示させる（ステップＳ７）。テキスト画像１１２は、報知情報を構成する。
図９に示すように画像が表示された後、表示制御部６３は、作業者のマニュアル操作による次の作業計画情報Ｄｎへの移行の指示を待機し、この指示を受けると（ステップＳ８：ＹＥＳ）、“ｎ”を“ｎ＋１”に変更し（ステップＳ９）、ステップＳ１に処理を戻す。表示制御部６３は、この指示を受けていない場合（ステップＳ８：ＮＯ）には、ステップＳ７に処理を戻して図９の表示を継続する。
ステップＳ４において、表示制御部６３は、ステップＳ１で記憶部７０から読み出した作業計画情報に基づく計画向きと、ステップＳ２で検出された検出向きとが一致しないと判定した場合（ステップＳ４：ＮＯ）には、ステップＳ１で記憶部７０から読み出した作業計画情報に基づく計画向きと、ステップＳ２で検出された検出向きとの差が閾値以上か否かを判定する（図７、ステップＳ１１）。
ステップＳ１１の判定がＹＥＳの場合、表示制御部６３は、計画姿勢に基づくバケット虚像の表示は行わず、計画向きに運転室５の向きを近づけるために必要な運転室５の回転方向を指示する回転指示虚像を投写表示部５０によって表示させる（ステップＳ１２）。
図１０には、回転指示虚像として、運転室５を左旋回させることを指示する回転矢印画像１０２と、「バケット画像が表示されるまで左旋回させてください」といった文字を示すテキスト画像１０３とが示されている。回転矢印画像１０２とテキスト画像１０３とは、運転室５の向きの変更を指示する情報である。
ステップＳ１１の判定がＮＯの場合、表示制御部６３は、ステップＳ１で記憶部７０から読み出した作業計画情報に基づく計画姿勢と、ステップＳ１で読み出した作業計画情報に基づく計画向きとステップＳ２で検出された検出向きとの差と、に基づいてバケット虚像の表示位置及び表示サイズを決定し、決定した表示位置に決定した表示サイズでバケット虚像を投写表示部５０によって表示させる（ステップＳ１３）。
ステップＳ１１の判定がＮＯとなる場合は、建設機械１の位置は計画通りとなっているが、運転室５の向きが計画向きよりも左にずれていたり、右にずれていたりする状態である。
そこで、表示制御部６３は、この向きのずれを表現するために、作業計画情報に含まれる計画姿勢に基づくバケット虚像の表示サイズはそのままに、このバケット虚像の表示位置を、計画向きと検出向きの差に基づいて制御する。
具体的には、表示制御部６３は、検出向きが計画向きよりも右側にある場合には、図１１に示すように、バケット虚像１０１Ａの表示サイズを、計画位置が検出位置と一致する場合の表示サイズ（図７に示すバケット虚像１０１Ｃのサイズ）と同じとし、その表示位置を、計画向きと検出向きが一致する場合の表示位置よりも、検出向きと計画向きとの差に比例した距離だけ左側に移動させる。なお、図１１は、図１０に示す状態から建設機械１の運転室５が左旋回された場合の表示例を示している。
図１２は、図１１に示す状態から建設機械１の運転室５が更に左旋回された場合の表示例を示している。図１２では、計画向きと検出向きの差が図１１の場合よりも小さくなっているため、バケット虚像１０１Ａよりも右側の位置にバケット虚像１０１Ａが表示されている。
ステップＳ１３の処理の後、表示制御部６３は、作業計画情報に基づく計画向きに運転室５の向きを近づけることを指示する回転指示虚像を投写表示部５０によって表示させる（ステップＳ１４）。
図１１及び図１２には、回転指示虚像として、左旋回をイメージした回転矢印画像１０２と、「左旋回させてバケットをバケット画像に重なるよう操作してください」といったテキスト画像１０４とを表示する例が示されている。図１１及び図１２に示される回転矢印画像１０２とテキスト画像１０４は、バケット４Ａの操作内容を指示するための情報である。
ステップＳ１２の処理またはステップＳ１４の処理の後は、図６のステップＳ４に処理が戻り、計画向きと検出向きとが一致するまでステップＳ１１〜ステップＳ１４の処理が行われる。
ステップＳ３において、表示制御部６３は、ステップＳ１で記憶部７０から読み出した作業計画情報に基づく計画位置と、ステップＳ２で検出された検出位置とが一致しないと判定した場合（ステップＳ３：ＮＯ）には、ステップＳ１で記憶部７０から読み出した作業計画情報に基づく計画向きと、ステップＳ２で検出された検出向きとが一致するか否かを判定する（ステップＳ１５）。
ステップＳ１５の判定がＹＥＳの場合、表示制御部６３は、ステップＳ１で記憶部７０から読み出した作業計画情報に基づく計画姿勢と、ステップＳ１で読み出した作業計画情報に基づく計画向きとステップＳ２で検出された検出向きとの差と、に基づいてバケット虚像の表示位置及び表示サイズを決定し、決定した表示位置に決定した表示サイズでバケット虚像を投写表示部５０によって表示させる（ステップＳ１６）。
ステップＳ１５の判定がＹＥＳとなる場合は、建設機械１の運転室５の向きは計画通りとなっているが、建設機械１の位置が計画位置よりも前方にあったり後方にあったりする状態である。
そこで、表示制御部６３は、この位置のずれを表現するために、作業計画情報に含まれる計画姿勢に基づくバケット虚像の表示位置はそのままに、このバケット虚像の表示サイズを、計画位置と検出位置の差に基づいて制御する。
具体的には、表示制御部６３は、計画位置が検出位置よりも前方にある場合には、図１３に示すように、バケット虚像１０１Ｄの表示サイズを、計画位置が検出位置と一致する場合の表示サイズ（図７に示すバケット虚像１０１Ｃのサイズ）よりも小さくする。表示制御部６３は、計画位置と検出位置の差が大きいほど、バケット虚像１０１Ｄの表示サイズを小さくする。
図１４は、図１３に示す状態から建設機械１が前進した場合の表示状態を示している。図１４では、計画位置と検出位置との差が図１３の場合よりも小さくなっているため、バケット虚像１０１Ｄよりもサイズの大きいバケット虚像１０１Ｅが表示されている。
また、表示制御部６３は、計画位置が検出位置よりも後方にある場合には、図１５に示すように、バケット虚像１０１Ｆの表示サイズを、計画位置が検出位置と一致する場合の表示サイズ（図７に示すバケット虚像１０１Ｃのサイズ）よりも大きくする。表示制御部６３は、計画位置と検出位置の差が大きいほど、バケット虚像１０１Ｆの表示サイズを大きくする。
ステップＳ１６の処理の後、表示制御部６３は、作業計画情報に含まれる計画位置に建設機械１の位置を近づけることを指示する移動指示虚像を投写表示部５０によって表示させる（ステップＳ１７）。
図１３及び図１４には、移動指示虚像として、前進をイメージした矢印画像１２１と、「前進させてバケットをバケット画像に重なるよう操作してください」といったテキスト画像１２２とを表示する例が示されている。
図１５には、移動指示虚像として、後退をイメージした矢印画像１２３と、「後退させてバケットをバケット画像に重なるよう操作してください」といったテキスト画像１２４とを表示する例が示されている。矢印画像１２１、テキスト画像１２２、矢印画像１２３、及び、テキスト画像１２４は、バケット４Ａの操作内容を指示するための情報である。
ステップＳ１７の処理の後は、ステップＳ２に処理が戻る。
ステップＳ１５の判定がＮＯの場合、表示制御部６３は、ステップＳ１で記憶部７０から読み出した作業計画情報に基づく計画向きと、ステップＳ２で検出された検出向きとの差が閾値以上か否かを判定する（ステップＳ１８）。
ステップＳ１８の判定がＹＥＳの場合、表示制御部６３は、計画姿勢に基づくバケット虚像の表示は行わず、計画向きに運転室５の向きを近づけるために必要な建設機械１の移動方向を指示する移動指示虚像を投写表示部５０によって表示させる（ステップＳ１９）。
図１６には、移動指示虚像として、左前方に移動することを指示するテキスト画像１０５が示されている。テキスト画像１０５は、建設機械１の位置及び運転室５の向きの変更を指示する情報となる。
ステップＳ１８の判定がＮＯの場合、表示制御部６３は、ステップＳ１で記憶部７０から読み出した作業計画情報に基づく計画姿勢と、ステップＳ１で読み出した作業計画情報に基づく計画向きとステップＳ２で検出された検出向きとの差と、ステップＳ１で読み出した作業計画情報に基づく計画位置とステップＳ２で検出された検出位置との差と、に基づいてバケット虚像の表示位置及び表示サイズを決定し、決定した表示位置に決定した表示サイズでバケット虚像を投写表示部５０によって表示させる（ステップＳ２０）。
ステップＳ１８の判定がＮＯとなる場合は、建設機械１の位置が計画からずれており、かつ、運転室５の向きが計画から僅かにずれている状態である。
そこで、表示制御部６３は、この位置と向きのずれを表現するために、作業計画情報に含まれる計画姿勢に基づくバケット虚像の表示位置を、計画向きと検出向きの差に基づいて制御し、作業計画情報に含まれる計画姿勢に基づくバケット虚像の表示サイズを、計画位置と検出位置の差に基づいて制御する。
具体的には、表示制御部６３は、検出向きが計画向きよりも右側にあり、かつ、検出位置が計画位置よりも後方にある場合には、図１７に示すように、バケット虚像１０１Ｇの表示サイズを、計画位置が検出位置と一致する場合の表示サイズ（図７に示すバケット虚像１０１Ｃのサイズ）よりも計画位置と検出位置の差に反比例させて小さくし、かつ、その表示位置を、計画向きと検出向きが一致する場合の表示位置よりも、検出向きと計画向きとの差に比例した距離だけ左側に移動させる。なお、図１７は、図１６に示す状態から建設機械１が左前方に移動してバケット虚像が表示された場合の表示例を示している。
図１８は、図１７に示す状態から建設機械１が更に左前方に移動した場合の表示例を示している。図１８では、計画向きと検出向きの差が図１７の場合よりも小さくなっているため、バケット虚像１０１Ｇよりも右側の位置にバケット虚像１０１Ｈが表示されている。また、計画位置と検出位置の差が図１７の場合よりも小さくなっているため、バケット虚像１０１Ｇよりも大きなサイズでバケット虚像１０１Ｈが表示されている。
ステップＳ２０の処理の後、表示制御部６３は、作業計画情報に基づく計画向きと計画位置に、建設機械１の位置及び運転室５の向きを近づけることを指示する移動指示虚像を投写表示部５０によって表示させる（ステップＳ２１）。
図１７及び図１８には、移動指示虚像として、「左前方に移動してバケットをバケット画像に重ねてください」といったテキスト画像１０６を表示する例が示されている。
ステップＳ１９の処理またはステップＳ２１の処理の後は、ステップＳ２に処理が戻る。
以上のように、ＨＵＤ１０によれば、記憶部７０に記憶された作業計画情報と、建設機械１の検出位置及び運転室５の検出向きとに基づいて、バケット４Ａを模したバケット虚像を、計画上の掘削ポイントを示す位置に表示させることができる。
このため、作業者は、このバケット虚像によって、作業開始に適した建設機械１の位置、向き、及び、バケット４Ａの姿勢を確認することができる。したがって、熟練度の低い作業者が操作を行なう場合であっても、バケット虚像にバケット４Ａを重ね合わせることで、作業計画情報にしたがった適切な状態で作業を開始することができる。これにより、無駄な動きを行うことなく、計画通りの施工を行うことができ、作業効率の向上を図ることができる。
また、ＨＵＤ１０によれば、バケット虚像が表示されない場合、又は、バケット虚像は表示されるが建設機械１の位置又は運転室５の向きが計画通りになっていない場合には、図１０〜図１８に例示されるように、建設機械１の位置又は運転室５の向きの少なくとも一方を変更するよう指示する情報が表示される。この情報にしたがって建設機械１を操作することにより、建設機械１の位置及び運転室５の向きを、建設機械１の計画位置及び運転室５の計画向きを容易に合わせることができるようになるため、作業効率を向上させることができる。
また、ＨＵＤ１０によれば、バケット虚像とバケット４Ａとが重なったと判定されると、図９に示すように、報知情報としてのテキスト画像１１２が表示される。このため、作業者は、バケット４Ａが適切な姿勢になったことを容易に把握することができる。
なお、図９の表示例において、テキスト画像１１２を表示させる代わりに、バケット虚像１０１Ｃの表示色を変更したり、バケット虚像１０１Ｃを点滅表示させたりすることで、バケット４Ａの姿勢が計画姿勢に一致したことを作業者に報知してもよい。この場合には、バケット虚像１０１Ｃの一部が報知情報を構成する。
また、テキスト画像１１２を表示させる代わりに、ＨＵＤ１０にスピーカを追加し、表示制御部６３は、このスピーカによってバケット４Ａの姿勢が計画姿勢に一致したことを作業者に報知してもよい。また、テキスト画像１１２の表示と、バケット虚像１０１Ｃの表示色変更又は点滅表示とを組み合わせたり、テキスト画像１１２の表示と、スピーカによる報知とを組み合わせたりしてもよい。このような構成とすることにより、作業者は、より正確に作業を進めることができる。
また、図８に示すテキスト画像１１１、図１０及び図１１に示す回転矢印画像１０２及びテキスト画像１０４、図１３及び図１４に示す矢印画像１２１及びテキスト画像１２２、図１５に示す矢印画像１２３及びテキスト画像１２４、並びに、図１７及び図１８に示すテキスト画像１０６の表示は必須ではない。また、これらの画像の表示のオンオフを作業者の操作によって切り替えられるようにしてもよい。
例えば、投写範囲１１Ａに投写される表示内容が作業の妨げになると作業者が感じた場合には、バケット虚像以外の画像の表示をオフにすることで、作業効率の安定化を図ることができる。
また、図９の表示例において、表示制御部６３は、施工計画図面を更に表示させるようにしてもよい。このような構成とすることにより、作業者は、施工イメージを確認しながら施工を行うことができ、効率的に作業を進めることができる。
以上説明してきたように、本明細書には以下の事項が開示されている。
（１） 可動の作業機と、上記作業機が取り付けられかつ運転室を有する本体部とを有する乗り物に搭載される投写型表示装置であって、上記乗り物の位置及び上記運転室の向きを検出する検出部と、光源から出射される光を、入力される画像情報に基づいて空間変調する光変調部を含み、上記光変調部により空間変調して得られた画像光を上記運転室に搭載された投写面に投写して上記画像光に基づく虚像を表示する投写表示部と、上記光変調部に入力する上記画像情報を制御して上記投写表示部により表示させる虚像を制御する表示制御部と、を備え、上記表示制御部は、記憶部に記憶された上記乗り物の位置、上記運転室の向き、及び、上記作業機の姿勢を指定する作業計画情報と上記検出部により検出された上記位置及び上記向きとに基づいて、上記作業機を模した作業機虚像を上記投写表示部に表示させる投写型表示装置。
（２） （１）記載の投写型表示装置であって、上記表示制御部は、上記作業機虚像の表示位置を、上記作業計画情報によって指定される上記向きと、上記検出部により検出された上記向きとの差に基づいて制御する投写型表示装置。
（３） （１）又は（２）記載の投写型表示装置であって、上記表示制御部は、上記作業機虚像の表示サイズを、上記作業計画情報によって指定される上記位置と、上記検出部により検出された上記位置との差に基づいて制御する投写型表示装置。
（４） （１）〜（３）のいずれか１つに記載の投写型表示装置であって、上記表示制御部は、上記作業計画情報によって指定される上記向きと、上記検出部により検出された上記向きとの差が閾値以上の場合には、上記作業機虚像に代えて上記運転室の向きの変更を指示する情報を上記投写表示部に表示させる投写型表示装置。
（５） （１）〜（４）のいずれか１つに記載の投写型表示装置であって、上記投写表示部によって表示される上記作業機虚像と上記作業機とが上記運転室の運転席から見て重なるか否かを判定する重なり判定部を更に備え、上記表示制御部は、上記重なり判定部によって上記作業機虚像と上記作業機とが重なると判定された場合に、上記作業機が最適姿勢になったことを上記運転室にいる作業者に報知する投写型表示装置。
（６） （５）に記載の投写型表示装置であって、上記表示制御部は、上記重なり判定部によって上記作業機虚像と上記作業機とが重なると判定された場合に、上記作業機が上記最適姿勢になったことを上記運転室にいる上記作業者に報知するための報知情報を上記投写表示部に表示させる投写型表示装置。
（７） （５）に記載の投写型表示装置であって、上記表示制御部は、上記重なり判定部によって上記作業機虚像と上記作業機とが重なると判定された場合に、上記作業機が上記最適姿勢になったことを音で上記運転室にいる上記作業者に報知する投写型表示装置。
（８） （１）〜（７）のいずれか１つに記載の投写型表示装置であって、上記表示制御部は、上記作業機虚像を表示させている場合に、上記作業機の操作内容を指示するための情報を上記投写表示部に更に表示させる投写型表示装置。
（９） 可動の作業機と、上記作業機が取り付けられかつ運転室を有する本体部とを有する乗り物に搭載される投写型表示装置の制御方法であって、上記投写型表示装置は、光源から出射される光を、入力される画像情報に基づいて空間変調する光変調部と、上記光変調部により空間変調して得られた画像光を上記運転室に搭載された投写面に投写して上記画像光に基づく虚像を表示する投写表示部と、を有し、上記乗り物の位置及び上記運転室の向きを検出する検出ステップと、記憶部に記憶された上記乗り物の位置、上記運転室の向き、及び、上記作業機の姿勢を指定する作業計画情報と、上記検出ステップにより検出された上記位置及び上記向きとに基づいて、上記作業機を模した作業機虚像を上記投写表示部に表示させる表示制御ステップを備える投写型表示装置の制御方法。
（１０） （９）記載の投写型表示装置の制御方法であって、上記表示制御ステップでは、上記作業機虚像の表示位置を、上記作業計画情報によって指定される上記向きと上記検出ステップにより検出された上記向きとの差に基づいて制御する投写型表示装置の制御方法。
（１１） （９）又は（１０）記載の投写型表示装置の制御方法であって、上記表示制御ステップでは、上記作業機虚像の表示サイズを、上記作業計画情報によって指定される上記位置と、上記検出ステップにより検出された上記位置との差に基づいて制御する投写型表示装置の制御方法。
（１２） （９）〜（１１）のいずれか１つに記載の投写型表示装置の制御方法であって、上記表示制御ステップでは、上記作業計画情報によって指定される上記向きと、上記検出ステップにより検出された上記向きとの差が閾値以上の場合には、上記作業機虚像に代えて上記運転室の向きの変更を指示する情報を上記投写表示部に表示させる投写型表示装置の制御方法。
（１３） （９）〜（１２）のいずれか１つに記載の投写型表示装置の制御方法であって、上記投写表示部によって表示される上記作業機虚像と上記作業機とが上記運転室の運転席から見て重なるか否かを判定する重なり判定ステップを更に備え、上記表示制御ステップでは、上記重なり判定ステップによって上記作業機虚像と上記作業機とが重なると判定された場合に、上記作業機が最適姿勢になったことを上記運転室内にいる作業者に報知する投写型表示装置の制御方法。
（１４） （１３）記載の投写型表示装置の制御方法であって、上記表示制御ステップでは、上記重なり判定ステップによって上記作業機虚像と上記作業機とが重なると判定された場合に、上記作業機が上記最適姿勢になったことを上記運転室内にいる上記作業者に報知するための報知情報を上記投写表示部に表示させる投写型表示装置の制御方法。
（１５） （１３）記載の投写型表示装置の制御方法であって、上記表示制御ステップでは、上記重なり判定ステップによって上記作業機虚像と上記作業機とが重なると判定された場合に、上記作業機が上記最適姿勢になったことを音で上記運転室内にいる作業者に報知する投写型表示装置の制御方法。
（１６） （９）〜（１５）のいずれか１つに記載の投写型表示装置の制御方法であって、上記表示制御ステップでは、上記作業機虚像を表示させている場合に、上記作業機の操作内容を指示するための情報を上記投写表示部に更に表示させる投写型表示装置の制御方法。
（１７） 可動の作業機と、上記作業機が取り付けられかつ運転室を有する本体部とを有する乗り物に搭載される投写型表示装置の制御プログラムであって、上記投写型表示装置は、光源から出射される光を、入力される画像情報に基づいて空間変調する光変調部と、上記光変調部により空間変調して得られた画像光を上記運転室に搭載された投写面に投写して上記画像光に基づく虚像を表示する投写表示部と、を有し、上記乗り物の位置及び上記運転室の向きを検出する検出ステップと、記憶部に記憶された上記乗り物の位置、上記運転室の向き、及び、上記作業機の姿勢を指定する作業計画情報と、上記検出ステップにより検出された上記位置及び上記向きとに基づいて、上記作業機を模した作業機虚像を上記投写表示部に表示させる表示制御ステップと、をコンピュータに実行させるための投写型表示装置の制御プログラム。
本発明によれば、建設機械又は農作機械等といった作業機を有する乗り物による作業効率を向上させることができる。
１ 建設機械
２ 下部走行体
３ 上部旋回体
４ フロント作業部
４Ａ バケット
５ 運転室
６ 運転席
１０ ＨＵＤ
１１ フロントウインドシールド
１１Ａ 投写範囲
１４ 方位センサ
１５ ＧＰＳ受信機
４０ 光源ユニット
４０Ａ 光源制御部
４１ｒ Ｒ光源
４１ｇ Ｇ光源
４１ｂ Ｂ光源
４２ｒ、４２ｇ、４２ｂ コリメータレンズ
４３ ダイクロイックプリズム
４４ 光変調素子
４５ 駆動部
４６ 投写光学系
４７ 拡散板
４８ 反射ミラー
４９ 拡大鏡
５０ 投写表示部
６０ システム制御部
６１ 検出部
６２ 重なり判定部
６３ 表示制御部
７０ 記憶部
８０ センサ群
１０１Ａ、１０１Ｃ、１０１Ｄ、１０１Ｅ、１０１Ｆ，１０１Ｇ、１０１Ｈ バケット虚像
１０３、１０４、１０５、１０６、１１１、１１２、１２２、１２４、 テキスト画像
１０２ 回転矢印画像
１１３ 画像
１２１、１２３ 矢印画像

Claims (17)

  1. 可動の作業機と、前記作業機が取り付けられかつ運転室を有する本体部とを有する乗り物に搭載される投写型表示装置であって、
    前記乗り物の位置及び前記運転室の向きを検出する検出部と、
    光源から出射される光を、入力される画像情報に基づいて空間変調する光変調部を含み、前記光変調部により空間変調して得られた画像光を前記運転室に搭載された投写面に投写して前記画像光に基づく虚像を表示する投写表示部と、
    前記光変調部に入力する前記画像情報を制御して前記投写表示部により表示させる虚像を制御する表示制御部と、を備え、
    前記表示制御部は、記憶部に記憶された前記乗り物の位置、前記運転室の向き、及び、前記作業機の姿勢を指定する作業計画情報と前記検出部により検出された前記位置及び前記向きとに基づいて、計画上の前記作業機の状態を示す、前記作業機を模した作業機虚像を前記投写表示部に表示させる投写型表示装置。
  2. 請求項１記載の投写型表示装置であって、
    前記表示制御部は、前記作業機虚像の表示位置を、前記作業計画情報によって指定される前記向きと、前記検出部により検出された前記向きとの差に基づいて制御する投写型表示装置。
  3. 請求項１又は２記載の投写型表示装置であって、
    前記表示制御部は、前記作業機虚像の表示サイズを、前記作業計画情報によって指定される前記位置と、前記検出部により検出された前記位置との差に基づいて制御する投写型表示装置。
  4. 請求項２記載の投写型表示装置であって、
    前記表示制御部は、前記作業計画情報によって指定される前記向きと、前記検出部により検出された前記向きとの差が閾値以上の場合には、前記作業機虚像に代えて前記運転室の向きの変更を指示する情報を前記投写表示部に表示させる投写型表示装置。
  5. 請求項１〜４のいずれか１項記載の投写型表示装置であって、
    前記投写表示部によって表示される前記作業機虚像と前記作業機とが前記運転室の運転席から見て重なるか否かを判定する重なり判定部を更に備え、
    前記表示制御部は、前記重なり判定部によって前記作業機虚像と前記作業機とが重なると判定された場合に、前記作業機が最適姿勢になったことを前記運転室にいる作業者に報知する投写型表示装置。
  6. 請求項５記載の投写型表示装置であって、
    前記表示制御部は、前記重なり判定部によって前記作業機虚像と前記作業機とが重なると判定された場合に、前記作業機が前記最適姿勢になったことを前記運転室にいる前記作業者に報知するための報知情報を前記投写表示部に表示させる投写型表示装置。
  7. 請求項５記載の投写型表示装置であって、
    前記表示制御部は、前記重なり判定部によって前記作業機虚像と前記作業機とが重なると判定された場合に、前記作業機が前記最適姿勢になったことを音で前記運転室にいる前記作業者に報知する投写型表示装置。
  8. 請求項１〜７のいずれか１項記載の投写型表示装置であって、
    前記表示制御部は、前記作業機虚像を表示させている場合に、前記作業機の操作内容を指示するための情報を前記投写表示部に更に表示させる投写型表示装置。
  9. 可動の作業機と、前記作業機が取り付けられかつ運転室を有する本体部とを有する乗り物に搭載される投写型表示装置の制御方法であって、
    前記投写型表示装置は、光源から出射される光を、入力される画像情報に基づいて空間変調する光変調部と、前記光変調部により空間変調して得られた画像光を前記運転室に搭載された投写面に投写して前記画像光に基づく虚像を表示する投写表示部と、を有し、
    前記乗り物の位置及び前記運転室の向きを検出する検出ステップと、
    記憶部に記憶された前記乗り物の位置、前記運転室の向き、及び、前記作業機の姿勢を指定する作業計画情報と、前記検出ステップにより検出された前記位置及び前記向きとに基づいて、計画上の前記作業機の状態を示す、前記作業機を模した作業機虚像を前記投写表示部に表示させる表示制御ステップを備える投写型表示装置の制御方法。
  10. 請求項９記載の投写型表示装置の制御方法であって、
    前記表示制御ステップでは、前記作業機虚像の表示位置を、前記作業計画情報によって指定される前記向きと前記検出ステップにより検出された前記向きとの差に基づいて制御する投写型表示装置の制御方法。
  11. 請求項９又は１０記載の投写型表示装置の制御方法であって、
    前記表示制御ステップでは、前記作業機虚像の表示サイズを、前記作業計画情報によって指定される前記位置と、前記検出ステップにより検出された前記位置との差に基づいて制御する投写型表示装置の制御方法。
  12. 請求項１０記載の投写型表示装置の制御方法であって、
    前記表示制御ステップでは、前記作業計画情報によって指定される前記向きと、前記検出ステップにより検出された前記向きとの差が閾値以上の場合には、前記作業機虚像に代えて前記運転室の向きの変更を指示する情報を前記投写表示部に表示させる投写型表示装置の制御方法。
  13. 請求項９〜１２のいずれか１項記載の投写型表示装置の制御方法であって、
    前記投写表示部によって表示される前記作業機虚像と前記作業機とが前記運転室の運転席から見て重なるか否かを判定する重なり判定ステップを更に備え、
    前記表示制御ステップでは、前記重なり判定ステップによって前記作業機虚像と前記作業機とが重なると判定された場合に、前記作業機が最適姿勢になったことを前記運転室内にいる作業者に報知する投写型表示装置の制御方法。
  14. 請求項１３記載の投写型表示装置の制御方法であって、
    前記表示制御ステップでは、前記重なり判定ステップによって前記作業機虚像と前記作業機とが重なると判定された場合に、前記作業機が前記最適姿勢になったことを前記運転室内にいる前記作業者に報知するための報知情報を前記投写表示部に表示させる投写型表示装置の制御方法。
  15. 請求項１３記載の投写型表示装置の制御方法であって、
    前記表示制御ステップでは、前記重なり判定ステップによって前記作業機虚像と前記作業機とが重なると判定された場合に、前記作業機が前記最適姿勢になったことを音で前記運転室内にいる作業者に報知する投写型表示装置の制御方法。
  16. 請求項９〜１５のいずれか１項記載の投写型表示装置の制御方法であって、
    前記表示制御ステップでは、前記作業機虚像を表示させている場合に、前記作業機の操作内容を指示するための情報を前記投写表示部に更に表示させる投写型表示装置の制御方法。
  17. 可動の作業機と、前記作業機が取り付けられかつ運転室を有する本体部とを有する乗り物に搭載される投写型表示装置の制御プログラムであって、
    前記投写型表示装置は、光源から出射される光を、入力される画像情報に基づいて空間変調する光変調部と、前記光変調部により空間変調して得られた画像光を前記運転室に搭載された投写面に投写して前記画像光に基づく虚像を表示する投写表示部と、を有し、
    前記乗り物の位置及び前記運転室の向きを検出する検出ステップと、
    記憶部に記憶された前記乗り物の位置、前記運転室の向き、及び、前記作業機の姿勢を指定する作業計画情報と、前記検出ステップにより検出された前記位置及び前記向きとに基づいて、計画上の前記作業機の状態を示す、前記作業機を模した作業機虚像を前記投写表示部に表示させる表示制御ステップと、をコンピュータに実行させるための投写型表示装置の制御プログラム。
JP2018557554A 2016-12-19 2017-10-05 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム Expired - Fee Related JP6582144B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016245679 2016-12-19
JP2016245679 2016-12-19
PCT/JP2017/036270 WO2018116577A1 (ja) 2016-12-19 2017-10-05 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム

Publications (2)

Publication Number Publication Date
JP6582144B2 true JP6582144B2 (ja) 2019-09-25
JPWO2018116577A1 JPWO2018116577A1 (ja) 2019-10-24

Family

ID=62627676

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018557554A Expired - Fee Related JP6582144B2 (ja) 2016-12-19 2017-10-05 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム

Country Status (4)

Country Link
US (1) US20190281264A1 (ja)
JP (1) JP6582144B2 (ja)
CN (1) CN110088408A (ja)
WO (1) WO2018116577A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111752046B (zh) * 2015-10-15 2023-06-02 麦克赛尔株式会社 平视显示装置
JP7080750B2 (ja) * 2018-06-29 2022-06-06 株式会社小松製作所 表示制御システム、遠隔操作システム、表示制御装置、および表示制御方法
JP7285051B2 (ja) * 2018-06-29 2023-06-01 株式会社小松製作所 表示制御装置、および表示制御方法
JP7065002B2 (ja) * 2018-09-19 2022-05-11 日立建機株式会社 作業機械
DE102019105855A1 (de) * 2019-03-07 2020-09-10 Deutsche Post Ag Fahrzeug mit Anzeigeeinrichtung

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4671317B2 (ja) * 2001-05-02 2011-04-13 株式会社小松製作所 地形形状計測装置およびガイダンス装置
JP5113586B2 (ja) * 2008-03-28 2013-01-09 株式会社小松製作所 作業車両
JP2010018141A (ja) * 2008-07-10 2010-01-28 Caterpillar Japan Ltd 建設機械におけるディスプレイ装置
WO2012133410A1 (ja) * 2011-03-31 2012-10-04 日立建機株式会社 運搬機械の位置調整支援システム
JP5759798B2 (ja) * 2011-06-08 2015-08-05 株式会社トプコン 建設機械制御システム
JP5888956B2 (ja) * 2011-12-13 2016-03-22 住友建機株式会社 ショベル及び該ショベルの周囲画像表示方法
US8965642B2 (en) * 2012-10-05 2015-02-24 Komatsu Ltd. Display system of excavating machine and excavating machine
US8918246B2 (en) * 2012-12-27 2014-12-23 Caterpillar Inc. Augmented reality implement control
JP6258582B2 (ja) * 2012-12-28 2018-01-10 株式会社小松製作所 建設機械の表示システムおよびその制御方法
US9335545B2 (en) * 2014-01-14 2016-05-10 Caterpillar Inc. Head mountable display system
JP2016205088A (ja) * 2015-04-28 2016-12-08 日立建機株式会社 建設機械
JP6728659B2 (ja) * 2015-12-07 2020-07-22 船井電機株式会社 プロジェクタ

Also Published As

Publication number Publication date
WO2018116577A1 (ja) 2018-06-28
JPWO2018116577A1 (ja) 2019-10-24
CN110088408A (zh) 2019-08-02
US20190281264A1 (en) 2019-09-12

Similar Documents

Publication Publication Date Title
JP6582144B2 (ja) 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム
US10642034B2 (en) Projection type display device, control method of projection type display device, control program of projection type display device
JP6630855B2 (ja) 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム
JP6271818B2 (ja) 投写型表示装置及び投写制御方法
JP6271819B2 (ja) 投写型表示装置及び投写制御方法
JP6271820B2 (ja) 投写型表示装置及び投写制御方法
US10655305B2 (en) Work vehicle and method for controlling work vehicle
US10412354B2 (en) Projection type display device and projection control method
US20190291579A1 (en) Projection display device, method for controlling projection display device, and program for controlling projection display device
WO2018116601A1 (ja) 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム
WO2019017040A1 (ja) 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム
JP2021155949A (ja) 作業機械
JP2020160094A (ja) 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム
JP2020160092A (ja) 投写型表示装置、投写型表示装置の制御方法、投写型表示装置の制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190510

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190510

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190820

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190902

R150 Certificate of patent or registration of utility model

Ref document number: 6582144

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees