[go: up one dir, main page]

WO2020080501A1 - ショベルの表示装置 - Google Patents

ショベルの表示装置 Download PDF

Info

Publication number
WO2020080501A1
WO2020080501A1 PCT/JP2019/040999 JP2019040999W WO2020080501A1 WO 2020080501 A1 WO2020080501 A1 WO 2020080501A1 JP 2019040999 W JP2019040999 W JP 2019040999W WO 2020080501 A1 WO2020080501 A1 WO 2020080501A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
display
shovel
information
voice
Prior art date
Application number
PCT/JP2019/040999
Other languages
English (en)
French (fr)
Inventor
文乃 階戸
正樹 小川
蒙萌 李
Original Assignee
住友重機械工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 住友重機械工業株式会社 filed Critical 住友重機械工業株式会社
Priority to JP2020553320A priority Critical patent/JP7537834B2/ja
Priority to CN201980068406.4A priority patent/CN112888824A/zh
Publication of WO2020080501A1 publication Critical patent/WO2020080501A1/ja
Priority to US17/231,186 priority patent/US20210230840A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/26—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
    • B60K35/265—Voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/85—Arrangements for transferring vehicle- or driver-related data
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/267—Diagnosing or detecting failure of vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/24—Generation of individual character patterns
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/148—Instrument input by voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/343—Illumination of matrix displays
    • B60K2360/344—Illumination of matrix displays for additionally illuminating mechanical elements, e.g. pointers or control knobs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/592—Data transfer involving external databases
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/60—Structural details of dashboards or instruments
    • B60K2360/61—Specially adapted for utility vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/40—Special vehicles
    • B60Y2200/41—Construction vehicles, e.g. graders, excavators
    • B60Y2200/412—Excavators
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/22—Hydraulic or pneumatic drives
    • E02F9/2221—Control of flow rate; Load sensing arrangements
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/22—Hydraulic or pneumatic drives
    • E02F9/2278—Hydraulic circuits
    • E02F9/2285—Pilot-operated systems
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/22—Hydraulic or pneumatic drives
    • E02F9/2278—Hydraulic circuits
    • E02F9/2292—Systems with two or more pumps
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/20—Drives; Control devices
    • E02F9/22—Hydraulic or pneumatic drives
    • E02F9/2278—Hydraulic circuits
    • E02F9/2296—Systems with a variable displacement pump
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems

Definitions

  • the present invention relates to a display device for an excavator (excavator).
  • Patent Document 1 discloses a shovel equipped with a speaker that reproduces the sound, which is generated by a microphone and is generated around the upper swing body, inside a driver's cab.
  • an object of the present invention is to provide a display device for a shovel that transmits an instruction from an external worker to an operator more reliably.
  • a display device for an excavator includes a communication unit, a display unit, a voice acquisition unit that acquires voice in a cabin, and a voice character conversion that converts voice acquired by the voice acquisition unit into character information.
  • the display unit displays the transmission information acquired by the communication unit and transmitted from the external terminal and the character information converted by the phonetic character conversion unit in time series.
  • the figure which shows the structural example of the information transmission system The figure which shows the structural example of the drive control system of the shovel
  • the figure which shows the structural example of the image display part of a display apparatus The figure which shows the structural example of the image display part of a display apparatus.
  • the figure which shows the structural example of the image display part of a display apparatus The figure which shows the structural example of the image display part of a display apparatus.
  • the figure which shows the structural example of the image display part of a display apparatus. The figure which shows the structural example of the image display part of a display apparatus.
  • the figure which shows the structural example of the drive control system of the shovel The figure which shows the structural example of the image display part of a display apparatus.
  • FIG. 1 is a diagram showing a configuration example of an information transmission system 300 according to the present embodiment.
  • the system 300 includes a shovel PS as a construction machine and a communication network 200.
  • FIG. 1 is a side view of the shovel according to the first embodiment.
  • An upper revolving structure 3 is mounted on a lower traveling structure 1 of the shovel PS so as to be revolvable via a revolving mechanism 2.
  • a boom 4 is attached to the upper swing body 3.
  • An arm 5 is attached to the tip of the boom 4.
  • a bucket 6 is attached to the tip of the arm 5 as an end attachment (work site).
  • a slope bucket, a dredging bucket, a breaker or the like may be attached.
  • the boom 4, the arm 5, and the bucket 6 form an excavation attachment as an example of the attachment, and are hydraulically driven by the boom cylinder 7, the arm cylinder 8, and the bucket cylinder 9, respectively.
  • the upper revolving structure 3 is provided with a cabin 10 as a driver's cab, and is equipped with a power source such as an engine 11.
  • the power source such as the engine 11 is covered by the cover 3a.
  • a controller 30, a display device 40, a voice output device 43, an input device 45, a storage device 47, and a gate lock lever 49 are provided inside the cabin 10.
  • a GPS device (GNSS receiver) P1 and a communication device T1 are provided at the top of the cabin 10.
  • the controller 30 is a control device that functions as a main control unit that controls the drive of the shovel PS.
  • the controller 30 is composed of an arithmetic processing unit including a CPU and an internal memory. Various functions of the controller 30 are realized by the CPU executing the programs stored in the internal memory.
  • the display device 40 displays an image including various work information according to a command from the controller 30.
  • the display device 40 is, for example, a vehicle-mounted liquid crystal display connected to the controller 30.
  • the voice output device 43 outputs various voice information in response to a voice output command from the controller 30.
  • the audio output device 43 is, for example, a vehicle-mounted speaker connected to the controller 30.
  • the voice output device 43 may be an alarm device such as a buzzer.
  • the input device 45 is a device for an operator of the shovel PS to input various information to the controller 30.
  • the input device 45 includes, for example, a membrane switch provided on the surface of the display device 40.
  • the input device 45 may be a touch panel or the like.
  • the storage device 47 stores various information.
  • the storage device 47 is, for example, a nonvolatile storage medium such as a semiconductor memory.
  • the storage device 47 stores various information output by the controller 30 and the like.
  • the gate lock lever 49 is a mechanism provided between the door of the cabin 10 and the driver's seat to prevent the shovel PS from being operated by mistake.
  • the controller 30 controls the gate lock valve 49a (see FIG. 2 to be described later) to an open state, which prevents the operator from leaving the cabin 10 and various operating devices. Can be operated.
  • the controller 30 controls the gate lock valve 49a to be in the closed state, the operator can exit the cabin 10, and the various operation devices cannot be operated.
  • the GPS device P1 detects the position of the shovel PS by the GPS function and supplies the position data to the controller 30.
  • the communication device T1 transmits information to the outside of the shovel PS.
  • the image pickup device 80 is provided above the cover 3 a of the upper swing body 3.
  • the imaging device 80 includes a front camera 80F that images the front, a left camera 80L that images the left, a right camera 80R that images the right, and a rear camera 80B that images the rear from the upper swing body 3 toward the cabin 10.
  • the front camera 80F, the left camera 80L, the right camera 80R, and the rear camera 80B are, for example, digital cameras having image pickup devices such as CCDs and CMOSs, and display devices 40 provided in the cabin 10 for picked up images. Send to.
  • the sound collecting device 90 is arranged outside the cabin 10 and has a left microphone 90L, a right microphone 90R, a rear microphone 90B, and a front microphone 90F, which are external microphones that collect sounds around the cabin 10. Further, the sound collection device 90 has an internal microphone 90I which is arranged inside the cabin 10 and collects the sound inside the cabin 10. Sounds collected by the left microphone 90L, the right microphone 90R, the rear microphone 90B, the front microphone 90F, and the internal microphone 90I are, for example, sounds such as speech sounds produced by humans, engine sounds of excavators PS, sounds of work sites, and the like. The mechanical sound of is included.
  • the left microphone 90L, the right microphone 90R, and the rear microphone 90B capture sounds from the upper swing body 3 toward the cabin 10 from the left direction, the right direction, and the rear direction, respectively.
  • the left microphone 90L, the right microphone 90R, and the rear microphone 90B are provided on the upper portion of the cover 3a of the upper swing body 3, and are arranged near the left camera 80L, the right camera 80R, and the rear camera 80B, respectively. Has been done.
  • the left microphone 90L, the right microphone 90R, and the rear microphone 90B are connected to the controller 30, and transmit the collected sound to the controller 30.
  • the left microphone 90L, the right microphone 90R, and the rear microphone 90B are arranged near the left camera 80L, the right camera 80R, and the rear camera 80B, respectively, the wiring can be easily routed.
  • the left microphone 90L, the right microphone 90R, and the rear microphone 90B may be arranged, for example, above the cabin 10.
  • the front microphone 90F captures the sound from the front from the upper swing body 3 toward the cabin 10.
  • the front microphone 90F is arranged on the arm 5.
  • the front microphone 90F is connected to the controller 30 and transmits the collected sound to the controller 30. It should be noted that the front microphone 90F may be arranged, for example, on the boom 4 or the bucket 6, or may be arranged on the upper part of the cabin 10.
  • the internal microphone 90I captures a sound inside the cabin 10, for example, a voice emitted by an operator.
  • the internal microphone 90I is arranged on the inner wall surface of the cabin 10.
  • the internal microphone 90I is connected to the controller 30 and transmits the collected sound to the controller 30.
  • the internal microphone 90I may be incorporated in the display device 40, for example.
  • the left microphone 90L, the right microphone 90R, the rear microphone 90B, the front microphone 90F, and the internal microphone 90I may be, for example, unidirectional microphones that easily capture sound in a specific direction.
  • the function of two or more microphones among the left microphone 90L, the right microphone 90R, the rear microphone 90B, and the front microphone 90F is obtained by using an omnidirectional (omnidirectional) microphone that evenly captures sounds from all directions. May be realized with one microphone. This can reduce the number of microphones that collect sounds around the shovel PS.
  • the communication network 200 mainly includes a base station 21, a server 22, and a mobile communication terminal 23.
  • the base station 21, the server 22, and the mobile communication terminal 23 can be connected to each other using a communication protocol such as an internet protocol.
  • a communication protocol such as an internet protocol.
  • Each of the shovel PS, the base station 21, the server 22, and the mobile communication terminal 23 may be one or plural.
  • the mobile communication terminal 23 includes a laptop computer, a mobile phone, a smartphone, an earphone with a microphone, and the like.
  • the base station 21 is an external facility that receives information transmitted by the shovel PS, and transmits / receives information to / from the shovel PS via, for example, a satellite communication network, a mobile phone communication network, or an internet network.
  • the server 22 functions as a management device for the shovel PS.
  • the server 22 is a device installed in an external facility such as a management center, and stores and manages information transmitted by the shovel PS and the mobile communication terminal 23.
  • the server 22 is, for example, a computer including a CPU, a ROM, a RAM, an input / output interface, an input device, a display, and the like.
  • the server 22 acquires and stores the information transmitted from the mobile communication terminal 23 through the communication network 200, and also transmits the information to the shovel PS. Further, the server 22 acquires and saves the information transmitted from the shovel PS via the communication network 200, and also transmits the information to the mobile communication terminal 23.
  • the mobile communication terminal 23 functions as a support device for the shovel PS.
  • the mobile communication terminal 23 is a device carried by an external worker and for transmitting a work instruction to the operator inside the cabin 10 of the shovel PS.
  • the mobile communication terminal 23 is, for example, a computer including a CPU, a ROM, a RAM, an input / output interface, an input device, a display, and the like.
  • the mobile communication terminal 23 includes a display unit 231, a display screen generation unit 232, a voice input unit 233, a voice character conversion unit 234, another language translation unit 235, an imaging unit 236, and a communication unit 237. ing.
  • the display screen generation unit 232 generates a display screen displayed on the display unit 231.
  • the voice input unit 233 is composed of, for example, a microphone and acquires voice information.
  • the voice input unit 233 may include a response switch (not shown).
  • the voice input unit 233 acquires a voice when the response switch is operated. This prevents the voice input unit 233 from inputting an unintended voice.
  • the voice character conversion unit 234 converts the voice information input by the voice input unit 233 into character information.
  • the other language translation unit 235 translates the character information converted by the voice character conversion unit 234 into another language.
  • the image pickup unit 236 is, for example, a digital camera having an image pickup device such as a CCD or a CMOS, and acquires an image.
  • the communication unit 237 communicates with the server 22 via the communication network 200. Specifically, the character information converted by the voice character conversion unit 234, the character information translated by the other language translation unit 235, and the image captured by the image capturing unit 236 are transmitted to the server 22 via the communication unit 237. To be done.
  • FIG. 2 is a diagram showing a configuration example of a drive control system of the shovel PS.
  • the mechanical power system, the high-pressure hydraulic line, the pilot line, and the electric drive / control system are shown by double lines, thick solid lines, broken lines, and thin solid lines, respectively.
  • the display device 40 displays an image including work information supplied from the controller 30.
  • the display device 40 is connected to the controller 30 via a communication network such as CAN (Controller Area Network), LIN (Local Interconnect Network), a dedicated line, or the like.
  • the display device 40 also includes a conversion processing unit 40a that generates an image to be displayed on the image display unit 41, and a switch panel 42 as an input unit.
  • the conversion processing unit 40a generates an image including a captured image to be displayed on the image display unit 41 based on the image data obtained from the imaging device 80.
  • Image data is input to the display device 40 from each of the front camera 80F, the left camera 80L, the right camera 80R, and the rear camera 80B. Further, the conversion processing unit 40a converts the data to be displayed on the image display unit 41 out of various data input from the controller 30 to the display device 40 into an image signal.
  • the data input from the controller 30 to the display device 40 includes, for example, data indicating the temperature of engine cooling water, data indicating the temperature of hydraulic oil, data indicating the remaining amount of urea water, data indicating the remaining amount of fuel, and the like. Including.
  • the conversion processing unit 40a outputs the converted image signal to the image display unit 41, and causes the image display unit 41 to display a captured image or an image generated based on various data.
  • the conversion processing unit 40a may be provided in the controller 30 instead of the display device 40, for example.
  • the imaging device 80 front camera 80F, left camera 80L, right camera 80R, and rear camera 80B is connected to the controller 30.
  • the switch panel 42 is a panel including various hardware switches.
  • the switch panel 42 has a light switch 42a, a wiper switch 42b, and a window washer switch 42c.
  • the light switch 42a is a switch for switching on / off of a light attached to the outside of the cabin 10.
  • the wiper switch 42b is a switch for switching the operation / stop of the wiper.
  • the window washer switch 42c is a switch for ejecting the window washer liquid.
  • the display device 40 operates by receiving power supply from the storage battery 70.
  • the storage battery 70 is charged with electric power generated by the alternator 11a (generator) of the engine 11.
  • the electric power of the storage battery 70 is also supplied to the electric components 72 and the like of the shovel PS other than the controller 30 and the display device 40.
  • the starter 11b of the engine 11 is driven by the electric power from the storage battery 70 to start the engine 11.
  • the engine 11 is connected to the main pump 14 and the pilot pump 15, and is controlled by the engine control unit (ECU) 74.
  • ECU engine control unit
  • Various data indicating the state of the engine 11 (for example, data indicating the cooling water temperature (physical quantity) detected by the water temperature sensor 11c) is constantly transmitted from the ECU 74 to the controller 30.
  • the controller 30 can store this data in the internal storage unit 30a and appropriately transmit it to the display device 40.
  • the main pump 14 is a hydraulic pump for supplying hydraulic oil to the control valve 17 via a high pressure hydraulic line.
  • the main pump 14 is, for example, a swash plate type variable displacement hydraulic pump.
  • the pilot pump 15 is a hydraulic pump for supplying hydraulic oil to various hydraulic control devices via a pilot line.
  • the pilot pump 15 is, for example, a fixed displacement hydraulic pump.
  • the control valve 17 is a hydraulic control device that controls the hydraulic system of the shovel PS.
  • the control valve 17 selectively supplies the hydraulic oil discharged by the main pump 14 to, for example, the boom cylinder 7, the arm cylinder 8, the bucket cylinder 9, the traveling hydraulic motor, the turning hydraulic motor, and the like.
  • the boom cylinder 7, the arm cylinder 8, the bucket cylinder 9, the traveling hydraulic motor, and the turning hydraulic motor may be referred to as “hydraulic actuator”.
  • the operation levers 26A to 26C are provided inside the cabin 10 and used by the operator to operate the hydraulic actuator.
  • the hydraulic oil is supplied from the pilot pump 15 to the pilot ports of the flow control valves corresponding to the hydraulic actuators. Hydraulic oil having a pressure corresponding to the operation direction and operation amount of the corresponding operation levers 26A to 26C is supplied to each pilot port.
  • the operation lever 26A is a boom operation lever.
  • the boom cylinder 7 is hydraulically driven to operate the boom 4.
  • the operation lever 26B is an arm operation lever.
  • the arm cylinder 8 can be hydraulically driven to operate the arm 5.
  • the operation lever 26C is a bucket operation lever.
  • the bucket cylinder 9 is hydraulically driven to operate the bucket 6.
  • the shovel PS may be provided with an operation lever, an operation pedal, and the like for driving the traveling hydraulic motor, the turning hydraulic motor, and the like.
  • the controller 30 acquires various data described below, for example.
  • the data acquired by the controller 30 is stored in the storage unit 30a.
  • the pressure sensors 15a and 15b detect the pilot pressure sent to the control valve 17 when the operating levers 26A to 26C are operated, and send data indicating the detected pilot pressure to the controller 30.
  • a switch button 27 is provided on each of the operation levers 26A to 26C. The operator can send a command signal to the controller 30 by operating the switch button 27 while operating the operation levers 26A to 26C.
  • An engine speed adjustment dial 75 is provided in the cabin 10 of the shovel PS.
  • the engine speed adjustment dial 75 is a dial for adjusting the engine speed, and can switch the engine speed in stages, for example.
  • the engine speed adjustment dial 75 is provided so as to be able to switch the engine speed in four stages of SP mode, H mode, A mode, and idling (IDLE) mode.
  • the engine speed adjustment dial 75 sends data indicating the setting state of the engine speed to the controller 30. Note that FIG. 2 shows a state in which the H mode is selected by the engine speed adjustment dial 75.
  • SP mode is a rotation speed mode selected when priority is given to the amount of work, and the highest engine rotation speed is used.
  • the H mode is a rotation speed mode selected when it is desired to balance work load and fuel consumption, and utilizes the second highest engine rotation speed.
  • the A mode is a rotational speed mode selected when it is desired to operate the shovel PS with low noise while giving priority to fuel consumption, and uses the third highest engine rotational speed.
  • the idling mode is a rotational speed mode selected when it is desired to put the engine in an idling state, and the lowest engine rotational speed is used.
  • the engine 11 is controlled to a constant rotation speed by the engine rotation speed in the rotation speed mode set by the engine rotation speed adjustment dial 75.
  • the controller 30 includes a display screen generation unit 301, a voice character conversion unit 302, and another language translation unit 303.
  • the display screen generation unit 301 generates a display screen displayed on the image display unit 41.
  • a display example of the display screen will be described later with reference to FIG.
  • the voice character conversion unit 302 converts the voice information input by the internal microphone 90I into character information.
  • a microphone switch 92 is provided in the internal microphone 90I, and the voice information input when the microphone switch 92 is operated is converted into character information.
  • the microphone switch 92 is a switch that operates momentarily, and while the microphone switch 92 is being operated, the voice character conversion unit 302 acquires the voice input by the internal microphone 90I. When the operation of the microphone switch 92 is released, the voice / character converter 302 stops the acquisition of voice.
  • the microphone switch 92 may be a switch that operates in an alternate manner, or may be another switch. This prevents an unintended voice from being input to the internal microphone 90I.
  • the operator of the cabin 10 may use a microphone function of a mobile communication terminal such as a smartphone.
  • the mobile communication terminal of the operator and the controller 30 are connected by short-range wireless or wired.
  • the voice character conversion function built in the mobile communication terminal of the operator may be used without using the voice character conversion unit 302 in the controller 30.
  • the other language translation unit 303 translates the character information converted by the phonetic character conversion unit 302 into another language.
  • the character information converted by the voice character conversion unit 302 and the character information translated by the other language translation unit 235 are transmitted to the server 22 via the communication device T1.
  • FIG. 3 is a diagram showing a configuration example of the image display unit 41 of the display device 40.
  • the example of FIG. 3 shows a state in which the interaction between the operator and the external worker is displayed as text information on the image display unit 41.
  • the image display unit 41 includes a date / time display area 41a, a driving mode display area 41b, an attachment display area 41c, a fuel consumption display area 41d, an engine control state display area 41e, a cooling water temperature display area 41g, and a fuel remaining amount.
  • An amount display area 41h, a rotation speed mode display area 41i, a urea water remaining amount display area 41j, a hydraulic oil temperature display area 41k, and an information display area 41n are included.
  • the running mode display area 41b, the attachment display area 41c, the engine control status display area 41e, and the rotation speed mode display area 41i are areas for displaying setting status information that is information relating to the setting status of the shovel PS.
  • the fuel consumption display region 41d, the cooling water temperature display region 41g, the remaining fuel amount display region 41h, the urea water remaining amount display region 41j, and the hydraulic oil temperature display region 41k display operating state information that is information regarding the operating state of the shovel PS. Area.
  • the date and time display area 41a is an area for displaying the current date and time.
  • the travel mode display area 41b is an area for displaying the current travel mode.
  • the attachment display area 41c is an area for displaying an image representing the currently mounted attachment.
  • the fuel consumption display area 41d is an area for displaying the fuel consumption information calculated by the controller 30.
  • the fuel consumption display area 41d includes an average fuel consumption display area 41d1 that displays lifetime average fuel consumption or section average fuel consumption, and an instantaneous fuel consumption display area 41d2 that displays instantaneous fuel consumption.
  • the engine control status display area 41e is an area for displaying the control status of the engine 11.
  • the cooling water temperature display area 41g is an area for displaying the current temperature state of the engine cooling water.
  • the remaining fuel amount display area 41h is an area for displaying the remaining amount state of the fuel stored in the fuel tank.
  • the rotation speed mode display area 41i is an area for displaying an image of the current rotation speed mode set by the engine rotation speed adjustment dial 75.
  • the urea water remaining amount display area 41j is an area for displaying an image of the remaining amount state of the urea water stored in the urea water tank.
  • the hydraulic oil temperature display area 41k is an area for displaying the temperature state of the hydraulic oil in the hydraulic oil tank.
  • the information display area 41n displays the communication between the external worker who has the mobile communication terminal 23 and the operator of the shovel PS as character information.
  • an external worker who possesses the mobile communication terminal 23 speaks to the voice input unit 233 of the mobile communication terminal 23 when contacting the operator in the cabin 10 of the shovel PS for instructions and the like.
  • the voice input unit 233 acquires the voice of the external worker.
  • the voice acquired by the voice input unit 233 is converted into character information by the voice character conversion unit 234.
  • the character information is translated by the other language translation unit 235 as needed.
  • the communication unit 237 transmits the character information converted by the voice character conversion unit 234 and the character information translated by the other language translation unit 235 to the server 22.
  • the display screen generation unit 232 displays these character information in the information display area of the display unit 231 as character information.
  • the server 22 saves the character information acquired from the mobile communication terminal 23 and transmits it to the shovel PS via the base station 21.
  • the display screen generation unit 301 of the shovel PS displays the character information from the mobile communication terminal 23 in the information display area 41n of the image display unit 41 as the character information 401. Thereby, the operator in the cabin 10 can receive the instruction of the external worker by looking at the information display area 41n of the display device 40.
  • the operator turns on the microphone switch 92 and speaks into the internal microphone 90I when contacting an external operator for a reply or instruction.
  • the internal microphone 90I acquires the voice of the operator.
  • the voice acquired by the internal microphone 90I is converted into character information by the voice character conversion unit 302.
  • the character information is translated by the other language translation unit 303 as needed.
  • the communication device T1 transmits the character information converted by the voice character conversion unit 302 and the character information translated by the other language translation unit 303 to the server 22 via the base station 21.
  • the display screen generation unit 301 displays the character information as character information 402 in the information display area 41n of the image display unit 41.
  • the server 22 saves the character information acquired from the shovel PS and sends it to the mobile communication terminal 23.
  • the display screen generation unit 232 of the mobile communication terminal 23 displays the character information from the shovel PS as character information in the information display area of the display unit 231. Thereby, the external worker can receive the instruction of the operator by looking at the display unit 231 of the mobile communication terminal 23.
  • the shovel PS can display the instructions of the external worker as text information in the information display area 41n of the image display unit 41 in time series.
  • the shovel PS can transmit the instructions and the like of an external operator outside the vehicle of the shovel PS to the operator in the cabin 10 even at the work site of the shovel PS, which is a noisy environment. Further, the shovel PS can transmit a response from the operator to the external worker.
  • the external worker can convert the instruction into text information and transmit the work instruction to the operator of the shovel PS, so the work instruction becomes easy. Further, the operator of the shovel PS converts the reply into character information by replying with a voice, and can transmit the reply to the external worker, so that the reply becomes easy.
  • the server 22 can also manage logs such as work instructions from external workers and responses from operators.
  • the shovel PS since the text information is translated by the other language translation units 235 and 303, the shovel PS transmits the work instructions and replies well even if the language used between the external operator and the operator of the shovel PS is different. Can be done.
  • FIGS. 4 and 5 are diagrams showing another configuration example of the image display unit 41 of the display device 40.
  • FIGS. 4 and 5 are diagrams showing another configuration example of the image display unit 41 of the display device 40.
  • an example is shown in which an image is attached to the image display unit 41 when the operator and the external worker interact with each other.
  • a case where a person is on the upper surface of the upper swing body 3 of the shovel PS, which is a blind spot from the operator in the cabin 10 and a blind spot from the imaging device 80 of the shovel PS will be described as an example.
  • the external worker who possesses the mobile communication terminal 23 utters an instruction to the operator toward the voice input unit 233 of the mobile communication terminal 23. Further, the external worker takes an image with the imaging unit 236 of the mobile communication terminal 23. Here, the worker who works on the upper surface of the upper swing body 3 of the shovel PS is imaged.
  • the voice input unit 233 acquires the voice of the external worker.
  • the voice acquired by the voice input unit 233 is converted into character information by the voice character conversion unit 234.
  • the character information is translated by the other language translation unit 235 as needed.
  • the communication unit 237 transmits the character information converted by the voice character conversion unit 234 (character information translated by the other language translation unit 235 as necessary) and the image captured by the image capturing unit 236 to the server 22. Further, the display screen generation unit 232 displays these character information and image in the information display area of the display unit 231 as character information and image.
  • the server 22 saves the character information and the image acquired from the mobile communication terminal 23, and transmits them to the shovel PS via the base station 21.
  • the display screen generation unit 301 of the shovel PS displays the character information from the mobile communication terminal 23 in the information display area 41n of the image display unit 41 as the character information 411. Further, the display screen generation unit 301 causes the image from the mobile communication terminal 23 to be displayed as the reduced thumbnail image 412 in the information display area 41n of the image display unit 41.
  • the display screen generation unit 301 causes the information display area 41n to display the enlarged image 413 as shown in FIG.
  • the enlargement operation is performed, for example, by the operator voice-inputting a predetermined keyword.
  • the controller 30 has a voice content identification unit that identifies the voice content acquired by the internal microphone 90I.
  • the voice content identification unit determines whether or not a voice instruction corresponding to the operation of enlarging is included.
  • the voice content identification unit notifies the display screen generation unit 301 to that effect.
  • the display screen generation unit 301 displays the enlarged image 413 in the information display area 41n.
  • the operation of enlarging and displaying may be an operation of tapping the thumbnail image 412 or an operation of a predetermined switch, and is not particularly limited.
  • the shovel PS can display the image captured by the image capturing unit 236 of the mobile communication terminal 23 in the information display area 41n. As a result, the operator can check the state of the operator and the position at which the image pickup device 80 becomes a blind spot.
  • the image to be transmitted has been described by taking the image captured by the image capturing unit 236 as an example, but the image to be transmitted is not limited to this, and an image stored in the storage unit of the mobile communication terminal 23, for example, a construction drawing, You may transmit a map, a work progress graph, a weather forecast map, etc. As a result, smooth information exchange is performed between the operator and the external worker.
  • FIG. 6 is a diagram showing still another configuration example of the image display unit 41 of the display device 40.
  • the information display area 41n has a character display area 41n1 for displaying character information and a tab area 41n2 for arranging a tab 423 for displaying information other than the character information.
  • the display screen generation unit 301 identifies the character information and the image that is information other than the character information from the transmission information transmitted from the mobile communication terminal 23.
  • character information obtained by converting the voices of the external worker or the operator into characters, and character information 421 and 422 of the log when the shovel PS, the server 22, and the mobile communication terminal 23 transmit an image. Is displayed.
  • a tab 423 for each category of transmitted images is provided.
  • “construction drawing”, “captured image”, “work amount progress graph”, and “weather forecast” are shown as categories.
  • “construction drawing”, “captured image”, “work amount progress graph”, “weather forecast”, etc. are displayed as selection buttons.
  • “construction drawing” by an operation such as touching the screen
  • a construction drawing shown in FIG. 7 described later is displayed in the image display area 41n3.
  • the screen is switched to the corresponding screen.
  • the number of images is displayed on the number display section 424.
  • a list of images of categories corresponding to the tab 423 may be displayed in the information display area 41n.
  • the text information 422 indicating that the text is sent is displayed in the text display area 41n1. Further, in the tab area 41n2, one of the corresponding tabs 423 is highlighted 425 (indicated by a thick dashed line in FIG. 6). A new arrival display 426 indicating that the character information 422 is a new arrival message is attached to the character display area 41n1.
  • the shovel PS according to the present embodiment can easily display the necessary image even if the log of the character information displayed in the character display area 41n1 becomes long.
  • the images are classified into categories. For example, an image that is opened many times according to work, such as a construction drawing, and an image that is referred to once like a captured image and is unlikely to open after that, are separated. Managed. As a result, even if the number of transmitted images increases, the operator does not have to perform work such as searching for a construction drawing from a large number of images, and the workability when browsing images is improved.
  • FIG. 7 is a diagram showing another configuration example of the image display unit 41 of the display device 40.
  • the information display area 41n has a character display area 41n1 for displaying the character information 431 and an image display area 41n3 for displaying an image 432 such as a map or a construction drawing.
  • an image 432 such as a map or a construction drawing is constantly displayed.
  • a number display 433 is displayed in the image display area 41n3. The number display 433 indicates that, for example, the first of the received two construction drawings is displayed.
  • the shovel PS according to the present embodiment can always display the image 432 such as a map or a construction drawing in the image display area 41n3.
  • the operator does not need to perform an operation for displaying a map or a construction drawing at the time of working, and the workability can be improved.
  • FIG. 8 is a diagram showing yet another configuration example of the image display unit 41 of the display device 40.
  • the information display area 41n has a character display area 41n1 that displays the character information 441 and 442 in time series, and an image display area 41n3 that displays an image 432 such as a map or a construction drawing. ing.
  • the character display area 41n1 displays the character information 441 of the log sent by the server 22.
  • the weather information transmitted by the server 22 is displayed as the character information 441.
  • the determination result by the shovel PS main body is displayed as the character information 442.
  • the controller 30 determines whether the time for regular maintenance has come based on the cumulative operating time of the shovel PS. When the time for regular maintenance comes, as shown in FIG. 8, character information 442 to that effect is displayed in the character display area 41n1.
  • the controller 30 determines whether or not the shovel PS is in a state of warning such as overheating based on various data of various sensors provided in the shovel PS. When it is determined that the warning is issued, character information to that effect is displayed in the character display area 41n1.
  • the controller 30 determines whether or not the continuous work time exceeds a predetermined time based on the continuous work time of the shovel PS.
  • the continuous operating time exceeds the predetermined time
  • character information prompting the operator to take a break is displayed in the character display area 41n1.
  • the controller 30 also determines a change in weather based on the weather information transmitted by the server 22. When the weather changes, character information to that effect is displayed in the character display area 41n1.
  • the determination result by the shovel body is described as being displayed in the character display area 41n1 as character information, the present invention is not limited to this, and may be displayed in the information display area 41n as an image such as an icon. Good.
  • the shovel PS according to the present embodiment can display the determination result by the shovel PS (controller 30) in the information display area 41n. Thereby, the operator can easily recognize the determination result by the shovel PS (controller 30).
  • FIG. 9 is a diagram showing another configuration example of the drive control system of the shovel PS.
  • the shovel PS may include a second display device 140 in addition to the display device 40.
  • Other configurations are the same as the configurations shown in FIG. 2, and redundant description will be omitted.
  • the second display device 140 may be arranged inside the shovel PS (for example, inside the cabin 10), or may be carried by an operator outside the shovel PS.
  • the second display device 140 is communicatively connected to the controller 30 via a wire (for example, a communication network such as CAN or LIN, a dedicated line, or the like), short-range wireless communication, or the communication network 200. Further, the second display device 140 may be operated by being supplied with power from the storage battery 70, or may be operated by a built-in battery.
  • FIG. 10 is a diagram showing a configuration example of the image display unit 141 of the second display device 140.
  • the information display area 141n has a character display area 141n1 for displaying the character information 451 to 453 in time series, and an image display area 141n3 for displaying an image 454 such as a map or a construction drawing. ing.
  • the judgment result by the shovel PS main body is displayed in the character display area 141n1 as character information 451 to 453.
  • the controller 30 determines whether or not the load of the attachment is a predetermined value or more based on various data of various sensors provided on the shovel PS.
  • the character information 451 indicating that the load of the attachment is increased is displayed in the character display area 141n1.
  • the controller 30 determines the progress of the work based on, for example, the current time, the construction drawing, the work history of the shovel PS, and the like.
  • the character information 452 indicating that the progress of the work is behind the schedule is displayed in the character display area 141n1.
  • the dump truck (not shown) transmits information on the dump truck (for example, position information) to the server 22 as a management device via the communication network 200.
  • Position information of the dump truck is input from the server 22 to the controller 30 of the shovel PS via the communication network 200.
  • the controller 30 estimates the estimated arrival time of the dump truck based on the position information of the dump truck.
  • Character information 453 indicating the estimated arrival time of the dump truck is displayed in the character display area 141n1.
  • an image 454 such as a map or a construction drawing is constantly displayed.
  • today's construction area (construction target) 455 is displayed.
  • an area where the construction is completed (actual completion area) 456 is displayed. Note that, in FIG. 10, the result completion area 456 is illustrated by hatching.
  • the date and time display area 141a is an area for displaying the current date and time.
  • the controller 30 estimates the construction schedule at the current time based on the current time, the construction target 455, the work history of the shovel PS, and the like.
  • the construction schedule 457 at the current time is displayed in the image display area 141n3.
  • the construction schedule 457 at the current time is shown by a dashed line.
  • a number display 458 is displayed in the image display area 141n3.
  • the number display 433 indicates that, for example, the first of the received two construction drawings is displayed.
  • the shovel PS according to the present embodiment can display the construction target 455, the result completion area 456, and the construction schedule 457 at the current time in the information display area 41n.
  • the operator of the shovel PS or the operator outside the shovel PS can easily recognize the progress of the work.
  • the shovel PS according to the present embodiment can display the determination result by the shovel PS (controller 30) in the information display area 141n. Thereby, the operator can easily recognize the determination result by the shovel PS (controller 30).
  • an example in which an image taken by an external worker is displayed is shown, but the example is not necessarily limited to this.
  • the control unit of the other shovel determines the shape of the shovel, the shape of the person, and the positional relationship between them, and transmits the image and the determination result to the shovel PS.
  • the operator of the shovel PS can understand that the worker is working on the shovel PS not only by the image of the image pickup device of the main body of the shovel PS but also by the image taken by another shovel. it can. Further, not only the image picked up by another construction machine may be used but the image of the fixed point camera installed at the work site may be displayed on the display unit.
  • the screens shown in FIGS. 3 to 8 have been described by taking the case of being displayed on the display device 40 as an example. However, the screens are not limited to this, and are displayed on the second display device 140 and the mobile communication terminal 23. May be Further, the screen shown in FIG. 10 has been described by taking the case of being displayed on the second display device 140 as an example, but the screen is not limited to this, and may be displayed on the display device 40 and the mobile communication terminal 23. It may be.
  • the voice input is accepted by operating the microphone switch 92
  • the present invention is not limited to this.
  • the voice word converters 234 and 302 detect a predetermined start word
  • the voice after the start word may be used as an input.
  • the text information is translated by the other language translation units 235 and 303 before the text information is transmitted from the shovel PS or the mobile communication terminal 23 to the server 22, and the translated text information is transmitted.
  • the shovel PS or the mobile communication terminal 23 may transmit character information to the server 22, the character information received from the server 22 may be translated by the other language translation units 235 and 303, and the translated character information may be displayed.
  • the display contents displayed in the information display area 41n, the character display area 41n1, and the tab area 41n2 of the image display unit 41 may be displayed in synchronization with the display screens of the mobile communication terminal 23 and the server 22.
  • the external worker or the administrator can confirm the contents visually recognized by the operator of the shovel. Therefore, it is possible to surely communicate with the operator.
  • the excavator PS and the mobile communication terminal 23 are described as communicating via the server 22, but the present invention is not limited to this, and for example, the shovel PS and the mobile communication terminal 23 directly communicate with each other. May be.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Structural Engineering (AREA)
  • Civil Engineering (AREA)
  • Mining & Mineral Resources (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Operation Control Of Excavators (AREA)

Abstract

外部作業者からの指示を操作者に好適に伝達するショベルの表示装置を提供する。　通信部（Ｔ１）と、表示部（４１）と、キャビン（１０）内の音声を取得する音声取得部（９０Ｉ）と、音声取得部（９０Ｉ）で取得した音声を文字情報に変換する音声文字変換部（３０２）と、を備え、表示部（４１）は、通信部（Ｔ１）で取得した外部端末（２３）から送信された送信情報と、音声文字変換部（３０２）で変換された文字情報と、を時系列で表示する。

Description

ショベルの表示装置
　本発明は、ショベル（掘削機）の表示装置に関する。
　ショベルの周囲にいる外部作業者等がショベルの操作者に情報を伝達しようとする場合がある。特許文献１には、マイクロフォンにより収集された上部旋回体の周囲で発生する音を、運転室の内部で再生するスピーカを備えたショベルが開示されている。
特開２０１３－４７４２７号公報
　しかしながら、ショベルの作業現場は、ショベルのエンジンの駆動音や他の建築機械の動作音等が響いており、騒音の大きな環境となっている。このため、音声による指示は、騒音にかき消されて伝わりにくいという課題がある。
　そこで、本発明は、外部作業者からの指示をより確実に操作者に伝達するショベルの表示装置を提供することを目的とする。
　本発明の実施形態に係るショベルの表示装置は、通信部と、表示部と、キャビン内の音声を取得する音声取得部と、前記音声取得部で取得した音声を文字情報に変換する音声文字変換部と、を備え、前記表示部は、前記通信部で取得した外部端末から送信された送信情報と、前記音声文字変換部で変換された文字情報と、を時系列で表示する。
　本発明の実施形態によれば、外部作業者からの指示をより確実に操作者に伝達するショベルの表示装置を提供することができる。
情報伝達システムの構成例を示す図 ショベルの駆動制御系の構成例を示す図 表示装置の画像表示部の構成例を示す図 表示装置の画像表示部の構成例を示す図 表示装置の画像表示部の構成例を示す図 表示装置の画像表示部の構成例を示す図 表示装置の画像表示部の構成例を示す図 表示装置の画像表示部の構成例を示す図 ショベルの駆動制御系の構成例を示す図 表示装置の画像表示部の構成例を示す図
　以下、図面を参照して発明を実施するための形態について説明する。各図面において、同一構成部分には同一符号を付し、重複した説明を省略する場合がある。
　本実施形態に係る情報伝達システム３００（適宜「システム３００」と称する。）について、図１を用いて説明する。図１は、本実施形態に係る情報伝達システム３００の構成例を示す図である。システム３００は、建設機械としてのショベルＰＳと、通信ネットワーク２００と、を備えている。
　最初に、図１を参照して、第１実施形態のショベルの全体構成について説明する。図１は第１実施形態のショベルの側面図である。
　ショベルＰＳの下部走行体１には、旋回機構２を介して旋回可能に上部旋回体３が搭載されている。上部旋回体３には、ブーム４が取り付けられている。ブーム４の先端には、アーム５が取り付けられている。アーム５の先端には、エンドアタッチメント（作業部位）としてバケット６が取り付けられている。エンドアタッチメントとしては、法面用バケット、浚渫用バケット、ブレーカ等が取り付けられてもよい。
　ブーム４、アーム５、及びバケット６は、アタッチメントの一例として掘削アタッチメントを構成し、ブームシリンダ７、アームシリンダ８、及びバケットシリンダ９によりそれぞれ油圧駆動される。
　上部旋回体３には、運転室としてのキャビン１０が設けられ、エンジン１１等の動力源が搭載されている。エンジン１１等の動力源は、カバー３ａにより覆われている。キャビン１０内には、コントローラ３０、表示装置４０、音声出力装置４３、入力装置４５、記憶装置４７、及びゲートロックレバー４９が設けられている。キャビン１０の頂部には、ＧＰＳ装置（ＧＮＳＳ受信機）Ｐ１、及び通信装置Ｔ１が設けられている。
　コントローラ３０は、ショベルＰＳの駆動制御を行う主制御部として機能する制御装置である。コントローラ３０は、ＣＰＵ及び内部メモリを含む演算処理装置で構成されている。コントローラ３０の各種機能は、ＣＰＵが内部メモリに格納されているプログラムを実行することで実現される。
　表示装置４０は、コントローラ３０からの指令に応じて各種の作業情報を含む画像を表示する。表示装置４０は、例えば、コントローラ３０に接続される車載液晶ディスプレイである。
　音声出力装置４３は、コントローラ３０からの音声出力指令に応じて各種音声情報を出力する。音声出力装置４３は、例えば、コントローラ３０に接続される車載スピーカである。音声出力装置４３は、ブザー等の警報器であってもよい。
　入力装置４５は、ショベルＰＳの操作者がコントローラ３０に各種情報を入力するための装置である。入力装置４５は、例えば、表示装置４０の表面に設けられるメンブレンスイッチを含む。入力装置４５は、タッチパネル等であってもよい。
　記憶装置４７は、各種情報を記憶する。記憶装置４７は、例えば、半導体メモリ等の不揮発性記憶媒体である。記憶装置４７は、コントローラ３０等が出力する各種情報を記憶する。
　ゲートロックレバー４９は、キャビン１０のドアと運転席との間に設けられ、ショベルＰＳが誤って操作されるのを防止する機構である。操作者が運転席に乗り込んでゲートロックレバー４９を引き上げると、コントローラ３０によりゲートロック弁４９ａ（後述する図２参照）が開状態に制御され、操作者はキャビン１０から退出できなくなると共に各種操作装置が操作可能になる。操作者がゲートロックレバー４９を押し下げると、コントローラ３０によりゲートロック弁４９ａが閉状態に制御され、操作者はキャビン１０から退出可能になると共に、各種操作装置は操作不能になる。
　ＧＰＳ装置Ｐ１は、ショベルＰＳの位置をＧＰＳ機能により検出し、位置データをコントローラ３０に供給する。
　通信装置Ｔ１は、ショベルＰＳの外部に向けて情報を発信する。
　撮像装置８０は、上部旋回体３のカバー３ａ上部に設けられている。撮像装置８０は、上部旋回体３からキャビン１０に向かって、前方を撮像する前方カメラ８０Ｆ、左側を撮像する左側カメラ８０Ｌ、右側を撮像する右側カメラ８０Ｒ、後方を撮像する後方カメラ８０Ｂを有する。前方カメラ８０Ｆ、左側カメラ８０Ｌ、右側カメラ８０Ｒ、及び後方カメラ８０Ｂは、例えば、ＣＣＤやＣＭＯＳ等の撮像素子を有するデジタルカメラであり、それぞれ撮影した画像をキャビン１０内に設けられている表示装置４０に送る。
　集音装置９０は、キャビン１０の外部に配置され、キャビン１０の周囲の音を集音する外部マイクである左側マイク９０Ｌ、右側マイク９０Ｒ、後方マイク９０Ｂ、及び前方マイク９０Ｆを有する。また、集音装置９０は、キャビン１０の内部に配置され、キャビン１０の内部の音を集音する内部マイク９０Ｉを有する。左側マイク９０Ｌ、右側マイク９０Ｒ、後方マイク９０Ｂ、前方マイク９０Ｆ、及び内部マイク９０Ｉが集音する音には、例えば人間が発する言語音等の音声や、ショベルＰＳのエンジン音、作業現場の音等の機械音が含まれる。
　左側マイク９０Ｌ、右側マイク９０Ｒ、及び後方マイク９０Ｂは、それぞれ上部旋回体３からキャビン１０に向かって左方向、右方向、及び後方向からの音を捉える。本実施形態では、左側マイク９０Ｌ、右側マイク９０Ｒ、及び後方マイク９０Ｂは、上部旋回体３のカバー３ａ上部に設けられており、それぞれ左側カメラ８０Ｌ、右側カメラ８０Ｒ、及び後方カメラ８０Ｂの近傍に配置されている。また、左側マイク９０Ｌ、右側マイク９０Ｒ、及び後方マイク９０Ｂは、コントローラ３０に接続されており、集音した音をコントローラ３０に送信する。このように左側マイク９０Ｌ、右側マイク９０Ｒ、及び後方マイク９０Ｂがそれぞれ左側カメラ８０Ｌ、右側カメラ８０Ｒ、及び後方カメラ８０Ｂの近傍に配置されているため、配線の取り回しが容易である。なお、左側マイク９０Ｌ、右側マイク９０Ｒ、及び後方マイク９０Ｂは、例えばキャビン１０上部に配置されていてもよい。
　前方マイク９０Ｆは、上部旋回体３からキャビン１０に向かって前方向からの音を捉える。本実施形態では、前方マイク９０Ｆは、アーム５に配置されている。前方マイク９０Ｆは、コントローラ３０に接続されており、集音した音をコントローラ３０に送信する。なお、前方マイク９０Ｆは、例えばブーム４、バケット６に配置されていてもよく、キャビン１０上部に配置されていてもよい。
　内部マイク９０Ｉは、キャビン１０の内部の音、例えば操作者が発する音声を捉える。本実施形態では、内部マイク９０Ｉは、キャビン１０の内壁面に配置されている。内部マイク９０Ｉは、コントローラ３０に接続されており、集音した音をコントローラ３０に送信する。なお、内部マイク９０Ｉは、例えば表示装置４０に内蔵されていてもよい。
　左側マイク９０Ｌ、右側マイク９０Ｒ、後方マイク９０Ｂ、前方マイク９０Ｆ、及び内部マイク９０Ｉは、例えば、特定の方向に対しての音を捉えやすい単一指向性マイクであってよい。但し、全ての方向からの音を均等に捉える無指向性（全指向性）マイクを用いて、左側マイク９０Ｌ、右側マイク９０Ｒ、後方マイク９０Ｂ、及び前方マイク９０Ｆのうち２つ以上のマイクの機能を１つのマイクで実現してもよい。これにより、ショベルＰＳの周囲の音を集音するマイクの個数を削減できる。
　通信ネットワーク２００は、主に、基地局２１、サーバ２２、及び携帯通信端末２３で構成される。基地局２１、サーバ２２、及び携帯通信端末２３は、例えば、インターネットプロトコル等の通信プロトコルを用いて互いに接続され得る。ショベルＰＳ、基地局２１、サーバ２２、及び携帯通信端末２３のそれぞれは１つであってもよく複数であってもよい。携帯通信端末２３は、ノートパソコン、携帯電話、スマートフォン、マイク付きイヤフォン等を含む。
　基地局２１は、ショベルＰＳが送信する情報を受信する外部施設であり、例えば、衛星通信網、携帯電話通信網、インターネット網等を通じてショベルＰＳとの間で情報を送受信する。
　サーバ２２は、ショベルＰＳの管理装置として機能する。本実施形態では、サーバ２２は、管理センタ等の外部施設に設置される装置であり、ショベルＰＳおよび携帯通信端末２３が送信する情報を保存し且つ管理する。サーバ２２は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インタフェース、入力装置、ディスプレイ等を備えたコンピュータである。具体的には、サーバ２２は、通信ネットワーク２００を通じ、携帯通信端末２３から送信された情報を取得・保存するとともに、ショベルＰＳに情報を送信する。また、サーバ２２は、通信ネットワーク２００を通じ、ショベルＰＳから送信された情報を取得・保存するとともに、携帯通信端末２３に情報を送信する。
　携帯通信端末２３は、ショベルＰＳの支援装置として機能する。本実施形態では、携帯通信端末２３は、外部作業者が所持しており、ショベルＰＳのキャビン１０内の操作者に作業指示を伝達するための装置である。携帯通信端末２３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インタフェース、入力装置、ディスプレイ等を備えたコンピュータである。
　携帯通信端末２３は、表示部２３１と、表示画面生成部２３２と、音声入力部２３３と、音声文字変換部２３４と、他言語翻訳部２３５と、撮像部２３６と、通信部２３７と、を備えている。
　表示部２３１は、各種情報が表示される。表示画面生成部２３２は、表示部２３１に表示する表示画面を生成する。
　音声入力部２３３は、例えばマイク等で構成され、音声情報を取得する。なお、音声入力部２３３は、図示しない応答スイッチを備えていてもよい。応答スイッチが操作された際に音声入力部２３３は音声を取得する。これにより、音声入力部２３３は意図しない音声が入力されることを防止する。
　音声文字変換部２３４は、音声入力部２３３で入力された音声情報を文字情報に変換する。他言語翻訳部２３５は、音声文字変換部２３４で変換された文字情報を他言語に翻訳する。
　撮像部２３６は、例えば、ＣＣＤやＣＭＯＳ等の撮像素子を有するデジタルカメラであり、画像を取得する。
　通信部２３７は、通信ネットワーク２００を介してサーバ２２と通信する。具体的には、音声文字変換部２３４で変換された文字情報、他言語翻訳部２３５で翻訳された文字情報、撮像部２３６で撮像された画像は、通信部２３７を介して、サーバ２２に送信される。
　次に、図２を参照して、ショベルＰＳの駆動制御系の構成例について説明する。図２は、ショベルＰＳの駆動制御系の構成例を示す図である。図２中、機械的動力系、高圧油圧ライン、パイロットライン、及び電気駆動・制御系をそれぞれ二重線、太実線、破線、及び細実線で示す。
　表示装置４０は、コントローラ３０から供給される作業情報等を含む画像を表示する。表示装置４０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）等の通信ネットワーク、専用線等を介してコントローラ３０に接続されている。また、表示装置４０は、画像表示部４１に表示する画像を生成する変換処理部４０ａと、入力部としてのスイッチパネル４２と、を有する。
　変換処理部４０ａは、撮像装置８０から得られる画像データに基づいて画像表示部４１上に表示する撮影画像を含む画像を生成する。表示装置４０には、前方カメラ８０Ｆ、左側カメラ８０Ｌ、右側カメラ８０Ｒ、及び後方カメラ８０Ｂのそれぞれから画像データが入力される。また、変換処理部４０ａは、コントローラ３０から表示装置４０に入力される各種のデータのうち画像表示部４１に表示させるデータを画像信号に変換する。コントローラ３０から表示装置４０に入力されるデータは、例えば、エンジン冷却水の温度を示すデータ、作動油の温度を示すデータ、尿素水の残量を示すデータ、燃料の残量を示すデータ等を含む。変換処理部４０ａは、変換した画像信号を画像表示部４１に出力し、撮影画像や各種のデータに基づいて生成した画像を画像表示部４１に表示させる。なお、変換処理部４０ａは、表示装置４０ではなく、例えば、コントローラ３０に設けられてもよい。この場合、撮像装置８０（前方カメラ８０Ｆ、左側カメラ８０Ｌ、右側カメラ８０Ｒ、及び後方カメラ８０Ｂ）はコントローラ３０に接続される。
　スイッチパネル４２は、各種ハードウェアスイッチを含むパネルである。スイッチパネル４２は、ライトスイッチ４２ａ、ワイパースイッチ４２ｂ、及びウィンドウォッシャスイッチ４２ｃを有する。
　ライトスイッチ４２ａは、キャビン１０の外部に取り付けられるライトの点灯・消灯を切り替えるためのスイッチである。ワイパースイッチ４２ｂは、ワイパーの作動・停止を切り替えるためのスイッチである。ウィンドウォッシャスイッチ４２ｃは、ウィンドウォッシャ液を噴射するためのスイッチである。
　表示装置４０は、蓄電池７０から電力の供給を受けて動作する。蓄電池７０は、エンジン１１のオルタネータ１１ａ（発電機）で発電した電力で充電される。蓄電池７０の電力は、コントローラ３０及び表示装置４０以外のショベルＰＳの電装品７２等にも供給される。また、エンジン１１のスタータ１１ｂは、蓄電池７０からの電力で駆動されてエンジン１１を始動させる。
　エンジン１１は、メインポンプ１４及びパイロットポンプ１５に接続され、エンジン制御装置（ＥＣＵ）７４により制御される。ＥＣＵ７４からは、エンジン１１の状態を示す各種のデータ（例えば、水温センサ１１ｃで検出される冷却水温（物理量）を示すデータ等）がコントローラ３０に常時送信される。コントローラ３０は内部の記憶部３０ａにこのデータを蓄積し、適宜、表示装置４０に送信できる。
　メインポンプ１４は、高圧油圧ラインを介して作動油をコントロールバルブ１７に供給するための油圧ポンプである。メインポンプ１４は、例えば、斜板式可変容量型油圧ポンプである。
　パイロットポンプ１５は、パイロットラインを介して各種油圧制御機器に作動油を供給するための油圧ポンプである。パイロットポンプ１５は、例えば、固定容量型油圧ポンプである。
　コントロールバルブ１７は、ショベルＰＳにおける油圧システムを制御する油圧制御装置である。コントロールバルブ１７は、例えば、ブームシリンダ７、アームシリンダ８、バケットシリンダ９、走行用油圧モータ、及び旋回用油圧モータ等に、メインポンプ１４が吐出する作動油を選択的に供給する。なお、以下では、ブームシリンダ７、アームシリンダ８、バケットシリンダ９、走行用油圧モータ、及び旋回用油圧モータを、「油圧アクチュエータ」という場合がある。
　操作レバー２６Ａ～２６Ｃは、キャビン１０内に設けられ、操作者によって油圧アクチュエータの操作に用いられる。操作レバー２６Ａ～２６Ｃが操作されると、パイロットポンプ１５から油圧アクチュエータのそれぞれに対応する流量制御弁のパイロットポートに作動油が供給される。各パイロットポートには、対応する操作レバー２６Ａ～２６Ｃの操作方向及び操作量に応じた圧力の作動油が供給される。
　本実施形態では、操作レバー２６Ａは、ブーム操作レバーである。操作者が操作レバー２６Ａを操作すると、ブームシリンダ７を油圧駆動させて、ブーム４を操作できる。操作レバー２６Ｂは、アーム操作レバーである。操作者が操作レバー２６Ｂを操作すると、アームシリンダ８を油圧駆動させて、アーム５を操作できる。操作レバー２６Ｃは、バケット操作レバーである。操作者が操作レバー２６Ｃを操作すると、バケットシリンダ９を油圧駆動させて、バケット６を操作できる。なお、ショベルＰＳには、操作レバー２６Ａ～２６Ｃの他に、走行用油圧モータや旋回用油圧モータ等を駆動させる操作レバー、操作ペダル等が設けられてもよい。
　コントローラ３０は、例えば以下で説明する各種のデータを取得する。コントローラ３０が取得したデータは、記憶部３０ａに格納される。
　可変容量式油圧ポンプであるメインポンプ１４のレギュレータ１４ａは、斜板角度を示すデータをコントローラ３０に送る。また、吐出圧力センサ１４ｂは、メインポンプ１４の吐出圧力を示すデータをコントローラ３０に送る。これらのデータ（物理量を表すデータ）は記憶部３０ａに格納される。また、メインポンプ１４が吸入する作動油が貯蔵されたタンクとメインポンプ１４との間の管路に設けられている油温センサ１４ｃは、管路を流れる作動油の温度を表すデータをコントローラ３０に送る。
　圧力センサ１５ａ，１５ｂは、操作レバー２６Ａ～２６Ｃが操作された際にコントロールバルブ１７に送られるパイロット圧を検出し、検出したパイロット圧を示すデータをコントローラ３０に送る。操作レバー２６Ａ～２６Ｃには、スイッチボタン２７が設けられている。操作者は、操作レバー２６Ａ～２６Ｃを操作しながらスイッチボタン２７を操作することで、コントローラ３０に指令信号を送ることができる。
　ショベルＰＳのキャビン１０内には、エンジン回転数調整ダイヤル７５が設けられている。エンジン回転数調整ダイヤル７５は、エンジン回転数を調整するためのダイヤルであり、例えば、エンジン回転数を段階的に切り替えることができる。本実施形態では、エンジン回転数調整ダイヤル７５は、ＳＰモード、Ｈモード、Ａモード、及びアイドリング（ＩＤＬＥ）モードの４段階にエンジン回転数を切り替えることができるように設けられている。エンジン回転数調整ダイヤル７５は、エンジン回転数の設定状態を示すデータをコントローラ３０に送る。なお、図２には、エンジン回転数調整ダイヤル７５によりＨモードが選択された状態が示されている。
　ＳＰモードは、作業量を優先したい場合に選択される回転数モードであり、最も高いエンジン回転数を利用する。Ｈモードは、作業量と燃費を両立させたい場合に選択される回転数モードであり、２番目に高いエンジン回転数を利用する。Ａモードは、燃費を優先させながら低騒音でショベルＰＳを稼働させたい場合に選択される回転数モードであり、３番目に高いエンジン回転数を利用する。アイドリングモードは、エンジンをアイドリング状態にしたい場合に選択される回転数モードであり、最も低いエンジン回転数を利用する。エンジン１１は、エンジン回転数調整ダイヤル７５で設定された回転数モードのエンジン回転数で一定回転数に制御される。
　次に、コントローラ３０の機能構成について説明する。図２に示されるように、コントローラ３０は、表示画面生成部３０１と、音声文字変換部３０２と、他言語翻訳部３０３と、を備えている。
　表示画面生成部３０１は、画像表示部４１に表示する表示画面を生成する。なお、表示画面の表示例については、図３等を用いて後述する。
　音声文字変換部３０２は、内部マイク９０Ｉで入力された音声情報を文字情報に変換する。なお、内部マイク９０Ｉには、マイクスイッチ９２が設けられており、マイクスイッチ９２が操作された際に入力された音声情報を文字情報に変換する。例えば、マイクスイッチ９２はモーメンタリ動作するスイッチであって、マイクスイッチ９２を操作している間、音声文字変換部３０２は内部マイク９０Ｉで入力された音声を取得する。マイクスイッチ９２の操作を解除すると、音声文字変換部３０２は音声の取得を停止する。なお、マイクスイッチ９２はオルタネイト動作するスイッチであってもよく、その他のスイッチであってもよい。これにより、内部マイク９０Ｉに意図しない音声が入力されることを防止する。
　また、内部マイク９０Ｉではなく、キャビン１０内の操作者が有するスマートフォン等の携帯通信端末のマイク機能を利用してもよい。この場合、操作者が有する携帯通信端末とコントローラ３０とは、近距離無線、若しくは、有線で接続されている。この場合、コントローラ３０内の音声文字変換部３０２を用いずとも、操作者が有する携帯通信端末に内蔵される音声文字変換機能を利用してもよい。
　他言語翻訳部３０３は、音声文字変換部３０２で変換された文字情報を他言語に翻訳する。音声文字変換部３０２で変換された文字情報、他言語翻訳部２３５で翻訳された文字情報は、通信装置Ｔ１を介して、サーバ２２に送信される。
　次に、図３を参照して、表示装置４０の画像表示部４１の構成例について説明する。図３は、表示装置４０の画像表示部４１の構成例を示す図である。図３の例では、画像表示部４１に、操作者と外部作業者とのやり取りが文字情報として表示されている状態を示す。
　まず、画像表示部４１について説明する。図３に示されるように、画像表示部４１は、日時表示領域４１ａ、走行モード表示領域４１ｂ、アタッチメント表示領域４１ｃ、燃費表示領域４１ｄ、エンジン制御状態表示領域４１ｅ、冷却水温表示領域４１ｇ、燃料残量表示領域４１ｈ、回転数モード表示領域４１ｉ、尿素水残量表示領域４１ｊ、作動油温表示領域４１ｋ、及び情報表示領域４１ｎを含む。
　走行モード表示領域４１ｂ、アタッチメント表示領域４１ｃ、エンジン制御状態表示領域４１ｅ、及び回転数モード表示領域４１ｉは、ショベルＰＳの設定状態に関する情報である設定状態情報を表示する領域である。燃費表示領域４１ｄ、冷却水温表示領域４１ｇ、燃料残量表示領域４１ｈ、尿素水残量表示領域４１ｊ、及び作動油温表示領域４１ｋは、ショベルＰＳの稼動状態に関する情報である稼動状態情報を表示する領域である。
　具体的には、日時表示領域４１ａは、現在の日時を表示する領域である。走行モード表示領域４１ｂは、現在の走行モードを表示する領域である。アタッチメント表示領域４１ｃは、現在装着されているアタッチメントを表す画像を表示する領域である。燃費表示領域４１ｄは、コントローラ３０によって算出された燃費情報を表示する領域である。燃費表示領域４１ｄは、生涯平均燃費又は区間平均燃費を表示する平均燃費表示領域４１ｄ１、瞬間燃費を表示する瞬間燃費表示領域４１ｄ２を含む。
　エンジン制御状態表示領域４１ｅは、エンジン１１の制御状態を表示する領域である。冷却水温表示領域４１ｇは、現在のエンジン冷却水の温度状態を表示する領域である。燃料残量表示領域４１ｈは、燃料タンクに貯蔵されている燃料の残量状態を表示する領域である。回転数モード表示領域４１ｉは、エンジン回転数調整ダイヤル７５によって設定された現在の回転数モードを画像で表示する領域である。尿素水残量表示領域４１ｊは、尿素水タンクに貯蔵されている尿素水の残量状態を画像で表示する領域である。作動油温表示領域４１ｋは、作動油タンク内の作動油の温度状態を表示する領域である。
　情報表示領域４１ｎは、携帯通信端末２３を所持した外部作業者と、ショベルＰＳの操作者との間のやり取りを文字情報として表示する。
　例えば、携帯通信端末２３を所持した外部作業者は、ショベルＰＳのキャビン１０内にいる操作者へ指示等の連絡をする際、携帯通信端末２３の音声入力部２３３に向けて発声する。音声入力部２３３は、外部作業者の音声を取得する。音声入力部２３３で取得された音声は、音声文字変換部２３４で文字情報に変換される。また、文字情報は、必要に応じて他言語翻訳部２３５で翻訳される。通信部２３７は、音声文字変換部２３４で変換された文字情報、他言語翻訳部２３５で翻訳された文字情報を、サーバ２２に送信する。また、表示画面生成部２３２は、これらの文字情報を表示部２３１の情報表示領域に文字情報として表示させる。
　サーバ２２は、携帯通信端末２３から取得した文字情報を保存するとともに、基地局２１を介して、ショベルＰＳに送信する。
　ショベルＰＳの表示画面生成部３０１は、携帯通信端末２３からの文字情報を画像表示部４１の情報表示領域４１ｎに文字情報４０１として表示させる。これにより、キャビン１０内の操作者は、表示装置４０の情報表示領域４１ｎを見ることにより、外部作業者の指示を受け取ることができる。
　操作者は、外部作業者へ回答や指示等の連絡をする際、マイクスイッチ９２をＯＮにして、内部マイク９０Ｉに向けて発声する。内部マイク９０Ｉは、操作者の音声を取得する。内部マイク９０Ｉで取得された音声は、音声文字変換部３０２で文字情報に変換される。また、文字情報は、必要に応じて他言語翻訳部３０３で翻訳される。通信装置Ｔ１は、音声文字変換部３０２で変換された文字情報、他言語翻訳部３０３で翻訳された文字情報を、基地局２１を介して、サーバ２２に送信する。また、表示画面生成部３０１は、これらの文字情報を画像表示部４１の情報表示領域４１ｎに文字情報４０２として表示させる。
　サーバ２２は、ショベルＰＳから取得した文字情報を保存するとともに、携帯通信端末２３に送信する。
　携帯通信端末２３の表示画面生成部２３２は、ショベルＰＳからの文字情報を表示部２３１の情報表示領域に文字情報として表示させる。これにより、外部作業者は、携帯通信端末２３の表示部２３１を見ることにより、操作者の指示を受け取ることができる。
　このように、本実施形態に係るショベルＰＳは、外部作業者の指示を文字情報として画像表示部４１の情報表示領域４１ｎに時系列で表示させることができる。これにより、ショベルＰＳは、騒音の大きな環境であるショベルＰＳの作業現場においても、ショベルＰＳの車外にいる外部作業者の指示等をキャビン１０内の操作者に伝達することができる。また、ショベルＰＳは、操作者からの返答を外部作業者に伝達することができる。
　外部作業者は、発声にて作業指示を行うことにより、指示が文字情報に変換され、ショベルＰＳの操作者に作業指示を伝達することができるので、作業指示が容易となる。また、ショベルＰＳの操作者は、発声にて返答することにより、返答が文字情報に変換され、外部作業者に返答を伝達することができるので、返答が容易になる。
　また、サーバ２２は、外部作業者の作業指示、操作者の返答等のログを管理することができる。
　また、他言語翻訳部２３５，３０３により文字情報が翻訳されるので、ショベルＰＳは、外部作業者とショベルＰＳの操作者の間で使用する言語が異なる場合でも、作業指示の伝達と返答を良好に行わせることができる。
　次に、図４及び図５を参照して、表示装置４０の画像表示部４１の構成例について説明する。図４及び図５は、表示装置４０の画像表示部４１の他の構成例を示す図である。図４及び図５の例では、画像表示部４１に、操作者と外部作業者とのやり取りの際、画像を添付する例を示す。また、キャビン１０内の操作者から死角となり、ショベルＰＳの撮像装置８０からも死角となるショベルＰＳの上部旋回体３の上面に人がいる場合を例に説明する。
　携帯通信端末２３を所持した外部作業者は、操作者への指示を携帯通信端末２３の音声入力部２３３に向けて発声する。また、外部作業者は、携帯通信端末２３の撮像部２３６で画像を撮像する。ここでは、ショベルＰＳの上部旋回体３の上面で作業する作業者を撮像する。音声入力部２３３は、外部作業者の音声を取得する。音声入力部２３３で取得された音声は、音声文字変換部２３４で文字情報に変換される。また、文字情報は、必要に応じて他言語翻訳部２３５で翻訳される。通信部２３７は、音声文字変換部２３４で変換された文字情報（必要に応じて他言語翻訳部２３５で翻訳された文字情報）と撮像部２３６で撮像された画像を、サーバ２２に送信する。また、表示画面生成部２３２は、これらの文字情報及び画像を表示部２３１の情報表示領域に文字情報び画像として表示させる。
　サーバ２２は、携帯通信端末２３から取得した文字情報及び画像を保存するとともに、基地局２１を介して、ショベルＰＳに送信する。
　ショベルＰＳの表示画面生成部３０１は、携帯通信端末２３からの文字情報を画像表示部４１の情報表示領域４１ｎに文字情報４１１として表示させる。また、表示画面生成部３０１は、携帯通信端末２３からの画像を画像表示部４１の情報表示領域４１ｎに縮小したサムネイル画像４１２として表示させる。
　また、操作者がサムネイル画像４１２を拡大表示させる操作を行うことにより、図５に示すように、表示画面生成部３０１は情報表示領域４１ｎに拡大された画像４１３を表示させる。なお、拡大させる操作とは、例えば、操作者が所定のキーワードを音声入力することによって行う。コントローラ３０は、内部マイク９０Ｉで取得した音声内容を識別する音声内容識別部を有している。音声内容識別部は、拡大させる操作に対応した音声指示が含まれているか否かを判定する。拡大させる操作に対応した音声指示が含まれている場合、音声内容識別部はその旨を表示画面生成部３０１に通知する。通知を受けた表示画面生成部３０１は、情報表示領域４１ｎに拡大された画像４１３を表示させる。なお、拡大表示させる操作は、サムネイル画像４１２をタップする操作であってもよく、所定のスイッチを操作するものであってもよく、特に限定されるものではない。
　このように、本実施形態に係るショベルＰＳは、携帯通信端末２３の撮像部２３６で撮像された画像を情報表示領域４１ｎに表示することができる。これにより、操作者は、操作者や撮像装置８０から死角となる位置についても、状態を確認することができる。
　また、送信される画像は、撮像部２３６で撮像された画像を一例に説明したが、これに限られるものではなく、携帯通信端末２３の記憶部に記憶されている画像、例えば、施工図、地図、作業量進捗グラフ、天気予報図等を送信してもよい。これにより、操作者と外部作業者の間で、円滑な情報のやり取りが行われる。
　次に、図６を参照して、表示装置４０の画像表示部４１の更に別の構成例について説明する。図６は、表示装置４０の画像表示部４１の更に別の構成例を示す図である。
　図６に示す構成では、情報表示領域４１ｎは、文字情報を表示する文字表示領域４１ｎ１と、文字情報以外の情報を表示させるためのタブ４２３を配置するタブ領域４１ｎ２と、を有している。表示画面生成部３０１は、携帯通信端末２３から送信された送信情報から、文字情報と、文字情報以外の情報である画像と、を識別する。
　文字表示領域４１ｎ１には、外部作業者や操作者の音声が文字に変換された文字情報や、ショベルＰＳ、サーバ２２、携帯通信端末２３が画像を送信した際のログの文字情報４２１，４２２が表示される。
　タブ領域４１ｎ２には、送信された画像のカテゴリごとのタブ４２３が設けられている。図６に示す例では、カテゴリとして「施工図」、「撮像画像」、「作業量進捗グラフ」及び「天気予報」が示されている。タブ４２３には「施工図」「撮像画像」「作業量進捗グラフ」「天気予報」等が選択ボタンとして表示される。ここで、操作者が「施工図」を画面タッチ等の操作により選択すると、後述する図７に示す施工図が画像表示領域４１ｎ３に表示される。操作者が「撮像画像」「作業量進捗グラフ」「天気予報」を選択した場合も、対応する画面へ切り替わる。また、カテゴリ内に複数枚の画像が存在する場合には、枚数表示部４２４にその枚数が表示される。また、操作者がタブ４２３の一つを選択することにより、情報表示領域４１ｎにタブ４２３に対応したカテゴリの画像が一覧表示されてもよい。
　例えば、サーバ２２がショベルＰＳに施工計画図を２枚送信した場合、文字表示領域４１ｎ１には、送信した旨の文字情報４２２が表示される。また、タブ領域４１ｎ２において、対応するタブ４２３の一つに強調表示４２５（なお、図６では、太線の一点鎖線で示す。）が付される。また、文字表示領域４１ｎ１には、文字情報４２２が新着のメッセージであることを示す新着表示４２６が付される。
　このように、本実施形態に係るショベルＰＳは、文字表示領域４１ｎ１に表示される文字情報のログが長くなっても、必要な画像を容易に表示させることができる。また、画像はカテゴリ分けされており、例えば、施工図のように作業に併せて何度も開く画像と、撮像画像のように一度参照してその後は開く可能性が低い画像と、で別々に管理される。これにより、送信された画像の枚数が増えても、操作者は、例えば、多数の画像の中から施工図を探すといった作業を行う必要がなく、画像を閲覧する際の作業性が向上する。
　次に、図７を参照して、表示装置４０の画像表示部４１の更に別の構成例について説明する。図７は、表示装置４０の画像表示部４１の更に別の構成例を示す図である。
　図７に示す構成では、情報表示領域４１ｎは、文字情報４３１を表示する文字表示領域４１ｎ１と、地図や施工図等の画像４３２を表示する画像表示領域４１ｎ３と、を有している。
　画像表示領域４１ｎ３には、例えば、地図や施工図等の画像４３２が常時表示される。また、画像表示領域４１ｎ３には、枚数表示４３３が表示される。枚数表示４３３は、例えば、受信した施工図２枚のうち１枚目が表示されていることを示す。
　このように、本実施形態に係るショベルＰＳは、画像表示領域４１ｎ３に地図や施工図等の画像４３２を常時表示させることができる。これにより、操作者は、作業をする際、地図や施工図を表示させるための操作を行う必要がなく、作業性を向上させることができる。
　次に、図８を参照して、表示装置４０の画像表示部４１の更に別の構成例について説明する。図８は、表示装置４０の画像表示部４１の更に別の構成例を示す図である。
　図８に示す構成では、情報表示領域４１ｎは、文字情報４４１，４４２を時系列に表示する文字表示領域４１ｎ１と、地図や施工図等の画像４３２を表示する画像表示領域４１ｎ３と、を有している。
　文字表示領域４１ｎ１には、サーバ２２が送信した際のログの文字情報４４１が表示される。例えば、サーバ２２が送信した天候情報が文字情報４４１として表示される。また、文字表示領域４１ｎ１には、ショベルＰＳ本体による判断結果が文字情報４４２として表示される。
　例えば、コントローラ３０は、ショベルＰＳの累積稼働時間に基づいて、定期メンテナンスの時期が来たか否かを判定する。定期メンテナンスの時期が来た場合、図８に示すように、その旨の文字情報４４２が文字表示領域４１ｎ１に表示される。
　また、コントローラ３０は、ショベルＰＳに設けられた各種センサの各種データに基づいて、ショベルＰＳがオーバーヒート等の警告する状態であるか否かを判定する。警告をする状態であると判定した場合、その旨の文字情報が文字表示領域４１ｎ１に表示される。
　また、コントローラ３０は、ショベルＰＳの連続作業時間に基づいて、連続作業時間が所定時間を超えたか否かを判定する。連続稼働時間が所定時間を超えた場合、操作者に休憩を促す旨の文字情報が文字表示領域４１ｎ１に表示される。
　また、コントローラ３０は、サーバ２２が送信した天候情報に基づいて、天候の変化を判定する。天候が変化する場合、その旨の文字情報が文字表示領域４１ｎ１に表示される。
　なお、ショベル本体による判断結果が文字情報として文字表示領域４１ｎ１に表示されるものとして説明したが、これに限られるものではなく、アイコン等の画像として情報表示領域４１ｎに表示する構成であってもよい。
　このように、本実施形態に係るショベルＰＳは、情報表示領域４１ｎにショベルＰＳ（コントローラ３０）による判断結果を表示させることができる。これにより、操作者は、ショベルＰＳ（コントローラ３０）による判断結果を容易に認識することができる。
　次に、図９を参照して、ショベルＰＳの駆動制御系の別の構成例について説明する。図９は、ショベルＰＳの駆動制御系の別の構成例を示す図である。
　図９に示すように、ショベルＰＳは、表示装置４０に加えて、第２の表示装置１４０を備えていてもよい。その他の構成は図２に示す構成と同様であり、重複する説明を省略する。
　第２の表示装置１４０は、ショベルＰＳ内（例えば、キャビン１０の内部）に配置されていてもよく、ショベルＰＳの外にいる作業者が携帯していてもよい。第２の表示装置１４０は、有線（例えば、ＣＡＮ、ＬＩＮ等の通信ネットワーク、専用線等）、近距離無線、または、通信ネットワーク２００を介してコントローラ３０に通信可能に接続される。また、第２の表示装置１４０は、蓄電池７０から電力の供給を受けて動作してもよく、内臓バッテリで動作してもよい。
　次に、図１０を参照して、第２の表示装置１４０の画像表示部１４１の構成例について説明する。図１０は、第２の表示装置１４０の画像表示部１４１の構成例を示す図である。
　図１０に示す構成では、情報表示領域１４１ｎは、文字情報４５１～４５３を時系列に表示する文字表示領域１４１ｎ１と、地図や施工図等の画像４５４を表示する画像表示領域１４１ｎ３と、を有している。
　文字表示領域１４１ｎ１には、ショベルＰＳ本体による判断結果が文字情報４５１～４５３として表示される。
　例えば、コントローラ３０は、ショベルＰＳに設けられた各種センサの各種データに基づいて、アタッチメントの負荷が所定値以上であるか否かを判定する。アタッチメントの負荷が所定値以上である場合、アタッチメントの負荷が増大した旨の文字情報４５１が文字表示領域１４１ｎ１に表示される。
　また、コントローラ３０は、例えば、現在の時刻、施工図、ショベルＰＳの作業履歴等に基づいて、作業の進捗を判定する。作業の進捗が予定よりも遅れている場合、作業の進捗が予定よりも遅れている旨の文字情報４５２が文字表示領域１４１ｎ１に表示される。
　また、ダンプトラック（図示せず）は、ダンプトラックの情報（例えば、位置情報）を通信ネットワーク２００を介して管理装置としてのサーバ２２に送信する。サーバ２２からダンプトラックの位置情報が通信ネットワーク２００を介してショベルＰＳのコントローラ３０に入力される。コントローラ３０は、ダンプトラックの位置情報に基づいて、ダンプトラックの到着予定時間を推定する。推定したダンプトラックの到着予定時間を示す文字情報４５３が文字表示領域１４１ｎ１に表示される。
　画像表示領域１４１ｎ３には、例えば、地図や施工図等の画像４５４が常時表示される。画像４５４には、本日の施工領域（施工目標）４５５が表示される。また、ショベルＰＳの作業履歴に基づいて、施工が完了した領域（実績完了領域）４５６が表示される。なお、図１０においては、実績完了領域４５６をハッチングで図示している。日時表示領域１４１ａは、現在の日時を表示する領域である。コントローラ３０は、現在の時刻、施工目標４５５、ショベルＰＳの作業履歴等に基づいて、現時刻における施工予定を推定する。画像表示領域１４１ｎ３には、現時刻における施工予定４５７が表示される。なお、図１０においては、現時刻における施工予定４５７を一点鎖線で図示している。また、画像表示領域１４１ｎ３には、枚数表示４５８が表示される。枚数表示４３３は、例えば、受信した施工図２枚のうち１枚目が表示されていることを示す。
　このように、本実施形態に係るショベルＰＳは、情報表示領域４１ｎに施工目標４５５、実績完了領域４５６、現時刻における施工予定４５７を表示させることができる。これにより、ショベルＰＳの操作者やショベルＰＳ外の作業者は、作業の進捗を容易に認識することができる。また、本実施形態に係るショベルＰＳは、情報表示領域１４１ｎにショベルＰＳ（コントローラ３０）による判断結果を表示させることができる。これにより、操作者は、ショベルＰＳ（コントローラ３０）による判断結果を容易に認識することができる。
　以上、本発明を実施するための形態について説明したが、上記内容は、発明の内容を限定するものではなく、本発明の範囲内で種々の変形及び改良が可能である。
　図４、図５では、外部作業者が撮影した画像を表示する事例を示したが、必ずしもこれに限られない。例えば、他のショベル等の建設機械に備えられた撮像装置により撮影された画像を表示してもよい。この場合、他のショベルの制御部において、ショベルの形状と人の形状、更には、それらの位置関係を判断して、ショベルＰＳへ画像と判断結果を送信する。このようにショベルＰＳの本体の撮像装置の画像だけでなく、他のショベルにおいて撮影された画像によりショベルＰＳの操作者は、ショベルＰＳの上において作業員が作業していることを把握することができる。また、他の建設機械による撮像画像を利用するだけでなく、作業現場に設置された定点カメラの画像を表示部に表示するようにしてもよい。
　図３～図８に示す画面は、表示装置４０に表示される場合を例に説明したが、これに限られるものではななく、第２の表示装置１４０、携帯通信端末２３に表示される構成であってもよい。また、図１０に示す画面は、第２の表示装置１４０に表示される場合を例に説明したが、これに限られるものではななく、表示装置４０、携帯通信端末２３に表示される構成であってもよい。
　マイクスイッチ９２を操作することにより、音声入力を受け付けるものとして説明したが、これに限られるものではない。例えば、音声文字変換部２３４，３０２は、所定の開始ワードを検知した場合、開始ワード以降の音声を入力として用いてもよい。
　本実施形態では、ショベルＰＳまたは携帯通信端末２３からサーバ２２に文字情報を送信する前に、文字情報を他言語翻訳部２３５，３０３で翻訳して、翻訳した文字情報を送信するものとして説明したが、これに限られるものではない。ショベルＰＳまたは携帯通信端末２３からサーバ２２に文字情報を送信し、サーバ２２から受信した文字情報を他言語翻訳部２３５，３０３で翻訳し、翻訳した文字情報を表示するようにしてもよい。
　また、画像表示部４１の情報表示領域４１ｎ、文字表示領域４１ｎ１、タブ領域４１ｎ２に表示される表示内容を、携帯通信端末２３やサーバ２２の表示画面と同期表示させてもよい。この場合、外部作業者や管理者が、ショベルの操作者が視認している内容を確認することができる。このため、操作者との意思疎通を確実に行うことができる。
　また、本実施形態では、ショベルＰＳと携帯通信端末２３は、サーバ２２を介して通信するものとして説明したが、これに限られるものではなく、例えば、ショベルＰＳと携帯通信端末２３で直接通信してもよい。
　尚、本願は、２０１８年１０月１７日に出願した日本国特許出願２０１８－１９５８０５号に基づく優先権を主張するものであり、これらの日本国特許出願の全内容を本願に参照により援用する。
１０　　　キャビン
２１　　　基地局
２２　　　サーバ
２３　　　携帯通信端末（外部端末）
３０　　　コントローラ
４０，１４０　　　表示装置（ショベルの表示装置）
４１　　　画像表示部（表示部）
４１ｎ　　情報表示領域
４１ｎ１　文字表示領域
４１ｎ２　タブ領域
４１ｎ３　画像表示領域
９０Ｉ　　内部マイク（音声取得部）
９２　　　マイクスイッチ
２００　　通信ネットワーク
２３１　　表示部
２３２　　表示画面生成部
２３３　　音声入力部
２３４　　音声文字変換部
２３５　　他言語翻訳部
２３６　　撮像部
２３７　　通信部
３００　　情報伝達システム
３０１　　表示画面生成部
３０２　　音声文字変換部
３０３　　他言語翻訳部
ＰＳ　　　ショベル
Ｔ１　　　通信装置（通信部）

Claims (10)

  1. 　通信部と、表示部と、キャビン内の音声を取得する音声取得部と、前記音声取得部で取得した音声を文字情報に変換する音声文字変換部と、を備え、
    　前記表示部は、
    　前記通信部で取得した外部端末から送信された送信情報と、
    　前記音声文字変換部で変換された文字情報と、を時系列で表示する、
    ショベルの表示装置。
  2. 　前記送信情報には、
    　文字情報、地図、施工図、撮像画像のうち少なくとも一つが含まれる、
    請求項１に記載のショベルの表示装置。
  3. 　前記音声取得部による音声の取得と停止を切り替える切替部を備える、
    請求項１に記載のショベルの表示装置。
  4. 　前記音声文字変換部で変換された文字情報を他言語の文字情報に翻訳する他言語翻訳部を備える、
    請求項１に記載のショベルの表示装置。
  5. 　前記音声取得部で取得した音声内容を識別する音声内容識別部を更に備え、
    　前記表示部は、
    　前記音声内容識別部の識別結果に基づいて、前記表示部の表示画像を切り替える、
    請求項１に記載のショベルの表示装置。
  6. 　前記送信情報から文字情報と文字情報以外の画像情報とを識別して、前記画像情報に対応するタブを前記表示部に表示する、
    請求項１に記載のショベルの表示装置。
  7. 　前記表示部は、
    　地図または施工図を常時表示する表示領域を有する、
    請求項１に記載のショベルの表示装置。
  8. 　通信部と、表示部と、を備え、
    　前記表示部は、
    　前記通信部で取得した外部端末から送信された送信情報と、
    　ショベルの制御部にて判断された判断結果を文字情報として時系列で表示する、
    ショベルの表示装置。
  9. 　前記時系列で表示される文字情報には、他のショベルの制御部にて判断された判断結果も含まれる、
    請求項８に記載のショベルの表示装置。
  10. 　前記時系列で表示される文字情報には、管理装置から送信されるダンプ情報も含まれる、
    請求項８に記載のショベルの表示装置。
PCT/JP2019/040999 2018-10-17 2019-10-17 ショベルの表示装置 WO2020080501A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020553320A JP7537834B2 (ja) 2018-10-17 2019-10-17 ショベルの表示装置及び情報伝達システム
CN201980068406.4A CN112888824A (zh) 2018-10-17 2019-10-17 挖土机的显示装置
US17/231,186 US20210230840A1 (en) 2018-10-17 2021-04-15 Display device for excavator

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-195805 2018-10-17
JP2018195805 2018-10-17

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/231,186 Continuation US20210230840A1 (en) 2018-10-17 2021-04-15 Display device for excavator

Publications (1)

Publication Number Publication Date
WO2020080501A1 true WO2020080501A1 (ja) 2020-04-23

Family

ID=70283990

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/040999 WO2020080501A1 (ja) 2018-10-17 2019-10-17 ショベルの表示装置

Country Status (4)

Country Link
US (1) US20210230840A1 (ja)
JP (1) JP7537834B2 (ja)
CN (1) CN112888824A (ja)
WO (1) WO2020080501A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023044512A (ja) * 2021-09-17 2023-03-30 住友重機械工業株式会社 情報交換システム、及び作業機械
WO2023189216A1 (ja) * 2022-03-31 2023-10-05 日立建機株式会社 作業支援システム
JP7526593B2 (ja) 2020-06-08 2024-08-01 前田建設工業株式会社 コミュニケーションシステム、コミュニケーション方法、及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011087188A (ja) * 2009-10-16 2011-04-28 Nec Corp 携帯端末装置および音声録音方法ならびにプログラム
JP4990309B2 (ja) * 2009-02-20 2012-08-01 株式会社小松製作所 作業機械の表示装置
JP2013044226A (ja) * 2011-08-22 2013-03-04 Deere & Co 立入禁止区域を有する埋設された公共施設のデータ
JP5389858B2 (ja) * 2011-05-12 2014-01-15 株式会社小松製作所 建設機械の管理装置
JP6084613B2 (ja) * 2012-07-19 2017-02-22 住友建機株式会社 ショベル
JP2018044311A (ja) * 2016-09-13 2018-03-22 日立建機株式会社 油圧ショベルの作業効率指標表示システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60043259D1 (de) * 1999-03-17 2009-12-17 Komatsu Mfg Co Ltd Kommunikationsanordnung einer mobilen einheit
JP4846131B2 (ja) 2001-07-24 2011-12-28 株式会社小松製作所 移動体の管理装置
DE10147777B4 (de) * 2001-09-27 2005-06-23 Rheinmetall Landsysteme Gmbh Vorrichtung zur Erhöhung der Standsicherheit bei mobilen Krananlagen
JP2005163470A (ja) 2003-12-05 2005-06-23 Komatsu Ltd 作業機械の表示装置
JP6911018B2 (ja) * 2016-05-17 2021-07-28 住友重機械工業株式会社 ショベル
CN106384477B (zh) * 2016-11-29 2019-06-14 长沙海川自动化设备有限公司 塔机防台风监测系统及监测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4990309B2 (ja) * 2009-02-20 2012-08-01 株式会社小松製作所 作業機械の表示装置
JP2011087188A (ja) * 2009-10-16 2011-04-28 Nec Corp 携帯端末装置および音声録音方法ならびにプログラム
JP5389858B2 (ja) * 2011-05-12 2014-01-15 株式会社小松製作所 建設機械の管理装置
JP2013044226A (ja) * 2011-08-22 2013-03-04 Deere & Co 立入禁止区域を有する埋設された公共施設のデータ
JP6084613B2 (ja) * 2012-07-19 2017-02-22 住友建機株式会社 ショベル
JP2018044311A (ja) * 2016-09-13 2018-03-22 日立建機株式会社 油圧ショベルの作業効率指標表示システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7526593B2 (ja) 2020-06-08 2024-08-01 前田建設工業株式会社 コミュニケーションシステム、コミュニケーション方法、及びプログラム
JP2023044512A (ja) * 2021-09-17 2023-03-30 住友重機械工業株式会社 情報交換システム、及び作業機械
JP7618940B2 (ja) 2021-09-17 2025-01-22 住友重機械工業株式会社 情報交換システム、及び作業機械
WO2023189216A1 (ja) * 2022-03-31 2023-10-05 日立建機株式会社 作業支援システム

Also Published As

Publication number Publication date
JP7537834B2 (ja) 2024-08-21
JPWO2020080501A1 (ja) 2021-09-24
CN112888824A (zh) 2021-06-01
US20210230840A1 (en) 2021-07-29

Similar Documents

Publication Publication Date Title
CN104395536B (zh) 挖土机
US12180685B2 (en) Shovel, shovel management device, shovel management system, shovel supporting device
JP7537834B2 (ja) ショベルの表示装置及び情報伝達システム
WO2017047654A1 (ja) ショベル
WO2018062363A1 (ja) ショベル
US11566401B2 (en) Shovel and assist device to work together with shovel
JP6975223B2 (ja) ショベル、ショベルの制御方法及び携帯情報端末
KR20220050090A (ko) 쇼벨, 쇼벨진단시스템
US20220205224A1 (en) Excavator and management apparatus for excavator
US12110663B2 (en) Shovel
JP7206052B2 (ja) ショベル
JP2019167754A (ja) ショベル
JP2024088053A (ja) ショベル
KR20240168294A (ko) 쇼벨
JP2023151686A (ja) ショベル
JP2025104884A (ja) ショベル、及びショベルの制御システム
JP2019007308A (ja) ショベル、並びに、ショベルの管理装置及び支援装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19873154

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020553320

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19873154

Country of ref document: EP

Kind code of ref document: A1