[go: up one dir, main page]

WO2022153788A1 - Ａｒ操船システム、及びａｒ操船方法 - Google Patents

Ａｒ操船システム、及びａｒ操船方法 Download PDF

Info

Publication number
WO2022153788A1
WO2022153788A1 PCT/JP2021/046709 JP2021046709W WO2022153788A1 WO 2022153788 A1 WO2022153788 A1 WO 2022153788A1 JP 2021046709 W JP2021046709 W JP 2021046709W WO 2022153788 A1 WO2022153788 A1 WO 2022153788A1
Authority
WO
WIPO (PCT)
Prior art keywords
navigation
unit
ship
ship maneuvering
target
Prior art date
Application number
PCT/JP2021/046709
Other languages
English (en)
French (fr)
Inventor
智志 安達
英介 関根
克宏 鈴木
浩史 厚見
大助 松本
Original Assignee
古野電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 古野電気株式会社 filed Critical 古野電気株式会社
Publication of WO2022153788A1 publication Critical patent/WO2022153788A1/ja
Priority to US18/351,330 priority Critical patent/US20230359199A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0875—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted to water vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G3/00—Traffic control systems for marine craft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B49/00—Arrangements of nautical instruments or navigational aids
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63H—MARINE PROPULSION OR STEERING
    • B63H25/00—Steering; Slowing-down otherwise than by use of propulsive elements; Dynamic anchoring, i.e. positioning vessels by means of main or auxiliary propulsive elements

Definitions

  • the present invention relates to an AR ship maneuvering system and an AR ship maneuvering method.
  • a marine environment display device that receives the position of an object on the ocean and displays an object indicator as an AR (Augmented Reality) image on an image captured by a camera is disclosed.
  • the present invention has been made in view of the above problems, and its main purpose is to provide a new method of maneuvering a navigation body and to make it easier to set a target position or attitude more intuitively.
  • the purpose is to provide an AR ship maneuvering system and an AR ship maneuvering method.
  • the AR ship maneuvering system includes a generation unit that generates an image including a navigation object representing a navigation body in a region corresponding to a viewpoint position and a line-of-sight direction, and the navigation body.
  • a display unit that superimposes and displays an image including an object on the outer view of a region corresponding to the viewpoint position and the line-of-sight direction, a detection unit that detects an operation on the displayed navigation object, and navigation of the navigation body. It is provided with a navigation unit that executes an operation according to an operation on the navigation object.
  • a determination unit that determines a target value for the navigation unit based on the position or orientation of the navigation object after operation may be further provided.
  • the navigation unit is an automatic steering device included in the navigation body, and the target value may be a target direction or a target steering angle with respect to the automatic steering device.
  • the navigation unit is an engine control device included in the navigation body, and the target value may be a target output or a target speed with respect to the engine control device.
  • the navigation unit may be a plotter included in the navigation body, and the target value may be a set route or waypoint for the plotter.
  • a setting unit for setting an allowable operation range of the navigation object based on the performance of the navigation body or the navigation area information may be further provided.
  • the acquisition unit for acquiring information related to the navigation of the navigation body and the calculation unit for calculating the predicted position of the navigation body after a lapse of a predetermined time based on the information related to the navigation are further provided.
  • the generation unit may generate an image including a navigation object representing the navigation at a position corresponding to the predicted position.
  • the information related to the navigation may be information indicating the ship speed, the rudder angle, or the shipowner's direction of the navigation body.
  • the information related to the navigation may be a set route or a waypoint of the navigation body.
  • the display unit is a head-mounted display
  • the generation unit sets a viewpoint position and a line-of-sight direction according to the position and orientation of the head-mounted display, and arranges the display unit at a position corresponding to a virtual three-dimensional space.
  • An image including the navigation object may be generated by rendering the navigation object.
  • the AR ship maneuvering method of another aspect of the present invention generates an image including a navigation object representing a navigation object in a region corresponding to a viewpoint position and a line-of-sight direction, and the image including the navigation object is the viewpoint. It is superimposed on the outside view of the area corresponding to the position and the line-of-sight direction, detects the operation on the displayed navigation object, is used for navigation of the navigation object, and executes the operation corresponding to the operation on the navigation object. do.
  • FIG. 1 It is a block diagram which shows the configuration example of the information display system which concerns on embodiment. It is a figure which shows the appearance example of a head-mounted display. It is a block diagram which shows the configuration example of a head-mounted display. It is a block diagram which shows the structural example of the image generation apparatus which concerns on embodiment. It is a flow chart which shows the procedure example of the information display method which concerns on embodiment. It is a flow chart following FIG. It is a figure which shows the example of the virtual three-dimensional space. It is a figure which shows the example of the image displayed on the head-mounted display. It is a figure which shows the example of the operation with respect to a ship object. It is a figure which shows the example of the operation with respect to a ship object. It is a figure which shows the example of the movement allowable range.
  • FIG. 1 is a block diagram showing a configuration example of the information display system 100 according to the embodiment.
  • the information display system 100 is mounted on a ship, for example.
  • a ship is an example of a navigator.
  • the navigation body may be an aircraft, a vehicle, or the like.
  • the information display system 100 includes an image generator 1, a radar device 3, a fish finder 4, a plotter device 5, a navigation instrument 6, an automatic steering device 7, a bow orientation sensor 8, an engine control device 9, and the like. These devices are connected to a network N such as CAN (Controller Area Network) or LAN (Local Area Network), and can communicate with each other via a network.
  • a network N such as CAN (Controller Area Network) or LAN (Local Area Network)
  • the information display system 100 further includes a head-mounted display 2 (hereinafter referred to as HMD2) mounted on the head of the user M.
  • the HMD 2 is an example of a display unit, which wirelessly communicates with the image generation device 1 and displays an image received from the image generation device 1.
  • the radar device 3 emits microwaves by an antenna, receives the reflected waves, and generates radar information based on the received signal. Radar information includes the distance and orientation of targets present around the vessel.
  • the fish finder 4 emits ultrasonic waves into the water by an ultrasonic vibrator installed on the bottom of the ship, receives the reflected waves, and generates underwater detection information based on the received signal.
  • Underwater detection information includes information on underwater fish schools and the seabed.
  • the plotter device 5 plots the current location of the ship calculated based on the radio waves received from the GNSS (Global Navigation Satellite System) on a chart (nautical chart).
  • GNSS Global Navigation Satellite System
  • the plotter device 5 also functions as a navigation device and generates a set route to the destination.
  • the set route may include one or more waypoints.
  • the plotter device 5 transmits the target direction based on the set route to the automatic steering device 7.
  • the navigation instrument 6 is an instrument used for navigation such as a ship speed meter and a tide meter.
  • the bow direction sensor 8 is also a type of navigation instrument 6.
  • the automatic steering device 7 calculates a target steering angle based on the bow orientation acquired from the bow orientation sensor 8 and the target orientation acquired from the plotter device 5, and steers the steering so that the steering angle of the steering machine approaches the target steering angle. Drive the machine.
  • the bow direction sensor 8 is a GPS compass, a magnetic compass, or the like.
  • the engine control device 9 controls the electronic throttle, fuel injection device, ignition device, etc. of the ship's engine based on the accelerator operation amount.
  • the plotter device 5, the navigation instrument 6, the automatic steering device 7, and the bow orientation sensor 8 are examples of acquisition units that acquire information related to the navigation of the ship.
  • the information relating to the navigation of the ship may be information indicating the navigation state of the ship, or may be navigation information of the ship.
  • Information indicating the navigation state of the ship includes, for example, the own ship speed acquired by the speed meter of the navigation instrument 9, the tidal current acquired by the tidal current meter, the rudder angle acquired by the automatic steering device 7, and the bow acquired by the bow orientation sensor 8. There is an orientation, etc.
  • the navigation information of the ship includes, for example, a set route and waypoints acquired by the plotter device 5.
  • plotter device 5 the automatic steering device 7, and the engine control device 9 are examples of a navigation unit used for navigation of a ship.
  • FIG. 2 is a diagram showing an example of the appearance of HMD2.
  • FIG. 3 is a block diagram showing a configuration example of HMD2.
  • the HMD2 is a transmissive head-mounted display, and realizes mixed reality (MR) by superimposing an image on an external view visually recognized by a user.
  • MR mixed reality
  • the HMD2 includes a display 21 that projects an image onto a half mirror 26 arranged in front of the user's eyes.
  • the light of the outside view transmitted through the half mirror 26 and the light of the image projected on the half mirror 26 are superposed and incident on the user's eye.
  • the user can recognize the image three-dimensionally.
  • the HMD 2 includes a control unit 20, a display 21, a wireless communication unit 22, a position sensor 23, a posture sensor 24, and a gesture sensor 25.
  • the control unit 20 is a computer including a CPU, RAM, ROM, non-volatile memory, an input / output interface, and the like.
  • the control unit 20 may include a GPU for executing three-dimensional image processing at high speed.
  • the CPU executes information processing according to a program loaded into the RAM from the ROM or the non-volatile memory.
  • the wireless communication unit 22 provides wireless communication with an external image generator 1 or the like. Wireless communication is performed by, for example, wireless LAN or Bluetooth (registered trademark).
  • the control unit 20 may perform wired communication with an external image generation device 1 or the like.
  • the position sensor 23 detects the position of the HMD2 and supplies the position information to the control unit 20.
  • the position sensor 23 is, for example, a GNSS receiver.
  • the control unit 20 may acquire position information from an external plotter device 5 (see FIG. 1) or the like.
  • the posture sensor 24 detects the posture such as the direction and inclination of the HMD2 and supplies the posture information to the control unit 20.
  • the attitude sensor 24 is, for example, a gyro sensor.
  • an inertial measurement unit including a 3-axis acceleration sensor and a 3-axis gyro sensor is suitable.
  • the gesture sensor 25 detects the user's gesture and supplies the gesture information to the control unit 20.
  • the gesture sensor 25 is, for example, a camera (see FIG. 2) provided at the front of the HMD2 for capturing the movement of the user's hand.
  • FIG. 4 is a block diagram showing a configuration example of the image generation device 1 according to the embodiment.
  • the image generation device 1 includes a control unit 10.
  • the control unit 10 functionally includes a virtual space construction unit 11, a position / orientation calculation unit 12, an image generation unit 13, an operation detection unit 14, a range setting unit 15, and a target value determination unit 16.
  • the control unit 10 is a computer including a CPU, RAM, ROM, non-volatile memory, an input / output interface, and the like.
  • the control unit 10 may include a GPU for executing three-dimensional image processing at high speed.
  • the CPU executes information processing according to a program loaded from the ROM or the non-volatile memory into the RAM, so that the virtual space construction unit 11, the position / orientation calculation unit 12, the image generation unit 13, and the operation detection unit 14 , It functions as a range setting unit 15 and a target value determination unit 16.
  • the program may be supplied via an information storage medium such as an optical disk or a memory card, or may be supplied via a communication network such as the Internet.
  • control unit 10 determines the virtual space construction unit 11, the position / orientation calculation unit 12, the image generation unit 13, the operation detection unit 14, the range setting unit 15, and the target value. It functions as a unit 16.
  • FIG. 7 is a diagram showing an example of a virtual three-dimensional space 200 constructed by the virtual space construction unit 11 of the control unit 10.
  • the coordinate system of the virtual three-dimensional space 200 corresponds to the coordinate system of the real three-dimensional space.
  • FIGS 8 to 11 are diagrams showing an example of an image 300 generated by the image generation unit 13 of the control unit 10 and displayed by the HMD 2. These figures represent the user's field of view. That is, both the external view and the image 300 that the user visually recognizes are shown.
  • the control unit 10 acquires the position information and the posture information from the HMD2 (S11), and the viewpoint position of the virtual camera 201 in the virtual three-dimensional space 200 according to the position and the posture of the HMD2. And the line-of-sight direction are set (S12; processing as the virtual space construction unit 11).
  • control unit 10 changes the viewpoint position of the virtual camera 201 in the virtual three-dimensional space 200 according to the change in the position of the HMD2, and changes the viewpoint position in the virtual three-dimensional space 200 according to the change in the posture of the HMD2.
  • the line-of-sight direction of the virtual camera 201 is changed.
  • control unit 10 acquires information related to the navigation of the ship (S13), and calculates the predicted position and predicted posture of the ship after a lapse of a predetermined time based on the acquired information related to the navigation of the ship (S14). Processing as the position / orientation calculation unit 12). The calculation of the predicted attitude of the ship may be omitted.
  • the predicted position and predicted posture of the ship after the lapse of a predetermined time is calculated based on the navigation of the ship obtained from at least one of the plotter device 5, the navigation instrument 6, the automatic steering device 7, and the bow orientation sensor 8 (see FIG. 1). It is done based on such information.
  • information indicating the navigation state of a ship such as the own ship speed and tidal current acquired from the ship speed meter and the tidal current meter of the navigation instrument 9, the rudder angle acquired from the automatic steering device 7, and the bow direction acquired from the bow direction sensor 8. Based on this, the predicted position and predicted posture of the ship after the lapse of a predetermined time are calculated.
  • the predicted position and predicted posture of the ship after a lapse of a predetermined time may be calculated based on the navigation information of the ship such as the set route and the waypoint acquired from the plotter device 5.
  • the predetermined time is set as appropriate. For example, when a ship sails in the open ocean, the predicted position and attitude after a relatively long time (for example, 10 minutes) are calculated, and when the ship sails in a port area (especially when berthing), it is relatively short. It is preferable that the predicted position and the predicted posture after the lapse of time (for example, 1 minute) are calculated.
  • control unit 10 arranges the ship object 202 representing the ship in the virtual three-dimensional space 200 based on the calculated predicted position and predicted posture of the ship after the lapse of a predetermined time (S15; as the virtual space construction unit 11). Processing).
  • the ship object 202 is arranged at a position corresponding to the predicted position of the virtual three-dimensional space 200 in a posture corresponding to the predicted posture.
  • the ship object 202 has a three-dimensional shape that imitates a ship, and the direction of the bow and stern can be grasped at a glance.
  • the ship object 202 is arranged ahead of the line-of-sight direction of the virtual camera 201, and the bow faces the same direction as the line-of-sight direction of the virtual camera 201, that is, a direction away from the virtual camera 201.
  • a route object 203 representing a route on which a ship navigates is also arranged in the virtual three-dimensional space 200.
  • the route object 203 may, for example, connect a plurality of predicted positions calculated for each unit time in order, or may linearly connect the virtual camera 201 and the ship object 202.
  • the route object 203 may be generated based on a set route, a waypoint, or the like acquired from the plotter device 5 (see FIG. 1).
  • control unit 10 generates an image 300 by rendering a ship object 202 or the like arranged in the virtual three-dimensional space 200 based on the field of view of the virtual camera 201 (S16; processing as the image generation unit 13).
  • the generated image 300 is output to HMD2 (S17).
  • the image 300 generated in this way has a region corresponding to the viewpoint position and the line-of-sight direction of the HMD2 (or the virtual camera 201), and includes the ship object 202 at the position corresponding to the predicted position.
  • the image 300 displayed on the HMD2 includes the ship object 202 and the route object 203.
  • the ship object 202 and the route object 203 are superimposed on the external view visually recognized by the user.
  • the parts other than the ship object 202 and the route object 203 are transparent, and only the outside view is visible to the user.
  • the image 300 displayed on the HMD 2 includes the ship object 202 at a position corresponding to the predicted position of the ship after a lapse of a predetermined time in a posture corresponding to the predicted posture, and thus the future of the ship. It is easy to intuitively grasp the position and posture.
  • control unit 10 determines whether or not there has been an operation on the ship object 202 based on the gesture information acquired from the HMD2 (S18; processing as the operation detection unit 14).
  • the gesture information is moving image information of the user's hand movement taken by the gesture sensor 25 (see FIGS. 2 and 3), and the control unit 10 has a predetermined pattern of the user's hand movement. Detects the operation associated with a given pattern when is matched.
  • the selection of the object is detected.
  • the user's index finger and thumb pinch the object a change in the position of the object or a change in the posture is detected.
  • the position of the ship object 202 and the posture can be changed.
  • the operation on the ship object 202 is not limited to the gesture sensor 25, and may be detected by inputting coordinates from a pointing device or by inputting voice from a microphone. Further, the position of the ship object 202 before the operation may be any. That is, the ship object 202 to be operated may be displayed at a position corresponding to the above-mentioned predicted position, or may be a ship object 202 displayed at an arbitrary position.
  • the control unit 10 acquires the position and attitude of the ship object 202 after the operation (S21 in FIG. 6; processing as the virtual space construction unit 11).
  • the acquisition of the posture may be omitted.
  • control unit 10 determines the target value of the device (navigation unit) used for navigation of the ship based on the acquired position and attitude of the ship object 202 (S22; processing as the target value determination unit 16). ), The determined target value is output to the device (S23).
  • the device used for navigation of a ship uses the target value received from the image generation device 1 as a new target value, and executes a predetermined operation so as to realize the new target value.
  • the position and attitude of the ship object 202 after the operation in the virtual three-dimensional space 200 is reflected in the position and attitude of the ship in the real three-dimensional space.
  • the devices used for navigation of a ship are a plotter device 5, an automatic steering device 7, an engine control device 9 and the like (see FIG. 1), and in S22, at least one target value of these devices is determined.
  • the target value for the automatic steering device 7 is, for example, a target direction or a target steering angle. That is, the target direction or the target steering angle for the ship to move toward the position of the ship object 202 after the operation and to have the same attitude is determined.
  • the automatic steering device 7 feedback-controls the steering device so as to realize the received target direction or target steering angle.
  • the target orientation or target rudder angle for turning the bow to the right is determined, and the ship object 202 is the original.
  • the target orientation or target rudder angle for turning the bow to the left is determined.
  • the target value for the engine control device 9 is, for example, a target output or a target speed. That is, the target output or target speed for the ship to reach the position of the operated ship object 202 after the lapse of a predetermined time is determined.
  • the engine control device 9 feedback-controls the engine so as to realize the received target output or target speed.
  • a higher target output or target speed is determined, and when the ship object 202 moves backward than the original position, until then.
  • a lower target output or target speed is determined.
  • the target value for the plotter device 5 is, for example, to update the set route.
  • a waypoint may be added to the set route so that the ship passes through the position of the ship object 202 after operation, or the destination of the set route may be changed to arrive at that position.
  • the plotter device 5 provides the automatic steering device 7 with a target direction based on the updated set route.
  • the ship when the user operates the ship object 202 representing the future position and attitude of the ship, the ship operates so as to realize the position and attitude of the ship object 202 after the operation, so that the ship is intuitive. It is possible to provide various operations. In particular, since it is more difficult for a ship to move as expected than a vehicle or the like, an intuitive operation for designating the future position and posture of such a ship is useful.
  • such an operation can facilitate the berthing of a ship at a pier.
  • the automatic steering device 7 and the engine control device 9 execute feedback control so as to realize them. It is possible to berth the ship at a desired position on the pier in a desired posture.
  • control unit 10 When accepting an operation on the ship object 202 in S18, the control unit 10 sets a movement allowable range of the ship object 202 (processing as the range setting unit 15).
  • a movement allowable range PZ is set around the ship object 202, the movement operation of the ship object 202 within the movement allowable range PZ is permitted, and the ship object 202 outside the movement allowable range PZ is allowed. Move operation is not allowed.
  • the allowable movement range PZ is set based on the performance of the ship, such as the turning rate (ROT: Rate of Turn) of the ship or the size of the ship.
  • Information related to the performance of the ship is stored in advance in, for example, the memory of the control unit 10.
  • the movement allowable range PZ may be set based on the information of the navigation area such as the water depth or the navigation prohibited area.
  • Information on the navigation area can be extracted from, for example, chart information held by the plotter device 5.
  • the image generation device 1 and the HMD 2 are provided separately (see FIG. 1), but the present invention is not limited to this, and the function of the image generation device 1 may be incorporated into the HMD 2. That is, the virtual space construction unit 11, the position / orientation calculation unit 12, the image generation unit 13, the operation detection unit 14, the range setting unit 15, and the target value determination unit 16 (see FIG. 4) are the HMD2 control unit 20 (FIG. 3). See).
  • the image 300 is generated by rendering the ship object 202 arranged in the virtual three-dimensional space 200 based on the field of view of the virtual camera 201 (see FIGS. 7 and 8), but the virtual three-dimensional space. Rendering is not essential, and two-dimensional image processing may be performed such that the size of the image element of the ship object is changed according to the distance and included in the image 300.
  • the feedback control for realizing the target value determined based on the position and attitude of the ship object 202 after the operation is executed, but the present invention is not limited to this, and for example, the movement amount of the ship object 202 to the left and right is applied.
  • the steering angle may be changed accordingly (that is, the role equivalent to the steering wheel), or the engine output may be changed according to the amount of movement of the ship object 202 in the front-rear direction (that is, the role equivalent to the throttle lever).
  • the ship object 202 is superimposed on the external view visually recognized by the user (see FIG. 8 and the like), but the present invention is not limited to this.
  • a composite image in which the ship object 202 is combined with the outboard image obtained by taking a picture of the outboard state, a so-called AR (Augmented Reality) image may be displayed on a thin display such as a liquid crystal display.
  • the composite image has a region corresponding to the viewpoint position and the line-of-sight direction of the camera.
  • 1 image generator 2 head mount display (example of display unit), 3 radar device, 4 fish finder, 5 plotter device (example of acquisition unit, navigation unit), 6 navigation instrument (example of acquisition unit), 7 Automatic steering device (example of acquisition unit, navigation unit), 8 bow orientation sensor (example of acquisition unit), 9 engine control device (example of navigation unit), 10 control unit, 11 virtual space construction unit, 12 position and orientation Calculation unit, 13 image generation unit, 14 operation detection unit, 15 range setting unit, 16 target value determination unit, 20 control unit, 21 display, 22 wireless communication unit, 23 position sensor, 24 attitude sensor, 25 gesture sensor, 26 half Mirror, 100 information display system, 200 virtual three-dimensional space, 201 virtual camera, 202 ship object, 203 route object, 300 image

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Ocean & Marine Engineering (AREA)
  • Navigation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】航行体の新たな操船方法、また目標位置または姿勢の設定をより直感的に容易にすることができるＡＲ操船システムを提供する。 【解決手段】ＡＲ操船システムは、視点位置及び視線方向に対応する領域に航行体を表す航行体オブジェクトを含んだ画像を生成する生成部と、前記航行体オブジェクトを含んだ画像を前記視点位置及び視線方向に対応する領域の外景に重畳表示する表示部と、前記表示された前記航行体オブジェクトに対する操作を検出する検出部と、前記航行体の航行に用いられ、前記航行体オブジェクトに対する操作に応じた動作を実行する航用部と、を備える。

Description

ＡＲ操船システム、及びＡＲ操船方法
　本発明は、ＡＲ操船システム、及びＡＲ操船方法に関する。
　海洋上の物体の位置を受信し、カメラによりキャプチャされた画像上にＡＲ（Augmented Reality）画像としてオブジェクトインジケーターを表示する海洋環境表示装置が開示されている。
米国特許出願公開第２０１５／０３５０５５２号明細書 特開平６－３０１８９７号公報
　ところで、航行体の新たな操船方法を提供でき、また目標位置または姿勢の設定をより直感的に容易にすることができると便利である。
　本発明は、上記課題に鑑みてなされたものであり、その主な目的は、航行体の新たな操船方法を提供でき、また目標位置または姿勢の設定をより直感的に容易にすることができるＡＲ操船システム、及びＡＲ操船方法を提供することにある。
　上記課題を解決するため、本発明の一の態様のＡＲ操船システムは、視点位置及び視線方向に対応する領域に航行体を表す航行体オブジェクトを含んだ画像を生成する生成部と、前記航行体オブジェクトを含んだ画像を前記視点位置及び視線方向に対応する領域の外景に重畳表示する表示部と、前記表示された前記航行体オブジェクトに対する操作を検出する検出部と、前記航行体の航行に用いられ、前記航行体オブジェクトに対する操作に応じた動作を実行する航用部と、を備える。
　上記態様において、操作後の前記航行体オブジェクトの位置または姿勢に基づいて前記航用部に対する目標値を決定する決定部をさらに備えてもよい。
　上記態様において、前記航用部は、前記航行体が備える自動操舵装置であり、前記目標値は、前記自動操舵装置に対する目標方位または目標舵角であってもよい。
　上記態様において、前記航用部は、前記航行体が備えるエンジン制御装置であり、前記目標値は、前記エンジン制御装置に対する目標出力または目標速度であってもよい。
　上記態様において、前記航用部は、前記航行体が備えるプロッタであり、前記目標値は、前記プロッタに対する設定ルートまたはウェイポイントであってもよい。
　上記態様において、前記航行体の性能または航行領域情報に基づいて前記航行体オブジェクトの許容操作範囲を設定する設定部をさらに備えてもよい。
　上記態様において、前記航行体の航行に係る情報を取得する取得部と、前記航行に係る情報に基づいて、所定時間経過後の前記航行体の予測位置を算出する算出部とをさらに備え、前記生成部は、前記予測位置に対応する位置に前記航行体を表す航行体オブジェクトを含んだ画像を生成してもよい。
　上記態様において、前記航行に係る情報は、前記航行体の船速、舵角、または船主方位を表す情報であってもよい。
　上記態様において、前記航行に係る情報は、前記航行体の設定ルートまたはウェイポイントであってもよい。
　上記態様において、前記表示部は、ヘッドマウントディスプレイであり、前記生成部は、前記ヘッドマウントディスプレイの位置及び姿勢に応じて視点位置及び視線方向を設定し、仮想三次元空間に対応する位置に配置された前記航行体オブジェクトをレンダリングすることにより前記航行体オブジェクトを含んだ画像を生成してもよい。
　また、本発明の他の態様のＡＲ操船方法は、視点位置及び視線方向に対応する領域に航行体を表す航行体オブジェクトを含んだ画像を生成し、前記航行体オブジェクトを含んだ画像を前記視点位置及び視線方向に対応する領域の外景に重畳表示し、前記表示された前記航行体オブジェクトに対する操作を検出し、前記航行体の航行に用いられ、前記航行体オブジェクトに対する操作に応じた動作を実行する。
　本発明によれば、航行体の新たな操船方法を提供でき、また目標位置または姿勢の設定をより直感的に容易にすることができる。
実施形態に係る情報表示システムの構成例を示すブロック図である。 ヘッドマウントディスプレイの外観例を示す図である。 ヘッドマウントディスプレイの構成例を示すブロック図である。 実施形態に係る画像生成装置の構成例を示すブロック図である。 実施形態に係る情報表示方法の手順例を示すフロー図である。 図５に続くフロー図である。 仮想三次元空間の例を示す図である。 ヘッドマウントディスプレイに表示される画像の例を示す図である。 船舶オブジェクトに対する操作の例を示す図である。 船舶オブジェクトに対する操作の例を示す図である。 移動許容範囲の例を示す図である。
　以下、本発明の実施形態について、図面を参照しながら説明する。
　図１は、実施形態に係る情報表示システム１００の構成例を示すブロック図である。情報表示システム１００は、例えば船舶に搭載される。船舶は、航行体の一例である。航行体は、航空機又は車両等であってもよい。
　情報表示システム１００は、画像生成装置１、レーダー装置３、魚群探知機４、プロッタ装置５、航海計器６、自動操舵装置７、船首方位センサ８、及びエンジン制御装置９等を備えている。これらの機器は、例えばＣＡＮ（Controller Area Network）又はＬＡＮ（Local Area Network）等のネットワークＮに接続されており、相互にネットワーク通信が可能である。
　情報表示システム１００は、ユーザＭの頭部に装着されるヘッドマウントディスプレイ２（以下、ＨＭＤ２という）をさらに備えている。ＨＭＤ２は、表示部の一例であり、画像生成装置１と無線通信し、画像生成装置１から受信した画像を表示する。
　レーダー装置３は、アンテナによりマイクロ波を発射すると共にその反射波を受信し、受信信号に基づいてレーダー情報を生成する。レーダー情報は、船舶の周囲に存在するターゲットの距離と方位を含んでいる。
　魚群探知機４は、船底に設置された超音波振動子により水中に超音波を発射すると共にその反射波を受信し、受信信号に基づいて水中探知情報を生成する。水中探知情報は、水中の魚群や海底の情報を含んでいる。
　プロッタ装置５は、ＧＮＳＳ（Global Navigation Satellite System）から受信した電波に基づいて算出される船舶の現在地をチャート（海図）上にプロットする。
　また、プロッタ装置５は、航法装置としても機能し、目的地までの設定ルートを生成する。設定ルートは、１又は複数のウェイポイントを含んでもよい。プロッタ装置５は、設定ルートに基づく目標方位を自動操舵装置７に送信する。
　航海計器６は、例えば船速計や潮流計などの航海に用いられる計器である。また、船首方位センサ８も航海計器６の一種である。
　自動操舵装置７は、船首方位センサ８から取得した船首方位と、プロッタ装置５から取得した目標方位とに基づいて目標舵角を算出し、操舵機の舵角が目標舵角に近付くように操舵機を駆動する。船首方位センサ８は、ＧＰＳコンパス又は磁気コンパス等である。
　エンジン制御装置９は、アクセル操作量に基づいて船舶のエンジンの電子スロットル、燃料噴射装置及び点火装置等を制御する。
　プロッタ装置５、航海計器６、自動操舵装置７、及び船首方位センサ８は、船舶の航行に係る情報を取得する取得部の一例である。船舶の航行に係る情報は、船舶の航行状態を表す情報であってもよいし、船舶の航法情報であってもよい。
　船舶の航行状態を表す情報としては、例えば航海計器９の船速計が取得する自船速や潮流計が取得する潮流、自動操舵装置７が取得する舵角、船首方位センサ８が取得する船首方位等がある。
　船舶の航法情報としては、例えばプロッタ装置５が取得する設定ルートやウェイポイント等がある。
　また、プロッタ装置５、自動操舵装置７、及びエンジン制御装置９は、船舶の航行に用いられる航用部の一例である。
　図２は、ＨＭＤ２の外観例を示す図である。図３は、ＨＭＤ２の構成例を示すブロック図である。ＨＭＤ２は、透過型ヘッドマウントディスプレイであり、ユーザが視認する外景に画像を重畳させることによって複合現実（ＭＲ：Mixed Reality）を実現する。
　図２に示すように、ＨＭＤ２は、ユーザの眼前に配置されるハーフミラー２６に画像を投影するディスプレイ２１を備えている。ユーザの眼には、ハーフミラー２６を透過する外景の光と、ハーフミラー２６に投影された画像の光とが重畳して入射する。左眼に見える画像と右眼に見える画像とに視差を持たせることにより、ユーザは画像を三次元的に認識しうる。
　図３に示すように、ＨＭＤ２は、制御部２０、ディスプレイ２１、無線通信部２２、位置センサ２３、姿勢センサ２４、及びジェスチャセンサ２５を備えている。
　制御部２０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、不揮発性メモリ及び入出力インターフェース等を含むコンピュータである。制御部２０は、三次元画像処理を高速で実行するためのＧＰＵを備えてもよい。制御部２０において、ＣＰＵは、ＲＯＭ又は不揮発性メモリからＲＡＭにロードされたプログラムに従って情報処理を実行する。
　無線通信部２２は、外部の画像生成装置１等との無線通信を提供する。無線通信は、例えば無線ＬＡＮ又はBluetooth（登録商標）等による。なお、制御部２０は、外部の画像生成装置１等と有線通信してもよい。
　位置センサ２３は、ＨＭＤ２の位置を検出し、位置情報を制御部２０に供給する。位置センサ２３は、例えばＧＮＳＳ受信機である。なお、制御部２０は、外部のプロッタ装置５（図１参照）等から位置情報を取得してもよい。
　姿勢センサ２４は、ＨＭＤ２の向きや傾き等の姿勢を検出し、姿勢情報を制御部２０に供給する。姿勢センサ２４は、例えばジャイロセンサである。特には、３軸加速度センサ及び３軸ジャイロセンサを含む慣性計測ユニットが好適である。
　ジェスチャセンサ２５は、ユーザのジェスチャーを検出し、ジェスチャー情報を制御部２０に供給する。ジェスチャセンサ２５は、例えばＨＭＤ２の前部に設けられた、ユーザの手の動作を撮影するカメラ（図２参照）である。
　図４は、実施形態に係る画像生成装置１の構成例を示すブロック図である。画像生成装置１は、制御部１０を備えている。制御部１０は、仮想空間構築部１１、位置姿勢算出部１２、画像生成部１３、操作検出部１４、範囲設定部１５、及び目標値決定部１６を機能的に備えている。
　制御部１０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、不揮発性メモリ及び入出力インターフェース等を含むコンピュータである。制御部１０は、三次元画像処理を高速で実行するためのＧＰＵを備えてもよい。
　制御部１０において、ＣＰＵは、ＲＯＭ又は不揮発性メモリからＲＡＭにロードされたプログラムに従って情報処理を実行することにより、仮想空間構築部１１、位置姿勢算出部１２、画像生成部１３、操作検出部１４、範囲設定部１５、及び目標値決定部１６として機能する。
　プログラムは、光ディスク又はメモリカード等の情報記憶媒体を介して供給されてもよいし、インターネット等の通信ネットワークを介して供給されてもよい。
　図５及び図６は、画像生成装置１の制御部１０により実現される、実施形態に係る情報表示方法の手順例を示すフロー図である。制御部１０は、これらの図に示す処理をプログラムに従って実行することで、仮想空間構築部１１、位置姿勢算出部１２、画像生成部１３、操作検出部１４、範囲設定部１５、及び目標値決定部１６として機能する。
　図７は、制御部１０の仮想空間構築部１１により構築される仮想三次元空間２００の例を示す図である。仮想三次元空間２００の座標系は、実三次元空間の座標系と対応している。
　図８～図１１は、制御部１０の画像生成部１３により生成され、ＨＭＤ２で表示される画像３００の例を示す図である。これらの図では、ユーザの視界を表現している。すなわち、ユーザが視認する外景と画像３００の両方を示している。
　図５に示すように、まず、制御部１０は、ＨＭＤ２から位置情報及び姿勢情報を取得し（Ｓ１１）、ＨＭＤ２の位置及び姿勢に応じて、仮想三次元空間２００内の仮想カメラ２０１の視点位置及び視線方向を設定する（Ｓ１２；仮想空間構築部１１としての処理）。
　具体的には、制御部１０は、ＨＭＤ２の位置の変化に合わせて仮想三次元空間２００内の仮想カメラ２０１の視点位置を変化させ、ＨＭＤ２の姿勢の変化に合わせて仮想三次元空間２００内の仮想カメラ２０１の視線方向を変化させる。
　次に、制御部１０は、船舶の航行に係る情報を取得し（Ｓ１３）、取得した船舶の航行に係る情報に基づいて、所定時間経過後の船舶の予測位置及び予測姿勢を算出する（Ｓ１４；位置姿勢算出部１２としての処理）。なお、船舶の予測姿勢の算出は省略されてもよい。
　所定時間経過後の船舶の予測位置及び予測姿勢の算出は、プロッタ装置５、航海計器６、自動操舵装置７、及び船首方位センサ８（図１参照）の少なくとも１つから取得した船舶の航行に係る情報に基づいて行われる。
　例えば、航海計器９の船速計や潮流計から取得した自船速や潮流、自動操舵装置７から取得した舵角、船首方位センサ８から取得した船首方位等の船舶の航行状態を表す情報に基づいて、所定時間経過後の船舶の予測位置及び予測姿勢が算出される。
　また、プロッタ装置５から取得した設定ルートやウェイポイント等の船舶の航法情報に基づいて、所定時間経過後の船舶の予測位置及び予測姿勢が算出されてもよい。
　所定時間は、適宜設定される。例えば船舶が外洋を航行する際には比較的長い時間（例えば１０分）経過後の予測位置及び予測姿勢が算出され、例えば船舶が港湾区域を航行する際（特に着岸時）には比較的短い時間（例えば１分）経過後の予測位置及び予測姿勢が算出されることが好ましい。
　次に、制御部１０は、算出した所定時間経過後の船舶の予測位置及び予測姿勢に基づいて、仮想三次元空間２００に船舶を表す船舶オブジェクト２０２を配置する（Ｓ１５；仮想空間構築部１１としての処理）。
　船舶オブジェクト２０２は、仮想三次元空間２００の予測位置に対応する位置に予測姿勢に対応する姿勢で配置される。船舶オブジェクト２０２は、船舶を模した立体的な形状を有しており、船首や船尾の方向を一見して把握することができる。
　図７の例では、船舶オブジェクト２０２は、仮想カメラ２０１の視線方向の先に配置されており、船首が仮想カメラ２０１の視線方向と同じ方向、すなわち仮想カメラ２０１から離れる方向を向いている。
　仮想三次元空間２００には、船舶が航行するルートを表すルートオブジェクト２０３も配置される。ルートオブジェクト２０３は、例えば単位時間経過毎に算出される複数の予測位置を順番に結ぶものであってもよいし、仮想カメラ２０１と船舶オブジェクト２０２とを直線的に結ぶものであってもよい。
　また、ルートオブジェクト２０３は、プロッタ装置５（図１参照）から取得される設定ルートやウェイポイント等に基づいて生成されるものであってもよい。
　次に、制御部１０は、仮想三次元空間２００に配置した船舶オブジェクト２０２等を仮想カメラ２０１の視野に基づいてレンダリングすることにより画像３００を生成し（Ｓ１６；画像生成部１３としての処理）、生成した画像３００をＨＭＤ２に出力する（Ｓ１７）。
　このように生成される画像３００は、ＨＭＤ２（又は仮想カメラ２０１）の視点位置及び視線方向に対応する領域を有するものであり、予測位置に対応する位置に船舶オブジェクト２０２を含むものである。
　図８に示すように、ＨＭＤ２に表示される画像３００は、船舶オブジェクト２０２及びルートオブジェクト２０３を含んでいる。これにより、ユーザが視認する外景に船舶オブジェクト２０２及びルートオブジェクト２０３が重畳される。
　画像３００のうち、船舶オブジェクト２０２及びルートオブジェクト２０３以外の部分は透明であり、外景のみがユーザに視認される。
　本実施形態によると、ＨＭＤ２に表示される画像３００には、所定時間経過後の船舶の予測位置に対応する位置に予測姿勢に対応する姿勢で船舶オブジェクト２０２が含まれるので、船舶の将来的な位置及び姿勢を直感的に把握することが容易である。
　次に、制御部１０は、ＨＭＤ２から取得したジェスチャー情報に基づいて、船舶オブジェクト２０２に対する操作があったか否かを判定する（Ｓ１８；操作検出部１４としての処理）。
　具体的には、ジェスチャー情報は、ジェスチャセンサ２５（図２及び図３参照）により撮影されたユーザの手の動作の動画像情報であり、制御部１０は、ユーザの手の動作が所定のパターンと合致したときに、所定のパターンに関連付けられた操作を検出する。
　例えば、ユーザの人差し指によるタップ動作があったとき、オブジェクトの選択が検出される。また、ユーザの人差し指と親指による摘まむ動作があったとき、オブジェクトの位置の変更や姿勢の変更が検出される。
　図９に示すように、船舶オブジェクト２０２に対応する位置でユーザの手が例えば摘まむ動作などの所定の動作をすると、船舶オブジェクト２０２の位置の変更や姿勢の変更が可能となる。
　なお、船舶オブジェクト２０２に対する操作は、ジェスチャセンサ２５に限らず、例えポインティングデバイスからの座標入力により検出してもよいし、マイクからの音声入力により検出してもよい。また、操作前の船舶オブジェクト２０２の位置はいずれでもよい。つまり、操作される船舶オブジェクト２０２は前述の予測位置に対応する位置に表示されたものでもよいし、任意の位置に表示された船舶オブジェクト２０２でもよい。
　船舶オブジェクト２０２に対する操作があった場合（Ｓ１８：ＹＥＳ）、制御部１０は、操作後の船舶オブジェクト２０２の位置及び姿勢を取得する（図６のＳ２１；仮想空間構築部１１としての処理）。なお、姿勢の取得は省略されてもよい。
　次に、制御部１０は、取得した船舶オブジェクト２０２の位置及び姿勢に基づいて、船舶の航行に用いられる装置（航用部）の目標値を決定し（Ｓ２２；目標値決定部１６としての処理）、決定した目標値を当該装置に出力する（Ｓ２３）。
　船舶の航行に用いられる装置は、画像生成装置１から受信した目標値を新たな目標値として、新たな目標値を実現するように所定の動作を実行する。これにより、仮想三次元空間２００における操作後の船舶オブジェクト２０２の位置及び姿勢が、実三次元空間における船舶の位置及び姿勢に反映される。
　船舶の航行に用いられる装置は、プロッタ装置５、自動操舵装置７、及びエンジン制御装置９等であり（図１参照）、Ｓ２２では、これらの装置の少なくとも１つの目標値が決定される。
　自動操舵装置７のための目標値は、例えば目標方位又は目標舵角である。すなわち、船舶が操作後の船舶オブジェクト２０２の位置に向かい、さらには同じ姿勢になるための目標方位又は目標舵角が決定される。自動操舵装置７は、受信した目標方位又は目標舵角を実現するように操舵機をフィードバック制御する。
　例えば、船舶オブジェクト２０２が元の位置よりも右方に移動したとき又は右方に旋回したときは、船首を右方に向けるための目標方位又は目標舵角が決定され、船舶オブジェクト２０２が元の位置よりも左方に移動したとき又は左方に旋回したときは、船首を左方に向けるための目標方位又は目標舵角が決定される。
　エンジン制御装置９のための目標値は、例えば目標出力又は目標速度である。すなわち、所定時間経過後に船舶が操作後の船舶オブジェクト２０２の位置に到達するための目標出力又は目標速度が決定される。エンジン制御装置９は、受信した目標出力又は目標速度を実現するようにエンジンをフィードバック制御する。
　例えば、船舶オブジェクト２０２が元の位置よりも前方に移動したときは、それまでよりも高い目標出力又は目標速度が決定され、船舶オブジェクト２０２が元の位置よりも後方に移動したときは、それまでよりも低い目標出力又は目標速度が決定される。
　プロッタ装置５のための目標値は、例えば設定ルートを更新するものである。例えば、船舶が操作後の船舶オブジェクト２０２の位置を経由するように設定ルートにウェイポイントが追加されてもよいし、当該位置に到着するように設定ルートの目的地が変更されてもよい。プロッタ装置５は、更新された設定ルートに基づく目標方位を自動操舵装置７に提供する。
　本実施形態によると、ユーザが船舶の将来的な位置及び姿勢を表す船舶オブジェクト２０２を操作すると、操作後の船舶オブジェクト２０２の位置及び姿勢を実現するように船舶が動作するので、船舶の直感的な操作を提供することが可能となる。特に、船舶は思った通りに動かすことが車両等と比べて難しいことから、こうした船舶の将来的な位置及び姿勢を指定する直感的な操作は有用である。
　また、こうした操作は、船舶の桟橋への着岸を容易にすることも可能である。例えば、図１０に示すようにユーザが船舶オブジェクト２０２を桟橋の所望の位置に所望の姿勢で配置すると、それらを実現するように自動操舵装置７及びエンジン制御装置９がフィードバック制御を実行するので、船舶を桟橋の所望の位置に所望の姿勢で着岸させることが可能となる。
　なお、上記Ｓ１８において船舶オブジェクト２０２に対する操作を受け付ける際には、制御部１０は、船舶オブジェクト２０２の移動許容範囲を設定する（範囲設定部１５としての処理）。
　図１１に示すように、船舶オブジェクト２０２の周囲には移動許容範囲ＰＺが設定され、移動許容範囲ＰＺ内での船舶オブジェクト２０２の移動操作は許容され、移動許容範囲ＰＺ外への船舶オブジェクト２０２の移動操作は許容されない。
　移動許容範囲ＰＺは、例えば船舶の旋回率（ＲＯＴ：Rate of Turn）又は船舶の大きさ等の船舶の性能に基づいて設定される。船舶の性能に係る情報は、例えば制御部１０のメモリに予め保持される。
　移動許容範囲ＰＺは、水深又は航行禁止区域等の航行領域の情報に基づいて設定されてもよい。航行領域の情報は、例えばプロッタ装置５が保持するチャート情報から抽出することができる。
　以上、本発明の実施形態について説明したが、本発明は以上に説明した実施形態に限定されるものではなく、種々の変更が当業者にとって可能であることはもちろんである。
　上記実施形態では、画像生成装置１とＨＭＤ２とが別個に設けられていたが（図１参照）、これに限らず、画像生成装置１の機能がＨＭＤ２に組み込まれてもよい。すなわち、仮想空間構築部１１、位置姿勢算出部１２、画像生成部１３、操作検出部１４、範囲設定部１５、及び目標値決定部１６（図４参照）が、ＨＭＤ２の制御部２０（図３参照）において実現されてもよい。
　上記実施形態では、仮想三次元空間２００に配置した船舶オブジェクト２０２を仮想カメラ２０１の視野に基づいてレンダリングすることにより画像３００を生成していたが（図７及び図８参照）、仮想三次元空間のレンダリングは必須ではなく、船舶オブジェクトの画像要素の大きさを距離に応じて変化させて画像３００に含めるといった二次元的な画像処理を行ってもよい。
　上記実施形態では、操作後の船舶オブジェクト２０２の位置及び姿勢に基づいて決定された目標値を実現するフィードバック制御を実行していたが、これに限らず、例えば船舶オブジェクト２０２の左右の移動量に応じて舵角を変化させたり（すなわち舵輪と同等の役割）、船舶オブジェクト２０２の前後の移動量に応じてエンジン出力を変化させてもよい（すなわちスロットルレバーと同等の役割）。
　上記実施形態では、透過型ヘッドマウントディスプレイであるＨＭＤ２に画像３００を表示することで、ユーザが視認する外景に船舶オブジェクト２０２を重畳していたが（図８等参照）、これに限らず、カメラにより船外の様子を撮影した船外画像に船舶オブジェクト２０２を合成した合成画像、いわゆるＡＲ（Augmented Reality）画像を、液晶ディスプレイ等の薄型ディスプレイに表示してもよい。この場合、合成画像は、カメラの視点位置及び視線方向に対応する領域を有する。
　以上、本発明の実施形態について説明したが、本発明は以上に説明した実施形態に限定されるもではなく、種々の変更が当事者にとって可能であることはもちろんである。
１　画像生成装置、２　ヘッドマウントディスプレイ（表示部の例）、３　レーダー装置、４　魚群探知機、５　プロッタ装置（取得部、航用部の例）、６　航海計器（取得部の例）、７　自動操舵装置（取得部、航用部の例）、８　船首方位センサ（取得部の例）、９　エンジン制御装置（航用部の例）、１０　制御部、１１　仮想空間構築部、１２　位置姿勢算出部、１３　画像生成部、１４　操作検出部、１５　範囲設定部、１６　目標値決定部、２０　制御部、２１　ディスプレイ、２２　無線通信部、２３　位置センサ、２４　姿勢センサ、２５　ジェスチャセンサ、２６　ハーフミラー、１００　情報表示システム、２００　仮想三次元空間、２０１　仮想カメラ、２０２　船舶オブジェクト、２０３　ルートオブジェクト、３００　画像

Claims (11)

  1. 　視点位置及び視線方向に対応する領域に航行体を表す航行体オブジェクトを含んだ画像を生成する生成部と、
    　前記航行体オブジェクトを含んだ画像を前記視点位置及び視線方向に対応する領域の外景に重畳表示する表示部と、
    　前記表示された前記航行体オブジェクトに対する操作を検出する検出部と、
    　前記航行体の航行に用いられ、前記航行体オブジェクトに対する操作に応じた動作を実行する航用部と、
    　を備えるＡＲ操船システム。
  2. 　操作後の前記航行体オブジェクトの位置または姿勢に基づいて前記航用部に対する目標値を決定する決定部をさらに備える、
    　請求項１に記載のＡＲ操船システム。
  3. 　前記航用部は、前記航行体が備える自動操舵装置であり、
    　前記目標値は、前記自動操舵装置に対する目標方位または目標舵角である、
    　請求項２に記載のＡＲ操船システム。
  4. 　前記航用部は、前記航行体が備えるエンジン制御装置であり、
    　前記目標値は、前記エンジン制御装置に対する目標出力または目標速度である、
    　請求項２に記載のＡＲ操船システム。
  5. 　前記航用部は、前記航行体が備えるプロッタであり、
    　前記目標値は、前記プロッタに対する設定ルートまたはウェイポイントである、
    　請求項２に記載のＡＲ操船システム。
  6. 　前記航行体の性能または航行領域情報に基づいて前記航行体オブジェクトの許容操作範囲を設定する設定部をさらに備える、
    　請求項１ないし５の何れかに記載のＡＲ操船システム。
  7. 　前記航行体の航行に係る情報を取得する取得部と、
    　前記航行に係る情報に基づいて、所定時間経過後の前記航行体の予測位置を算出する算出部と、をさらに備え、
    　前記生成部は、前記予測位置に対応する位置に前記航行体を表す航行体オブジェクトを含んだ画像を生成する、
    　請求項１ないし６の何れかに記載のＡＲ操船システム。
  8. 　前記航行に係る情報は、前記航行体の船速、舵角、または船主方位を表す情報である、
    　請求項７に記載のＡＲ操船システム。
  9. 　前記航行に係る情報は、前記航行体の設定ルートまたはウェイポイントである、
    　請求項７に記載のＡＲ操船システム。
  10. 　前記表示部は、ヘッドマウントディスプレイであり、
    　前記生成部は、前記ヘッドマウントディスプレイの位置及び姿勢に応じて視点位置及び視線方向を設定し、仮想三次元空間に対応する位置に配置された前記航行体オブジェクトをレンダリングすることにより前記航行体オブジェクトを含んだ画像を生成する、
    　請求項１ないし９の何れかに記載のＡＲ操船システム。
  11. 　視点位置及び視線方向に対応する領域に航行体を表す航行体オブジェクトを含んだ画像を生成し、
    　前記航行体オブジェクトを含んだ画像を前記視点位置及び視線方向に対応する領域の外景に重畳表示し、
    　前記表示された前記航行体オブジェクトに対する操作を検出し、
    　前記航行体の航行に用いられ、前記航行体オブジェクトに対する操作に応じた動作を実行する、
    　ＡＲ操船方法。 
PCT/JP2021/046709 2021-01-18 2021-12-17 Ａｒ操船システム、及びａｒ操船方法 WO2022153788A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/351,330 US20230359199A1 (en) 2021-01-18 2023-07-12 Augmented reality vessel maneuvering system and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-005741 2021-01-18
JP2021005741 2021-01-18

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/351,330 Continuation-In-Part US20230359199A1 (en) 2021-01-18 2023-07-12 Augmented reality vessel maneuvering system and method

Publications (1)

Publication Number Publication Date
WO2022153788A1 true WO2022153788A1 (ja) 2022-07-21

Family

ID=82447173

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/046709 WO2022153788A1 (ja) 2021-01-18 2021-12-17 Ａｒ操船システム、及びａｒ操船方法

Country Status (2)

Country Link
US (1) US20230359199A1 (ja)
WO (1) WO2022153788A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118215903A (zh) * 2021-09-25 2024-06-18 苹果公司 用于在虚拟环境中呈现虚拟对象的设备、方法和图形用户界面
US12272005B2 (en) 2022-02-28 2025-04-08 Apple Inc. System and method of three-dimensional immersive applications in multi-user communication sessions

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06301897A (ja) * 1993-04-16 1994-10-28 Kawasaki Heavy Ind Ltd 船舶の航行支援装置
JP2010012836A (ja) * 2008-07-01 2010-01-21 Nissan Motor Co Ltd 駐車支援装置及び駐車支援方法
JP2014065392A (ja) * 2012-09-25 2014-04-17 Aisin Seiki Co Ltd 携帯端末、遠隔操作システム、遠隔操作方法、及びプログラム
JP2014141216A (ja) * 2013-01-25 2014-08-07 Nissan Motor Co Ltd 駐車支援装置及び駐車支援方法
US20150350552A1 (en) * 2014-05-30 2015-12-03 Furuno Electric Co., Ltd. Marine environment display device
JP2016080432A (ja) * 2014-10-14 2016-05-16 古野電気株式会社 航行ルート生成装置、自動操舵システム及び航行ルート生成方法
US20190094850A1 (en) * 2016-05-25 2019-03-28 SZ DJI Technology Co., Ltd. Techniques for image recognition-based aerial vehicle navigation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06301897A (ja) * 1993-04-16 1994-10-28 Kawasaki Heavy Ind Ltd 船舶の航行支援装置
JP2010012836A (ja) * 2008-07-01 2010-01-21 Nissan Motor Co Ltd 駐車支援装置及び駐車支援方法
JP2014065392A (ja) * 2012-09-25 2014-04-17 Aisin Seiki Co Ltd 携帯端末、遠隔操作システム、遠隔操作方法、及びプログラム
JP2014141216A (ja) * 2013-01-25 2014-08-07 Nissan Motor Co Ltd 駐車支援装置及び駐車支援方法
US20150350552A1 (en) * 2014-05-30 2015-12-03 Furuno Electric Co., Ltd. Marine environment display device
JP2016080432A (ja) * 2014-10-14 2016-05-16 古野電気株式会社 航行ルート生成装置、自動操舵システム及び航行ルート生成方法
US20190094850A1 (en) * 2016-05-25 2019-03-28 SZ DJI Technology Co., Ltd. Techniques for image recognition-based aerial vehicle navigation

Also Published As

Publication number Publication date
US20230359199A1 (en) 2023-11-09

Similar Documents

Publication Publication Date Title
CA3107720C (en) Systems and methods for controlling operations of marine vessels
JP7225324B2 (ja) 映像生成装置、および、映像生成方法
US11181637B2 (en) Three dimensional target selection systems and methods
US10338800B2 (en) Enhanced pilot display systems and methods
US10431099B2 (en) Collision avoidance systems and methods
US10126748B2 (en) Vessel display system and small vessel including the same
US11892298B2 (en) Navigational danger identification and feedback systems and methods
JP7021259B2 (ja) 映像生成装置及び映像生成方法
WO2022153788A1 (ja) Ａｒ操船システム、及びａｒ操船方法
US11762387B2 (en) Marine autopilot system
JP2022173157A (ja) 潮流情報表示装置
WO2018140645A1 (en) Three dimensional target selection systems and methods
WO2023276307A1 (ja) 画像生成装置、船舶情報表示方法、及びプログラム
JP2018164223A (ja) 表示システム
US12228931B2 (en) Systems and methods for managing positions of watercrafts
CA2777338C (en) System and method for automatically navigating a depth contour
EP4471379A1 (en) Augmented reality information for a marine environment
KR20180040056A (ko) 잠수함 조종 시뮬레이터와 이를 이용한 시뮬레이션 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21919676

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21919676

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP