[go: up one dir, main page]

WO2020012983A1 - 制御装置、制御方法、およびプログラム - Google Patents

制御装置、制御方法、およびプログラム Download PDF

Info

Publication number
WO2020012983A1
WO2020012983A1 PCT/JP2019/025804 JP2019025804W WO2020012983A1 WO 2020012983 A1 WO2020012983 A1 WO 2020012983A1 JP 2019025804 W JP2019025804 W JP 2019025804W WO 2020012983 A1 WO2020012983 A1 WO 2020012983A1
Authority
WO
WIPO (PCT)
Prior art keywords
robot
abnormality
image
camera
control unit
Prior art date
Application number
PCT/JP2019/025804
Other languages
English (en)
French (fr)
Inventor
洋貴 鈴木
淳 入江
栄良 笠井
匡伸 中村
成田　哲也
基 三原
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2020530106A priority Critical patent/JP7388352B2/ja
Priority to US17/250,328 priority patent/US20210272269A1/en
Priority to CN201980045559.7A priority patent/CN112384344A/zh
Publication of WO2020012983A1 publication Critical patent/WO2020012983A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/0066—Means or methods for maintaining or repairing manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor

Definitions

  • the present technology relates to a control device, a control method, and a program, and particularly to a control device, a control method, and a program that can notify a user of an abnormality that has occurred in a robot in a form that can be easily confirmed.
  • Robots are starting to be used for various purposes, such as home service robots and industrial robots.
  • the present technology has been made in view of such a situation, and is intended to notify a user of an abnormality that has occurred in a robot in a form that can be easily confirmed.
  • a control device includes an abnormality detection unit that detects an abnormality that has occurred in a predetermined portion of the robot, and a posture of the robot that includes the predetermined portion in which the abnormality has occurred in a field angle of a camera. And a posture control unit for controlling the position.
  • an abnormality that has occurred in a predetermined portion of the robot is detected, and the posture of the robot is controlled such that the predetermined portion in which the abnormality has occurred is included in the angle of view of the camera.
  • FIG. 1 is a diagram illustrating a configuration example of an information processing system according to an embodiment of the present technology. It is a figure showing an example of abnormal notice.
  • FIG. 3 is a block diagram illustrating a hardware configuration example of a robot.
  • FIG. 3 is a block diagram illustrating a functional configuration example of a control unit. It is a figure showing an example of a world coordinate system. It is a figure showing an example of a coordinate point sequence. It is a figure showing an example of an abnormal notice picture. It is a flowchart explaining an abnormality notification process of a robot. 9 is a flowchart illustrating a posture control process performed in step S4 of FIG. It is a figure showing other examples of an abnormal notice picture.
  • FIG. 3 is a block diagram illustrating a hardware configuration example of a robot.
  • FIG. 3 is a block diagram illustrating a functional configuration example of a control unit. It is a figure showing an example of a world coordinate system. It is a figure showing an example of a coordinate
  • FIG. 14 is a diagram illustrating an example of an alternative process in which another robot captures an image. It is a figure showing an example of substitution processing shown directly to a user.
  • FIG. 11 is a diagram illustrating an example of an alternative process using a detachable camera.
  • FIG. 14 is a diagram illustrating an example of an alternative process of photographing a figure reflected in a mirror. It is a figure showing the example of composition of a control system.
  • FIG. 3 is a block diagram illustrating a configuration example of computer hardware.
  • FIG. 1 is a diagram illustrating a configuration example of an information processing system according to an embodiment of the present technology.
  • the information processing system shown in FIG. 1 is configured by connecting the robot 1 and the portable terminal 2 via a network 11 such as a wireless LAN or the Internet.
  • the robot 1 and the portable terminal 2 can communicate with each other.
  • the robot 1 is a humanoid robot capable of bipedal walking.
  • the robot 1 performs an autonomous action by executing a predetermined program by a built-in computer and driving each part such as a head, an arm, and a foot.
  • a camera 41 is provided in front of the head of the robot 1.
  • the robot 1 recognizes a surrounding situation based on an image captured by the camera 41 and takes an action according to the surrounding situation.
  • a robot capable of bipedal walking is used, but a robot of another shape such as a robot capable of quadrupedal walking, an arm type robot used for industrial use, and the like may be used. Good.
  • an abnormality may occur in a predetermined portion such as a joint.
  • a device such as a motor that is physically driven is provided at the joint, and an abnormality such as a failure to move as expected may occur due to deterioration of the device.
  • a process of checking whether each device is operating normally is repeatedly performed at a predetermined cycle.
  • FIG. 2 is a diagram showing an example of an abnormality notification.
  • the robot 1 when detecting that an abnormality has occurred in a device provided at the joint of the left arm, the robot 1 controls the posture so that the joint of the left arm falls within the angle of view of the camera 41, and The device, which is a location, is photographed by the camera 41.
  • the robot 1 performs image processing such as emphasizing an abnormal portion on an image obtained by shooting, and transmits the image obtained by performing the image processing to the mobile terminal 2.
  • the image transmitted from the robot 1 is displayed on the display, whereby the user is notified that an abnormality has occurred in the device provided at the joint of the left arm of the robot 1.
  • the image displayed on the display of the mobile terminal 2 in FIG. 2 is an image transmitted from the robot 1.
  • the information processing system of FIG. 1 when an abnormality occurs in a device provided in a predetermined portion of the robot 1, the abnormal portion is photographed by the robot 1 itself, and an image showing the abnormal portion is displayed by the user. To be presented.
  • the information processing system of FIG. 1 can be said to be an abnormality notification system that notifies a user of an abnormality of the robot 1.
  • the user can easily confirm that an abnormality has occurred in the robot 1 by looking at the display on the mobile terminal 2.
  • the user can easily specify the abnormal portion as compared with a case where the user performs an operation such as analyzing an action log of the robot 1. it can.
  • the user can promptly repair the abnormal part by himself / herself, or request the repair by telling the abnormal part to a trader.
  • a smartphone is used as a device that receives a notification of an abnormal location.
  • another device having a display such as a tablet terminal, a PC, or a TV, may be used instead of the mobile terminal 2. It may be.
  • FIG. 3 is a block diagram illustrating a hardware configuration example of the robot 1.
  • the robot 1 is configured by connecting the input / output unit 32, the driving unit 33, the wireless communication unit 34, and the power supply unit 35 to the control unit 31.
  • the control unit 31 is configured by a computer having a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), a flash memory, and the like.
  • the control unit 31 executes a predetermined program by the CPU and controls the entire operation of the robot 1.
  • the computer configuring the control unit 31 functions as a control device that controls the operation of the robot 1.
  • control unit 31 checks whether or not devices provided in each part are operating normally.
  • the confirmation as to whether or not the robot 1 is operating normally may be performed based on information supplied from sensors provided at each position of the robot 1, such as an acceleration sensor and a gyro sensor.
  • Each device constituting the robot 1 has a function of outputting information used for confirming whether or not the robot 1 is operating normally.
  • the device whose operation is to be confirmed may be a part with movement or a part without movement as a part of the robot 1.
  • control unit 31 controls the attitude of the robot 1 by controlling each drive unit, as described above, and Shoot by After performing image processing on the image captured by the camera 41, the control unit 31 causes the wireless communication unit 34 to transmit the image to the portable terminal 2.
  • the input / output unit 32 includes a camera 41, a microphone (microphone) 42, a speaker 43, a touch sensor 44, and an LED (Light Emitting Diode) 45.
  • the camera 41 corresponds to the eyes of the robot 1 and sequentially captures the surrounding environment.
  • the camera 41 outputs data of a captured image, which is a still image or a moving image, obtained by shooting to the control unit 31.
  • the microphone 42 corresponds to the ear of the robot 1 and detects an environmental sound.
  • the microphone 42 outputs environmental sound data to the control unit 31.
  • the speaker 43 corresponds to the mouth of the robot 1 and outputs a predetermined sound such as a speech sound and BGM.
  • the touch sensor 44 is provided at a predetermined site such as the head or the back.
  • the touch sensor 44 detects that the user has touched, and outputs information representing the content of the contact by the user to the control unit 31.
  • the LED 45 is provided in each part of the robot 1 such as an eye position.
  • the LED 45 emits light under the control of the control unit 31, and presents information to the user.
  • a small display such as an LCD and an organic EL display may be provided.
  • Various eye images may be displayed on a display provided at the position of the eyes, whereby various facial expressions may be expressed.
  • the input / output unit 32 is provided with various modules such as a distance measuring sensor for measuring a distance to a surrounding object and a positioning sensor such as a GPS (Global Positioning System).
  • a distance measuring sensor for measuring a distance to a surrounding object
  • a positioning sensor such as a GPS (Global Positioning System).
  • the drive unit 33 drives according to the control of the control unit 31 to realize the action of the robot 1.
  • the drive unit 33 is configured by a plurality of drive units provided for each joint axis such as roll, pitch, and yaw.
  • Each drive unit is provided at each joint of the robot 1, for example.
  • Each drive unit is configured by a combination of a motor that rotates around an axis, an encoder that detects the rotational position of the motor, and a driver that adaptively controls the rotational position and rotational speed of the motor based on the output of the encoder.
  • the hardware configuration of the robot 1 is determined by the number of drive units, the positions of the drive units, and the like.
  • drive units 51-1 to 51-n are provided as drive units.
  • the drive unit 51-1 includes a motor 61-1, an encoder 62-1 and a driver 63-1.
  • the drive units 51-2 to 51-n have the same configuration as the drive unit 51-1.
  • the wireless communication unit 34 is a wireless communication module such as a wireless LAN module and a mobile communication module compatible with LTE (Long Term Evolution).
  • the wireless communication unit 34 communicates with various devices including the mobile terminal 2 connected to the indoor network and an external device such as a server on the Internet.
  • the wireless communication unit 34 transmits the data supplied from the control unit 31 to an external device, and receives data transmitted from the external device.
  • the power supply unit 35 supplies power to each unit in the robot 1.
  • the power supply unit 35 includes a charge battery 71 and a charge / discharge control unit 72 that manages a charge / discharge state of the charge battery 71.
  • FIG. 4 is a block diagram showing a functional configuration example of the control unit 31.
  • the control unit 31 includes an abnormality detection unit 101, an attitude control unit 102, a photographing / recording control unit 103, a notification information generation unit 104, and a notification control unit 105. At least a part of the functional units shown in FIG. 4 is realized by executing a predetermined program by a CPU constituting the control unit 31.
  • the anomaly detection unit 101 determines whether a device provided in each part is operating normally based on information supplied from each device including the drive units 51-1 to 51-n of the drive unit 33. Check if.
  • Japanese Patent Application Laid-Open No. 2007-007762 discloses a technique in which a range finder is attached to a joint and the occurrence of an abnormality is detected based on the distance information.
  • Japanese Patent Application Laid-Open No. 2000-344592 discloses that the functions and operations of a robot are controlled by using outputs of various sensors such as a visual sensor, a microphone, a distance measuring sensor, and a posture sensor in combination with outputs of a joint actuator.
  • a method for autonomous diagnosis is disclosed.
  • Japanese Patent Application Laid-Open No. 2007-306976 discloses a technique for detecting occurrence of an abnormality based on a current value and position information of a motor.
  • a method using an error between an actually measured value indicating a driving state of a motor or the like and a predicted value can be considered.
  • a device such as an actuator or a sensor related to the action is abnormal.
  • one action is performed by a combined operation of multiple joints, so it is possible to identify abnormal points by moving the devices related to each action one by one and calculating the error from the predicted value It becomes.
  • the error detection unit 101 When detecting that there is a device that is not operating normally, that is, a device in which an error has occurred, the error detection unit 101 outputs information indicating an abnormal point to the attitude control unit 102.
  • the attitude control unit 102 has information on the installation position of each device.
  • the installation position of each device is represented by three-dimensional coordinates in a world coordinate system having an arbitrary point as the origin when the posture of the robot 1 is in the initial posture.
  • FIG. 5 is a diagram showing an example of the world coordinate system.
  • a world coordinate system having a point on the floor immediately below the position of the center of gravity of the robot 1 as an origin is shown.
  • the posture of the robot 1 shown in FIG. 5 is an initial posture.
  • a world coordinate system having another point such as a head vertex as an origin may be set.
  • each device provided at a predetermined position such as a joint is represented by the value of the three-dimensional coordinates (x, y, z) in such a world coordinate system.
  • the attitude control unit 102 has information on the three-dimensional coordinates of each point on the device in the local coordinate system with an arbitrary point on each device as the origin. For example, a local coordinate system having the origin at a movable joint point of a rigid body constituting the device is set.
  • the attitude control unit 102 calculates the coordinates of the abnormal part detected by the abnormality detection unit 101 based on the information of the three-dimensional coordinates.
  • the posture control unit 102 obtains a matrix product by serially integrating the posture matrix of the device provided for each joint in the local coordinate system in the order of the connection of the joints from the origin of the world coordinate system to the abnormal point. .
  • the attitude control unit 102 calculates coordinates in the world coordinate system of the device detected as the abnormal location by performing coordinate conversion based on the matrix product obtained by the integration. The method of calculating the coordinates of such a specific position is described in, for example, “Ohmsha,“ Humanoid Robot ”, edited by Shuji Kajita”.
  • the attitude control unit 102 also manages, for each device, information on a coordinate point sequence (point sequence A) surrounding the area where the device exists, in association with each other.
  • FIG. 6 is a diagram showing an example of a coordinate point sequence.
  • a sequence of coordinate points surrounding the device provided at the position of the elbow of the arm is shown.
  • Each small circle surrounding the cylindrical device represents a coordinate point.
  • the coordinates of the lower left coordinate point are shown as coordinates 1
  • the coordinates of the right adjacent coordinate point are shown as coordinates 2.
  • the coordinates 1 and 2 are, for example, coordinates in a local coordinate system.
  • the attitude control unit 102 manages information on the coordinates of each of a plurality of coordinate points forming the coordinate point sequence in association with a device.
  • the posture control unit 102 is obtained by photographing the abnormal part based on the position of the abnormal part calculated as described above, the position of the camera 41, the posture of the camera 41, and camera parameters such as the angle of view. Identify the coordinates of the area on the image where the abnormal part appears.
  • the posture control unit 102 also has information such as camera parameters.
  • the coordinates of an arbitrary point in space on an image obtained by shooting with a camera can be determined by, for example, projective transformation using a pinhole camera model generally used in the field of computer vision. Can be specified by
  • the posture control unit 102 controls the posture of each part of the robot 1 based on information such as the position of the abnormal part and the coordinates of the region where the abnormal part is captured so that the condition that the abnormal part is captured in the image is satisfied. .
  • a control command value is supplied from the attitude control unit 102 to each drive unit of the drive unit 33, and the drive of each drive unit is controlled based on the control command value.
  • One posture is determined from a plurality of postures, and each part is controlled so as to be in the determined posture.
  • a criterion for determining one posture for example, the following criterion is used.
  • Reference example 1 a The posture is determined under the constraint that the abnormal part is not moved.
  • b The posture is determined under the constraint that the amount of change in the joint angle at the abnormal point is minimized.
  • Reference example 2 A posture that minimizes the amount of change and the amount of current consumption when changing the joint angle is determined.
  • Reference example 3 An attitude that satisfies both of the criteria 1 and 2 is determined.
  • Reference example 4 There are cases where the abnormal part can be moved. For example, in the case of notifying the user of the period up to the occurrence of the abnormality, it is possible to drive the abnormal part at the present time. In this case, the reference example 1 is excluded, and only the reference example 2 is applied.
  • the posture control unit 102 has a function of estimating a period until an abnormality occurs based on an action log and specifications.
  • the shooting / recording control unit 103 controls the camera 41 when the attitude control is performed by the attitude control unit 102 and the abnormal location is included in the angle of view of the camera 41. Take a photo.
  • the image obtained by the photographing is recorded in, for example, a memory in the control unit 31.
  • shooting of moving images may be performed.
  • the photographing of the moving image is performed by photographing the driving state of the abnormal part.
  • a sound generated from an abnormal location may be recorded together with the moving image.
  • the photographing / recording control unit 103 controls the microphone 42, collects a sound generated when the attitude control unit 102 drives the abnormal part, and records the sound as a driving sound. This makes it possible to present the sound generated from the abnormal location to the user together with the moving image.
  • the photographing / recording control unit 103 outputs the image obtained by performing the photographing to the notification information generating unit 104 together with information on a coordinate point sequence (point sequence A) surrounding the device in which the abnormality has occurred.
  • the notification information generating unit 104 performs image processing for highlighting (highlighting) the abnormal part on the image taken by the camera 41.
  • the notification information generation unit 104 sets a point sequence B by converting a point sequence A whose coordinates are represented by the information supplied from the imaging / recording control unit 103 into coordinates on a captured image.
  • the point sequence B is a coordinate point on the image surrounding the abnormal part.
  • the notification information generation unit 104 performs image processing so as to highlight and display a region surrounded by the dot sequence B in the captured image.
  • the highlight display is performed by superimposing an image of a conspicuous color such as red with a predetermined degree of transparency on an area surrounded by the dot sequence B.
  • a process different from a process of superimposing an image of a predetermined color, such as an effect process or a combination of icons, may be performed.
  • a specific example of the highlight display will be described later.
  • the notification information generation unit 104 outputs an image obtained by performing image processing for highlight display to the notification control unit 105 as an abnormality notification image that is an image for notifying an abnormal location.
  • the notification control unit 105 controls the wireless communication unit 34 and transmits the abnormality notification image supplied from the notification information generation unit 104 to the mobile terminal 2.
  • the abnormality notification image transmitted from the robot 1 is received and displayed on the display.
  • the data of the driving sound is transmitted from the notification control unit 105 to the mobile terminal 2 as appropriate.
  • the driving sound is output from the speaker in accordance with the display of the moving image.
  • FIG. 7 is a diagram showing an example of the abnormality notification image.
  • the joint of the left arm of the robot 1 is shown in the abnormality notification image P of FIG.
  • the devices forming the joints of the left arm are highlighted by superimposing the image 151 of a predetermined color.
  • the image 151 is superimposed on a region surrounded by a dot sequence (dot sequence B) indicated by a small circle.
  • the hatched area inside the narrow rectangular area indicates that the image 151 with the predetermined transparency is superimposed on that area. From such a display, the user can easily confirm that an abnormality has occurred in the joint of the left arm of the robot 1.
  • step S1 the abnormality detection unit 101 detects that there is a device having an abnormality based on information supplied from each device.
  • step S2 the abnormality detecting unit 101 specifies an abnormal part based on a predetermined detection method. Information indicating the abnormal part is output to the attitude control unit 102.
  • step S ⁇ b> 3 the posture control unit 102 calculates a point sequence A surrounding the area where the abnormal part detected by the abnormality detection unit 101 exists.
  • step S4 the posture control unit 102 performs a posture control process.
  • the posture of the robot 1 is controlled by the posture control process so that the abnormal portion falls within the angle of view of the camera 41. Details of the attitude control process will be described later with reference to the flowchart in FIG.
  • step S5 the attitude control unit 102 determines whether or not the abnormal location falls within the angle of view of the camera 41. If it is determined that the abnormal part falls within the angle of view of the camera 41, the process proceeds to step S6.
  • step S6 the photographing / recording control unit 103 controls the camera 41 to photograph an abnormal part.
  • the image obtained by the photographing is output to the notification information generation unit 104 together with information of the dot sequence A surrounding the area of the device in which the abnormality has occurred.
  • step S7 the notification information generating unit 104 converts the point sequence A of the abnormal part supplied from the photographing / recording control unit 103 into a point sequence B in the image coordinate system.
  • step S8 the notification information generation unit 104 performs image processing on the photographed image so as to highlight the area surrounded by the dot sequence B.
  • the abnormality notification image generated by performing the image processing is output to the notification control unit 105.
  • step S9 the notification control unit 105 transmits the abnormality notification image to the mobile terminal 2, and ends the processing.
  • step S5 if it is determined in step S5 that the abnormal portion does not fall within the angle of view of the camera 41 even if the posture is controlled, the substitution process is performed in step S10.
  • the alternative process is a process of notifying a user that an abnormality has occurred by a method different from the method using the abnormality notification image as described above when an abnormal part cannot be imaged.
  • the alternative processing will be described later. After the occurrence of the abnormality is notified by the substitute process, the process ends.
  • step S31 the posture control unit 102 calculates the three-dimensional coordinates of the abnormal position in the initial posture in the world coordinate system.
  • step S32 the posture control unit 102 calculates the three-dimensional coordinates of the abnormal position in the current posture in the world coordinate system.
  • step S33 the posture control unit 102 calculates the coordinates of the abnormal point in the image coordinate system based on the information of the three-dimensional coordinates of each point on the device that is the abnormal point. As a result, an area on the image where the abnormal part is captured is specified.
  • step S34 the posture control unit 102 determines whether or not the abnormal part is located near the center of the image. For example, a predetermined range is set in advance based on the center of the image. When an abnormal location is located inside the predetermined range, it is determined that the abnormal location is located near the center. When no abnormal location is located inside the predetermined range, it is determined that the abnormal location is not located near the center.
  • step S35 the posture control unit 102 sets the correction amount of each joint angle based on the difference between the position of the abnormal part and the image center. .
  • the correction amount of each joint angle is set so that the abnormal part is captured closer to the center of the image.
  • step S36 the posture control unit 102 controls the drive unit 33 based on the correction amount to drive each joint.
  • step S37 the posture control unit 102 determines whether the correction of the joint angle has been repeated a predetermined number of times.
  • step S37 If it is determined in step S37 that the correction of the joint angle has not been repeated the predetermined number of times, the process returns to step S32, and the correction of the joint angle is repeated in the same manner.
  • step S37 if it is determined in step S37 that the correction of the joint angle has been repeated a predetermined number of times, the process returns to step S4 in FIG. 8, and the subsequent processing is performed.
  • step S34 determines that the abnormal portion is located near the center of the image.
  • the user can easily confirm not only that an abnormality has occurred in the robot 1 but also an abnormal place.
  • the robot 1 can also notify the user that an abnormality has occurred in its own device.
  • the robot 1 can reproduce the trouble situation and present it to the user.
  • the robot 1 can present not only the abnormal part visually but also the abnormal point acoustically. Thereby, the user can know the abnormal situation in more detail.
  • a moving image representing a normal operation reproduced by CG may be superimposed on an abnormal portion.
  • CG Computer Graphics
  • FIG. 10 is a diagram illustrating another example of the abnormality notification image.
  • an icon may be displayed on the abnormality notification image.
  • the joint of the left arm is shown as in FIG. A colored elliptical image for highlighting the portion is superimposed on the joint of the left arm.
  • ⁇ ⁇ ⁇ ⁇ Icon I1 shown in FIG. 10A is a countdown timer icon indicating a period until an abnormality occurs. For example, when the period until the occurrence of the abnormality is shorter than the predetermined period, the abnormality notification image in which the icon I1 is combined is presented to the user.
  • Another image such as a calendar or a clock indicating the period until the occurrence of the abnormality may be displayed as an icon.
  • An icon corresponding to the type of abnormality may be displayed on the abnormality notification image.
  • the icon I2 of FIG. when the type of abnormality is overcurrent, the icon I2 of FIG. Further, when the type of abnormality is overheating of the motor, an icon I3 shown in FIG. 10C indicating this is displayed.
  • an image representing the actual heat generation state of the abnormal part which is captured using a thermography camera, may be superimposed.
  • the abnormal location involves heat generation, it is possible to inform the user of the details of the heat generation status.
  • Such an icon may be displayed on the moving image.
  • an icon is combined with each frame of the moving image.
  • the moving image is captured for a time including a predetermined time before and after the timing at which a symptom that is determined to be abnormal is generated. Immediately before a symptom that is determined to be in an abnormal state occurs in the captured moving image, the state of the abnormal part after the symptom occurs appears.
  • the above-described highlight display and icon display are performed, for example, only while a symptom determined to be abnormal is occurring. This makes it possible to inform the user of the state at the moment when the symptom occurs.
  • step S10 in FIG. 8 If the camera 41 cannot photograph an abnormal part, the following alternative processing (step S10 in FIG. 8) is performed.
  • FIG. 11 is a diagram showing an example of an alternative process of having another robot take a picture.
  • the robot 1-1 transmits the information of the three-dimensional coordinates of the abnormal location to the robot 1-2, and requests the imaging of the abnormal location.
  • the robot 1-2 is the same type of robot as the robot 1-1, and has the same configuration as the robot 1 described above.
  • a camera 41 is provided on the head of the robot 1-2. Communication can be performed between the robot 1-1 and the robot 1-2.
  • the robot 1-2 has its own coordinate system based on the three-dimensional coordinates of the abnormal part represented by the information transmitted from the robot 1-1, the relative positional relationship between itself and the robot 1-1, and the like. , The three-dimensional coordinates of the abnormal part are calculated.
  • the robot 1-2 controls its own posture based on the calculated three-dimensional coordinates so that the abnormal part falls within the angle of view of its own camera 41, and photographs the abnormal part of the robot 1-1.
  • the image obtained by the photographing by the robot 1-2 may be transmitted to the mobile terminal 2 via the robot 1-1, or may be directly transmitted from the robot 1-2 to the mobile terminal 2. Is also good.
  • the robot 1-1 can notify the user of the occurrence of an abnormality even when an abnormality occurs in a device at a position where the robot 41 cannot take an image.
  • FIG. 12 is a diagram illustrating an example of an alternative process directly to the user.
  • the robot 1 recognizes the position of the user based on the image captured by the camera 41 and moves to a position near the user.
  • the robot 1 has a function of recognizing a user based on a face appearing in a captured image.
  • the robot 1 After moving to a position near the user, the robot 1 controls its own posture so as to direct the abnormal point to the user, and presents the user to the user.
  • a sound such as “Take a picture here with a smartphone” may be output from the speaker 43 so that the user can take a picture of the abnormal part.
  • the image captured by the user is transmitted from the mobile terminal 2 to the robot 1.
  • FIG. 13 is a diagram illustrating an example of an alternative process using a detachable camera.
  • the robot 1 cannot photograph the abnormal part by its own camera 41.
  • the robot 1 has a detachable (detachable) camera at a predetermined position in a housing.
  • the robot 1 removes the detachable camera 161 and grips it, controls its own posture so that the abnormal portion falls within the angle of view of the camera 161, and photographs the abnormal portion.
  • the image captured by the camera 161 is transferred to the robot 1 and transmitted to the mobile terminal 2.
  • FIG. 14 is a diagram illustrating an example of an alternative process of photographing a figure reflected in a mirror.
  • the robot 1 moves in front of the mirror M based on information stored in advance.
  • Information indicating the position of the reflecting surface of the mirror M is set in the robot 1.
  • the position of the reflection surface of the mirror M may be specified by analyzing an image captured by the camera 41.
  • the robot 1 controls its own posture so as to direct the abnormal part toward the mirror M and shoots.
  • a part of the function for notifying the user that an abnormality has occurred may be provided in an external device such as the mobile terminal 2 or a server on the Internet.
  • FIG. 15 is a diagram illustrating a configuration example of a control system.
  • the control system of FIG. 15 is configured by connecting the robot 1 and the control server 201 via a network 202 such as the Internet.
  • the robot 1 and the control server 201 communicate via a network 202.
  • an abnormality occurring in the robot 1 is detected by the control server 201 based on information transmitted from the robot 1.
  • Information indicating the state of each device of the robot 1 is sequentially transmitted from the robot 1 to the control server 201.
  • the control server 201 controls the posture of the robot 1 and causes the robot 1 to photograph an abnormal part.
  • the control server 201 acquires an image captured by the robot 1, performs image processing for highlight display, and transmits the image to the mobile terminal 2.
  • control server 201 functions as a control device that controls the robot 1 and controls notifying a user of an abnormality that has occurred in the robot 1.
  • each functional unit of FIG. 4 is realized by executing a predetermined program.
  • FIG. 16 is a block diagram illustrating a configuration example of hardware of a computer that executes the series of processes described above by a program.
  • the control server 201 of FIG. 15 also has a configuration similar to the configuration shown in FIG.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the input / output interface 1005 is further connected to the bus 1004.
  • the input / output interface 1005 is connected to an input unit 1006 including a keyboard and a mouse, and an output unit 1007 including a display and a speaker.
  • a storage unit 1008 such as a hard disk or a non-volatile memory
  • a communication unit 1009 such as a network interface
  • a drive 1010 for driving the removable medium 1011 are connected to the input / output interface 1005.
  • the CPU 1001 loads a program stored in the storage unit 1008 into the RAM 1003 via the input / output interface 1005 and the bus 1004 and executes the program, for example. Is performed.
  • the program executed by the CPU 1001 is recorded on, for example, the removable medium 1011 or provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting, and is installed in the storage unit 1008.
  • the program executed by the computer may be a program in which processing is performed in chronological order according to the order described in this specification, or may be performed in parallel or at a necessary timing such as when a call is made. It may be a program that performs processing.
  • a system means a set of a plurality of components (devices, modules (parts), and the like), and it does not matter whether all components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device housing a plurality of modules in one housing are all systems. .
  • the present technology can take a configuration of cloud computing in which one function is shared by a plurality of devices via a network, and processing is performed jointly.
  • each step described in the above-described flowchart can be executed by a single device, or can be shared and executed by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step may be executed by one device or may be shared and executed by a plurality of devices.
  • the present technology can also have the following configurations.
  • An abnormality detection unit that detects an abnormality that has occurred in a predetermined portion of the robot; And a posture control unit that controls the posture of the robot such that the predetermined part where the abnormality has occurred is included in the angle of view of the camera.
  • the control device according to (1) wherein the camera is provided at a predetermined position of the robot.
  • a recording control unit that controls shooting by the camera, The control device according to (2), further including: a notification control unit configured to transmit an image captured by the camera to an external device and to notify occurrence of an abnormality.
  • An information generating unit that performs image processing on the image to highlight an area in which the predetermined part is captured, The control device according to (3), wherein the notification control unit transmits the image on which the image processing has been performed.
  • the control device wherein the information generation unit performs the image processing according to a type of abnormality that has occurred in the predetermined part.
  • the information generation unit combines an icon corresponding to a type of abnormality that has occurred in the predetermined portion with the image.
  • the recording control unit captures a still image or a moving image in which the predetermined part is captured.
  • the recording control unit when an abnormality occurs when performing a specific operation in the predetermined part, the moving image is captured for a time including a predetermined time before and after a timing at which the abnormality occurs. Control device.
  • the control device (9) The control device according to (8), wherein the information generation unit combines an image representing the normal specific operation with the moving image. (10) The control device according to (8) or (9), wherein the recording control unit records a sound when the specific operation is performed.
  • the control device any one of (2) to (10), wherein the posture control unit controls the position of the camera when the predetermined part is not included in the angle of view of the camera after controlling the posture.
  • the camera is a device that is detachable from the predetermined position of the robot.
  • the recording control unit may cause another robot to photograph the predetermined portion if the predetermined portion is not included in the angle of view of the camera after controlling the posture.
  • the control device according to item 1.
  • the control device according to any one of (3) to (10), wherein the notification control unit notifies the operation of the robot that an abnormality has occurred in the predetermined portion.
  • the control device is Detects anomalies that have occurred in a predetermined part of the robot, A control method for controlling a posture of the robot such that the predetermined part where the abnormality has occurred is included in an angle of view of a camera.
  • On the computer Detects anomalies that have occurred in a predetermined part of the robot, A program for executing a process of controlling a posture of the robot such that the predetermined part where the abnormality has occurred is included in an angle of view of a camera.
  • ⁇ 1 ⁇ robot ⁇ 2 ⁇ portable terminal, ⁇ 11 ⁇ network, ⁇ 31 ⁇ control unit, ⁇ 33 ⁇ drive unit, ⁇ 41 ⁇ camera, ⁇ 101 ⁇ abnormality detection unit, ⁇ 102 ⁇ attitude control unit, ⁇ 103 ⁇ shooting / recording control unit, ⁇ 104 ⁇ notification information generation unit, ⁇ 105 ⁇ notification control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manipulator (AREA)

Abstract

本技術は、ロボットに生じた異常を、容易に確認できる形でユーザに通知することができるようにする制御装置、制御方法、およびプログラムに関する。 本技術の一側面の制御装置は、ロボットの所定の部位に生じた異常を検出する異常検出部と、異常が生じた所定の部位がカメラの画角に含まれるように、ロボットの姿勢を制御する姿勢制御部とを備える。本技術は、自律的に動作することが可能なロボットに適用することができる。

Description

制御装置、制御方法、およびプログラム
　本技術は、制御装置、制御方法、およびプログラムに関し、特に、ロボットに生じた異常を、容易に確認できる形でユーザに通知することができるようにした制御装置、制御方法、およびプログラムに関する。
　家庭内のサービスロボット、産業用のロボットといったように、ロボットが各種の用途で使われ始めている。
　ロボットのパーツが壊れた場合、パーツを修理したり交換したりする必要がある。パーツが壊れるなどの異常を、ロボットのシステムが出力するエラーログなどの情報を解析することにより確認することは一般的なユーザにとっては難しい。家庭用のサービスロボットにおいては、そのような問題が特に顕著となる。
特開２００２－１５４０８５号公報 特開平９－２１２２１９号公報
　ロボットに生じた異常を一般的なユーザであっても容易に確認できることが望ましい。
　本技術はこのような状況に鑑みてなされたものであり、ロボットに生じた異常を、容易に確認できる形でユーザに通知することができるようにするものである。
　本技術の一側面の制御装置は、ロボットの所定の部位に生じた異常を検出する異常検出部と、異常が生じた前記所定の部位がカメラの画角に含まれるように、前記ロボットの姿勢を制御する姿勢制御部とを備える。
　本技術の一側面においては、ロボットの所定の部位に生じた異常が検出され、異常が生じた所定の部位がカメラの画角に含まれるように、ロボットの姿勢が制御される。
　本技術によれば、ロボットに生じた異常を、容易に確認できる形でユーザに通知することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の一実施形態に係る情報処理システムの構成例を示す図である。 異常通知の例を示す図である。 ロボットのハードウェア構成例を示すブロック図である。 制御部の機能構成例を示すブロック図である。 ワールド座標系の例を示す図である。 座標点列の例を示す図である。 異常通知画像の例を示す図である。 ロボットの異常通知処理について説明するフローチャートである。 図８のステップＳ４において行われる姿勢制御処理について説明するフローチャートである。 異常通知画像の他の例を示す図である。 他のロボットに撮影してもらう代替処理の例を示す図である。 ユーザに直接見せる代替処理の例を示す図である。 デタッチ式のカメラを用いる代替処理の例を示す図である。 鏡に映った姿を撮影する代替処理の例を示す図である。 制御システムの構成例を示す図である。 コンピュータのハードウェアの構成例を示すブロック図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．異常通知システムの構成
　２．ロボットの構成例
　３．ロボットの動作
　４．異常通知画像の例
　５．代替処理の例
　６．変形例
＜異常通知システムの構成＞
　図１は、本技術の一実施形態に係る情報処理システムの構成例を示す図である。
　図１に示す情報処理システムは、ロボット１と携帯端末２が、無線LANやインターネットなどのネットワーク１１を介して接続されることによって構成される。ロボット１と携帯端末２は相互に通信を行うことが可能とされる。
　図１の例においては、ロボット１は、二足歩行が可能な人型のロボットである。ロボット１は、内蔵するコンピュータによって所定のプログラムを実行し、頭部、腕、足などの各部位を駆動させることによって自律的な行動をとる。
　ロボット１の頭部の正面にはカメラ４１が設けられる。例えば、ロボット１は、カメラ４１により撮影して得られた画像に基づいて周囲の状況を認識し、周囲の状況に応じた行動をとる。
　この例においては二足歩行が可能なロボットが用いられているが、四足歩行が可能なロボット、産業用途などに用いられるアーム型のロボットなどの他の形状のロボットが用いられるようにしてもよい。
　腕や足などを動かした結果、関節などの所定の部位に異常が生じることがある。物理的に駆動するモータなどのデバイスが関節には設けられており、デバイスの劣化などによって、想定通りに動かないなどの異常が生じることがある。ロボット１においては、各デバイスが正常に動作しているか否かを確認する処理が所定の周期で繰り返し行われている。
　図２は、異常通知の例を示す図である。
　図２に示すように、例えば左腕の関節に設けられたデバイスに異常が生じたことを検出した場合、ロボット１は、左腕の関節がカメラ４１の画角に収まるように姿勢を制御し、異常箇所であるデバイスをカメラ４１により撮影する。ロボット１は、撮影を行うことによって得られた画像に対して、異常箇所を強調するような画像処理を施し、画像処理を施すことによって得られた画像を携帯端末２に送信する。
　携帯端末２においては、ロボット１から送信されてきた画像がディスプレイに表示され、これにより、ロボット１の左腕の関節に設けられたデバイスに異常が生じたことがユーザに通知される。図２の携帯端末２のディスプレイに表示されている画像は、ロボット１から送信されてきた画像である。
　このように、図１の情報処理システムにおいては、ロボット１の所定の部位に設けられたデバイスに異常が生じた場合、ロボット１自身により異常箇所の撮影が行われ、異常箇所が写る画像がユーザに提示される。図１の情報処理システムは、ロボット１の異常をユーザに通知する異常通知システムといえる。
　ユーザは、携帯端末２の表示を見ることにより、ロボット１に異常が生じたことを容易に確認することができる。
　また、携帯端末２に表示される画像には異常箇所が写っているから、ユーザは、ロボット１の行動ログを解析するなどの作業を行う場合と比べて、異常箇所を容易に特定することができる。ユーザは、異常箇所を自分で修理したり、異常箇所を業者に伝えて修理を依頼したりすることを迅速に行うことができる。
　なお、図１の例においては、異常箇所の通知を受ける装置としてスマートフォンが用いられているが、タブレット端末、PC、TVなどの、ディスプレイを有する他の装置が携帯端末２に代えて用いられるようにしてもよい。
　以上のようにして異常箇所を検出し、ユーザに通知するロボット１の一連の動作についてはフローチャートを参照して後述する。
＜ロボットの構成例＞
　図３は、ロボット１のハードウェア構成例を示すブロック図である。
　図３に示すように、ロボット１は、制御部３１に対して、入出力部３２、駆動部３３、無線通信部３４、および電源部３５が接続されることによって構成される。
　制御部３１は、CPU(Central Processing Unit)，ROM(Read Only Memory)，RAM(Random Access Memory)、フラッシュメモリなどを有するコンピュータにより構成される。制御部３１は、CPUにより所定のプログラムを実行し、ロボット１の全体の動作を制御する。制御部３１を構成するコンピュータは、ロボット１の動作を制御する制御装置として機能する。
　例えば、制御部３１は、駆動部３３の各駆動ユニットから供給された情報に基づいて、各部位に設けられたデバイスが正常に動作しているか否かを確認する。
　正常に動作しているか否かの確認が、加速度センサ、ジャイロセンサなどの、ロボット１の各位置に設けられたセンサから供給された情報に基づいて行われるようにしてもよい。ロボット１を構成するそれぞれのデバイスには、正常に動作しているか否かの確認に用いられる情報を出力する機能が設けられている。動作を確認する対象となるデバイスは、ロボット１を構成するパーツとして、動きを伴うパーツであってもよいし、動きを伴わないパーツであってもよい。
　制御部３１は、所定の部位に設けられたデバイスに異常が生じたことを検出した場合、上述したように、各駆動ユニットを制御することによってロボット１の姿勢を制御し、異常箇所をカメラ４１により撮影する。制御部３１は、カメラ４１により撮影された画像に画像処理を施した後、無線通信部３４から携帯端末２に送信させる。
　入出力部３２は、カメラ４１、マイク（マイクロフォン）４２、スピーカ４３、タッチセンサ４４、およびLED(Light Emitting Diode)４５により構成される。
　カメラ４１は、ロボット１の目に相当し、周囲の環境を順次撮影する。カメラ４１は、撮影によって得られた静止画像または動画像である撮影画像のデータを制御部３１に出力する。
　マイク４２は、ロボット１の耳に相当し、環境音を検出する。マイク４２は、環境音のデータを制御部３１に出力する。
　スピーカ４３は、ロボット１の口に相当し、発話音声、BGMなどの所定の音を出力する。
　タッチセンサ４４は、頭部や背中などの所定の部位に設けられる。タッチセンサ４４は、ユーザが触れたことを検出し、ユーザによる接触の内容を表す情報を制御部３１に出力する。
　LED４５は、目の位置などのロボット１の各部に設けられる。LED４５は、制御部３１による制御に従って発光し、ユーザに情報を提示する。LED４５に代えて、LCD、有機ELディスプレイなどの小型のディスプレイが設けられるようにしてもよい。目の位置に設けられたディスプレイに各種の目の画像が表示され、それにより、各種の表情が表現されるようにしてもよい。
　入出力部３２には、周囲にある物体までの距離を測定する測距センサ、GPS(Global Positioning System)などの測位センサなどの各種のモジュールが設けられる。
　駆動部３３は、制御部３１による制御に従って駆動し、ロボット１の行動を実現する。駆動部３３は、ロール、ピッチ、ヨーなどの関節軸毎に設けられた複数の駆動ユニットにより構成される。
　各駆動ユニットは、例えばロボット１のそれぞれの関節に設けられる。各駆動ユニットは、軸回りの回転動作を行うモータ、モータの回転位置を検出するエンコーダ、および、エンコーダの出力に基づいてモータの回転位置や回転速度を適応的に制御するドライバの組み合わせによって構成される。駆動ユニットの数、駆動ユニットの位置などによって、ロボット１のハードウェア構成が定まる。
　図３の例においては、駆動ユニットとして、駆動ユニット５１－１乃至５１－ｎが設けられる。例えば駆動ユニット５１－１は、モータ６１－１、エンコーダ６２－１、ドライバ６３－１により構成される。駆動ユニット５１－２乃至５１－ｎも、駆動ユニット５１－１と同様の構成を有する。
　無線通信部３４は、無線LANモジュール、LTE(Long Term Evolution)に対応した携帯通信モジュールなどの無線通信モジュールである。無線通信部３４は、室内のネットワークに接続された携帯端末２を含む各種の機器やインターネット上のサーバなどの外部の装置との間で通信を行う。無線通信部３４は、制御部３１から供給されたデータを外部の装置に送信し、外部の装置から送信されてきたデータを受信する。
　電源部３５は、ロボット１内の各部に対して給電を行う。電源部３５は、充電バッテリ７１と、充電バッテリ７１の充放電状態を管理する充放電制御部７２により構成される。
　図４は、制御部３１の機能構成例を示すブロック図である。
　図４に示すように、制御部３１は、異常検出部１０１、姿勢制御部１０２、撮影・記録制御部１０３、通知情報生成部１０４、および通知制御部１０５から構成される。図４に示す機能部のうちの少なくとも一部は、制御部３１を構成するCPUにより所定のプログラムが実行されることにより実現される。
・異常検出
　異常検出部１０１は、駆動部３３の駆動ユニット５１－１乃至５１－ｎを含む各デバイスから供給された情報に基づいて、各部位に設けられたデバイスが正常に動作しているか否かを確認する。
　関節に設けられたモータなどの異常を検出する方法については様々な方法がある。例えば特開２００７－００７７６２号公報には、関節に距離計を取り付け、異常の発生を距離情報に基づいて検出する技術が開示されている。
　また、特開２０００－３４４５９２号公報には、視覚センサ、マイク、測距センサ、姿勢センサなどの各種のセンサの出力と、関節アクチュエータの出力とを組み合わせて用いることによって、ロボットの機能・動作を自律的に診断する方法が開示されている。
　特開２００７－３０６９７６号公報には、モータの電流値や位置情報に基づいて異常の発生を検出する技術が開示されている。
　その他の方法としては、モータなどの駆動状況を表す実測値と予測値との誤差を用いる方法が考えられる。
　所定のアクションを出力した際（アクチュエータ（駆動ユニット）に対して制御指令値を出力した際）に次の観測時刻において関節の角度がどのように変化しているかは、ロボットの物理モデルを用い、順運動学を解くことで予測することが可能である。
　観測時刻において観測された実測値と予測値との誤差が閾値以上ある状態が例えば一定時間続いた場合、そのアクションに関係するアクチュエータやセンサなどのデバイスに異常があると判断される。通常、１つのアクションは複数の関節の複合動作によって行われるため、それぞれのアクションに関係のあるデバイスを１つずつ動かし、予測値との誤差を算出することによって、異常箇所を特定することが可能となる。
　異常検出部１０１は、正常に動作していない、すなわち異常が生じているデバイスがあることを検出した場合、異常箇所を表す情報を姿勢制御部１０２に出力する。
・異常箇所の撮影のための姿勢制御
　姿勢制御部１０２は、各デバイスの設置位置の情報を有している。各デバイスの設置位置は、ロボット１の姿勢が初期姿勢にあるときの任意の点を原点とするワールド座標系における３次元座標により表される。
　図５は、ワールド座標系の例を示す図である。
　図５の例においては、ロボット１の重心位置の真下にある床面上の点を原点としたワールド座標系が示されている。図５に示すロボット１の姿勢は初期姿勢である。頭頂点などの他の点を原点としたワールド座標系が設定されるようにしてもよい。
　関節などの所定の位置に設けられる各デバイスの設置位置が、このようなワールド座標系における３次元座標（x,y,z）の値により表される。
　また、姿勢制御部１０２は、各デバイスの任意の点を原点としたローカル座標系における、デバイス上の各点の３次元座標の情報を有している。例えば、デバイスを構成する剛体の可動関節点を原点としたローカル座標系が設定される。
　姿勢制御部１０２は、これらの３次元座標の情報に基づいて、異常検出部１０１により検出された異常箇所の座標を算出する。
　例えば、姿勢制御部１０２は、各関節に設けられたデバイスのローカル座標系における姿勢行列を、ワールド座標系の原点から異常箇所までにある関節のつながりの順に直列に積算することにより行列積を求める。姿勢制御部１０２は、積算することにより求めた行列積に基づいて座標変換を行うことによって、異常箇所として検出されたデバイスの、ワールド座標系における座標を算出する。このような特定の位置の座標の算出方法については、例えば『オーム社、「ヒューマノイドロボット」、梶田秀司編著』に記載されている。
　また、姿勢制御部１０２は、デバイス毎に、デバイスが存在するエリアを囲む座標点列（点列Ａ）の情報を紐付けて管理する。
　図６は、座標点列の例を示す図である。
　図６の例においては、腕の肘の位置に設けられたデバイスを囲む座標点列が示されている。円筒状のデバイスを囲むそれぞれの小円が座標点を表す。また、左下端の座標点の座標が座標１として示され、右隣の座標点の座標が座標２として示されている。座標１，２は、例えばローカル座標系における座標である。
　姿勢制御部１０２は、座標点列を構成する複数の座標点のそれぞれの座標の情報をデバイスと紐付けて管理する。
　姿勢制御部１０２は、以上のようにして算出される異常箇所の位置、カメラ４１の位置、カメラ４１の姿勢、および、画角などのカメラパラメータなどに基づいて、異常箇所を撮影して得られる画像上における、異常箇所が写る領域の座標を特定する。姿勢制御部１０２は、カメラパラメータなどの情報をも有している。
　空間上の任意の点が、カメラにより撮影して得られた画像上のどの座標に写ることになるのかは、例えば、コンピュータビジョンの分野で一般的に用いられるピンホールカメラモデルを用いた射影変換により特定することが可能である。
　姿勢制御部１０２は、異常箇所の位置、異常箇所が写る領域の座標などの情報に基づいて、異常箇所が画像に写っているといった条件を満たすように、ロボット１の各部位の姿勢を制御する。姿勢制御部１０２から駆動部３３の各駆動ユニットに対して制御指令値が供給され、制御指令値に基づいて、各駆動ユニットの駆動が制御される。
　なお、通常、上記条件を満たす姿勢としては複数の姿勢がある。複数の姿勢の中から１つの姿勢が決定され、決定された姿勢になるように各部位の制御が行われる。
　１つの姿勢の決定の基準として、例えば以下のような基準が用いられる。
　基準例１
　ａ：異常箇所を動かさないという制約下で姿勢を決定する。
　ｂ：異常箇所の関節角の変化量が最小になるという制約下で姿勢を決定する。
　基準例２
　関節角を変化させる際の変化量や消費電流量を最小化する姿勢を決定する。
　基準例３
　上記基準例１と基準例２の両方の基準を満たす姿勢を決定する。
　基準例４
　異常箇所を動かしてもよいケースがある。例えば、異常発生までの期間をユーザに通知するケースにおいては、現時点での異常箇所の駆動は可能となる。この場合、上記基準例１を排除して、基準例２のみが適用される。
　例えば、行動ログにより表されるデバイスの駆動時間を、デバイスの仕様上の耐用期間と比較することにより、異常発生までの期間を推定することが可能である。姿勢制御部１０２は、行動ログと仕様に基づいて異常発生までの期間を推定する機能を有している。
　このような各種の基準に従って、姿勢を制御することが可能である。
・異常箇所の撮影と駆動音の記録
　撮影・記録制御部１０３は、姿勢制御部１０２による姿勢制御が行われ、異常箇所がカメラ４１の画角に含まれる場合、カメラ４１を制御し、異常箇所の撮影を行う。撮影によって得られた画像は、例えば制御部３１内のメモリに記録される。
　静止画像に限らず、動画像の撮影が行われるようにしてもよい。動画像の撮影は、異常箇所の駆動中の状態を撮影するようにして行われる。
　動画像とともに、異常箇所から生じる音が記録されるようにしてもよい。撮影・記録制御部１０３は、マイク４２を制御し、姿勢制御部１０２が異常箇所を駆動させたときに生じる音を集音して駆動音として記録する。これにより、異常箇所から生じる音を動画像とともにユーザに提示することが可能となる。
　撮影・記録制御部１０３は、撮影を行うことによって得られた画像を、異常が生じたデバイスを囲む座標点列（点列Ａ）の情報などとともに通知情報生成部１０４に出力する。
・異常箇所のハイライト表示
　通知情報生成部１０４は、カメラ４１により撮影された画像に対して、異常箇所をハイライト表示（強調表示）させるための画像処理を施す。
　例えば、通知情報生成部１０４は、撮影・記録制御部１０３から供給された情報により座標が表される点列Ａを、撮影された画像上の座標に変換することによって点列Ｂを設定する。点列Ｂは、異常箇所を囲む画像上の座標点となる。
　通知情報生成部１０４は、撮影された画像のうち、点列Ｂで囲まれる領域をハイライト表示させるように画像処理を施す。例えば、所定の透明度が設定された、赤色等の目立つ色の画像を点列Ｂで囲まれる領域に重畳させることによりハイライト表示が行われる。
　エフェクト処理、アイコンの合成などの、所定の色の画像を重畳させる処理とは異なる処理が施されるようにしてもよい。ハイライト表示の具体例については後述する。
　通知情報生成部１０４は、ハイライト表示させるための画像処理を施して得られた画像を、異常箇所を通知するための画像である異常通知画像として通知制御部１０５に出力する。
・ユーザへの通知
　通知制御部１０５は、無線通信部３４を制御し、通知情報生成部１０４から供給された異常通知画像を携帯端末２に送信する。携帯端末２においては、ロボット１から送信されてきた異常通知画像が受信され、ディスプレイに表示される。
　異常通知画像が動画像であり、駆動音の記録が行われている場合、適宜、駆動音のデータも通知制御部１０５から携帯端末２に対して送信される。携帯端末２においては、動画像の表示に合わせて、駆動音がスピーカから出力される。
　図７は、異常通知画像の例を示す図である。
　図７の異常通知画像Ｐには、ロボット１の左腕の関節が写っている。左腕の関節を構成するデバイスは、所定の色の画像１５１が重畳されることによってハイライト表示される。画像１５１は、小円で示す点列（点列Ｂ）で囲む領域に重畳される。
　図７において、細幅の長方形状の領域の内側に斜線を付して示していることは、その部分に、所定の透過度が設定された画像１５１が重畳されていることを表す。このような表示から、ユーザは、ロボット１の左腕の関節において異常が生じたことを容易に確認することができる。
＜ロボットの動作＞
　ここで、図８のフローチャートを参照して、異常が生じたことをユーザに通知するロボット１の一連の処理について説明する。
　ステップＳ１において、異常検出部１０１は、各デバイスから供給される情報に基づいて、異常が生じているデバイスがあることを検出する。
　ステップＳ２において、異常検出部１０１は、所定の検出方法に基づいて異常箇所を特定する。異常箇所を表す情報は姿勢制御部１０２に出力される。
　ステップＳ３において、姿勢制御部１０２は、異常検出部１０１により検出された異常箇所が存在するエリアを囲む点列Ａを算出する。
　ステップＳ４において、姿勢制御部１０２は姿勢制御処理を行う。姿勢制御処理により、異常箇所がカメラ４１の画角に入るように、ロボット１の姿勢が制御される。姿勢制御処理の詳細については図９のフローチャートを参照して後述する。
　ステップＳ５において、姿勢制御部１０２は、異常箇所がカメラ４１の画角に入るか否かを判定する。異常箇所がカメラ４１の画角に入ると判定された場合、処理はステップＳ６に進む。
　ステップＳ６において、撮影・記録制御部１０３は、カメラ４１を制御し、異常箇所の撮影を行う。撮影を行うことによって得られた画像は、異常が生じたデバイスのエリアを囲む点列Ａの情報などとともに通知情報生成部１０４に出力される。
　ステップＳ７において、通知情報生成部１０４は、撮影・記録制御部１０３から供給された異常箇所の点列Ａを、画像座標系の点列Ｂに変換する。
　ステップＳ８において、通知情報生成部１０４は、撮影された画像に対して、点列Ｂで囲まれる領域をハイライト表示させるように画像処理を施す。画像処理が施されることによって生成された異常通知画像は通知制御部１０５に出力される。
　ステップＳ９において、通知制御部１０５は、異常通知画像を携帯端末２に送信し、処理を終了させる。
　一方、姿勢を制御したとしても異常箇所がカメラ４１の画角に入らないとステップＳ５において判定された場合、ステップＳ１０において代替処理が行われる。
　代替処理は、異常箇所を撮影できない場合に、上述したような異常通知画像を用いた方法とは異なる方法によって、異常が生じたことをユーザに通知する処理である。代替処理については後述する。異常が生じたことが代替処理によって通知された後、処理は終了となる。
　次に、図９のフローチャートを参照して、図８のステップＳ４において行われる姿勢制御処理について説明する。
　ステップＳ３１において、姿勢制御部１０２は、異常箇所の、初期姿勢におけるワールド座標系の３次元座標を算出する。
　ステップＳ３２において、姿勢制御部１０２は、異常箇所の、現在姿勢におけるワールド座標系の３次元座標を算出する。
　ステップＳ３３において、姿勢制御部１０２は、異常箇所であるデバイス上の各点の３次元座標の情報に基づいて、画像座標系における異常箇所の座標を算出する。これにより、異常箇所が写る画像上の領域が特定される。
　ステップＳ３４において、姿勢制御部１０２は、異常箇所が画像の中心付近に写るか否かを判定する。例えば、画像の中心を基準として所定の範囲が予め設定される。所定の範囲の内側に異常箇所が写る場合、異常箇所が中心付近に写ると判定され、その所定の範囲の内側に異常箇所が写らない場合、異常箇所が中心付近に写らないと判定される。
　異常箇所が画像の中心付近に写らないとステップＳ３４において判定した場合、ステップＳ３５において、姿勢制御部１０２は、異常箇所の位置と画像中心との差分に基づいて各関節角の修正量を設定する。ここでは、異常箇所が画像の中心に近づいて写るように各関節角の修正量が設定される。
　ステップＳ３６において、姿勢制御部１０２は、修正量に基づいて駆動部３３を制御し、各関節を駆動させる。
　ステップＳ３７において、姿勢制御部１０２は、関節角の修正を所定の回数繰り返したか否かを判定する。
　関節角の修正を所定の回数繰り返していないとステップＳ３７において判定された場合、ステップＳ３２に戻り、同様にして関節角の修正が繰り返される。
　一方、関節角の修正を所定の回数繰り返したとステップＳ３７において判定された場合、図８のステップＳ４に戻り、それ以降の処理が行われる。
　異常箇所が画像の中心付近に写るとステップＳ３４において判定された場合も同様に、図８のステップＳ４に戻り、それ以降の処理が行われる。
　以上の処理により、ユーザは、ロボット１に異常が生じたことだけでなく、異常箇所をも容易に確認することができる。
　ロボット１としても、自身のデバイスに異常が生じたことをユーザに通知することができる。
　また、動画像を異常通知画像として用いることにより、ロボット１は、不具合状況を再現してユーザに提示することができる。ロボット１は、動画像とともに駆動音を提示することにより、異常箇所を視覚的に提示するだけでなく、異常箇所を聴覚的にも提示することができる。これにより、ユーザは、異常の状況をより詳しく知ることができる。
　動画像を異常通知画像として提示する際、異常箇所の部分にCG(Computer Graphics)で再現された正常動作時の動きを表す動画像が重畳されるようにしてもよい。これにより、異常状態であると判断される症状がどのような状態であるかをユーザにより詳細に伝えることが可能となる。
＜異常通知画像の例＞
　図１０は、異常通知画像の他の例を示す図である。
　図１０のＡ乃至Ｃに示すように、異常通知画像にアイコンが表示されるようにしてもよい。図１０のＡ乃至Ｃに示す異常通知画像には、図７と同様に左腕の関節が写っている。左腕の関節には、その部分をハイライト表示させるための色つきの楕円形の画像が重畳されている。
　図１０のＡに示すアイコンＩ１は、異常発生までの期間を表すカウントダウンタイマーのアイコンである。例えば異常発生までの期間が所定の期間より短くなった場合、アイコンＩ１が合成された異常通知画像がユーザに提示される。
　異常発生までの期間を表すカレンダーや時計などの他の画像がアイコンとして表示されるようにしてもよい。
　異常の種類に応じたアイコンが異常通知画像に表示されるようにしてもよい。
　例えば、異常の種類が過電流である場合、そのことを表す図１０のＢのアイコンＩ２が表示される。また、異常の種類がモータの過熱である場合、そのことを表す図１０のＣのアイコンＩ３が表示される。
　アイコンＩ２を含む異常通知画像を提示する際、例えば、サーモグラフィーカメラを用いて撮影された、異常箇所の実際の発熱状況を表す画像が重畳されるようにしてもよい。これにより、異常箇所が発熱を伴う場合、発熱状況の詳細をユーザに伝えることが可能となる。
　このようなアイコンが動画像に表示されるようにしてもよい。この場合、動画像の各フレームに対してアイコンが合成されることになる。
　なお、異常通知画像として動画像を提示する場合、動画像の撮影は、異常状態であると判断される症状が生じるタイミングを基準として前後の所定の時間を含む時間、行われる。撮影された動画像には、異常状態であると判断される症状が生じる直前から、その症状が生じた後の異常箇所の状態が写っていることになる。
　この場合、上述したようなハイライト表示やアイコンの表示は、例えば、異常状態であると判断される症状が生じている間だけ行われる。これにより、症状が生じる瞬間の状態をユーザにわかりやすく伝えることが可能となる。
＜代替処理の例＞
　ロボット１の関節には可動域があるから、異常箇所によっては、姿勢を制御したとしてもカメラ４１によって撮影することができない場合がある。
　カメラ４１によって異常箇所を撮影することができない場合、以下のような代替処理（図８のステップＳ１０）が行われる。
　（i）他のロボットに撮影してもらう例
　図１１は、他のロボットに撮影してもらう代替処理の例を示す図である。
　図１１の例においては、ロボット１－１の腰に設けられたデバイスに異常が生じたものとされている。ロボット１－１は、異常箇所を自身のカメラ４１によって撮影することができない。
　この場合、ロボット１－１は、異常箇所の３次元座標の情報をロボット１－２に送信し、異常箇所の撮影を要求する。
　図１１の例においては、ロボット１－２は、ロボット１－１と同じ種類のロボットとされており、上述したロボット１と同様の構成を有する。ロボット１－２の頭部にはカメラ４１が設けられる。ロボット１－１とロボット１－２の間では通信を行うことが可能とされる。
　ロボット１－２は、ロボット１－１から送信されてきた情報により表される異常箇所の３次元座標、自身とロボット１－１との相対的な位置関係などに基づいて、自身の座標系における、異常箇所の３次元座標を算出する。
　ロボット１－２は、算出した３次元座標に基づいて、異常箇所が自身のカメラ４１の画角に入るように自身の姿勢を制御し、ロボット１－１の異常箇所を撮影する。
　ロボット１－２による撮影によって得られた画像は、ロボット１－１を介して携帯端末２に送信されるようにしてもよいし、ロボット１－２から携帯端末２に直接送信されるようにしてもよい。
　これにより、ロボット１－１は、自身のカメラ４１で撮影できない位置にあるデバイスに異常が生じた場合であっても、異常が生じたことをユーザに通知することができる。
　（ii）ユーザに直接見せる例
　図１２は、ユーザに直接見せる代替処理の例を示す図である。
　図１２の例においては、ロボット１の腰に設けられたデバイスに異常が生じたものとされている。
　ロボット１は、カメラ４１により撮影された画像に基づいてユーザの位置を認識し、ユーザの近くの位置に移動する。ロボット１には、撮影された画像に写る顔に基づいてユーザを認識する機能が設けられている。
　ユーザの近くの位置に移動した後、ロボット１は、異常箇所をユーザに向けるように自身の姿勢を制御し、ユーザに提示する。
　「ここをスマートフォンで撮影して」などの音声をスピーカ４３から出力し、ユーザに異常箇所を撮影してもらうようにしてもよい。ユーザに撮影したもらった画像は、携帯端末２からロボット１に送信される。
　このように、異常が生じたことをロボット１の動作によってユーザに直接通知することも可能である。
　（iii）デタッチ式のカメラを用いる例
　図１３は、デタッチ式のカメラを用いる代替処理の例を示す図である。
　図１３の例においては、ロボット１の頭部の背面側（後頭部）に設けられたデバイスに異常が生じたものとされている。ロボット１は、異常箇所を自身のカメラ４１によって撮影することができない。ロボット１は、デタッチ式（着脱式）のカメラを筐体の所定の位置に有している。
　ロボット１は、デタッチ式のカメラ１６１を取り外して把持し、異常箇所がカメラ１６１の画角に入るように自身の姿勢を制御し、異常箇所を撮影する。カメラ１６１により撮影された画像は、ロボット１に転送され、携帯端末２に送信される。
　（iv）鏡に映った姿を撮影する例
　図１４は、鏡に映った姿を撮影する代替処理の例を示す図である。
　図１４の例においては、ロボット１の頭部の付け根（首）に設けられたデバイスに異常が生じたものとされている。ロボット１は、異常箇所を自身のカメラ４１によって撮影することができない。
　この場合、ロボット１は、予め記憶している情報に基づいて鏡Ｍの前に移動する。ロボット１には、鏡Ｍの反射面の位置を表す情報が設定されている。カメラ４１により撮影された画像を解析することによって鏡Ｍの反射面の位置が特定されるようにしてもよい。
　鏡Ｍの反射面の前に移動した後、ロボット１は、異常箇所を鏡Ｍ向けるように自身の姿勢を制御し、撮影する。
　以上のように、カメラ４１で撮影できない位置にあるデバイスに異常が生じた場合、代替処理として、異常箇所の通知が各種の方法により行われるようにすることが可能である。
＜変形例＞
・制御システムの例
　異常が生じたことをユーザに通知するための機能の一部が、携帯端末２、インターネット上のサーバなどの外部の装置に設けられるようにしてもよい。
　図１５は、制御システムの構成例を示す図である。
　図１５の制御システムは、ロボット１と制御サーバ２０１がインターネットなどのネットワーク２０２を介して接続されることによって構成される。ロボット１と制御サーバ２０１は、ネットワーク２０２を介して通信を行う。
　図１５の制御システムにおいては、ロボット１において生じた異常が、ロボット１から送信されてくる情報に基づいて制御サーバ２０１により検出される。ロボット１から制御サーバ２０１に対しては、ロボット１の各デバイスの状態を表す情報が順次送信される。
　ロボット１において異常が生じたことを検出した場合、制御サーバ２０１は、ロボット１の姿勢を制御し、異常箇所の撮影を行わせる。制御サーバ２０１は、ロボット１により撮影された画像を取得し、ハイライト表示のための画像処理などを施した後、携帯端末２に送信する。
　このように、制御サーバ２０１は、ロボット１を制御するとともに、ロボット１において生じた異常をユーザに通知することを制御する制御装置として機能する。制御サーバ２０１においては、所定のプログラムが実行されることにより、図４の各機能部が実現される。
・コンピュータの構成例
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
　図１６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。図１５の制御サーバ２０１も、図１６に示す構成と同様の構成を有する。
　CPU(Central Processing Unit)１００１、ROM(Read Only Memory)１００２、RAM(Random Access Memory)１００３は、バス１００４により相互に接続されている。
　バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、キーボード、マウスなどよりなる入力部１００６、ディスプレイ、スピーカなどよりなる出力部１００７が接続される。また、入出力インタフェース１００５には、ハードディスクや不揮発性のメモリなどよりなる記憶部１００８、ネットワークインタフェースなどよりなる通信部１００９、リムーバブルメディア１０１１を駆動するドライブ１０１０が接続される。
　以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを入出力インタフェース１００５及びバス１００４を介してRAM１００３にロードして実行することにより、上述した一連の処理が行われる。
　CPU１００１が実行するプログラムは、例えばリムーバブルメディア１０１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供され、記憶部１００８にインストールされる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
・構成の組み合わせ例
　本技術は、以下のような構成をとることもできる。
（１）
　ロボットの所定の部位に生じた異常を検出する異常検出部と、
　異常が生じた前記所定の部位がカメラの画角に含まれるように、前記ロボットの姿勢を制御する姿勢制御部と
　を備える制御装置。
（２）
　前記カメラは、前記ロボットの所定の位置に設けられる
　前記（１）に記載の制御装置。
（３）
　前記カメラによる撮影を制御する記録制御部と、
　前記カメラにより撮影された画像を外部の装置に送信し、異常の発生を通知する通知制御部と
　をさらに備える前記（２）に記載の制御装置。
（４）
　前記所定の部位が写る領域を強調表示させるための画像処理を前記画像に施す情報生成部をさらに備え、
　前記通知制御部は、前記画像処理が施された前記画像を送信する
　前記（３）に記載の制御装置。
（５）
　前記情報生成部は、前記所定の部位に生じた異常の種類に応じた前記画像処理を施す
　前記（４）に記載の制御装置。
（６）
　前記情報生成部は、前記所定の部位に生じた異常の種類に応じたアイコンを前記画像に合成させる
　前記（４）に記載の制御装置。
（７）
　前記記録制御部は、前記所定の部位が写る静止画像または動画像を撮影させる
　前記（４）に記載の制御装置。
（８）
　前記記録制御部は、前記所定の部位において特定の動作を行うときに異常が生じる場合、異常が生じるタイミングの前後の所定の時間を含む時間の前記動画像を撮影させる
　前記（７）に記載の制御装置。
（９）
　前記情報生成部は、正常な前記特定の動作を表す画像を前記動画像に合成する
　前記（８）に記載の制御装置。
（１０）
　前記記録制御部は、前記特定の動作を行うときの音を記録する
　前記（８）または（９）に記載の制御装置。
（１１）
　前記姿勢制御部は、姿勢の制御後に前記所定の部位が前記カメラの画角に含まれない場合、前記カメラの位置を制御する
　前記（２）乃至（１０）のいずれかに記載の制御装置。
（１２）
　前記カメラは、前記ロボットの前記所定の位置から取り外し可能な機器である
　前記（１１）に記載の制御装置。
（１３）
　前記記録制御部は、姿勢の制御後に前記所定の部位が前記カメラの画角に含まれない場合、前記所定の部位の撮影を他のロボットに行わせる
　前記（３）乃至（１０）のいずれかに記載の制御装置。
（１４）
　前記通知制御部は、前記所定の部位に異常が生じたことを前記ロボットの動作により通知する
　前記（３）乃至（１０）のいずれかに記載の制御装置。
（１５）
　制御装置が、
　ロボットの所定の部位に生じた異常を検出し、
　異常が生じた前記所定の部位がカメラの画角に含まれるように、前記ロボットの姿勢を制御する
　制御方法。
（１６）
　コンピュータに、
　ロボットの所定の部位に生じた異常を検出し、
　異常が生じた前記所定の部位がカメラの画角に含まれるように、前記ロボットの姿勢を制御する
　処理を実行させるためのプログラム。
　１　ロボット，　２　携帯端末，　１１　ネットワーク，　３１　制御部，　３３　駆動部，　４１　カメラ，　１０１　異常検出部，　１０２　姿勢制御部，　１０３　撮影・記録制御部，　１０４　通知情報生成部，　１０５　通知制御部

Claims (16)

  1. 　ロボットの所定の部位に生じた異常を検出する異常検出部と、
    　異常が生じた前記所定の部位がカメラの画角に含まれるように、前記ロボットの姿勢を制御する姿勢制御部と
    　を備える制御装置。
  2. 　前記カメラは、前記ロボットの所定の位置に設けられる
    　請求項１に記載の制御装置。
  3. 　前記カメラによる撮影を制御する記録制御部と、
    　前記カメラにより撮影された画像を外部の装置に送信し、異常の発生を通知する通知制御部と
    　をさらに備える請求項２に記載の制御装置。
  4. 　前記所定の部位が写る領域を強調表示させるための画像処理を前記画像に施す情報生成部をさらに備え、
    　前記通知制御部は、前記画像処理が施された前記画像を送信する
    　請求項３に記載の制御装置。
  5. 　前記情報生成部は、前記所定の部位に生じた異常の種類に応じた前記画像処理を施す
    　請求項４に記載の制御装置。
  6. 　前記情報生成部は、前記所定の部位に生じた異常の種類に応じたアイコンを前記画像に合成させる
    　請求項４に記載の制御装置。
  7. 　前記記録制御部は、前記所定の部位が写る静止画像または動画像を撮影させる
    　請求項４に記載の制御装置。
  8. 　前記記録制御部は、前記所定の部位において特定の動作を行うときに異常が生じる場合、異常が生じるタイミングの前後の所定の時間を含む時間の前記動画像を撮影させる
    　請求項７に記載の制御装置。
  9. 　前記情報生成部は、正常な前記特定の動作を表す画像を前記動画像に合成する
    　請求項８に記載の制御装置。
  10. 　前記記録制御部は、前記特定の動作を行うときの音を記録する
    　請求項８に記載の制御装置。
  11. 　前記姿勢制御部は、姿勢の制御後に前記所定の部位が前記カメラの画角に含まれない場合、前記カメラの位置を制御する
    　請求項２に記載の制御装置。
  12. 　前記カメラは、前記ロボットの前記所定の位置から取り外し可能な機器である
    　請求項１１に記載の制御装置。
  13. 　前記記録制御部は、姿勢の制御後に前記所定の部位が前記カメラの画角に含まれない場合、前記所定の部位の撮影を他のロボットに行わせる
    　請求項３に記載の制御装置。
  14. 　前記通知制御部は、前記所定の部位に異常が生じたことを前記ロボットの動作により通知する
    　請求項３に記載の制御装置。
  15. 　制御装置が、
    　ロボットの所定の部位に生じた異常を検出し、
    　異常が生じた前記所定の部位がカメラの画角に含まれるように、前記ロボットの姿勢を制御する
    　制御方法。
  16. 　コンピュータに、
    　ロボットの所定の部位に生じた異常を検出し、
    　異常が生じた前記所定の部位がカメラの画角に含まれるように、前記ロボットの姿勢を制御する
    　処理を実行させるためのプログラム。
PCT/JP2019/025804 2018-07-13 2019-06-28 制御装置、制御方法、およびプログラム WO2020012983A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020530106A JP7388352B2 (ja) 2018-07-13 2019-06-28 制御装置、制御方法、およびプログラム
US17/250,328 US20210272269A1 (en) 2018-07-13 2019-06-28 Control device, control method, and program
CN201980045559.7A CN112384344A (zh) 2018-07-13 2019-06-28 控制设备、控制方法和程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018133238 2018-07-13
JP2018-133238 2018-07-13

Publications (1)

Publication Number Publication Date
WO2020012983A1 true WO2020012983A1 (ja) 2020-01-16

Family

ID=69141460

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/025804 WO2020012983A1 (ja) 2018-07-13 2019-06-28 制御装置、制御方法、およびプログラム

Country Status (4)

Country Link
US (1) US20210272269A1 (ja)
JP (1) JP7388352B2 (ja)
CN (1) CN112384344A (ja)
WO (1) WO2020012983A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022210078A1 (ja) * 2021-03-29 2022-10-06 ファナック株式会社 制御装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11915192B2 (en) 2019-08-12 2024-02-27 Walmart Apollo, Llc Systems, devices, and methods for scanning a shopping space
US11584004B2 (en) * 2019-12-17 2023-02-21 X Development Llc Autonomous object learning by robots triggered by remote operators
US12288408B2 (en) 2022-10-11 2025-04-29 Walmart Apollo, Llc Systems and methods of identifying individual retail products in a product storage area based on an image of the product storage area
US12333488B2 (en) 2022-10-21 2025-06-17 Walmart Apollo, Llc Systems and methods of detecting price tags and associating the price tags with products
US12361375B2 (en) 2023-01-30 2025-07-15 Walmart Apollo, Llc Systems and methods of updating model templates associated with images of retail products at product storage facilities

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002144260A (ja) * 2000-11-13 2002-05-21 Sony Corp 脚式移動ロボット及びその制御方法
JP2004328333A (ja) * 2003-04-24 2004-11-18 Hitachi Ltd 携帯通信端末及び異常事態報知システム
JP2005324267A (ja) * 2004-05-13 2005-11-24 Honda Motor Co Ltd 車輌診断ロボット
JP2017144532A (ja) * 2016-02-19 2017-08-24 ファナック株式会社 カメラの画像により故障を判定するロボットシステムの故障診断装置
JP2018047538A (ja) * 2016-09-23 2018-03-29 カシオ計算機株式会社 ロボット、状態判定システム、状態判定方法及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006099726A (ja) 2004-09-03 2006-04-13 Tcm Corp 無人搬送設備
KR20090043088A (ko) * 2007-10-29 2009-05-06 삼성전자주식회사 영상 기반의 로봇 고장 자가 진단 장치 및 방법
JP2014053795A (ja) 2012-09-07 2014-03-20 ＮＥＵＳＯＦＴ Ｊａｐａｎ株式会社 情報処理装置及び情報処理システム
US9751220B2 (en) 2015-03-31 2017-09-05 Google Inc. Flexure based torque sensor
JP6677198B2 (ja) 2017-03-16 2020-04-08 トヨタ自動車株式会社 ロボットの故障診断支援システム及び故障診断支援方法
US10521604B2 (en) * 2017-03-17 2019-12-31 Labyrinth Research Llc Unified control of privacy-impacting devices
JP7073785B2 (ja) * 2018-03-05 2022-05-24 オムロン株式会社 画像検査装置、画像検査方法及び画像検査プログラム
JP6687656B2 (ja) * 2018-03-19 2020-04-28 ファナック株式会社 検査装置およびその検査方法
US10943320B2 (en) * 2018-05-04 2021-03-09 Raytheon Technologies Corporation System and method for robotic inspection
WO2020031718A1 (ja) * 2018-08-08 2020-02-13 ソニー株式会社 制御装置、制御方法、およびプログラム
KR102206753B1 (ko) * 2019-01-24 2021-01-22 주식회사 수아랩 결함 검사 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002144260A (ja) * 2000-11-13 2002-05-21 Sony Corp 脚式移動ロボット及びその制御方法
JP2004328333A (ja) * 2003-04-24 2004-11-18 Hitachi Ltd 携帯通信端末及び異常事態報知システム
JP2005324267A (ja) * 2004-05-13 2005-11-24 Honda Motor Co Ltd 車輌診断ロボット
JP2017144532A (ja) * 2016-02-19 2017-08-24 ファナック株式会社 カメラの画像により故障を判定するロボットシステムの故障診断装置
JP2018047538A (ja) * 2016-09-23 2018-03-29 カシオ計算機株式会社 ロボット、状態判定システム、状態判定方法及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022210078A1 (ja) * 2021-03-29 2022-10-06 ファナック株式会社 制御装置
JP7652888B2 (ja) 2021-03-29 2025-03-27 ファナック株式会社 制御装置

Also Published As

Publication number Publication date
CN112384344A (zh) 2021-02-19
JPWO2020012983A1 (ja) 2021-07-15
US20210272269A1 (en) 2021-09-02
JP7388352B2 (ja) 2023-11-29

Similar Documents

Publication Publication Date Title
WO2020012983A1 (ja) 制御装置、制御方法、およびプログラム
US11498220B2 (en) Control system and control method
CN109040600B (zh) 全景景象拍摄及浏览的移动装置、系统及方法
US12246456B2 (en) Image generation device, robot training system, image generation method, and non-transitory computer readable storage medium
JP5467303B1 (ja) 注視点検出装置、注視点検出方法、個人パラメータ算出装置、個人パラメータ算出方法、プログラム、及びコンピュータ読み取り可能な記録媒体
US11192249B2 (en) Simulation device for robot
US10713486B2 (en) Failure diagnosis support system and failure diagnosis support method of robot
CN111614919B (zh) 影像记录装置以及头戴式显示器
US10606340B2 (en) Apparatus, methods, computer programs, and non-transitory computer readable storage mediums for enabling remote control of one or more devices
JP2016107379A (ja) 拡張現実対応ディスプレイを備えたロボットシステム
JP6598191B2 (ja) 画像表示システムおよび画像表示方法
JP2009282915A (ja) サーバーコンピュータの温度監視方法、及びその装置
CN101434066A (zh) 机器人遥操作预测方法和遥操作预测平台
US20240269857A1 (en) Robot system, control apparatus of robot system, control method of robot system, imaging apparatus, and storage medium
TWI573104B (zh) 室內監控系統及其方法
JP7103354B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP7427115B2 (ja) 安心ビジョン装置、及び安心ビジョンシステム
KR20230103063A (ko) 로봇 및 그 제어 방법
US11256925B2 (en) Monitoring system and monitoring method thereof
JP6897593B2 (ja) 学習対象装置及び動作方法
JP2025511497A (ja) 化学物質流出警報提供方法及び提供システム
JP7223865B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP4779226B2 (ja) ロボット装置、並びに、画像記憶方法及び画像記憶装置、並びに、制御プログラム及び記録媒体
CN116615317A (zh) 训练数据生成装置、机器学习装置以及机器人关节角度推定装置
JP2021058990A (ja) 画像処理装置、制御方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19833163

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020530106

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19833163

Country of ref document: EP

Kind code of ref document: A1