[go: up one dir, main page]

WO2018043524A1 - ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 - Google Patents

ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 Download PDF

Info

Publication number
WO2018043524A1
WO2018043524A1 PCT/JP2017/031055 JP2017031055W WO2018043524A1 WO 2018043524 A1 WO2018043524 A1 WO 2018043524A1 JP 2017031055 W JP2017031055 W JP 2017031055W WO 2018043524 A1 WO2018043524 A1 WO 2018043524A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
image
sign
robot
position information
Prior art date
Application number
PCT/JP2017/031055
Other languages
English (en)
French (fr)
Inventor
永井　亮
昭夫 黒澤
Original Assignee
倉敷紡績株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 倉敷紡績株式会社 filed Critical 倉敷紡績株式会社
Priority to JP2018537323A priority Critical patent/JP6855491B2/ja
Publication of WO2018043524A1 publication Critical patent/WO2018043524A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/10—Programme-controlled manipulators characterised by positioning means for manipulator elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices

Definitions

  • the present invention relates to a robot system for moving the hand of an articulated robot to a target object.
  • the present invention also relates to a control apparatus and control method for such a robot system.
  • a system that uses an articulated robot to recognize the surrounding environment and work based on information obtained from a visual sensor such as a camera has been studied. For example, it is an operation of recognizing a stacked object with a camera and moving a hand at the tip of a robot arm to the work object and grasping it.
  • the position information of the object is obtained by a camera or the like, and then the position information is converted from the camera coordinate system to the robot coordinate system.
  • the robot coordinate system it is necessary to obtain the relative positional relationship between the camera and the robot in advance. Therefore, a calibration matrix for performing coordinate transformation between the camera coordinate system and the world coordinate system and between the robot coordinate system and the world coordinate system is obtained by calibration. Thereby, the position coordinate in the camera coordinate system of a target object can be converted into the position coordinate in a robot coordinate system via a world coordinate system.
  • Patent Document 1 the robot arm device is operated so that the tip of the pointer stick gripped by the tip of the robot arm device draws a rectangle, and the position of each vertex of the rectangle is measured as a stereo image.
  • a method is described in which coordinate transformation data is calculated based on the data and the relative position and orientation relationship between the robot arm device and the stereo measurement device is obtained via an intermediate coordinate system based on a rectangle.
  • data actually measured by a robot system is used instead of design data, it is not affected by errors caused by processing and mounting that occur at the time of system production, and the robot arm device and the stereo image measuring device can be accurately The relative position and orientation relationship can be obtained, and the time required for calibration work can be shortened.
  • the present invention has been made in consideration of the above, and does not require the position measurement of the installed camera or robot, and is not affected by lens distortion, etc. It is an object of the present invention to provide a robot system, a robot system control device, and a robot system control method that can move to a target position.
  • the robot is controlled using a reference table that directly associates the position information obtained from the image of the camera with the posture parameters of the articulated robot.
  • the robot system of the present invention includes an articulated robot, one or more cameras that image the work space of the robot, and a control device. Then, at the time of calibration, the control device acquires posture parameters of the robot, acquires an image from the camera, recognizes a sign fixed to the robot in the image, and obtains position information of the sign Calculate and store a reference table that associates the position information of the sign with the posture parameters of the robot.
  • the control device obtains an image from the camera at the time of work, recognizes an object in the image, calculates position information of the object, and calculates the reference table from the position information of the object. Referring to, the posture parameter for moving the hand to the target is acquired, and the acquired posture parameter is transmitted to the robot.
  • the robot posture parameter is a parameter related to the posture of the robot and can determine at least the position of the hand.
  • the sign fixed to the robot refers to a sign whose positional relationship with the hand or arm of the robot is fixed, such as a sign held by the hand.
  • the robot system includes a first camera and a second camera
  • the position information of the sign and the position information of the object are pixels in the image of the sign or the object by the first camera, respectively. It is a set of a position and a pixel position in an image obtained by the second camera.
  • the robot system includes a first camera and a second camera, and the position information of the sign and the position information of the object are pixel positions in the image by the first camera of the sign or the object, respectively. And distance information calculated based on the principle of triangulation from the image from the first camera and the image from the second camera.
  • the robot system includes a first camera and a second camera, and the position information of the sign and the position information of the object are respectively the image of the sign or the object and the second camera. It may be a three-dimensional position coordinate in a camera coordinate system calculated based on the principle of triangulation from an image by a camera.
  • the robot system further includes a mirror that is within an angle of view of the camera and is arranged so that the work space is reflected when viewed from the camera.
  • the position information of the object may be a set of a pixel position of a direct image and a pixel position of a reflected image by the mirror of the sign or the object in the image by the camera.
  • the camera is a distance image camera
  • the position information of the sign and the position information of the object are respectively the pixel position and distance information of the sign or the object in the distance image by the distance image camera. It may be a pair.
  • the position information of the sign and the position information of the object are respectively the pixel position in the image of the sign or the object by the camera and the area in the image when the sign is at the position.
  • a pair may be used.
  • the posture parameter is a set of joint variables of the robot.
  • the posture parameter may be a three-dimensional position coordinate in the robot coordinate system of the sign or the object.
  • the robot system control device acquires a posture parameter of the robot during calibration of the articulated robot, and signs that are fixed to the robot hand from one or more cameras that image the work space of the robot. Is acquired, the sign is recognized in the image, the position information of the sign is calculated, and a reference table in which the position information of the sign and the posture parameter of the robot are associated is created and stored. .
  • the robot system control device acquires an image from the camera during the operation of the robot, recognizes an object in the image, calculates position information of the object, and From the positional information, the posture parameter for moving the hand to the object is acquired with reference to the reference table, and the acquired posture parameter is transmitted to the robot.
  • Another robot system control device includes a first communication unit that transmits and / or receives a posture parameter of an articulated robot to the robot and an image showing a sign fixed to the robot from a camera.
  • a second communication unit for receiving, a calculation unit for recognizing the sign from the image, calculating position information of the sign, and creating a reference table associating the position information of the hand with the posture parameter; and the reference And a storage unit for storing the table.
  • the second communication unit receives an image of an object from the camera, the arithmetic unit recognizes the object from the image, and the object The position information of the object is calculated, the posture parameter for moving the robot hand to the object is acquired from the position information of the object with reference to the reference table, and the first communication unit The posture parameter is transmitted to the robot.
  • the robot system control method of the present invention includes a calibration process and a work process.
  • the calibration process while moving the marker by operating an articulated robot with a marker fixed, the work space of the robot is imaged by one or more cameras, and the marker is captured in the image captured by the camera. Recognizing and calculating the position information of the sign, the position information of the sign and the posture parameter of the robot at the time of imaging are associated with each other and sequentially registered in the reference table.
  • a work space in which an object exists is imaged by the camera, the object is recognized in an image imaged by the camera, position information of the object is calculated, and the position information of the object is calculated. Referring to the reference table, the posture parameter for moving the hand of the robot to the object is acquired, and the acquired posture parameter is transmitted to the robot.
  • a reference table that directly associates the position information by the camera with the posture parameter of the robot is created using the actual camera and robot, and the reference is made. Operate the robot based on the table. Since the reference table is created using an actual camera and robot, the hand can be moved to the target position without being affected by errors in manufacturing the system and irregular lens distortion. In addition, since other coordinate systems such as world coordinates are not used, it is not necessary to measure the internal / external parameters of the camera, the installation position / orientation, etc. of the robot, and labor saving of the calibration work can be achieved.
  • 1 is an overall configuration diagram of a robot system according to a first embodiment of the present invention. It is a functional block diagram of the robot system control device of a 1st embodiment of the present invention. It is a flowchart of the robot control method of 1st Embodiment of this invention. It is a flowchart of the calibration process of the robot control method of 1st Embodiment of this invention. It is a flowchart of the hand movement in the operation
  • the robot system 10 of the present embodiment includes an articulated robot 20, a first camera 30 and a second camera 31 that capture an image of a robot work space, and a robot system control device 40.
  • robot system control device is simply referred to as “control device”.
  • Robot 20 is fixed at the work place.
  • the robot 20 includes a base 25 for fixing the robot to the work place, an arm 21 having a plurality of links 22 connected by joints 23, a hand 24 connected to the tip of the arm, and a drive unit 26.
  • Each joint of the robot includes an actuator (not shown) such as a servomotor and a sensor (not shown) that detects a joint variable of the joint.
  • the joint variable refers to the displacement of the joint, and specifically refers to the joint angle (inter-link angle) of the rotary joint and the inter-link distance of the linear motion joint.
  • the hand 24 is also called a hand tip or an end effector.
  • FIG. 1 shows a state at the time of calibration, and the robot holds the marker 50 in the hand.
  • the drive unit 26 of the robot 20 drives the arm and the hand.
  • the drive unit having the simplest configuration includes a drive device such as a servo amplifier, and drives the actuator of each joint based on joint variables received from the outside.
  • the drive unit further includes a CPU that stores various arithmetic processes, a memory that stores a program, and the like, and can receive the three-dimensional position coordinates of the hand in the robot coordinate system from outside and calculate joint variables.
  • the robot coordinate system is a coordinate system based on the fixed point of the robot, and is preferably a coordinate system based on the base 25.
  • the robot coordinate system may be an orthogonal coordinate system or various polar coordinate systems.
  • the term “three-dimensional position coordinates” simply means three-dimensional position coordinates in the robot coordinate system.
  • the robot 20 has a base 25 fixed to the work place, and does not move throughout calibration and work. Therefore, the position of the hand 24 can be represented by a combination of joint variables or three-dimensional position coordinates. For example, when the degree of freedom of the arm 21 is 3, the position of the hand and the posture of the arm are determined by the three joint variables of the arm. Alternatively, when the degree of freedom of the arm 21 is 3 and the degree of freedom of the hand 24 is 3, the position and posture of the hand and the posture of the arm are determined by the six joint variables of the arm and hand.
  • the three-dimensional position coordinates of the hand represent the position of the hand.
  • a parameter related to the posture of the robot and capable of determining at least the position of the hand is referred to as a “robot posture parameter” in this specification.
  • the type of the robot is not particularly limited, and various articulated robots such as a horizontal articulated type and a parallel link type can be used in addition to the serial link type vertical articulated robot illustrated in FIG.
  • the first camera 30 and the second camera 31 are fixed to the work place.
  • the two cameras are installed so as to image the work space of the robot 20.
  • the work space of the robot refers to an area in which the hand may move during work out of the space area that the robot hand 24 can reach.
  • the two cameras 30 and 31 are cameras that can capture a two-dimensional image.
  • the control device 40 includes a first communication unit 41, a second communication unit 42, a calculation unit 43, a storage unit 44, and a third communication unit 45.
  • the first communication unit 41 is connected to the driving unit 26 of the robot 20 through a signal line, and communicates with the robot.
  • the first communication unit transmits a posture parameter corresponding to the target position to the robot and instructs the hand 24 to move to the target position.
  • the first communication unit receives posture parameters such as joint variables from the robot.
  • the second communication unit 42 is connected to the first camera 30 and the second camera 31 via a signal line, and performs communication with the camera.
  • the second communication unit transmits an imaging instruction to the camera and receives an image from the camera.
  • the calculation unit 43 processes the image received by the second communication unit 42 from the cameras 30 and 31.
  • the calculation unit recognizes the sign 50 in the image and calculates its position information, and the position information and the posture parameter transmitted from the first communication unit 41 to the robot or the first communication unit received from the robot.
  • the calculation unit recognizes the object in the image and calculates its position information.
  • the computing unit refers to the reference table and acquires posture parameters for moving the robot hand to the target object from the position information of the target object.
  • the storage unit 44 stores a reference table.
  • a rewritable and randomly accessible auxiliary storage device such as a hard disk device can be suitably used.
  • the third communication unit 45 is connected to the input device 46 and the output device 47 through signal lines, and communicates with the operator.
  • the third communication unit receives an instruction from the operator from the input device 46 and transmits the status of the robot system to the operator to the output device 47.
  • the control device 40 does not necessarily need to be physically one device, and a plurality of devices may share processing. Further, the control device may be formed integrally with the drive unit 26 of the robot.
  • the robot system control method includes installation of a robot and a camera in a work place, a calibration process, and a work process using the robot.
  • the robot 20, the first camera 30, and the second camera 31 are installed in the work place.
  • the two cameras are installed at positions and orientations where the work space of the robot can be imaged.
  • the angle formed by the optical axes of the two cameras is preferably 30 to 150 degrees, more preferably 60 to 120 degrees, and particularly preferably 70 to 110 degrees. This is because the spatial resolution in the optical axis direction of the cameras becomes lower as the directions of the two cameras are parallel or closer to each other. However, the more the directions of the two cameras are different, the higher the possibility that an occlusion in which a part of the sign becomes a blind spot occurs.
  • the orientations of the two cameras may be appropriately determined according to the shape of the sign and the work space so that the occlusion is less likely to occur and the necessary spatial resolution can be secured.
  • the robot and the camera are fixed to the work place through the following calibration process and work process.
  • Fig. 4 shows the flow of the calibration process.
  • a reference table that associates position information obtained from the camera with the posture parameters of the robot is created.
  • the sign 50 is fixed to the hand 24.
  • grip the sign with the hand hold the sign with the hand by adsorption or other methods, fix the object to be marked to the hand, become a sign on a part of the hand This includes drawing a mark, and marking a characteristic part of the hand.
  • an object itself an object having a shape similar to the object, a spherical object, a pointer, or the like can be used.
  • the sign may be fixed to an arm that is a movable part of the robot.
  • the sign is preferably fixed so that the position of the sign matches the gripping position of the hand. This is because the mark position registered in the reference table matches the target position for hand movement during work.
  • the spherical marker 50 is fixed by being gripped by the hand, and the marker position matches the gripping position of the hand. In the present embodiment, the description will be continued below assuming that the marker position matches the gripping position of the hand.
  • the robot is operated in accordance with an instruction from the first communication unit 41 of the control device 40, and the hand 24 and the sign 50 are moved in the work space.
  • the range in which the sign is moved can be input by the operator from the input device 46 and transmitted to the control device.
  • the operator may directly input the joint variable corresponding to the point on the movement path, or the operator inputs the three-dimensional position coordinates of the point on the movement path to drive the arithmetic unit 43 or the robot.
  • the unit 26 may calculate the joint variable.
  • the method for creating the reference table when the sign is stopped is as follows.
  • the posture parameter registered in the reference table may be a posture parameter transmitted from the first communication unit 41 to the robot 20 or a posture parameter received by the first communication unit from the robot.
  • the control device 40 already knows the posture parameter transmitted from the first communication unit 41 to the robot. Good.
  • the first communication unit receives the joint variable from the robot when the sign is stopped, and registers the joint variable in the reference table. May be.
  • the second communication unit 42 transmits an imaging instruction to the cameras 30 and 31, and receives an image when the sign is stopped from the cameras 30 and 31.
  • FIG. 6 shows images received from the cameras 30 and 31 by the control device 40. Signs 50 are recorded on the two images.
  • the calculation unit 43 of the control device processes the image received from the camera and recognizes the sign in the image. As a method for recognizing a sign, a known method such as feature point extraction or template matching can be used.
  • the calculation unit calculates a set of pixel positions (u 1i , v 1i , u 2i , v 2i ) in the two images of the sign as position information of the sign.
  • the method for creating the reference table while the sign is moving is as follows.
  • the first communication unit 41 receives a posture parameter to be registered in the reference table from the robot.
  • the imaging timing of the camera and the acquisition timing of the posture parameter of the robot can be synchronized, the same time is designated from the first communication unit 41 and the second communication unit 42 to the robot and the cameras 30 and 31, respectively.
  • the 1st communication part 41 and the 2nd communication part 42 may each receive an attitude
  • the synchronization signal may be generated by a synchronization signal generation unit (not shown) in the control device 40, or may be generated by either the first or second communication unit.
  • the second communication unit receives images from the two cameras every moment, and the first communication unit acquires the posture parameters acquired from the robot. Images at the same time can be selected.
  • the calculation unit 43 recognizes the sign 50 in the image and calculates its position information.
  • the position information by the camera and the robot posture parameter corresponding to the position are obtained for one sign position.
  • the calculation unit 43 of the control device creates one record by associating the position information with the posture parameter, and additionally registers it in the reference table stored in the storage unit 44.
  • the records in the reference table are sorted using the position information as a key at the end of calibration. This is to make the search at work more efficient.
  • FIG. 7 shows an example of a reference table.
  • Each record of this reference table includes, as position information, coordinates (u 1i , v 1i ) as pixel positions in the first camera image, coordinates (u 2i , v 2i ) as pixel positions in the second camera image, and It consists of six joint angles ( ⁇ 1i , ⁇ 2i , ⁇ 3i , ⁇ 4i , ⁇ 5i , ⁇ 6i ) in a robot with 6 degrees of freedom as posture parameters.
  • Fig. 5 shows the flow of hand movement in the work process.
  • the robot hand is moved to the work object based on the position information calculated from the camera image.
  • the control device 40 transmits an imaging instruction from the second communication unit 42 to the cameras 30 and 31, and the camera images the work space. There are objects in the work space.
  • the second communication unit receives an image from the camera.
  • the calculation unit 43 processes two images and recognizes an object in the images.
  • the method for recognizing an object can be performed in the same manner as the method for recognizing a sign.
  • the calculation unit calculates the position coordinates of the object in each camera coordinate system as the position information of the object that is the target of hand movement.
  • the calculation unit 43 searches the reference table stored in the storage unit 44 from the position information of the object. If a record including the position information of the target object is found in the reference table, the calculation unit acquires posture parameters corresponding to the position information. When the record including the position information of the target object is not found in the reference table, the calculation unit may estimate and acquire the posture parameter corresponding to the position information of the target object. For example, posture parameters can be estimated by interpolating between posture parameters in a plurality of records having close positional information.
  • the first communication unit 41 transmits posture parameters to the robot and instructs the hand to move to the target.
  • the position of the hand may be finely adjusted after the robot operates according to the posture parameter.
  • a known method such as a method described in International Publication No. 2013/176212 can be used.
  • the result is preferably fed back to the reference table.
  • the first communication unit 41 of the control device transmits a posture parameter request to the robot, receives the posture parameter from the robot, and the calculation unit 43 receives the target.
  • the positional information of the object and the posture parameter may be associated and additionally registered in the reference table of the storage unit 44.
  • the position information obtained from the camera image of the point and the robot posture parameter corresponding to the point are registered in association with each other in the robot work space.
  • the position information registered in the lookup table is not limited to the set of two pixel coordinates as shown in FIG.
  • the position information is calculated based on the principle of triangulation from the pixel position (u 1i , v 1i ) in the image by the first camera, the image by the first camera, and the image by the second camera, as shown in FIG. 8, for example. It may be a pair with the distance information (d i ).
  • the position information may be three-dimensional position coordinates in the camera coordinate system calculated based on the principle of triangulation from the image by the first camera and the image by the second camera. In these cases, it is necessary to know the center-to-center distance (base line length) between the first camera and the second camera and the epipolar line in the image.
  • base line length center-to-center distance between the first camera and the second camera and the epipolar line in the image.
  • a commercially available stereo camera in which the first camera and the second camera are integrated. Is used, the geometric parameters of such a camera are adjusted in advance,
  • posture parameters registered in the reference table is a joint variable of the robot.
  • the joint variable is not limited to a set of joint angles as shown in FIG.
  • joint variables corresponding to the types of joints constituting the robot are combined using joint angles (inter-link angles) for rotary joints and inter-link distances for linear motion joints.
  • the position of the marker at the time of calibration coincides with the gripping position of the hand as shown in FIG. This is because the position information of the sign and the joint variable when the sign is actually grasped can be associated and registered in the reference table.
  • the hand can be moved to the target position for gripping the target object by indicating to the robot the joint variable obtained by searching the reference table from the position information of the target object during the work.
  • the positional information and joint variables registered in the reference table already incorporate the influence of the deflection and the like, and no special consideration is required during the work.
  • the position information of the sign is obtained.
  • the joint variable at the time cannot be registered in the reference table as it is. This is because the joint variable does not correspond to the position of the marker. In other words, even if the robot is instructed of the joint variable when obtaining the position information of the sign, the hand cannot grasp the object at the position of the sign.
  • the three-dimensional position coordinates of the sign are once obtained from the joint variable when the position information of the sign is obtained, converted into the joint variable corresponding to the sign position based on the design data of the robot, and registered in the reference table. be able to.
  • the joint variable can be obtained in consideration of a geometric constraint condition for avoiding an obstacle in the work place.
  • the posture parameter registered in the reference table is a three-dimensional position coordinate in the robot coordinate system of the sign.
  • the robot coordinate system may be a coordinate system that does not change throughout the calibration and work process.
  • a coordinate system based on the base 25 of the robot can be used.
  • the robot coordinate system may be an orthogonal coordinate system or a polar coordinate system.
  • FIG. 9 shows a reference table using orthogonal coordinates (Rx i , Ry i , Rz i ) of the marker position in the robot coordinate system as posture parameters. Representing the posture parameters with the three-dimensional position coordinates of the sign has the advantage of reducing the number of parameters.
  • the three-dimensional position coordinates of the marker can be calculated from the joint variables at that time as long as the marker is fixed to the robot, regardless of whether the marker position matches the gripping position of the hand.
  • the three-dimensional position coordinates of the sign can be calculated by the calculation unit based on, for example, the joint variable received from the robot by the first communication unit of the control device and the fixed position information of the sign.
  • the fixed position information of the sign may be, for example, the relative coordinates of the sign expressed in the local coordinate system of the arm to which the sign is fixed.
  • the reference table is searched from the position information of the object, the three-dimensional position coordinates of the position are obtained, and the calculation unit of the control device or the driving unit of the robot having the calculation function holds the hand at the three-dimensional coordinate position A joint variable for movement can be calculated.
  • the size is 1m cubic work space, if the spatial resolution in the working space of the camera image of 1mm, can be at 10 nine records, covering the lattice points of 1mm intervals included in the working space.
  • the density of the points to be registered in the lookup table is preferably 1/512 or more, more preferably 1/64 or more, particularly preferably 8 or more, of the density of cubic lattice points having the same pitch as the spatial resolution of the image. 1 or more of a minute.
  • the points to be registered in the lookup table include all lattice points of a cubic lattice having the same pitch as the spatial resolution of the image.
  • the distribution of points registered in the reference table may be dense in areas where the hand movement frequency is high and sparse in low areas in the work space. This is because the probability of finding the position information of the object in the reference table in the work process is not excessively reduced while shortening the time required for the calibration process.
  • the distribution of points registered in the reference table may be such that when the work space on the image is distorted due to a wide angle of view of the camera lens, the region with large distortion is dense and the region other than that is sparse. .
  • the points to be registered in the reference table are preferably registered with a high density so that linear interpolation can be performed from two adjacent points when estimating the posture parameters of points not in the reference table. This is because the posture parameter can be estimated by simple calculation even if the work space on the image is distorted.
  • the hand is moved using the reference table, the point where the hand has visited once can be surely reached after the second time. Further, even if there is an irregular error factor due to lens distortion or the like, it is not affected. For example, when coordinate transformation is performed using a transformation matrix etc. for lens distortion, even if distortion aberration coefficients etc. are used, it can only be corrected for modeled barrel distortion, pincushion distortion, etc. It is not possible to completely eliminate the effects of distortion.
  • a camera with a cheaper lens system can be employed.
  • a mirror is used to capture a direct image of a robot work space and a reflected image of the mirror with a single camera.
  • the robot system 11 of this embodiment includes an articulated robot 20, a mirror 38, a single camera 32 that captures a direct image of the work space of the robot and a reflected image of the mirror, and a control device 40.
  • the robot 20 is the same as in the first embodiment.
  • the same camera 32 as the first camera 30 or the second camera 31 of the first embodiment can be used.
  • the camera 32 and the mirror 38 are installed so that a direct image of the robot work space and a reflection image by the mirror can be taken.
  • FIG. 10 shows a state at the time of calibration, and the robot holds the marker 50 on the hand 24.
  • the configuration of the control device 40 is the same as that shown in FIG. 2, but the function of the calculation unit is different.
  • the direct image of the sign 50 and the reflected image by the mirror 38 are reflected in the image received by the second communication unit 42 from the camera 32 during calibration.
  • the calculation unit 43 processes one image, recognizes the marker 50 during calibration, and recognizes the direct image and the reflected image of the object during the operation, and calculates the position information of the marker or the object. Others are the same as in the first embodiment.
  • FIG. 12 shows an example of a reference table.
  • Each record of this reference table includes coordinates (u di , v di ) as pixel positions in the image of the direct image of the sign, coordinates (u mi , v mi ) as pixel positions in the image of the reflected image, 6
  • Six joint variables ( ⁇ 1i , ⁇ 2i , ⁇ 3i , ⁇ 4i , ⁇ 5i , ⁇ 6i ) are included as posture parameters in the robot with a degree of freedom.
  • an image of the work space of the robot is captured by a single TOF camera.
  • the robot system 12 of the present embodiment includes an articulated robot 20, a single TOF camera 33 that images the robot work space, and a control device 40.
  • FIG. 13 shows a state during calibration, and the robot holds the marker 50 on the hand 24.
  • the robot 20 is the same as in the first embodiment.
  • the TOF camera 33 is a distance image generation camera based on a time-of-flight (Time of Flight: TOF) method, and captures a distance image in which the distance from the camera to a point captured in each pixel is recorded together with a two-dimensional image.
  • TOF Time of Flight
  • the configuration of the control device 40 is the same as that shown in FIG.
  • the calculation unit 43 processes the two-dimensional image and the distance image received by the second communication unit 42 from the TOF camera 33, recognizes the sign 50 during calibration, and recognizes the target in the image during work, and signs or targets Get the location information of an object. Others are the same as in the first embodiment.
  • FIG. 14 shows an example of a reference table.
  • Each record of this reference table includes coordinates (Cx i , Cy i , Cd i ) in the two-dimensional image and distance image of the sign, and six joint variables ( ⁇ 1i , ⁇ 2i ) as posture parameters in a robot with six degrees of freedom. , ⁇ 3i , ⁇ 4i , ⁇ 5i , ⁇ 6i ).
  • the work space of the robot is imaged with a single camera, and a set of the coordinates of the sign in the image and the feature quantity that changes depending on the distance from the camera to the sign is used as position information. Specifically, the area of the sign in the image is used as the feature amount.
  • the robot system 13 of the present embodiment includes an articulated robot 20, a single camera 34 that images the robot work space, and a control device 40.
  • the robot 20 is the same as that in the first embodiment.
  • the camera 34 can be the same as the first camera 30 or the second camera 31 of the first embodiment.
  • the configuration of the control device 40 is the same as that in FIG. 2 except that the function of the calculation unit is different.
  • the calculation unit 43 processes one image (FIG. 16) received by the second communication unit from the camera 34 at the time of calibration, recognizes the sign 50 in the image at the time of calibration, and the area of the sign in the image. Calculate (S mi ). In addition, at least at one position, a ratio between the area (S wi ) of the object in the image and the area (S mi ) of the marker is calculated separately.
  • the calculation unit 43 recognizes the object in the image, calculates the area (S wi ) of the object in the image, and further converts it into the area (S mi ) of the sign 50. Then, the calculation unit searches the reference table using the set of the pixel position in the image of the target object and the area of the mark in the image when it is assumed that the position has a mark as the position information of the target object.
  • FIG. 17 shows an example of a reference table.
  • Each record of this reference table includes coordinates (u i , v i ) as pixel positions in the image, the area of the marker in the image (S mi ), and six joint variables (6) ⁇ 1i , ⁇ 2i , ⁇ 3i , ⁇ 4i , ⁇ 5i , ⁇ 6i ).
  • FIG. 1 a fifth embodiment of the present invention will be described with reference to FIG.
  • two articulated robots and six cameras are used.
  • This embodiment can be considered as a combination of a plurality of robot systems of the first embodiment.
  • the camera 70 and the camera 71 are provided with a lens having a wide angle of view, and can capture the working space of both the robot 60 and the robot 61.
  • the camera 72 and the camera 73 include a lens having a narrow angle of view, and can capture the working space of one robot 60 with high spatial resolution.
  • the camera 74 and the camera 75 include a lens having a narrow angle of view, and can capture the work space of the other robot 61 with high spatial resolution.
  • the control device 40 creates and stores four reference tables composed of records composed of the following combinations.
  • Reference table A Position information by cameras 70 and 71-posture parameters of robot 60
  • Reference table B Position information by cameras 70 and 71-Posture parameters of robot 61
  • Reference table C Position information by cameras 72 and 73-Robot 60 posture parameters / reference table D: position information from cameras 74 and 75-posture parameters of robot 61
  • the hand movement of the robot 60 can be performed using the reference table A for rough movement, and using the reference table C in an area where precise position control is required.
  • the hand movement of the robot 61 can be performed using the reference table B for rough movement, and using the reference table D in an area where precise position control is required.
  • a plurality of the robot systems of the first embodiment are combined.
  • the present invention is not limited to this, and the first to fourth embodiments can be freely combined.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

実施が容易で、レンズ歪等の影響を受けない多関節ロボットシステム・制御装置・制御方法を提供する。 ロボットシステム（１０）は、多関節ロボット（２０）と、前記ロボットの作業空間を撮像する１台以上のカメラ（３０、３１）と、制御装置（４０）とを有する。そして、制御装置は、キャリブレーション時において、ロボットの姿勢パラメータを取得し、カメラから画像を取得し、画像中にロボットに固定された標識（５０）を認識して標識の位置情報を算出し、標識の位置情報とロボットの姿勢パラメータとを関連付けた参照表を作成して記憶する。そして、制御装置は、作業時において、カメラから画像を取得し、画像中に対象物を認識して対象物の位置情報を算出し、対象物の位置情報から、参照表を参照して、ハンド（２４）を対象物まで移動させるための姿勢パラメータを取得し、取得した姿勢パラメータをロボットに送信する。

Description

ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
　本発明は、多関節ロボットのハンドを目標となる対象物まで移動させるためのロボットシステムに関する。また、本発明は、かかるロボットシステムの制御装置および制御方法に関する。
　多関節ロボットを用いて、カメラ等の視覚センサから得た情報を基に、ロボット自身が周辺環境を認識して作業を行うシステムが研究されている。例えば、バラ積みされた対象物をカメラで認識し、ロボットのアームの先端にあるハンドを作業対象物まで移動させて掴む、といった作業である。
　一般的なロボットシステムでは、ロボットのハンドを目標となる対象物まで移動させるために、カメラ等で対象物の位置情報を得た後、この位置情報をカメラ座標系からロボット座標系に変換してロボットに伝える。ここで、カメラ座標系からロボット座標系への変換には、カメラとロボットの相対位置関係を予め求めておく必要がある。そのため、キャリブレーションによって、カメラ座標系－世界座標系間、およびロボット座標系－世界座標系間の座標変換を行なうための変換行列を求める。これにより、対象物のカメラ座標系における位置座標を、世界座標系を介して、ロボット座標系における位置座標に変換することができる。
　しかし、カメラ座標系－世界座標系間の変換行列を決定するには、カメラの焦点距離、画像中心、画像サイズ（画素サイズ）、歪曲収差係数等の内部パラメータと、カメラの位置姿勢を表す外部パラメータを知る必要がある。そのために、例えば、チェッカーボード等の平面パターンとカメラの位置を高精度の三次元測定器を用いて求めることになり、極めて手間とコストのかかる作業を要した。
　ロボット座標系－世界座標系間の座標変換を決定するにも、世界座標系での位置座標が正確に分かっている教示点に、人手によりハンド移動させて姿勢パラメータを計測するなど、やはり極めて手間とコストのかかる作業が必要であった。
　これに対して、特許文献１には、ロボットアーム装置の先端部に把持させた指し棒の先端が長方形を描くようにロボットアーム装置を動作させ、長方形の各頂点の位置をステレオ画像計測し、そのデータを基に座標変換データを計算して、長方形を基準とする中間座標系を介してロボットアーム装置とステレオ計測装置との相対位置姿勢関係を求める方法が記載されている。特許文献１によれば、設計データでなく、実際にロボットシステムにより計測したデータを用いるので、システム製作時に生じる加工・取り付けによる誤差の影響を受けず、ロボットアーム装置とステレオ画像計測装置の正確な相対位置姿勢関係を求めることができ、また、キャリブレーション作業に要する時間を短縮できるとされている。
特開平９－１２８５４９号公報
　しかし、特許文献１に記載された方法では、長方形の４頂点の計測に基づいて変換行列を算出するので、レンズの歪曲収差等を正確には再現できない。仮に歪曲収差がない場合でも、カメラ座標系－中間座標系間、および中間座標系－ロボット座標系間の座標変換に変換行列を用いるので、不規則なレンズ歪などによる誤差があると、それを完全には排除できない。
　本発明は、上記を考慮してなされたものであり、設置したカメラやロボットの位置計測が不要で、かつ、レンズ歪等の影響を受けずに、カメラ画像に基づいて多関節ロボットのハンドを目標位置まで移動可能なロボットシステム、ロボットシステム制御装置およびロボットシステム制御方法を提供することを目的とする。
　上記目的のために、本発明では、カメラの画像から得られる位置情報と、多関節ロボットの姿勢パラメータとを直接関連付けた参照表を利用して、ロボットを制御する。
　具体的には、本発明のロボットシステムは、多関節ロボットと、前記ロボットの作業空間を撮像する１台以上のカメラと、制御装置とを有する。そして、前記制御装置は、キャリブレーション時において、前記ロボットの姿勢パラメータを取得し、前記カメラから画像を取得し、該画像中に前記ロボットに固定された標識を認識して該標識の位置情報を算出し、前記標識の位置情報と前記ロボットの姿勢パラメータとを関連付けた参照表を作成して記憶する。そして、前記制御装置は、作業時において、前記カメラから画像を取得し、該画像中に対象物を認識して該対象物の位置情報を算出し、前記対象物の位置情報から、前記参照表を参照して、前記ハンドを該対象物まで移動させるための前記姿勢パラメータを取得し、取得した前記姿勢パラメータを前記ロボットに送信する。
　ここで、ロボットの姿勢パラメータとは、ロボットの姿勢に関連するパラメータであって、少なくともハンドの位置を決定できるものをいう。また、ロボットに固定された標識とは、ハンドが保持する標識などの、ロボットのハンドまたはアームとの位置関係が固定された標識をいう。
　好ましくは、前記ロボットシステムは第１カメラおよび第２カメラを有し、前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記第１カメラによる画像中の画素位置と前記第２カメラによる画像中の画素位置との組である。
　あるいは、前記ロボットシステムは第１カメラおよび第２カメラを有し、前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記第１カメラによる画像中の画素位置と、前記第１カメラによる画像と前記第２カメラによる画像から三角測量の原理に基づいて算出された距離情報との組であってもよい。
　あるいは、前記ロボットシステムは第１カメラおよび第２カメラを有し、前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記第１カメラによる画像と前記第２カメラによる画像から三角測量の原理に基づいて算出されたカメラ座標系における三次元位置座標であってもよい。
　あるいは、前記ロボットシステムは、前記カメラの画角内にあって、該カメラから見たときに前記作業空間が映り込むように配置された鏡をさらに有しており、前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記カメラによる画像中の直接像の画素位置と前記鏡による反射像の画素位置との組であってもよい。
　あるいは、前記カメラが距離画像カメラであって、前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記距離画像カメラによる距離画像中の画素位置と距離情報との組であってもよい。
　あるいは、前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の前記カメラによる画像中の画素位置と、前記標識が当該位置にあるときの前記画像中の面積との組であってもよい。
　上記いずれかのロボットシステムにおいて、好ましくは、前記姿勢パラメータが、前記ロボットの関節変数の組である。
　あるいは、上記いずれかのロボットシステムにおいて、前記姿勢パラメータが、前記標識または前記対象物のロボット座標系における三次元位置座標であってもよい。
　本発明のロボットシステム制御装置は、多関節ロボットのキャリブレーション時において、前記ロボットの姿勢パラメータを取得し、前記ロボットの作業空間を撮像する１台以上のカメラから該ロボットのハンドに固定された標識が写った画像を取得し、該画像中に該標識を認識して該標識の位置情報を算出し、前記標識の位置情報と前記ロボットの姿勢パラメータとを関連付けた参照表を作成して記憶する。
　好ましくは、本発明のロボットシステム制御装置は、前記ロボットの作業時において、前記カメラから画像を取得し、該画像中に対象物を認識して該対象物の位置情報を算出し、前記対象物の位置情報から、前記参照表を参照して、前記ハンドを該対象物まで移動させるための前記姿勢パラメータを取得し、取得した前記姿勢パラメータを前記ロボットに送信する。
　本発明の他のロボットシステム制御装置は、多関節ロボットの姿勢パラメータを該ロボットに送信および／または該ロボットから受信する第１通信部と、前記ロボットに固定された標識が写った画像をカメラから受信する第２通信部と、前記画像から前記標識を認識して該標識の位置情報を算出し、該ハンドの位置情報と前記姿勢パラメータとを関連付けた参照表を作成する演算部と、前記参照表を記憶する記憶部とを有する。
　好ましくは、本発明の他のロボットシステム制御装置は、前記第２通信部が対象物が写った画像を前記カメラから受信し、前記演算部が前記画像から前記対象物を認識して、該対象物の位置情報を算出し、前記参照表を参照して、前記対象物の位置情報から前記ロボットのハンドを該対象物まで移動させるための前記姿勢パラメータを取得し、前記第１通信部が前記姿勢パラメータを前記ロボットに送信する。
　本発明のロボットシステム制御方法は、キャリブレーション工程と作業工程とを有する。キャリブレーション工程では、標識が固定された多関節ロボットを動作させて前記標識を移動させながら、前記ロボットの作業空間を１台以上のカメラで撮像し、該カメラで撮像した画像中に前記標識を認識して該標識の位置情報を算出し、前記標識の位置情報と当該撮像時における前記ロボットの姿勢パラメータとを関連付けて、参照表に順次登録する。作業工程では、対象物が存在する作業空間を前記カメラで撮像し、前記カメラで撮像した画像中に前記対象物を認識して該対象物の位置情報を算出し、前記対象物の位置情報から、前記参照表を参照して、前記ロボットのハンドを該対象物まで移動させるための前記姿勢パラメータを取得し、取得した前記姿勢パラメータを該ロボットに送信する。
　本発明のロボットシステム、ロボットシステム制御装置、またはロボットシステム制御方法によれば、実際のカメラおよびロボットを用いて、カメラによる位置情報とロボットの姿勢パラメータを直接関連付けた参照表を作成し、その参照表に基づいてロボットを動作させる。参照表は実際のカメラおよびロボットを用いて作成されるので、システム製作時の誤差や不規則なレンズ歪等の影響を受けずに、ハンドを目標位置まで移動させることができる。また、世界座標など他の座標系を介しないので、カメラの内部・外部パラメータや、ロボットの設置位置・向き等を計測する必要がなく、キャリブレーション作業の省力化を図ることができる。
本発明の第１実施形態のロボットシステムの全体構成図である。 本発明の第１実施形態のロボットシステム制御装置の機能ブロック図である。 本発明の第１実施形態のロボット制御方法のフロー図である。 本発明の第１実施形態のロボット制御方法のキャリブレーション工程のフロー図である。 本発明の第１実施形態のロボット制御方法の作業工程におけるハンド移動のフロー図である。 本発明の第１実施形態によるキャリブレーション時の画像である。 本発明の第１実施形態の参照表の例を示す図である。 本発明の第１実施形態の参照表の他の例を示す図である。 本発明の第１実施形態の参照表の他の例を示す図である。 本発明の第２実施形態のロボットシステムの全体構成図である。 本発明の第２実施形態によるキャリブレーション時の画像である。 本発明の第２実施形態の参照表の例を示す図である。 本発明の第３実施形態のロボットシステムの全体構成図である。 本発明の第３実施形態の参照表の例を示す図である。 本発明の第４実施形態のロボットシステムの全体構成図である。 本発明の第４実施形態によるキャリブレーション時の画像である。 本発明の第４実施形態の参照表の例を示す図である。 本発明の第５実施形態のロボットシステムの全体構成図である。
　本発明の第１実施形態を図１～図９に基づいて説明する。
　図１において、本実施形態のロボットシステム１０は、多関節ロボット２０と、ロボットの作業空間を撮像する第１カメラ３０および第２カメラ３１と、ロボットシステム制御装置４０を有する。以下において「ロボットシステム制御装置」を単に「制御装置」という。
　ロボット２０は作業場に固定される。ロボット２０は、ロボットを作業場に固定するためのベース２５と、複数のリンク２２が関節２３で接続されたアーム２１と、アームの先端に接続されたハンド２４と、駆動部２６を有する。ロボットの各関節はサーボモータ等のアクチュエータ（図示せず）と、その関節の関節変数を検知するセンサー（図示せず）を備える。ここで、関節変数とはその関節の変位をいい、具体的には回転関節の関節角度（リンク間角度）や直動関節のリンク間距離のことをいう。ハンド２４は手先、エンドエフェクタとも呼ばれる。図１はキャリブレーション時の様子を示しており、ロボットはハンドに標識５０を把持している。
　ロボット２０の駆動部２６は、アームおよびハンドを駆動する。最も単純な構成の駆動部は、サーボアンプ等の駆動装置からなり、外部から受信する関節変数に基づいて各関節のアクチュエータを駆動する。あるいは、駆動部は、各種の演算処理を行うＣＰＵやプログラム等を格納するメモリをさらに有していて、ロボット座標系におけるハンドの三次元位置座標を外部から受信して、関節変数を算出可能であってもよい。ここで、ロボット座標系は、ロボットの不動点を基準とする座標系であって、好ましくは、ベース２５を基準とする座標系である。ロボット座標系は、直交座標系であっても各種極座標系であってもよい。以下、単に「三次元位置座標」というときは、ロボット座標系における三次元位置座標を意味する。
　ロボット２０は、ベース２５が作業場に固定され、キャリブレーション時および作業時を通して移動することがない。したがって、ハンド２４の位置は、関節変数の組み合わせや三次元位置座標によって表すことができる。例えば、アーム２１の自由度が３である場合、アームの３つの関節変数によって、ハンドの位置とアームの姿勢が定まる。あるいは、アーム２１の自由度が３でハンド２４の自由度が３である場合、アームおよびハンドの６つの関節変数によって、ハンドの位置および姿勢とアームの姿勢が定まる。また、ハンドの三次元位置座標はハンドの位置を表している。このように、ロボットの姿勢に関連し、少なくともハンドの位置を決定できるパラメータを、本明細書中で「ロボットの姿勢パラメータ」という。
　ロボットの形式は特に限定されず、図１に例示したシリアルリンク形の垂直多関節ロボットの他、水平多関節形やパラレルリンク形など各種の多関節ロボットを用いることができる。
　第１カメラ３０および第２カメラ３１は作業場に固定される。２台のカメラは、ロボット２０の作業空間を撮像するように設置されている。ここでロボットの作業空間とは、ロボットのハンド２４が到達可能な空間領域のうち、作業時にハンドが移動する可能性のある領域をいう。２台のカメラ３０、３１は二次元画像を撮像可能なカメラである。
　図２を参照して、制御装置４０は、第１通信部４１と、第２通信部４２と、演算部４３と、記憶部４４と第３通信部４５とを有する。
　第１通信部４１はロボット２０の駆動部２６と信号線で接続され、ロボットとの通信を行う。第１通信部は、目標位置に対応する姿勢パラメータをロボットに送信して、ハンド２４を目標位置まで移動させるよう指示する。また、第１通信部は、ロボットから関節変数等の姿勢パラメータを受信する。第２通信部４２は第１カメラ３０および第２カメラ３１と信号線で接続され、カメラとの通信を行う。第２通信部は、カメラに撮像指示を送信し、カメラから画像を受信する。
　演算部４３は、第２通信部４２がカメラ３０、３１から受信した画像を処理する。演算部は、キャリブレーション時には、標識５０を画像中に認識してその位置情報を算出し、当該位置情報と第１通信部４１がロボットに送信した姿勢パラメータまたは第１通信部がロボットから受信した姿勢パラメータとを関連付けた参照表を作成する。より正確には、演算部は、標識の位置情報とロボットの姿勢パラメータとを関連付けた１つのレコードを作成して、既存の参照表に追加登録する。演算部は、作業時には、対象物を画像中に認識してその位置情報を算出する。演算部は、参照表を参照して、対象物の位置情報から、ロボットのハンドを対象物まで移動させるための姿勢パラメータを取得する。
　記憶部４４は、参照表を記憶する。記憶部としては、ハードディスク装置などの書き換え可能でランダムアクセス可能な補助記憶装置を好適に用いることができる。第３通信部４５は入力装置４６および出力装置４７と信号線で接続され、操作者との通信を行う。第３通信部は、入力装置４６から操作者からの指示を受信し、出力装置４７に操作者にロボットシステムの状況等を送信する。
　制御装置４０は、必ずしも物理的に１台の装置である必要はなく、複数台で処理を分担してもよい。また、制御装置は、ロボットの駆動部２６と一体に形成されていてもよい。
　次に、本実施形態のロボットシステム制御方法を説明する。各部の参照符号は、図１および図２に示した符号である。
　図３において、本実施形態のロボットシステム制御方法は、作業場へのロボットおよびカメラの設置、キャリブレーション工程、ロボットを用いた作業工程からなる。
　まず、作業場にロボット２０、第１カメラ３０および第２カメラ３１を設置する。このとき、２台のカメラは、ロボットの作業空間を撮像可能な位置および向きに設置する。２台のカメラの光軸がなす角は、好ましくは３０～１５０度、より好ましくは６０～１２０度、特に好ましくは７０～１１０度である。２台のカメラの向きが平行または逆向きに近いほど、カメラの光軸方向の空間解像度が低くなるからである。ただし、２台のカメラの向きが異なるほど、標識の一部が死角となるオクルージョンが発生する可能性が高まる。２台のカメラの向きはオクルージョンが発生しにくく、かつ、必要な空間解像度が確保できるよう、標識の形状や作業空間に合わせて適宜決定すればよい。ロボットおよびカメラは、以下のキャリブレーション工程および作業工程を通して作業場に固定される。
　図４にキャリブレーション工程のフローを示す。キャリブレーション工程では、カメラから得られる位置情報とロボットの姿勢パラメータとを関連付けた参照表を作成する。
　まず、ハンド２４に標識５０を固定する。標識をハンドに固定することには、標識をハンドで把持すること、標識を吸着その他の方法によってハンドで保持すること、標識となる物体をハンドに固着させること、ハンドの一部に標識となるマークを描くこと、ハンドの一部であって特徴的な部分を標識とすることが含まれる。標識の数は複数であってもよい。標識をハンドで把持する場合、標識としては、対象物自体または対象物に似た形状の物体、球状の物体、指し棒などを用いることができる。なお、標識はロボットの可動部分であるアームに固定してもよい。
　標識は、好ましくは、標識の位置がハンドの把持位置に一致するように固定される。参照表に登録される標識位置と作業時のハンド移動の目標位置が一致するからである。図１では、球形の標識５０がハンドで把持されることによって固定されており、標識の位置がハンドの把持位置に一致している。本実施形態では、以下、標識位置とハンドの把持位置が一致しているとして説明を続ける。
　次いで、制御装置４０の第１通信部４１からの指示によりロボットを動作させて、作業空間内でハンド２４および標識５０を移動させる。このとき、標識の移動経路や停止位置を予め正確に決定しておく必要はなく、作業空間内をおおよそ一巡するように決定しておけばよい。標識を移動させる範囲は、操作者が入力装置４６から入力して制御装置に伝えることができる。その際、移動経路上の点に対応する関節変数を操作者が直接入力してもよいし、移動経路上の点の三次元位置座標を操作者が入力して、演算部４３またはロボットの駆動部２６が関節変数を計算してもよい。
　次いで、標識を上記範囲内で移動させながら、標識が停止した状態および／または動いている状態で参照表を作成する。
　標識の停止時に参照表を作成する方法は、例えば次のとおりである。参照表に登録する姿勢パラメータは、第１通信部４１からロボット２０に送信した姿勢パラメータでもよいし、第１通信部がロボットから受信した姿勢パラメータでもよい。例えば、標識が制御装置から指示した位置で停止したときは、制御装置４０は第１通信部４１からロボットに送信した姿勢パラメータを既に知っているので、この姿勢パラメータを参照表に登録してもよい。また、例えば、第１通信部からロボットに停止位置の三次元位置座標を送信した場合でも、標識停止時に第１通信部がロボットから関節変数を受信して、この関節変数を参照表に登録してもよい。
　姿勢パラメータの取得と並行して、第２通信部４２がカメラ３０、３１に撮像指示を送信し、標識が停止したときの画像をカメラ３０、３１から受信する。図６に、制御装置４０がカメラ３０、３１から受信した画像を示す。２枚の画像には標識５０が記録されている。制御装置の演算部４３はカメラから受信した画像を処理して、画像中に標識を認識する。標識を認識する方法には、特徴点の抽出やテンプレートマッチングなど、公知の方法を用いることができる。演算部は、標識の、２つの画像中の画素位置の組（ｕ１ｉ，ｖ１ｉ，ｕ２ｉ，ｖ２ｉ）を、標識の位置情報として算出する。
　標識が動いている状態で参照表を作成する方法は、例えば次のとおりである。参照表に登録する姿勢パラメータは、第１通信部４１がロボットから受信する。カメラの撮像タイミングとロボットの姿勢パラメータの取得タイミングが同期可能な場合は、第１通信部４１および第２通信部４２からロボットおよびカメラ３０、３１に同時刻を指定して、それぞれ姿勢パラメータまたは画像を送信するよう要求できる。また、１つの同期信号に基づいて、第１通信部４１および第２通信部４２がロボットまたはカメラから、それぞれ姿勢パラメータまたは画像を受信してもよい。同期信号は制御装置４０内の同期信号生成部（図示せず）が生成してもよいし、第１または第２通信部のいずれかが生成してもよい。また、カメラ３０、３１が撮像時刻付の画像を生成可能なときは、第２通信部が２台のカメラから時々刻々と画像を受信して、第１通信部がロボットから取得した姿勢パラメータと同時刻の画像を選択することができる。演算部４３は標識５０を画像中に認識して、その位置情報を算出する。
　以上のようにして、一つの標識位置に対して、カメラによる位置情報と、当該位置に対応するロボットの姿勢パラメータが得られる。制御装置の演算部４３は、位置情報と姿勢パラメータを関連付けて１つのレコードを作成し、記憶部４４に記憶された参照表に追加登録する。
　標識５０を作業空間内で巡回させて、標識が予定された終了位置に達すると、キャリブレーションを終了する。なお、好ましくは、キャリブレーション終了時に参照表のレコードを、位置情報をキーとしてソートしておく。作業時の検索を効率化するためである。
　図７に参照表の例を示す。この参照表の各レコードは、位置情報として第１カメラ画像中の画素位置としての座標（ｕ１ｉ，ｖ１ｉ）と第２カメラ画像中の画素位置としての座標（ｕ２ｉ，ｖ２ｉ）、および姿勢パラメータとして６自由度のロボットにおける６つの関節角度（θ１ｉ，θ２ｉ，θ３ｉ，θ４ｉ，θ５ｉ，θ６ｉ）からなる。
　図５に作業工程におけるハンド移動のフローを示す。作業工程では、カメラ画像から算出した位置情報に基づいて、ロボットのハンドを作業対象物まで移動させる。
　まず、制御装置４０が第２通信部４２からカメラ３０、３１に撮像指示を送信し、カメラが作業空間を撮像する。作業空間には対象物が存在する。第２通信部がカメラから画像を受信する。演算部４３は２つの画像を処理して、画像中に対象物を認識する。対象物を認識する方法は、標識を認識する方法と同様に行うことができる。演算部は、ハンド移動の目標となる対象物の位置情報として、各カメラ座標系における対象物の位置座標を算出する。
　演算部４３は対象物の位置情報から記憶部４４に記憶されている参照表を検索する。参照表に対象物の位置情報を含むレコードが見つかれば、演算部は、当該位置情報に対応する姿勢パラメータを取得する。参照表に対象物の位置情報を含むレコードが見つからない場合は、演算部は対象物の位置情報に対応する姿勢パラメータを推定して取得してもよい。例えば、位置情報が近い複数点のレコードにおける姿勢パラメータ間を補間することにより、姿勢パラメータが推定できる。第１通信部４１がロボットに姿勢パラメータを送信して、ハンドを対象物まで移動させるよう指示する。
　姿勢パラメータが推定されたものである場合、ロボットがその姿勢パラメータに従って動作したのち、ハンドの位置を微調整してもよい。ハンド位置を微調整するには、国際公開第２０１３／１７６２１２号に記載された方法など、公知の方法を用いることができる。
　また、ハンド位置の微調整を行った場合は、その結果を参照表にフィードバックしておくのが好ましい。具体的には、ハンドが微調整を経て対象物に到達した後に、制御装置の第１通信部４１がロボットに姿勢パラメータ要求を送信して、ロボットから姿勢パラメータを受信し、演算部４３が対象物の位置情報と姿勢パラメータとを関連付けて、記憶部４４の参照表に追加登録してもよい。
　ここで、参照表について、さらに詳細に説明する。
　参照表には、ロボットの作業空間内の点について、その点のカメラ画像から得られる位置情報と、その点に対応したロボットの姿勢パラメータとが、関連付けて登録される。
　参照表に登録する位置情報は、図７に示したような２つ画素座標の組には限定されない。位置情報は、例えば図８に示すように、第１カメラによる画像中の画素位置（ｕ１ｉ，ｖ１ｉ）と、第１カメラによる画像と第２カメラによる画像から三角測量の原理に基づいて算出された距離情報（ｄｉ）との組であってもよい。あるいは、位置情報は、第１カメラによる画像と第２カメラによる画像から三角測量の原理に基づいて算出されたカメラ座標系における三次元位置座標であってもよい。これらの場合、第１カメラと第２カメラの中心間距離（基線長）と画像中のエピポーラ線を知る必要があるが、例えば第１カメラと第２カメラが一体となった市販のステレオカメラなどを利用する場合には、このようなカメラの幾何学的パラメータが予め調整されており、内部校正作業は不要である。
　参照表に登録する姿勢パラメータの一例はロボットの関節変数である。関節変数は、図７に示したような関節角度の組には限定されない。姿勢パラメータとして関節変数を用いる場合は、回転関節では関節角度（リンク間角度）、直動関節ではリンク間距離を関節変数として、ロボットを構成する関節の種類に応じた関節変数を組み合わせる。
　関節変数を参照表に登録する場合は、図１のように、キャリブレーション時の標識の位置とハンドの把持位置が一致していることが好ましい。標識の位置情報と、その標識を実際に把持した状態での関節変数を関連付けて、参照表に登録できるからである。この場合、作業時に、対象物の位置情報から参照表を検索して得られる関節変数をロボットに指示すれば、対象物を把持するための目標位置にハンドを移動できる。さらに、重力によるアームの撓み等がある場合でも、参照表に登録された位置情報と関節変数には撓み等の影響がすでに織り込まれており、作業時に特段の考慮は不要である。
　これに対して、キャリブレーション時の標識の位置とハンドの把持位置が一致していない場合、例えば標識をハンドの側面等の把持位置と異なる部分に固定した場合は、標識の位置情報を求めたときの関節変数をそのまま参照表に登録することができない。その関節変数はその標識の位置に対応していないからである。言い換えると、標識の位置情報を求めたときの関節変数をロボットに指示しても、ハンドはその標識の位置にある対象物を把持できない。この場合は、標識の位置情報を求めたときの関節変数から一旦標識の三次元位置座標を求め、ロボットの設計データを基に標識位置に対応する関節変数へ変換して、参照表に登録することができる。その際、作業場にある障害物を回避するための幾何学的な拘束条件等を考慮して関節変数を求めることができる。
　参照表に登録する姿勢パラメータの他の例は、標識のロボット座標系における三次元位置座標である。ロボット座標系は、キャリブレーションと作業工程を通して変動しない座標系であればよい。好適には、ロボットのベース２５を基準とする座標系を用いることができる。ロボット座標系は直交座標系であっても極座標系であってもよい。一例として、図９に、ロボット座標系における標識位置の直交座標（Ｒｘｉ，Ｒｙｉ，Ｒｚｉ）を姿勢パラメータとする参照表を示す。姿勢パラメータを標識の三次元位置座標で表すことには、パラメータの数が少なくてすむというメリットがある。
　標識の三次元位置座標は、標識位置がハンドの把持位置と一致していても一致していなくても、標識がロボットに固定されている限り、そのときの関節変数から算出することができる。標識の三次元位置座標は、例えば、制御装置の第１通信部がロボットから受信した関節変数と標識の固定位置情報とを基に演算部が算出できる。標識の固定位置情報は、例えば、標識を固定したアームのローカル座標系で表した標識の相対座標であればよい。作業時には、対象物の位置情報から参照表を検索して、当該位置の三次元位置座標を取得し、制御装置の演算部または演算機能を有するロボットの駆動部が当該三次元座標位置にハンドを移動させるための関節変数を算出することができる。
　参照表には、作業空間内のできるだけ多くの点が登録されていることが好ましい。作業工程において参照表に対象物を含むレコードを発見する確率が上がり、時間短縮になるからである。例えば、作業空間の大きさが１ｍ立方で、カメラ画像の作業空間内の空間解像度が１ｍｍの場合、１０９個のレコードで、作業空間に含まれる１ｍｍ間隔の格子点を網羅することができる。参照表に登録する点の密度は、画像の空間解像度と同じピッチの立方格子の格子点の密度の、好ましくは５１２分の１以上、さらに好ましくは６４分の１以上であり、特に好ましくは８分の１以上である。参照表に登録する点は、最も好ましくは、画像の空間解像度と同じピッチの立方格子の格子点をすべて含む。
　また、参照表に登録する点の分布は、作業空間のうちハンドの移動頻度が高い領域は密に、低い領域は疎にしてもよい。これにより、キャリブレーション工程の所要時間を短縮しながら、作業工程において参照表に対象物の位置情報を発見する確率を過度に低下させないからである。
　また、参照表に登録する点の分布は、カメラレンズの画角が広いことなどにより画像上の作業空間が歪む場合には、歪の大きい領域は密に、そうでない領域は疎にしてもよい。具体的には、参照表に登録する点は、参照表にない点の姿勢パラメータを推定する際に、近接する２点から直線補間できる程度に高密度に登録されていることが好ましい。画像上の作業空間が歪んでいても、簡易な計算で姿勢パラメータを推定できるからである。
　本実施形態では、実際のカメラおよびロボットを用いてキャリブレーションを行うので、システム製作時の加工・取り付け等による誤差の影響を受けない。また、世界座標など他の座標系を介することがなく、カメラの内部および外部パラメータやロボットの設置位置・向き等を計測する必要がないので、キャリブレーション作業の省力化を図ることができるし、装置の選択や設置の自由度が大きい。例えば、画角の大きいカメラを用いて、より広い範囲をカバーすることができる。
　本実施形態では、参照表を利用してハンドを移動させるので、ハンドが一度訪れた点には、二度目以降も確実に到達することができる。また、レンズ歪等による不規則な誤差要因があっても、その影響を受けない。例えばレンズ歪について、変換行列等を利用して座標変換を行う場合は、歪曲収差係数等を用いたとしても、モデル化された樽形歪、糸巻形歪等に対して補正できるだけで、不規則な歪の影響を完全には排除できない。参照表を利用することにより、より安価なレンズ系を備えたカメラを採用することができる。
　次に、本発明の第２実施形態を図１０～図１２に基づいて説明する。本実施形態は、鏡を利用し、１台のカメラで、ロボットの作業空間の直接像および鏡による反射像を撮像する。
　図１０において、本実施形態のロボットシステム１１は、多関節ロボット２０と、鏡３８と、ロボットの作業空間の直接像および鏡による反射像を撮像する１台のカメラ３２と、制御装置４０とを有する。
　ロボット２０は第１実施形態と同じである。カメラ３２は、第１実施形態の第１カメラ３０または第２カメラ３１と同じものを用いることができる。カメラ３２および鏡３８は、ロボットの作業空間の直接像および鏡による反射像を撮像可能に設置される。図１０はキャリブレーション時の様子を示しており、ロボットはハンド２４に標識５０を把持している。
　制御装置４０の構成は図２と同じであるが、ただし、演算部の機能が異なる。図１１に示すように、キャリブレーション時に第２通信部４２がカメラ３２から受信する画像には、標識５０の直接像と鏡３８による反射像が写り込んでいる。演算部４３は、１枚の画像を処理して、キャリブレーション時には標識５０を、作業時には対象物の直接像および反射像を画像中に認識して、標識または対象物の位置情報を算出する。その他は第１実施形態と同様である。
　図１２に参照表の例を示す。この参照表の各レコードには、標識の直接像の画像中の画素位置としての座標（ｕｄｉ，ｖｄｉ）、反射像の画像中の画素位置としての座標（ｕｍｉ，ｖｍｉ）、６自由度のロボットにおける姿勢パラメータとしての６つの関節変数（θ１ｉ，θ２ｉ，θ３ｉ，θ４ｉ，θ５ｉ，θ６ｉ）が含まれている。
　次に、本発明の第３実施形態を図１３および図１４に基づいて説明する。本実施形態は、１台のＴＯＦカメラで、ロボットの作業空間を撮像する。
　図１３において、本実施形態のロボットシステム１２は、多関節ロボット２０と、ロボットの作業空間を撮像する１台のＴＯＦカメラ３３と、制御装置４０とを有する。図１３はキャリブレーション時の様子を示しており、ロボットはハンド２４に標識５０を把持している。
　ロボット２０は第１実施形態と同じである。ＴＯＦカメラ３３は、光飛行時間（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ：ＴＯＦ）方式による距離画像生成カメラで、二次元画像とともにカメラから各画素に写った点までの距離が記録された距離画像を撮像する。
　制御装置４０の構成は図２と同じであるが、ただし、演算部の機能が異なる。演算部４３は、第２通信部４２がＴＯＦカメラ３３から受信した二次元画像および距離画像を処理して、キャリブレーション時には標識５０を、作業時には対象物を画像中に認識して、標識または対象物の位置情報を取得する。その他は第１実施形態と同様である。
　図１４に参照表の例を示す。この参照表の各レコードは、標識の二次元画像および距離画像中の座標（Ｃｘｉ，Ｃｙｉ，Ｃｄｉ）、６自由度のロボットにおける姿勢パラメータとしての６つの関節変数（θ１ｉ，θ２ｉ，θ３ｉ，θ４ｉ，θ５ｉ，θ６ｉ）を含む。
　次に、本発明の第４実施形態を図１５～図１７に基づいて説明する。本実施形態は、１台のカメラで、ロボットの作業空間を撮像し、画像中の標識の座標と、カメラから標識までの距離によって変化する特徴量との組を位置情報とする。具体的には、画像中の標識の面積を特徴量とする。
　図１５において、本実施形態のロボットシステム１３は、多関節ロボット２０と、ロボットの作業空間を撮像する１台のカメラ３４と、制御装置４０とを有する。ロボット２０は第１実施形態と同じである。カメラ３４は、第１実施形態の第１カメラ３０または第２カメラ３１と同じものを用いることができる。
　制御装置４０の構成は図２と同じであるが、ただし、演算部の機能が異なる。演算部４３はキャリブレーション時には、カメラ３４から第２通信部で受信した１枚の画像（図１６）を処理して、キャリブレーション時には標識５０を画像中に認識して、画像中の標識の面積（Ｓｍｉ）を算出する。また、少なくとも１つの位置で、画像中の対象物の面積（Ｓｗｉ）と標識の面積（Ｓｍｉ）との比を別途算出しておく。演算部４３は作業時には、対象物を画像中に認識して、画像中の対象物の面積（Ｓｗｉ）を算出し、さらに標識５０の面積（Ｓｍｉ）に換算する。そして演算部は、対象物の画像中の画素位置と、当該位置に標識があったと仮定したときの画像中の標識の面積との組を対象物の位置情報として、参照表を検索する。
　図１７に参照表の例を示す。この参照表の各レコードは、画像中の画素位置としての座標（ｕｉ，ｖｉ）、画像中の標識の面積（Ｓｍｉ）、６自由度のロボットにおける姿勢パラメータとしての６つの関節変数（θ１ｉ，θ２ｉ，θ３ｉ，θ４ｉ，θ５ｉ，θ６ｉ）からなる。
　次に、本発明の第５実施形態を図１８に基づいて説明する。本実施形態では、２台の多関節ロボットと６台のカメラを用いる。本実施形態は、第１実施形態のロボットシステムを複数組み合わせたものと考えることができる。
　図１８に示すロボットシステム１４では、１台の制御装置４０に、２台の多関節ロボット６０、６１と６台のカメラ７０～７５が接続されている。カメラ７０およびカメラ７１は画角の広いレンズを備え、ロボット６０およびロボット６１の両方の作業空間を撮像可能である。カメラ７２およびカメラ７３は画角の狭いレンズを備え、一方のロボット６０の作業空間を高い空間解像度で撮像可能である。カメラ７４およびカメラ７５は画角の狭いレンズを備え、他方のロボット６１の作業空間を高い空間解像度で撮像可能である。
　制御装置４０は、次の組み合わせからなるレコードで構成された４つの参照表を作成、記憶する。
・参照表Ａ：カメラ７０、７１による位置情報－ロボット６０の姿勢パラメータ
・参照表Ｂ：カメラ７０、７１による位置情報－ロボット６１の姿勢パラメータ
・参照表Ｃ：カメラ７２、７３による位置情報－ロボット６０の姿勢パラメータ
・参照表Ｄ：カメラ７４、７５による位置情報－ロボット６１の姿勢パラメータ
　これにより、ロボット６０のハンド移動は、大まかな移動は参照表Ａを利用して、精密な位置制御が必要な領域では参照表Ｃを利用して行うことができる。同様に、ロボット６１のハンド移動は、大まかな移動は参照表Ｂを利用して、精密な位置制御が必要な領域では参照表Ｄを利用して行うことができる。
　本発明は上記の実施形態に限られるものではなく、その技術的思想の範囲内で種々の変形が可能である。
　例えば、上記第５実施形態は第１実施形態のロボットシステムを複数組み合わせたが、これには限られず、第１～第４実施形態を自由に組み合わせることができる。
　１０～１４　ロボットシステム
　２０　多関節ロボット
　２１　アーム
　２２　リンク
　２３　関節
　２４　ハンド
　２５　ベース
　２６　駆動部
　３０　第１カメラ
　３１　第２カメラ
　３２、３４　カメラ
　３３　ＴＯＦカメラ
　３８　鏡
　４０　ロボットシステム制御装置（制御装置）
　４１　第１通信部（ロボットとのインターフェイス）
　４２　第２通信部（カメラとのインターフェイス）
　４３　演算部
　４４　記憶部
　４５　第３通信部（入出力装置とのインターフェイス）
　４６　入力装置
　４７　出力装置
　５０　標識
　６０、６１　多関節ロボット
　７０～７５　カメラ

Claims (28)

  1. 　多関節ロボットと、
    　前記ロボットの作業空間を撮像する１台以上のカメラと、
    　制御装置とを有し、
    　前記制御装置は、キャリブレーション時において、
    　　前記ロボットの姿勢パラメータを取得し、
    　　前記カメラから画像を取得し、該画像中に前記ロボットに固定された標識を認識して該標識の位置情報を算出し、
    　　前記標識の位置情報と前記ロボットの姿勢パラメータとを関連付けた参照表を作成して記憶し、
    　前記制御装置は、作業時において、
    　　前記カメラから画像を取得し、該画像中に対象物を認識して該対象物の位置情報を算出し、
    　　前記対象物の位置情報から、前記参照表を参照して、前記ロボットのハンドを該対象物まで移動させるための前記姿勢パラメータを取得し、
    　　取得した前記姿勢パラメータを前記ロボットに送信する、
    ロボットシステム。
  2. 　前記ロボットシステムは第１カメラおよび第２カメラを有し、
    　前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記第１カメラによる画像中の画素位置と前記第２カメラによる画像中の画素位置との組である、
    請求項１に記載のロボットシステム。
  3. 　前記ロボットシステムは第１カメラおよび第２カメラを有し、
    　前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記第１カメラによる画像中の画素位置と、前記第１カメラによる画像と前記第２カメラによる画像から三角測量の原理に基づいて算出された距離情報との組である、
    請求項１に記載のロボットシステム。
  4. 　前記ロボットシステムは第１カメラおよび第２カメラを有し、
    　前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記第１カメラによる画像と前記第２カメラによる画像から三角測量の原理に基づいて算出されたカメラ座標系における三次元位置座標である、
    請求項１に記載のロボットシステム。
  5. 　前記ロボットシステムは、前記カメラの画角内にあって、該カメラから見たときに前記作業空間が映り込むように配置された鏡をさらに有し、
    　前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記カメラによる画像中の直接像の画素位置と前記鏡による反射像の画素位置との組である、
    請求項１に記載のロボットシステム。
  6. 　前記カメラが距離画像カメラであって、
    　前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記距離画像カメラによる距離画像中の画素位置と距離情報との組である、
    請求項１に記載のロボットシステム。
  7. 　前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の前記カメラによる画像中の画素位置と、前記標識が当該位置にあるときの前記画像中の面積との組である、
    請求項１に記載のロボットシステム。
  8. 　前記姿勢パラメータが、前記ロボットの関節変数の組である、
    請求項１～７のいずれか一項に記載のロボットシステム。
  9. 　前記姿勢パラメータが、前記標識または前記対象物のロボット座標系における三次元位置座標である、
    請求項１～７のいずれか一項に記載のロボットシステム。
  10. 　多関節ロボットのキャリブレーション時において、
    　前記ロボットの姿勢パラメータを取得し、
    　前記ロボットの作業空間を撮像する１台以上のカメラから該ロボットに固定された標識が写った画像を取得し、該画像中に該標識を認識して該標識の位置情報を算出し、
    　前記標識の位置情報と前記ロボットの姿勢パラメータとを関連付けた参照表を作成して記憶する、
    ロボットシステム制御装置。
  11. 　前記ロボットの作業時において、
    　前記カメラから画像を取得し、該画像中に対象物を認識して該対象物の位置情報を算出し、
    　前記対象物の位置情報から、前記参照表を参照して、前記ロボットのハンドを該対象物まで移動させるための前記姿勢パラメータを取得し、
    　取得した前記姿勢パラメータを前記ロボットに送信する、
    請求項１０に記載のロボットシステム制御装置。
  12. 　前記ロボットシステム制御装置は第１カメラおよび第２カメラから画像を取得し、
    　前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、第１カメラによる画像中の画素位置と第２カメラによる画像中の画素位置との組である、
    請求項１１に記載のロボットシステム制御装置。
  13. 　前記ロボットシステム制御装置は第１カメラおよび第２カメラから画像を取得し、
    　前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、第１カメラによる画像中の画素位置と、第１カメラによる画像と第２カメラによる画像から三角測量の原理に基づいて算出された距離情報との組である、
    請求項１１に記載のロボットシステム制御装置。
  14. 　前記ロボットシステム制御装置は第１カメラおよび第２カメラから画像を取得し、
    　前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、第１カメラによる画像と第２カメラによる画像から三角測量の原理に基づいて算出されたカメラ座標系における三次元位置座標である、
    請求項１１に記載のロボットシステム制御装置。
  15. 　前記カメラは、前記作業空間の直接像および鏡による反射像を１枚の画像に撮像し、
    　前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記カメラによる画像中の直接像の画素位置と前記鏡による反射像の画素位置との組である、
    請求項１１に記載のロボットシステム制御装置。
  16. 　前記カメラが距離画像カメラであって、
    　前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記距離画像カメラによる画像中の画素位置と距離情報との組である、
    請求項１１に記載のロボットシステム制御装置。
  17. 　前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の前記カメラによる画像中の画素位置と、前記標識が当該位置にあるときの前記画像中の面積との組である、
    請求項１１に記載のロボットシステム制御装置。
  18. 　前記姿勢パラメータが、前記ロボットの関節変数の組である、
    請求項１１～１７のいずれか一項に記載のロボットシステム制御装置。
  19. 　前記姿勢パラメータが、前記標識または前記対象物のロボット座標系における三次元位置座標である、
    請求項１１～１７のいずれか一項に記載のロボットシステム制御装置。
  20. 　標識が固定された多関節ロボットを動作させて前記標識を移動させながら、
    　前記ロボットの作業空間を１台以上のカメラで撮像し、該カメラで撮像した画像中に前記標識を認識して該標識の位置情報を算出し、前記標識の位置情報と当該撮像時における前記ロボットの姿勢パラメータとを関連付けて、参照表に順次登録するキャリブレーション工程と、
    　対象物が存在する作業空間を前記カメラで撮像し、
    　前記カメラで撮像した画像中に前記対象物を認識して該対象物の位置情報を算出し、前記対象物の位置情報から、前記参照表を参照して、前記ロボットのハンドを該対象物まで移動させるための前記姿勢パラメータを取得し、
    　取得した前記姿勢パラメータを該ロボットに送信する作業工程と、
    を有するロボットシステム制御方法。
  21. 　前記１台以上のカメラは第１カメラおよび第２カメラであり、
    　前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、第１カメラによる画像中の画素位置と第２カメラによる画像中の画素位置との組である、
    請求項２０に記載のロボットシステム制御方法。
  22. 　前記１台以上のカメラは第１カメラおよび第２カメラであり、
    　前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、第１カメラによる画像中の画素位置と、第１カメラによる画像と第２カメラによる画像から三角測量の原理に基づいて算出された距離情報との組である、
    請求項２０に記載のロボットシステム制御方法。
  23. 　前記１台以上のカメラは第１カメラおよび第２カメラであり、
    　前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、第１カメラによる画像と第２カメラによる画像から三角測量の原理に基づいて算出されたカメラ座標系における三次元位置座標である、
    請求項２０に記載のロボットシステム制御方法。
  24. 　前記カメラは、前記作業空間と該作業空間が映り込むように配置された鏡とを１枚の画像内に撮像し、
    　前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記カメラによる画像中の直接像の画素位置と前記鏡による反射像の画素位置との組である、
    請求項２０に記載のロボットシステム制御方法。
  25. 　前記カメラが距離画像カメラであって、
    　前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の、前記距離画像カメラによる距離画像中の画素位置と距離情報との組である、
    請求項２０に記載のロボットシステム制御方法。
  26. 　前記標識の位置情報および前記対象物の位置情報が、それぞれ前記標識または前記対象物の前記カメラによる画像中の画素位置と、前記標識が当該位置にあるときの前記画像中の面積との組である、
    請求項２０に記載のロボットシステム制御方法。
  27. 　前記姿勢パラメータが、前記ロボットの関節変数の組である、
    請求項２０～２６のいずれか一項に記載のロボットシステム制御方法。
  28. 　前記姿勢パラメータが、前記標識または前記対象物のロボット座標系における三次元位置座標である、
    請求項２０～２６のいずれか一項に記載のロボットシステム制御方法。
PCT/JP2017/031055 2016-09-02 2017-08-30 ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 WO2018043524A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018537323A JP6855491B2 (ja) 2016-09-02 2017-08-30 ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-172015 2016-09-02
JP2016172015 2016-09-02

Publications (1)

Publication Number Publication Date
WO2018043524A1 true WO2018043524A1 (ja) 2018-03-08

Family

ID=61301786

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/031055 WO2018043524A1 (ja) 2016-09-02 2017-08-30 ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法

Country Status (2)

Country Link
JP (1) JP6855491B2 (ja)
WO (1) WO2018043524A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019239848A1 (ja) * 2018-06-15 2019-12-19 オムロン株式会社 ロボット制御システム
JP2020075325A (ja) * 2018-11-08 2020-05-21 株式会社Ihi ツールセンターポイントの設定方法及び設定装置
TWI711910B (zh) * 2018-03-19 2020-12-01 達明機器人股份有限公司 機器手臂校正臂外相機的方法
WO2021079802A1 (ja) * 2019-10-21 2021-04-29 株式会社アマダ ワーク撮影画像処理装置、ワーク撮影画像処理方法、及び加工システム
WO2021199305A1 (ja) * 2020-03-31 2021-10-07 日本電気株式会社 制御装置、制御システム、制御方法、および、制御プログラムが記録された記録媒体
CN116934692A (zh) * 2023-07-06 2023-10-24 深圳市维谱科技有限公司 自动化设备的头部偏移确定方法、自动化设备及存储介质
CN117011375A (zh) * 2022-12-30 2023-11-07 北京石头创新科技有限公司 障碍物识别方法、装置、电子设备及存储介质
CN118617393A (zh) * 2024-06-03 2024-09-10 合肥工业大学 一种基于双目视觉的工业机器人靶球定位方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0780790A (ja) * 1993-09-16 1995-03-28 Fujitsu Ltd 三次元物体把持システム
JPH09128549A (ja) * 1995-11-07 1997-05-16 Meidensha Corp ロボット装置の相対位置姿勢検出方法
JP2012223871A (ja) * 2011-04-21 2012-11-15 Kawasaki Heavy Ind Ltd ロボットの関節の原点補正方法およびそのシステム
JP2012254518A (ja) * 2011-05-16 2012-12-27 Seiko Epson Corp ロボット制御システム、ロボットシステム及びプログラム
JP2015182144A (ja) * 2014-03-20 2015-10-22 キヤノン株式会社 ロボットシステムおよびロボットシステムの校正方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0780790A (ja) * 1993-09-16 1995-03-28 Fujitsu Ltd 三次元物体把持システム
JPH09128549A (ja) * 1995-11-07 1997-05-16 Meidensha Corp ロボット装置の相対位置姿勢検出方法
JP2012223871A (ja) * 2011-04-21 2012-11-15 Kawasaki Heavy Ind Ltd ロボットの関節の原点補正方法およびそのシステム
JP2012254518A (ja) * 2011-05-16 2012-12-27 Seiko Epson Corp ロボット制御システム、ロボットシステム及びプログラム
JP2015182144A (ja) * 2014-03-20 2015-10-22 キヤノン株式会社 ロボットシステムおよびロボットシステムの校正方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI711910B (zh) * 2018-03-19 2020-12-01 達明機器人股份有限公司 機器手臂校正臂外相機的方法
JP7070127B2 (ja) 2018-06-15 2022-05-18 オムロン株式会社 ロボット制御システム
JP2019217571A (ja) * 2018-06-15 2019-12-26 オムロン株式会社 ロボット制御システム
WO2019239848A1 (ja) * 2018-06-15 2019-12-19 オムロン株式会社 ロボット制御システム
JP2020075325A (ja) * 2018-11-08 2020-05-21 株式会社Ihi ツールセンターポイントの設定方法及び設定装置
JP7172466B2 (ja) 2018-11-08 2022-11-16 株式会社Ihi ツールセンターポイントの設定方法及び設定装置
WO2021079802A1 (ja) * 2019-10-21 2021-04-29 株式会社アマダ ワーク撮影画像処理装置、ワーク撮影画像処理方法、及び加工システム
JPWO2021199305A1 (ja) * 2020-03-31 2021-10-07
WO2021199305A1 (ja) * 2020-03-31 2021-10-07 日本電気株式会社 制御装置、制御システム、制御方法、および、制御プログラムが記録された記録媒体
JP7323057B2 (ja) 2020-03-31 2023-08-08 日本電気株式会社 制御装置、制御方法、および、制御プログラム
US12214489B2 (en) 2020-03-31 2025-02-04 Nec Corporation Control device, control system, control method, and recording medium with control program recorded thereon
CN117011375A (zh) * 2022-12-30 2023-11-07 北京石头创新科技有限公司 障碍物识别方法、装置、电子设备及存储介质
CN116934692A (zh) * 2023-07-06 2023-10-24 深圳市维谱科技有限公司 自动化设备的头部偏移确定方法、自动化设备及存储介质
CN118617393A (zh) * 2024-06-03 2024-09-10 合肥工业大学 一种基于双目视觉的工业机器人靶球定位方法

Also Published As

Publication number Publication date
JP6855491B2 (ja) 2021-04-07
JPWO2018043524A1 (ja) 2019-06-24

Similar Documents

Publication Publication Date Title
JP6855492B2 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
WO2018043524A1 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
CN109373898B (zh) 一种基于三维测量点云的复杂零件位姿估计系统及方法
CN110695993B (zh) 一种柔性机械臂同步测量方法、系统及装置
JP4021413B2 (ja) 計測装置
CN103895023B (zh) 一种基于编码方位装置的机械臂末端跟踪测量系统的跟踪测量方法
EP2636493B1 (en) Information processing apparatus and information processing method
US10310054B2 (en) Relative object localization process for local positioning system
CN111127568A (zh) 一种基于空间点位信息的相机位姿标定方法
CN110728715A (zh) 一种智能巡检机器人像机角度自适应调整方法
US20150363935A1 (en) Robot, robotic system, and control device
JP2004508954A (ja) 位置決め装置およびシステム
CN111278608B (zh) 用于3d视觉机器人系统的校准物品
KR20140008262A (ko) 로봇 시스템, 로봇, 로봇 제어 장치, 로봇 제어 방법 및 로봇 제어 프로그램
JP2005515910A (ja) シングルカメラ３ｄビジョンガイドロボティクスの方法および装置
JP2013043271A (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
KR101972432B1 (ko) 레이저비전 센서 및 그 보정방법
JP2005300230A (ja) 計測装置
KR102094004B1 (ko) 탁구 로봇 제어 방법 및 이를 위한 시스템
JP2015062991A (ja) 座標系校正方法、ロボットシステム、プログラム及び記録媒体
CN111360585B (zh) 一种机器人铣削系统中刀具端实时位置误差的获取方法
CN110672049A (zh) 用于确定机器人坐标系与工件坐标系间关系的方法及系统
JP6885856B2 (ja) ロボットシステムおよびキャリブレーション方法
TW202212081A (zh) 機器手臂的座標系校正設備及校正方法
TWI708667B (zh) 運動裝置之位置與姿態校正裝置及系統與方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17846529

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018537323

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17846529

Country of ref document: EP

Kind code of ref document: A1