[go: up one dir, main page]

WO2021075090A1 - 補正パラメータ算出方法、変位量算出方法、補正パラメータ算出装置、及び、変位量算出装置 - Google Patents

補正パラメータ算出方法、変位量算出方法、補正パラメータ算出装置、及び、変位量算出装置 Download PDF

Info

Publication number
WO2021075090A1
WO2021075090A1 PCT/JP2020/025232 JP2020025232W WO2021075090A1 WO 2021075090 A1 WO2021075090 A1 WO 2021075090A1 JP 2020025232 W JP2020025232 W JP 2020025232W WO 2021075090 A1 WO2021075090 A1 WO 2021075090A1
Authority
WO
WIPO (PCT)
Prior art keywords
displacement
correction parameter
displacement amount
actual size
image data
Prior art date
Application number
PCT/JP2020/025232
Other languages
English (en)
French (fr)
Inventor
晃浩 野田
今川　太郎
悠樹 丸山
日下　博也
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2021552097A priority Critical patent/JP7489671B2/ja
Priority to CN202080066802.6A priority patent/CN114502913A/zh
Publication of WO2021075090A1 publication Critical patent/WO2021075090A1/ja
Priority to US17/699,418 priority patent/US11920913B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes

Definitions

  • the present disclosure discloses a correction parameter calculation method, a displacement amount calculation method, a correction parameter calculation device, and a correction parameter calculation device for calculating a correction parameter for measuring an actual size displacement amount which is an actual size value of a displacement indicating the movement of an object using an image. Regarding the displacement amount calculation device.
  • an imaging device capable of non-contact measuring the surrounding state of an object by using image data obtained by capturing an object with a camera and a distance measurement value to the object measured by a distance measuring device such as a laser range finder has been used. It is disclosed (see Patent Document 1).
  • the state is, for example, the amount of bending of the bridge when the object is a bridge.
  • the present disclosure relates to a correction parameter calculation method and the like that can easily calculate a correction parameter for converting a displacement amount into an actual size value in displacement measurement using an image.
  • the correction parameter calculation method is a correction parameter calculation method for calculating a correction parameter for measuring an actual size displacement amount which is an actual size value of a displacement indicating the movement of an object using an image. Based on the first acquisition step of acquiring the first image data obtained by imaging the object to which the marker capable of detecting specific coordinates is attached from the imaging device and the marker included in the first image data. , A detection step for detecting the specific coordinates, an estimation step for estimating the position of the imaging device based on the detection result of the specific coordinates and the parameters of the imaging device, and the specific coordinates and the imaging.
  • the displacement amount calculation method includes a third acquisition step of acquiring the correction parameter calculated by using the above correction parameter calculation method, and a fourth acquisition of the two or more second image data.
  • the acquisition step includes a conversion step of converting the pixel displacement amount in the two or more second image data into the actual size displacement amount based on the correction parameter.
  • the correction parameter calculation device is a correction parameter calculation device for calculating a correction parameter for measuring an actual size displacement amount which is an actual size value of a displacement indicating the movement of an object using an image. Based on the first acquisition unit that acquires the first image data obtained by imaging the object to which a marker capable of detecting specific coordinates is attached from the imaging device, and the marker included in the first image data. , The position detecting unit that detects the specific coordinates, the position estimating unit that estimates the position of the imaging device based on the detection result of the specific coordinates, and the parameters of the imaging device, and the specific coordinates.
  • a distance calculation unit that calculates distance data from the image pickup device to the object based on the position of the image pickup device, and the object based on two or more second image data captured by the image pickup device at different timings. It is provided with a parameter calculation unit that calculates the correction parameter for converting the pixel displacement amount of the measurement point of an object into the actual size displacement amount by using the distance data.
  • the displacement amount calculation device includes a second acquisition unit that acquires the correction parameter calculated by using the correction parameter calculation device, and a third acquisition unit that acquires the two or more second image data. It includes an acquisition unit and a conversion unit that converts the pixel displacement amount in the two or more second image data into the actual size displacement amount based on the correction parameter.
  • the correction parameter calculation method or the like it is possible to easily calculate the correction parameter for converting the displacement amount into the actual size value in the displacement measurement using the image.
  • FIG. 1 is a diagram showing a schematic configuration of a displacement measurement system according to an embodiment.
  • FIG. 2 is a block diagram showing a functional configuration of the displacement measurement system according to the embodiment.
  • FIG. 3 is a diagram showing an example of a marker attached to the object according to the embodiment.
  • FIG. 4 is a flowchart showing the operation of the displacement measurement system according to the embodiment.
  • FIG. 5 is a diagram for explaining the detection result of the position detection unit according to the embodiment.
  • FIG. 6 is a diagram for explaining a method of converting the actual size of the displacement according to the embodiment.
  • FIG. 7 is a flowchart showing the operation of the displacement measurement system according to the modified example of the embodiment.
  • FIG. 8A is a diagram for explaining displacement correction in consideration of the displacement direction according to the modified example of the embodiment.
  • FIG. 8B is a second diagram for explaining the displacement correction in consideration of the displacement direction according to the modified example of the embodiment.
  • FIG. 9 is a diagram for explaining a method of converting
  • the imaging device described in Patent Document 1 discloses a configuration including a distance measuring device that measures a distance to an object. Therefore, it is necessary to install two cameras and a distance measuring device at the measurement site. Further, in order to accurately measure the displacement of the object, it is necessary to install the camera and the distance measuring device so that the optical axis of the camera and the optical axis of the distance measuring device are parallel to each other.
  • an image including a specific portion whose length is known in the object for which the displacement is to be measured is imaged, and the displacement amount on the image displaying the specific portion and the known displacement amount.
  • the correction parameter calculation method is a correction parameter calculation method for calculating a correction parameter for measuring an actual size displacement amount which is an actual size value of a displacement indicating the movement of an object using an image. Based on the first acquisition step of acquiring the first image data obtained by imaging the object to which the marker capable of detecting specific coordinates is attached from the imaging device and the marker included in the first image data. , A detection step for detecting the specific coordinates, an estimation step for estimating the position of the imaging device based on the detection result of the specific coordinates and the parameters of the imaging device, and the specific coordinates and the imaging.
  • the correction parameter calculation method it is possible to calculate the correction parameter for converting the displacement amount into the actual size value only by imaging the object including the marker with the imaging device.
  • the correction parameter can be calculated without using a distance measuring device for measuring the distance to the object or without acquiring the length of a specific portion of the object in advance. Therefore, according to the correction parameter calculation method, it is possible to easily calculate the correction parameter for converting the displacement amount into the actual size value in the displacement measurement using the image.
  • the second acquisition step of acquiring the displacement direction information indicating the displacement direction of the object is further included, and in the parameter calculation step, the correction parameter is further calculated using the displacement direction information. ..
  • the displacement amount in the two-dimensional space can be converted into the actual size displacement amount in the three-dimensional space by using the displacement direction information. Can be calculated. Therefore, according to the correction parameter calculation method, the actual size value of the displacement can be measured more accurately.
  • the marker is attached to a plane portion of the object, and the direction indicated by the displacement direction information is defined with respect to the plane.
  • the marker is a QR code (registered trademark), and the displacement direction information is stored in the QR code.
  • the correction parameter calculation method As a result, according to the correction parameter calculation method, the actual size value of the displacement can be measured more accurately only by acquiring the displacement direction information stored in the QR code. Therefore, according to the correction parameter calculation method, it is possible to more easily calculate the correction parameter that can accurately calculate the actual size value of the displacement.
  • the displacement amount calculation method includes a third acquisition step of acquiring the correction parameter calculated by using the above correction parameter calculation method, and a fourth acquisition of the two or more second image data.
  • the acquisition step includes a conversion step of converting the pixel displacement amount in the two or more second image data into the actual size displacement amount based on the correction parameter.
  • the actual size displacement amount can be measured using the correction parameter calculated by the above correction parameter calculation method, so that the actual size displacement amount of the object can be easily measured.
  • the correction parameter calculation device is a correction parameter calculation device for calculating a correction parameter for measuring an actual size displacement amount which is an actual size value of a displacement indicating the movement of an object using an image. Based on the first acquisition unit that acquires the first image data obtained by imaging the object to which a marker capable of detecting specific coordinates is attached from the imaging device, and the marker included in the first image data. , The position detecting unit that detects the specific coordinates, the position estimating unit that estimates the position of the imaging device based on the detection result of the specific coordinates, and the parameters of the imaging device, and the specific coordinates.
  • a distance calculation unit that calculates distance data from the image pickup device to the object based on the position of the image pickup device, and the object based on two or more second image data captured by the image pickup device at different timings. It is provided with a parameter calculation unit that calculates the correction parameter for converting the pixel displacement amount of the measurement point of an object into the actual size displacement amount by using the distance data.
  • the displacement amount calculation device includes a second acquisition unit that acquires the correction parameter calculated by using the correction parameter calculation device according to claim 6, and two or more second image data. It includes a third acquisition unit to be acquired and a conversion unit that converts the pixel displacement amount in the two or more second image data into the actual size displacement amount based on the correction parameter.
  • these general or specific aspects may be realized by a system, a method, an integrated circuit, a computer program, or a non-temporary recording medium such as a computer-readable CD-ROM, and the system, the method, the integrated. It may be realized by any combination of circuits, computer programs or recording media.
  • the program may be stored in the recording medium in advance, or may be supplied to the recording medium via a wide area communication network including the Internet or the like.
  • each figure is a schematic diagram and is not necessarily exactly illustrated. Further, in each figure, substantially the same configuration may be designated by the same reference numerals, and duplicate description may be omitted or simplified.
  • the image is a still image but may be a moving image.
  • FIG. 1 is a diagram showing a schematic configuration of a displacement measurement system 1 according to the present embodiment.
  • FIG. 2 is a block diagram showing a functional configuration of the displacement measurement system 1 according to the present embodiment.
  • the displacement measurement system 1 is an information processing system that measures the actual size value of the displacement of the object 50 by using one imaging device.
  • the object 50 is an object for measuring displacement, and is not limited to, for example, a device that is displaced (vibrated, etc.) during operation of a motor or the like, and is displaced (for example, due to external stress such as an infrastructure structure). It may be a structure that is deformed).
  • the infrastructure structure may be, for example, a bridge on which a vehicle such as an automobile or a railroad travels.
  • the displacement in the present specification includes not only the vibration of the object 50 but also the deformation and the change of the position of the object 50. It can be said that the displacement indicates the movement of the object.
  • one or more markers 60 are attached (fixed) to the surface of the object 50 of the present application.
  • the marker 60 is not particularly limited as long as the size is known and, for example, four or more coordinates can be detected.
  • a QR (Quick Response) code registered trademark
  • an AR marker an AR marker
  • a chess marker or the like
  • an example in which the marker 60 is a QR code will be described.
  • Each of the four or more coordinates is an example of specific coordinates.
  • the displacement measurement system 1 includes an image pickup device 10, a displacement measurement device 20, an output device 30, and an input device 40.
  • the image pickup device 10 captures an image for measuring the displacement of the object 50.
  • the image captured by the imaging device 10 is used to detect the amount of displacement (number of pixels) on the image with respect to the displacement of the object 50.
  • the amount of displacement on the image with respect to the displacement of the object 50 is also described as the amount of pixel displacement.
  • the image may be used to calculate a correction value described later.
  • the image pickup device 10 takes an image so that at least one marker 60 is captured.
  • the image pickup device 10 is arranged at a position where, for example, at least one marker 60 is captured.
  • the image pickup device 10 is, for example, a monochrome camera. In other words, the image is, for example, a black-and-white image.
  • the image pickup device 10 is not limited to a monochrome camera, and may be a color camera.
  • the image pickup device 10 is, for example, a digital video camera or a digital still camera having an image sensor.
  • the image pickup device 10 is an example of an acquisition device.
  • the displacement measuring device 20 calculates and calculates a correction value for converting the pixel displacement amount on the image into the actual size displacement amount indicating the actual size value of the displacement of the object 50 based on the image data acquired from the image pickup device 10. This is an information processing device that outputs the actual size displacement amount of the object 50 by using the corrected value.
  • the displacement measuring device 20 may be, for example, a server device.
  • the displacement measuring device 20 includes a correction parameter calculation unit 110, a displacement detection unit 120, and a displacement amount calculation unit 130.
  • the correction parameter calculation unit 110 calculates a correction value for converting the pixel displacement amount into the actual size displacement amount based on the image data acquired from the image pickup apparatus 10.
  • the correction parameter calculation unit 110 includes an acquisition unit 111, a position detection unit 112, a position estimation unit 113, a distance calculation unit 114, and a correction value calculation unit 115.
  • the acquisition unit 111 acquires image data indicating an image from the image pickup device 10.
  • the acquisition unit 111 includes a communication interface (communication circuit) that is communicably connected to the image pickup apparatus 10 via wireless communication or wired communication.
  • the acquisition unit 111 is an example of the first acquisition unit.
  • the position detection unit 112 detects the marker 60 from the image data, and detects specific coordinates based on the detected marker 60.
  • the position detection unit 112 detects a plurality of specific coordinates (for example, four or more coordinates) based on the marker 60.
  • the specific coordinates are used to estimate the position of the imaging device 10. From the viewpoint of improving the estimation accuracy of the position of the image pickup apparatus 10, it is preferable that four or more specific coordinates are provided.
  • the coordinates are three-dimensional coordinates.
  • the position estimation unit 113 estimates the position of the image pickup device 10 based on the image data, the coordinate information indicating the specific coordinates, and the internal parameters of the image pickup device 10. It is assumed that the internal parameters of the image pickup apparatus 10 are known. Further, the internal parameter includes at least one such as a parameter matrix (cameraMatrix) of 3 rows ⁇ 3 columns, a distortion coefficient (distCoeffs) of a lens, a focal length, and the like.
  • a parameter matrix cameraMatrix
  • disCoeffs a distortion coefficient of a lens
  • the distance calculation unit 114 calculates distance information (distance data) indicating the distance from the image pickup device 10 to the object 50 based on the specific coordinates and the position information indicating the position of the image pickup device 10.
  • the distance calculation unit 114 calculates, for example, the distance from the image pickup apparatus 10 to each of one or more measurement points of the object 50.
  • the distance calculation unit 114 may calculate, for example, the distance to a plurality of surface points including one or more measurement points for measuring the displacement of the object 50. Then, the distance calculation unit 114 may generate a distance map in which the distances from the image pickup apparatus 10 to the object 50 are arranged.
  • the number of measurement points of the object 50 is not particularly limited and may be 2 or more.
  • the correction value calculation unit 115 is a correction value for converting the pixel displacement amount into the actual size displacement amount based on the position of the image pickup device 10, the distance from the image pickup device 10 to the object 50, and the internal parameters of the image pickup device 10. Is calculated. The calculation of the correction value by the correction value calculation unit 115 will be described later. Further, the correction value calculation unit 115 may calculate the correction value at each of the plurality of surface points and generate a correction value map in which the calculated correction values are arranged. The correction value and the correction value map are examples of correction parameters. The correction value calculation unit 115 is an example of the parameter calculation unit.
  • the correction parameter calculation unit 110 has described an example built in the displacement measuring device 20, but the present invention is not limited to this.
  • the correction parameter calculation unit 110 may be realized as a single device. In this case, the correction parameter calculation unit 110 functions as a correction parameter calculation device.
  • the displacement measuring device 20 is an example of a displacement amount calculating device.
  • the displacement detection unit 120 detects the amount of pixel displacement (number of pixels) on the image corresponding to the displacement of the object 50 based on two or more image data captured by the imaging device 10.
  • the displacement detection unit 120 detects, for example, the amount of pixel displacement for each measurement point.
  • the displacement amount calculation unit 130 calculates the actual size displacement amount of the object 50 by converting the pixel displacement amount into the actual size displacement amount based on the pixel displacement amount and the correction information indicating the correction parameter.
  • the displacement amount calculation unit 130 is, for example, based on the correction value of each of the plurality of measurement points of the object 50 and the pixel displacement amount of each of the plurality of measurement points, and the actual size displacement of each of the plurality of measurement points. Calculate the amount.
  • the output device 30 is a device that acquires presentation information including the actual size displacement amount from the displacement measuring device 20 and outputs the acquired presentation information.
  • the output device 30 is, for example, a display device that displays the presented information as an image.
  • the output device 30 is a liquid crystal display or the like. The image output by the output device 30 is visually recognized by the worker.
  • the output device 30 may be a stationary device or a device possessed by a mobile terminal possessed by a worker.
  • the mobile terminal is not particularly limited as long as it has an output device 30 and can communicate with the displacement measuring device 20, and may be, for example, a smartphone or a tablet.
  • the worker can know the actual size displacement amount by checking the output device 30 of the mobile terminal in the vicinity of the object 50.
  • the worker is an example of a user.
  • the displacement measurement system 1 may include a device that outputs sound as the output device 30 together with the display device or in place of the display device. Further, the displacement measurement system 1 may include a device for displaying presentation information on an object (for example, a screen) such as a projector as an output device 30. When the displacement measuring device 20 is located at a remote location, the displacement measuring device 20 and the output device 30 may be connected via a network.
  • the input device 40 is a user interface that receives predetermined information in displacement measurement from a worker.
  • the input device 40 may, for example, receive information for calculating a correction value from an operator, may receive information regarding the displacement direction of the object 50, or may receive information regarding the approximate position of the image pickup device 10. You may. Further, the input device 40 may accept input of predetermined information by voice.
  • the approximate position is an estimated value of the installation position of the image pickup apparatus 10.
  • the input device 40 is realized by a hardware key (hardware button), a slide switch, a touch panel, or the like.
  • the input device 40 may be a stationary device or a device possessed by a mobile terminal possessed by a worker.
  • FIG. 3 is a diagram showing an example of a marker 60 attached to the object 50a according to the present embodiment.
  • the marker 60 is, for example, a QR code and is attached to the surface of the object 50a.
  • FIG. 3 describes an example in which the object 50a is a rectangular parallelepiped for convenience.
  • one or more markers 60a and 60b are attached to the object 50a.
  • the markers 60a and 60b are attached to different surfaces among a plurality of surfaces constituting the object 50a.
  • the markers 60a and 60b are attached at positions where the image pickup device 10 can take an image.
  • the markers 60a and 60b may be attached to, for example, a flat surface portion of the object 50a.
  • the QR code may not store any particular information, or may store information regarding the allowable displacement value.
  • the markers 60a and 60b are configured so that, for example, the coordinates (three-dimensional coordinates) of four or more positions (detection points) can be acquired.
  • the markers 60a and 60b may be attached to a curved surface portion of the object 50a or the like as long as the coordinates in the three-dimensional space can be detected. Further, a plurality of markers 60a and 60b may be attached to one plane. Further, each of the markers 60a and 60b may be provided corresponding to the measurement point of the object 50a. For example, when there are a plurality of displacement measurement points on the object 50a, the markers 60a and 60b may be attached around each of the plurality of measurement points.
  • the shapes of the markers 60a and 60b are quadrangles (for example, squares), but are not limited to these, and may be, for example, pentagons or more polygons (for example, regular polygons).
  • FIG. 4 is a flowchart showing the operation of the displacement measurement system 1 according to the present embodiment. Specifically, FIG. 4 is a flowchart showing the operation of the displacement measuring device 20. Further, steps S11 to S15 shown in FIG. 4 show the operation of the correction parameter calculation unit 110.
  • the acquisition unit 111 acquires image data indicating an image from the image pickup device 10 (S11).
  • the image includes a marker 60.
  • the acquisition unit 111 may acquire at least one image data in step S11. Further, in order to measure the displacement, the acquisition unit 111 may acquire two or more image data captured at different timings in step S11.
  • the acquisition unit 111 When a plurality of image data are acquired, the acquisition unit 111 outputs at least one image data to the position detection unit 112 and outputs two or more image data to the displacement detection unit 120.
  • the acquisition unit 111 may output different image data to the position detection unit 112 and the displacement detection unit 120, or may output at least a part of the same image data.
  • At least one image data output to the position detection unit 112 is an example of the first image data
  • two or more image data output to the displacement detection unit 120 is an example of the second image data.
  • step S11 is an example of the first acquisition step. Further, step S11 may be an example of a fourth acquisition step in the displacement amount calculation method described later.
  • the acquisition unit 111 may function as a third acquisition unit for acquiring two or more second image data.
  • Each of the first image data and the second image data is image data indicating an image captured under the same conditions such as camera parameters.
  • the position detection unit 112 detects the marker 60 from the image data including the marker 60, and detects specific coordinates based on the detected marker 60 (S12).
  • the position detection unit 112 detects, for example, the four corners of the marker 60, which is a QR code, and detects the coordinates of the four corners. In this way, the position detection unit 112 detects a plurality of coordinates in step S12. It can be said that the position detection unit 112 sets a plurality of coordinates based on the marker 60.
  • the quadrangles (cutout symbols) at the four corners are detected in order to detect the position, outer shape, etc. of the QR code.
  • an automatically detected position As a position for detecting specific coordinates, it is possible to omit the process of determining the position for detecting specific coordinates.
  • FIG. 5 is a diagram for explaining the detection result of the position detection unit 112 according to the present embodiment.
  • the "x" in the three-dimensional coordinates (x, y, z) shown below is x.
  • the position on the axis is indicated, "y” indicates the position on the y-axis, and [z] indicates the position on the z-axis.
  • the x-axis direction, the y-axis direction, and the z-axis direction are directions orthogonal to each other.
  • the position detection unit 112 detects the detection points Q1 to Q4 at the four corners of the marker 60, and sets the coordinates for each of the detected detection points Q1 to Q4.
  • the position detection unit 112 sets the coordinates based on the positional relationship between the detection points Q1 to Q4.
  • the position detection unit 112 sets the coordinates, for example, based on the distance between the detection points Q1 and Q4 (for example, the distance between the detection points Q1 and Q2).
  • the detection points Q1 to Q4 may be, for example, the four corners of the QR code which is a square.
  • the first distance of the detection points Q1 and Q2, the second distance of the detection points Q2 and Q4, the third distance of the detection points Q4 and Q3, and the fourth distance of the detection points Q3 and Q1 are mutual. Equal, but not limited to.
  • the position detection unit 112 sets the coordinates of other detection points according to the position (distance) from the detection point Q1 with reference to the coordinates. .. Since the position detection unit 112 has the same first to fourth distances, the coordinates of the detection point Q2 are set to (1, 0, 0), and the coordinates of the detection point Q3 are set to (0, 1, 0). Set and set the coordinates of the detection point Q4 to (1, 1, 0).
  • the detection points Q1 and Q2 are the positions shown in FIG.
  • the position detection unit 112 sets the coordinates of the detection point Q3 to (0, 2, 0). In this way, the position detection unit 112 sets the coordinates of each detection point according to the distance ratio (for example, the ratio of the actual size values).
  • the position detection unit 112 may set the coordinates of each detection point according to the distance (number of pixels) between the detection points on the image, for example.
  • the position detection unit 112 outputs coordinate information indicating specific coordinates to the position estimation unit 113.
  • step S12 is an example of a detection step.
  • the coordinate information is an example of the detection result.
  • the position estimation unit 113 estimates the position of the image pickup device 10 based on the image data (position on the image data), the coordinate information, and the internal parameters of the image pickup device 10 (S13).
  • the position estimation unit 113 solves the PnP problem (Perceptive-n-Point Problem) when the three-dimensional position of the object 50 (here, the three-dimensional position of the marker 60) and the internal parameters of the imaging device 10 are known.
  • the position of the imaging device 10 can be estimated with.
  • the position estimation unit 113 estimates the position of the image pickup apparatus 10 by solving the P4P problem.
  • the position of the image pickup apparatus 10 here is represented as, for example, three-dimensional coordinates when the detection point Q1 is the origin.
  • the position estimation unit 113 may further estimate the posture of the image pickup device 10 by solving the PnP problem.
  • the position estimation unit 113 outputs position information indicating the estimated position of the imaging device 10 to the distance calculation unit 114.
  • step S13 is an example of an estimation step.
  • the distance calculation unit 114 calculates the distance from the image pickup device 10 to the object 50 based on the coordinate information and the position information (S14).
  • the distance calculation unit 114 determines the distance from the image pickup device 10 to the object 50 based on the position (coordinates) of the image pickup device 10 included in the position information and the actual size length corresponding to the distance "1" at the coordinates. calculate.
  • the position of the object 50 when viewed from the image pickup apparatus 10 is acquired.
  • the actual length corresponding to the distance "1" on the coordinates may be stored in advance by the correction parameter calculation unit 110, may be acquired via the input device 40, or the marker 60 may be a QR code. In some cases, it may be stored in the QR code.
  • the distance calculation unit 114 outputs distance information indicating the distance between the image pickup device 10 and the object 50 to the correction value calculation unit 115. Note that step S14 is an example of a distance calculation step.
  • the correction value calculation unit 115 calculates a correction value for converting the pixel displacement amount into the actual size displacement amount based on the position and distance information of the image pickup device 10 and the internal parameters of the image pickup device 10 (S15).
  • the correction value calculation unit 115 calculates one correction value for the object 50.
  • the correction value includes, for example, information indicating an actual size value corresponding to one pixel at a measurement point.
  • Step S15 is an example of the parameter calculation step. Further, step S15 may be an example of the third acquisition step.
  • the correction parameter calculation unit 110 may calculate a correction value for each of the plurality of markers 60.
  • the correction value can be calculated for each of the planes. It is possible to measure the actual size value of displacement with high accuracy.
  • FIG. 6 is a diagram for explaining a method of converting the actual size of the displacement according to the present embodiment.
  • FIG. 6 shows an example in which the object 50 is displaced in a direction parallel to the projection surface (imaging surface) of the imaging device 10.
  • the position T (Tx, Ty, Tz) of the image pickup device 10 shown in FIG. 6 indicates the position of the lens 11 of the image pickup device 10, and the optical center O indicates the center of the lens 11 of the image pickup device 10 and the position P1 (x).
  • Y indicate the position on the imaging surface corresponding to the position M1 (X, Y, Z) of the measurement point at the first time point of the object 50, and the displacement ( ⁇ x1, ⁇ y1) on the image is the first time point.
  • the difference between the position P2 and the position P1 on the imaging surface corresponding to the position M2 of the measurement point at the second time point different from the above is shown.
  • the displacement ( ⁇ x1, ⁇ y1) is the number of pixels on the image.
  • the first time point is, for example, an initial time point when the object 50 is not displaced.
  • the distance L2 between the optical center O and the position M1 is determined by the similarity between the triangle ⁇ OP1P2 and the triangle ⁇ OM1M2.
  • the correction value calculation unit 115 calculates the correction value based on the above (Equation 2). From (Equation 2), the correction value for calculating the displacement Dx1 is L2 / L1. Further, from (Equation 2), the correction value for calculating the displacement Dy1 is also L2 / L1.
  • the image center (cx, cy) and the focal length f are acquired as internal parameters of the image pickup apparatus 10.
  • the correction value calculation unit 115 may calculate the internal parameters of the image pickup apparatus 10 using the chart image.
  • the correction value calculation unit 115 outputs correction information indicating the calculated correction value to the displacement amount calculation unit 130.
  • the displacement amount calculation unit 130 acquires correction information from the correction value calculation unit 115.
  • the displacement amount calculation unit 130 functions as a second acquisition unit for acquiring correction parameters.
  • the displacement detection unit 120 calculates the amount of pixel displacement of the displacement of the object 50 on the image data from the image data (S16).
  • the displacement detection unit 120 calculates the pixel displacement amount from, for example, the displacement of the object 50 projected on the projection surface of the image pickup apparatus 10.
  • the displacement detection unit 120 calculates, for example, how many pixels on the image the displacement at the measurement point is for each of a plurality of measurement points of the object 50.
  • the displacement detection unit 120 outputs the calculated pixel displacement amount to the displacement amount calculation unit 130.
  • the displacement amount calculation unit 130 calculates the actual size displacement amount based on the pixel displacement amount and the correction value (S17).
  • the displacement amount calculation unit 130 calculates the actual size displacement amount at the measurement point by calculating the pixel displacement amount and the correction value at the measurement point for each of the plurality of measurement points of the object 50. In this way, the displacement amount calculation unit 130 functions as a conversion unit that converts the pixel displacement amount in the second or more second image data into the actual size displacement amount based on the correction information.
  • the displacement amount calculation unit 130 outputs the presentation information including the calculated actual size displacement amount to the output device 30 (S18). Then, the output device 30 displays the presentation information acquired from the displacement amount calculation unit 130 as an image. Note that step S18 is an example of a conversion step.
  • step S11 to step S15 shown in FIG. 4 may be performed every time the process of calculating the actual size displacement amount of the object 50 is executed, or the installation position, posture, and the image pickup device 10 of the image pickup apparatus 10 may be executed. It may be done every time at least one of the camera parameters (including internal parameters) is changed. Further, the correction value calculation unit 115 may store the calculated correction value in a storage unit (not shown). Then, when calculating the actual size displacement amount of the object 50, the correction value calculation unit 115 may read the correction value from the storage unit and output the read correction value to the displacement amount calculation unit 130. That is, the correction value calculation unit 115 may use the correction value calculated in the past as the correction value for calculating the current actual size displacement amount. As a result, the processing amount of the correction parameter calculation unit 110 can be reduced.
  • the above steps S11 to S15 are processes executed in the correction parameter calculation method for calculating the correction parameter. Further, the above steps S16 to S18 are processes executed in the displacement amount calculation method for calculating the actual size displacement amount.
  • the displacement amount calculation method may include the processes of steps S11 to S15.
  • the displacement measurement system 1 includes an image pickup device 10 and a displacement measurement device 20 having a correction parameter calculation unit 110.
  • the correction parameter calculation unit 110 estimates the position of the image pickup device 10 based on the marker 60 included in the image data acquired from the image pickup device 10, and converts the pixel displacement amount into the actual size displacement amount based on the position. Calculate the correction value.
  • the correction value is calculated only by acquiring the image data including the marker 60 from the image pickup device 10 without using another device (for example, a distance measurement device). Therefore, the correction parameter can be easily calculated.
  • the displacement measuring device 20 measures the actual size displacement amount of the displacement of the object 50 by using two or more image data captured by the imaging device 10. As a result, the displacement measuring device 20 can measure the actual size displacement amount even if the displacement of the object 50 is a vibration having a period that cannot be measured by using a laser range finder or the like.
  • the displacement measurement system 1 according to this modification can accurately calculate the actual size displacement amount even when the displacement direction of the object 50 is different from the horizontal direction with the projection surface (imaging surface) of the imaging device. It is characterized by points.
  • FIG. 7 is a flowchart showing the operation of the displacement measurement system 1 according to this modification.
  • the correction value calculation unit 115 acquires the displacement direction information of the object 50 (S21).
  • the correction value calculation unit 115 may acquire displacement direction information via, for example, the input device 40.
  • the displacement direction information may be, for example, information indicating the displacement direction based on the drive direction of the drive unit of the motor when the object 50 is a motor.
  • the displacement direction information may be information indicating the predicted displacement direction, for example, when the displacement direction of the object 50 can be predicted by design.
  • the displacement direction information may be information indicating, for example, a direction (for example, a vertical direction) in which the object 50 is a bridge or the like and receives stress from a vehicle or the like.
  • the displacement direction indicated by the displacement direction information is not limited to one, and may be two or more (two or more directions).
  • Step S21 is an example of the second acquisition step.
  • the displacement direction information is not limited to being acquired via the input device 40.
  • the displacement direction information may be acquired based on the image data.
  • the QR code may store information regarding the displacement direction of the object 50.
  • the correction value calculation unit 115 may acquire the displacement direction of the object 50 based on the QR code included in the image data.
  • the displacement direction is, for example, a direction based on the surface (plane) of the object 50 to which the QR code is attached.
  • the correction value calculation unit 115 calculates a correction value for converting the pixel displacement amount into the actual size displacement amount based on the position and distance information of the image pickup device 10, the internal parameters of the image pickup device 10, and the displacement direction information. (S22). That is, the correction value calculation unit 115 calculates the correction value using the displacement direction information in addition to the embodiment. Note that step S22 is an example of a parameter calculation step.
  • FIG. 8A is a diagram for explaining displacement correction in consideration of the displacement direction according to this modification.
  • FIG. 8B is a second diagram for explaining the displacement correction in consideration of the displacement direction according to the present modification.
  • 8A and 8B are bird's-eye views of the object 50b as viewed from above. The shape of the object 50b is square for convenience.
  • the projection surface is Of the displacements of the object 50b, only the displacements in the direction parallel to the projection plane are projected.
  • the displacement direction is the direction connecting the upper left and the lower right on the paper surface.
  • the displacement of the measurement point of the object 50b is D1
  • the displacement of the measurement point of the object 50b projected on the projection surface is D2.
  • the displacement D2 is a component in the direction parallel to the projection plane in the displacement D1.
  • the displacement direction is the direction connecting the lower left and the upper right on the paper.
  • the displacement of the measurement point of the object 50b is D3
  • the displacement of the measurement point of the object 50b projected on the projection surface is D4.
  • the displacement D4 is a component in the direction parallel to the projection plane in the displacement D3.
  • the displacements D1 and D3 are actual size displacement amounts, for example, actual size values.
  • the displacements D2 and D4 are pixel displacement amounts, for example, the number of pixels.
  • displacements D1 and D3 having different actual displacement directions may be detected as displacements in the same direction on the projection surface. With this, the displacement in the direction horizontal to the projection plane can be measured, but the displacement in the direction perpendicular to the projection plane cannot be measured.
  • the correction value calculation unit 115 acquires the displacement direction information of the object 50 in step S21, and uses the displacement direction information in step S22 on the image data.
  • a correction value for converting the pixel displacement amount of the object 50 into the actual size displacement amount is calculated.
  • the correction value here includes an actual size value corresponding to one pixel and information indicating a displacement direction.
  • the correction value may include, for example, information indicating an actual size value (Xa, Yb, Zc) corresponding to one pixel.
  • the actual size value Xa indicates the actual size value of the displacement in the x-axis direction in the three-dimensional Cartesian coordinate system of the real space when the displacement is one pixel on the projection plane.
  • the actual size value Xb indicates the actual size value of the displacement in the y-axis direction in the three-dimensional Cartesian coordinate system of the real space when the displacement is one pixel on the projection plane.
  • Xc indicates the actual size value of the displacement in the z-axis direction in the three-dimensional Cartesian coordinate system in the real space when the displacement is one pixel on the projection plane.
  • the actual size values (Xa, Yb, Zc) are examples of correction parameters.
  • FIG. 9 is a diagram for explaining a method of converting the actual size of the displacement according to the present modification.
  • the position P1 on the projection plane corresponding to the position M1 (X, Y, Z) of the measurement point at the first time point of the object 50 is (x, y)
  • the distance L1 to P1 can be calculated by (Equation 1).
  • the first time point is, for example, an initial time point when the object 50 is not displaced.
  • the difference (displacement) between the position P3 and the position P1 on the projection plane corresponding to the position M3 of the measurement point at the second time point different from the first time point is ( ⁇ x2, ⁇ y2)
  • the first correction value is It can be calculated by (Equation 2).
  • the first correction value here is a value capable of calculating the actual size displacement amount of the displacement in the direction parallel to the projection surface of the image pickup apparatus 10.
  • the first correction value is, for example, a value at which the displacement (Dx2, Dy2) of the actual size displacements (Dx2, Dy2, Dz2) can be calculated from the displacement ( ⁇ x2, ⁇ y2) on the image.
  • the correction value calculation unit 115 converts the first correction value into a second correction value which is three-dimensional information based on the calculated first correction value and the displacement direction information.
  • the correction value calculation unit 115 calculates a second correction value for converting the pixel displacement amount, which is two-dimensional information indicating the displacement on the projection surface, into the actual size displacement amount, which is three-dimensional information.
  • the correction value calculation unit 115 may calculate the second correction value based on the first correction value and the angle formed by the projection surface and the displacement direction of the image pickup apparatus 10.
  • the second correction value is, for example, a value capable of calculating the actual size displacement (Dx2, Dy2, Dz2) from the displacement ( ⁇ x2, ⁇ y2) on the image.
  • the method by which the correction value calculation unit 115 calculates the second correction value is not limited to the above.
  • the correction parameter calculation unit 110 of the displacement measurement system 1 further converts the pixel displacement amount into the actual size displacement amount by using the displacement direction information indicating the displacement direction of the object 50. Calculate the correction value of.
  • the displacement measurement system 1 calculates a correction value using the displacement direction information when the object 50 is displaced in the direction intersecting the projection surface of the imaging device 10 when the object 50 is viewed from above. Therefore, the actual size value of the displacement can be measured with high accuracy.
  • the image pickup device may be, for example, an image pickup device provided on a flying object such as a drone.
  • the marker is a QR code or the like, and an example in which the marker is attached to the object has been described, but the present invention is not limited to this.
  • the marker may be, for example, a pattern or characters provided on the surface of the object. Further, the marker may be, for example, an unevenness provided on the surface of the object. The distance between predetermined positions in patterns, characters, irregularities, etc. is known in advance. Further, the marker may be a sticker, a sticker, or the like whose size is known. For example, the marker may be a plain sticker of several cm square.
  • the acquisition unit may be, for example, a connection unit to which a recording medium is connected.
  • the connection unit may be, for example, a USB terminal to which a USB (Universal Serial Bus) is connected, an SD card slot into which an SD card is inserted, an optical drive into which an optical disk is inserted, or the like.
  • USB Universal Serial Bus
  • each step in the flowchart is executed is for exemplifying in order to specifically explain the present disclosure, and may be an order other than the above. Further, a part of the above steps may be executed at the same time (parallel) as other steps.
  • the division of the functional block in the block diagram is an example, and a plurality of functional blocks can be realized as one functional block, one functional block can be divided into a plurality of functional blocks, and some functions can be transferred to other functional blocks. You may. Further, the functions of a plurality of functional blocks having similar functions may be processed by a single hardware or software in parallel or in a time division manner.
  • the correction parameter calculation device in the above-described embodiment or the like may be realized by a single device, or may be realized by a plurality of devices connected to each other.
  • the components included in the correction parameter calculation device may be distributed to the plurality of devices in any way.
  • the displacement measuring device does not have an output device, that is, the displacement measuring device and the output device are separate bodies, but the displacement measuring device has an output device. You may.
  • the output device functions as an output unit (for example, a display unit) that is a part of the displacement measuring device.
  • the communication method between the devices provided in the displacement measurement system according to the above embodiment is not particularly limited. Wireless communication may be performed or wired communication may be performed between the devices. Further, wireless communication and wired communication may be combined between the devices.
  • a part or all of the components included in the calculation device in the above embodiment or the like may be composed of one system LSI (Large Scale Integration: large-scale integrated circuit).
  • a system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of processing units on a single chip. Specifically, a microprocessor, a ROM (Read Only Memory), a RAM (Random Access Memory), etc. It is a computer system composed of. A computer program is stored in the ROM. The system LSI achieves its function by operating the microprocessor according to the computer program.
  • system LSI Although it is referred to as a system LSI here, it may be referred to as an IC, an LSI, a super LSI, or an ultra LSI due to the difference in the degree of integration. Further, the method of making an integrated circuit is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor. An FPGA (Field Programmable Gate Array) that can be programmed after the LSI is manufactured, or a reconfigurable processor that can reconfigure the connection and settings of the circuit cells inside the LSI may be used.
  • FPGA Field Programmable Gate Array
  • all or part of the above-mentioned various processes may be realized by hardware such as an electronic circuit or may be realized by software.
  • the processing by the software is realized by the processor included in the displacement measuring device executing the program stored in the memory.
  • one aspect of the present disclosure may be a computer program that causes a computer to execute each characteristic step included in the correction parameter calculation method and the displacement amount calculation method.
  • one aspect of the present disclosure may be a computer-readable, non-temporary recording medium on which such a program is recorded.
  • such a program may be recorded on a recording medium and distributed or distributed. For example, by installing the distributed program on a device having another processor and causing the processor to execute the program, it is possible to cause the device to perform each of the above processes.
  • the present disclosure can be widely used as a device for measuring the actual size value of displacement in the displacement measurement of an object using an image.
  • Displacement measurement system 10 Imaging device 11 Lens 20 Displacement measurement device 30 Output device 40 Input device 50, 50a, 50b Object 60, 60a, 60b Marker 110 Correction parameter calculation unit (correction parameter calculation device) 111 Acquisition section (1st acquisition section) 112 Position detection unit 113 Position estimation unit 114 Distance calculation unit 115 Correction value calculation unit (parameter calculation unit) 120 Displacement detection unit 130 Displacement amount calculation unit (conversion unit) f Focal length L1, L2 Distance M1 to M3, P1 to P3, T position O Optical center Q1 to Q4 Detection point

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

補正パラメータ算出方法は、特定の座標を検出可能なマーカ（６０）が取り付けられた対象物（５０）を撮像して得られる画像データを撮像装置（１０）から取得する取得ステップ（Ｓ１１）と、画像データに含まれるマーカ（６０）に基づいて、特定の座標を検出する検出ステップ（Ｓ１２）と、検出結果に基づいて、撮像装置（１０）の位置を推定する推定ステップ（Ｓ１３）と、撮像装置（１０）の位置に基づいて、撮像装置（１０）から対象物（５０）までの距離データを算出する距離算出ステップ（Ｓ１４）と、対象物（５０）の画素変位量を実寸変位量に換算するための補正パラメータを、距離データを用いて算出するパラメータ算出ステップ（Ｓ１５）とを含む。

Description

補正パラメータ算出方法、変位量算出方法、補正パラメータ算出装置、及び、変位量算出装置
　本開示は、画像を用いて対象物の動きを示す変位の実寸値である実寸変位量を計測するための補正パラメータを算出する補正パラメータ算出方法、変位量算出方法、補正パラメータ算出装置、及び、変位量算出装置に関する。
　従来、カメラで対象物を撮像した画像データと、レーザ距離計などの距離計測装置で計測した対象物までの距離測定値とを用いて、対象物の周囲の状態を非接触測定できる撮像装置が開示されている（特許文献１参照）。状態とは、例えば、対象物が橋梁である場合、橋梁の撓み量などである。
特許第５２８１６１０号公報
　ところで、画像を用いた変位計測において、簡便に変位量の実寸値を計測できることが望まれる。上記特許文献１の撮像装置においては、カメラ以外に距離計測装置が必要となり、簡便に変位量の実寸値が計測できるとは言いがたい。
　そこで、本開示は、画像を用いた変位計測において、変位量を実寸値に換算するための補正パラメータを簡便に算出することができる補正パラメータ算出方法等に関する。
　本開示の一態様に係る補正パラメータ算出方法は、画像を用いて対象物の動きを示す変位の実寸値である実寸変位量を計測するための補正パラメータを算出する補正パラメータ算出方法であって、特定の座標を検出可能なマーカが取り付けられた前記対象物を撮像して得られる第１画像データを撮像装置から取得する第１取得ステップと、前記第１画像データに含まれる前記マーカに基づいて、前記特定の座標を検出する検出ステップと、前記特定の座標の検出結果と、前記撮像装置のパラメータとに基づいて、前記撮像装置の位置を推定する推定ステップと、前記特定の座標と前記撮像装置の位置とに基づいて、前記撮像装置から前記対象物までの距離データを算出する距離算出ステップと、前記撮像装置が互いに異なるタイミングで撮像した２以上の第２画像データにおける前記対象物の計測点の画素変位量を実寸変位量に換算するための前記補正パラメータを、前記距離データを用いて算出するパラメータ算出ステップとを含む。
　本開示の一態様に係る変位量算出方法は、上記の補正パラメータ算出方法を用いて算出された前記補正パラメータを取得する第３取得ステップと、前記２以上の第２画像データを取得する第４取得ステップと、前記補正パラメータに基づいて、前記２以上の第２画像データにおける前記画素変位量を前記実寸変位量に換算する換算ステップとを含む。
　本開示の一態様に係る補正パラメータ算出装置は、画像を用いて対象物の動きを示す変位の実寸値である実寸変位量を計測するための補正パラメータを算出する補正パラメータ算出装置であって、特定の座標を検出可能なマーカが取り付けられた前記対象物を撮像して得られる第１画像データを撮像装置から取得する第１取得部と、前記第１画像データに含まれる前記マーカに基づいて、前記特定の座標を検出する位置検出部と、前記特定の座標の検出結果と、前記撮像装置のパラメータとに基づいて、前記撮像装置の位置を推定する位置推定部と、前記特定の座標と前記撮像装置の位置とに基づいて、前記撮像装置から前記対象物までの距離データを算出する距離算出部と、前記撮像装置が互いに異なるタイミングで撮像した２以上の第２画像データに基づく前記対象物の計測点の画素変位量を実寸変位量に換算するための前記補正パラメータを、前記距離データを用いて算出するパラメータ算出部とを備える。
　本開示の一態様に係る変位量算出装置は、上記の補正パラメータ算出装置を用いて算出された前記補正パラメータを取得する第２取得部と、前記２以上の第２画像データを取得する第３取得部と、前記補正パラメータに基づいて、前記２以上の第２画像データにおける前記画素変位量を前記実寸変位量に換算する換算部とを備える。
　本開示の一態様に係る補正パラメータ算出方法等によれば、画像を用いた変位計測において、変位量を実寸値に換算するための補正パラメータを簡便に算出することができる。
図１は、実施の形態に係る変位計測システムの概略構成を示す図である。 図２は、実施の形態に係る変位計測システムの機能構成を示すブロック図である。 図３は、実施の形態に係る対象物に貼り付けられているマーカの一例を示す図である。 図４は、実施の形態に係る変位計測システムの動作を示すフローチャートである。 図５は、実施の形態に係る位置検出部の検出結果を説明するための図である。 図６は、実施の形態に係る変位の実寸換算方法を説明するための図である。 図７は、実施の形態の変形例に係る変位計測システムの動作を示すフローチャートである。 図８Ａは、実施の形態の変形例に係る変位方向を考慮した変位補正を説明するための第１図である。 図８Ｂは、実施の形態の変形例に係る変位方向を考慮した変位補正を説明するための第２図である。 図９は、実施の形態の変形例に係る変位の実寸換算方法を説明するための図である。
　（本開示に至った経緯）
　画像を用いた変位計測において、当該画像から画像上における変位量（画素数）は計測することができるが、変位の実寸値は計測することができない。そこで、カメラから対象物までの距離を取得し、取得した距離を用いて、画像上の変位量を実寸値に変換することが行われている。例えば、特許文献１に記載の撮像装置では、対象物までの距離を計測する距離計測装置を有する構成が開示されている。そのため、計測現場においては、カメラ及び距離計測装置の２台を設置する必要がある。さらに、対象物の変位を精度よく計測するためには、カメラの光軸と距離計測装置の光軸とが平行となるようにカメラと距離計測装置とを設置することが必要となる。
　また、変位の実寸値を計測する他の方法として、変位計測を行う対象物において長さが既知である特定部分を含む画像を撮像し、当該特定部分を表示する画像上の変位量と、既知の長さとに基づいて、１画素を実寸値に換算するための補正値を算出する方法がある。しかしながら、この方法では、特定部分の長さを予め取得することが必要となる。また、特定部分の長さがわからない場合、変位の実寸値の計測が行えない。
　上記のように、従来の方法では、距離を計測するための距離計測装置を用意する必要がある、又は、特定部分の距離を予め取得しておく必要があるので、対象物の変位の実寸値を簡便に計測することができなかった。
　そこで、発明者らは、画像を用いた変位計測において、簡便に変位量を実寸値に換算することができる補正パラメータ算出方法等について鋭意検討を行い、以下に説明する補正パラメータ算出方法等を創案した。
　本開示の一態様に係る補正パラメータ算出方法は、画像を用いて対象物の動きを示す変位の実寸値である実寸変位量を計測するための補正パラメータを算出する補正パラメータ算出方法であって、特定の座標を検出可能なマーカが取り付けられた前記対象物を撮像して得られる第１画像データを撮像装置から取得する第１取得ステップと、前記第１画像データに含まれる前記マーカに基づいて、前記特定の座標を検出する検出ステップと、前記特定の座標の検出結果と、前記撮像装置のパラメータとに基づいて、前記撮像装置の位置を推定する推定ステップと、前記特定の座標と前記撮像装置の位置とに基づいて、前記撮像装置から前記対象物までの距離データを算出する距離算出ステップと、前記撮像装置が互いに異なるタイミングで撮像した２以上の第２画像データにおける前記対象物の計測点の画素変位量を実寸変位量に換算するための前記補正パラメータを、前記距離データを用いて算出するパラメータ算出ステップとを含む。
　これにより、補正パラメータ算出方法を用いることで、撮像装置によりマーカを含む対象物を撮像するだけで、変位量を実寸値に換算するための補正パラメータを算出することができる。例えば、対象物までの距離を計測する距離計測装置を使用することなく、又は、対象物の特定部分の長さを予め取得することなく、補正パラメータを算出することができる。よって、補正パラメータ算出方法によれば、画像を用いた変位計測において、変位量を実寸値に換算するための補正パラメータを簡便に算出することができる。
　また、例えば、さらに、前記対象物の前記変位の方向を示す変位方向情報を取得する第２取得ステップを含み、前記パラメータ算出ステップでは、さらに、前記変位方向情報を用いて前記補正パラメータを算出する。
　これにより、補正パラメータ算出方法によれば、変位方向情報を用いることで、２次元空間（撮像装置の投影面）における画素変位量を、３次元空間における実寸変位量に換算することができる補正値を算出することができる。よって、補正パラメータ算出方法によれば、変位の実寸値をより精度よく計測することができる。
　また、例えば、前記マーカは、前記対象物の平面部分に取り付けられており、前記変位方向情報が示す方向は、前記平面に対して定義される。
　これにより、撮像装置と対象物との位置関係に関わらず、変位方向を正確に取得することができる。
　また、例えば、前記マーカは、ＱＲコード（登録商標）であり、前記変位方向情報は、前記ＱＲコードに記憶されている。
　これにより、補正パラメータ算出方法によれば、ＱＲコードに記憶されている変位方向情報を取得するだけで、変位の実寸値をより精度よく計測することができる。よって、補正パラメータ算出方法によれば、精度よく変位の実寸値を算出することができる補正パラメータを、より簡便に算出することができる。
　本開示の一態様に係る変位量算出方法は、上記の補正パラメータ算出方法を用いて算出された前記補正パラメータを取得する第３取得ステップと、前記２以上の第２画像データを取得する第４取得ステップと、前記補正パラメータに基づいて、前記２以上の第２画像データにおける前記画素変位量を前記実寸変位量に換算する換算ステップとを含む。
　これにより、上記の補正パラメータ算出方法により算出された補正パラメータを用いて実寸変位量を計測することができるので対象物の実寸変位量を簡便に計測することができる。
　本開示の一態様に係る補正パラメータ算出装置は、画像を用いて対象物の動きを示す変位の実寸値である実寸変位量を計測するための補正パラメータを算出する補正パラメータ算出装置であって、特定の座標を検出可能なマーカが取り付けられた前記対象物を撮像して得られる第１画像データを撮像装置から取得する第１取得部と、前記第１画像データに含まれる前記マーカに基づいて、前記特定の座標を検出する位置検出部と、前記特定の座標の検出結果と、前記撮像装置のパラメータとに基づいて、前記撮像装置の位置を推定する位置推定部と、前記特定の座標と前記撮像装置の位置とに基づいて、前記撮像装置から前記対象物までの距離データを算出する距離算出部と、前記撮像装置が互いに異なるタイミングで撮像した２以上の第２画像データに基づく前記対象物の計測点の画素変位量を実寸変位量に換算するための前記補正パラメータを、前記距離データを用いて算出するパラメータ算出部とを備える。
　これにより、上記の補正パラメータ算出方法と同様の効果を奏する。
　本開示の一態様に係る変位量算出装置は、請求項６に記載の補正パラメータ算出装置を用いて算出された前記補正パラメータを取得する第２取得部と、前記２以上の第２画像データを取得する第３取得部と、前記補正パラメータに基づいて、前記２以上の第２画像データにおける前記画素変位量を前記実寸変位量に換算する換算部とを備える。
　これにより、上記の変位量算出方法と同様の効果を奏する。
　なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ－ＲＯＭ等の非一時的記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。プログラムは、記録媒体に予め記憶されていてもよいし、インターネット等を含む広域通信網を介して記録媒体に供給されてもよい。
　以下、実施の形態について、図面を参照しながら具体的に説明する。
　なお、以下で説明する実施の形態及び変形例は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態及び変形例で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付し、重複する説明は省略または簡略化される場合がある。
　また、本明細書において、直交、等しいなどの要素間の関係性を示す用語、及び、数値は、厳格な意味のみを表す表現ではなく、実質的に同等な範囲、例えば数％程度の差異をも含むことを意味する表現である。
　また、以下の明細書において、画像は、静止画像であるが動画像であってもよい。
　（実施の形態）
　以下、本実施の形態に係る補正パラメータ算出方法等について、図１～図６を参照しながら説明する。
　［１．変位計測システムの構成］
　まずは、本実施の形態に係る補正パラメータ算出方法を実行する補正パラメータ算出部１１０を備える変位計測システム１について、図１及び図２を参照しながら説明する。図１は、本実施の形態に係る変位計測システム１の概略構成を示す図である。図２は、本実施の形態に係る変位計測システム１の機能構成を示すブロック図である。
　図１に示すように、本実施の形態に係る変位計測システム１は、１つの撮像装置を用いて、対象物５０の変位の実寸値を計測する情報処理システムである。対象物５０は、変位を計測する対象であり、例えば、モータなどの動作時に変位（振動など）する機器であるがこれに限定されず、例えば、インフラ構造物などの外部からの応力により変位（変形など）する構造物であってもよい。インフラ構造物は、例えば、自動車又は鉄道などの車両が走行する橋梁であってもよい。なお、本明細書における変位には、対象物５０の振動はもとより、対象物５０の変形及び位置の変化も含まれる。変位は、対象物の動きを示すとも言える。
　また、本願の対象物５０の表面には、１以上のマーカ６０が取り付けられている（固定されている）。マーカ６０は、サイズが既知であり、かつ、例えば、４つ以上の座標を検出できるものであれば特に限定されないが、例えば、ＱＲ（Ｑｕｉｃｋ　Ｒｅｓｐｏｎｓｅ）コード（登録商標）、ＡＲマーカ、チェスマーカなどであってもよい。以下では、マーカ６０は、ＱＲコードである例について説明する。なお、４つ以上の座標の各々は、特定の座標の一例である。
　図１及び図２に示すように、変位計測システム１は、撮像装置１０と、変位計測装置２０と、出力装置３０と、入力装置４０とを備える。
　撮像装置１０は、対象物５０の変位を計測するための画像を撮像する。撮像装置１０が撮像する画像は、対象物５０の変位に対する画像上の変位量（画素数）を検出するために用いられる。なお、以下において、対象物５０の変位に対する画像上の変位量を画素変位量とも記載する。また、画像は、後述する補正値を算出するために用いられてもよい。
　撮像装置１０は、少なくとも１つのマーカ６０が写るように撮像する。撮像装置１０は、例えば、少なくとも１つのマーカ６０が写る位置に配置される。
　撮像装置１０は、例えば、モノクロカメラである。言い換えると、画像は、例えば、モノクロ画像である。なお、撮像装置１０は、モノクロカメラであることに限定されず、カラーカメラであってもよい。撮像装置１０は、例えば、イメージセンサを有するデジタルビデオカメラ又はデジタルスチルカメラである。なお、撮像装置１０は、取得装置の一例である。
　変位計測装置２０は、撮像装置１０から取得した画像データに基づいて、画像上の画素変位量を対象物５０の変位の実寸値を示す実寸変位量に換算するための補正値を算出し、算出した補正値を用いて、対象物５０の実寸変位量を出力する情報処理装置である。変位計測装置２０は、例えば、サーバ装置であってもよい。変位計測装置２０は、補正パラメータ算出部１１０と、変位検出部１２０と、変位量算出部１３０とを有する。
　補正パラメータ算出部１１０は、撮像装置１０から取得した画像データに基づいて、画素変位量を実寸変位量に換算するための補正値を算出する。補正パラメータ算出部１１０は、取得部１１１と、位置検出部１１２と、位置推定部１１３と、距離算出部１１４と、補正値算出部１１５とを有する。
　取得部１１１は、撮像装置１０から画像を示す画像データを取得する。取得部１１１は、無線通信又は有線通信を介して撮像装置１０と通信可能に接続される通信インターフェース（通信回路）を含んで構成される。取得部１１１は、第１取得部の一例である。
　位置検出部１１２は、画像データから、マーカ６０を検出し、検出したマーカ６０に基づいて、特定の座標を検出する。位置検出部１１２は、マーカ６０に基づいて、複数の特定の座標（例えば、４つ以上の座標）を検出する。特定の座標は、撮像装置１０の位置を推定するために用いられる。撮像装置１０の位置の推定精度を向上させる観点から、特定の座標は４つ以上設けられるとよい。また、座標は、３次元座標である。
　そして、位置推定部１１３は、画像データ、特定の座標を示す座標情報及び撮像装置１０の内部パラメータに基づいて、撮像装置１０の位置を推定する。なお、撮像装置１０の内部パラメータは、既知であるとする。また、内部パラメータは、例えば、３行×３列のパラメータ行列（ｃａｍｅｒａＭａｔｒｉｘ）、レンズの歪係数（ｄｉｓｔＣｏｅｆｆｓ）、焦点距離などの少なくとも１つを含む。
　距離算出部１１４は、特定の座標と、撮像装置１０の位置を示す位置情報とに基づいて、撮像装置１０から対象物５０までの距離を示す距離情報（距離データ）を算出する。距離算出部１１４は、例えば、撮像装置１０から対象物５０の１以上の計測点の各々までの距離を算出する。距離算出部１１４は、例えば、対象物５０における変位を計測する１以上の計測点を含む複数の表面点までの距離を算出してもよい。そして、距離算出部１１４は、撮像装置１０から対象物５０までの距離を配列した距離マップを生成してもよい。なお、対象物５０の計測点の数は、特に限定されず、２以上であってもよい。
　補正値算出部１１５は、撮像装置１０の位置、撮像装置１０から対象物５０までの距離、及び、撮像装置１０の内部パラメータに基づいて、画素変位量を実寸変位量に換算するための補正値を算出する。補正値算出部１１５による補正値の算出については、後述する。また、補正値算出部１１５は、例えば、複数の表面点の各々において、補正値を算出し、算出した補正値を配列した補正値マップを生成してもよい。なお、補正値及び補正値マップは、補正パラメータの一例である。また、補正値算出部１１５は、パラメータ算出部の一例である。
　なお、補正パラメータ算出部１１０は、変位計測装置２０に内蔵されている例について説明したが、これに限定されない。補正パラメータ算出部１１０は、単独の装置として実現されてもよい。この場合は、補正パラメータ算出部１１０は、補正パラメータ算出装置として機能する。
　なお、変位計測装置２０は、変位量算出装置の一例である。
　変位検出部１２０は、撮像装置１０が撮像した２以上の画像データに基づいて、対象物５０の変位に対応する画像上の画素変位量（画素数）を検出する。変位検出部１２０は、例えば、計測点ごとに画素変位量を検出する。
　変位量算出部１３０は、画素変位量と、補正パラメータを示す補正情報とに基づいて、画素変位量を実寸変位量に換算することで、対象物５０の実寸変位量を算出する。変位量算出部１３０は、例えば、対象物５０の複数の計測点の各々の補正値と、当該複数の計測点の各々の画素変位量とに基づいて、当該複数の計測点の各々の実寸変位量を算出する。
　出力装置３０は、変位計測装置２０から実寸変位量を含む提示情報を取得し、取得した提示情報を出力する装置である。出力装置３０は、例えば、提示情報を画像として表示する表示装置である。出力装置３０は、液晶ディスプレイ等である。出力装置３０が出力した画像は作業員によって視認される。
　出力装置３０は、据え置き型の装置であってもよいし、作業員が所持する携帯端末が有する装置であってもよい。携帯端末は、出力装置３０を有し、かつ、変位計測装置２０と通信可能であれば特に限定されず、例えば、スマートフォン、タブレットなどであってもよい。携帯端末が出力装置３０を有する場合、作業員は、対象物５０の周辺において、携帯端末の出力装置３０を確認することで、実寸変位量を知ることができる。なお、作業員は、ユーザの一例である。
　変位計測システム１は、表示装置とともに、又は、表示装置に替えて、音を出力する装置を出力装置３０として備えていてもよい。また、変位計測システム１は、プロジェクタなどの対象物（例えば、スクリーン）に提示情報を表示する装置を出力装置３０として備えていてもよい。また、変位計測装置２０が遠隔地に配置されている場合、変位計測装置２０と出力装置３０とは、ネットワークを介して接続されていてもよい。
　入力装置４０は、作業員から変位の計測における所定の情報を受け付けるユーザインタフェースである。入力装置４０は、例えば、作業員から補正値を算出するための情報を受け付けてもよいし、対象物５０の変位方向に関する情報を受け付けてもよいし、撮像装置１０の略位置に関する情報を受け付けてもよい。また、入力装置４０は、音声により所定の情報の入力を受け付けてもよい。なお、略位置は、撮像装置１０の設置位置の推定値である。
　入力装置４０は、ハードウェアキー（ハードウェアボタン）、スライドスイッチ、タッチパネルなどにより実現される。入力装置４０は、据え置き型の装置であってもよいし、作業員が所持する携帯端末が有する装置であってもよい。
　ここで、対象物５０に取り付けられるマーカ６０について、図３を参照しながら説明する。図３は、本実施の形態に係る対象物５０ａに貼り付けられているマーカ６０の一例を示す図である。マーカ６０は、例えば、ＱＲコードであり、対象物５０ａの表面に貼り付けられている。なお、図３では、便宜上、対象物５０ａが直方体である例について説明する。
　図３に示すように、対象物５０ａには、１以上のマーカ６０ａ、６０ｂが貼り付けられる。例えば、マーカ６０ａ、６０ｂは、対象物５０ａを構成する複数の面のうち、互いに異なる面に貼り付けられている。マーカ６０ａ、６０ｂは、撮像装置１０から撮像可能な位置に貼り付けられる。また、マーカ６０ａ、６０ｂは、例えば、対象物５０ａにおける平面部分に貼り付けられるとよい。
　マーカ６０ａ及び６０ｂがＱＲコードである場合、当該ＱＲコードには特に情報が記憶されていなくてもよいし、変位の許容値に関する情報などが記憶されていてもよい。
　マーカ６０ａ、６０ｂは、例えば４つ以上の位置（検出点）の座標（３次元座標）が取得できるように構成される。
　なお、マーカ６０ａ、６０ｂは、３次元空間上の座標を検出することができれば、対象物５０ａの曲面部分などに貼り付けられていてもよい。また、マーカ６０ａ、６０ｂは、１つの平面に複数貼り付けられていてもよい。また、マーカ６０ａ、６０ｂのそれぞれは、対象物５０ａの計測点に対応して設けられてもよい。例えば、対象物５０ａにおける変位の計測点が複数ある場合、マーカ６０ａ、６０ｂは複数の計測点のそれぞれの周囲に貼り付けられていてもよい。
　マーカ６０ａ、６０ｂの形状は、四角形（例えば、正方形）であるが、これに限定されず、例えば、五角形以上の多角形（例えば、正多角形）であってもよい。
　［２．変位計測システムの動作］
　次に、変位計測システム１の動作について、図４～図６を参照しながら説明する。図４は、本実施の形態に係る変位計測システム１の動作を示すフローチャートである。具体的には、図４は、変位計測装置２０の動作を示すフローチャートである。また、図４に示すステップＳ１１～ステップＳ１５は、補正パラメータ算出部１１０の動作を示す。
　図４に示すように、取得部１１１は、撮像装置１０から画像を示す画像データを取得する（Ｓ１１）。画像は、マーカ６０を含む。なお、取得部１１１は、補正値を算出するためには、ステップＳ１１において、少なくとも１枚の画像データを取得すればよい。また、取得部１１１は、変位を計測するためには、ステップＳ１１において、互いに異なるタイミングで撮像された２以上の画像データを取得すればよい。
　取得部１１１は、複数の画像データを取得した場合、少なくとも１枚の画像データを位置検出部１１２に出力し、かつ、２以上の画像データを変位検出部１２０に出力する。取得部１１１は、位置検出部１１２及び変位検出部１２０に互いに異なる画像データを出力してもよいし、少なくとも一部が同じ画像データを出力してもよい。位置検出部１１２に出力される少なくとも１枚の画像データは、第１画像データの一例であり、変位検出部１２０に出力される２以上の画像データは、第２画像データの一例である。また、ステップＳ１１は、第１取得ステップの一例である。また、ステップＳ１１は、後述する変位量算出方法における第４取得ステップの一例であってもよい。また、取得部１１１は、２以上の第２画像データを取得する第３取得部として機能してもよい。なお、第１画像データ及び第２画像データのそれぞれは、カメラパラメータなどが同じ条件で撮像された画像を示す画像データである。
　次に、位置検出部１１２は、マーカ６０を含む画像データからマーカ６０を検出し、検出したマーカ６０に基づいて、特定の座標を検出する（Ｓ１２）。位置検出部１１２は、例えば、ＱＲコードであるマーカ６０の４隅を検出し、当該４隅の座標を検出する。このように、位置検出部１１２は、ステップＳ１２において、複数の座標を検出する。位置検出部１１２は、マーカ６０に基づいて、複数の座標を設定するとも言える。
　なお、ＱＲコードの読み込みが行われる場合、当該ＱＲコードの位置、外形等の検出のために、４隅にある四角形（切りだしシンボル）の検出が行われる。そのような自動検出される位置を特定の座標を検出する位置とすることで、特定の座標を検出する位置を決定する処理を省くことができる。
　位置検出部１１２による座標の設定について、図５を参照しながら説明する。図５は、本実施の形態に係る位置検出部１１２の検出結果を説明するための図である。図５の紙面上の左右方向をｘ軸方向、上下方向をｙ軸方向、紙面に対する垂直方向をｚ軸方向とすると、以下で示す３次元座標（ｘ、ｙ、ｚ）の「ｘ」はｘ軸上の位置を示しており、「ｙ」はｙ軸上の位置を示しており、［ｚ］はｚ軸上の位置を示している。なお、ｘ軸方向、ｙ軸方向、及び、ｚ軸方向は、互いに直交する方向である。
　図５に示すように、位置検出部１１２は、マーカ６０の４隅の検出点Ｑ１～Ｑ４を検出し、検出した検出点Ｑ１～Ｑ４の各々に座標を設定する。位置検出部１１２は検出点Ｑ１～Ｑ４の位置関係に基づいて座標を設定する。位置検出部１１２は、例えば、検出点Ｑ１～Ｑ４間の距離（例えば、検出点Ｑ１及びＱ２の間の距離）に基づいて、座標を設定する。なお、検出点Ｑ１～Ｑ４は、例えば、正方形であるＱＲコードの４隅の部分であってもよい。本実施の形態では、検出点Ｑ１及びＱ２の第１距離、検出点Ｑ２及びＱ４の第２距離、検出点Ｑ４及びＱ３の第３距離、並びに、検出点Ｑ３及びＱ１の第４距離は、互いに等しいが、これに限定されない。
　位置検出部１１２は、検出点Ｑ１の座標を（０、０、０）に設定すると、当該座標を基準に、他の検出点の座標を検出点Ｑ１からの位置（距離）に応じて設定する。位置検出部１１２は、第１距離～第４距離のそれぞれが等しいので、検出点Ｑ２の座標を（１、０、０）に設定し、検出点Ｑ３の座標を（０、１、０）に設定し、検出点Ｑ４の座標を（１、１、０）に設定する。なお、検出点Ｑ１及びＱ２は図５に示す位置であり、かつ、検出点Ｑ３が検出点Ｑ１の下方の位置であって、第４距離の２倍の距離の位置である場合、位置検出部１１２は、当該検出点Ｑ３の座標を（０、２、０）に設定する。このように、位置検出部１１２は、距離の比（例えば、実寸値の比）に応じて、各検出点の座標を設定する。位置検出部１１２は、例えば、画像上における検出点間の距離（画素数）に応じて、各検出点の座標を設定してもよい。
　位置検出部１１２は、特定の座標を示す座標情報を位置推定部１１３に出力する。なお、ステップＳ１２は、検出ステップの一例である。また、座標情報は、検出結果の一例である。
　次に、位置推定部１１３は、画像データ（画像データ上での位置）、座標情報及び撮像装置１０の内部パラメータに基づいて、撮像装置１０の位置を推定する（Ｓ１３）。位置推定部１１３は、対象物５０の３次元位置（ここでは、マーカ６０の３次元位置）及び撮像装置１０の内部パラメータが既知である場合、ＰｎＰ問題（Ｐｅｒｓｐｅｃｔｉｖｅ－ｎ－Ｐｏｉｎｔ　Ｐｒｏｂｌｅｍ）を解くことで撮像装置１０の位置が推定可能である。本実施の形態では、検出点が４つ（ｎ＝４）であるので、位置推定部１１３は、Ｐ４Ｐ問題を解くことで、撮像装置１０の位置を推定する。ここでの撮像装置１０の位置は、例えば、検出点Ｑ１を原点としたときの、３次元座標として表される。
　位置推定部１１３は、ＰｎＰ問題を解くことで、さらに、撮像装置１０の姿勢を推定してもよい。
　位置推定部１１３は、推定した撮像装置１０の位置を示す位置情報を距離算出部１１４に出力する。なお、ステップＳ１３は、推定ステップの一例である。
　距離算出部１１４は、座標情報と位置情報とに基づいて、撮像装置１０から対象物５０までの距離を算出する（Ｓ１４）。距離算出部１１４は、位置情報に含まれる撮像装置１０の位置（座標）と、当該座標における距離「１」に対応する実寸の長さとに基づいて、撮像装置１０から対象物５０までの距離を算出する。これにより、撮像装置１０から見たときの対象物５０の位置が取得される。例えば、撮像装置１０から見たときの対象物５０の各計測点までの距離が取得される。座標上の距離「１」に対応する実寸の長さは、補正パラメータ算出部１１０が予め記憶していてもよいし、入力装置４０を介して取得されてもよいし、マーカ６０がＱＲコードである場合、当該ＱＲコードに記憶されていてもよい。距離算出部１１４は、撮像装置１０と対象物５０との距離を示す距離情報を補正値算出部１１５に出力する。なお、ステップＳ１４は、距離算出ステップの一例である。
　補正値算出部１１５は、撮像装置１０の位置、距離情報、及び、撮像装置１０の内部パラメータに基づいて、画素変位量を実寸変位量に換算するための補正値を算出する（Ｓ１５）。補正値算出部１１５は、画像データに含まれるマーカ６０が１つである場合、例えば、対象物５０に対して１つの補正値を算出する。補正値は、例えば、計測点における１画素に対応する実寸値を示す情報を含む。ステップＳ１５は、パラメータ算出ステップの一例である。また、ステップＳ１５は、第３取得ステップの一例であってもよい。
　なお、補正パラメータ算出部１１０は、複数のマーカ６０が写っている画像データを取得した場合、当該複数のマーカ６０のそれぞれに補正値を算出してもよい。複数のマーカ６０のそれぞれが対象物５０の平面であって、かつ、撮像装置１０までの距離が互いに異なる平面に取り付けられている場合、当該平面のそれぞれに補正値を算出することができるので、変位の実寸値を精度よく計測することが可能となる。
　ここで、補正値算出部１１５の処理について、図６を参照しながら説明する。図６は、本実施の形態に係る変位の実寸換算方法を説明するための図である。なお、図６では、対象物５０は、撮像装置１０の投影面（撮像面）と平行な方向に変位している例を示している。図６に示す撮像装置１０の位置Ｔ（Ｔｘ、Ｔｙ、Ｔｚ）は、撮像装置１０のレンズ１１の位置を示す、光学中心Ｏは、撮像装置１０のレンズ１１の中心を示し、位置Ｐ１（ｘ、ｙ）は、対象物５０の第１時点における計測点の位置Ｍ１（Ｘ、Ｙ、Ｚ）に対応する撮像面上の位置を示し、画像上の変位（Δｘ１、Δｙ１）は、第１時点とは異なる第２時点における当該計測点の位置Ｍ２に対応する撮像面上の位置Ｐ２と位置Ｐ１との差を示す。変位（Δｘ１、Δｙ１）は、画像上の画素数である。
　図６に示すように、三角形△ＯＰ１Ｐ２と三角形△ＯＭ１Ｍ２とは相似の関係にあり、補正値算出部１１５は、例えば、当該相似の関係を用いて、画素変位量を実寸変位量に換算するための補正値を算出する。撮像装置１０の投影面における画像中心（ｃｘ、ｃｙ）と光学中心Ｏとの距離を焦点距離ｆとすると、光学中心Ｏと位置Ｐ１までの距離Ｌ１は、
　Ｌ１＝√（ｆ２＋ｘ２＋ｙ２）　　　（式１）
により算出される。第１時点は、例えば、対象物５０が変位していない初期の時点である。
　また、実寸変位量を変位（Ｄｘ１、Ｄｙ１）とすると、三角形△ＯＰ１Ｐ２と三角形△ＯＭ１Ｍ２との相似の関係から、光学中心Ｏと位置Ｍ１までの距離Ｌ２について、
　Ｌ２：Ｌ１＝Ｄｙ１：Δｙ１＝Ｄｘ１：Δｘ１　　　（式２）
が成り立つ。（式２）から、距離Ｌ２、つまり、光学中心Ｏから位置Ｍ１までの距離がわかれば、実寸変位量である変位（Ｄｘ１、Ｄｙ１）を算出できることがわかる。距離算出部１１４は、計測点ごとに距離Ｌ２が異なり得るので、計測点ごとに距離Ｌ２を算出する。
　補正値算出部１１５は、上記の（式２）に基づいて、補正値を算出する。（式２）より、変位Ｄｘ１を算出するための補正値は、Ｌ２／Ｌ１である。また、（式２）より、変位Ｄｙ１を算出するための補正値も、Ｌ２／Ｌ１である。
　なお、画像中心（ｃｘ、ｃｙ）、及び、焦点距離ｆは、撮像装置１０の内部パラメータとして取得される。補正値算出部１１５は、チャート画像を用いて撮像装置１０の内部パラメータを算出してもよい。
　補正値算出部１１５は、算出した補正値を示す補正情報を変位量算出部１３０に出力する。変位量算出部１３０は、補正値算出部１１５から補正情報を取得する。変位量算出部１３０は、補正パラメータを取得する第２取得部として機能する。
　次に、変位検出部１２０は、画像データから対象物５０の変位の当該画像データ上における画素変位量を算出する（Ｓ１６）。変位検出部１２０は、例えば、撮像装置１０の投影面に投影された対象物５０の変位から画素変位量を算出する。変位検出部１２０は、例えば、対象物５０の複数の計測点ごとに、当該計測点における変位が画像上の何画素であるかを算出する。変位検出部１２０は、算出した画素変位量を変位量算出部１３０に出力する。
　変位量算出部１３０は、画素変位量と、補正値とに基づいて、実寸変位量を算出する（Ｓ１７）。変位量算出部１３０は、対象物５０の複数の計測点ごとに、当該計測点における画素変位量と補正値とを演算することで当該計測点における実寸変位量を算出する。このように、変位量算出部１３０は、補正情報に基づいて、２以上の第２画像データにおける画素変位量を実寸変位量に換算する換算部として機能する。
　変位量算出部１３０は、算出した実寸変位量を含む提示情報を出力装置３０に出力する（Ｓ１８）。そして、出力装置３０は、変位量算出部１３０から取得した提示情報を画像として表示する。なお、ステップＳ１８は、換算ステップの一例である。
　なお、図４に示すステップＳ１１～ステップＳ１５までの動作は、対象物５０の実寸変位量を算出する処理を実行するごとに行われてもよいし、撮像装置１０の設置位置、姿勢、及び、カメラパラメータ（内部パラメータを含む）の少なくとも１つが変更されるごとに行われてもよい。また、補正値算出部１１５は、算出した補正値を記憶部（図示しない）に記憶してもよい。そして、補正値算出部１１５は、対象物５０の実寸変位量を算出する場合に、記憶部から補正値を読み出し、読み出した補正値を変位量算出部１３０に出力してもよい。つまり、補正値算出部１１５は、過去に算出した補正値を、現在の実寸変位量を算出するための補正値として用いてもよい。これにより、補正パラメータ算出部１１０の処理量を低減することができる。
　上記のステップＳ１１～ステップＳ１５は、補正パラメータを算出する補正パラメータ算出方法において実行される処理である。また、上記のステップＳ１６～ステップＳ１８は、実寸変位量を算出する変位量算出方法において実行される処理である。なお、変位量算出方法は、ステップＳ１１～ステップＳ１５の処理を含んでいてもよい。
　上記のように、本実施の形態に係る変位計測システム１は、撮像装置１０と、補正パラメータ算出部１１０を有する変位計測装置２０とを備える。補正パラメータ算出部１１０は、撮像装置１０から取得した画像データに含まれるマーカ６０に基づいて、撮像装置１０の位置を推定し、当該位置に基づいて画素変位量を実寸変位量に換算するための補正値を算出する。
　このように、変位計測システム１によれば、他の装置（例えば、距離計測装置）などを使用することなく、撮像装置１０からマーカ６０を含む画像データを取得するだけで、補正値を算出することができるので、補正パラメータを簡便に算出することができる。
　また、変位計測装置２０は、撮像装置１０が撮像した２以上の画像データを用いて、対象物５０の変位の実寸変位量を計測する。これにより、変位計測装置２０は、対象物５０の変位がレーザ距離計などを用いて計測できない程度の周期の振動であっても、実寸変位量を計測することができる。
　（実施の形態の変形例）
　以下、本変形例に係る補正パラメータ算出方法等について、図７～図９を参照しながら説明する。なお、以下の説明では、実施の形態との相違点を中心に説明し、実施の形態と同様の構成については同一の符号を付し、説明を省略又は簡略化する場合がある。本変形例に係る変位計測システムの構成は、実施の形態に係る変位計測システム１と同様であり、説明を省略する。
　本変形例に係る変位計測システム１は、対象物５０の変位方向が撮像装置の投影面（撮像面）と水平な方向と異なる場合であっても、精度よく実寸変位量を算出することができる点に特徴を有する。図７は、本変形例に係る変位計測システム１の動作を示すフローチャートである。
　図７に示すように、補正値算出部１１５は、対象物５０の変位方向情報を取得する（Ｓ２１）。補正値算出部１１５は、例えば、入力装置４０を介して変位方向情報を取得してもよい。変位方向情報は、例えば、対象物５０がモータである場合、モータの駆動部の駆動方向に基づいた変位方向を示す情報であってもよい。また、変位方向情報は、例えば、対象物５０の変位方向が設計的に予測できる場合、予測された変位方向を示す情報であってもよい。また、変位方向情報は、例えば、対象物５０が橋梁などであり、車両などから応力を受ける場合、当該応力を受ける方向（例えば、鉛直方向）を示す情報であってもよい。また、変位方向情報が示す変位方向は１つに限定されず、２つ以上（２方向以上）であってもよい。ステップＳ２１は、第２取得ステップの一例である。
　なお、変位方向情報は、入力装置４０を介して取得されることに限定されない。変位方向情報は、画像データに基づいて取得されてもよい。マーカ６０がＱＲコードである場合、当該ＱＲコードに、対象物５０の変位方向に関する情報が記憶されていてもよい。補正値算出部１１５は、画像データに含まれるＱＲコードに基づいて、対象物５０の変位方向を取得してもよい。この場合、変位方向は、例えば、ＱＲコードが貼り付けられている対象物５０の面（平面）を基準とする方向である。
　そして、補正値算出部１１５は、撮像装置１０の位置、距離情報、撮像装置１０の内部パラメータ、及び、変位方向情報に基づいて、画素変位量を実寸変位量に換算するための補正値を算出する（Ｓ２２）。つまり、補正値算出部１１５は、実施の形態に加えて、変位方向情報を用いて補正値を算出する。なお、ステップＳ２２は、パラメータ算出ステップの一例である。
　ここで、変位方向情報を用いて変位補正を行うことについて、図８Ａ及び図８Ｂを参照しながら説明する。図８Ａは、本変形例に係る変位方向を考慮した変位補正を説明するための第１図である。また、図８Ｂは、本変形例に係る変位方向を考慮した変位補正を説明するための第２図である。図８Ａ及び図８Ｂは、対象物５０ｂを上方からみた俯瞰図である。また、対象物５０ｂの形状は、便宜上、正方形としている。
　図８Ａ及び図８Ｂに示すように、対象物５０ｂを上方からみた場合に、撮像装置１０の投影面に対して、対象物５０ｂの変位方向が当該投影面と平行ではないとき、投影面には対象物５０ｂの変位のうち、当該投影面と平行な方向における変位のみが投影される。図８Ａでは、変位方向は、紙面上の左上と右下とを結ぶ方向である。この場合、例えば、対象物５０ｂの計測点の変位がＤ１であったとすると、投影面に投影された対象物５０ｂの計測点の変位はＤ２となる。変位Ｄ２は、変位Ｄ１における投影面と平行な方向の成分となる。
　また、図８Ｂでは、変位方向は、紙面上の左下と右上とを結ぶ方向である。この場合、例えば、対象物５０ｂの計測点の変位がＤ３であったとすると、投影面に投影された対象物５０ｂの計測点の変位はＤ４となる。変位Ｄ４は、変位Ｄ３における投影面と平行な方向の成分となる。例えば、変位Ｄ１の方向と、変位Ｄ３の方向とが互いに直交する方向であり、かつ、変位量が等しい場合、投影面上における変位Ｄ２及びＤ４の方向及び大きさは等しくなる。なお、変位Ｄ１及びＤ３は、実寸変位量であり、例えば、実寸値である。また、変位Ｄ２及びＤ４は、画素変位量であり、例えば、画素数である。
　このように、実際の変位方向が異なる変位Ｄ１及びＤ３が、投影面上においては、同じ方向の変位として検出されることがある。これでは、投影面と水平な方向における変位については計測ができるが、投影面と垂直な方向における変位については計測ができない。
　そこで、本変形例では、補正値算出部１１５は、上記でも説明したように、ステップＳ２１で対象物５０の変位方向情報を取得し、ステップＳ２２で当該変位方向情報を用いて、画像データ上における対象物５０の画素変位量を実寸変位量に換算するための補正値を算出する。ここでの補正値は、１画素に対応する実寸値、及び、変位方向を示す情報を含む。補正値は、例えば、１画素に対応する実寸値（Ｘａ、Ｙｂ、Ｚｃ）を示す情報を含んでいてもよい。実寸値Ｘａは、投影面上で１画素ずれたときの、実空間の３次元直交座標系におけるｘ軸方向への変位の実寸値を示す。実寸値Ｘｂは、投影面上で１画素ずれたときの、実空間の３次元直交座標系におけるｙ軸方向への変位の実寸値を示す。Ｘｃは、投影面上で１画素ずれたときの、実空間の３次元直交座標系におけるｚ軸方向への変位の実寸値を示す。実寸値（Ｘａ、Ｙｂ、Ｚｃ）は、補正パラメータの一例である。
　ここで、補正値算出部１１５の処理について、図９を参照しながら説明する。図９は、本変形例に係る変位の実寸換算方法を説明するための図である。
　図９に示すように、対象物５０の第１時点における計測点の位置Ｍ１（Ｘ、Ｙ、Ｚ）に対応する投影面上の位置Ｐ１を（ｘ、ｙ）とすると、光学中心Ｏから位置Ｐ１までの距離Ｌ１は、（式１）により算出可能である。第１時点は、例えば、対象物５０が変位していない初期の時点である。また、第１時点とは異なる第２時点における計測点の位置Ｍ３に対応する投影面上の位置Ｐ３と位置Ｐ１との差（変位）を（Δｘ２、Δｙ２）とすると、第１補正値は、（式２）により算出可能である。ここでの第１補正値は、撮像装置１０の投影面と平行な方向における変位の実寸変位量を算出可能な値である。第１補正値は、例えば、画像上の変位（Δｘ２、Δｙ２）から、実寸値の変位（Ｄｘ２、Ｄｙ２、Ｄｚ２）のうち変位（Ｄｘ２、Ｄｙ２）を算出可能な値である。
　補正値算出部１１５は、算出した第１補正値と、変位方向情報とに基づいて、当該第１補正値を３次元情報である第２補正値に換算する。補正値算出部１１５は、投影面上の変位を示す２次元情報である画素変位量を３次元情報である実寸変位量に換算するための第２補正値を算出する。補正値算出部１１５は、第１補正値と、撮像装置１０の投影面及び変位方向のなす角度とに基づいて、第２補正値を算出してもよい。第２補正値は、例えば、画像上の変位（Δｘ２、Δｙ２）から実寸値の変位（Ｄｘ２、Ｄｙ２、Ｄｚ２）を算出可能な値である。なお、補正値算出部１１５が第２補正値を算出する方法は、上記に限定されない。
　上記のように、本変形例に係る変位計測システム１の補正パラメータ算出部１１０は、さらに、対象物５０の変位方向を示す変位方向情報を用いて、画素変位量を実寸変位量に変換するための補正値を算出する。
　これにより、変位計測システム１は、対象物５０を上方から見たときに、対象物５０が撮像装置１０の投影面と交差する方向に変位する場合に、変位方向情報を用いて補正値を算出することができるので、当該変位の実寸値を精度よく計測することができる。
　（他の実施の形態）
　以上、本開示の１つまたは複数の態様に係る補正パラメータ算出方法等について、実施の形態、及び、変形例（以降において、実施の形態等とも記載する）に基づいて説明したが、本開示は、この実施の形態等に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を実施の形態等に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の１つまたは複数の態様の範囲内に含まれてもよい。
　例えば、上記実施の形態等では、撮像装置は、地面に固定されている例について説明したが、これに限定されない。撮像装置は、例えば、ドローンなどの飛行体に設けられた撮像装置であってもよい。
　また、上記実施の形態等では、マーカは、ＱＲコードなどであり、対象物に貼り付けられている例について説明したが、これに限定されない。マーカは、例えば、対象物の表面に設けられた模様、文字などであってもよい。また、マーカは、例えば、対象物の表面に設けられた凹凸などであってもよい。模様、文字、及び、凹凸などにおいて、所定の位置間の距離は、予め既知である。また、マーカは、サイズが既知であるシール、貼り紙などであってもよい。例えば、マーカは、数ｃｍ四方の無地のシールなどであってもよい。
　また、上記実施の形態等において、取得部は通信部である例について説明したが、これに限定されない。取得部は、例えば、記録媒体が接続される接続部であってもよい。接続部は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）が接続されるＵＳＢ端子、ＳＤカードが差し込まれるＳＤカードスロット、光ディスクが挿入される光学ドライブなどであってもよい。
　また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
　また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
　また、上記実施の形態等における補正パラメータ算出装置は、単一の装置で実現されてもよいし、互いに接続された複数の装置で実現されてもよい。補正パラメータ算出装置が複数の装置によって実現される場合、補正パラメータ算出装置が備える構成要素は、複数の装置にどのように振り分けられてもよい。
　また、上記実施の形態等では、変位計測装置は、出力装置を有していない、つまり、変位計測装置と、出力装置とは、別体である例について説明したが、出力装置を有していてもよい。この場合には、出力装置は、変位計測装置の一部である出力部（例えば、表示部）として機能する。
　また、上記実施の形態等における変位計測システムが備える装置間の通信方法については特に限定されるものではない。装置間では、無線通信が行われてもよいし、有線通信が行われてもよい。また、装置間では、無線通信および有線通信が組み合わされてもよい。
　また、上記実施の形態等における算出装置が備える構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。
　システムＬＳＩは、複数の処理部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。ＲＯＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
　なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、あるいはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
　また、上記各種処理の全部又は一部は、電子回路等のハードウェアにより実現されても、ソフトウェアを用いて実現されてもよい。なお、ソフトウェアによる処理は、変位計測装置に含まれるプロセッサがメモリに記憶されたプログラムを実行することにより実現されるものである。
　また、本開示の一態様は、補正パラメータ算出方法及び変位量算出方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムであってもよい。また、本開示の一態様は、そのようなプログラムが記録された、コンピュータ読み取り可能な非一時的な記録媒体であってもよい。例えば、そのようなプログラムを記録媒体に記録して頒布又は流通させてもよい。例えば、頒布されたプログラムを、他のプロセッサを有する装置にインストールして、そのプログラムをそのプロセッサに実行させることで、その装置に、上記各処理を行わせることが可能となる。
　本開示は、画像を用いた対象物の変位計測において、変位の実寸値を計測する装置等に広く利用可能である。
　１　　変位計測システム
　１０　　撮像装置
　１１　　レンズ
　２０　　変位計測装置
　３０　　出力装置
　４０　　入力装置
　５０、５０ａ、５０ｂ　　対象物
　６０、６０ａ、６０ｂ　　マーカ
　１１０　　補正パラメータ算出部（補正パラメータ算出装置）
　１１１　　取得部（第１取得部）
　１１２　　位置検出部
　１１３　　位置推定部
　１１４　　距離算出部
　１１５　　補正値算出部（パラメータ算出部）
　１２０　　変位検出部
　１３０　　変位量算出部（換算部）
　ｆ　　焦点距離
　Ｌ１、Ｌ２　　距離
　Ｍ１～Ｍ３、Ｐ１～Ｐ３、Ｔ　　位置
　Ｏ　　光学中心
　Ｑ１～Ｑ４　　検出点

Claims (7)

  1. 　画像を用いて対象物の動きを示す変位の実寸値である実寸変位量を計測するための補正パラメータを算出する補正パラメータ算出方法であって、
    　特定の座標を検出可能なマーカが取り付けられた前記対象物を撮像して得られる第１画像データを撮像装置から取得する第１取得ステップと、
    　前記第１画像データに含まれる前記マーカに基づいて、前記特定の座標を検出する検出ステップと、
    　前記特定の座標の検出結果と、前記撮像装置のパラメータとに基づいて、前記撮像装置の位置を推定する推定ステップと、
    　前記特定の座標と前記撮像装置の位置とに基づいて、前記撮像装置から前記対象物までの距離データを算出する距離算出ステップと、
    　前記撮像装置が互いに異なるタイミングで撮像した２以上の第２画像データにおける前記対象物の計測点の画素変位量を実寸変位量に換算するための前記補正パラメータを、前記距離データを用いて算出するパラメータ算出ステップとを含む
    　補正パラメータ算出方法。
  2. 　さらに、前記対象物の前記変位の方向を示す変位方向情報を取得する第２取得ステップを含み、
    　前記パラメータ算出ステップでは、さらに、前記変位方向情報を用いて前記補正パラメータを算出する
    　請求項１に記載の補正パラメータ算出方法。
  3. 　前記マーカは、前記対象物の平面部分に取り付けられており、
    　前記変位方向情報が示す方向は、前記平面に対して定義される
    　請求項２に記載の補正パラメータ算出方法。
  4. 　前記マーカは、ＱＲコード（登録商標）であり、
    　前記変位方向情報は、前記ＱＲコードに記憶されている
    　請求項２又は３に記載の補正パラメータ算出方法。
  5. 　請求項１～４のいずれか１項に記載の補正パラメータ算出方法を用いて算出された前記補正パラメータを取得する第３取得ステップと、
    　前記２以上の第２画像データを取得する第４取得ステップと、
    　前記補正パラメータに基づいて、前記２以上の第２画像データにおける前記画素変位量を前記実寸変位量に換算する換算ステップとを含む
    　変位量算出方法。
  6. 　画像を用いて対象物の動きを示す変位の実寸値である実寸変位量を計測するための補正パラメータを算出する補正パラメータ算出装置であって、
    　特定の座標を検出可能なマーカが取り付けられた前記対象物を撮像して得られる第１画像データを撮像装置から取得する第１取得部と、
    　前記第１画像データに含まれる前記マーカに基づいて、前記特定の座標を検出する位置検出部と、
    　前記特定の座標の検出結果と、前記撮像装置のパラメータとに基づいて、前記撮像装置の位置を推定する位置推定部と、
    　前記特定の座標と前記撮像装置の位置とに基づいて、前記撮像装置から前記対象物までの距離データを算出する距離算出部と、
    　前記撮像装置が互いに異なるタイミングで撮像した２以上の第２画像データに基づく前記対象物の計測点の画素変位量を実寸変位量に換算するための前記補正パラメータを、前記距離データを用いて算出するパラメータ算出部とを備える
    　補正パラメータ算出装置。
  7. 　請求項６に記載の補正パラメータ算出装置を用いて算出された前記補正パラメータを取得する第２取得部と、
    　前記２以上の第２画像データを取得する第３取得部と、
    　前記補正パラメータに基づいて、前記２以上の第２画像データにおける前記画素変位量を前記実寸変位量に換算する換算部とを備える
    　変位量算出装置。
PCT/JP2020/025232 2019-10-17 2020-06-26 補正パラメータ算出方法、変位量算出方法、補正パラメータ算出装置、及び、変位量算出装置 WO2021075090A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021552097A JP7489671B2 (ja) 2019-10-17 2020-06-26 補正パラメータ算出方法、変位量算出方法、補正パラメータ算出装置、及び、変位量算出装置
CN202080066802.6A CN114502913A (zh) 2019-10-17 2020-06-26 修正参数计算方法及装置、位移量计算方法及装置
US17/699,418 US11920913B2 (en) 2019-10-17 2022-03-21 Conversion parameter calculation method, displacement amount calculation method, conversion parameter calculation device, and displacement amount calculation device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019190126 2019-10-17
JP2019-190126 2019-10-17

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/699,418 Continuation US11920913B2 (en) 2019-10-17 2022-03-21 Conversion parameter calculation method, displacement amount calculation method, conversion parameter calculation device, and displacement amount calculation device

Publications (1)

Publication Number Publication Date
WO2021075090A1 true WO2021075090A1 (ja) 2021-04-22

Family

ID=75537583

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/025232 WO2021075090A1 (ja) 2019-10-17 2020-06-26 補正パラメータ算出方法、変位量算出方法、補正パラメータ算出装置、及び、変位量算出装置

Country Status (4)

Country Link
US (1) US11920913B2 (ja)
JP (1) JP7489671B2 (ja)
CN (1) CN114502913A (ja)
WO (1) WO2021075090A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4113053A1 (en) * 2021-07-02 2023-01-04 Realook & Company Co., Ltd. Apparatus for correcting assembly deviation and process error thereof using sensing mark, and method of correcting assembly deviation and process error using same
KR20230069328A (ko) * 2021-11-12 2023-05-19 주식회사 아이쉐어넷 거리 측정 장치 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE546659C2 (en) * 2022-11-01 2025-01-07 Optiload Tech Ab A displacement measuring method for measuring a displacement of an object to be measured

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007296248A (ja) * 2006-05-02 2007-11-15 Sony Computer Entertainment Inc ゲーム装置
JP2013124972A (ja) * 2011-12-15 2013-06-24 Samsung Yokohama Research Institute Co Ltd 位置推定装置及び方法、並びにテレビジョン受信機
JP2015055969A (ja) * 2013-09-11 2015-03-23 学校法人常翔学園 移動ロボット、移動ロボット制御システム、制御図形の表示されたシート、及びプログラム
JP2016071663A (ja) * 2014-09-30 2016-05-09 株式会社Ｎｔｔドコモ 情報通信システムおよび情報読取方法
JP2017215306A (ja) * 2016-02-24 2017-12-07 パナソニックＩｐマネジメント株式会社 変位検出装置および変位検出方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3672371B2 (ja) * 1996-02-23 2005-07-20 松下電器産業株式会社 撮像手段による実空間長測定方法及び光学系の校正方法、並びに光学系の校正に用いる基準ゲージ
KR100458290B1 (ko) * 2001-12-27 2004-12-03 고속도로관리공단 이미지 프로세싱을 이용한 구조물의 변위량 측정방법
JP5281610B2 (ja) 2010-05-14 2013-09-04 西日本旅客鉄道株式会社 レーザー距離計付き撮影装置
JP5222430B1 (ja) * 2012-10-19 2013-06-26 株式会社イノテック 寸法計測装置、寸法計測方法及び寸法計測装置用のプログラム
WO2016065623A1 (en) * 2014-10-31 2016-05-06 SZ DJI Technology Co., Ltd. Systems and methods for surveillance with visual marker
JP6521645B2 (ja) * 2015-01-23 2019-05-29 シャープ株式会社 画像計測装置
CN106373156A (zh) * 2015-07-20 2017-02-01 小米科技有限责任公司 通过图像确定空间参数的方法、装置及终端设备
WO2017134881A1 (ja) * 2016-02-04 2017-08-10 富士フイルム株式会社 情報処理装置、情報処理方法、及びプログラム
US10062176B2 (en) 2016-02-24 2018-08-28 Panasonic Intellectual Property Management Co., Ltd. Displacement detecting apparatus and displacement detecting method
JP6577661B2 (ja) * 2016-03-29 2019-09-18 Ｋｙｂ株式会社 路面変位検出装置およびサスペンション制御方法
EP3460754B1 (en) * 2016-04-22 2023-11-29 Nikon Corporation Image measurement method, image measurement program, image measurement device, and object manufacture method
JP6669358B2 (ja) 2016-12-27 2020-03-18 Ｃｏａｉｄｏ株式会社 測定装置およびプログラム
JP6883767B2 (ja) * 2017-02-28 2021-06-09 パナソニックＩｐマネジメント株式会社 変位計測装置および変位計測方法
JP6883768B2 (ja) * 2017-02-28 2021-06-09 パナソニックＩｐマネジメント株式会社 モニタリングシステム
JP6967715B2 (ja) * 2017-04-18 2021-11-17 パナソニックＩｐマネジメント株式会社 カメラ校正方法、カメラ校正プログラム及びカメラ校正装置
CN112119282A (zh) * 2018-03-23 2020-12-22 索尼公司 信息处理装置、移动装置、方法和程序

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007296248A (ja) * 2006-05-02 2007-11-15 Sony Computer Entertainment Inc ゲーム装置
JP2013124972A (ja) * 2011-12-15 2013-06-24 Samsung Yokohama Research Institute Co Ltd 位置推定装置及び方法、並びにテレビジョン受信機
JP2015055969A (ja) * 2013-09-11 2015-03-23 学校法人常翔学園 移動ロボット、移動ロボット制御システム、制御図形の表示されたシート、及びプログラム
JP2016071663A (ja) * 2014-09-30 2016-05-09 株式会社Ｎｔｔドコモ 情報通信システムおよび情報読取方法
JP2017215306A (ja) * 2016-02-24 2017-12-07 パナソニックＩｐマネジメント株式会社 変位検出装置および変位検出方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4113053A1 (en) * 2021-07-02 2023-01-04 Realook & Company Co., Ltd. Apparatus for correcting assembly deviation and process error thereof using sensing mark, and method of correcting assembly deviation and process error using same
KR20230069328A (ko) * 2021-11-12 2023-05-19 주식회사 아이쉐어넷 거리 측정 장치 및 방법
KR102679383B1 (ko) * 2021-11-12 2024-06-28 주식회사 아이쉐어넷 거리 측정 장치 및 방법

Also Published As

Publication number Publication date
US20220205776A1 (en) 2022-06-30
JPWO2021075090A1 (ja) 2021-04-22
US11920913B2 (en) 2024-03-05
JP7489671B2 (ja) 2024-05-24
CN114502913A (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
JP6486069B2 (ja) 画像処理装置、検査装置、検査方法及び画像処理プログラム
JP6594039B2 (ja) 画像処理装置、方法及びプログラム
WO2021075090A1 (ja) 補正パラメータ算出方法、変位量算出方法、補正パラメータ算出装置、及び、変位量算出装置
US20200177866A1 (en) Calibration apparatus, chart for calibration, chart pattern generation apparatus, and calibration method
CN109918977B (zh) 确定空闲车位的方法、装置及设备
CN100428782C (zh) 信息处理方法和设备
JP2017182695A (ja) 情報処理プログラム、情報処理方法および情報処理装置
US12283069B2 (en) Conversion parameter calculation method, displacement amount calculation method, conversion parameter calculation device, and displacement amount calculation device
CN109920004B (zh) 图像处理方法、装置、标定物组合、终端设备及标定系统
KR20160003776A (ko) 자세 추정 방법 및 로봇
KR20180105875A (ko) 단일 영상을 이용한 카메라 캘리브레이션 방법 및 이를 위한 장치
CN109920003A (zh) 相机标定检测方法、装置以及设备
JP2011155412A (ja) 投影システムおよび投影システムにおける歪み修正方法
CN110876053A (zh) 图像处理装置、驾驶支援系统及记录介质
CN114979618B (zh) 计测系统及记录有计测程序的记录介质
CN112292577B (zh) 三维测量装置以及方法
JP6199000B2 (ja) 情報処理装置
JP2018009927A (ja) 画像処理装置、画像処理方法及びプログラム
JP6906177B2 (ja) 交点検出装置、カメラ校正システム、交点検出方法、カメラ校正方法、プログラムおよび記録媒体
JP2023121596A (ja) カメラのパラメーター算出方法、及びカメラシステム
JP6779368B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2021096607A (ja) モーションキャプチャシステム、モーションキャプチャ方法、およびプログラム
JP4351090B2 (ja) 画像処理装置および画像処理方法
CN113661474A (zh) 基准位置设定方法和操作检测装置
CN114037767B (zh) 一种相机内参标定装置及方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20875683

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021552097

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20875683

Country of ref document: EP

Kind code of ref document: A1