[go: up one dir, main page]

WO2019203002A1 - 情報処理装置および方法 - Google Patents

情報処理装置および方法 Download PDF

Info

Publication number
WO2019203002A1
WO2019203002A1 PCT/JP2019/014921 JP2019014921W WO2019203002A1 WO 2019203002 A1 WO2019203002 A1 WO 2019203002A1 JP 2019014921 W JP2019014921 W JP 2019014921W WO 2019203002 A1 WO2019203002 A1 WO 2019203002A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
projection
region
information processing
Prior art date
Application number
PCT/JP2019/014921
Other languages
English (en)
French (fr)
Inventor
祐伍 勝木
清登 染谷
小林　直樹
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/046,364 priority Critical patent/US11240475B2/en
Publication of WO2019203002A1 publication Critical patent/WO2019203002A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/147—Optical correction of image distortions, e.g. keystone
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/20—Lamp housings
    • G03B21/2046—Positional adjustment of light sources
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3155—Modulator illumination systems for controlling the light source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2206/00—Systems for exchange of information between different pieces of apparatus, e.g. for exchanging trimming information, for photo finishing

Definitions

  • the present disclosure relates to an information processing apparatus and method, and more particularly, to an information processing apparatus and method that can control an image projection position more easily.
  • an image correction technique for example, a special pattern is irradiated, the user images it with a handheld camera, the distortion of the projected image is estimated based on the captured image, and the image is projected at a desired position.
  • a method of correcting the projected image has been considered (see, for example, Patent Document 1).
  • the present disclosure has been made in view of such a situation, and makes it possible to control the image projection position more easily.
  • An information processing apparatus is an information processing apparatus including a correction information generation unit that generates correction information of the image so that the image is projected onto a desired region in real space.
  • An information processing method is an information processing method for generating correction information of an image so that the image is projected onto a desired region in real space.
  • correction information of an image is generated so that the image is projected onto a desired region in real space.
  • information can be processed.
  • the image projection position can be controlled more easily.
  • Image projection position control> ⁇ Image projection>
  • various methods for controlling an image to be projected at a desired position in image projection by a projector have been considered.
  • so-called ultra-short focus projectors which have become popular in recent years, project images closer to the projection surface than conventional long focus projectors.
  • the difficulty level of projecting an image to a position (within a desired range) was high.
  • Image projection position control> Therefore, image correction information is generated so that the image is projected onto a desired area in the real space.
  • the information processing apparatus includes a correction information generation unit that generates correction information of an image so that the image is projected onto a desired area in the real space.
  • FIG. 1 is a block diagram illustrating a main configuration example of an embodiment of a projection imaging system to which the present technology is applied.
  • a projection imaging system 100 includes a projection imaging apparatus 101 and a screen 102, and is a system that projects an image, images a projection plane, and controls the projection position (range) of the image.
  • the projection imaging device 101 is a device that projects an image onto the screen 102.
  • the projection imaging apparatus 101 is installed in the vicinity of the screen 102 as in the so-called ultrashort focus projector, and is designed to project an image onto the screen 102 therefrom.
  • the projection imaging apparatus 101 is installed at a position below or in contact with or close to a wall or the like on which the screen 102 is installed, and the image is taken from a place slightly away from the screen 102 (wall) of the housing. Projecting toward the screen 102. That is, the projection imaging apparatus 101 projects an image from directly below the screen 102.
  • the projection imaging apparatus 101 controls the position (range) for projecting the image.
  • the projection imaging apparatus 101 performs image correction on the image to be projected in order to control the image projection position. Further, the projection imaging apparatus 101 captures the screen 102 (that is, the projection plane) on which the image is projected for the image correction (projection position control).
  • the projection imaging apparatus 101 controls the image projection position by imaging the screen 102 and performing image correction using the captured image, so that the image projection position can be controlled more easily.
  • the screen 102 is formed of a material or a configuration that reflects light with high luminance in the front direction and reflects it with low luminance in directions other than the front direction.
  • the screen 102 realizes a projection surface having such characteristics depending on the material and configuration.
  • FIG. 2 is a block diagram illustrating a main configuration example of the projection imaging apparatus 101 which is an embodiment of the information processing apparatus to which the present technology is applied.
  • FIG. 2 shows main components such as a processing unit and a data flow, and the configuration of the projection imaging apparatus 101 is not limited to that shown in FIG. That is, in the projection imaging apparatus 101, there may be a processing unit not shown as a block in FIG. 2, or there may be a process or data flow not shown as an arrow or the like in FIG.
  • the projection imaging apparatus 101 includes a projection imaging unit 111 and a control unit 112.
  • the projection imaging unit 111 is a unit that performs processing related to projection and imaging.
  • the control unit 112 is a unit that performs processing related to the control of the projection imaging unit 111.
  • the projection imaging unit 111 includes a projection unit 121, an imaging unit 122-1, and an imaging unit 122-2.
  • Projection unit 121 performs processing related to image projection.
  • the projection unit 121 acquires image data supplied from the control unit 112 (a control unit 131 described later), and projects the image toward the screen 102.
  • the imaging unit 122-1 and the imaging unit 122-2 perform processing related to imaging.
  • the imaging unit 122-1 and the imaging unit 122-2 are referred to as the imaging unit 122 when it is not necessary to distinguish them from each other.
  • the imaging unit 122 images the screen 102 on which the image is projected by the projection unit 121 and its periphery, and generates data of the captured image.
  • the imaging unit 122 supplies the generated captured image data to the control unit 112 (a control unit 131 described later).
  • the imaging unit 122-1 and the imaging unit 122-2 capture the screen 102 and its periphery from different positions of the housing of the projection imaging apparatus 101. That is, parallax occurs between the captured image generated by the imaging unit 122-1 and the captured image generated by the imaging unit 122-2.
  • the control unit 112 includes a control unit 131, an input unit 141, an output unit 142, a storage unit 143, a communication unit 144, and a drive 145.
  • the control unit 131 performs processing related to the control of the projection imaging unit 111. For example, the control unit 131 supplies image data to the projection unit 121 and causes the image to be projected. In addition, the control unit 131 causes the imaging unit 122 to perform imaging, and acquires captured image data.
  • control unit 131 corrects an image projected on the projection unit 121 using the captured image, and controls an image projection position (range) by the projection unit 121.
  • the image projection position (range) is controlled so that the range of the projection image projected by the projection unit 121 matches the range of the screen 102 (the outer frame of the projection image matches the outer frame of the screen 102). .
  • the control unit 131 may have any configuration.
  • the control unit 131 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like. Processing may be performed by loading a program or data stored in a ROM or the like into the RAM and executing it.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the input unit 141 performs processing related to reception of information input from the outside.
  • the input unit 141 receives information input from the outside and supplies the information to the control unit 131.
  • the input unit 141 includes an arbitrary input device that accepts external information such as user input.
  • the input device may be, for example, a keyboard, a mouse, operation buttons, a touch panel, a camera, a microphone, and an input terminal.
  • the input device may be various sensors such as an acceleration sensor, an optical sensor, and a temperature sensor, or an input device such as a barcode reader.
  • the input unit 141 may have a plurality of input devices, or may have a plurality of types of input devices.
  • the output unit 142 performs processing related to information output.
  • the output unit 142 outputs information supplied from the control unit 131 to the outside of the projection imaging apparatus 101.
  • the output unit 142 includes an arbitrary output device that outputs information such as images and sounds.
  • the output device may be, for example, a display, a speaker, an output terminal, or the like.
  • the output unit 142 may have a plurality of output devices, or may have a plurality of types of input devices.
  • the storage unit 143 performs processing related to storage of information.
  • the storage unit 143 stores information supplied from the control unit 131. Further, the storage unit 143 supplies the stored information to the control unit 131.
  • the storage unit 143 includes an arbitrary storage medium that stores information such as programs and data.
  • the storage medium may be, for example, a hard disk, a RAM disk, a nonvolatile memory, or the like.
  • the storage unit 143 may have a plurality of storage media or a plurality of types of storage media.
  • the communication unit 144 performs processing related to communication. For example, the communication unit 144 communicates with an external device of the projection imaging apparatus 101 and supplies information (program, data, etc.) supplied from the control unit 131 to the external device. The communication unit 144 communicates with an external device of the projection imaging apparatus 101, acquires information (a program, data, and the like) from the external device, and supplies the acquired information to the control unit 131.
  • the communication unit 144 includes an arbitrary communication device that performs communication for exchanging information such as programs and data with an external apparatus via a predetermined communication medium (for example, an arbitrary network such as the Internet).
  • the communication device may be a network interface, for example.
  • the communication unit 144 may have a plurality of communication devices or a plurality of types of communication devices. Note that the communication unit 144 may have a wired communication function, a wireless communication function, or both.
  • the drive 145 performs processing related to the interface of the removable medium 151 attached to itself. For example, the drive 145 reads information (program, data, etc.) stored in the removable medium 151 attached to the drive 145 and supplies the information to the control unit 131. Further, when a writable removable medium 151 is attached to itself, the drive 145 writes (stores) information (program, data, etc.) supplied from the control unit 131 to the removable medium 151.
  • the removable medium 151 is optional, but may be, for example, a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the drive 145 may be configured to be able to mount a plurality of removable media 151, or may be able to mount a plurality of types of removable media 151.
  • FIG. 3 is a functional block diagram illustrating an example of functions realized by the control unit 131 executing a program or the like. As illustrated in FIG. 3, the control unit 131 executes, for example, a projection control unit 201, an imaging control unit 202, a corresponding point detection unit 211, a screen frame position detection unit 212, an attitude estimation unit 213, The screen shape estimation unit 214 and the correction vector generation unit 215 have functions.
  • the projection control unit 201 performs processing related to the control of the projection unit 121.
  • the projection control unit 201 supplies image data to the projection unit 121 and projects the image.
  • the projection control unit 201 supplies image data of the content to the projection unit 121 and causes the image to be projected.
  • the projection control unit 201 checks the correspondence in response to a request from the corresponding point detection unit 211.
  • the image data to be output is supplied to the projection unit 121, and the image is projected.
  • the projection control unit 201 detects an image for detecting the position of the screen frame in response to a request from the screen frame position detection unit 212 (frame detection imaging processing unit 221). Is supplied to the projection unit 121 and the image is projected.
  • the projection control unit 201 performs a correction process for controlling the image projection position and correcting the distortion of the projection image for the image supplied to the projection unit 121.
  • the projection control unit 201 performs the correction process using the correction vector supplied from the correction vector generation unit 215 (correction vector calculation unit 233).
  • the imaging control unit 202 performs processing related to the control of the imaging unit 122. For example, when detecting a corresponding point (corresponding point between an image to be projected and a captured image) between the projection unit 121 and the imaging unit 122, the imaging control unit 202 responds to a request from the corresponding point detection unit 211. , The screen 102 on which the image is projected from the projection unit 121 and its periphery are imaged, data of the captured image is generated, and the data is acquired. The imaging control unit 202 supplies the acquired captured image data to the corresponding point detection unit 211.
  • the imaging control unit 202 controls the imaging unit 122 in response to a request from the screen frame position detection unit 212 (frame detection imaging processing unit 221), and the projection unit 121. Then, the screen 102 on which the image is projected and its periphery are imaged, data of the captured image is generated, and the data is acquired.
  • the imaging control unit 202 supplies the acquired captured image data to the screen frame position detection unit 212 (frame detection imaging processing unit 221).
  • Corresponding point detection unit 211 performs processing related to detection of corresponding points between projection unit 121 and imaging unit 122 (corresponding points between the image to be projected and the captured image). For example, the corresponding point detection unit 211 controls the projection unit 121 via the projection control unit 201 to supply image data for detecting corresponding points and cause the image to be projected. Also, the corresponding point detection unit 211 controls the imaging unit 122 via the imaging control unit 202 to capture the screen 102 on which the corresponding point detection image is projected and its periphery, and acquire data of the captured image. To do.
  • the corresponding point detection unit 211 detects the corresponding point using the acquired captured image data and the like, and supplies the detection result to the posture estimation unit 213 and the projected image frame position specifying unit 224 of the screen frame position detection unit 212. To do.
  • the screen frame position detection unit 212 performs processing related to the detection of the screen frame position. For example, the screen frame position detection unit 212 detects the position of the frame of the screen 102 and supplies the detection result to the correction vector generation unit 215 (viewpoint image frame position calculation unit 232).
  • the posture estimation unit 213 performs processing related to posture estimation. For example, the posture estimation unit 213 estimates the postures of the projection unit 121 and the imaging unit 122 using the corresponding points detected by the corresponding point detection unit 211, and supplies the estimation results to the screen shape estimation unit 214.
  • the screen shape estimation unit 214 performs processing related to screen shape estimation. For example, the screen shape estimation unit 214 estimates the shape of the screen 102 based on the postures of the projection unit 121 and the imaging unit 122 estimated by the posture estimation unit 213, and uses the estimation result as a correction vector generation unit 215 (viewpoint position). To the estimation unit 231).
  • the correction vector generation unit 215 performs processing related to generation of correction vectors.
  • This correction vector is vector information indicating the contents of image correction for controlling the image projection position (range) and suppressing distortion. That is, the correction vector is information indicating how to correct each pixel of the image projected on the projection unit 121 in order to control the image projection position (range) and suppress distortion.
  • the correction vector generation unit 215 generates a correction vector based on information such as the screen shape estimated by the screen shape estimation unit 214 and the frame position of the screen 102 detected by the screen frame position detection unit 212. .
  • the correction vector generation unit 215 supplies the generated correction vector to the projection control unit 201. As described above, the projection control unit 201 performs image correction using the correction vector.
  • the screen frame position detection unit 212 includes a frame detection imaging processing unit 221, a lens distortion correction unit 222, a captured image frame position detection unit 223, a projection image frame position specification unit 224, and a frame position interpolation processing unit 225. .
  • the frame detection imaging processing unit 221 performs processing related to imaging for detecting a screen frame.
  • the frame detection imaging processing unit 221 controls the projection unit 121 via the projection control unit 201, supplies image data for detecting the position of the screen frame, and projects the image.
  • the frame detection imaging processing unit 221 controls the imaging unit 122 via the imaging control unit 202, and captures the screen 102 on which the image for detecting the position of the screen frame is projected from the projection unit 121 and its periphery.
  • the captured image data is generated, and the data is acquired.
  • the frame detection imaging processing unit 221 supplies the acquired captured image data to the lens distortion correction unit 222.
  • the lens distortion correction unit 222 performs processing related to correction of lens distortion. For example, the lens distortion correction unit 222 corrects the lens distortion of the captured image supplied from the frame detection imaging processing unit 221 and supplies the corrected captured image to the captured image frame position detection unit 223.
  • the captured image frame position detection unit 223 performs processing related to detection of the position of the screen frame in the captured image. For example, the captured image frame position detection unit 223 detects the position of the frame of the screen 102 in the captured image using the captured image whose lens distortion has been corrected by the lens distortion correction unit 222, and the detection result is a projected image.
  • the frame position specifying unit 224 is supplied.
  • the projected image frame position specifying unit 224 performs processing related to the detection of the position of the screen frame in the image to be projected. For example, the projected image frame position specifying unit 224 uses the corresponding points detected by the corresponding point detecting unit 211 to project the position of the frame of the screen 102 in the captured image detected by the captured image frame position detecting unit 223. The image is converted into an image, and the position of the frame of the screen 102 in the image to be projected is specified. The projection image frame position specifying unit 224 supplies information indicating the frame position of the specified screen 102 to the frame position interpolation processing unit 225.
  • the frame position interpolation processing unit 225 performs processing related to interpolation of the position of the screen frame specified by the projection image frame position specifying unit 224. For example, the frame position interpolation processing unit 225 interpolates between the positions of local screen frames specified by the projection image frame position specifying unit 224 by a predetermined interpolation method. The frame position interpolation processing unit 225 supplies information indicating the frame position of the screen 102 after the interpolation processing to the correction vector generation unit 215 (viewpoint image frame position calculation unit 232).
  • the correction vector generation unit 215 includes a viewpoint position estimation unit 231, a viewpoint image frame position calculation unit 232, and a correction vector calculation unit 233.
  • the viewpoint position estimation unit 231 performs processing relating to viewpoint position estimation. For example, the viewpoint position estimation unit 231 estimates the position of the user viewpoint (for example, the front of the screen 102) based on the screen shape estimated by the screen shape estimation unit 214. The viewpoint position estimation unit 231 supplies information indicating the estimated position to the viewpoint image frame position calculation unit 232.
  • the viewpoint image frame position calculation unit 232 performs processing related to the calculation of the position of the screen frame in the viewpoint image indicating the appearance (view) from the viewpoint position. For example, the viewpoint image frame position calculation unit 232 estimates the viewpoint image at the viewpoint position estimated by the viewpoint position estimation unit 231, and the screen 102 indicated by the information supplied from the frame position interpolation processing unit 225 in the viewpoint image. The position of the frame is calculated, and the calculation result is supplied to the correction vector calculation unit 233.
  • the correction vector calculation unit 233 performs processing related to correction vector calculation. For example, the correction vector calculation unit 233 calculates a correction vector using the position of the frame of the screen 102 in the viewpoint image calculated by the viewpoint image frame position calculation unit 232. The correction vector calculation unit 233 supplies the calculated correction vector to the projection control unit 201.
  • the corresponding point detection unit 211 detects a corresponding point between the projection image and the captured image in step S101.
  • the method for detecting the corresponding points is arbitrary. For example, the method described in International Publication No. 2017/104447 may be applied. Note that viewing may be interrupted once at the corresponding point detection portion, and the corresponding point may be acquired by irradiating the structured light pattern.
  • step S102 the screen frame position detection unit 212 detects the position of the frame of the screen 102.
  • step S103 the posture estimation unit 213 estimates the postures of the projection unit 121 and the imaging unit 122 using the corresponding points obtained in step S101.
  • step S104 the screen shape estimation unit 214 estimates the screen shape based on the posture estimation result in step S103.
  • step S105 the correction vector generation unit 215 estimates a correction vector using the screen shape estimated in step S104.
  • step S105 When the process in step S105 is completed, the projection correction process ends.
  • the frame detection imaging processing unit 221 selects the imaging unit 122 to be processed in step S121. If there is only one imaging unit 122, this process is omitted.
  • step S122 the frame detection imaging processing unit 221 causes the projection unit 121 to project the screen frame position detection projection image, causes the imaging unit 122 to capture the projection plane, and captures the screen frame position detection imaging that is the captured image. Generate an image.
  • FIG. 6 shows examples of the projected image for detecting the screen frame position and the captured image for detecting the screen frame position.
  • a screen frame position detection projection image 301 in FIG. 6 shows an example of an image projected by the projection unit 121.
  • the screen frame position detection projection image 301 is a so-called white image in which the luminance values of all the pixels are maximum. That is, the projection unit 121 projects the uniform white image as a screen frame position detection projection image.
  • the screen frame position detection projection image 301 is not limited to the brightness value in the example of FIG.
  • the luminance value of the screen frame position detection projection image 301 may be uniform and may not be the maximum value. That is, an image of a color other than white may be used.
  • the screen frame position detection projection image 301 only needs to have a uniform brightness value on the outside (near the frame), and the brightness value at the center may not be uniform.
  • the imaging unit 122 images the screen 102 on which the screen frame position detection projection image 301 is projected and the periphery thereof, and a screen frame position detection captured image 302 is obtained.
  • the projection image 311 included in the screen frame position detection captured image 302 is the screen frame position detection projection image 301 projected onto the screen 102 or the like by the projection unit 121.
  • the brightness of the region 312 in the projection image 311 is reduced as compared with the surrounding area. This is because the screen 102 reflects light in the front direction with high brightness, and the reflection in the other direction (the direction in which the projection imaging device 101 is installed) is less than the periphery of the screen 102.
  • the projection imaging apparatus 101 detects the frame of the screen 102 using such a luminance difference.
  • the projection imaging apparatus 101 reflects the entire white pattern emitted from the projection unit 121 by the screen 102 and is incident on the imaging unit 122 and the outside of the screen 102 (for example, a wall) and reflects the imaging unit.
  • the position of the frame of the screen 102 is specified using the difference from the amount of light incident on 122.
  • the imaging unit 122 captures an image using a wide-angle lens so that the entire screen 102 falls within the imaging field angle. Therefore, lens distortion occurs in the screen frame position detection captured image 302, and a straight line in the real space is a curve in the screen frame position detection captured image 302.
  • step S123 the lens distortion correction unit 222 applies lens distortion correction to the screen frame position detection captured image 302 generated in step S122 using a known lens distortion parameter by pre-calibration.
  • the lens distortion Further, the lens distortion correction unit 222 performs gray conversion on the image.
  • the captured image 321 shown in FIG. 7 is obtained.
  • the projected image 322 in the captured image 321 corresponds to the projected image 311 (FIG. 6) of the screen frame position detection captured image 302.
  • An area 323 in the projected image 322 where the luminance is reduced compared to the surrounding area corresponds to the area 312 of the screen frame position detection captured image 302.
  • the contours of the projected image 311 and the region 312 that have been curved are linearized by the lens distortion correction.
  • step S124 the captured image frame position detection unit 223 detects the screen frame position in the captured image.
  • the captured image frame position detection unit 223 first binarizes the captured image 321 and converts it into a binary image 331. As shown in FIG. 7, in the binary image 331, only the area outside the screen 102 on which the projected image 301 for detecting the screen frame position, which was high in luminance in the captured image 321, is expressed as a black area 332. Is done. That is, the binarization makes the luminance difference between the area of the screen 102 and the area outside the screen 102 clear.
  • the captured image frame position detection unit 223 detects the contour of the binary image 331 and detects the contour of the black region 332.
  • An image 341 in FIG. 7 shows an example of the contour detection result.
  • both the outer outline (dotted line frame 342) and the inner outline (solid line frame 343) of the black region 332 are detected.
  • the dotted line frame 342 corresponds to the contour of the projected screen frame position detection projection image 301.
  • a solid line frame 343 corresponds to the contour of the screen 102.
  • the captured image frame position detection unit 223 specifies the contour of the screen 102 in the image 341 based on the length of the contour of the screen 102 that is roughly known in advance. That is, the solid line frame 343 is specified.
  • An image 351 in FIG. 7 shows this identification result.
  • An outline 352 in the image 351 corresponds to the solid line frame 343 of the image 341.
  • the frame position of the screen 102 in the captured image is detected.
  • step S125 the projection image frame position specifying unit 224 specifies the screen frame position in the projection image using the corresponding points detected in step S101 of FIG. That is, the projected image frame position specifying unit 224 converts the frame position of the screen 102 in the captured image detected as described above onto the projected image using the corresponding points.
  • the projected image frame position specifying unit 224 regards the detected contour 352 as a set of points (also referred to as contour points), and the correspondence on the captured image closest to each contour point as in the image 361 in FIG.
  • the point 362 is specified, and the contour point and the corresponding point 362 are linked.
  • FIG. 8 is an enlarged image of the partial region 363 of the image 361.
  • a corresponding point 362-1, a corresponding point 362-2, and a corresponding point 362-3 exist in the vicinity of the contour 352. Since the corresponding point 362-1 is closest to the contour point in the range 372-1 in the contour 352 of the portion of the image 371, these contour points are linked to the corresponding point 362-1. Further, since the corresponding point 362-2 is closest to the contour point in the range 372-2, these contour points are linked to the corresponding point 362-2. Similarly, since the corresponding point 362-3 is closest to the contour point in the range 372-3, these contour points are linked to the corresponding point 362-3.
  • the projected image frame position specifying unit 224 detects corresponding points around the corresponding corresponding points and groups them. For example, as shown in the image 381 in FIG. 8, with respect to the corresponding point 362-2 associated with the outline point group 352-2, the corresponding point 362-1, the corresponding point 362-3, Corresponding point 362-4, corresponding point 362-5, and corresponding point 362-6 are grouped.
  • the projected image frame position specifying unit 224 uses the grouped corresponding points to obtain homography conversion between the captured image and the projected image. Then, the projection image frame position specifying unit 224 applies the homography conversion to each contour point associated with the corresponding point, and performs coordinate conversion on the projection image.
  • the projection image frame position specifying unit 224 uses the grouped corresponding points 362-1 to 362-6 to obtain the homography transformation. Then, the projected image frame position specifying unit 224 applies the homography transformation to the contour point group 352-2 associated with the corresponding point 362-2, and performs coordinate transformation on the projected image.
  • the projected image frame position specifying unit 224 converts the contour 352 onto the projected image by applying such processing to all contour points.
  • An image 391 in FIG. 8 shows an example of the frame position of the screen 102 of the projection image obtained in this way. That is, the image 391 corresponds to a projected image, and the solid line frame 392 corresponds to the contour 352 converted on the projected image.
  • step S126 the frame position interpolation processing unit 225 performs model fitting of the screen frame position in the projection image specified in step S125, and interpolates the position of the screen frame.
  • the frame position interpolation processing unit 225 performs model fitting of the screen frame position, interpolates the position of the screen frame, and converts the contour 401 into a contour 402.
  • This interpolation method is arbitrary. For example, B-spline interpolation may be applied. By applying such interpolation to smoothly connect the screen frame positions, the influence of noise can be suppressed.
  • step S127 the screen frame position detection unit 212 determines whether processing has been performed using all the imaging units 122. If it is determined that there is an unprocessed imaging unit 122, the process returns to step S121, and the subsequent processes are repeated. That is, the above processing is repeated for each imaging unit 122.
  • step S127 when it determines with having processed about all the imaging parts 122 in step S127, a process progresses to step S128.
  • step S1208 the screen frame position detection unit 212 integrates the frame position of the screen 102 on the projection image detected based on each captured image.
  • This integration method is arbitrary.
  • the average of the frame positions of the screen 102 on the detected projection image may be set as the final frame position, or the median value may be set as the final frame position.
  • step S128 When the process of step S128 is completed, the screen frame position detection process is completed, and the process returns to FIG.
  • the viewpoint position estimation unit 231 of the correction vector generation unit 215 estimates the viewpoint image at the viewpoint position in step S141.
  • the viewpoint image is an image showing how it is seen (view) from the viewpoint position, that is, a virtual image equivalent to a captured image obtained by imaging the screen 102 and its periphery from the viewpoint position.
  • the viewpoint position is the viewpoint position of the user who views the projection image, and can be specifically set to an arbitrary position. Here, it is assumed that the position is a predetermined distance in the front direction of the screen 102.
  • the correction vector is calculated using such a viewpoint image. That is, the projection imaging apparatus 101 calculates the correction vector so that the position (range) of the projection image viewed from the user matches the position (range) of the screen 102.
  • step S142 the viewpoint image frame position calculation unit 232 calculates the screen frame position on the viewpoint image. As described above, since the frame position of the screen 102 in each captured image and projection image is obtained, the frame position of the screen 102 in the viewpoint image can also be obtained based on them.
  • step S143 the correction vector calculation unit 233 calculates a correction vector in consideration of a plane model shift and screen frame distortion. Since an error may occur due to the influence of the actual environment, the correction vector calculation unit 233 calculates the correction vector in consideration of them.
  • the estimated position (plane model) of the screen 102 may deviate from the actual position. Due to such an error (planar model deviation), the position of the pixel 421 in the projected image assumed on the estimated plane may differ from the position of the actually measured point 422 actually measured.
  • the correction vector calculation unit 233 calculates a correction vector so as to reduce such a plane model shift.
  • the frame position of the screen 102 on the projection image obtained as described above may be distorted (screen frame distortion).
  • the correction vector calculation unit 233 calculates the correction vector so that the distortion is reduced like the frame position 442 on the viewpoint image 441.
  • the correction vector calculation unit 233 calculates a correction vector so as to correct not only the shape of the frame (the outer shape of the projection image) but also the distortion of the entire projection image.
  • the correction vector calculation unit 233 corrects the distortion using, for example, interpolation within a triangular element. For example, with the point p0 as the origin, the points p1 and p2 are set as shown in FIG. 13, and linear interpolation is performed as follows for the point p in the region (triangular element) surrounded by the three points.
  • the transformation matrix is expressed by the following formula (3), where u p and v p are the coordinates of the local coordinate system of the point p and x p , y p and z p are the coordinates of the global coordinate system.
  • u p and v p are the coordinates of the point p in the local coordinate system.
  • C indicates the value of the interpolation correction vector, and C 0 -C 2 indicates the correction vector value of p0-p2.
  • this interpolation method is arbitrary and is not limited to the above example.
  • step S144 the correction vector calculation unit 233 supplies the correction vector calculated as described above to the projection control unit 201 and reflects it in the projection control. That is, the projection control unit 201 performs image correction on an image to be projected on the projection unit 121 using the correction vector.
  • step S144 When the process of step S144 is completed, the correction vector generation process is terminated, and the process returns to FIG.
  • the projection image 502 shown in FIG. 15A may protrude or deviate from the screen 501.
  • the subjective image quality (image quality viewed from the user) of the projected image 502 may be reduced.
  • the correction as described above may be executed while the content is being projected, or may be executed when the content is not being projected. When the content is being projected, it is preferable to perform correction so as not to prevent viewing of the content.
  • the screen frame position detection projection image may be projected using the Imperceptible Structured Light method described in International Publication No. 2017/104447.
  • the content may be irradiated with a uniform luminance pattern embedded therein.
  • the luminance value of the screen frame position detection projection image may be reduced to an appropriate value.
  • the projection image for detecting the screen frame position may be any image, and the luminance value may not be uniform throughout the image.
  • the luminance value is arbitrary, and a black image (an image with a luminance value of 0) may be used instead of the white image.
  • a plurality of images having different luminance values, patterns, and the like may be used.
  • the entire projection image is corrected.
  • the present invention is not limited to this.
  • only a part of the projection image may be corrected.
  • the above-described correction may be performed on a relatively large distortion portion (a part on the upper side of the screen).
  • the projection imaging apparatus 101 has been described as projecting an image from the vicinity of the screen 102 like a so-called ultra-short focus projector, but the position of the projection imaging apparatus 101 is arbitrary. For example, an image may be projected from a position away from the screen 102 like a so-called long focus projector.
  • the configuration of the projection imaging apparatus 101 to which the present technology is applied is not limited to the example of FIG. 2 described above.
  • the numbers of the projection units 121 and the imaging units 122 are arbitrary, and may be singular or plural. That is, the configuration of the projection imaging unit 111 is not limited to the example of FIG. 1 and is arbitrary.
  • the projection imaging apparatus 101 (projection imaging unit 111) may have one projection unit 121 and one imaging unit 122.
  • the projection imaging apparatus 101 (projection imaging unit 111) has one projection unit 121 and four imaging units 122 (imaging units 122-1 to 12-1). 122-4) You may make it have.
  • the projection imaging unit 111 may have a configuration other than the projection unit 121 and the imaging unit 122.
  • the projection imaging apparatus 101 may include a plurality of projection imaging units 111. In that case, the configuration of each projection imaging unit 111 may not be the same. For example, the number of the projection units 121 and the imaging units 122 may be different between the projection imaging units 111. Further, the projection imaging apparatus 101 may include a plurality of control units 112. In that case, the configuration of each control unit 112 may not be the same. In this case, all the control units 112 may cooperate to perform the above-described processing, or some control units 112 may perform the above-described processing.
  • the projection imaging unit 111 and the control unit 112 may be configured as separate bodies (that is, different devices).
  • the projection imaging unit 111 and the control unit 112 may be configured as separate bodies (that is, different devices).
  • it may be configured as a system composed of a plurality of devices.
  • the 17 includes a control device 801, a projection imaging device 802-1, and a projection imaging device 802-2.
  • the projection imaging device 802-1 and the projection imaging device 802-2 are connected so as to be communicable with the control device 801 by wired communication or wireless communication.
  • the projection imaging device 802-1 and the projection imaging device 802-2 are referred to as the projection imaging device 802 when there is no need to distinguish between them.
  • the control device 801 has the same configuration and function as the control unit 112 (FIG. 2), and performs the same processing.
  • the projection imaging apparatus 802 has the same configuration and function as the projection imaging unit 111 and performs the same processing.
  • the projection imaging system 800 has the same configuration and function as the projection imaging apparatus 101 having a configuration in which two projection imaging units 111 are connected to one control unit 112, and performs the same processing.
  • the present technology can be applied to such a projection imaging system 800 as in the case of the projection imaging apparatus 101.
  • the projection imaging system 800 can more easily control the image projection position.
  • the number of the projection imaging devices 802 is arbitrary and may be one or plural.
  • the configurations of the projection imaging devices 802 may be the same as each other or may not be the same.
  • the projection imaging system 800 may include a plurality of control devices 801. In this case, the configurations of the control devices 801 may be the same or may not be the same.
  • the control device 801 may be integrated with any one of the projection imaging devices 802 (that is, may be configured as one device).
  • the projection unit 121 and the imaging unit 122 may be different units (or apparatuses).
  • the projection imaging system 800 may include devices other than the control device 801 and the projection imaging device 802 described above.
  • control device 801 and the projection imaging device 802 may be communicably connected via a network which is an arbitrary communication network.
  • the communication method adopted in this network is arbitrary.
  • wired communication, wireless communication, or both of them may be used.
  • this network may be configured by a single communication network or may be configured by a plurality of communication networks.
  • the network may include a communication network or a communication path of an arbitrary communication standard such as a wired communication network complying with the standard.
  • this recording medium is constituted by a removable medium 151 on which the program is recorded, which is distributed to distribute the program to the user, separately from the apparatus main body. Is done.
  • the program stored in the removable medium 151 can be read and installed in the storage unit 143.
  • This program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be received by the communication unit 144 and installed in the storage unit 143.
  • this program can be installed in advance in a storage unit or ROM.
  • the program can be installed in advance in a ROM (not shown) or the like built in the storage unit 143 or the control unit 131.
  • the present technology may be any configuration installed in any device or a device constituting the system, for example, a processor (for example, a video processor) as a system LSI (Large Scale Integration), a module (for example, a video) Modules), units using a plurality of modules (for example, video units), sets obtained by adding other functions to the units (for example, video sets), etc. (that is, a configuration of a part of the apparatus).
  • a processor for example, a video processor
  • LSI Large Scale Integration
  • module for example, a video Modules
  • units using a plurality of modules for example, video units
  • sets obtained by adding other functions to the units for example, video sets
  • the present technology can also be applied to a network system including a plurality of devices.
  • a network system including a plurality of devices.
  • it can also be applied to cloud services that provide services related to images (moving images) to arbitrary terminals such as computers, AV (Audio Visual) devices, portable information processing terminals, IoT (Internet of Things) devices, etc. it can.
  • systems, devices, processing units, etc. to which this technology is applied shall be used in any field such as traffic, medical care, crime prevention, agriculture, livestock industry, mining, beauty, factory, home appliance, weather, nature monitoring, etc. Can do. Moreover, the use is also arbitrary.
  • the present technology can be applied to a system or device used for providing ornamental content or the like.
  • the present technology can also be applied to systems and devices used for traffic such as traffic situation management and automatic driving control.
  • the present technology can also be applied to a system or device used for security.
  • the present technology can be applied to a system or a device provided for automatic control of a machine or the like.
  • the present technology can also be applied to systems and devices used for agriculture and livestock industry.
  • the present technology can also be applied to systems and devices that monitor natural conditions such as volcanoes, forests, and oceans, and wildlife.
  • the present technology can be applied to a system or a device provided for sports.
  • Embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.
  • the present technology may be applied to any configuration that constitutes an apparatus or a system, for example, a processor (eg, a video processor) as a system LSI (Large Scale Integration), a module using a plurality of processors (eg, a video module), a plurality of modules, etc. Etc. (for example, a video unit), a set obtained by further adding other functions to the unit (for example, a video set), etc. (that is, a part of the apparatus).
  • a processor eg, a video processor
  • LSI Large Scale Integration
  • a module using a plurality of processors eg, a video module
  • a plurality of modules e.g., a plurality of modules, etc.
  • Etc. for example, a video unit
  • a set obtained by further adding other functions to the unit for example, a video set
  • a part of the apparatus that is, a part of the apparatus.
  • the system means a set of a plurality of constituent elements (devices, modules (parts), etc.), and it does not matter whether all the constituent elements are in the same casing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a single device housing a plurality of modules in one housing are all systems. .
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be combined into a single device (or processing unit).
  • a configuration other than that described above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of a certain device (or processing unit) may be included in the configuration of another device (or other processing unit). .
  • the present technology can take a configuration of cloud computing in which one function is shared and processed by a plurality of devices via a network.
  • the above-described program can be executed in an arbitrary device.
  • the device may have necessary functions (functional blocks and the like) so that necessary information can be obtained.
  • each step described in the above flowchart can be executed by one device or can be executed by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • a plurality of processes included in one step can be executed as a process of a plurality of steps.
  • the processing described as a plurality of steps can be collectively executed as one step.
  • the program executed by the computer may be executed in a time series in the order described in this specification for the processing of the steps describing the program, or in parallel or called. It may be executed individually at a necessary timing. That is, as long as no contradiction occurs, the processing of each step may be executed in an order different from the order described above. Furthermore, the processing of the steps describing this program may be executed in parallel with the processing of other programs, or may be executed in combination with the processing of other programs.
  • An information processing apparatus including a correction information generation unit that generates correction information of the image so that the image is projected onto a desired region in real space.
  • the correction information generation unit generates the correction information so that the projected image viewed from a predetermined viewpoint position is positioned in the desired region. .
  • the correction information generation unit generates a correction vector for correcting each pixel position of the image as the correction information.
  • It further includes an area setting unit for setting the area, The information processing apparatus according to (1), wherein the correction information generation unit generates the correction information so that the image is projected onto the region set by the region setting unit.
  • the information processing apparatus sets the region in the image.
  • the region setting unit specifies the region in the image using a captured image of a projection plane including the region.
  • the region setting unit specifies a contour of the region in the image using a contour point group indicating a contour of the region in the captured image.
  • the region setting unit specifies a contour of the region in the image from a contour point group of the region in the captured image using a corresponding point indicating a correspondence relationship between the image and the captured image.
  • the region setting unit determines a local contour point group of the region in the captured image based on a corresponding point corresponding to the local contour point group and a corresponding point group around the corresponding point.
  • the region setting unit detects the corresponding point using the projected image and the captured image, and uses the detected corresponding point to determine from the contour point group of the region in the captured image, The information processing apparatus according to (8), wherein an outline of the region in the image is specified. (12) The region setting unit Detecting the outline of the region in the captured image; The information processing apparatus according to (7), wherein a contour of the region in the image is specified using a contour point group indicating the detected contour. (13) The information processing apparatus according to (12), wherein the region setting unit detects an outline of the region from a captured image of the projection surface on which a predetermined image is projected according to the luminance of each pixel.
  • the information processing apparatus (14) The information processing apparatus according to (13), wherein the region setting unit binarizes the captured image and detects an outline of the region.
  • the predetermined image is an image having a uniform luminance value.
  • the predetermined image is an image having a maximum luminance value of all pixels.
  • the region setting unit corrects distortion of the captured image, and specifies the region in the image using the corrected captured image.
  • the information processing apparatus according to (6), further including an imaging unit that images the projection plane and generates the captured image.
  • 100 projection imaging system 101 projection imaging device, 102 screen, 111 projection imaging unit, 112 control unit, 121 projection unit, 122 imaging unit, 131 control unit, 201 projection control unit, 202 imaging control unit, 211 corresponding point detection unit, 212 Screen frame position detection unit, 213 posture estimation unit, 214 screen shape estimation unit, 215 correction vector generation unit, 221 frame detection imaging processing unit, 222 lens distortion correction unit, 223 captured image frame position detection unit, 224 projection image frame Position identification unit, 225 frame position interpolation processing unit, 231 viewpoint position estimation unit, 232 viewpoint image frame position calculation unit, 233 correction vector calculation unit, 800 projection imaging system, 801 control device, 802 projection imaging Image equipment

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)

Abstract

本開示は、画像投影位置をより容易に制御することができるようにする情報処理装置および方法に関する。 実空間の所望の領域に画像が投影されるように、その画像の補正情報を生成する。例えば、所定の視点位置から見た場合に、投影された画像が所望の領域に位置するように、補正情報を生成する。また、例えば、その補正情報として、画像の各画素位置を補正する補正ベクトルを生成する。本開示は、例えば、情報処理装置、投影装置、撮像装置、投影撮像装置、投影撮像制御装置、または画像投影撮像システム等に適用することができる。

Description

情報処理装置および方法
　本開示は、情報処理装置および方法に関し、特に、画像投影位置をより容易に制御することができるようにした情報処理装置および方法に関する。
　従来、プロジェクタによる画像投影において、所望の位置に画像が投影されるように制御する方法が様々に考えられた。特に、所謂超短焦点プロジェクタは、従来の長焦点プロジェクタよりも投影面の近くから画像を投影するため、長焦点プロジェクタの場合に比べて投影画像の歪みが大きくなり易く、所望の位置（所望の範囲内）に画像を投影させる難易度が高かった。
　このような画像補正技術として例えば、特殊なパターンを照射し、ユーザがそれを手持ちのカメラで撮像し、その撮像画像を基に投影画像の歪みを推定し、所望の位置に投影されるように、投影する画像を補正する方法が考えられた（例えば特許文献１参照）。
特開２０１３－１９２０９８号公報
　しかしながら、この方法の場合、ユーザが手持ちのカメラで撮影する等の煩雑な作業が必要であった。
　本開示は、このような状況に鑑みてなされたものであり、画像投影位置をより容易に制御することができるようにするものである。
　本技術の一側面の情報処理装置は、実空間の所望の領域に画像が投影されるように、前記画像の補正情報を生成する補正情報生成部を備える情報処理装置である。
　本技術の一側面の情報処理方法は、実空間の所望の領域に画像が投影されるように、前記画像の補正情報を生成する情報処理方法である。
　本技術の一側面の情報処理装置および方法においては、実空間の所望の領域に画像が投影されるように、その画像の補正情報が生成される。
　本開示によれば、情報を処理することができる。特に、画像投影位置をより容易に制御することができる。
投影撮像システムの主な構成例を示すブロック図である。 投影撮像装置の主な構成例を示すブロック図である。 制御部が実現する主な機能の例を示す機能ブロック図である。 投影補正処理の流れの例を説明するフローチャートである。 スクリーン枠位置検出処理の流れの例を説明するフローチャートである。 スクリーン枠位置検出用画像とスクリーン枠位置撮像画像との例を示す図である。 スクリーン枠位置の検出の様子の例を示す図である。 スクリーン枠位置の検出の様子の例を示す図である。 スクリーン枠位置の検出の様子の例を示す図である。 補正ベクトル生成処理の流れの例を説明するフローチャートである。 補正ベクトル生成の様子の例を示す図である。 補正ベクトル生成の様子の例を示す図である。 補正ベクトル生成の様子の例を示す図である。 補正ベクトル生成の様子の例を示す図である。 画像補正の様子の例を示す図である。 投影撮像装置の主な構成例を示すブロック図である。 投影撮像システムの主な構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．画像投影位置制御
　２．第１の実施の形態（投影撮像システム）
　３．第２の実施の形態（他の構成例）
　４．付記
　＜１．画像投影位置制御＞
　　＜画像投影＞
　従来、プロジェクタによる画像投影において、所望の位置に画像が投影されるように制御する方法が様々に考えられた。特に、近年普及が進む所謂超短焦点プロジェクタは、従来の長焦点プロジェクタよりも投影面の近くから画像を投影するため、長焦点プロジェクタの場合に比べて投影画像の歪みが大きくなり易く、所望の位置（所望の範囲内）に画像を投影させる難易度が高かった。
　このような画像補正技術として例えば、特許文献１に記載のように、特殊なパターンを照射し、ユーザがそれを手持ちのカメラで撮像し、その撮像画像を基に投影画像の歪みを推定し、所望の位置に投影されるように、投影する画像を補正する方法が考えられた。
　しかしながら、この方法の場合、ユーザが手持ちのカメラで撮影する等の煩雑な作業が必要であった。また、特許文献１に記載の方法では、投影画像の歪みが補正されるのみであり、画像を所望の位置に投影させる（投影画像を所望の位置にする）ためには、手動でプロジェクタの投影方向等を調整する等の煩雑な作業がさらに必要であった。そのため、画像投影位置を制御するためのより容易な方法が求められていた。
　　＜画像投影位置制御＞
　そこで、実空間の所望の領域に画像が投影されるように画像の補正情報を生成するようにする。
　例えば、情報処理装置において、実空間の所望の領域に画像が投影されるように、その画像の補正情報を生成する補正情報生成部を備えるようにする。
　このようにすることにより、その補正情報を用いて投影する画像を補正するだけで、画像投影位置をより容易に制御することができる。
　＜２．第１の実施の形態＞
　　＜投影撮像システム＞
　図１は、本技術を適用した投影撮像システムの一実施の形態の主な構成例を示すブロック図である。図１において、投影撮像システム１００は、投影撮像装置１０１およびスクリーン１０２を有し、画像を投影したり、投影面を撮像したり、画像の投影位置（範囲）を制御したりするシステムである。
　投影撮像装置１０１は、画像をスクリーン１０２に投影する装置である。投影撮像装置１０１は、所謂超短焦点プロジェクタと同様に、スクリーン１０２の近傍に設置され、そこから画像をスクリーン１０２に投影するように設計されている。例えば、投影撮像装置１０１は、スクリーン１０２の下方の、スクリーン１０２が設置された壁等に接するかまたは近接する位置に設置され、その筐体のスクリーン１０２（壁）から少し離れた場所から画像をスクリーン１０２に向けて投影する。つまり、投影撮像装置１０１は、スクリーン１０２の略真下から画像を投影する。
　また、投影撮像装置１０１は、画像を投影する位置（範囲）を制御する。投影撮像装置１０１は、その画像投影位置制御のために、投影する画像に対して画像補正を行う。さらに、投影撮像装置１０１は、その画像補正（投影位置制御）のために、画像が投影されたスクリーン１０２（すなわち投影面）を撮像する。一般的に短焦点プロジェクタより投影された投影画像は歪み易く、その位置の制御の難易度も高い。投影撮像装置１０１は、スクリーン１０２を撮像し、その撮像画像を利用して画像補正を行うことによって画像投影位置制御を行うので、画像投影位置をより容易に制御することができる。
　なお、スクリーン１０２は、光を正面方向に高輝度に反射し、正面方向以外の方向には低輝度に反射するような素材や構成で形成される。例えば、投影撮像装置１０１によりスクリーン１０２に投影された投影画像をスクリーン１０２の正面から見た場合、その投影画像は高輝度に見えるが、正面以外の方向（例えばスクリーン１０２の下方）から見た場合、その投影画像は低輝度に見える。スクリーン１０２は、素材や構成により、このような特性の投影面を実現する。
　　＜投影撮像装置＞
　図２は、本技術を適用した情報処理装置の一実施の形態である投影撮像装置１０１の主な構成例を示すブロック図である。なお、図２においては、処理部やデータの流れ等の主なものを示しており、投影撮像装置１０１の構成は、図２に示されるものが全てとは限らない。つまり、投影撮像装置１０１において、図２においてブロックとして示されていない処理部が存在したり、図２において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
　図２に示されるように、投影撮像装置１０１は、投影撮像ユニット１１１および制御ユニット１１２を有する。投影撮像ユニット１１１は、投影や撮像に関する処理を行うユニットである。制御ユニット１１２は、その投影撮像ユニット１１１の制御に関する処理を行うユニットである。
　投影撮像ユニット１１１は、投影部１２１、撮像部１２２－１、および撮像部１２２－２を有する。
　投影部１２１は、画像投影に関する処理を行う。例えば、投影部１２１は、制御ユニット１１２（後述する制御部１３１）から供給された画像のデータを取得し、その画像をスクリーン１０２に向かって投影する。
　撮像部１２２－１および撮像部１２２－２は、撮像に関する処理を行う。撮像部１２２－１および撮像部１２２－２を互いに区別して説明する必要がない場合、撮像部１２２と称する。例えば、撮像部１２２は、投影部１２１により画像が投影されたスクリーン１０２およびその周辺を撮像し、その撮像画像のデータを生成する。撮像部１２２は、生成した撮像画像のデータを制御ユニット１１２（後述する制御部１３１）に供給する。なお、撮像部１２２－１および撮像部１２２－２は、投影撮像装置１０１の筐体の互いに異なる位置からスクリーン１０２およびその周辺を撮像する。つまり、撮像部１２２－１により生成される撮像画像と、撮像部１２２－２により生成される撮像画像との間には視差が生じる。
　制御ユニット１１２は、制御部１３１、入力部１４１、出力部１４２、記憶部１４３、通信部１４４、およびドライブ１４５を有する。
　制御部１３１は、投影撮像ユニット１１１の制御に関する処理を行う。例えば、制御部１３１は、投影部１２１に画像のデータを供給し、その画像を投影させる。また、制御部１３１は、撮像部１２２に撮像を行わせ、撮像画像のデータを取得する。
　さらに制御部１３１は、その撮像画像を用いて、投影部１２１に投影させる画像を補正して、投影部１２１による画像投影位置（範囲）を制御する。例えば、投影部１２１が投影した投影画像の範囲がスクリーン１０２の範囲と一致するように（投影画像の外枠がスクリーン１０２の外枠と一致するように）、画像投影位置（範囲）を制御する。
　なお、制御部１３１は、どのような構成を有するようにしてもよいが、例えば、CPU（Central Processing Unit）、ROM（Read Only Memory）、RAM（Random Access Memory）等を有し、そのCPUがROM等に記憶されているプログラムやデータをRAMにロードして実行することにより、処理を行うようにしてもよい。
　入力部１４１は、外部から入力される情報の受け付けに関する処理を行う。例えば、入力部１４１は、外部から入力される情報を受け付け、その情報を制御部１３１に供給する。この入力部１４１は、ユーザ入力等の外部の情報を受け付ける任意の入力デバイスを有する。その入力デバイスは、例えば、キーボード、マウス、操作ボタン、タッチパネル、カメラ、マイクロホン、入力端子であってもよい。また、その入力デバイスは、加速度センサ、光センサ、温度センサ等の各種センサや、バーコードリーダ等の入力機器であってもよい。入力部１４１が、複数の入力デバイスを有するようにしてもよいし、複数種類の入力デバイスを有するようにしてもよい。
　出力部１４２は、情報の出力に関する処理を行う。例えば、出力部１４２は、制御部１３１から供給される情報を、投影撮像装置１０１の外部に出力する。この出力部１４２は、画像や音声等の情報を出力する任意の出力デバイスを有する。その出力デバイスは、例えば、ディスプレイ、スピーカ、出力端子等であってもよい。出力部１４２が、複数の出力デバイスを有するようにしてもよいし、複数種類の入力デバイスを有するようにしてもよい。
　記憶部１４３は、情報の記憶に関する処理を行う。例えば、記憶部１４３は、制御部１３１から供給された情報を記憶する。また、記憶部１４３は、記憶している情報を制御部１３１に供給する。この記憶部１４３は、プログラムやデータ等の情報を記憶する任意の記憶媒体を有する。その記憶媒体は、例えば、ハードディスク、RAMディスク、不揮発性メモリ等であってもよい。記憶部１４３が、複数の記憶媒体を有するようにしてもよいし、複数種類の記憶媒体を有するようにしてもよい。
　通信部１４４は、通信に関する処理を行う。例えば、通信部１４４は、投影撮像装置１０１の外部の装置と通信を行い、制御部１３１から供給された情報（プログラムやデータ等）をその外部の装置に供給する。また、通信部１４４は、投影撮像装置１０１の外部の装置と通信を行い、その外部の装置から情報（プログラムやデータ等）を取得し、取得した情報を制御部１３１に供給する。この通信部１４４は、所定の通信媒体（例えばインターネット等の任意のネットワーク）を介して外部の装置とプログラムやデータ等の情報を授受する通信を行う任意の通信デバイスを有する。その通信デバイスは、例えば、ネットワークインタフェースであってもよい。通信部１４４が、複数の通信デバイスを有するようにしてもよいし、複数種類の通信デバイスを有するようにしてもよい。なお、通信部１４４が有線通信機能を有するようにしてもよいし、無線通信機能を有するようにしてもよいし、その両方を有するようにしてもよい。
　ドライブ１４５は、自身に装着されたリムーバブルメディア１５１のインタフェースに関する処理を行う。例えば、ドライブ１４５は、自身に装着されたリムーバブルメディア１５１に記憶されている情報（プログラムやデータ等）を読み出し、その情報を制御部１３１に供給する。また、書き込み可能なリムーバブルメディア１５１が自身に装着された場合、ドライブ１４５は、制御部１３１から供給された情報（プログラムやデータ等）を、そのリムーバブルメディア１５１に書き込む（記憶させる）。このリムーバブルメディア１５１は、任意であるが、例えば、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどであってもよい。ドライブ１４５が、複数のリムーバブルメディア１５１を装着することができるようにしてもよいし、複数種類のリムーバブルメディア１５１を装着することができるようにしてもよい。
　　＜制御部の機能ブロック＞
　図３は、制御部１３１がプログラム等を実行することにより実現する機能の例を示す機能ブロック図である。図３に示されるように、制御部１３１は、プログラムを実行することにより、例えば、投影制御部２０１、撮像制御部２０２、対応点検出部２１１、スクリーン枠位置検出部２１２、姿勢推定部２１３、スクリーン形状推定部２１４、および補正ベクトル生成部２１５の機能を有する。
　投影制御部２０１は、投影部１２１の制御に関する処理を行う。例えば、投影制御部２０１は、画像のデータを投影部１２１に供給し、その画像を投影させる。例えば、ユーザにコンテンツを視聴させる場合、投影制御部２０１は、そのコンテンツの画像のデータを投影部１２１に供給し、その画像を投影させる。また、投影部１２１と撮像部１２２との対応点（投影する画像と撮像画像との対応点）を検出する場合、投影制御部２０１は、対応点検出部２１１の要求に応じて、その対応点検出のための画像のデータを投影部１２１に供給し、その画像を投影させる。また、スクリーン１０２の枠の位置を検出する場合、投影制御部２０１は、スクリーン枠位置検出部２１２（枠検出用撮像処理部２２１）の要求に応じて、スクリーン枠の位置を検出するための画像のデータを投影部１２１に供給し、その画像を投影させる。
　また、例えば、投影制御部２０１は、投影部１２１に供給する画像に対して、画像投影位置を制御したり、投影画像の歪みを補正したりするための補正処理を行う。例えば、投影制御部２０１は、補正ベクトル生成部２１５（補正ベクトル算出部２３３）から供給される補正ベクトルを用いて、その補正処理を行う。
　撮像制御部２０２は、撮像部１２２の制御に関する処理を行う。例えば、投影部１２１と撮像部１２２との対応点（投影する画像と撮像画像との対応点）を検出する場合、撮像制御部２０２は、対応点検出部２１１の要求に応じて、撮像部１２２を制御し、投影部１２１から画像が投影されたスクリーン１０２およびその周辺を撮像させ、撮像画像のデータを生成させ、そのデータを取得する。撮像制御部２０２は、取得したその撮像画像のデータを対応点検出部２１１に供給する。また、スクリーン１０２の枠の位置を検出する場合、撮像制御部２０２は、スクリーン枠位置検出部２１２（枠検出用撮像処理部２２１）の要求に応じて、撮像部１２２を制御し、投影部１２１から画像が投影されたスクリーン１０２およびその周辺を撮像させ、撮像画像のデータを生成させ、そのデータを取得する。撮像制御部２０２は、取得したその撮像画像のデータをスクリーン枠位置検出部２１２（枠検出用撮像処理部２２１）に供給する。
　対応点検出部２１１は、投影部１２１と撮像部１２２との対応点（投影する画像と撮像画像との対応点）の検出に関する処理を行う。例えば、対応点検出部２１１は、投影制御部２０１を介して投影部１２１を制御し、対応点検出用の画像のデータを供給し、その画像を投影させる。また、対応点検出部２１１は、撮像制御部２０２を介して撮像部１２２を制御し、その対応点検出用の画像が投影されたスクリーン１０２およびその周辺を撮像させ、その撮像画像のデータを取得する。
　対応点検出部２１１は、その取得した撮像画像のデータ等を用いて対応点の検出を行い、その検出結果を姿勢推定部２１３およびスクリーン枠位置検出部２１２の投影画像枠位置特定部２２４に供給する。
　スクリーン枠位置検出部２１２は、スクリーン枠位置の検出に関する処理を行う。例えば、スクリーン枠位置検出部２１２は、スクリーン１０２の枠の位置を検出し、その検出結果を補正ベクトル生成部２１５（視点画像枠位置算出部２３２）に供給する。
　姿勢推定部２１３は、姿勢推定に関する処理を行う。例えば、姿勢推定部２１３は、対応点検出部２１１により検出された対応点を利用して、投影部１２１や撮像部１２２の姿勢を推定し、その推定結果をスクリーン形状推定部２１４に供給する。
　スクリーン形状推定部２１４は、スクリーン形状の推定に関する処理を行う。例えば、スクリーン形状推定部２１４は、姿勢推定部２１３により推定された投影部１２１および撮像部１２２の姿勢に基づいて、スクリーン１０２の形状を推定し、その推定結果を補正ベクトル生成部２１５（視点位置推定部２３１）に供給する。
　補正ベクトル生成部２１５は、補正ベクトルの生成に関する処理を行う。この補正ベクトルは、画像投影位置（範囲）の制御や歪みの抑制のための画像補正の内容を示すベクトル情報である。つまり、補正ベクトルは、画像投影位置（範囲）の制御や歪みの抑制のために、投影部１２１に投影させる画像の各画素をどのように補正するかを示す情報である。例えば、補正ベクトル生成部２１５は、スクリーン形状推定部２１４により推定されたスクリーン形状や、スクリーン枠位置検出部２１２により検出されたスクリーン１０２の枠の位置等の情報に基づいて、補正ベクトルを生成する。
　補正ベクトル生成部２１５は、生成した補正ベクトルを投影制御部２０１に供給する。上述したように投影制御部２０１は、その補正ベクトルを用いて画像補正を行う。
　また、スクリーン枠位置検出部２１２は、枠検出用撮像処理部２２１、レンズ歪み補正部２２２、撮像画像枠位置検出部２２３、投影画像枠位置特定部２２４、および、枠位置補間処理部２２５を有する。
　枠検出用撮像処理部２２１は、スクリーン枠を検出するための撮像に関する処理を行う。例えば、枠検出用撮像処理部２２１は、投影制御部２０１を介して投影部１２１を制御し、スクリーン枠の位置を検出するための画像のデータを供給し、その画像を投影させる。また、枠検出用撮像処理部２２１は、撮像制御部２０２を介して撮像部１２２を制御し、投影部１２１からスクリーン枠の位置を検出するための画像が投影されたスクリーン１０２およびその周辺を撮像させ、撮像画像のデータを生成させ、そのデータを取得する。また、枠検出用撮像処理部２２１は、その取得した撮像画像のデータをレンズ歪み補正部２２２に供給する。
　レンズ歪み補正部２２２は、レンズ歪みの補正に関する処理を行う。例えば、レンズ歪み補正部２２２は、枠検出用撮像処理部２２１から供給される撮像画像のレンズ歪みを補正し、補正後の撮像画像を撮像画像枠位置検出部２２３に供給する。
　撮像画像枠位置検出部２２３は、撮像画像におけるスクリーン枠の位置の検出に関する処理を行う。例えば、撮像画像枠位置検出部２２３は、レンズ歪み補正部２２２によりレンズ歪みが補正された撮像画像を用いて、その撮像画像にけるスクリーン１０２の枠の位置を検出し、その検出結果を投影画像枠位置特定部２２４に供給する。
　投影画像枠位置特定部２２４は、投影させる画像におけるスクリーン枠の位置の検出に関する処理を行う。例えば、投影画像枠位置特定部２２４は、対応点検出部２１１により検出された対応点を用いて、撮像画像枠位置検出部２２３により検出された撮像画像におけるスクリーン１０２の枠の位置を、投影させる画像上に変換し、その投影させる画像におけるスクリーン１０２の枠の位置を特定する。投影画像枠位置特定部２２４は、その特定したスクリーン１０２の枠の位置を示す情報を、枠位置補間処理部２２５に供給する。
　枠位置補間処理部２２５は、投影画像枠位置特定部２２４により特定されたスクリーン枠の位置の補間に関する処理を行う。例えば、枠位置補間処理部２２５は、所定の補間方法で、投影画像枠位置特定部２２４により特定された局所的なスクリーン枠の位置同士の間を補間する。枠位置補間処理部２２５は、その補間処理後のスクリーン１０２の枠の位置を示す情報を補正ベクトル生成部２１５（視点画像枠位置算出部２３２）に供給する。
　補正ベクトル生成部２１５は、視点位置推定部２３１、視点画像枠位置算出部２３２、および補正ベクトル算出部２３３を有する。
　視点位置推定部２３１は、視点位置の推定に関する処理を行う。例えば、視点位置推定部２３１は、スクリーン形状推定部２１４により推定されたスクリーン形状に基づいて、ユーザ視点の位置（例えば、スクリーン１０２の正面）を推定する。視点位置推定部２３１は、推定したその位置を示す情報を、視点画像枠位置算出部２３２に供給する。
　視点画像枠位置算出部２３２は、視点位置からの見え方（視界）を示す視点画像におけるスクリーン枠の位置の算出に関する処理を行う。例えば、視点画像枠位置算出部２３２は、視点位置推定部２３１により推定された視点位置における視点画像を推定し、その視点画像における、枠位置補間処理部２２５から供給される情報に示されるスクリーン１０２の枠の位置を算出し、その算出結果を補正ベクトル算出部２３３に供給する。
　補正ベクトル算出部２３３は、補正ベクトルの算出に関する処理を行う。例えば、補正ベクトル算出部２３３は、視点画像枠位置算出部２３２により算出された視点画像におけるスクリーン１０２の枠の位置を用いて、補正ベクトルを算出する。補正ベクトル算出部２３３は、算出した補正ベクトルを投影制御部２０１に供給する。
　　＜投影補正処理の流れ＞
　次に、以上のような構成の投影撮像装置１０１が実行する投影補正処理の流れの例を、図４のフローチャートを参照して説明する。なお、この処理は、コンテンツを投影中に実行するようにしてもよいし、コンテンツの投影を行っていないときに実行するようにしてもよい。
　投影補正処理が開始されると、対応点検出部２１１は、ステップＳ１０１において、投影画像と撮像画像との対応点を検出する。この対応点の検出方法は任意である。例えば、国際公開第２０１７／１０４４４７号に記載の方法を適用するようにしてもよい。なお、対応点検出部分で視聴を一度中断し、構造化光パターンを照射して対応点を取得するようにしてもよい。
　ステップＳ１０２において、スクリーン枠位置検出部２１２は、スクリーン１０２の枠の位置を検出する。
　ステップＳ１０３において、姿勢推定部２１３は、ステップＳ１０１において得られた対応点を用いて、投影部１２１および撮像部１２２の姿勢を推定する。
　ステップＳ１０４において、スクリーン形状推定部２１４は、ステップＳ１０３の姿勢推定結果に基づいて、スクリーン形状を推定する。
　ステップＳ１０５において、補正ベクトル生成部２１５は、ステップＳ１０４において推定したスクリーン形状を用いて、補正ベクトルを推定する。
　ステップＳ１０５の処理が終了すると投影補正処理が終了する。
　　＜スクリーン枠位置検出処理の流れ＞
　次に、図５のフローチャートを参照して、図４のステップＳ１０２において実行されるスクリーン枠位置検出処理の流れの例を説明する。
　スクリーン枠位置検出処理が開始されると、枠検出用撮像処理部２２１は、ステップＳ１２１において、処理対象とする撮像部１２２を選択する。撮像部１２２が１台しかない場合、この処理は省略される。
　ステップＳ１２２において、枠検出用撮像処理部２２１は、スクリーン枠位置検出用投影画像を投影部１２１に投影させ、撮像部１２２にその投影面を撮像させ、その撮像画像であるスクリーン枠位置検出用撮像画像を生成させる。
　このスクリーン枠位置検出用投影画像およびスクリーン枠位置検出用撮像画像の例を図６に示す。図６のスクリーン枠位置検出用投影画像３０１は、投影部１２１により投影される画像の例を示す。この場合、スクリーン枠位置検出用投影画像３０１は、全画素の輝度値が最大の所謂白画像である。つまり、投影部１２１は、この一様な白画像をスクリーン枠位置検出用投影画像として投影する。
　なお、このスクリーン枠位置検出用投影画像３０１は、輝度値が図６の例に限定されない。例えば、スクリーン枠位置検出用投影画像３０１の輝度値は、一様であればよく、最大値でなくてもよい。つまり、白色以外の色の画像であってもよい。また、スクリーン枠位置検出用投影画像３０１は、外側（枠近傍）において輝度値が一様であればよく、中央部の輝度値は一様でなくてもよい。
　このようなスクリーン枠位置検出用投影画像３０１が投影されたスクリーン１０２およびその周辺を撮像部１２２が撮像して、スクリーン枠位置検出用撮像画像３０２が得られる。
　このスクリーン枠位置検出用撮像画像３０２に含まれる投影画像３１１は、投影部１２１によりスクリーン１０２等に投影されたスクリーン枠位置検出用投影画像３０１である。この投影画像３１１内の領域３１２は、その周辺に比べて輝度が低減している。これは、スクリーン１０２が光を正面方向に高輝度に反射し、その他の方向（投影撮像装置１０１が設置されている方向）への反射はスクリーン１０２の周辺に比べて少ないためである。
　投影撮像装置１０１は、このような輝度差を利用してスクリーン１０２の枠を検出する。つまり、投影撮像装置１０１は、投影部１２１から照射された全白パターンが、スクリーン１０２により反射して撮像部１２２に入射する光量と、スクリーン１０２の外（例えば壁等）によって反射して撮像部１２２に入射する光量との違いを利用して、スクリーン１０２の枠の位置を特定する。
　なお、撮像部１２２は、スクリーン１０２全体を撮像画角内に収めるために、広角レンズを使用して撮像している。そのため、スクリーン枠位置検出用撮像画像３０２にはレンズ歪みが生じており、現実空間における直線がスクリーン枠位置検出用撮像画像３０２においては曲線となっている。
　そこで、ステップＳ１２３において、レンズ歪み補正部２２２は、事前キャリブレーションにより既知のレンズ歪みパラメータを用いて、ステップＳ１２２において生成されたスクリーン枠位置検出用撮像画像３０２にレンズ歪み補正を適用し、このようなレンズ歪みを低減させる。さらに、レンズ歪み補正部２２２は、画像をグレー変換する。
　このような処理により、図７の撮像画像３２１が得られる。撮像画像３２１内の投影画像３２２は、スクリーン枠位置検出用撮像画像３０２の投影画像３１１（図６）に対応する。また投影画像３２２内の、輝度が周辺に比べて低減している領域３２３は、スクリーン枠位置検出用撮像画像３０２の領域３１２に対応する。このように、レンズ歪み補正によって、曲線であった投影画像３１１や領域３１２の輪郭は直線化される。
　ステップＳ１２４において、撮像画像枠位置検出部２２３は、撮像画像におけるスクリーン枠位置を検出する。
　より具体的には、撮像画像枠位置検出部２２３は、まず、撮像画像３２１を２値化して、２値画像３３１に変換する。図７に示されるように２値画像３３１においては、撮像画像３２１において高輝度であった、スクリーン枠位置検出用投影画像３０１が投影されたスクリーン１０２の外の領域のみが、黒領域３３２として表現される。つまり、この２値化により、スクリーン１０２の領域とスクリーン１０２の外の領域との輝度差が明確になる。
　次に、撮像画像枠位置検出部２２３は、その２値画像３３１において輪郭検出を行い、黒領域３３２の輪郭を検出する。図７の画像３４１は、その輪郭検出結果の例を示している。画像３４１に示されるように、黒領域３３２の外側の輪郭（点線枠３４２）と内側の輪郭（実線枠３４３）との両方が検出される。点線枠３４２は、投影されたスクリーン枠位置検出用投影画像３０１の輪郭に対応する。また、実線枠３４３は、スクリーン１０２の輪郭に対応する。
　次に、撮像画像枠位置検出部２２３は、事前におおまかに既知とするスクリーン１０２の輪郭の長さをもとに、この画像３４１におけるスクリーン１０２の輪郭を特定する。つまり、実線枠３４３が特定される。図７の画像３５１は、この特定結果を示す。画像３５１内の輪郭３５２は、画像３４１の実線枠３４３に対応する。
　以上のように、撮像画像におけるスクリーン１０２の枠位置が検出される。
　ステップＳ１２５において、投影画像枠位置特定部２２４は、図４のステップＳ１０１において検出された対応点を用いて、投影画像におけるスクリーン枠位置を特定する。つまり、投影画像枠位置特定部２２４は、対応点を用いて、以上のように検出された撮像画像におけるスクリーン１０２の枠位置を、投影画像上に変換する。
　まず、投影画像枠位置特定部２２４は、検出された輪郭３５２を点（輪郭点とも称する）の集合と捉え、図８の画像３６１のように、それぞれの輪郭点に最も近い撮像画像上の対応点３６２を特定し、その輪郭点と対応点３６２とを紐づける。
　図８の画像３７１は、画像３６１の部分領域３６３の拡大画像である。画像３７１に示されるように、輪郭３５２の近傍に対応点３６２－１、対応点３６２－２、対応点３６２－３が存在するとする。画像３７１の部分の輪郭３５２の内、範囲３７２－１の輪郭点には対応点３６２－１が最も近いので、これらの輪郭点はこの対応点３６２－１に紐づけられる。また、範囲３７２－２の輪郭点には対応点３６２－２が最も近いので、これらの輪郭点はこの対応点３６２－２に紐づけられる。同様に、範囲３７２－３の輪郭点には対応点３６２－３が最も近いので、これらの輪郭点はこの対応点３６２－３に紐づけられる。
　次に、投影画像枠位置特定部２２４は、その紐づけられた対応点周辺の対応点を検出し、グループ化する。例えば、図８の画像３８１に示されるように、輪郭点群３５２－２に紐づけられた対応点３６２－２に対して、その周辺に位置する対応点３６２－１、対応点３６２－３、対応点３６２－４、対応点３６２－５、および対応点３６２－６がグループ化される。
　投影画像枠位置特定部２２４は、このグループ化された対応点を使用して、撮像画像－投影画像間のホモグラフィ変換を求める。そして、投影画像枠位置特定部２２４は、そのホモグラフィ変換を、その対応点に紐づけられている各輪郭点に適用し、投影画像上に座標変換する。
　例えば、画像３８１の場合、投影画像枠位置特定部２２４は、グループ化された対応点３６２－１乃至対応点３６２－６を用いて、そのホモグラフィ変換を求める。そして、投影画像枠位置特定部２２４は、対応点３６２－２に紐づけられている輪郭点群３５２－２に対してそのホモグラフィ変換を適用し、投影画像上に座標変換する。
　投影画像枠位置特定部２２４は、このような処理を全ての輪郭点に適用することで、輪郭３５２を投影画像上に変換する。図８の画像３９１は、このようにして求められた投影画像のスクリーン１０２の枠位置の例を示している。つまり、画像３９１は、投影画像に相当し、実線枠３９２は、投影画像上に変換された輪郭３５２に対応する。
　ステップＳ１２６において、枠位置補間処理部２２５は、ステップＳ１２５において特定された投影画像におけるスクリーン枠位置のモデルフィッティングを行い、スクリーン枠の位置を補間する。
　上述したように、輪郭３５２の投影画像への変換は局所毎に行われるため、実際には、実線枠３９２は、ノイズの影響等により図９の輪郭４０１のようにジャギーとなってしまう（不連続な部分が生じる）おそれがある。そこで、枠位置補間処理部２２５は、スクリーン枠位置のモデルフィッティングを行い、スクリーン枠の位置を補間し、輪郭４０１を輪郭４０２のように変換する。この補間方法は任意である。例えば、Ｂ－スプライン補間を適用するようにしてもよい。このような補間を適用してスクリーン枠位置をなめらかにつなぐことで、ノイズの影響を抑制することができる。
　ステップＳ１２７において、スクリーン枠位置検出部２１２は、全ての撮像部１２２を用いて処理したか否かを判定する。未処理の撮像部１２２が存在すると判定された場合、処理はステップＳ１２１に戻り、それ以降の処理を繰り返す。つまり、撮像部１２２毎に以上のような処理を繰り返す。
　そして、ステップＳ１２７において、全ての撮像部１２２について処理を行ったと判定された場合、処理はステップＳ１２８に進む。
　ステップＳ１２８において、スクリーン枠位置検出部２１２は、各撮像画像に基づいて検出された投影画像上のスクリーン１０２の枠位置を統合する。この統合の方法は任意である。例えば、検出された投影画像上のスクリーン１０２の各枠位置の平均を最終的な枠位置としてもよいし、中央値を最終的な枠位置としてもよい。
　ステップＳ１２８の処理が終了するとスクリーン枠位置検出処理が終了し、処理は図４に戻る。
　　＜補正ベクトル生成処理の流れ＞
　次に、図４のステップＳ１０５において実行される補正ベクトル生成処理の流れの例を、図１０のフローチャートを参照して説明する。
　補正ベクトル生成処理が開始されると、補正ベクトル生成部２１５の視点位置推定部２３１は、ステップＳ１４１において、視点位置における視点画像を推定する。
　視点画像とは、視点位置からの見え方（視界）を示す画像のことであり、すなわち、視点位置からスクリーン１０２およびその周辺を撮像した撮像画像と同等の、仮想的な画像である。また、視点位置は、投影画像を見るユーザの視点位置であり、具体的には任意の位置に設定することができる。ここでは、スクリーン１０２の正面方向の所定の距離の位置であるとする。
　補正ベクトルは、このような視点画像を用いて算出される。つまり、投影撮像装置１０１は、ユーザから見た投影画像の位置（範囲）がスクリーン１０２の位置（範囲）と一致するように、補正ベクトルを算出する。
　ステップＳ１４２において、視点画像枠位置算出部２３２は、視点画像上のスクリーン枠位置を算出する。上述したように、各撮像画像と投影画像のそれぞれにおけるスクリーン１０２の枠位置が求められたので、それらをもとに、視点画像におけるスクリーン１０２の枠位置も求めることができる。
　ステップＳ１４３において、補正ベクトル算出部２３３は、平面モデルずれおよびスクリーン枠歪みを考慮して、補正ベクトルを算出する。実環境の影響により誤差が生じるおそれがあるので、補正ベクトル算出部２３３は、それらも考慮して補正ベクトルを算出する。
　例えば、図１１に示されるように、推定したスクリーン１０２の位置（平面モデル）が実際の位置からずれている場合もあり得る。このような誤差（平面モデルずれ）により、推定平面上において想定した投影画像のある画素４２１の位置と、実際に測定された実測点４２２の位置とが異なる場合がある。
　そこで、補正ベクトル算出部２３３は、このような平面モデルずれを低減させるように補正ベクトルを算出する。
　また、図１２に示される投影画像４３１の枠位置４３２のように、上述のように求めた投影画像上のスクリーン１０２の枠位置が歪む場合がある（スクリーン枠歪み）。
　そこで、補正ベクトル算出部２３３は、視点画像４４１上においては枠位置４４２のように、その歪みが低減するように、補正ベクトルを算出する。
　その際、補正ベクトル算出部２３３は、単に枠の形（投影画像の外形）を整形するだけでなく、投影画像全体の歪みを補正するように、補正ベクトルを算出する。
　例えば、図１３の点線枠内のように、投影画像の枠位置が歪んでいるとする。このような画像を図１４のように歪みを補正する場合に、補正ベクトル算出部２３３は、例えば、３角形要素内の補間を用いて歪を補正する。例えば、点p0を原点として、点p1および点p2を図１３のように設定し、その３点で囲まれる領域（３角形要素）内の点pについて以下のように線形補間を行う。
　点p0を原点とする、３角形で構成される局所座標系は、以下の式（１）および式（２）のような基底ベクトルeuおよび基底ベクトルevから得られ、全体座標系への変換行列は、点pの局所座標系の座標をup,vpとし、全体座標系の座標をxp,yp,zpとすると以下の式（３）の通りとなる。
Figure JPOXMLDOC01-appb-M000001
　また成分で表せば、以下の式（４）のようになる。
Figure JPOXMLDOC01-appb-M000002
　節点p0,p1,p2で各値をＣ0,Ｃ1,Ｃ2とすると、要素内の点pでの値Ｃは、以下の式（５）のように表すことができる。
Figure JPOXMLDOC01-appb-M000003
　ここでup,vpは、点pの局所座標系での座標である。Ｃは、補間補正ベクトルの値を示し、Ｃ0－Ｃ2は、p0-p2の補正ベクトル値を示す。
　もちろん、この補間方法は任意であり、上述の例に限定されない。
　ステップＳ１４４において、補正ベクトル算出部２３３は、以上のように算出した補正ベクトルを投影制御部２０１に供給し、投影制御に反映させる。つまり、投影制御部２０１は、その補正ベクトルを用いて、投影部１２１に投影させる画像に対する画像補正を行う。
　ステップＳ１４４の処理が終了すると、補正ベクトル生成処理が終了し、処理は図４に戻る。
　上述のような投影画像の位置（範囲）を制御しない場合、例えば、図１５のＡに示される投影画像５０２のように、スクリーン５０１からはみ出したり、ずれたりしてしまうおそれがあり、そのことにより投影画像５０２の主観的画質（ユーザから見た画質）が低減してしまうおそれがあった。
　これに対して以上のように各処理を実行することにより、容易に、スクリーン５０１と投影画像５０２の位置（範囲）を揃えるように、投影することができる。したがって、投影画像５０２の主観的画質の低減を抑制することができる。また、デザイン性などの観点から顧客体験価値を向上させることができる。さらに、上述の補正により、投影画像の枠位置だけでなく、画像内部の歪みも補正することができる。したがって、投影画像５０２の主観的画質の低減をより抑制することができる。
　　＜コンテンツ視聴中の補正＞
　以上のような補正は、コンテンツを投影中に実行するようにしてもよいし、コンテンツの投影を行っていないときに実行するようにしてもよい。コンテンツを投影中に行う場合は、そのコンテンツの視聴を妨げないように補正を行うことが好ましい。
　その場合、例えば、国際公開第２０１７／１０４４４７号に記載のImperceptible Structured Lightの手法を用いて、スクリーン枠位置検出用投影画像を投影するようにすればよい。例えば、コンテンツに輝度の一様パターンを埋め込んで照射するようにすればよい。その場合、スクリーン枠位置検出用投影画像の輝度値は、適切な値に落とすようにしてもよい。このようにすることにより、コンテンツに埋め込まれたスクリーン枠位置検出用投影画像を目立たなくすることができるので、コンテンツの主観的画質の低減を抑制することができる。
　　＜スクリーン枠位置検出用投影画像＞
　なお、スクリーン枠位置検出用投影画像は、どのような画像であってもよく、画像全体で輝度値が一様でなくてもよい。また、輝度値は任意であり、白画像の代わりに黒画像（輝度値が０の画像）を用いてもよい。さらに、例えば輝度値やパターン等が異なる複数の画像を用いてもよい。
　　＜補正範囲＞
　以上においては、投影画像全体について補正を行うように説明したが、これに限らず、例えば、投影画像の一部についてのみ補正を行うようにしてもよい。例えば、超短焦点プロジェクタでスクリーンの下側から画像を投影した場合、スクリーンの上側の歪みが大きくなり易い。このような場合に、比較的に歪の大きな部分（スクリーンの上側の一部）に対して、上述のような補正を行うようにしてもよい。
　　＜投影撮像装置の位置＞
　また、以上においては、投影撮像装置１０１が所謂超短焦点プロジェクタのようにスクリーン１０２の近傍から画像を投影するように説明したが、投影撮像装置１０１の位置は任意である。例えば、所謂長焦点プロジェクタのようにスクリーン１０２から離れた位置から画像を投影するようにしてもよい。
　＜３．第２の実施の形態＞
　　＜他の構成例＞
　なお、本技術を適用する投影撮像装置１０１の構成は、上述した図２の例に限定されない。例えば、投影部１２１や撮像部１２２の数はそれぞれ任意であり、単数であってもよいし、複数であってもよい。つまり、投影撮像ユニット１１１の構成は、図１の例に限定されず任意である。例えば、図１６のＡに示されるように、投影撮像装置１０１（投影撮像ユニット１１１）が、投影部１２１と撮像部１２２を１台ずつ有するようにしてもよい。また、例えば、図１６のＢに示されるように、投影撮像装置１０１（投影撮像ユニット１１１）が、投影部１２１を１台有し、撮像部１２２を４台（撮像部１２２－１乃至撮像部１２２－４）有するようにしてもよい。また、投影撮像ユニット１１１が、投影部１２１および撮像部１２２以外の構成も有するようにしてもよい。
　また、投影撮像装置１０１が、投影撮像ユニット１１１を複数備えるようにしてもよい。その場合、各投影撮像ユニット１１１の構成が全て同一でなくてもよい。例えば、投影撮像ユニット１１１間で、投影部１２１や撮像部１２２の数が異なっていてもよい。また、投影撮像装置１０１が、制御ユニット１１２を複数備えるようにしてもよい。その場合、各制御ユニット１１２の構成が全て同一でなくてもよい。また、その場合、全制御ユニット１１２が協働して上述した処理を行うようにしてもよいし、一部の制御ユニット１１２が上述した処理を行うようにしてもよい。
　また、投影撮像ユニット１１１と制御ユニット１１２とが別体（つまり互いに異なる装置）として構成されるようにしてもよい。例えば、図１７に示されるように複数の装置からなるシステムとして構成されるようにしてもよい。
　図１７の投影撮像システム８００は、制御装置８０１、投影撮像装置８０２－１、および投影撮像装置８０２－２を有する。投影撮像装置８０２－１および投影撮像装置８０２－２は、それぞれ、有線通信または無線通信により制御装置８０１と通信可能に接続されている。投影撮像装置８０２－１および投影撮像装置８０２－２を互いに区別して説明する必要がない場合、投影撮像装置８０２と称する。
　制御装置８０１は、制御ユニット１１２（図２）と同様の構成・機能を有し、同様の処理を行う。投影撮像装置８０２は、投影撮像ユニット１１１と同様の構成・機能を有し、同様の処理を行う。つまり、投影撮像システム８００は、１台の制御ユニット１１２に２台の投影撮像ユニット１１１が接続された構成の投影撮像装置１０１と同様の構成・機能を有し、同様の処理を行う。
　このような投影撮像システム８００にも、投影撮像装置１０１の場合と同様に本技術を適用することができる。第１の実施の形態において説明した本技術を適用することにより、投影撮像システム８００は、画像投影位置をより容易に制御することができる。
　なお、投影撮像装置８０２の数は、任意であり１台であってもよいし、複数台であってもよい。また、各投影撮像装置８０２の構成は、互いに同一であってもよいし、互いに同一でなくてもよい。また、投影撮像システム８００が、制御装置８０１を複数備えるようにしてもよい。その場合、各制御装置８０１の構成が、互いに同一であってもよいし、互いに同一でなくてもよい。また、制御装置８０１がいずれかの投影撮像装置８０２と一体化されるようにしてもよい（すなわち１つの装置として構成されるようにしてもよい）。さらに、投影部１２１と撮像部１２２とを互いに異なるユニット（または装置）としてもよい。もちろん、投影撮像システム８００が上述した制御装置８０１および投影撮像装置８０２以外の装置を有するようにしてもよい。
　また、投影撮像システム８００において、制御装置８０１と投影撮像装置８０２とが、任意の通信網であるネットワークを介して通信可能に接続されるようにしてもよい。
　このネットワークにおいて採用される通信方法は任意である。例えば、有線通信であってもよいし、無線通信であってもよいし、それらの両方であってもよい。また、このネットワークは、単数の通信網により構成されるようにしてもよいし、複数の通信網により構成されるようにしてもよい。例えば、インターネット、公衆電話回線網、所謂3G回線や4G回線等の無線移動体用の広域通信網、WAN（Wide Area Network）、LAN（Local Area Network）、Bluetooth（登録商標）規格に準拠した通信を行う無線通信網、NFC（Near Field Communication）等の近距離無線通信の通信路、赤外線通信の通信路、HDMI（登録商標）（High-Definition Multimedia Interface）やUSB（Universal Serial Bus）等の規格に準拠した有線通信の通信網等、任意の通信規格の通信網や通信路がこのネットワークに含まれるようにしてもよい。
　＜４．付記＞
　　＜ソフトウエア＞
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
　例えば図２の投影撮像装置１０１（制御ユニット１１２）の場合、この記録媒体は、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア１５１により構成される。その場合、例えば、リムーバブルメディア１５１をドライブ１４５に装着することにより、そのリムーバブルメディア１５１に記憶されているこのプログラムを読み出させ、記憶部１４３にインストールさせることができる。
　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。例えば図２の投影撮像装置１０１（制御ユニット１１２）の場合、プログラムは、通信部１４４で受信し、記憶部１４３にインストールすることができる。
　その他、このプログラムは、記憶部やROM等に、予めインストールしておくこともできる。例えば図２の投影撮像装置１０１（制御ユニット１１２）の場合、プログラムは、記憶部１４３や制御部１３１に内蔵されるROM（図示せず）等に予めインストールしておくこともできる。
　　＜本技術の適用対象＞
　また、本技術は、任意の装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等（すなわち、装置の一部の構成）として実施することもできる。
　さらに、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスに適用することもできる。
　なお、本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
　例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。
　　＜その他＞
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等（すなわち、装置の一部の構成）として実施することもできる。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
　（１）　実空間の所望の領域に画像が投影されるように、前記画像の補正情報を生成する補正情報生成部
　を備える情報処理装置。
　（２）　前記補正情報生成部は、所定の視点位置から見た、投影された前記画像が、前記所望の領域に位置するように、前記補正情報を生成する
　（１）に記載の情報処理装置。
　（３）　前記補正情報生成部は、前記補正情報として、前記画像の各画素位置を補正する補正ベクトルを生成する
　（１）に記載の情報処理装置。
　（４）　前記領域を設定する領域設定部をさらに備え、
　前記補正情報生成部は、前記領域設定部により設定された前記領域に前記画像が投影されるように、前記補正情報を生成する
　（１）に記載の情報処理装置。
　（５）　前記領域設定部は、前記画像において前記領域を設定する
　（４）に記載の情報処理装置。
　（６）　前記領域設定部は、前記領域を含む投影面の撮像画像を用いて、前記画像における前記領域を特定する
　（５）に記載の情報処理装置。
　（７）　前記領域設定部は、前記撮像画像における前記領域の輪郭を示す輪郭点群を用いて、前記画像における前記領域の輪郭を特定する
　（６）に記載の情報処理装置。
　（８）　前記領域設定部は、前記画像と前記撮像画像との間の対応関係を示す対応点を用いて、前記撮像画像における前記領域の輪郭点群から、前記画像における前記領域の輪郭を特定する
　（７）に記載の情報処理装置。
　（９）　前記領域設定部は、前記撮像画像における前記領域の局所的な輪郭点群を、前記局所的な輪郭点群に対応する対応点および前記対応点の周辺の対応点群に基づいて、ホモグラフィ変換することにより、前記画像における前記領域の輪郭を局所毎に特定する
　（８）に記載の情報処理装置。
　（１０）　前記領域設定部は、前記撮像画像における前記領域の輪郭点群を用いて局所毎に特定した前記画像における前記領域の輪郭を、曲線を用いて補間する
　（９）に記載の情報処理装置。
　（１１）　前記領域設定部は、投影される前記画像と前記撮像画像とを用いて前記対応点を検出し、検出した前記対応点を用いて、前記撮像画像における前記領域の輪郭点群から、前記画像における前記領域の輪郭を特定する
　（８）に記載の情報処理装置。
　（１２）　前記領域設定部は、
　　前記撮像画像において前記領域の輪郭を検出し、
　　検出した前記輪郭を示す輪郭点群を用いて、前記画像における前記領域の輪郭を特定する
　（７）に記載の情報処理装置。
　（１３）　前記領域設定部は、所定の画像が投影された前記投影面の撮像画像から、各画素の輝度に応じて、前記領域の輪郭を検出する
　（１２）に記載の情報処理装置。
　（１４）　前記領域設定部は、前記撮像画像を２値化して前記領域の輪郭を検出する
　（１３）に記載の情報処理装置。
　（１５）　前記所定の画像は、輝度値が一様の画像である
　（１３）に記載の情報処理装置。
　（１６）　前記所定の画像は、全画素の輝度値が最大の画像である
　（１３）に記載の情報処理装置。
　（１７）　前記領域設定部は、前記撮像画像を歪み補正し、補正後の前記撮像画像を用いて、前記画像における前記領域を特定する
　（６）に記載の情報処理装置。
　（１８）　前記投影面を撮像して前記撮像画像を生成する撮像部をさらに備える
　（６）に記載の情報処理装置。
　（１９）　前記画像を投影する投影部をさらに備える
　（１）に記載の情報処理装置。
　（２０）　実空間の所望の領域に画像が投影されるように、前記画像の補正情報を生成する
　情報処理方法。
　１００　投影撮像システム，　１０１　投影撮像装置，　１０２　スクリーン，　１１１　投影撮像ユニット，　１１２　制御ユニット，　１２１　投影部,　１２２　撮像部，　１３１　制御部，　２０１　投影制御部，　２０２　撮像制御部，　２１１　対応点検出部，　２１２　スクリーン枠位置検出部，　２１３　姿勢推定部，　２１４　スクリーン形状推定部，　２１５　補正ベクトル生成部，　２２１　枠検出用撮像処理部，　２２２　レンズ歪み補正部，　２２３　撮像画像枠位置検出部，　２２４　投影画像枠位置特定部，　２２５　枠位置補間処理部，　２３１　視点位置推定部，　２３２　視点画像枠位置算出部，　２３３　補正ベクトル算出部，　８００　投影撮像システム，　８０１　制御装置，　８０２　投影撮像装置

Claims (20)

  1. 　実空間の所望の領域に画像が投影されるように、前記画像の補正情報を生成する補正情報生成部
    　を備える情報処理装置。
  2. 　前記補正情報生成部は、所定の視点位置から見た、投影された前記画像が、前記所望の領域に位置するように、前記補正情報を生成する
    　請求項１に記載の情報処理装置。
  3. 　前記補正情報生成部は、前記補正情報として、前記画像の各画素位置を補正する補正ベクトルを生成する
    　請求項１に記載の情報処理装置。
  4. 　前記領域を設定する領域設定部をさらに備え、
    　前記補正情報生成部は、前記領域設定部により設定された前記領域に前記画像が投影されるように、前記補正情報を生成する
    　請求項１に記載の情報処理装置。
  5. 　前記領域設定部は、前記画像において前記領域を設定する
    　請求項４に記載の情報処理装置。
  6. 　前記領域設定部は、前記領域を含む投影面の撮像画像を用いて、前記画像における前記領域を特定する
    　請求項５に記載の情報処理装置。
  7. 　前記領域設定部は、前記撮像画像における前記領域の輪郭を示す輪郭点群を用いて、前記画像における前記領域の輪郭を特定する
    　請求項６に記載の情報処理装置。
  8. 　前記領域設定部は、前記画像と前記撮像画像との間の対応関係を示す対応点を用いて、前記撮像画像における前記領域の輪郭点群から、前記画像における前記領域の輪郭を特定する
    　請求項７に記載の情報処理装置。
  9. 　前記領域設定部は、前記撮像画像における前記領域の局所的な輪郭点群を、前記局所的な輪郭点群に対応する対応点および前記対応点の周辺の対応点群に基づいて、ホモグラフィ変換することにより、前記画像における前記領域の輪郭を局所毎に特定する
    　請求項８に記載の情報処理装置。
  10. 　前記領域設定部は、前記撮像画像における前記領域の輪郭点群を用いて局所毎に特定した前記画像における前記領域の輪郭を、曲線を用いて補間する
    　請求項９に記載の情報処理装置。
  11. 　前記領域設定部は、投影される前記画像と前記撮像画像とを用いて前記対応点を検出し、検出した前記対応点を用いて、前記撮像画像における前記領域の輪郭点群から、前記画像における前記領域の輪郭を特定する
    　請求項８に記載の情報処理装置。
  12. 　前記領域設定部は、
    　　前記撮像画像において前記領域の輪郭を検出し、
    　　検出した前記輪郭を示す輪郭点群を用いて、前記画像における前記領域の輪郭を特定する
    　請求項７に記載の情報処理装置。
  13. 　前記領域設定部は、所定の画像が投影された前記投影面の撮像画像から、各画素の輝度に応じて、前記領域の輪郭を検出する
    　請求項１２に記載の情報処理装置。
  14. 　前記領域設定部は、前記撮像画像を２値化して前記領域の輪郭を検出する
    　請求項１３に記載の情報処理装置。
  15. 　前記所定の画像は、輝度値が一様の画像である
    　請求項１３に記載の情報処理装置。
  16. 　前記所定の画像は、全画素の輝度値が最大の画像である
    　請求項１３に記載の情報処理装置。
  17. 　前記領域設定部は、前記撮像画像を歪み補正し、補正後の前記撮像画像を用いて、前記画像における前記領域を特定する
    　請求項６に記載の情報処理装置。
  18. 　前記投影面を撮像して前記撮像画像を生成する撮像部をさらに備える
    　請求項６に記載の情報処理装置。
  19. 　前記画像を投影する投影部をさらに備える
    　請求項１に記載の情報処理装置。
  20. 　実空間の所望の領域に画像が投影されるように、前記画像の補正情報を生成する
    　情報処理方法。
PCT/JP2019/014921 2018-04-17 2019-04-04 情報処理装置および方法 WO2019203002A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/046,364 US11240475B2 (en) 2018-04-17 2019-04-04 Information processing apparatus and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018079129 2018-04-17
JP2018-079129 2018-04-17

Publications (1)

Publication Number Publication Date
WO2019203002A1 true WO2019203002A1 (ja) 2019-10-24

Family

ID=68239692

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/014921 WO2019203002A1 (ja) 2018-04-17 2019-04-04 情報処理装置および方法

Country Status (2)

Country Link
US (1) US11240475B2 (ja)
WO (1) WO2019203002A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114466173B (zh) * 2021-11-16 2024-12-20 海信视像科技股份有限公司 投影设备及自动投入幕布区域的投影显示控制方法
CN114827562B (zh) * 2022-03-11 2024-06-25 深圳海翼智新科技有限公司 投影方法、装置、投影设备及计算机存储介质
WO2024066776A1 (zh) * 2022-09-29 2024-04-04 海信视像科技股份有限公司 投影设备及投影画面处理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005039769A (ja) * 2003-06-26 2005-02-10 Seiko Epson Corp 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP2005234698A (ja) * 2004-02-17 2005-09-02 Mitsubishi Precision Co Ltd 歪みパラメータの生成方法及び映像発生方法並びに歪みパラメータ生成装置及び映像発生装置
JP2011238228A (ja) * 2010-05-07 2011-11-24 Ricoh Co Ltd スクリーン領域検知方法及びシステム
JP2013153392A (ja) * 2012-01-26 2013-08-08 Canon Inc 画像処理装置および画像処理方法、プログラム
JP2013187764A (ja) * 2012-03-08 2013-09-19 Seiko Epson Corp 画像処理装置、画像処理方法、およびプロジェクター
JP2015228056A (ja) * 2014-05-30 2015-12-17 セイコーエプソン株式会社 画像処理装置、表示装置および画像処理方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4378994B2 (ja) * 2003-04-30 2009-12-09 ソニー株式会社 画像処理装置、画像処理方法ならびに撮像装置
JP5481833B2 (ja) * 2008-10-29 2014-04-23 セイコーエプソン株式会社 プロジェクタおよびプロジェクタの制御方法
JP2012078658A (ja) * 2010-10-04 2012-04-19 Sanyo Electric Co Ltd 投写型映像表示装置
JP5970879B2 (ja) 2012-03-14 2016-08-17 株式会社リコー 投映システム、投映方法、プログラムおよび記録媒体
JP2015126340A (ja) * 2013-12-26 2015-07-06 ソニー株式会社 画像処理方法並びに画像投影装置
KR20180094878A (ko) 2015-12-18 2018-08-24 소니 주식회사 화상 처리 장치 및 방법, 데이터, 그리고 기록 매체
JP6897092B2 (ja) * 2016-12-22 2021-06-30 カシオ計算機株式会社 投影制御装置、投影制御方法及びプログラム
US10684537B2 (en) * 2017-11-14 2020-06-16 Texas Instruments Incorporated Camera-assisted arbitrary surface characterization and correction

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005039769A (ja) * 2003-06-26 2005-02-10 Seiko Epson Corp 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP2005234698A (ja) * 2004-02-17 2005-09-02 Mitsubishi Precision Co Ltd 歪みパラメータの生成方法及び映像発生方法並びに歪みパラメータ生成装置及び映像発生装置
JP2011238228A (ja) * 2010-05-07 2011-11-24 Ricoh Co Ltd スクリーン領域検知方法及びシステム
JP2013153392A (ja) * 2012-01-26 2013-08-08 Canon Inc 画像処理装置および画像処理方法、プログラム
JP2013187764A (ja) * 2012-03-08 2013-09-19 Seiko Epson Corp 画像処理装置、画像処理方法、およびプロジェクター
JP2015228056A (ja) * 2014-05-30 2015-12-17 セイコーエプソン株式会社 画像処理装置、表示装置および画像処理方法

Also Published As

Publication number Publication date
US20210152795A1 (en) 2021-05-20
US11240475B2 (en) 2022-02-01

Similar Documents

Publication Publication Date Title
US10602106B2 (en) Information processing apparatus, information processing method, and program
US11924550B2 (en) Method for processing image by using artificial neural network, and electronic device supporting same
US10349023B2 (en) Image processing apparatus and method
CN108781267B (zh) 图像处理设备和方法
CN110741412B (zh) 图像处理装置和方法
WO2019203002A1 (ja) 情報処理装置および方法
JP2014521262A (ja) 撮像デバイスを較正するための方法および装置
US11074715B2 (en) Image processing apparatus and method
JP6459194B2 (ja) プロジェクター、及び投写画像制御方法
WO2017154628A1 (ja) 画像処理装置および方法
KR20190095795A (ko) 광학식 이미지 안정화 움직임을 추정하기 위한 장치 및 방법
US11483528B2 (en) Information processing apparatus and information processing method
JP7243623B2 (ja) 画像処理装置および方法
JP5560722B2 (ja) 画像処理装置、画像表示システム、および画像処理方法
JPWO2018155198A1 (ja) 情報処理装置および方法
WO2022044807A1 (ja) 情報処理装置および方法
WO2019244667A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6201783B2 (ja) 距離測定装置、距離測定方法および距離測定プログラム
WO2022044806A1 (ja) 情報処理装置および方法
WO2020184173A1 (ja) 画像処理装置、画像処理方法、およびプログラム
JP4218278B2 (ja) 情報処理システム、情報処理装置、情報処理方法、画像処理装置、画像処理方法、およびプログラム
JP2019022024A (ja) 画像処理装置、画像処理方法及び画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19787698

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19787698

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP