[go: up one dir, main page]

WO2004008744A1 - 道路面等の平面対象物映像の平面展開画像処理方法、同逆展開画像変換処理方法及びその平面展開画像処理装置、逆展開画像変換処理装置 - Google Patents

道路面等の平面対象物映像の平面展開画像処理方法、同逆展開画像変換処理方法及びその平面展開画像処理装置、逆展開画像変換処理装置 Download PDF

Info

Publication number
WO2004008744A1
WO2004008744A1 PCT/JP2003/008817 JP0308817W WO2004008744A1 WO 2004008744 A1 WO2004008744 A1 WO 2004008744A1 JP 0308817 W JP0308817 W JP 0308817W WO 2004008744 A1 WO2004008744 A1 WO 2004008744A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
plane
road surface
unit
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2003/008817
Other languages
English (en)
French (fr)
Other versions
WO2004008744A9 (ja
Inventor
Waro Iwane
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IWANE LABORATORIES Ltd
Original Assignee
IWANE LABORATORIES Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IWANE LABORATORIES Ltd filed Critical IWANE LABORATORIES Ltd
Priority to JP2004521184A priority Critical patent/JP4273074B2/ja
Priority to AU2003248269A priority patent/AU2003248269A1/en
Publication of WO2004008744A1 publication Critical patent/WO2004008744A1/ja
Publication of WO2004008744A9 publication Critical patent/WO2004008744A9/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Definitions

  • Plane developed image processing method for plane object image such as road surface
  • inverse developed image conversion processing method planar developed image processing apparatus
  • inverse developed image conversion processing apparatus planar developed image processing apparatus
  • the present invention provides a method of processing a plane developed image of a plane object image such as a road surface, which is photographed in a perspective view when photographed by a normal camera, and is developed into a plane like a map screen.
  • the present invention relates to an inversely developed image conversion processing method, a planarly developed image processing apparatus, and an inversely developed image processing apparatus.
  • images taken with a normal camera are developed, for example, images around the bus are taken with multiple cameras, each is developed as a flat road surface, and the road surface around the bus is taken as a bus.
  • the developed images are combined so that they are displayed as a single planar road surface.By developing this planar image, it becomes possible to combine images by forming a linear scale.
  • image recognition and measurement processing of the object can be performed within the developed plane image.Furthermore, using this image conversion principle in reverse, the road surface is developed into a plane, the viewpoint is moved, and the perspective By returning to the image, it is possible to obtain an image with a different viewpoint from the original perspective image, and to apply this principle of image development not only to the road surface but also to any plane in the image. It is intended.
  • an arbitrary plane is extracted from other planes by performing optical flow (or parallax, matching, etc.) processing on the plane-expanded image. Further, the unevenness of the plane is detected, and the deviation of the unevenness from the plane is detected.
  • optical flow we can extract the moving distance and speed direction, place an object consisting of a CG (computer graphics) image on a two-dimensional image, and paste the corresponding texture.
  • the camera dip angle 0 is obtained, or the perspective angle By finding the point where the line component that should become a parallel line in the screen intersects from the image, that is, the vanishing point, the camera dip angle 0 can be obtained, By moving the image so that its dip 0 is constant, the camera
  • the present invention relates to a method and an apparatus for developing the image on a plane which enables correction of blur, and an application thereof.
  • CCTV ClosedCircuitTelevisision
  • various monitor cameras naturally photographed in perspective, due to the nature of the lens.
  • a camera that captures the situation behind the bus arriving at the back of the bus will, of course, shoot a perspective image unless the camera is mounted vertically downward, and obtain an image of the road surface viewed from directly above. I could't do that.
  • transmission data compression is performed.
  • a method of separating and compressing only a certain moving part is adopted (for example, MPEG 2 method).
  • MPEG 2 method a moving image in which the camera itself moves and the whole image has a motion component is used.
  • a sufficient compression effect could not be obtained, and as a result, data could not be transmitted overnight. Therefore, the present invention has been created in view of the above-described existing circumstances, and uses an image obtained by a camera perspective method without using a plurality of actual measurement points of a real object for each image. Is developed using only the shooting conditions of the camera and the information in the captured image, and is then combined and developed into a plan view that is represented on a map. .
  • information necessary for plane development is read from a perspective image obtained from a normal camera, and the information is developed into a plan view such as a map by using a mathematical formula.
  • a normal video camera is mounted around the bus, and multiple video cameras are used to shoot the road surface outside the bus at an angle, that is, a dip, so as to compose the entire field of view.
  • the road surface image is developed like a map image, and the image developed like the map and the image of the building wall are In the same way, the same processing is performed, the images are joined together, and the road surface around the bus and the image of the building are created.
  • take an image of the floor and walls inside the building develop the image taken at an angle into a plane, and open the wall of the room, for example, to create a drawing that resembles a room is there. This is obtained by calculation using mathematical formulas.
  • a desired three-dimensional moving image can be reconstructed from a plurality of image data developed in a plane and position information data of the camera.
  • the original moving image can be reproduced on the monitor side by transmitting the flattened image and the camera position information from the camera side. It is possible to do.
  • Planar images are still images, and their data volume is much smaller than that of moving images of oblique images.Therefore, it is possible to transmit data freely even between devices connected by a line with a narrow band, etc.
  • Reconstruction at the receiving end enables data communication of a moving image of a desired object.
  • the oblique image plane developing device as the real-time processing includes, for example, a CC TV camera or a digital still camera as a video input device, a video reproducing unit, an image correcting unit, a spherical aberration correcting unit, a video developing plane processing unit, and a developing unit. It consists of an image combining unit, a display unit, and a recording unit.
  • the oblique image plane developing device as the offline processing is composed of a video reproducing device having recorded an oblique image, an image correcting unit, a video expanding plane processing unit, a developed image combining unit, and a display unit.
  • an image of a real scene object including a plane is photographed obliquely, and a mathematical operation is used to calculate the plane originally composed of the plane in a proportional relationship (to a similar shape) with the plane of the real scene. It is displayed on a plane as a flat image.
  • a plurality of two-dimensional development images obtained by the above method are combined and expressed as one large two-dimensional development image.
  • multiple CC TV images are flattened by the above-mentioned device, and the images are combined into one image to display the entire target area. If necessary, the CCTV diagonal image corresponding to the displayed location is also displayed at the same time.
  • the moving direction image obtained by loading and photographing a moving vehicle, an aircraft, a ship, etc. on the moving direction is developed on a plane, and it is connected continuously and one image You do it.
  • an expression such as (2) and an expression with the same meaning the position coordinates and size of the object in the real world By giving information that can be read from the captured video and information on shooting conditions such as 0, h, and r without giving the information as known information, the coordinate system of the real world and the coordinate system on the image monitor can be obtained.
  • coordinate transformation is performed, where 0 is the angle between the camera's optical axis and the road surface, f is the camera's focal length, h is the camera's height, and / 3 is the camera's height.
  • 0 is the angle between the camera's optical axis and the road surface
  • f is the camera's focal length
  • h is the camera's height
  • / 3 is the camera's height.
  • V is the vertical coordinate from the origin on the CCD (acquired image) plane, which is the projection plane of the camera.
  • U are the coordinates in the horizontal direction from the origin on the CCD (acquired image) surface
  • y is the distance from the point on the road surface, which is h from just below the camera, to the origin, and further from the origin in the optical axis direction
  • the coordinates and X are the horizontal distances on the road surface, that is, the coordinates, and if the vertical wall surface is to be developed on a plane, the coordinates may be processed at an angle of 90 degrees. Instead, it may be a mathematical expression relating other similar perspectives to a plane.
  • the numerical values required for the calculation that is, the angle 0 between the target plane and the optical axis, the angle between the real point corresponding to any point in the image and the camera, etc., and the values such as ( ⁇ — ⁇ ) are Since it is a physical quantity in the real world (live-action video), it can be obtained by actual measurement. However, as a practical matter, it is practically impossible to measure each moving image at multiple locations while the camera is moving, and the camera moves. Can be obtained from the image by the following method.
  • the geometric center of the image is the optical axis position.However, to find it accurately, determine the optical center of the imaging equipment such as a camera by collimation etc. Once measured, the position can be obtained as a value unique to the camera system including the lens and the optical axis position as one point in the image.
  • an example of the most important measurement in the image of 0 in the above-mentioned conversion formula is as follows. A parallel line portion in the real world is empirically searched from the image, and the extension of the parallel line is defined as an intersection in the image.
  • the vanishing point a point that intersects at a distant point when drawing in fiP or perspective drawing, and is a vanishing point in a perspective view, etc. For example, when a straight road is drawn in perspective, And the road becomes a single point, and that point is the vanishing point.
  • the plane a which is a plane parallel to the target plane containing the optical axis point, and the target plane containing the intersection point
  • the distance between the plane b, which is a parallel plane, and the plane b is d, and 0 can be obtained as the ratio (arc T and / f) of this d to the virtual focal length f.
  • an example of calculating the virtual focal length is as follows.
  • the distance on the optical axis such that the angle at which an arbitrary object in the real space is seen in advance and the angle at which the same object in the displayed image is seen is the same. It is sufficient to determine it on the display image. If the unit at this time is expressed in pixels, it will be a value specific to the camera system including the lens, and it will be sufficient to determine it once.
  • a parallel line portion of the object in the real world is searched for, and it is represented in the image as an intersection line having an intersection on the extension line, so that when this intersection line is expanded on a plane, it becomes parallel. Then, select ⁇ to obtain 0 or fine-tune S.
  • 0 can also be obtained by actual measurement.
  • the degree of inclination of a camera attached to a vehicle such as a moving body facing downward as a dip can be determined by a simple method using a protractor. If it is desired to obtain the property, it can be obtained by measuring with a special angle measuring device.
  • moving the image so that the position of the vanishing point of each image is fixed and displaying the image can stabilize the image that shakes due to camera shake or the like. . That is, this is the part of the parallel line component in the target plane in the image
  • the position of the vanishing point fluctuates due to the movement or shaking of the force camera, causing blur, but the position of the vanishing point
  • Optical flow refers to the amount of unit time movement of a minute area in a moving image composed of a plurality of different planes obtained by plane development (in this specification and drawings, abbreviated as “Opt.F”). It is possible to separate each single planar image by obtaining the same components from the necessary range by the method and extracting the same components from the component distribution map.
  • the optical flow of a perspective image generally takes the same value even in the same plane even in the moving direction and takes different values depending on the distance.
  • the optical flow uses the property of taking the same value.
  • the optical flow is a flow that indicates how each corresponding point has moved in a plurality of images. If there is movement in a plurality of images, there is a flow of the optical flow. However, the movement can be displayed as a line, and if there is no movement, the flow of optical flow will not be represented by a line, and it is important to know whether the corresponding point has moved in multiple images.
  • an optical flow distribution map is generated, and the unevenness of the plane is detected as a deviation from the plane from the small difference, or a different image in the plane moving image is detected.
  • the parallax is detected by comparing the plane images obtained from the corners, and the unevenness component in the plane is detected from the component distribution, and the deviation of each point of the original plan view from the plane is determined by the detected unevenness value. Is generated by comparing and comparing a plurality of plane images developed in a plurality of plan views by a method such as a correlation method or a matching method.
  • the amount of movement of the corresponding small area is determined by the parallax method or the optical flow method, etc.
  • the data can be detected, or a corrected plan view including the deviation of each point of the original plan view from the plane can be generated by the detected three-dimensional unevenness values.
  • a distribution map of the optical flow is generated, the unevenness of the plane is detected as a deviation from the plane from the small difference using the above principle, and the plane images obtained from different angles of view are compared and calculated.
  • a parallax component in the plane is detected from the component distribution, and a corrected plan view including deviation of each point of the original plan view from the plane is generated based on the detected concavo-convex value.
  • a small difference in the optical flow of the converted plane image can be detected when the plane has undulations or irregularities, it means a deviation from the plane. You can do it.
  • a method such as correlation method or matching. For each minute area of a plurality of planar images such as surfaces, the amount of movement is determined from the difference between the components of the minute area by calculating parallax, etc., and the corresponding points are combined and calculated to obtain the unevenness of the road surface. Is detected.
  • optical flow in the present invention means that any processing such as optical flow, parallax, and matching may be used.
  • the average optical flow value of the continuous image developed on the plane or the moving distance of the matching corresponding position is calculated, and the moving distance of the target plane ⁇ moving speed ⁇ moving direction, or the moving distance of the photographed camera ⁇ moving Speed ⁇ Moving direction can be obtained. That is, the optical flow on the same plane developed on a plane is constant Because of this property, the moving speed of the camera can be obtained from the optical flow of the target plane.Since this is the relative position and relative speed between the camera and the target plane, the stationary system and the moving system can be obtained.
  • the disparity has the same geometric meaning as the optical flow, and the optical flow or the disparity of a wide area of the continuous image developed on the plane is obtained, and the disparity is used to calculate the moving distance of the target plane.
  • the moving speed, moving direction, or moving distance, moving speed, and moving direction of the camera that captured the image can be obtained.
  • the CG image or map image A real image can be captured and displayed as a plane image or inversely transformed and displayed as a perspective image. That is, since the same plane developed in the plane has the same optical flow, it is possible to cut out only one texture of the target plane from a plurality of mixed planes.
  • the texture of the object plane in the isolated plane developed on the separated plane to the corresponding object plane in the CG image or map image, the actual image is imported into the CG image or map image, and Or, it is transformed and displayed as a perspective image.
  • the parallel lines in the actual video are extracted from the image, and the distance between the plane a, which is the plane parallel to the target plane at the intersection, and the plane b, which is the plane parallel to the target plane including the optical axis point, is extracted.
  • Is d and the virtual focal length is f.
  • 0 arc 0 can be obtained as T an (d / f).
  • the angle 0 between the target plane and the optical axis is a physical quantity in the real world (actual video) and should be measured, but it must be measured from the image and each frame image in the moving image.
  • a parallel line part in the real world is empirically searched from the image, and the intersection point and the road created by the parallel line part Measure in advance the target plane, such as a plane, and the position of the optical axis in the image, or use the geometric center of the image as the approximate optical axis, and parallel to the target plane, such as a road, containing the optical axis point.
  • the ratio of the distance to the plane to the virtual focal length is calculated, and the arc tangent is calculated to obtain 0.
  • parallax is detected by acquiring multiple simultaneous images of the same spot with multiple ordinary cameras installed at different installation locations, and comparing and calculating a planar development image of the multiple simultaneous images of the same spot to detect parallax.
  • a three-dimensional shape of an object can be generated. In the above example, this is to obtain a two-dimensional image by flattening the image from one camera or by combining a plurality of force cameras with different viewpoints.
  • an image of the same point taken from a different point is acquired as a plane developed image, and then the parallax is detected in the plane developed image of the overlapping portion.
  • a map or plan is prepared from the beginning, and based on all of the plan, plan and CG (computer graphics) images, the inverse transformation is performed in the opposite direction to the previous transformation. In this way, it is possible to generate a perspective image from an arbitrary viewpoint different from the image of the previous viewpoint. In addition, by continuously inverting each frame image of a video image, viewpoint movement is repeated, and a video moving image from a virtual moving camera viewpoint that is not actually photographed can be generated.
  • a planar development view generated by converting a perspective image including a two-dimensional image into a plan view, or an image including a plurality of two-dimensional images taken from a plurality of directions is a plan view.
  • the expression (1) and the expression (1) described above based on a single large screen plane development view or plan view CG (computer graphics) image or map generated by combining (2)
  • a virtual perspective image viewed from an arbitrary viewpoint can be generated, or by processing continuously, a moving image can be generated from a virtual moving camera viewpoint.
  • the specific inverse conversion formula by the inverse conversion method is based on the following formulas (3) and (4).
  • V y ⁇ f ⁇ sin ⁇ / (2 12 ⁇ h ⁇ c 0 s ( ⁇ / 4- ⁇ )-cos ( ⁇ - ⁇ ))
  • V is the vertical coordinate on the CCD plane which is the projection plane of the camera
  • u is the horizontal coordinate on the CCD plane which is the projection plane of the camera. It should be noted that the equation is not limited to this equation, and may be an equation relating other similar perspectives to a plane.
  • various types of recognition processing can be performed on the image using the plane-expanded image.
  • the scale of the plane-expanded image becomes a linear scale, and measurement and Very easy image processing, image recognition, etc. It is. Since the optical flow is also obtained in a form proportional to the relative speed with respect to the camera, the relative speed of the object is expressed on a linear scale without depending on the distance, so not only in measurement but also in image processing recognition It is greatly simplified.
  • An example of an application plane is a flat surface developed as road surface, sea surface, lake surface, lake surface, river surface, ground surface, vertical wall, vertical virtual plane created by objects arranged on the same plane, architectural wall floor, ship Deck surface ⁇ Airport facilities such as runway taxiways can be used.
  • Examples of vehicles as applied equipment include peripheral roads on buses and other land-based vehicles, buildings, telephone poles, street trees, guard rails, etc., and the sea surface of ships and other marine vehicles. It can be displayed on the deck, wall, etc. of a ship, on the runway of an aircraft, on the ground, etc., or on the target area.
  • a plane portion such as a floor surface or a wall surface of a building is displayed in a plane-expanded manner and in a plane-bonded manner.
  • 3D map production as an application example is not only continuous shooting of the road surface, ground surface and water surface with moving vehicles, aircraft, ships, etc. with multiple cameras, but also vertical surfaces such as building walls etc.
  • the vertical plane can be simultaneously extended while the plane developed image is coupled and extended in the moving direction.
  • a 3D map is created by creating an expanded view of a wider vertical plane including that.
  • the planar development image processing apparatus and the reverse development image processing apparatus used directly in the planar development image processing method for the planar object image such as the road surface and the inverse development image conversion processing method described above convert perspective images into perspective images.
  • a video input unit to be acquired a video playback unit that plays back the oblique video captured by the video input unit, an image correction unit that corrects the shooting rotation angle, etc., of the video input device, spherical aberration in the video input device, etc.
  • Spherical aberration corrector that corrects the image
  • an image expansion plane processor that converts the perspective image into a plane expansion view
  • a developed image combination unit that combines the images that have undergone the image expansion processing
  • a display unit that displays the combined image It consists of:
  • An optical flow map generation unit that generates and illustrates an optical flow of the expanded video, and an optical flow extraction unit that extracts only a target optical lip from the optical lip map, are provided.
  • An image comparison unit that detects a parallax from a video at the same point, includes a development image comparison unit that compares a plurality of development images at the same point, and extracts road surface unevenness by calculation; It can be configured to include a correction plane generation unit that takes into account unevenness.
  • a video input unit that generates video by a camera such as a CCTV camera or a digital still camera, an input image display unit that stabilizes and displays an input image, a video recording unit that records an input image, and a video recording unit that records the input image.
  • An image that adjusts the direction of the target planar image to the plane in the image in order to perform coordinate transformation to correct the image distortion due to the lens, such as spherical aberration, etc., and to correct the camera rotation angle.
  • a correction unit an image development plane processing unit that generates a plan view from a perspective image by mathematical operation, and an optical flow map generation unit that generates and illustrates an optical lip of the developed image
  • the optical flow extraction unit extracts only the desired optical flow from the optical map and the parallax is detected from images of the same point from different positions.
  • a developed image combining unit that generates one continuous image, a developed image display unit that displays them, a recording unit that records them, and an arbitrary viewpoint image generation unit that inversely converts the images to arbitrary viewpoints and displays them.
  • An arbitrary viewpoint image display unit for displaying the image, a developed image comparison unit for comparing a plurality of developed images at the same point, an image comparison unit for extracting road surface unevenness by calculation, and a corrected plane generation unit considering the unevenness. are appropriately combined.
  • a decompressed image processing device directly used for the plane uncompressed image processing method and the uncompressed image conversion processing method for a plane object image such as a road surface is an arbitrary image that is inversely transformed to an arbitrary viewpoint and displayed. It can be configured to include a viewpoint image generation unit and an arbitrary viewpoint image display unit that displays the image.
  • the planar developed image processing device and the decompressed image processing device include a video input unit for acquiring a perspective image, and one or two or more of a perspective image captured by the video input unit that constitute a three-dimensional space.
  • a plane decomposition unit that decomposes the image into plane images, a position detection unit that detects the three-dimensional position of the image input unit, and a three-dimensional image that is decomposed by the plane decomposition unit and the image input unit that is detected by the position detection unit Table for reconstructing and displaying 3D images from positions And a display unit.
  • a configuration may be provided that includes a position notation section that writes the three-dimensional position of the video input section detected by the position detection section in the plane image decomposed by the plane decomposition section.
  • the position notation unit can be configured to continuously indicate the three-dimensional position of the moving image input unit in the plane image decomposed by the plane decomposition unit. .
  • the display unit for reconstructing the three-dimensional image When the display unit for reconstructing the three-dimensional image is disposed separately from the plane decomposition unit and the position detection unit, one or more plane images are displayed on the display unit from the plane decomposition unit and the position detection unit. It may be configured to include a transmission / reception unit that transmits a signal and a three-dimensional position signal of the video input unit.
  • the method for processing a plane developed image of a plane object image such as a road surface according to the present invention configured as described above, the method of inversely developed image conversion and the planar developed image processing apparatus, and the image of the inversely developed image processing apparatus,
  • the perspective image which is an oblique image acquired by the input device, is converted into a flat developed view by equations (1) and (2) and displayed as a practical map-like image.
  • Combination of acquired and generated flat development images is displayed as a single expanded image, for example, on the map including the situation of the acquisition location and surrounding area, full display of the entire target area, direct display of the specific area Etc., and easily compare with the surrounding situation by the simultaneous direct display of the input video.
  • the developed plane development map expands various things such as land display, sea surface, airport facility surface, etc., as well as plane display on architectural structures, etc., and generates and obtains a plane development map by moving, the plane according to the moving direction
  • a three-dimensional map can also be created by extension of expansion and vertical expansion.
  • video input unit input image display unit, video recording unit, video playback unit, image correction unit, video development plane processing unit, optical flow map generation unit, optical flow extraction unit, parallax extraction unit, object image processing unit ,
  • a developed image combining unit a developed image display unit, a recording unit, an arbitrary viewpoint image generation unit, an arbitrary viewpoint image display unit, a developed image comparison unit, an image comparison unit, a corrected plane generation unit, etc.
  • perspective imageDevelopment of road surface into planar image development of perspective wall image displayed on planar image, separation of building wall surface and guardrail image, planar image
  • change the viewpoint and invert again to the perspective image display the road surface or building surface with the texture attached, or use the inverse transformation to perform the perspective image
  • It can be applied to a wide range of applications, such as converting to a parallax image, combining parallax images from different viewpoints, and calculating road surface irregularities.
  • a m-dimensional image, a three-dimensional map, etc. can be reconstructed from a plurality of plane-deployed image data and camera position information data, so that the camera for shooting and the display unit for mobile are separated. Even if the camera is installed in a remote location, the original moving image can be reproduced on the receiving side (monitor side) by transmitting the flattened image and camera position information from the image acquisition side (camera side). .
  • the image data developed on a plane is a still image, and the amount of data is much smaller than that of a moving image of an oblique image. Therefore, by transmitting and receiving the plane developed image and the position information data for reconstructing the plane developed image, the data communication of the moving image with the data transmission amount as small as possible becomes possible.
  • FIG. 1 is a block diagram of an apparatus for developing a two-dimensional image of a flat object such as a road surface according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing another embodiment of the apparatus of the present invention. ⁇
  • FIG. 3 is a block diagram showing another embodiment of the apparatus of the present invention.
  • FIG. 4 is a block diagram showing the image flattening device.
  • FIG. 5 is a block diagram showing an apparatus for detecting unevenness on a road.
  • FIG. 6 is a block diagram showing a viewpoint moving 'texture pasting device which also performs viewpoint moving and texture pasting by the road surface development method.
  • FIG. 7 is a block diagram of an embodiment in which an image is similarly developed on a plane by the optical flow method.
  • FIG. 8 is a schematic explanatory diagram of a case where a plane developed image is generated from the acquired image and an oblique image is further formed by moving the viewpoint.
  • FIG. 9 is a schematic explanatory diagram showing a case of detecting unevenness on a road surface.
  • FIG. 10 is a schematic diagram for obtaining 0 from the vanishing point.
  • Fig. 11 is an example of the plane expansion when the 0 value is different when the plane is also expanded.
  • (A) is the value before the plane expansion in perspective and
  • (B) is the value different from the actual value.
  • (C) is when the value of 0 is the same as the actual value, that is, when 0 is found correctly.
  • FIG. 12 is a block diagram of the three-dimensional diagram generation device.
  • FIG. 13 is an image diagram of a plane similarly extracted by the optical flow.
  • Fig. 14 shows the plane extracted by the optical flow and the image of the three-dimensional map generated by the three-dimensional conversion.
  • FIG. 15 is an image diagram showing a state in which the locus of the camera position is similarly described on a three-dimensional map.
  • FIG. 16 is a block diagram of the same three-dimensional moving object detection apparatus.
  • FIG. 17 is a block diagram of a texture pasting device in the three-dimensional diagram generating device.
  • FIG. 18 is a block diagram of the object recognition device.
  • FIG. 19 is a specific example of an image obtained by a traffic surveillance video camera as an example of the object recognition device of FIG. 18, where (a) shows a surveillance video camera image (perspective image), (b) ) Is a plane developed image converted by the present invention, and (c) is an area analysis display showing the object recognized by the present invention.
  • Fig. 20 shows an example of the object recognition device shown in Fig. 18 as a traffic monitoring video camera difference sheet (Rule 26).
  • 5 is a flowchart illustrating processing steps of object recognition in the first embodiment.
  • FIG. 21 is a table summarizing the results obtained by the object recognition processing shown in FIG.
  • FIG. 22 is a situation diagram in which a plurality of cameras for photographing a road around a bus are arranged.
  • Fig. 23 is a video image developed on the road like a map.
  • FIG. 24 shows nine road image diagrams of, for example, (1)... (9), which similarly photograph oblique images of the road.
  • Fig. 25 is a map-like planar image obtained by processing the same road image.
  • FIG. 26 shows another embodiment, in which, for example, (1) ... 16 (16) indoor images of plane parts such as floors and walls of a building structure taken as oblique images Figure Each.
  • FIG. 27 is a composite image diagram in which the image diagrams shown in FIG. 26 are combined in a plane.
  • a camera such as a CC TV camera or a digital still camera, as an input device, an image reproducing unit 2 for reproducing oblique images captured by these cameras 1, an image correcting unit 3, and a spherical surface Aberration correction unit 4, image expansion plane processing unit 5 that expands an oblique image into a plan view according to equations (1) and (2) described later, and developed image combining unit that connects each developed image by an appropriate method 6, a developed image display unit 7 for displaying the joined images, and a recording unit 8 for recording the joined images on a recording medium.
  • the oblique images are two-dimensionally developed as real-time processing.
  • the image correction unit 3 corrects the rotation angle and the like of the camera 1 while inputting the image from the camera 1 and playing back the video in real time so that it can be configured as an oblique image plane development device as real-time processing.
  • the spherical aberration corrector 4 corrects the spherical aberration of the camera 1 to suit the purpose
  • the image development plane processing unit 5 converts the perspective image into a plane development view like a map and displays the developed image. Display with 7. Further If necessary, the obtained images are combined by the developed image combining unit 6 with the images obtained by performing the image developing process from the plurality of force cameras 1, displayed, and recorded in the recording unit 8. It is. Also, as shown in FIG.
  • the oblique image reproducing section 11 having the oblique image recorded therein, the image correcting section 12, the image developing plane processing section 13 and the developed image combining section It consists of a unit 14 and a developed image display unit 15, and plays back the image from the oblique image playback unit 11 that records the image taken by the normal camera 1.
  • the rotation angle, etc. are corrected to suit the purpose, and the image development plane processing unit 13 develops it into a flat image such as a map and displays it on the development image display unit 15.
  • a plurality of images developed by the developed image combining unit 14 are connected by an appropriate method, and the developed image is displayed by the developed image display unit 15. Further, as shown in FIG.
  • the oblique image plane developing apparatus includes a camera side (transmitting side) for acquiring an image and a monitor side (displaying, recording, and reconstructing a planar image decomposed and expanded from the oblique image).
  • a camera side transmitting side
  • a monitor side displaying, recording, and reconstructing a planar image decomposed and expanded from the oblique image.
  • Receiveiving side can be installed separately.
  • a camera 1 as an input device
  • an image reproducing unit 2 an image correcting unit 3
  • a spherical aberration correcting unit 4 and an image developing plane processing unit 5 are provided on the monitor side (reception side)
  • a developed image combining unit 6, a developed image display unit 7, and a recording unit 8 are provided.
  • the camera is provided with a transmitter 5a for transmitting the developed and decomposed planar image signal to the monitor, and the monitor is provided with a receiver 6a for receiving the planar image signal transmitted from the camera.
  • These transmission / reception units 5a and 6a are connected via a communication line so that they can communicate overnight.
  • the monitor side can transmit the plane developed image to the received plane developed image.
  • a moving image can be reconstructed on the basis of this, and it is possible to transmit and reproduce a desired moving image while minimizing the amount of transmission data.
  • a plane originally composed of planes is subjected to mathematical operations on an image of an object in a real scene including a plane that is obliquely photographed, and is proportional to the plane of the real scene (similar form).
  • Is developed and displayed on a plane as a plane image This is an image obtained by photographing a scene including a plane with an ordinary camera, that is, an image photographed from an oblique direction. For example, if it is a road surface, it is developed into a plane and developed like a map screen.
  • a plurality of planar developed images obtained by the above method are combined and expressed as a single large planar developed image.
  • a plurality of planar developed images are combined by an appropriate method and expressed as a single large planar developed image.
  • a planar development diagram such as a map is created, they are connected to form a single large planar development image.
  • the image since the image is developed on a plane, it can be freely combined as much as possible, and it cannot be combined with a perspective image unless the camera position is the same.
  • FIG. 4 shows a processing block diagram when the image is developed on a plane.
  • a video image 21 or a still image image 22 is input to the device as an input image, the input image is input.
  • the correction unit 23 performs spherical aberration correction, rotation correction, and the like.
  • the image plane expansion processing unit 24 performs the image plane expansion processing according to the following equations (1) and (2).
  • the present invention obtains the image by a method referred to as a 0 method.
  • a 0 method In developing the oblique image into a two-dimensional image, read the optical axis position 0 from the oblique image, read the camera height h, the f-value of the taking lens, or the virtual f-value on the monitor, and set the coordinates of the target location as follows: It is to be obtained by equations (1) and (2).
  • x and y are the plane development coordinates
  • u and V are the coordinates in the image
  • 0 is the angle between the camera's optical axis and the road surface
  • f is the focal length of the camera
  • h is the height of the camera
  • / 3 is the camera
  • V is the vertical coordinate from the origin on the CCD surface, which is the projection surface of the power camera
  • u is the CCD surface
  • the coordinates are in the horizontal direction from the upper origin.
  • y is a distance or coordinates further advanced in the optical axis direction from the origin at a point advanced h from directly below the camera on the road surface
  • X is a lateral distance or coordinates on the road surface.
  • the perspective image obtained by photographing the road surface is converted into a map-like planar image and developed.
  • the plane image thus transformed and developed is displayed and recorded by the plane developed image display / recording unit 25.
  • a perspective image is developed on a plane, and the developed image combining unit 26 connects the planar developed images several times.
  • the developed image combining unit 26 provides a planar expanded image of a large screen. Displaying and recording this is a combined expanded image display- The recording unit 27.
  • an arbitrary viewpoint is specified from the developed video and the arbitrary viewpoint is generated by the arbitrary viewpoint generator 28 in order to generate the arbitrary viewpoint.
  • the inverse expansion conversion processing unit 29 uses the following equations (3) and (4), which are the inverse conversion equations of the above equations (1) and (2), to obtain a perspective that is different from the original viewpoint.
  • a normal image can be obtained, and the reversely developed image display / recording unit 30 displays and records this.
  • u x-f-si ⁇ ⁇ / (cos ( ⁇ - ⁇ )) (4)
  • h is the height of the camera from the road surface and ⁇ is the angle between the optical axis of the camera and the road surface
  • F is the focal length of the camera
  • / 3 is the angle between the line that connects the point advancing by y and the point advancing by y from the point just below the camera to the camera lens
  • the angle between the road surface and X is the camera light
  • Y is the coordinate in the vertical direction from the line segment obtained by orthogonally projecting the road onto the road surface, that is, the horizontal direction when viewed from the camera.
  • U is the vertical coordinate on the CCD plane, which is the projection plane of the camera
  • u is the horizontal coordinate on the CCD plane.
  • the inverse transformation equation may be not only these equations (3) and (4) but also an equation that relates other similar perspectives to a plane.
  • FIG. 5 a new block diagram is added to a part of the block diagram of FIG. That is, the video image 21 and the still image image 22 are input, and the perspective image is expanded into a plane image by the equations (1) and (2). This is performed by the image plane expansion processing unit 24. .
  • the developed image comparison unit 31 compares the developed images.
  • the developed image comparison unit 31 compares the images from different viewpoints to determine the unevenness of the road surface.
  • the processing is performed by the unit 32.
  • Fig. 6 not only the road surface is deployed, but also the buildings, street trees, Guardrails etc. are also developed on a plane, and converted to arbitrary viewpoint images, or textures are pasted on buildings, and 3D CGs using actual textures are used to move viewpoints by road surface development method And a structure for performing texture pasting.
  • a road surface plane development unit 42 obtains a road development plan from an image input from the video image input unit 41, while a horizontal elevation plane development unit 43 obtains a road side surface such as a building wall surface. Expand the part into a plan view. Thereafter, an optical flow map is generated by an optical flow map generation unit 44, and a target portion is selectively extracted by a next optical flow map selection and extraction unit 45.
  • the curb surface extraction unit 46 extracts the curb of the road
  • the building surface extraction unit 47 extracts the building wall and the like.
  • the sidewalk development unit 48 performs sidewalk development, matches the data from the road surface development unit 42 described above, and combines the sidewalk and roadway parts with the road horizontal integration unit 49.
  • the street tree is extracted by the street tree etc. plane extraction unit 50, and the data from the building surface extraction, the sidewalk surface development unit and the road vertical surface integration unit 51 are combined.
  • the vertical component plane on the side of the road can be configured.
  • the 3DCG positioning unit 52 performs positioning, and the vertical surface texture such as a building pastes the texture of the vertical surface in the texture pasting unit 53 and pastes the actual shooting texture. It consists of part 54.
  • the data from the road horizontal plane integration unit 49 and the data from the road vertical plane integration unit 51 with the road vertical horizontal plane integration unit 55 and integrating them a three-dimensional object having a horizontal plane and a vertical plane is obtained.
  • Figure (solid map) is obtained. This is converted into an image from an arbitrary viewpoint by an arbitrary viewpoint perspective display unit 56, and a perspective image from the arbitrary viewpoint with the changed viewpoint is displayed.
  • FIG. 7 shows an example of the configuration of the apparatus of the present invention.
  • An image input section 61 is a section for inputting an image of a real photograph acquired by a camera such as a CCTV camera or a digital still camera.
  • the central image recording section 62 records the input video
  • the video playback section 63 reproduces the recorded image
  • the image correction section 64 corrects the image distortion caused by the lens such as spherical aberration.
  • the target plane image is oriented to the plane in the image.
  • the image development plane processing unit 65 uses the equations (1) and (2) based on the above equations (1) and (2).
  • the optical flow map generation unit 66 generates the optical flow of the expanded video by mathematical operation and generates the optical flow of the expanded video, and the optical flow selection and extraction unit. 6 7 is a part that extracts only the desired optical flow from the optical map, and the image processing unit 6 8 deletes unnecessary object images while leaving only the necessary objects from the image. There is a portion to insert the image.
  • the developed image combining unit 69 combines the developed and processed individual images to generate one continuous image.
  • the generated developed image is displayed on the display unit 70, and the recording unit 7 Recorded by one.
  • the arbitrary viewpoint image generating unit 72 is a part for inversely converting to an arbitrary viewpoint and displaying it as a perspective image.
  • the developed image comparing unit 73 is a part for comparing developed images at a plurality of the same points. Is a portion for extracting road surface irregularities by calculation.
  • a perspective image road surface can be developed into a planar image according to the purpose, a building wall image displayed in perspective can be developed into a planar image, and a building wall image and a guardrail image can be displayed.
  • change the viewpoint and then reverse convert it back to a perspective image again, or display a road surface, building surface, etc. on which texture is pasted, or use a reverse transform to produce a perspective image It is also possible to obtain a parallax image by combining images from different viewpoints, and then perform processing such as calculating the unevenness of the road surface.
  • FIG. 8 shows the procedure for moving the viewpoint, deleting the moving object, etc., and the top part of the figure shows the perspective image of the road surface viewed from a certain viewpoint.
  • the system After developing many images into three planes, the system removes moving objects on the road surface, for example, the vehicles in front that would become invisible in perspective, and processes the vehicles from the road surface image. Can be obtained. Below the combined arrow, a left-side plane development image, a road-side plane development image, and a right-side plane development image developed on three planes are obtained. In the left-side plane development image and right-side plane development image, the optical tree is used to separate street trees, guardrails, and building walls.
  • the road surface is displayed as a map, and the two sides are displayed as flat surfaces with open walls, as shown in FIG. 8.
  • FIG. 9 shows a procedure for detecting an uneven surface on a road surface.
  • Fig. 9 shows an example of the depth of a hole, for example.In addition to the depth of the hole, the asphalt swelling after road construction, or the rutting caused by driving a car, etc. Can be measured.
  • FIG. 10 shows a specific method for obtaining 0.
  • the parallel line part in the real world live-action video
  • the extension of the parallel line is displayed as an intersection in the image, so it is a plane parallel to the target plane created by the intersection.
  • d the distance between plane a and plane b, which is a plane parallel to the target plane including the optical axis point
  • an example of calculating the virtual focal length is as follows.
  • the distance on the optical axis such that the angle at which an arbitrary object in the real space is seen in advance and the angle at which the same object in the displayed image is seen is the same. It is sufficient to find it on the display image. If the unit at this time is expressed in pixels, it will be a value specific to the camera system including the lens, and it will be sufficient to find it once.
  • a parallel line portion of the object in the real world is searched for, and it is represented in the image as an intersection line having an intersection on the extension line, so that when this intersection line is expanded on a plane, it becomes parallel.
  • FIG. 11 shows a method of measuring the actual value of 0 by developing a perspective image into a plane.
  • FIG. 11 (A) in FIG. 11 shows the perspective image as it is
  • FIG. 11 (B) shows the state when the plane is developed with 0 being a certain value.
  • the parallel lines in the real world that is, the road surface
  • the line segments on both sides of the road that should become parallel lines do not become parallel lines as shown in (B).
  • the line segments on both sides of the road become parallel lines on the developed side view, as shown in (C). Since 0 was obtained, 0 can be obtained by this.
  • FIG. 12 a case where a three-dimensional map is created will be described with reference to FIGS. 12 to 18.
  • FIG. a case will be described as an example in which a three-dimensional map is generated from a video taken in a substantially moving direction from a video camera mounted on a vehicle traveling on a road.
  • a moving image input unit 81 inputs an image taken in a direction substantially advancing from a bidet talent merchandise loaded on a vehicle running on a road.
  • the image is decomposed into images by a multi-plane decomposition unit 82.
  • the reference plane designating section 83 interprets that the image is composed of a plurality of planes and sets a plurality of planes in the image. Set as the reference plane.
  • the arbitrary-purpose plane designating section 84 sets the street light plane assuming that a plurality of street lights and the like are in one plane because they are regularly installed, and similarly sets the curbstone plane and the street Multiple planes, such as a tree plane and the entire building plane, can be set.
  • Fig. 13 shows an image of a plane extracted by optical flow. As shown in the figure, assuming that the vertical distance of the plane to which each object belongs from the standard position of the camera is D, all planes can be separated and extracted as a group of multiple parallel planes.
  • the ⁇ and h detection unit 85 reads the angle 0 between the road surface and the optical axis and the distance h between the camera system optical center and the road surface from the image.To read these automatically,
  • the intersection lines by giving f and h in the above formulas (1) and (2) are set so as to be parallel when developed on a plane, or d and f related to the planes a and b This is due to 0 which is obtained from the ratio of, and this 0 may be read by actual measurement when it can be measured.
  • the coordinate conversion unit 86 substitutes 0 and h into the plane expansion conversion formulas of the above-described equations (1) and (2) to perform an operation, and the image plane expansion unit 87 obtains a plane expansion image. . Opt.
  • the F (Optical flow) value calculator 8 8 divides the image into small areas because the video is a moving image, and calculates the optical flow of each part of the image by matching and correlation methods.
  • the Opt.F (optical flow) map generator 89 displays the above calculation result as an image map.
  • the reference plane image extraction unit 90 obtains the reference plane image by extracting the reference plane image based only on the unique optical flow value indicating the road surface.
  • the relative speed in the same plane is always constant on the road surface developed on a plane, so the optical flow is the same, and the road surface can be easily extracted.
  • the relative speed changes even on the same plane in the image depending on the distance, so the reference plane cannot be extracted with the unique optical flow value.
  • the comparison is not simple because the size changes depending on the distance.
  • the parallel plane extracting unit 91 is configured to obtain an optical flow value different from that of the reference plane in the same manner as when extracting the above-mentioned reference plane. Since the plane parallel to the reference plane only has a different eigenvalue from the reference plane, the parallel plane can be obtained separately from the reference plane.
  • the plane image forming unit 92 treats the obtained planes as image planes as they are, so that an image within the set planes can be acquired.
  • the three-dimensional map generation unit 93 generates a three-dimensional map having a configuration of a reference plane and a plane parallel thereto by assembling each parallel plane with three-dimensional coordinates. However, since not all objects can be represented using only the reference plane and a plane parallel to it, another plane different from the reference plane must be constructed in the same way.
  • one of the initially set planes can be handled in the same way as the reference plane, and can be generated in the same process as a three-dimensional map.
  • ⁇ and h must be converted to their respective planes from the obtained three-dimensional coordinates of the reference plane. That is, the position of the arbitrary plane is calculated from the obtained three-dimensional image of the reference plane by the conversion of the S and h values on the specified plane and the specifying unit 95, and the calculation is simply manually converted. It is also possible.
  • the target image is subjected to the same processing through the ⁇ r designation section (0, h designation section) 96, and a three-dimensional map is generated through the target plane image extraction section 97. It is generated by part 93.
  • Fig. 14 shows a plane extracted by optical flow and an image of a three-dimensional map generated by three-dimensional conversion. Further, the position and direction of the camera that acquires the video are detected by the processing of the ⁇ and h detection unit 85, the coordinate conversion unit 86, and the image plane development unit 87 described above, and the reconstructed 3D map is displayed. And plotted. That is, by the processing of the detection unit 85, coordinate conversion unit 86, and image plane development unit 87 for ⁇ and h, the angle between the optical axis of the camera and the target plane such as the road surface is given, and the coordinates in the image are given.
  • the camera position and the camera direction calculated by the calculation can be described in the image expanded on the plane by the conversion formula or the coordinates of the target plane by specifying the origin.
  • the above equations (1) and (2) are calculated by giving the focal length of the camera, the angle between the road surface and the optical axis of the camera, and the coordinate origin to the target plane such as the camera optical axis and the road surface. Then, a plane developed image of the road image acquired by the camera can be obtained, and at that time, the camera position and the camera direction are obtained by calculation from the conditions of the conversion formula. As a result, the camera position and camera direction can be detected in the converted image and plotted on a three-dimensional map.
  • a single image is generated by combining a plurality of images taken by a moving camera and developed in a plane, and the combined image represented is used as a new common coordinate system in the new coordinate system.
  • the camera position and camera direction obtained by the above equations (1) and (2) can be described one after another. For example, a video from an on-board camera is flattened, the corresponding points on the target plane in each frame image are searched automatically or manually, and the corresponding points are combined so as to match, and a combined image of the target plane is generated. And display them in the same coordinate system. Then, the camera position and camera direction are detected one after another in the common coordinate system, and the position, direction, and locus can be plotted.
  • FIG. 15 shows an image of a state in which the locus of the camera position is described on a three-dimensional map.
  • the three-dimensional map can be generated as described above, a plurality of images obtained by planar decomposition of the perspective image and the position information of the camera can be generated, and a desired three-dimensional image can be reconstructed from the information.
  • a desired three-dimensional image can be reconstructed from the information.
  • the main method is to separate moving parts in a moving image, predict the movement, and eliminate signal redundancy. It has been known.
  • this type of conventional method is effective for partial movement, such as when there is a moving object on a still background, but for moving images where the camera itself moves, Since the whole image has a motion component and the moving speed is not the same, the entire video must be updated, and the compression effect is significantly reduced.
  • a moving image is analyzed and treated as an image composed of a three-dimensional plane.
  • the image can be reconstructed by extracting each plane with this device and reconstructing those planes . Since the plane is defined three-dimensionally, the reconstructed plane is placed in the three-dimensional space, so that the final image is a three-dimensional image. Therefore, as long as the camera moves in a certain direction, the relative speed between the camera and the plane is constant, and the speed reading is uniquely required for each plane.
  • Each plane has its own velocity component in the range in which the force mea- sure moves at a constant speed.
  • the image is compressed and the receiving side can reproduce the original moving image by moving each plane at a defined speed. Moreover, since the image contains three-dimensional information, it can be expressed three-dimensionally. .
  • FIG. 16 shows another embodiment, and the same parts as those in the embodiment shown in FIG. 12 are denoted by the same reference numerals, and the detailed description thereof is omitted.
  • the optical flow of the reference plane takes a value different from the reference plane and an Opt. F value parallel thereto.
  • the 0 pt.F value which is an abnormal value existing on the road surface (reference surface) is detected. Then, that part will be the area of the moving object on the road surface. If the purpose is to delete the moving object, this moving object area is extracted and deleted by the moving object Opt. F (optical flow) extraction unit 101 and the moving object part extraction unit 102, and the deletion is performed.
  • the region may be complemented from the overlapping developed images before and after.
  • Reference numeral 103 in the figure denotes a simple moving body relative speed extraction unit that simply extracts the relative speed of the moving body.
  • the processing process on the right side of FIG. 16 is performed via the moving object plane designation unit 105.
  • the entire Opt.F value of the moving object area obtained on the flattened reference plane does not directly mean the Opt.F value specific to the moving object such as a vehicle.
  • the moving body is further decomposed into multiple planes by the Opt.F (optical flow) extraction unit 106 and the moving object plane extraction unit 107, etc.
  • the three-dimensional shape of the moving object can be obtained by the moving object plane image forming unit 108 by calculating the plane development of each plane constituting the moving object in the same process.
  • the speed vector of the moving object can be obtained by the vector extraction unit 109. Furthermore, it can be taken into a three-dimensional map by a three-dimensional map generation unit 110 that includes a moving object.
  • a method of pasting the texture of an acquired image to a CG (computer graphics) image or the like as an embodiment of an application example of the three-dimensional map generation will be described with reference to FIG.
  • the image developed on the plane has acquired three-dimensional coordinates, and Because only the image of the road surface was extracted, the texture of the building wall, which was partially shaded by a street tree at the time of shooting, could be obtained by deleting the image of the street tree.
  • the CG image can be used to add the texture of the building wall of the video image to the CG image and the street. Trees, guardrails, etc. can be attached.
  • FIG. 17 the same parts in the embodiment shown in FIG. 12 are denoted by the same reference numerals, and their detailed description is omitted.
  • Opt. F Optical flow
  • the parallel plane image is extracted from the map generation unit 89 by the parallel plane image extraction unit 111
  • the target plane image extracted from the target plane image extraction unit 97
  • a texture signal is obtained through a texture signal generator 1 1 and 2.
  • three-dimensional coordinates are acquired by the three-dimensional coordinate acquisition unit 113 from the plane image forming unit 92, and the three-dimensional coordinates are matched by the CG coordinate matching unit 114 to match the coordinates with the CG image.
  • FIG. 18 shows an embodiment in the case where a three-dimensional map is constituted by recognized parts, and shows the same configuration in the embodiment shown in FIGS. 12 to 17. Are denoted by the same reference numerals, and their detailed description is omitted.
  • the optical flow of the object in the image depends only on the relative speed between the camera and the object. Objects can be tracked, and speed can be extracted even for moving objects, making it easy to track them.
  • image recognition can be facilitated by using the position and shape change of the object with respect to time change as a clue for recognition, and the object in the image can be directly compared to the 3D CG model without using tracking. Can be replaced. Therefore, a specific object existing in the screen is selected and extracted from the image formed by the planar image forming section 92 by the object selection and tracking section 122, and the object is tracked. Through the object recognition section 1 2 2 Then, it is input to the attribute adding section 123 for adding the attribute of the object.
  • a specific object existing in the screen is displayed by a moving object selection tracking unit 124.
  • a mobile object is selected and extracted, and the mobile object is tracked.
  • the attribute adding unit adds the attributes of the mobile object through the mobile object recognition unit 125 that recognizes the attributes of the mobile object and other various information. It is entered in 1 2 6.
  • the three-dimensional map is generated by the three-dimensional map generation unit 127 composed of the recognition target object from the attribute addition units 123 and 126, respectively.
  • FIG. 19 is a specific example of an image obtained by a traffic surveillance video camera.
  • FIG. 19 (a) is a surveillance video camera image (perspective image),
  • (b) is a plane developed image converted by the present invention,
  • (C) is an area analysis display showing the object recognized according to the present invention.
  • FIG. 20 is a flowchart showing processing steps of object recognition in the traffic monitoring video camera.
  • Fig. 21 is a list that summarizes the results obtained by object recognition.
  • the types of passing vehicles, vehicle color, traffic volume, speed, acceleration, and the vehicle trajectory in the surveillance video camera images are obtained from the traffic monitoring video camera images by image recognition. Has become.
  • the surveillance video image obtained by the traffic surveillance video camera is a perspective image (oblique image) as shown in Fig. 19 (a), and the size and speed of the target vehicle are not uniform. Absent.
  • This perspective image is digitized and planarly developed to obtain a planar developed image of the present invention.
  • the resulting plan view is as shown in Fig. 19 (b).
  • the parameters f and 0 are determined so that the road surface is developed into a plane, so on the road surface, except for the vehicle height, such as the width and length of the vehicle, The scale is uniform and measurable even at the position. Therefore, the traffic volume Image recognition for monitoring can be performed.
  • Fig. 19 (a) Conventionally, it is common practice to perform vehicle recognition and recognition on perspective images (see Fig. 19 (a)), limit the vehicle recognition area to a part of the screen, and detect and measure vehicles passing through the area. It was a target.
  • the perspective image can be developed on a plane, the entire road surface of the image can be used as a vehicle recognition range by using the plane developed image (see FIG. 19 '(b)).
  • the moving object (vehicle) captured at the upper part (upper side) of the two-dimensional image moves to the lower part (lower side) of the image, which is the traveling direction.
  • a plurality of images can be obtained for the same vehicle.
  • a moving object image moving from the upper part to the lower part of the two-dimensional image can be acquired as image data for about 30 frames.
  • a detailed image analysis (area analysis) can be performed. For example, the accuracy of identifying a vehicle type can be improved, and accurate image recognition can be performed.
  • Figure 19 (c) shows the area analysis display.
  • a plane developed image for example, in order to increase the recognition accuracy, it is possible to perform processing such as averaging of images and averaging of processed contour images, which is very effective in image processing.
  • processing such as averaging of images and averaging of processed contour images, which is very effective in image processing.
  • the scale is the same on any part of the road surface on the planar developed image, position information can be easily obtained, and the movement trajectory of the moving object can be tracked along with recognition.
  • the scale is the same, the vehicle position and moving speed (calculated from the number of video frames per second) can be measured anywhere on the road surface, and acceleration and speed can be easily calculated. It is. With reference to FIG. 20, the flow of the traffic volume recognition process using the above-described plane development technology will be described in more detail.
  • the captured perspective image is digitized (201 in FIG. 20), and a plane developed image is created from the perspective image (202).
  • the moving object region is detected in the plane developed image, and the candidate region is created by comparing the background image with the current image to generate a candidate region (203).
  • the candidate region is subjected to image processing by image calculation with the background image, and a region having a small independent area is removed for vehicle detection, and the image region of the vehicle candidate is specified by expansion coupling of the remaining region.
  • the background image is updated using Kalman Phillips or the like (2003).
  • the specified candidate area is subjected to processing such as changing the threshold value of image processing, and analyzed in detail (204).
  • the movement amount of the vehicle candidate region can be predicted by expanding the plane, when the vehicle presence region image is obtained, the vehicle presence region is predicted, and the shape correction such as the size of the image and the position shift is performed. Adjustments are made and the corresponding area to be used is analyzed and determined (Same as in 2005).
  • the determined corresponding area is registered on a data basis together with its location information (see
  • the vehicle type is determined using the averaging image (2008), and is registered in the database together with the recognition result (2010).
  • a vehicle ID passes time (Passed Time), average speed (Speed), acceleration (Acc), vehicle type (Type) Information on various items required for vehicle recognition, such as) and color
  • the information is not limited to the items shown in FIG. 21 and other information can be registered.
  • a vehicle average image, a vehicle trajectory, and the like can be registered.
  • Japanese Patent Application No. Hei 11-975 / 62 Japanese Patent Application No. 2000-1990, Japanese Patent Application No.
  • An outline of the method and apparatus is an information code conversion device that converts object information acquired for an object into an information code registered in advance corresponding to the object, and transmits or outputs the information code. And a reproduction conversion device that receives or inputs an information code from the information code conversion device and converts the information code into reproduction object information registered in advance corresponding to the information code. .
  • information input means for inputting information on required objects, information on various objects or their parts and their attributes and the like created in advance, and data obtained by encoding the information are stored.
  • An information code conversion for comparing and comparing the information input to the information input means with the information stored in the first component storage, and selecting and outputting data relating to the corresponding information;
  • An apparatus, a second parts warehouse that forms a database similarly to the first parts warehouse, and a data output from the information code converter is compared with data stored in the second parts warehouse.
  • An information reproduction conversion device that selects information for reproducing the corresponding object and reproduces and outputs the object by required output means based on the information for reproducing the object.
  • one or more objects at arbitrary positions can be specified by name or attribute on the image display of the video image taken by one or more cameras with the one or more cameras, or a single point position can be specified by enclosing the object with a mouse.
  • the target object including the change in the relative angle and direction between the camera and the target object and the change in the distance while excluding the existence around the target object are excluded.
  • the features of each image frame of the object or the features of each component of the object are sequentially detected in chronological order, and a wealth of image data on various features is stored.
  • image frames that have a correspondence with the feature of each image frame of the object or the continuous change of the feature of each component, or image data of the feature A search is performed sequentially, and a reproduction image including a two-dimensional or three-dimensional shape corresponding to the target object that has been subjected to pattern matching in accordance with the search result is sequentially formed for each time-series change.
  • Each image frame including an image or the image data of the feature is matched with the required size standard setting on the required image on the above image display or other image display via a communication line, etc.
  • a 3D map is constructed by combining and accumulating the 3D CG models of the replaced objects
  • the above-mentioned texture pasting makes it possible to paste the actual texture into the three-dimensional CG model of the object.
  • This enables continuous connection in the moving direction so that a surrounding image of a moving object such as an object can be acquired. That is, images in the moving direction obtained by mounting a camera on a moving vehicle, an aircraft, a ship, or the like and capturing the images are developed in a plane, and continuously combined into one image.
  • a camera is mounted on a moving vehicle, aircraft, ship, etc., which sequentially captures diagonal images, for example, captures a road image along a road, develops it on a plane, and joins a single road. It is to get a video.
  • the situation of a camera for photographing a road around a bus 201 as a vehicle is described.
  • the first camera 201 which captures the front of the bus 201, is at the front of the bus 201
  • the second camera 201 which captures the rear
  • the bus 201 is at the rear.
  • the fourth camera 201 D to the left left of the bus 201 to shoot the left front of the bus 201.
  • a fifth camera 201 E for photographing the rear right is provided at the front right of the bus 201
  • a sixth camera 201 F for photographing the rear left of the bus 201 is provided at the front left of the bus 201.
  • the area photographed by these cameras 201 A... Is shown in a fan-shaped diagram. In this way, the images of the six types of road surfaces are captured in perspective, and are developed into a two-dimensional image such as a map by the above equations (1) and (2).
  • the coordinates (u, V) above are converted to coordinates (X, y) converted on the map.
  • FIG. 24 and FIG. 25 show specific examples, and FIG. 24 shows oblique images of nine roads (1) to (9).
  • FIG. 25 shows this developed into a two-dimensional image such as a map by the above-mentioned equations (1) and (2), and then connected and displayed as a single road like a map.
  • a moving object image that is unnecessary for image formation, it can be deleted, and when combining multiple images that partially include overlapping objects, if the moving object is By combining the images while avoiding the image of the moving object, a combined image of only the stationary object is generated. For example, when a vehicle or the like is shown on a road, a combination of images that are developed on a plane while avoiding the vehicle or the like is combined and connected to obtain a long road photograph that shows only the road.
  • Vehicles can also be used as an example of applied equipment, such as the surrounding road surface of a land vehicle such as a bus, the surface of a building, the arrangement of telephone poles, the arrangement of street trees, the arrangement of guardrails, etc. It is the sea surface of a vehicle, such as the deck or wall surface of a ship, the runway of an aircraft, the ground surface, etc., which enables the display of all directions or the target area.
  • applied equipment such as the surrounding road surface of a land vehicle such as a bus, the surface of a building, the arrangement of telephone poles, the arrangement of street trees, the arrangement of guardrails, etc. It is the sea surface of a vehicle, such as the deck or wall surface of a ship, the runway of an aircraft, the ground surface, etc., which enables the display of all directions or the target area.
  • the surrounding road surface, the building surface, the array of telephone poles, and the like from a normal camera 201A attached to a land vehicle such as a bus 201, etc. Develop images of the arrangement of street trees, guardrails, etc., the sea surface of vehicles such as ships, the decks and walls of ships, the runway of aircraft, and the ground surface, etc. in a plan view. It enables the omnidirectional display of the surrounding roads, buildings, telephone poles, street trees, guard rails, and so on. Alternatively, although not shown, the omnidirectional display of the marine vehicle and other vehicles on the sea, and the omnidirectional display of the ship's deck and wall surfaces, etc. Can be done.
  • the present invention can be applied to a building structure, and as shown in FIGS. 26 and 27, for example, a plane portion such as a floor surface or a wall surface of a building is displayed in a plane-expanded manner, and This enables plane combination display, in which the inside of the building is photographed with a normal force camera, and flat parts such as the floor surface and wall surface are displayed in plane development and plane combination display.
  • FIG. 26 shows an oblique image of a room taken by a normal camera.
  • the 16 images (1) to (16) the above equation (1) is used.
  • the two-dimensional images are converted by (2) and (2), and they are connected as shown in FIG. In this way, an image that cannot be actually captured can be obtained as an image in which the floor and walls in a building room are developed, and an image in which the surrounding wall is developed with respect to the floor can be generated. It is.
  • the plane-expanded image is simultaneously extended while being coupled in the moving direction.
  • a 3D map is created by creating a wider view of the vertical plane, including the vertical plane.
  • images of the road surface, ground surface, and water surface captured by a video camera mounted on a moving vehicle, such as a vehicle, aircraft, or ship, are developed into a plan view, and they are combined by an appropriate method.
  • a map is created by drawing a figure and extending it in the direction of movement.
  • an object having a vertical surface such as a building wall surface, or a virtual vertical plane in which a plurality of utility poles, guardrails, and the like are regularly arranged in a plane
  • the image developed in the plane can be obtained.
  • a three-dimensional map is created by creating a wider vertical plane development map, including the vertical plane, while extending the connection in the movement direction.
  • the present invention is configured as described above, an image that cannot be actually photographed is converted by using the equation (1) and the equation (2) by using the present method and apparatus. By doing so, the oblique image can be converted to a planar image.
  • the application range ffl is also broad.
  • the desired moving image can be reconstructed by transmitting and receiving the planar image information and the camera position information, and moving image data can be transmitted and received at high speed while minimizing the data transmission amount. This is particularly effective for video transmission using narrow-band telephone lines and Internet lines.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

明 細 書 道路面等の平面対象物映像の平面展開画像処理方法、 同逆展開画像変換処理方法 及びその平面展開画像処理装置、 逆展開画像変換処理装置 技術分野
本発明は、 通常のカメラで撮影した場合、 画面が遠近法で撮影されるがそれを 地図の画面のように平面に展開する道路面等の平面対象物映像の平面展開画像処 理方法、 同逆展開画像変換処理方法及びその平面展開画像処理装置、 逆展開画像 処理装置に関するものである。
具体的には、 通常のカメラで撮影した映像を展開し、 例えばバスの周りの画像 を複数のカメラで撮影し、 夫々を路面上の平面路面として展開し、 バスの周りの 道路面を、 バスの上方から路面を地図で見たようにそれらの展開画像を結合して 一枚の平面路面として表示されるようにし、 この平面画像展開により、 リニアス ケールとなることで画像の結合が可能となり、 また、 展開した平面画像内で対象 物についての画像認識や計測処理が可能となり、 さらにこの画像変換原理を逆に 使って道路面を平面に展開した後、 視点を移動して、 再度、 遠近法画像に戻すこ とにより、 最初の遠近法画像とは視点を変えた映像を得ることを可能とし、 さら にこの画像展開の原理を道路面だけではなく画像内の任意平面について施すよう にしたものである。
また、 平面展開された画像にオプティカルフロー （又は視差、 マッチング等) 処理を施すことで任意平面を他の平面から抽出するのであり、 さらに平面の凹凸 を検出し、 その凹凸の平面からのずれを求め、 また、 オプティカルフローを用い ることにより、 移動距離速度方向を抽出したり、 平面展開された画像に C G (コ ンピュータグラフィックス） 画像からなる物体を置き、 それに対応するテクスチ ヤーを貼り付け、 平面としてあるいは遠近法画像として表示したり、 遠近法画像 を平面展開するときに画面内の平行線となるべき線成分が平行になるようにする ことで、 カメラの伏角 0を求め、 あるいは遠近法画像の中から画面内の平行線 となるべき線成分が交差する点即ち消失点を求めることにより、 カメラの伏角 0を求めたり、 その伏角 0を一定にするように画像を移動することでカメラの ぶれを補正したりすることを可能にする平面に展開する方法とその装置さらには その応用に関するものである。
さらに、 平面展開された画像情報とカメラの位置情報を送受信することで所望 の動画像を再構成することができ、 データ伝送量を可能な限り小さくしながら動 画像デー夕を高速に送受信できるようにするものである。 背景技術
従来、 CCTV (C l o s e d C i r cu i t Te l ev i s i on) カメ ラ、 あるいは各種モニタカメラではレンズの性質から、 遠近法で撮影されてしま うのが当然であった。 例えば、 バスの後部に着いているバスの後方の状況を撮影 するカメラでは、 カメラを垂直下向きに取り付けない限り、 当然遠近法による映 像が撮影され、 道路面を真上から見た映像を得ることはできなかった。 ましてや、 バスの両側の側方、 前方、 後方を含めてバックミラ一等により見て、 部分的に見 えたり、 死角があったり、 ゆがんだ像として見えているのが現実であった。 つま り、 通常のカメラで撮影したのみでは、 遠近法で撮影されてしまい、 地図のよう に平面に展開した映像を描くことはできなかった。
また、 映像の結合技術としては、 斜め映像を結合する技術は存在するが、 それ は原理的に同一の撮影位置から視点を変えて撮影した複数の画像の結合であり、 カメラ位置を任意に変えて撮影した複数の映像を展開し、 結合し、 現実の対象物 と相似形に表示する技術は存在していない。 そればかりでなく、 ビデオ画像から 視点を変えた映像を得る方法や装置は過去にはなく、 さらに、 複数の遠近法画像 から画像処理技術で平面の凹凸を検出する手法もその凹凸の平面からのずれを求 める方法も存在しなかった。
そしてまた、 ビデオの遠近法画像から平面展開した画像を用いて移動距離速度 方向を抽出する方法も装置も存在しないし、 さらに、 平面展開された画像から目 的以外の画像を削除して CG画像にテクスチャーを貼り付け、 平面としてあるい は遠近法画像として表示する方法も装置も存在しないし、 また、 画像内から平面 展開に必要な方程式の変数を抽出して演算する的確な方法と方程式も存在しない ものであった。
しかも、 平面展開の数学的解を求めようとしても、 現実の座標と対応付けする ために、 6点から 1 2点以上の実測された対応点が必要であり、 特に動画におい てはその条件を満たすことは実質不可能である。
さらに、 ビデオ映像等の動画像は、 複数の装置間等においてデータを伝送しよ うとする場合、 伝送デ一夕の圧縮が行われるが、 従来の圧縮方法は、 動画像中の 静止背景上にある動きのある部分のみを分離 ·圧縮する方法が採られており （例 えば M P E G 2方式） 、 このような圧縮方法では、 カメラ自体が移動して画像全 体が動き成分をもつ動画像については十分な圧縮効果が得られず、 結果としてデ 一夕伝送を行うことができなかった。 そこで本発明は叙上のような従来存した諸事情に鑑み創出されたもので、 各画 像毎に現実の対象物の複数の実測点を用いることなく、 カメラの遠近法で得られ た映像を、 カメラの撮影条件と撮影された画像内の情報のみで平面展開しようと するのであり、 さらに、 それを結合して地図で表現したような平面図に展開して 表示しょうとするものである。
例えば、 バス等から外部の状況を見るときに、 前面から見た映像、 側方から見 た映像、 後方から見た映像を使用して、 それを展開し、 つなぎ合わせ、 バスの上 方から見たその周りの道路面を、 地図のように表示し、 自車両の位置を平面図の 中に表示し、 運転をより安全にしょうとするものである。
即ち、 各種モニタカメラの遠近法で得られた斜め画像を変換することにより、 地図で表現したような平面図に展開し表示しょうとするもので、 例えばバス等か ら外部の状況を見るときに、 前面から見た映像、 側方から見た映像、 後方から見 た映像を使用して、 それを展開し、 つなぎ合わせ、 バスの上方から見たその周り の道路面を地図のように表示しょうとするのであり、 このような平面画像展開に より、 リニアスケールとなることで画像の結合、 さらには画像内での計測が可能 となるようにする道路面等の平面対象物映像の平面展開画像処理方法、 同逆展開 画像変換処理方法及びその平面展開画像処理装置、 逆展開画像処理装置を提供す ることを目的とするものである。
また、 上記原理の応用として、 道路面を平面に展開した後、 視点を移動して、 再度、 遠近法画像に戻すことにより、 最初の遠近法画像とは視点を変えた映像を 得ることができるものとしたり、 道路以外の任意平面を抽出する際にォプティカ ルフ口一 （又は視差、 マッチング等） を用いることで障害画像を削除して目的の 画像のみを抽出したり、 複数の遠近法画像から平面の凹凸を検出する手法、 その 凹凸の平面からのずれを求められるようにしたり、 複数の遠近法画像からォプテ ィカルフローを用いることにより、 移動距離速度方向を抽出したり、 さらに平面 展開された画像に C G画像からなる物体を置き、 それに対応するテクスチャーを 貼り付け、 平面としてあるいは遠近法画像として表示したり、 遠近法画像を平面 展開するときに実測値をできるだけ用いなくて済むように画面内の平行線となる べき線成分が平行になるようにすることで、 カメラの伏角 0を求めたり、 ある いは遠近法画像の中から画面内の平行線となるべき線成分が交差する点、 即ち消 失点を求めることにより、 カメラの伏角 Sを求めたり、 また、 その伏角 0を一 定にするように画像を移動することでカメラのぶれを補正したりすることができ る道路面等の平面対象物映像の平面展開画像処理方法、 同逆展開画像変換処理方 法及びその平面展開画像処理装置、 逆展開画像処理装置を提供することを目的と するものである。 . そして、 遠近法画像を平面展開した複数の画像とカメラの位置情報から所望の 三次元画像を再構成できることから、 平面展開画像とカメラ位置情報のみを送信 することで、 受信側で元の動画像を再現することが可能となり、 伝送データを可 能な限り小さくすることができ、 帯域の狭い回線等であっても所望の対象物の動 画像をデ一夕通信できる道路面等の平面対象物映像の平面展開画像処理方法、 同 逆展開画像変換処理方法及びその平面展開画像処理装置、 逆展開画像処理装置を 提供することを目的とするものである。 発明の開示
上述した目的を達成するため、 本発明にあっては、 通常のカメラから得られた 遠近法の映像から平面展開に必要な情報を読みとり、 数式により地図のような平 面図に展開し、 それを組み合わせ、 つなぎ合わせ、 一枚の大きな路面展開図にす るというものである。 例えば通常のビデオ映像撮影力メラをバスの周りに取り付 け、 全ての視野を構成するように、 複数のビデオカメラで、 バスの外側の道路面 をある角度、 即ち伏角をもって撮影し、 それを計算により、 路面の映像を地図の 映像のように展開し、 その地図のように展開できた映像と、 ビルの壁面の映像に 関して同様の処理をし、 つなぎ合わせ、 バスの周りの路面とビルの映像として生 成しようというものである。 あるいは、 建築物内部の床面、 壁面の画像を撮影し、 斜めに撮影された画像を平面に展開し、 例えば部屋の壁を開いて、 部屋をちよう ど展開したような図面にするものである。 これを数式を用いて計算により求める のである。
そして、 平面展開した複数の画像データと、 カメラの位置情報データから所望 の三次元の動画像を再構成することができる。 これによつて、 例えば、 撮影用の カメラとモニタ用の表示部とが離れている場合でも、 カメラ側から平面展開画像 とカメラ位置情報を送信することで、 モニタ側で元の動画像を再現することが可 能となる。 平面画像は静止画像であり、 斜め画像の動画像と比較してデータ量が 格段に小さいため、 帯域の狭い回線等で接続された装置間であっても自由にデ一 夕伝送でき、 それを受信側で再構成することで、 所望の対象物の動画像をデータ 通信できることになる。 具体的には、 リアルタイム処理としての斜め画像平面展開装置は、 例えば映像 入力装置としての C C TVカメラ又はデジタルスチルカメラ、 映像再生部、 画像 補正部、 球面収差補正部、 映像展開平面処理部、 展開画像結合部、 表示部、 記録 部からなるものである。
また、 オフライン処理としての斜め画像平面展開装置は、 斜め画像記録済みの 映像再生装置、 画像補正部、 映像展開平面処理部、 展開画像結合部、 表示部から なるものである。
平面展開として、 平面を含む現実場面の対象を斜めから撮影した画像に関して、 数学的演算により、 元々が平面で構成されている面を、 現実場面の平面と比例関 係に （相似形に） となる平面画像として、 平面に展開して表示するのである。 その平面展開の結合として、 上記の方法で得られた、 複数の平面展開画像を結 合して、 一枚の大きな平面展開画像として表現するのである。
また、 複数の C C TV映像による全方位表示とダイレクト表示としては、 複数 の C C TV映像を上記装置で平面展開し、 夫々画像を結合して、 一枚の画像とし、 目的領域の全域を表示し、 必要に応じて、 その表示された場所に対応した C C T Vの斜め映像をも同時に表示させるのである。 移動方向の連続結合としては、 移動する車両や航空機や船舶等に力メラを積載 して撮影することで得られた移動方向の映像を平面展開して、 連続結合して一枚 · の画像とするのである。
また、 重複する対象物を一部含む複数の画像を結合する際に、 移動物体が写つ ている場合は、 その移動物体の映像を避けて画像結合させることで、 静止物体の みの結合画像を生成するのである。
いわば 0方式として、 CCTV等で得られた斜め映像を、 平面画像に展開す るにあたり、 斜め映像から光軸位置 0を読みとり、 カメラ高さ h、 撮影レンズ の： f値、 あるいはモニタ上の仮想 f値を読みとり、 目的の場所の座標を以下の式 y = v - 21/2 - h - c o s (π/4— - c o s (j3 - / ( f · s i n β ) (1) x = u · h · c o s ( β - θ ) / ( f - s i n |3) (2) のように表現する式、 及び同じ意味を持つ式を用いることで、 現実の世界の対 象物の位置座標や大きさを既知の情報として与えることなく、 撮影された映像内 から読みとれる情報と 0、 h、 r等の撮影条件の情報を与えることで、 現実の 世界の座標系と、 画像モニタ上の座標系を関連させて座標変換を行うのである。 ただし、 0はカメラの光軸と道路面のなす角度、 f はカメラの焦点距離、 h はカメラの高さ、 /3はカメラの真下から h + yの距離にある点と、 カメラを結 ぶ線分と道路面のなす角度、 Vはカメラにおける映写面である CCD (取得映 像） 面上の原点から縦方向の座標、 uは CCD (取得映像） 面上の原点から横方 向の座標である。 また、 yは道路面におけるカメラの真下から h進んだ点を原点 として、 そこからさらに光軸方向に進んだ距離即ち座標、 Xは道路面における横 方向の距離即ち座標である。 また、 垂直壁面を平面展開する場合は、 座標を九十 度傾けて処理すればよいのである。 なお、 数式はこの式のみではなく、 他の同様 な遠近法と平面とを関係づける数式であっても良い。
ここで、 計算に必要な数値、 即ち目的の平面と光軸の成す角 0と、 画像内の 任意の点に対応する現実点とカメラ等のなす角 、 及び ( β — θ ) 等の値は現 実世界 （実写映像） の中にある物理量であるので、 当然実測することで得られる。 ただ実際問題として、 実測しながら複数の場所で、 しかもカメラが移動する動画 一枚一枚についてそれらを計測することは事実上不可能であるので、 この変換式 の性質から以下のようにすれば画像内から求めることができる。
光軸の画像内位置を決める多くの場合、 画像の幾何学的中央が光軸位置である が、 正確に求めるにはカメラ等の撮影機材の光学中心をコリメ一夕等で求めてお くことで実現でき、 一度計測すれば、 その位置はレンズを含むカメラ系に固有の 値としてその光軸位置を画像内の一点として得られる。 次に、 前記変換式における最も重要な 0の画像内計測の一例を述べると、 現 実世界での平行線の部分を画像内から経験的に探し出し、 その平行線の延長は画 像内では交点 （消失点、 fiPち遠近法で図面を書いたときの遠くの点で交わる点で あり、 パース図等での V a n i s h i n g P o i n tである。 例えば、 直線道 路を遠近法で書いたとき、 遠くで道路は一点になるのであり、 その点が消失点で ある。 ） として表示されるから、 その光軸点を含む目的平面に平行な面である平 面 aと、 その交点を含む目的平面に平行な面である平面 bとの距離を dとし、 こ の dと仮想焦点距離 f との比 （a r c T a n d / f ) として 0を求めること ができる。
ここで、 仮想焦点距離を求める一例を示すと、 前もって現実空間における任意 の対象物を見込む角と、 表示された画像内の同一対象物を見込む角が同じになる ような光軸上の距離を表示画像上で求めておけばよく、 このときの単位をピクセ ルで表せば、 レンズを含むカメラ系に固有の値となり、 一度求めておけばよいこ とになる。 さらには現実世界の対象物の平行線部分を探し、 それが画像内では延 長線上で交点を持つ交差線として表現されているから、 この交差線が平面展開し たときに、 平行となるように Θを選択することで 0を求め、 あるいは Sの微調 整をすることができる。
なお、 0は実測によって求めることもでき、 例えば、 移動体である自動車等 に取り付けたカメラが伏角としてどの程度の角度で下方を向いているかを、 単純 な方法である分度器によって、 また、 もし正確性を期すのであれば専用の角度計 測装置によって測定することで得ることができる。
また、 取得した平面画像中において、 消失点を求める過程で、 各画像の消失点 の位置を固定するように映像を移動して表示することで、 手ぶれ等で揺れる映像 を安定化することができる。 即ち、 これは画像内の目的平面内の平行線成分の部 分を延長し、 交点を求め、 それが前記消失点となるとき、 その消失点の位置が力 メラの移動や揺れにともなって変動することになつて、 ブレを生じるが、 その消 失点の位置を一定に固定するように、 B央像全体を移動させて表示することにより、 手ぶれ等で揺れる画像が安定化するのである。 平面展開によって得られた、 異なる複数の平面から構成される動画像の、 その 中の微小領域の単位時間移動量をオプティカルフロー （本明細書 ·図面において、 「O p t . F」 と省略することもある） 手法により必要な範囲で求め、 その成分 分布図から同一成分を抽出することにより、 夫々単独の平面画像を分離すること ができる。 このオプティカルフロー手法を使用するに際し、 遠近法画像のォプテ ィカルフローは、 一般に同一平面内であっても、 移動方向でも同一値とはならず に距離により異なる値をとるが、 平面変換された平面内のオプティカルフローは 同一の値をとるという性質を利用したものである。 つまり平面展開により得られ た異なる複数の平面が重なる画像であっても、 オプティカルフローの成分分布全 体図から、 同一成分を抽出することにより、 夫々単独の平面画像を分離すること ができ、 例えば平面展開した画像においては、 平行な平面を構成するビル等の建 物の壁面と、 道路のガードレール面や街灯面をオプティカルフローの値で分離す ることができるというものである。
なお、 オプティカルフロ一は、 複数の画像の中で対応する夫々の点がどのよう に動いたかを示す流れのことであり、 複数の画像の中で動きがあればォプティカ ルフ口一の流れがあり、 その動きを線で表示でき、 動きがなければオプティカル フローの流れは線で表されなくなるのであり、 対応する点が複数の画像内で移動 したかどうかを知ることが重要である。
さらに、 平面変換された動画像から得られた平面動画像において、 ォプティカ ルフローの分布図を生成し、 その微小差から平面からのズレとして平面の凹凸を 検出し、 若しくは前記平面動画像において異なる画角から得られた平面画像を比 較演算することにより視差を検出して、 その成分分布から平面内の凹凸成分を検 出し、 この検出した凹凸値で元平面図の各点の平面からのズレを含めた修正平面 図を生成するのであり、 複数の平面図に展開された複数の平面画像を相関法若し くはマッチング法等の手法によって比較演算することにより、 道路面等の複数の 平面画像上の夫々の小領域毎に、 夫々が対応する小領域の移動量を視差方式若し くはォプティカルフロー方式等により求め、 その成分の分布から道路面等の凹凸 等の三次元データを検出し、 若しくは検出した三次元凹凸値で元平面図の各点の 平面からのズレを含めた修正平面図を生成することができる。 つまり、 ォプティ カルフローの分布図を生成し、 上記の原理を使ってその微小差から平面からのズ レとして平面の凹凸等を検出し、 異なる画角から得られた平面画像を比較演算す ることによって視差を検出し、 その成分分布から平面内の凹凸成分を検出し、 若 しくは検出した凹凸値で元平面図の各点の平面からのズレを含めた修正平面図を 生成するのである。 また、 平面に起伏や凹凸がある場合等において、 変換された 平面画像のオプティカルフローの微小差を検出することができれば、 それは平面 からのズレを意味しているので凹凸の分布図を生成することができるのである。 また、 動画あるいは複数のカメラで取得した画像による異なる方向から観察した 道路面の平面図に展開された画像が複数あることから、 それらを相関法あるいは マッチング等の手法を用いて比較演算し、 道路面等の複数の平面画像状の夫々の 微小領域毎に、 視差を求めること等により、 その微小領域の成分の差から移動量 を求め、 対応する点を組み合わせ計算することにより、 道路面の凹凸を検出する というものである。
このことは、 視野の重複する動画像から平面展開画像を取得し、 それらから視 差若しくはオプティカルフローを求めることで、 道路面の凹凸に限らず、 平面展 開した画像内で重複する全ての対象物について、 三次元データを検出することが できることを意味している。
なお、 オプティカルフローによる作業は、 すべて視差によっても代行すること ができ、 また、 マッチングによつて代行することができる。 従って、 本発明にお いて 「オプティカルフロー」 という場合には、 オプティカルフロー、 視差又はマ ツチング等のいずれの処理であっても良いことを意味する。 そしてまた、 平面展開した連続画像の平均的オプティカルフロー値、 若しくは マッチング対応位置の移動距離を求め、 その値から対象平面の移動距離 ·移動速 度 ·移動方向、 若しくは撮影したカメラの移動距離 ·移動速度 ·移動方向を求め ることができる。 即ち、 平面展開された同一平面のオプティカルフローは一定値 をとるという性質から、 目的の平面のオプティカルフローからカメラの移動速度 を求めることができるのであり、 これはカメラと対象平面との相対位置、 相対速 度であることから、 静止系と移動系が逆転しても同じである。 また、 ここで視差 は幾何学的にはオプティカルフローと同じ意味を持つのであり、 平面展開した連 続画像の広い領域のオプティカルフロー又は視差を求め、 それを用いて、 対象と なる平面の移動距離、 移動速度、 移動方向あるいは撮影したカメラの移動距離、 移動速度、 移動方向を求めることができる。
分離され平面展開された単独平面内の対象物平面のテクスチャーを、 場所の対 応する C G (コンピュータグラフィックス） 画像若しくは地図画像内の対象物平 面に貼り付けることで、 C G画像若しくは地図画像に実写画像を取り込み、 平面 として、 若しくは逆変換して遠近法画像として表示することができる。 即ち、 平 面展開された同一平面は同じオプティカルフローを持つという性質から、 混在す る複数の平面の中から、 目的平面のテクスチャ一のみを切り出すことが可能であ る。 分離された平面展開された単独平面内の対象物平面のテクスチャーを、 対応 する C G画像あるいは地図画像内の対象物平面に貼り付けることにより、 C G画 像あるいは地図画像に実写画像を取り込み、 平面として、 あるいは逆変換して遠 近法画像として表示するのである。 また、 前記の式 （1 ) 及び （2 ) において、 先ず f と hを与え、 さらに対象物 の平行線が画像内で持つ交点を形成する交差線であるとき、 この交差線が平面展 開したときに平行となるように 0を選択することで、 0を求めることができ、 選択する Θは微調整することができる。 これは、 道路等の特定の対象物におい ては、 その対象物自体は多くの場合平行線となる部分を持っているという性質を 利用するのであり、 対象物若しくは対象物群が作る平行線は、 遠近法の画像内で は、 その延長線分が交点を作り、 この交点において交差する線分が平面変換され た平面画像内で平行線となるように 0を選択することにより、 0を求めること ができるのである。
実写映像中の平行線の部分を画像内から抽出し、 その交点のつくる目的平面に 平行な面である平面 aと、 光軸点を含む目的平面に平行な面である平面 bとの距 離を dとし、 仮想焦点距離を f とし、 これらの dと f との比から、 0 = a r c T a n ( d / f ) として、 0を求めることができる。 即ち、 目的の平面と光軸 の成す角 0は現実世界 （実写映像） の中にある物理量であるので実測するべき 量であるが、 それを画像、 及び動画像内の各フレーム画像の中から求めるために、 現実世界 （実写映像） での平行線の部分を画像内から経験的に探し出し、 その交 点のつくる目的平面に平行な面を平面 aとし、 光軸点を含む目的平面に平行な面 を平面 bとし、 また平面 aと平面 bとの距離を dとし、 仮想焦点距離を f とし、 この dと f との比から、 0 = a r c T a n ( d / f ) として 0を求めるのであ る。 これは、 道路面等の目的の平面とカメラの光軸のなす角度 0を求めるため に、 現実世界での平行線の部分を画像内から経験的に探し出し、 その交点と平行 線部分の作る道路面等の目的平面と、 光軸の画像内の位置とを前もって計測し、 あるいは画像の幾何学的中心を近似的な光軸とし、 その光軸点を含む道路等の目 的平面に平行な面との距離を仮想焦点距離との比を求め、 そのアークタンジェン トを求めることにより 0を求めるのである。
また、 異なる設置場所に設置した複数の通常のカメラによって同一地点の同時 映像を複数取得し、 その複数の同一地点同時映像の平面展開画像を比較演算する ことで視差を検出し、 この視差から対象物の三次元形状を生成することができる。 これは上述の例においては、 一台のカメラからの映像を平面展開することで、 あ るいは視点の異なる複数の力メラの結合による平面展開画像を得るものであつた が、 視点を重複させた複数のカメラ等を用いることで、 同一地点の映像を異なる 地点から撮影した映像を、 平面展開画像として取得した後に重複部分の平面展開 画像内で視差を検出するのである。 つまり、 これまで視差の検出による三次元デ —夕の検出は常に原画像、 即ち遠近法の画像そのものから得られていたが、 ここ では平面展開画像処理をしてから視差を検出するという新しい方法により、 位置 精度のよい三次元データを得ることができるようになり、 これによつて従来より 更に精度のよい直接三次元形状のデータを簡単に取得可能である。 ここで、 視野 の重複する複数の映像から得られる視差は、 動画内の静止座標形においてはォプ ティカルフローとしばしば同一の意味を持つが、 対象物が時間変化する場合や、 三次元座標の精度を上げる場合にはこのような複数の力メラによって同一地点の 同時映像を複数取得することが有効である。 一方、 はじめから地図や平面図を用意して、 それらのあらゆる平面図や平面写 真や CG (コンピュータグラフィックス） 画像等を元にして、 先の変換とは反対 の逆変換を行い、 結果的に先の視点の映像とは異なる任意の視点からの遠近法の 映像を生成することができる。 また、 ビデオ画像の各フレーム画像を連続的に逆 変換をすることで、 視点移動を繰り返し、 実際には撮影していない、 仮想の移動 するカメラ視点によるビデオ動画像を生成することができる。
具体的には、 平面映像を含む遠近法的に表現された映像を平面図に変換して生 成した平面展開図、 若しくは複数の方向から撮影された複数の平面映像を含む映 像を平面図に展開した後に対応点を重ねることで結合して生成した一枚の大画面 平面展開図、 又は平面図状の CG (コンピュータグラフィックス） 画像や地図を 元として、 前記記載の式 （1) 及び （2) に対する逆変換式によって任意の視点 から見た仮想の遠近法画像を生成し、 若しくは連続的に処理をすることで仮想の 移動するカメラ視点による動画を生成することができ、 視点を変えた後に、 逆変 換をする方法による具体的な逆変換式は、 下記の式 （3) 及び （4) によるもの とする。
V = y · f · s i n ^ / ( 212 · h ■ c 0 s (ττ/4- Θ) - c o s (β— θ) )
(3) u = x · f · s i η 3/ (h ■ c ο s (β-θ) ) (4) ただし、' hはカメラの道路面からの高さ、 0はカメラの光軸と道路面のなす 角度、 f はカメラの焦点距離、 |3はカメラの真下から h進んだ点から yだけ先 へ進んだ点とカメラのレンズとを結ぶ線分と、 道路面との成す角度、 Xはカメラ の光軸を道路面に正射影して得られる線分から垂直方向すなわちカメラから見て 横方向の座標、 yはカメラの真下から h進んだ点を原点としたときの光軸方向の 座標、 Vはカメラにおける映写面である CCD面上の縦方向の座標、 uはカメラ の映写面である CCD面上の横方向の座標である。 なお、 数式はこの式のみでは なく、 他の同様な遠近法と平面とを関係づける数式であっても良い。
また、 平面展開された画像によって、 画像上での計測処理、 画像認識処理等の 各種の認識処理を可能にするのであり、 平面展開された画像のスケールはリニア スケールとなり、 画像上で計測や、 画像処理、 画像認識等が非常に容易に行なわ れる。 そして、 オプティカルフローもカメラとの相対速度に比例する形で得られ ることから、 対象物の相対速度も距離に依存せずにリニァスケールで表現される ため、 計測のみならず、 画像処理認識においても極めて単純化されるのである。 応用平面としての一例は、 平面展開面として、 道路面 ·海上面 ·湖水面.河川 面 ·地上面 ·垂直壁面 ·同一平面に配列された対象物が作る垂直仮想平面 ·建築 壁面床面 ·船の甲板面 ·滑走路誘導路等空港施設面等を极うことができる。
応用機器としての乗り物の一例は、 バス等の陸上乗り物における周辺道路面、 ビル面、 電柱の配列面、 街路樹の配列面、 ガ一ドレールの配列面等、 船舶等海上 の乗り物の海上面等、 船舶の甲板、 壁面等、 航空機等の滑走路、 地上面等の全方 位全面表示、 あるいは目的領域面表示とすることができる。
さらに、 他の応用例としての建築構造物では、 建築物の床面、 壁面等の平面部 分を平面展開表示、 及び平面結合表示するものである。
また、 応用例としての立体地図作製は、 複数のカメラで、 移動する車両、 航空 機、 船舶等で路面や地上面や水上面を連続撮影するのみならず、 ビル壁面等のよ うな垂直面、 あるいは複数の電柱、 ガードレール等が規則的に平面的に配列され ている仮想垂直平面を持つ対象をも連続撮影することで、 前記平面展開した画像 を移動方向に結合延長させながら、 同時に垂直面を含むより広範囲の平面垂直面 展開図をつくることで、 立体地図を作製するのである。 一方、 上述した道路面等の平面対象物映像の平面展開画像処理方法、 同逆展開 画像変換処理方法に直接に使用される平面展開画像処理装置、 逆展開画像処理装 置は、 遠近法画像を取得する映像入力部と、 この映像入力部によって撮影された 斜めの映像を再生する映像再生部と、 映像入力装置による撮影回転角等を補正す る画像補正部と、 映像入力装置における球面収差等を補正する球面収差補正部と、 遠近法画像を平面展開図に変換する映像展開平面処理部と、 映像展開処理を行つ た映像を結合する展開画像結合部と、 結合画像を表示する表示部とからなるもの である。
また、 展開された映像のオプティカルフローを生成して図示するオプティカル フローマップ生成部と、 ォプティカルフ口一マップから目的のォプティカルフ口 一のみを抽出するオプティカルフロー抽出部とを備え、 また、 異なる位置からの 同一地点の映像から視差を検出する視差抽出部を備え、 また、 複数の同一地点の 展開画像を比較する展開画像比較部を備え、 また、 演算により路面凹凸を抽出す る画像比較部と、 その凹凸を考慮した修正平面生成部とを備えて構成することが できる。
さらに、 C C T Vカメラ又はデジタルスチルカメラ等のカメラにより映像を生 成する映像入力部と、 入力画像を安定化して表示する入力画像表示部と、 入力映 像を記録する映像記録部と、 記録画像を再生する映像再生部と、 球面収差等のレ ンズによる画像のゆがみを補正すめための座標変換を施し、 カメラ回転角を補正 するために、 目的の平面映像を画像内の平面に方向を合わせる画像補正部と、 数 学的演算により遠近法映像から平面図を生成する映像展開平面処理部と、 展開さ れた映像のォプティカルフ口一を生成して図示するォプティカルフローマツプ生 成部と、 それらのォプティカルフ口一マップから目的のォプティカルフローのみ を抽出する、 オプティカルフロー抽出部と、 異なる位置からの同一地点の映像か ら視差を検出する視差抽出部と、 必要な対象物を残し不必要な画像を削除し、 さ らには新しい映像を揷入する対象物画像処理部と、 平面展開された処理された 個々の画像を結合して一枚の連続した画像を生成する展開画像結合部と、 それら を表示する展開画像表示部と、 それらを記録する記録部と、 任意視点に逆変換し て表示する任意視点画像生成部と、 その画像を表示する任意視点画像表示部と、 複数の同一地点の展開画像を比較する展開画像比較部と、 演算により路面凹凸を 抽出する画像比較部、 その凹凸を考慮した修正平面生成部とを適宜に組合せて構 成したものである。
また、 同様に道路面等の平面対象物映像の平面展開画像処理方法、 同逆展開画 像変換処理方法に直接に使用される逆展開画像処理装置は、 任意視点に逆変換し て表示する任意視点画像生成部と、 その画像を表示する任意視点画像表示部とを 備えて構成することができる。
さらに、 平面展開画像処理装置、 逆展開画像処理装置は、 遠近法画像を取得す る映像入力部と、 この映像入力部によって撮影された遠近法画像を三次元空間を 構成する一又は二以上の平面画像に分解する平面分解部と、 映像入力部の三次元 的位置を検出する位置検出部と、 平面分解部で分解された平面画像と位置検出部 で検出された映像入力部の三次元的位置から三次元画像を再構成して表示する表 示部とを備える構成とすることができる。 位置検出部で検出された映像入力部の 三次元的位置を、 平面分解部で分解された平面画像中に表記する位置表記部を備 える構成とすることができる。 また、 映像入力部が移動する場合に、 位置表記部 は、 移動する映像入力部の三次元的位置を、 平面分解部で分解された平面画像中 に連続的に表記する構成とすることができる。
そして、 三次元画像を再構成する表示部が、 平面分解部及び位置検出部と離間 して配設される場合には、 平面分解部及び位置検出部から表示部に一又は二以上 の平面画像信号及び映像入力部の三次元的位置信号を送信する送受信手段を備え る構成とすることができる。 以上のように構成された本発明に係る道路面等の平面対象物映像の平面展開画 像処理方法、 同逆展開画像変換処理方法及びその平面展開画像処理装置、 逆展開 画像処理装置において、 映像入力装置によって取得された斜め映像である遠近法 画像は、 式 （1 ) 及び （2 ) によって平面展開図に変換され、 実際的な地図様の 画像として表示させられる。
取得生成された平面展開図の結合は一枚の大きな展開画像として、 例えば、 取 得地 ·場所周囲の状況を含めて地図様に表示させ、 目的領域の全域の全面表示、 特定域のダイレクト表示等を選択させ、 入力映像の同時のダイレクト表示によつ て周囲状況と容易に対比させる。
また、 動画あるいは複数のカメラで取得した画像による異なる方向から観察し た道路面の平面図に展開された画像が複数あるとき、 それらを、 相関法あるいは マッチング等の手法を用い.て比較演算し、 道路面等の複数の平面画像状の夫々の 小領域毎に、 視差方式あるいはオプティカルフローの手法等により、 その小領域 の成分の差から移動量を求め、 対応する点を組み合わせ計算することは、 道路面 の凹凸を検出させ、 平面に起伏や凹凸がある場合等において、 検出した凹凸値を 平面からのズレを含めた修正平面図を生成させる。
このことは視野の重複する動画像から平面展開画像を取得し、 それらから視差 若しくはオプティカルフローを求めることで、 道路面の凹凸に限らず、 平面展開 した画像内で重複するすべての対象物について、 三次元デー夕を検出させる。 視点を重複させた複数の力メラによって同一地点の映像を異なる地点から撮影 した複数の映像によって生成された平面展開画像は、 重複部分の平面展開画像内 で視差を検出させる。
生成される平面展開図は陸上、 海上、 空港施設面等、 さらには建築構造物等に おける平面表示等の各種のものを展開させ、 そして移動による平面展開図の生成 取得で、 移動方向による平面展開、 垂直展開の結合延長で立体地図をも作製させ る。
また、 映像入力部、 入力画像表示部、 映像記録部、 映像再生部、 画像補正部、 映像展開平面処理部、 オプティカルフローマップ生成部、 オプティカルフロー抽 出部、 視差抽出部、 対象物画像処理部、 展開画像結合部、 展開画像表示部、 記録 部、 任意視点画像生成部、 任意視点画像表示部、 展開画像比較部、 画像比較部、 修正平面生成部等を適宜に組合せて構成することは、 夫々目的に応じた、 例えば 遠近法画像道路面を平面画像に展開したり、 遠近法で表示されたビル壁面画像を 平面画像に展開したり、 ビル壁面とガードレール画像とを分離したり、 平面画像 に変換した後に視点を変えて再度遠近法画像に逆変換したり、 テクスチャーを貼 り付けた道路面あるいはビル面を表示したり、 あるいは逆変換により遠近法画像 に変換したり、 さらには異なる視点からの画像を組み合わせた視差画像を得たり、 それから道路面の凹凸を計算したり等の広範囲な応用を可能にさせる。
そして、 平面展開した複数の画像データとカメラの位置情報データから、 m の三次元画像や立体地図等を再構成することができるので、 撮影用のカメラとモ 二夕用の表示部とが離れて設置されているような場合でも、 映像取得側 （カメラ 側） から平面展開画像とカメラ位置情報を送信することで、 受信側 （モニタ側） で元の動画像を再現することが可能となる。 平面展開された画像データは静止画 像であり、 斜め画像の動画像と比較して格段にデ一夕量は小さい。 従って、 平面 展開画像とそれを再構成するための力メラ位置情報データを送受信することによ つて、 データ伝送量を可能な限り小さくした動画像のデータ通信が可能となる。 図面の簡単な説明 ，
第 1図は、 本発明の一実施の形態を示す道路面等の平面対象物映像の平面展開 装置のブロック図である。
第 2図は、 同じく本発明装置における他の実施の形態を示すブロック図である ―
2004/008744
17 第 3図は、 同じく本発明装置における他の実施の形態を示すプロック図である。 第 4図は、 同じく映像の平面展開装置を示すプロック図である。
第 5図は、 同じく道路における凹凸検出装置を示すブロック図である。
第 6図は、 同じく道路面展開法によって視点移動と、 テクスチャー貼り付けと を行う視点移動'テクスチャー貼り付け装置を示すブロック図である。
第 7図は、 同じくォプティカルフロー方式によって画像を平面展開する実施の 形態においてのブロック図である。
第 8図は、 同じく取得画像から平面展開画像を生成し、 さらに視点を移動した 斜め画像を形成する場合の概略説明図である。
第 9図は、 同じく道路面における凹凸を検出する場合を示す概略説明図である。 第 1 0図は、 同じく消失点から 0を求めるときの概略図である。
第 1 1図は、 同じく平面展開したときの異なる 0値であったときの平面展開 図例であり、 その （A) は遠近法そのままの平面展開する前、 （B ) は 値が 実際と異なっている場合、 （C) は 0の値が実際の値と同じ場合つまり 0が正 しく求められた場合である。
第 1 2図は、 同じく立体図生成装置におけるブロック図である。
第 1 3図は、 同じくオプティカルフローによって抽出される平面のイメージ図である。 第 1 4図は、 同じくオプティカルフローによって抽出される平面と、 三次元変 換されて生成された立体地図のィメ一ジを示す。
第 1 5図は、 同じく立体地図上にカメラ位置の軌跡を記述した状態のイメージ 図である。
第 1 6図は、 '同じく移動体検出立体生成装置におけるブロック図である。
第 1 7図は、 同じく立体図生成装置におけるテクスチャ一貼り付け装置のプロ ック図である。
第 1 8図は、 同じく対象物認識装置のブロック図である。
第 1 9図は、 第 1 8図の対象物認識装置の一例として、 交通量監視ビデオカメ ラで得られる映像の具体例であり、 （a ) は監視ビデオカメラ画像 （遠近画像） 、 ( b ) は本発明により変換される平面展開画像、 （c ) は本発明により認識され た対象物を示す領域分析表示である。
第 2 0図は、 第 1 8図の対象物認識装置の一例として、 交通量監視ビデオカメ 差眷ぇ用紙（規則 26) ラにおける対象物認識の処理ステップを示すフローチャートである。
第 2 1図は、 第 2 0図に示す対象物認識処理により得られた結果を集計した一 ¾¾ίであ 。
第 2 2図は、 同じく例えばバスの周りの道路を撮影する複数台のカメラを配置 する状況図である。
第 2 3図は、 同じく地図のように路面展開された映像図である。
第 2 4図は、 同じく道路の斜め画像を撮影した例えば （1 ) … ( 9 ) の 9枚 の道路画像図夫々である。
第 2 5図は、 同じく道路画像図を元に処理して得られた地図のような平面画像 図である。
第 2 6図は、 他の実施の形態を示すもので、 建築構造物の床面、 壁面等の平面 部分を斜め画像として撮影した例えば （1 ) … （1 6 ) の 1 6枚の室内画像図 夫々である。
第 2 7図は、 第 2 6図に示された画像図夫々を平面結合した合成画像図夫々で ある。 発明を実施するための最良の形態
以下、 図面を参照して本発明の実施の形態を説明する。
第 1図に示されるように、 入力装置としての C C TVカメラ又はデジタルスチ ルカメラ等のカメラ 1、 これらのカメラ 1によって撮影された斜めの映像を再生 する映像再生部 2、 画像補正部 3、 球面収差補正部 4、 また後述する式 （1 ) お よび式 ( 2 ) により斜め映像を平面図に展開する映像展開平面処理部 5、 夫々の 展開した映像を適切な方法でつなぎ合わせる展開画像結合部 6、 そのつなぎ合わ せた映像を表示する展開画像表示部 7、 そしてつなぎ合わせた映像を記録媒体に 記録する記録部 8から成るのであり、 リアルタイム処理として斜め画像を平面展 開するのである。 即ち、 リアルタイム処理としての斜め画像平面展開装置として 構成さ'れるよう、 カメラ 1より画像を入力し、 リアルタイムで映像を再生しなが ら、 画像補正部 3でカメラ 1の回転角等を補正し、 球面収差補正部 4で、 カメラ 1の球面収差及び目的にあつたように補正し、 映像展開平面処理部 5で、 遠近法 画像を地図のような平面展開図に変換して展開画像表示部 7で表示する。 さらに 必要があれば、 それらの得られた画像を展開画像結合部 6で、 複数の力メラ 1か らの映像展開処理を行った映像を結合し、 それを表示し、 記録部 8に記録するも のである。 また、 第 2図に示すように、 オフライン処理とする斜め画像平面展開装置では、 斜め画像記録済みの斜め映像再生部 1 1、 画像補正部 1 2、 映像展開平面処理部 1 3、 展開画像結合部 1 4、 展開画像表示部 1 5から成り、 通常のカメラ 1で撮 影した映像を記録してある斜め映像再生部 1 1からの映像を再生し、 画像補正部 1 2で球面収差及びカメラ回転角等を目的にあつたように補正し、 映像展開平面 処理部 1 3で地図のような平面画像に展開して展開画像表示部 1 5で表示し、 さ らに必要があれば、 その後展開画像結合部 1 4により展開した複数の画像を適切 な方法でつなぎ合わせ、 展開画像表示部 1 5でつなぎ合わせた画像を表示するの である。 さらに、 第 3図に示すように、 斜め画像平面展開装置は、 映像取得用のカメラ 側 （送信側） と、 斜め画像から分解 ·展開された平面画像を表示，記録し再構成 するモニタ側 （受信側） とを分離して設置することができる。 この場合、 第 3図 に示すように、 カメラ側 （送信側） には、 入力装置としてのカメラ 1、 映像再生 部 2、 画像補正部 3、 球面収差補正部 4、 映像展開平面処理部 5が備えられ、 モ 二夕側 （受信側） には、 展開画像結合部 6、 展開画像表示部 7、 記録部 8が備え られる。 また、 カメラ側には展開、 分解された平面画像信号をモニタ側に送信す る送信部 5 aが備えられ、 モニタ側にはカメラ側から送信された平面画像信号を 受信する受信部 6 aが備えられ、 これら送受信部 5 a、 6 aが通信回線を介して デ一夕通信可能に接続されている。 これによつて、 カメラ側で得られた動画像の 平面展開画像とカメラ位置情報等の所定情報を、 通信回線を介してモニタ側に送 信することで、 モニタ側では受信した平面展開画像に基づいて動画像を再構成す ることができ、 伝送データ量を可能な限り小さくしつつ所望の動画像を送信、 再 現することが可能となる。
なお、 第 3図は、 第 1図に示したリアルタイム処理の斜め画像平面展開装置を 分離設置したものであるが、 リアルタイム処理であるとオフライン処理であると にかかわらず分離設置することができることは勿論である。 平面展開形態としては、 平面を含む現実場面の対象を斜めから撮影した画像に 関して、 数学的演算により、 元々が平面で構成されている面を、 現実場面の平面 と比例関係 （相似形） となる平面画像として平面に展開して表示する。 これは平 面を含む場面を通常のカメラで撮影した画像、 即ち斜めから撮影した画像を、 数 学的演算により、 元々が平面で構成されている面を現実平面と相似関係となる平 面画像に変換するのであり、 例えば、 道路面であれば平面に展開して地図の画面 のように展開するというものである。
さらに、 これを結合するに際し、 上記の方法で得られた複数の平面展開画像を 結合して、 一枚の大きな平面展開画像として表現するのであり、 これは通常の力 メラで撮影した画像を平面に展開し、 その複数の平面展開画像を適切な方法によ り結合して、 一枚の大きな平面展開画像として表現することを意味する。 即ち道 路面を複数展開し、 地図のような平面展開図にしたときそれらをつなぎ合わせ一 枚の大きな平面展開画像にするというものである。 もちろん平面展開した画像で あるため、 いくらでも自由に結合できるのであり、 遠近法のままの映像ではカメ ラ位置を同一とした場合を除いては、 結合できないのである。
さらに、 複数の C C TVカメラで取得した映像による全方位表示とダイレクト 表示とを可能にすることもでき、 複数の C C TVカメラの映像を上記装置で平面 展開し、 夫々画像を結合して、 一枚の画像とし、 目的領域の全域を表示し、 必要 に応じて、 その表示された場所に対応した C C T Vカメラの斜め映像をも同時に 表示させることができるようにしてある。
即ち、 複数の C C T Vカメラの映像を上記装置で平面画像に展開し、 夫々の画 像を対応点を合わせることで結合して、 一枚の画像とし、 目的領域の全域を表示 する。 さらに、 必要に応じて、 その表示された場所に対応した C C T Vカメラの そのままの映像即ち斜め映像をも表示させることで、 監視等の目的の効果を上げ ることができるのである。 第 4図には映像を平面に展開するときの処理ブロック図を示す。 まずビデオ映 像 2 1あるいは静止画映像 2 2が、 入力画像として装置に入力されると、 その入 力時には球面収差補正、 回転補正等が補正部 23によって行なわれる。 ついで映 像平面展開処理部 24によって、 下記の式 （1) および式 (2) で、 映像平面展 開処理が行なわれる。
即ち、 ビデオ映像 2 1あるいは静止画映像 22によって得られた斜め映像を平 面画像に変換するに際し、 本発明では 0方式と称する方法によって得るものと しており、 例えば CCTVカメラ等で得られた斜め映像を、 平面画像に展開する にあたり、 斜め映像から光軸位置 0を読みとり、 カメラ高さ h、 撮影レンズの f値、 あるいはモニタ上の仮想 f値を読みとり、 目的の場所の座標を以下の式 (1) 、 (2) によって得るものとするのである。
y = v - 21/2 - - c o s (π/4 - Θ ) - c o s ( β ~ θ ) / ( f · s i n β) (1) x = u - h - c o s (β - θ) / ( f · s i n /3) (2) このような式 (1) 、 (2) によって表現される数式、 及び同じ意味を持つ数 式を用いることで、 現実の世界の対象物の位置座標や大きさを既知の情報として 与えることなく、 撮影された映像内から読みとれる情報と 0、 h、 r等の撮影 条件の情報を与えることで、 現実の世界の座標系と画像モニタ上の座標系とを関 連させて座標変換を行うこととするのである。
ただし、 平面展開座標を x、 y、 画像内座標を u、 Vとし、 0はカメラの光 軸と道路面のなす角度、 f はカメラの焦点距離、 hはカメラの高さ、 /3はカメ ラの真下から h + yの距離にある点と、 カメラを結ぶ線分と道路面のなす角度、 Vは力メラの映写面である C C D面上の原点から縦方向の座標、 uは C C D面上 の原点から横方向の座標である。 また、 yは道路面におけるカメラの真下から h 進んだ点を原点としてそこからさらに光軸方向に進んだ距離即ち座標、 Xは道路 面における横方向の距離即ち座標である。
したが'つて、 上記の式 （1) 、 （2) なる数式を用いて、 道路面を撮影した遠 近法の映像を、 地図のような平面画像に変換し展開するのである。
このようにして変換展開された平面画像は、 平面展開画像表示 ·記録部 2 5で 表示、 記録される。 次に遠近法の画像を平面に展開し、 その平面展開画像をいく つかつなぐのが展開画像結合部 26であり、 この展開画像結合部 26によって大 画面の平面展開画像が得られる。 これを表示し記録するのが結合展開画像表示- 記録部 2 7である。 次に、 展開した映像から、 逆に任意視点を指定し、 任意視点を生成するため、 これを任意視点生成部 28で行なう。 そして逆展開変換処理部 29では、 上記の 式 （1) 及び式 (2) の逆変換式である下記の式 （3) 及び式 （4) により、 も との視点とは視点を変えた遠近法映像を得ることができるようにしてあり、 これ を表示、 記録するのが逆展開画像表示 ·記録部 30である。
即ち逆変換する式は以下の通りである。 .
v = y - f - s i n i3/ (21/2 - h - c o s (ττ/4 - Θ) - c o s (β― θ) )
(3) u = x - f - s i η β/ ( · c o s (β- θ) ) (4) ただし、 hはカメラの道路面からの高さ、 Θはカメラの光軸と道路面のなす 角度、 f はカメラの焦点距離、 /3はカメラの真下から h進んだ点から yだけ先 へ進んだ点とカメラのレンズとを結ぶ線分と、 道路面との成す角度、 Xはカメラ の光軸を道路面に正射影して得られる線分から垂直方向すなわちカメラから見て 横方向の座標、 yは力メラの真下から h進んだ点を原点としたときの光軸方向の 座標、 Vはカメラにおける映写面である CCD面上の縦方向の座標、 uは CCD 面上の横方向の座標である。
なお、 逆変換式はこれらの式 （3) 及び （4) のみでなく、 他の同様な遠近法 と平面とを関係づける数式であっても良いものである。 第 5図には、 第 4図の一部のブロック図に新たなプロック図を付加している。 即ち、 ビデオ映像 2 1及び静止画映像 22を入力し、 式 （1) 及び式 （2) に より、 遠近法画像を平面画像に展開するのであり、 これを映像平面展開処理部 2 4で行なう。 展開した画像を比較するのが展開画像比較部 3 1であり、 この展開 画像比較部 3 1では、 異なった視点からの映像を比較することにより、 道路面の 凹凸を求めるのであり、 凹凸面生成部 32によって処理するようになっている。 第 6図においては、 道路面展開を行なうのみならず、 道路脇の建物や街路樹、 ガードレール等も平面に夫々展開し、 任意視点画像に変換し、 あるいは建物にテ クスチヤ一を貼り付けたり、 さらには実写テクスチャーを用いた 3 D C Gを作つ たりするよう、 道路面展開法による視点移動と、 テクスチャー貼り付けとを行う 構成が示されている。
即ち、 まず、 ビデオ映像入力部 4 1より入力した画像から道路面平面展開部 4 2で道路面の平面展開図を得る一方、 横立面平面展開部 4 3ではビルの壁面等の 道路脇の部分を平面図に展開する。 その後ォプティカルフローマップ生成部 4 4 でオプティカルフローマップを生成し、 次のオプティカルフローマップ選択抽出 部 4 5で目的の部分を選択抽出する。 それにより、 縁石面抽出部 4 6では道路の 縁石を抽出し、 ビル面抽出部 4 7ではビル壁面等を抽出する。 また歩道面展開部 4 8により歩道面展開を行ない、 前述の道路面平面展開部 4 2からのデータと突 き合わせ、 道路水平面統合部 4 9により歩道部分と車道部分とが組み合わされる。 一方、 オプティカルフローマップ選択抽出部 4 5からは街路樹等平面抽出部 5 0により街路樹の抽出を行ない、 ビル面抽出、 歩道面展開部からのデータと道路 垂直面統合部 5 1であわせることにより、 道路脇にある垂直成分の面の構成がで きる。 なお、 道路水平面統合部 4 9、 道路垂直面統合部 5 1においての画像の形 成に際し、 目的に沿った部分画像の削除、 挿入等が画像処理部 5 8を通過するこ とで行われるのであり、 所定の必要とする各種の画像が統合的に作成、 表示され るのである。
次いで、 3 D C G位置あわせ部 5 2により位置あわせを行ない、 ビル等垂直面 テクスチャー貼り付け部 5 3で垂直面のテクスチャ一を貼り付け、 実写テクスチ ヤーを貼り付けた 3 D C Gが実写テクスチャー 3 D C G生成部 5 4で構成される。 また、 道路水平面統合部 4 9からのデータと道路垂直面統合部 5 1からのデータ とを道路垂直水平面統合部 5 5で組み合わせ、 統合し構成することにより、 水平 面と垂直面をもった立体図 （立体地図） が得られる。 それを任意視点遠近法表示 部 5 6で、 任意視点からの画像に変換し、 視点を変えた任意視点からの遠近法画 像の表示がなされる。
なお、 オプティカルフローマップ生成部 4 4、 オプティカルフロ一マップ選択 抽出部 4 5によって、 移動速度方向検出部 5 7で物体 （対象平面） の移動方向や 移動速度 ·移動距離、 また、 撮影カメラの移動方向や移動速度 ·移動距離を検出 するようにしてある。 第 7図には本発明装置を構成する一例を示してあり、 映像入力部 6 1は C C T Vカメラ又はデジ夕ルスチルカメラ等のカメラによって取得した実写の映像を入 力する部分である。
B央像記録部 6 2は入力した映像を記録する部分、 映像再生部 6 3は記録した画 像を再生する部分、 画像補正部 6 4は球面収差等のレンズによる画像のゆがみを 補正するための座標変換を行ない、 カメラ回転角を補正するために、 目的の平面 映像を画像内の平面に方向を合わせる部分、 映像展開平面処理部 6 5は前記した 式 （1 ) 及び （2 ) を元に数学的演算により遠近法映像から平面図に展開して生 成する部分、 オプティカルフローマップ生成部 6 6は展開された映像のォプティ カルフローを生成してそれを図示する部分、 オプティカルフロー選択抽出部 6 7 はォプティカルフ口一マップから目的のォプティカルフローのみを抽出する部分、 画像処理部 6 8では画像の中から必要な対象物だけを残し不必要な対象物画像を 削除し、 さらに新しい映像を挿入する部分である。 そして、 展開画像結合部 6 9 は展開され処理された個々の画像を結合して一枚の連続した画像を生成する部分、 生成された展開画像は、 表示部 7 0によって表示され、 記録部 7 1によって記録 される。 さらに任意視点画像生成部 7 2は任意視点に逆変換して遠近法画像とし て表示する部分、 展開画像比較部 7 3は複数の同一地点の展開画像を比較する部 分、 画像比較部 7 4は演算により路面凹凸を抽出する部分である。
これらにより、 夫々の目的に応じた例えば遠近法画像道路面を平面画像に展開 したり、 遠近法で表示されたビル壁面画像を平面画像に展開したり、 さらにはビ ル壁面画像とガードレール画像とを分離したり、 平面画像に変換した後に視点を 変えて再度遠近法画像に逆変換したり、 あるいはテクスチャ一を貼り付けた道路 面、 ビル面等を表示したり、 あるいは逆変換により遠近法画像に変換したり、 さ らには異なる視点からの画像を組み合わせた視差画像を得て、 それから道路面の 凹凸を計算する等の処理を行なうことができるようにしてある。 第 8図においては視点移動、 移動体削除等を行うときの手順を示してあり、 図 において、 最上部に示してあるのが、 ある視点から見た道路面の遠近法映像であ る。 それを平面展開する三種類の矢印で表してあるように、 左から順番に、 左面 平面展開、 道路面平面展開、 右面平面展開を行なう。 その下に四角がいくつも重 ねて書かれているが、 これは多数の画面について、 上述したように、 遠近法映像 を三種類の平面に展開するものである。
そして、 多数の画像について、 三つの平面に展開した後、 道路面にある移動体、 例えば遠近法ではその先が見えなくなつてしまう前方車を取り除く処理を行なつ て、 道路面画像からは車の画像が除去された平面図を得ることができる。 結合合 成の矢印の下方には、 夫々三つの平面に展開された、 左面平面展開画像、 道路面 平面展開画像、 右面平面展開画像が得られる。 左面平面展開画像、 右面平面展開 画像においてはオプティカルフローの計算により、 街路樹、 ガードレール、 ビル の壁面等を分離する。
これにより、 道路面は地図のように、 またその両脇の面は壁を開いたような平 面として、 この第 8図に示すように表示される。
最後に Θ方式逆変換によってこれの矢印に示すように、 視点を変えた後に逆 変換をすることにより、 この第 8図の最下部に書いた図のように最初とは視点を 変えた遠近法の画像が得られることになる。 この際の逆変換の式は、 前記の式 ( 3 ) 及び （4 ) に示されているものである。 第 9図においては道路面における凹凸面の検出の手順を示してある。
即ち、 映像 Aでは右車線前遠方の道路面上に穴があいており、 B央像 Bでは同様 に右車線前近方に穴があいているが、 映像上でカメラが移動しているために、 映 像 Bでの穴の方がカメラに近い。 それを路面展開すると、 視点変更 1、 視点変更 2の矢印で示した先の画像のように穴の位置が異なって現れる。 この二つの画像 から視差を利用して、 この穴の立体的様子を合成するのである。 カメラを前後に 2台取り付けて、 夫々の映像の対応点の視差又はオプティカルフローを取り出し ても同じことである。
このようにして道路面の凹凸部分を検出でるのであり、 この第 9図における最 下図に描いてあるように、 穴の深さ等を計測することができる。
この第 9図では例えば穴の深さの例をあげているが、 穴の深さの他に道路工事 後のアスファルトの盛り上がり部分、 あるいは車の走行により生じたわだち等を 測定することができる。
なお、 現状で世の中にある道路面の凹凸を測定する装置は、 レーザを用いて測 定するものが例としてあげられるが、 その価格は相当に高価である。 本発明方式 では以上のようにソフ卜ウェアで映像処理をすることにより、 ¾路面の凹凸を廉 価な方法で測定することができる。 第 1 0図においては、 0を求める際の具体的な方法が示されている。 現実世 界 （実写映像） での平行線の部分を画像内から経験的に探し出し、 その平行線の 延長は画像内では交点として表示されるから、 その交点のつくる目的平面に平行 な面である平面 aと、 光軸点を含む目的平面に平行な面である平面 bとの距離を dとし、 仮想焦点距離を f とし、 これらの dと f との比から、 0 = a r c T a n ( d / f ) として、 0を求めるものである。
ここで、 仮想焦点距離を求める一例を示すと、 前もって現実空間における任意 の対象物を見込む角と、 表示された画像内の同一対象物を見込む角が同じになる ような光軸上の距離を表示画像上で求めておけば良く、 このときの単位をピクセ ルで表せば、 レンズを含むカメラ系に固有の値となり、 一度求めておけば良いこ とになる。 さらには現実世界の対象物の平行線部分を探し、 それが画像内では延 長線上で交点を持つ交差線として表現されているから、 この交差線が平面展開し たときに、 平行となるように 0を選択することで Θを求め、 さらに 0の微調整 をすることもできる。 第 1 1図においては遠近法の画像を平面展開することにより、 0の実際の値 を測定する方法を示してある。
この第 1 1図においての （A) 図は遠近法の画像そのままを表示し、 （B) 図 では 0をある一定値にして平面展開を行なったときの様子である。 このとき現 実世界の平行線即ち道路面は （A) 図のように遠近法では平行線とはならずに交 点を持つ線分となっている。 さらに平面展開をしたときに、 0の値が実際の値 と異なるときには、 （B) 図のように、 平行線となるべき道路の両側の線分が平 行線とはならない。 それに対して、 0が正しく求められた時には （C ) 図のよ うに、 道路の両側の線分が辺面展開図上で平行線となるから、 このときが正しく 0が求められたときなので、 これによつて 0を求めることができる。 次に、 第 1 2図乃至第 1 8図を参照して立体地図を作成する場合について説明 する。 ここでは、 道路を走行する車両に積載したビデオカメラからほぼ進行方向 に向けて撮影した映像から立体地図を生成する場合を例として説明する。
第 1 2図において、 動画映像入力部 8 1は道路を走行する車両に積載したビデ 才力メラからほぼ進行方向に向けて撮影した映像を入力するのであり、 取得され た動画像を複数平面の画像に複数平面分解部 8 2によって分解する。 そして、 基 準平面指定部 8 3では、 映像は複数の平面から構成されていると解釈し、 映像の 中に複数の平面を設定するのであり、 道路を走行している場合では、 道路面を基 準平面と設定する。
一方、 任意目的平面指定部 8 4は、 例えば複数の街路灯等は規則的に設置され ていることから一つの平面内にあると考えて街路灯平面を設定し、 同様に縁石平 面、 街路樹平面、 ビル全面平面等の複数の平面を設定できるようにしてある。 第 1 3図に、 オプティカルフローによって抽出される平面のイメージを示す。 同図に示すように、 カメラの標準位置から各対象物が属する平面の垂直距離を Dとすると、 複数の並行平面群としてすベての平面を分離、 抽出することができ る。 このとき、 同図に示す街路樹のように、 曲面状の対象物については、 一つの 対象物であっても一つの平面には乗らない点や面を有する曲面状の対象物につい ては、 曲面を複数の平面の集まりとして扱い、 基準となる平面 （同図では街路樹 ①） からの距離を与えることで、 その平面に属する一つの対象物の情報として 捉えることができる。
また、 θ、 hの検出部 8 5は、 道路面と光軸のなす角度 0とカメラ系光学中 心と道路面の距離 hとを画像中から読みとるのであり、 これを自動的に読みとる には前記の式 （1 ) 及び （2 ) における f と hとを与えることでの交差線が平面 展開されたときに平行となるように設定されたり、 前記の平面 a , bに関係する d , f の比から求められたりする 0によるものであり、 この 0は実測可能な場 合は実測で読みとつてもよいものである。 座標変換部 8 6は、 0と hとを前記 の式 （1 ) 及び （2 ) による平面展開変換式に代入して演算し、 画像の平面展開 部 8 7によって平面展開画像を取得するのである。 O p t . F (ォプティカルフロー） 値の演算部 8 8は、 映像が動画であること から画像を小領域に分割し、 その移動をマッチングや相関法によって画像各部の オプティカルフローを演算によって求めるのであり、 O p t . F (オプティカル フロー） マップ生成部 8 9は、 上記演算結果を画像マップとして表示するのであ る。
基準平面画像抽出部 9 0は、 道路面を示す固有のオプティカルフロー値のみに よる基準平面画像を抽出することでそれを得るようになつている。 即ち平面展開 された道路面においては、 同じ平面内の相対速度は常に一定であるからォプティ カルフローは同一であり、 簡単に道路面が抽出できるのである。 なお、 一般の遠 近法的に撮影された映像では、 距離によって画像内での同一平面であっても相対 速度が変ィヒするので、 固有のォプティカルフロー値では基準面を抽出できないだ けでなく、 距離によって大きさも変化するので比較も単純ではないのである。 平行平面抽出部 9 1は、 上記基準平面を抽出すると同様に、 基準平面とは異な るオプティカルフロー値として得られるようにしてある。 基準平面に平行な平面 は、 基準平面とその固有値を異にするだけなので、 平行平面を基準平面から分離 して得ることができるものである。
平面画像構成部 9 2は、 夫々得られた平面をそのまま画像平面として扱い、 設 定された平面内での画像を取得できるようにしてある。 立体地図の生成部 9 3は、 夫々の平行平面を三次元座標で組み立てることで、 基準平面とそれに平行な平面 の構成による三次元地図を生成するものである。 ただし、 基準平面とそれに平行 な平面だけでは全ての対象物を表現できないので、 基準平面とは異なる別の平面 をも同じように平面画像構成する必要がある。
また、 最初に設定した複数の平面の一つを、 基準平面と同じように扱い、 同じ プロセスで立体地図化して生成することができる。 ここで 0と hについては 夫々の平面に変換しなければならないので、 得られた基準平面の三次元座標から Θと hを夫々の任意平面に変換する必要がある。 即ち、 指定平面における S、 h値の変換及び指定部 9 5によって、 得られた基準平面の三次元画像から任意平 面の位置を算出するのであり、 その算出は簡易的には手動で変換することも可能 である。 同様にして目的とする画像を、 Θ r指定部 （0、 h指定部） 9 6を 経て同様な処理を行って、 目的平面画像抽出部 9 7を介して立体地図をその生成 部 9 3によって生成するのである。
第 1 4図に、 オプティカルフローによって抽出される平面と、 三次元変換され て生成された立体地図のイメージを示す。 さらに、 上述した θ、 hの検出部 8 5、 座標変換部 8 6、 画像の平面展開部 8 7の処理により、 映像を取得するカメラの位置や方向を検出し、 再構成された 立体地図上に記述しプロットすることができる。 即ち、 Θ、 hの検出部 8 5、 座標変換部 8 6、 画像の平面展開部 8 7の処理により、 カメラの光軸と道路面等 の目的平面とのなす角を与え、 画像内に座標原点を指定し、 変換式により平面展 開された画像の中に、 又は目的平面の座標の中に、 演算で求められたカメラ位置 とカメラ方向又はその何れかを記述することができる。 前記の式 （1 ) 及び ( 2 ) は、 カメラ光軸と道路面等の目的平面に、 カメラの焦点距離と、 道路面と カメラの光軸がなす角と、 座標原点を与えることで、 演算してカメラで取得した 道路画像の平面展開画像を得ることができ、 その際に、 変換式の条件からカメラ 位置とカメラ方向が演算で求められる。 これにより、 変換画像内にカメラ位置や カメラ方向を検出し、 立体地図上などにプロットすることができ。
また、 移動するカメラにより撮影され平面展開された複数の画像を結合して一 枚の画像を生成し、 表現されたその結合画像を新たな共通座標系として、 その新 たな座標系の中に、 前記の式 （1 ) 及び （2 ) で求められたカメラ位置とカメラ 方向を、 次々に記述することもできる。 例えば、 車載カメラからの映像を平面展 開して、 各フレーム画像内の目的平面上の対応点を自動又は手動で探索し、 対応 点を一致させるように結合して目的平面の結合画像を生成し、 同一の座標系に統 合して表示する。 そして、 その共通座標系の中にカメラ位置とカメラ方向を次々 に検出し、 その位置や方向、 軌跡をプロットしていくことができる。
第 1 5図に、 立体地図上にカメラ位置の軌跡を記述した状態のイメージを示す。 このようにして、 カメラ位置や方向を検出することにより、 複数画像のカメラ 位置から対象物の位置を特定することができ、 平面展開画像から立体地図や三次 元画像を再構成できる。 従って、 車載カメラ等で撮影するだけで走行した範囲の 立体地図を自動的に生成することができる。 また、 このようにカメラ位置や方向 を検出できることにより、 平面展開画像から再構成された立体地図や三次元画像 上で力メラが移動する位置や方向をプロットして記述することができる。 そして、 以上のようにして立体地図が生成できることにより、 遠近法画像を平 面分解した複数の画像とカメラの位置情報を生成し、 当該情報から所望の三次元 画像を再構成することができることから、 平面分解画像とカメラ位置情報を送信 することにより、 受信側でそれを再構成して元の動画像を再現することが可能と なる。
従来、 動画像の圧縮方法としては、 M P E G 2方式に代表されるように、 動画 中の動きのある部分を分離し、 その動きを予測して、 信号の冗長をなくすことを 主とした圧縮方法が知られている。 しかし、 この種の従来方法は、 静止背景上に 移動する物体がある場合のような、 部分的に動きに関しては効果的であつたが、 カメラ自体が移動するような動画像の場合には、 画像全体が動き成分を持ち、 か つ、 移動速度も同一でないため、 動画のすべてを更新しなければならなくなり、 圧縮効果は著しく低下する。
上述したように、 本発明に係る立体地図生成では、 動画像を解析し、 三次元的 平面から構成される画像として取り扱われる。 画像の一般的性質として、 画像空 間は複数の平面によって囲まれていることから、 本装置によりそれぞれの平面を 抽出し、 それらの平面を再構成することで、 画像を再構築することができる。 そ して、 平面は三次元的に定義されるので、 再構成された平面は三次元空間内に配 置されるので、 最終画像は三次元画像となる。 従って、 カメラが一定方向に移動 する限りカメラと平面との相対速度は一定となり、 各平面毎に移動速読が固有に 求められることになる。 力メラが等速運動する範囲では各平面は固有の速度成分 となり、 平面の数だけの速度を定義すればよい。
このようにすることで、 画像は圧縮され、 受信側では各平面を定義された速度 で移動させることで、 元の動画像を再現できる。 しかも、 画像は三次元情報を含 むことになるので、 三次元的に表現することもできる。 .
以上により、 本発明では、 カメラ自体が移動することにより画像全体が動き成 分を持ち、 かつ画像内の各部分で異なる動き速度成分を持つ画像に関しても十分 な圧縮効果を持たせることが可能となり、 しかも、 画像圧縮時に画像を三次元的 に角军析するため、 結果として動画画像から三次元画像を抽出できるようになる。 第 1 6図には別の実施の形態が示されており、 第 1 2図に示した実施の形態に おけると同一部分は同一の符号を付すことでその詳細な説明は省略してある。 ここで、 入力画像に先行車両や対向車両等の移動体が入っている場合は、 基準 平面のオプティカルフローが基準平面ともそれと平行な O p t . F値とも異なる 値をとる。 従って〇p t . F (オプティカルフ口一) マップ生成部 8 9によって 形成された O p t . Fマップにおいて、 道路面 （基準面） 上に存在している異常 値である 0 p t . F値を検出すればその部分は道路面上にある移動体の領域であ ることになる。 もし移動体を削除する目的であれば、 この移動体領域を移動体 O p t . F (オプティカルフロー） 抽出部 1 0 1、 移動体部分抽出部 1 0 2によつ て抽出削除し、 その削除領域を前後の重複する展開画像から補完すればよい。 な お、 図中符号 1 0 3は、 移動体の相対速度を簡易に抽出する簡易移動体相対速度 抽出部である。
さらにまた、 移動体自身を抽出してその三次元形状を再現し、 速度を計測する 目的であれば、 移動体平面指定部 1 0 5を経て第 1 6図の右側のプロセス処理を 行うのである。 ただし、 平面展開された基準平面上で求めた移動体領域の O p t . F値全体がそのまま車両等の移動体固有の O p t . F値を意味するものではない のであり、 移動体の三次元形状と O p t . F値を求めるには、 さらに移動体各面 O p t . F (オプティカルフロー） 抽出部 1 0 6、 移動体各平面抽出部 1 0 7等 で移動体を複数の平面に分解し、 移動体を構成する夫々の平面の平面展開を同じ プロセスで演算することで、 移動体平面画像構成部 1 0 8によって移動体の三次 元形状を求めることができ、 また、 移動体速度べクトル抽出部 1 0 9によって移 動体の速度ベクトルを求めることができる。 さらには、 それを移動体を含む立体 地図の生成部 1 1 0によって、 立体地図の中に取り込むことができるようにして ある。 次に、 第 1 7図を参照して、 立体地図生成の応用例における実施の形態として の取得された画像のテクスチャーを C G (コンピュータグラフィックス） 画像等 に貼り付ける方法について説明する。
即ち、 平面展開された画像が三次元座標を取得したこと、 さらに目的の平面内 の画像のみが抽出されたことで、 撮影時には例えば一部が街路樹の陰となってい るビル壁面のテクスチャーが、 街路樹の画像を削除した形で取得できること等か ら、 道路面のテクスチャーはもちろんのこと、 目的のビル壁面を構成する平面画 像を C G画像と位置あわせして貼り付けることで、 他の平面画像と重なることな く、 C G画像にビデオ画像のビル壁面のテクスチャ一や街路樹や、 ガードレール 等を貼り付けることできる。
第 1 7図において、 第 1 2図に示された実施の形態における同一部分は同一符 号によって示されることでその詳細な説明は省略されている。 O p t . F (ォプ ティカルフロー） マップ生成部 8 9から平行平面画像抽出部 1 1 1によって平行 平面画像を抽出する一方、 目的平面画像抽出部 9 7からの抽出された目的とする 平面画像をテクスチャー信号発生部 1 1 2を経てテクスチャー信号を取得してお く。 また、 前記平面画像構成部 9 2から三次元座標取得部 1 1 3によって三次元 座標を取得して、 C G画像との座標を合致させるように C G座標合わせ部 1 1 4 にて合わせ、 テクスチャー信号発生部 1 1 2からの信号と共に C Gへの貼り付け 部 1 1 5によってテクスチャ一を貼り付けた合成画像を得るようにするのである。 第 1 8図においては、 立体地図を認識された部品によって構成する場合におけ る実施の形態につき示されており、 第 1 2図乃至第 1 7図によって示された実施 の形態における同一構成については、 同一符号が付されることでその詳細な説明 は省略されている。
即ち、 夫々の平面展開された平面及び仮想平面上での対象物に着目すれば、 画 像内の対象物のオプティカルフローはカメラと対象物との相対速度にのみ依存す るので、 容易に対象物の追跡が可能となるのであり、 また、 移動体であっても速 度が抽出できるのでそれの追跡が容易となっているのである。
対象物の追跡ができれば、 対象物の時間変化に対する位置や形状変化を認識の 手がかりとして、 画像認識が容易となり、 また追跡によらずとも、 画像内の対象 物を直接比較によって三次元 C Gモデルに置き換えることができる。 そのため、 前記平面画像構成部 9 2によって形成された画像中から、 対象物選択追跡部 1 2 1によってその画面中に存する特定のある対象物を選択抽出し、 それを追跡する のであり、 対象物の属性その他の各種情報を認識する対象物の認識部 1 2 2を経 て、 対象物の属性を付加する属性付加部 1 2 3に入力されるのである。
一方、 前記移動体平面画像構成部 1 0 8、 移動体速度べクトル抽出部 1 0 9に よって形成された画像中から、 移動体選択追跡部 1 2 4によってその画面中に存 する特定のある移動体を選択抽出し、 それを追跡するのであり、 移動体の属性そ の他の各種情報を認識する移動体対象物の認識部 1 2 5を経て、 対象物の属性を 付加する属性付加部 1 2 6に入力されるのである。 夫々の属性付加部 1 2 3， 1 2 6から認識対象物で構成する立体地図の生成部 1 2 7によって立体地図を生成 するのである。 以下、 平面展開画像を利用した対象物の認識、 追跡処理を交通量監視ビデオ力 メラの画像解析に適用した具体例を、 第 1 9図乃至第 2 1図を参照しつつ説明す る。
第 1 9図は、 交通量監視ビデオカメラで得られる映像の具体例であり、 同図 ( a ) は監視ビデオカメラ画像 （遠近画像） 、 （b ) は本発明により変換される 平面展開画像、 （C ) は本発明により認識された対象物を示す領域分析表示であ る。
第 2 0図は、 交通量監視ビデオカメラにおける対象物認識の処理ステップを示 すフローチャートである。 また、 第 2 1図は、 対象物認識により得られた結果を 集計した一覧表である。
これらの図に示す例では、 交通量監視ビデオカメラ画像から、 画像認識により 通過車両の車種、 車の色、 交通量、 速度、 加速度、 監視ビデオカメラ画像内の車 両の通行軌跡を求める場合となっている。
まず、 交通量監視ビデオ力メラで得られる監視ビデオ力メラ画像は、 第 1 9図 ( a ) に示すように、 遠近画像 （斜め画像） であり、 対象となる車両の大きさや 速度は均一ではない。
この遠近画像をデジタル化し、 平面展開して本発明の平面展開画像を得る。 得 られた平面展開図は第 1 9図 （b ) に示すようになる。 この平面展開画像では、 道路面を平面に展開するようパラメータ f 、 0を決定しているので、 道路面で は、 車両の幅、 長さ等、 車両の高さ方向を除けば画像内のどの位置でもスケール は、 均一であり、 計測可能である。 従って、 この平面展開画像によって、 交通量 監視のための画像認識を行うことができる。
従来は、 遠近画像 （第 1 9図 （a ) 参照） で車両認識認識を行い、 車両認識ェ リアを画面内の一部の範囲に限定しそこを通過する車両を検出、 計測することが 一般的であった。 本発明では、 遠近画像を平面展開できるので、 平面展開画像 (第 1 9図'（b ) 参照） を利用することで、 画像の道路面全体が車両認識範囲と して利用できるようになる。
第 1 9図 （b ) に示す例では、 平面展開画像の上部 （上側） で捉えられた移動 体 （車両） は、 進行方向である画像下部 （下側） へ移動する。 このとき、 平面展 開画像内では車両画像の大きさは変わらないので、 同一車両に対して複数の画像 を取得することができる。 例えば、 平面展開画像の上部から下部へ移動する移動 体画像が約 3 0コマ分の画像データとして取得できる。
そして、 この複数の画像を利用することで、 詳細な画像分析 （領域分析） が行 え、 例えば、 車種の特定精度を向上させることができ、 正確な画像認識が可能と なる。 第 1 9図 （c ) に領域分析表示を示す。
平面展開画像では、 例えば、 認識精度を上げるために、 画像の加算平均や画像 処理した輪郭画像の加算平均等の処理が可能になり、 画像処理上非常に効果的で ある。 また、 平面展開画像上では、 道路面のどの部分でもスケールが同一である ため位置情報が容易に取得でき、 認識と併せて移動体の移動軌跡を追跡できる。 また、 このようにスケールが同一であることから、 車両の位置と移動速度 （一秒 間のビデオコマ数から計算） は、 道路面のどこでも計測可能であり、 加速度、 時 速は容易に計算可能である。 第 2 0図を参照して、 以上の平面展開技術を利用した交通量認識の処理の流れ を、 より詳細に説明する。
まず、 撮影された遠近画像がデジタル化され （第 2 0図の 2 0 1 ) 、 遠近画像 から平面展開画像が作成される （同 2 0 2 ) 。
そして、 平面展開画像内で移動体領域が検出され、 候補領域を背景画像と現在 画像の比較演算が行われて候補領域が作成される （同 2 0 3 ) 。 候補領域は、 背 景画像との画像演算で画像処理され、 車両の検出上、 独立した面積の小さな領域 が除去され、 残った領域の膨張結合により車両候補の画像領域が特定される。 ま た、 背景画像は、 カルマンフィル夕等を用いて更新が行われる （同 2 0 3 ) 。 特定された候補領域は、 画像処理の閾値を変える等の処理が行われ、 詳細に分 析される （同 2 0 4 ) 。 また、 車両候補領域は、 平面展開により移動量の予測が 可能であるので、 車両存在領域画像を取得する際に、 車両の存在領域を予測し、 画像の大きさ、 位置ずれ等の形状修正、 調整が行われ、 使用する対応領域が分析、 決定される （同 2 0 5 ) 。
決定された対応領域は、 その位置情報とともにデ一夕ベースに登録される （同
2 0 6 ) 。 その後、 データベースに登録された画像を利用して、 加算平均画像が 作成される （同 2 0 7 ) 。
そして、 この加算平均画像を利用して、 車種判定が行われ （同 2 0 8 ) 、 認識 結果とともにデータベースに登録される （同 2 0 9 ) 。
データベースに登録される情報としては種々のものがあり、 例えば、 第 2 1図 に示すように、 車両 I D、 通過時刻 （Passed Time) 、 平均時速 （Speed) 、 加速 度 （Acc) 、 車種 (Type) 、 色 （Color) など、 車両認識に必要となる各種項目の 情報が登録される。 勿論、 第 2 1図に示した項目に限定されず、 他の情報を登録 することもでき、 例えば、 上記項目に加えて、 車両加算平均画像や車両の移動軌 跡などを登録することもできる。 なお、 画像内の対象物を直接比較により三次元 C Gモデルに置き換えるには、 例えば特願平 1 1一 9 7 5 6 2号， 特願 2 0 0 0— 1 9 0 7 2 5 , 特願 2 0 0 2 - 1 4 6 8 7 4等の出願で明らかにされている方法、 装置等によるのであり、 例 えば、 対象物を認識し、 特定し、 固定し、 追跡が可能となり、 対象物を三次元 C Gモデルに置き換えることが可能となる。 その方法、 装置の概略は、 対象物に関 して取得した対象物情報をこの対象物に対応して予め登録されている情報コード に変換し、 その情報コードを送信あるいは出力する情報コード変換装置と、 この 情報コード変換装置からの情報コードが受信あるいは入力されることで、 この情 報コードに対応して予め登録されている再現対象物情報に変換する再現変換装置 とを備えたものである。 また、 所要の対象物に関する情報を入力する情報入力手 段と、 予め作成した各種対象物ないしその部分およびそれらの属性等に関する情 報と、 それらの情報を夫々コード化したデータとを蓄積してデータベースを形成 した第 1の部品庫と、 前記情報入力手段に入力された情報と前記第 1の部品庫に 蓄積された情報とを比較対照して対応する情報に関するデータを選択して出力す る情報コード変換装置と、 前記第 1の部品庫と同様にデータベースを形成した第 2の部品庫と、 前記情報コード変換装置から出力されたデータを前記第 2の部品 庫に蓄積されたデータと比較対照して対応する対象物を再現する情報を選択する と共に、 この対象物を再現する情報に基づいて所要の出力手段により対象物を再 現出力する情報再現変換装置とから構成したものである。 さらには、 外界を一又 は複数のカメラで撮影したビデオ映像の画像表示上において任意の位置の一又は 複数の対象物を名称や属性で指定するか、 あるいはマウスで四角く囲うか、 一点 位置をクリックするか、 若しくはライトペンや夕ツチパネルで指定することで、 当該対象物周囲の存在を除外しつつ上記カメラと当該対象物との相対角度や方向 の変化、 及び距離の変化を含めて当該対象物を追跡しながら当該対象物の各画像 フレームの特徴、 若しくは当該対象物の各構成部品の特徴を時系列的に順次に検 出し、 力 ^つ各種複数の特徴に関する画像データが豊富に保存されたデータベース から当該対象物の各画像フレームの特徴、 若しくは各構成部品の特徴の連続的な 変化にも対応関係のある画像フレーム、 乃至特徴の画像デー夕を順次に検索し、 この検索結果に対応してパターンマッチングのとれた当該対象物に対応する 2次 元乃至 3次元形状を含む再現画像を時系列的な変化毎に順次に構成するとともに、 当該再現画像を含む各画像フレーム、 若しくは当該特徴の画像データを上記画像 表示上、 若しくは通信回線等を介し他の画像表示上の所要の領域上に所要の大き さ基準の設定に符合させ動画若しくは連続的な静止画の一群として対比的に順次 に表示し、 かつ必要に応じ当該再現画像に付随乃至生成した名称や属性データを も所要の領域に表示することである。
こうすることで、 夫々の対象物に前もつて用意していた属性を三次元 C Gモデ ルに付加することで、 置き換えた対象物の三次元 C Gモデルを結合集積すること によって立体地図を構成することができ、 さらに上記テクスチャー貼り付けによ つて、 対象物の三次元 C Gモデルに実写テクスチャ一を貼り付けることが可能と なるのである。 また、 第 2 2図乃至第 2 7図に示す実施の形態にあっては、 例えば各種の乗り 物等の移動体における周囲画像を取得できるように、 移動方向の連続結合を可能 とするものである。 即ち移動する車両や航空機や船舶等にカメラを積載して撮影 することで得られた移動方向の映像を平面展開して、 連続結合して一枚の画像と するのである。 これは移動する車両や航空機や船舶等にカメラを搭載して、 それ 力 ^斜め画像を順次撮影し、 例えば道路に沿って道路映像を撮影し、 それを平面 展開し、 つなぎ合わせ一枚の道路映像を得るというものである。
具体的に、 第 2 2図に示すように例えば乗り物としてのバス 2 0 1の周りの道 路を撮影するカメラの状況を説明すると、 この場合には 6台のカメラが用いてあ るが、 必要によってはさらに台数を増やしても良い。 バス 2 0 1の前方を撮影す る第 1カメラ 2 0 1 Aをバス 2 0 1前部に、 後方を撮影する第 2カメラ 2 0 1 B をバス 2 0 1後部に、 バス 2 0 1の右側前方を撮影する第 3カメラ 2 0 1 Cをバ ス右側後部に、 バス 2 0 1の左側前方を撮影する第 4カメラ 2 0 1 Dをバス 2 0 1左側後部に、 パス 2 0 1の右側後方を撮影する第 5カメラ 2 0 1 Eをバス 2 0 1右側前部に、 バス 2 0 1の左側後方を撮影する第 6カメラ 2 0 1 Fをバス 2 0 1左側前部に備え、 それらのカメラ 2 0 1 A…の撮影する範囲を扇形の図で示 してある。 このようにして 6種類の道路面の映像が遠近法で撮影されるが、 それ を前記の式 （1 ) 及び （2 ) により、 地図のような平面画像に展開するのであり、 その際、 映像上の座標 （u， V ) は、 地図上に変換した座標 （X , y ) に変換さ れる。
このようにして、 バス 2 0 1の周りを撮影して得られた遠近法での映像は、 地 図のような道路面の映像に変換され、 第 2 3図に示すようになり、 バス 2 0 1の 周りの地図のような道路面を表示することができるわけである。 さらにこれらの 平面展開画像をバス 2 0 1の進行方向にどこまでも結合すれば、 地図ができあが ることになる。 その具体的な例を第 2 4図及び第 2 5図に示すと、 第 2 4図にはその （1 ) … （9 ) までの 9枚の道路の斜め画像がある。 これを前記の式 （1 ) 及び ( 2 ) により、 地図のような平面画像に展開し、 そしてそれをつなぎ合わせ一本 の道路として地図のように表示したのが第 2 5図である。 これが通常のカメラで 撮影した画像即ち斜め画像の平面展開の例、 及び平面展開画像の結合の例である。 このとき、 画像形成に不要な移動体画像があれば、 それを削除することもでき、 重複する対象物を一部含む複数の画像を結合する際に、 移動体が写っている場合 にはその移動体の映像を避けて画像結合させることで、 静止物体のみの結合画像 を生成するのである。 例えば道路上に車両等が写っている場合に、 その車両等を 避けて平面展開する画像を組み合わせ、 つなぎ合わせることにより、 道路のみの 写っている長い道路の写真が得られるのである。 次に、 本発明による応用例の幾つかを説明すると次のようである。
即ち平面展開画像として、 道路面 ·海上面 ·湖水面 ·河川面 ·地上面 ·垂直壁 面 ·同一平面に配列された対象物が作る垂直仮想平面 ·建築壁面床面 ·船の甲板 面 ·滑走路誘導路等空港施設面等を扱うことができる。 これは、 通常のカメラで 撮影した画像を平面に展開するとき、 その平面展開面の対象物として、 道路面- 海上面 ·湖水面 ·河川面 ·垂直壁面 ·同一平面に配列された対象物が作る垂直仮 想平面 ·地上面 ·建築壁面床面 ·船の甲板面 ·滑走路誘導路等空港施設面等を扱 うというものである。
また、 応用機器例として乗り物とすることもでき、 例えばバス等の陸上乗り物 における周辺道路面、 ビル面、 電柱の配列面、 街路樹の配列面、 ガードレールの 配列面等であり、 船舶等海上の乗り物の海上面等、 船舶の甲板、 壁面等であり、 航空機等の滑走路、 地上面等であり、 これによつて全方位全面表示、 あるいは目 的領域面表示を可能とするのである。
即ち、 第 2 2図乃至第 2 5図に示すように、 バス 2 0 1等の陸上乗り物に取り 付けた通常のカメラ 2 0 1 A…からの周辺道路面、 ビル面、 電柱の配列面、 街 路樹の配列面、 ガードレールの配列面等、 船舶等海上の乗り物の海上面等、 船舶 の甲板、 壁面等、 航空機等の滑走路、 地上面等の映像を平面図に展開し、 その 夫々の周りにおける周辺道路面、 ビル面、 電柱の配列面、 街路樹の配列面、 ガー ドレールの配列面等の全方位全面表示を可能にするのである。 あるいは図示を省 略したが、 船舶等海上の乗り物の海上の全方位全面表示、 及び船舶の甲板、 壁面 等、 の全面全方位表示、 さらには航空機等の滑走路及び地上面の全方位全面表示 を行なうこととができるのである。 さらには、 他の応用例として、 建築構造物に適用することができ、 第 2 6図、 第 2 7図に示すように例えば建築物の床面、 壁面等の平面部分を平面展開表示、 及び平面結合表示を可能にするのであり、 建築物の内部の撮影を通常の力メラで 行ない、 床面、 壁面等の平面部分を平面展開表示、 及び平面結合表示を行なうと いうものである。
即ち、 第 2 6図に示したのが通常のカメラで撮影した室内の斜め画像であり、 例えばこれらの （1 ) … （1 6 ) の 1 6枚の画像に対して前記の式 （1 ) 、 ( 2 ) により平面画像に変換し、 それらをつなぎ合わせたのが第 2 7図に示す通 りである。 このように実際には撮影することのできない画像を、 建物の部屋の中 の床面、 壁面を展開した画像として得ることができ、 床面に対しての周囲の壁面 を展開した画像として生成できるのである。
さらには、 立体地図作製をも可能にするのであり、 複数のカメラで、 移動する 車両、 航空機、 船舶等で路面や地上面や水上面を連続撮影するのみならず、 ビル 壁面等のような垂直面、 あるいは複数の電柱、 ガードレール等が規則的に平面的 に配列されている仮想垂直平面を持つ対象をも連続撮影することで、 前記平面展 開した画像を移動方向に結合延長させながら、 同時に垂直面を含むより広範囲の 平面垂直面展開図をつくることで、 立体地図を作製するのである。
即ち、 移動する車両等例えば、 車両、 航空機、 船舶等に積載したビデオカメラ で撮影した路面や地上面や水上面の画像を平面図に展開し、 それらを適切な方法 で結合させ、 結合平面展開図を作り、 さらに移動方向にも結合延長させることで 地図を作製するというものである。 あるいはビル壁面等のような垂直面、 あるい は複数の電柱、 ガードレール等が規則的に平面的に配列されている仮想垂直平面 を持つ対象をも連続撮影することで、 前記平面展開した画像を移動方向に結合延 長させながら、 同時に垂直面を含むより広範囲の平面垂直面展開図をつくること で、 立体地図を作製するのである。 産業上の利用可能性
本発明は以上のように構成されているために、 実際には撮影することのできな い画像を、 本方法、 装置を用いることにより、 方程式 （1 ) および方程式 ( 2 ) を用いて変換することにより、 斜め画像を平面画像にすることができるのでその 応用範 fflも広いものである。
また、 視点を重複させた複数のカメラによって同一地点の映像を異なる地点か ら撮影した複数の映像によって平面展開画像を生成することで、 重複部分の平面 展開画像内で視差を検出することができる。 即ち、 従来であれば、 視差の検出に よる三次元データの検出は常に原画像、 即ち遠近法の画像そのものから得られて いたが、 本発明では平面展開画像処理をしてから視差を検出するという新しい方 法によるから、 位置精度のよい三次元データを得ることができるのである。 しかもこれによつて、 従来よりさらに精度のよい直接三次元形状のデータを簡 単に取得することができ、 視野の重複する複数の映像から得られる視差は、 動画 内の静止座標形においてはォプティカルフローとしばしば同一の意味を持つが、 対象物が時間変化する場合や、 三次元座標の精度を上げる場合には特に有効なも のである。
そして、 平面展開された画像情報とカメラの位置情報を送受信することで所望 の動画像を再構成することができ、 データ伝送量を可能な限り小さくしながら動 画像データを高速に送受信することができ、 特に、 帯域の狭い電話回線、 インタ —ネット回線等を使用した動画伝送に有効なものとなる。

Claims

請 求 の 範 囲
1. 通常のカメラから得られた遠近法の映像から平面展開に必要な情報を読みと つて平面図に展開し、 それを組み合わせ、 つなぎ合わせ、 一枚の大きな展開図に することを特徵とした道路面等の平面 象物映像の平面展開画像処理方法。
2. 通常の力メラから得られた遠近法の映像から平面展開に必要な情報を読みと り、 下記の式 （1) 及び （2) により平面図に展開し、 それを組み合わせ、 つな ぎ合わせ、 一枚の大きな展開図にすることを特徴とした道路面等の平面対象物映 像の平面展開画像処理方法。
y = V · 212 · · c o s (π/4 - Θ) - c o s (ι3 - θ ) / ( f · s i η 3) (1) x = u · · c o s (β— θ ) / ( f · s i n i3) (2) ただし、 0はカメラの光軸と道路面のなす角度、 ： f はカメラの焦点距離、 h はカメラの高さ、 i3はカメラの真下から h + yの距離にある点と、 カメラを結 ぶ線分と道路面のなす角度、 Vはカメラにおける映写面である CCD面上の原点 から縦方向の座標、 uは CCD面上の原点から横方向の座標、 yは道路面におけ るカメラの真下から h進んだ点を原点としてそこからさらに光軸方向に進んだ距 離即ち座標、 Xは道路面における横方向の距離即ち座標とする。
3. 平面を含む現実場面の対象を斜めから撮影した画像に関して、 数学的演算に より、 元々が平面で構成されている面を、 現実場面の平面と比例関係となる平面 画像として、 平面に展開して表示する請求の範囲第 1項又は第 2項に記載の道路 面等の平面対象物映像の平面展開画像処理方法。
4. 複数の平面展開画像を結合して、 一枚の大きな平面展開画像として表現する 請求の範囲第 1項乃至第 3項のいずれかに記載の道路面等の平面対象物映像の平 面展開画像処理方法。
5. 複数の入力映像を平面展開し、 夫々画像を結合して、 一枚の画像とし、 目的 領域の全域を表示し、 また必要に応じて、 その表示された場所に対応した入力映 像をもダイレクトに同時に表示させる請求の範囲第 1項乃至第 4項のいずれかに 記載の道路面等の平面対象物映像の平面展開画像処理方法。
6 . 移動物体による移動方向の映像を平面展開して、 連続結合して一枚の画像と する請求の範囲第 1項乃至第 5項のいずれかに記載の道路面等の平面対象物映像 の平面展開画像処理方法。
7 . 画像形成に不要な移動体画像を削除し、 その移動体画像を避けて画像結合さ せて静止物体のみの結合画像を生成する請求の範囲第 1項乃至第 6項のいずれか に記載の道路面等の平面対象物映像の平面展開画像処理方法。 '
8 . 取得した平面画像中において、 消失点を求める過程で、 各画像の消失点の位 置を固定するように映像を移動して表示することで、 手ぶれ等で揺れる映像を安 定化する請求の範囲第 1項乃至第 7項のいずれかに記載の道路面等の平面対象物 映像の平面展開画像処理方法。
9 . 平面展開によって得られた異なる複数の平面から構成される動画像の、 その 中の微小領域の単位時間移動量をオプティカルフロー手法により必要な範囲で求 め、 その成分分布図から同一成分を抽出することにより、 夫々単独の平面画像を 分離する請求の範囲第 1項乃至第 8項のいずれかに記載の道路面等の平面対象物 映像の平面展開画像処理方法。
1 0 . 平面変換された動画像から得られた平面動画像において、 オプティカルフ ローの分布図を生成し、 その微小差から平面からのズレとして平面の凹凸を検出 し、 若しくは前記平面動画像において異なる画角から得られた平面画像を比較演 算することにより視差を検出して、 その成分分布から平面内の凹凸成分を検出し、 この検出した凹凸値で元平面図の各点の平面からのズレを含めた修正平面図を生 成する請求の範囲第 1項乃至第 9項に記載の道路面等の平面対象物映像の平面展 開画像処理方法。
1 1 . 複数の平面図に展開された複数の平面画像を相関法若しくはマッチング法 等の手法によって比較演算することにより、 道路面等の複数の平面画像上の夫々 の小領域毎に、 夫々が対応する小領域の移動量を視差方式若しくはォプティカル フ口一方式等により求め、 その成分の分布から道路面等の凹凸等の三次元データ を検出し若しくは検出した三次元凹凸値で、 元平面図の各点の平面からのズレを 含めた修正平面図を生成する請求の範囲第 1項乃至第 9項に記載の道路面等の平 面対象物映像の平面展開画像処理方法。
1 2 . 平面展開した連続画像の平均的オプティカルフロー値、 若しくはマツチン グ対応位置の移動距離を求め、 その値から対象平面の移動距離 ·移動速度 ·移動 方向、 若しくは撮影したカメラの移動距離 ·移動速度 ·移動方向を求める請求の 範囲第 1 0項又は第 1 1項に記載の道路面等の平面対象物映像の平面展開画像処 理方法。
1 3 . 分離された平面展開された単独平面内の対象物平面のテクスチャ一を、 場 所の対応する C G (コンピュータグラフィックス） 画像若しくは地図画像内の対 象物平面に貼り付けることで、 C G画像若しくは地図画像に実写画像を取り込み、 平面として、 若しくは逆変換して遠近法画像として表示する請求の範囲第 1項乃 至第 1 2項のいずれかに記載の道路面等の平面対象物映像の平面展開画像処理方 法。
1 4. 請求の範囲第 2項に記載の式 （1 ) 及び （2 ) において、 先ず f と hを与 え、 さらに対象物の平行線が画像内で持つ交点を形成する交差線であるとき、 こ の交差線が平面展開したときに平行となるように 0を選択することで、 0を求 める請求の範囲第 2項乃至第 1 3項のいずれかに記載の道路面等の平面対象物映 像の平面展開画像処理方法。
1 5 . 請求の範囲第 1 4項において、 選択する Θを微調整する請求の範囲第 1 4項に記載の道路面等の平面対象物映像の平面展開画像処理方法。
1 6. 実写映像中の平行線の部分を画像内から抽出し、 その交点のつくる目的平 面に平行な面である平面 aと、 光軸点を含む目的平面に平行な面である平面 bと の距離を dとし、 仮想焦点距離を f とし、 これらの dと； f との比から、 0== a r c T a n (d/ f ) として、 0を求める請求の範囲第 2項乃至第 1 5項のい ずれかに記載の道路面等の平面対象物映像の平面展開画像処理方法。 ·
1 7. 異なる設置場所に設置した複数の通常のカメラによって同一地点の同時映 像を複数取得し、 その複数の同一地点同時映像の平面展開画像を比較演算するこ とで視差を検出し、 この視差から対象物の三次元形状を生成する請求の範囲第 1 項乃至第 1 6項に記載の道路面等の平面対象物映像の平面展開画像処理方法。
1 8. 平面映像を含む遠近法的に表現された映像を平面図に変換して生成した平 面展開図、 若しくは複数の方向から撮影された複数の平面映像を含む映像を平面 図に展開した後に対応点を重ねることで結合して生成した一枚の大画面平面展開 図、 または平面図状の CG (コンピュータグラフィックス） 画像や地図を元とし て、 請求の範囲 2に記載の式 （1) 及び （2) に対する逆変換式によって任意の 視点から見た仮想の遠近法画像を生成し、 若しくは連続的に処理をすることで仮 想の移動するカメラ視点による動画を生成する請求の範囲第 2項乃至第 1 7項の いずれかに記載の道路面等の平面対象物映像の平面展開画像処理方法。
1 9. 逆変換式は、 下記の式 （3) 及び （4) である請求の範囲第 1 8項に記載 の道路面等の平面対象物映像の平面展開画像処理方法。
V = y · f · s i n /3 / ( 212 · h · c o s (π/4 - θ ) - c o s ( β — θ ) )
(3) u = x - f - s i β/ ( - c o s (β - θ) ) (4) ただし、 hはカメラの道路面からの高さ、 0はカメラの光軸と道路面のなす 角度、 f はカメラの焦点距離、 /3はカメラの真下から h進んだ点から yだけ先 へ進んだ点とカメラのレンズとを結ぶ線分と、 道路面との成す角度、 Xはカメラ の光軸を道路面に正射影して得られる線分から垂直方向すなわちカメラから見て 横方向の座標、 yはカメラの真下から h進んだ点を原点としたときの光軸方向の 座標、 Vはカメラにおける映写面である C C D面上の縦方向の座標、 uは C C D 面上の横方向の座標である。
2 0 . 平面展開された画像によって、 画像上での計測処理、 画像認識処理等の各 種の認識処理を可能にする請求の範囲第 1項乃至第 1 9項のいずれかに記載の道 路面等の平面対象物映像の平面展開画像処理方法。
2 1 . 平面展開画像は、 道路面 ·海上面 ·湖水面 ·河川面 ·地上面 ·垂直壁面 · 同一平面に配列された対象物が作る垂直仮想平面 ·建築壁面床面 ·船の甲板面 - 滑走路誘導路等空港施設面等である請求の範囲第 1項乃至第 2 0項のいずれかに 記載の道路等の平面展開画像処理方法。
2 2 . 移動物体にて取得する平面展開画像は、 陸上移動物体自身における周辺道 路面、 ピル面、 電柱の配列面、 街路樹の配列面、 ガードレールの配列面等であり、 海上移動物体自身における周囲の海上面、 船舶の甲板、 壁面等であり、 空中移動 物体自身における滑走路、 地上面等である請求の範囲第 1項乃至第 2 1項のいず れかに記載の道路等の平面展開画像処理方法。
2 3 . 平面展開画像は、 建築物の床面、 壁面等の平面部分の平面展開表示、 及び 平面結合表示である請求の範囲第 1項乃至第 2 2項のいずれかに記載の道路等の 平面展開画像処理方法。
2 4. 複数の映像入力装置で、 移動する路面や地上面や水上面を連続撮影し、 ビ ル壁面等のような垂直面、 あるいは複数の電柱、 ガードレール等が規則的に平面 的に配列されている仮想垂直平面を持つ対象をも連続撮影することで、 平面展開 した画像を移動方向に結合延長させながら、 同時に垂直面を含む広範囲の平面垂 直面展開図をつくることで、 立体地図を作製する請求の範囲第 1項乃至第 2 3項 のいずれかに記載の道路等の平面展開画像処理方法。
2 5 . —つの方向の平面のみならず、 複数の方向の平面を含む映像の中の目的と する複数方向の平面画像を複数の平面図に変換して表示し、 若しくは前記複数の 方向の平面画像を三次元的に結合して得られた三次元平面展開図面を生成し、 逆 変換により任意の視点から見た遠近法画像を生成することを特徴とする道路面等 の平面対象物映像の逆展開画像変換処理方法。
2 6 . 遠近法画像を取得する映像入力部と、 この映像入力部によって撮影された 斜めの映像を再生する映像再生部と、 映像入力装置による撮影回転角等を補正す る画像補正部と、 映像入力装置における球面収差等を補正する球面収差補正部と、 遠近法画裱を平面展開図に変換する映像展開平面処理部と、 B央像展開処理を行つ た映像を結合する展開画像結合部と、 結合画像を表示する表示部とから成ること を特徴とする道路面等の平面対象物映像の平面展開画像処理装置。
2 7 . 展開された映像のオプティカルフローを生成して図示するオプティカルフ ローマップ生成部と、 ォプティカルフローマップから目的のォプティカルフロー のみを抽出するオプティカルフロー抽出部とを備えている請求の範囲第 2 6項に 記載の道路面等の平面対象物映像の平面展開画像処理装置。 '
2 8 . 異なる位置からの同一地点の映像から視差を検出する視差抽出部を備えて いる請求の範囲第 2 6項又は第 2 7項に記載の道路面等の平面対象物映像の平面
2 9 . 複数の同一地点の展開画像を比較する展開画像比較部を備えている請求の 範囲第 2 6項乃至第 2 8項のいずれかに記載の道路面等の平面対象物映像の平面
3 0 . 演算により路面凹凸を抽出する画像比較部と、 その凹凸を考慮した修正平 面生成部とを備えている請求の範囲第 2 6項乃至第 2 9項のいずれかに記載の道 路面等の平面対象物映像の平面展開画像処理装置。
3 1 . カメラにより映像を生成する映像入力部と、 入力画像を安定化して表示す る入力画像表示部と、 入力映像を記録する映像記録部と、 記録画像を再生する映 像再生部と、 球面収差等のレンズによる画像のゆがみを補正すめための座標変換 を施し、 カメラ回転角を補正するために、 目的の平面映像を画像内の平面に方向 を合わせる画像補正部と、 数学的演算により遠近法映像から平面図を生成する映 像展開平面処理部と、 展開された映像のォプティカルフローを生成して図示する オプティカルフロ一マップ生成部と、 それらのオプティカルフローマップから目 的のオプティカルフローのみを抽出する、 オプティカルフロー抽出部と、 異なる 位置からの同一地点の映像から視差を検出する視差抽出部と、 必要な対象物を残 し不必要な画像を削除し、 さらには新しい映像を揷入する対象物画像処理部と、 平面展開された処理された個々の画像を結合して一枚の連続した画像を生成する 展開画像結合部と、 それらを表示する展開画像表示部と、 それらを記録する記録 部と、 任意視点に逆変換して表示する任意視点画像生成部と、 その画像を表示す る任意視点画像表示部と、 複数の同一地点の展開画像を比較する展開画像比較部 と、 演算により路面凹凸を抽出する画像比較部、 その凹凸を考慮した修正平面生 成部とを適宜に組合せて構成したことを特徴とする道路面等の平面対象物映像の 平面展開画像処理装置。
3 2 . 請求の範囲第 2 6項乃至第 3 1項に記載の道路面等の平面対象物映像の平 面展開画像処理装置において、 任意視点に逆変換して表示する任意視点画像生成 部と、 その画像を表示する任意視点画像表示部とを備えること構成したことを特 徴とする道路面等の平面対象物映像の逆展開画像変換処理装置。
3 3 . 遠近法画像を取得する映像入力部と、 この映像入力部によって撮影された 遠近法画像を三次元空間を構成する一又は二以上の平面画像に分解する平面分解 部と、 映像入力部の三次元的位置を検出する位置検出部と、 平面分解部で分解さ れた平面画像と位置検出部で検出された映像入力部の三次元的位置から三次元画 像を再構成して表示する表示部とから成ることを特徴とする道路面等の平面対象 物映像の平面展開画像処理装置。
3 4. 位置検出部で検出された映像入力部の三次元的位置を、 平面分解部で分解 された平面画像中に表記する位置表記部を備える請求の範囲第 3 3項に記載の道 路面等の平面対象物映像の平面展開画像処理装置。
3 5 . 映像入力部が移動する場合に、 位置表記部は、 移動する映像入力部の三次 元的位置を、 平面分解部で分解された平面画像中に連続的に表記する請求の範囲 第 3 4項に記載の道路面等の平面対象物映像の平面展開画像処理装置。
3 6 . 三次元画像を再構成する表示部が、 平面分解部及び位置検出部と離間して 配設される場合に、 平面分解部及び位置検出部から表示部に一又は二以上の平面 画像信号及び映像入力部の三次元的位置信号を送信する送受信手段を備える請求 の範囲第 3 3項乃至第 3 5項に記載の道路面等の平面対象物映像の平面展開画像
PCT/JP2003/008817 2002-07-12 2003-07-11 道路面等の平面対象物映像の平面展開画像処理方法、同逆展開画像変換処理方法及びその平面展開画像処理装置、逆展開画像変換処理装置 Ceased WO2004008744A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004521184A JP4273074B2 (ja) 2002-07-12 2003-07-11 道路面等の平面対象物映像の平面展開画像処理方法、同逆展開画像変換処理方法及びその平面展開画像処理装置、逆展開画像変換処理装置
AU2003248269A AU2003248269A1 (en) 2002-07-12 2003-07-11 Road and other flat object video plan-view developing image processing method, reverse developing image conversion processing method, plan-view developing image processing device, and reverse developing image conversion processing device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2002204879 2002-07-12
JP2002-204879 2002-07-12
JP2002253809 2002-08-30
JP2002-253809 2002-08-30

Publications (2)

Publication Number Publication Date
WO2004008744A1 true WO2004008744A1 (ja) 2004-01-22
WO2004008744A9 WO2004008744A9 (ja) 2004-03-25

Family

ID=30117457

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/008817 Ceased WO2004008744A1 (ja) 2002-07-12 2003-07-11 道路面等の平面対象物映像の平面展開画像処理方法、同逆展開画像変換処理方法及びその平面展開画像処理装置、逆展開画像変換処理装置

Country Status (3)

Country Link
JP (1) JP4273074B2 (ja)
AU (1) AU2003248269A1 (ja)
WO (1) WO2004008744A1 (ja)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007172541A (ja) * 2005-12-26 2007-07-05 Toyota Motor Corp 運転支援装置
JP2008172310A (ja) * 2007-01-09 2008-07-24 Fujifilm Corp 電子式手振れ補正方法及びその装置並びに電子式手振れ補正プログラムと撮像装置
JP2009015583A (ja) * 2007-07-04 2009-01-22 Nagasaki Univ 画像処理装置及び画像処理方法
WO2009013823A1 (ja) * 2007-07-25 2009-01-29 Fujitsu Limited 動き認識装置および動き認識プログラム
JP2009181492A (ja) * 2008-01-31 2009-08-13 Konica Minolta Holdings Inc 解析装置
JP2009223220A (ja) * 2008-03-18 2009-10-01 Zenrin Co Ltd 路面標示地図生成方法
JP2009223213A (ja) * 2008-03-18 2009-10-01 Zenrin Co Ltd 路面標示地図生成方法
JP2009223221A (ja) * 2008-03-18 2009-10-01 Zenrin Co Ltd 路面標示地図生成方法
JP2009258651A (ja) * 2008-03-18 2009-11-05 Zenrin Co Ltd 路面標示地図生成方法
JP2010503078A (ja) * 2006-08-30 2010-01-28 ピクトメトリー インターナショナル コーポレーション モザイク斜め画像、並びにモザイク斜め画像の作成及び使用方法
JP2010175756A (ja) * 2009-01-29 2010-08-12 Zenrin Co Ltd 路面標示地図生成方法及び路面標示地図生成装置
JP4553072B1 (ja) * 2009-03-31 2010-09-29 コニカミノルタホールディングス株式会社 画像統合装置および画像統合方法
JP4553071B1 (ja) * 2009-03-31 2010-09-29 コニカミノルタホールディングス株式会社 ３次元情報表示装置および３次元情報表示方法
JP2010237798A (ja) * 2009-03-30 2010-10-21 Equos Research Co Ltd 画像処理装置および画像処理プログラム
JP2010246166A (ja) * 2010-07-21 2010-10-28 Konica Minolta Holdings Inc ３次元情報表示装置および３次元情報表示方法
KR20100122688A (ko) * 2009-05-13 2010-11-23 삼성전자주식회사 카메라를 이용한 문자 인식 장치 및 방법
JP2010277262A (ja) * 2009-05-27 2010-12-09 Konica Minolta Holdings Inc 画像処理装置および方法
JP2016081525A (ja) * 2014-10-10 2016-05-16 アプリケーション・ソリューションズ・（エレクトロニクス・アンド・ヴィジョン）・リミテッド 車両用画像認識システム、及び対応法
JP2017010082A (ja) * 2015-06-16 2017-01-12 株式会社パスコ 地図作成装置、地図作成方法、およびモービルマッピング用計測装置
WO2018199663A1 (ko) * 2017-04-26 2018-11-01 (주)디렉션 원근법 대응 이미지 보정 방법 및 장치
KR20180120122A (ko) * 2018-05-23 2018-11-05 (주)디렉션 원근법 대응 이미지 보정 방법 및 장치
EP3306267A4 (en) * 2015-05-27 2019-01-23 Kyocera Corporation ARITHMETIC LOGICAL DEVICE, CAMERA DEVICE, VEHICLE AND CALIBRATION METHOD
CN110148135A (zh) * 2019-04-03 2019-08-20 深兰科技（上海）有限公司 一种路面分割方法、装置、设备及介质
US11644331B2 (en) 2020-02-28 2023-05-09 International Business Machines Corporation Probe data generating system for simulator
US11702101B2 (en) 2020-02-28 2023-07-18 International Business Machines Corporation Automatic scenario generator using a computer for autonomous driving
JP2023110400A (ja) * 2022-01-28 2023-08-09 株式会社コア 情報処理装置、情報処理方法及び情報処理プログラム
US11814080B2 (en) 2020-02-28 2023-11-14 International Business Machines Corporation Autonomous driving evaluation using data analysis
JP2024513145A (ja) * 2021-03-22 2024-03-22 タスグローバル カンパニーリミテッド 船舶清掃ロボットの複数のカメラ映像を１つの映像に処理する映像処理方法、コンピュータ判読可能記録媒体、コンピュータプログラム及びこれを利用したロボット制御方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9330471B2 (en) * 2013-02-14 2016-05-03 Qualcomm Incorporated Camera aided motion direction and speed estimation
WO2014192316A1 (ja) * 2013-05-31 2014-12-04 パナソニックＩｐマネジメント株式会社 モデリング装置、３次元モデル生成装置、モデリング方法、プログラム、レイアウトシミュレータ
CN105096252B (zh) * 2015-07-29 2018-04-10 广州遥感信息科技有限公司 一种带状全方位街景影像图的制作方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6216073B2 (ja) * 1981-12-23 1987-04-10 Hino Motors Ltd
JPH10255071A (ja) * 1997-03-10 1998-09-25 Iwane Kenkyusho:Kk 画像処理システム
JP2001141423A (ja) * 1999-11-11 2001-05-25 Fuji Photo Film Co Ltd 画像撮像装置及び画像処理装置
JP2001141422A (ja) * 1999-11-10 2001-05-25 Fuji Photo Film Co Ltd 画像撮像装置及び画像処理装置
JP3286306B2 (ja) * 1998-07-31 2002-05-27 松下電器産業株式会社 画像生成装置、画像生成方法
JP3300334B2 (ja) * 1999-04-16 2002-07-08 松下電器産業株式会社 画像処理装置および監視システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6216073B2 (ja) * 1981-12-23 1987-04-10 Hino Motors Ltd
JPH10255071A (ja) * 1997-03-10 1998-09-25 Iwane Kenkyusho:Kk 画像処理システム
JP3286306B2 (ja) * 1998-07-31 2002-05-27 松下電器産業株式会社 画像生成装置、画像生成方法
JP3300334B2 (ja) * 1999-04-16 2002-07-08 松下電器産業株式会社 画像処理装置および監視システム
JP2001141422A (ja) * 1999-11-10 2001-05-25 Fuji Photo Film Co Ltd 画像撮像装置及び画像処理装置
JP2001141423A (ja) * 1999-11-11 2001-05-25 Fuji Photo Film Co Ltd 画像撮像装置及び画像処理装置

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007172541A (ja) * 2005-12-26 2007-07-05 Toyota Motor Corp 運転支援装置
JP2010503078A (ja) * 2006-08-30 2010-01-28 ピクトメトリー インターナショナル コーポレーション モザイク斜め画像、並びにモザイク斜め画像の作成及び使用方法
JP2008172310A (ja) * 2007-01-09 2008-07-24 Fujifilm Corp 電子式手振れ補正方法及びその装置並びに電子式手振れ補正プログラムと撮像装置
JP2009015583A (ja) * 2007-07-04 2009-01-22 Nagasaki Univ 画像処理装置及び画像処理方法
WO2009013823A1 (ja) * 2007-07-25 2009-01-29 Fujitsu Limited 動き認識装置および動き認識プログラム
US8229173B2 (en) 2008-01-31 2012-07-24 Konica Minolta Holdings, Inc. Analyzer
JP2009181492A (ja) * 2008-01-31 2009-08-13 Konica Minolta Holdings Inc 解析装置
JP2009258651A (ja) * 2008-03-18 2009-11-05 Zenrin Co Ltd 路面標示地図生成方法
JP2009223221A (ja) * 2008-03-18 2009-10-01 Zenrin Co Ltd 路面標示地図生成方法
JP2009223213A (ja) * 2008-03-18 2009-10-01 Zenrin Co Ltd 路面標示地図生成方法
JP2009223220A (ja) * 2008-03-18 2009-10-01 Zenrin Co Ltd 路面標示地図生成方法
JP2010175756A (ja) * 2009-01-29 2010-08-12 Zenrin Co Ltd 路面標示地図生成方法及び路面標示地図生成装置
JP2010237798A (ja) * 2009-03-30 2010-10-21 Equos Research Co Ltd 画像処理装置および画像処理プログラム
JP4553072B1 (ja) * 2009-03-31 2010-09-29 コニカミノルタホールディングス株式会社 画像統合装置および画像統合方法
JP4553071B1 (ja) * 2009-03-31 2010-09-29 コニカミノルタホールディングス株式会社 ３次元情報表示装置および３次元情報表示方法
WO2010113239A1 (ja) * 2009-03-31 2010-10-07 コニカミノルタホールディングス株式会社 画像統合装置および画像統合方法
WO2010113253A1 (ja) * 2009-03-31 2010-10-07 コニカミノルタホールディングス株式会社 ３次元情報表示装置および３次元情報表示方法
US9415723B2 (en) 2009-03-31 2016-08-16 Konica Minolta Holdings, Inc. Image integration unit and image integration method
KR101577824B1 (ko) * 2009-05-13 2015-12-29 삼성전자주식회사 카메라를 이용한 문자 인식 장치 및 방법
KR20100122688A (ko) * 2009-05-13 2010-11-23 삼성전자주식회사 카메라를 이용한 문자 인식 장치 및 방법
JP2010277262A (ja) * 2009-05-27 2010-12-09 Konica Minolta Holdings Inc 画像処理装置および方法
JP2010246166A (ja) * 2010-07-21 2010-10-28 Konica Minolta Holdings Inc ３次元情報表示装置および３次元情報表示方法
JP2016081525A (ja) * 2014-10-10 2016-05-16 アプリケーション・ソリューションズ・（エレクトロニクス・アンド・ヴィジョン）・リミテッド 車両用画像認識システム、及び対応法
EP3306267A4 (en) * 2015-05-27 2019-01-23 Kyocera Corporation ARITHMETIC LOGICAL DEVICE, CAMERA DEVICE, VEHICLE AND CALIBRATION METHOD
JP2017010082A (ja) * 2015-06-16 2017-01-12 株式会社パスコ 地図作成装置、地図作成方法、およびモービルマッピング用計測装置
CN110546681A (zh) * 2017-04-26 2019-12-06 D睿科逊公司 远近法对应图像校正方法及装置
WO2018199663A1 (ko) * 2017-04-26 2018-11-01 (주)디렉션 원근법 대응 이미지 보정 방법 및 장치
US10970826B2 (en) 2017-04-26 2021-04-06 D Rection, Inc. Method and device for image correction in response to perspective
CN110546681B (zh) * 2017-04-26 2023-10-20 D睿科逊公司 远近法对应图像校正方法及装置
KR20180120122A (ko) * 2018-05-23 2018-11-05 (주)디렉션 원근법 대응 이미지 보정 방법 및 장치
KR101978271B1 (ko) * 2018-05-23 2019-05-14 (주)디렉션 원근법 대응 이미지 보정 방법 및 장치
CN110148135A (zh) * 2019-04-03 2019-08-20 深兰科技（上海）有限公司 一种路面分割方法、装置、设备及介质
US11702101B2 (en) 2020-02-28 2023-07-18 International Business Machines Corporation Automatic scenario generator using a computer for autonomous driving
US11644331B2 (en) 2020-02-28 2023-05-09 International Business Machines Corporation Probe data generating system for simulator
US11814080B2 (en) 2020-02-28 2023-11-14 International Business Machines Corporation Autonomous driving evaluation using data analysis
US12275434B2 (en) 2020-02-28 2025-04-15 International Business Machines Corporation Autonomous driving evaluation using data analysis
JP2024513145A (ja) * 2021-03-22 2024-03-22 タスグローバル カンパニーリミテッド 船舶清掃ロボットの複数のカメラ映像を１つの映像に処理する映像処理方法、コンピュータ判読可能記録媒体、コンピュータプログラム及びこれを利用したロボット制御方法
JP7621011B2 (ja) 2021-03-22 2025-01-24 タスグローバル カンパニーリミテッド 船舶清掃ロボットの複数のカメラ映像を１つの映像に処理する映像処理方法、コンピュータ判読可能記録媒体、コンピュータプログラム及びこれを利用したロボット制御方法
JP2023110400A (ja) * 2022-01-28 2023-08-09 株式会社コア 情報処理装置、情報処理方法及び情報処理プログラム
JP7770938B2 (ja) 2022-01-28 2025-11-17 株式会社コア 情報処理装置、情報処理方法及び情報処理プログラム

Also Published As

Publication number Publication date
WO2004008744A9 (ja) 2004-03-25
AU2003248269A1 (en) 2004-02-02
JP4273074B2 (ja) 2009-06-03
JPWO2004008744A1 (ja) 2005-11-17

Similar Documents

Publication Publication Date Title
WO2004008744A1 (ja) 道路面等の平面対象物映像の平面展開画像処理方法、同逆展開画像変換処理方法及びその平面展開画像処理装置、逆展開画像変換処理装置
Sekkat et al. SynWoodScape: Synthetic surround-view fisheye camera dataset for autonomous driving
US8000895B2 (en) Navigation and inspection system
Zhao et al. Alignment of continuous video onto 3D point clouds
KR101235815B1 (ko) 촬영 위치 해석 장치, 촬영 위치 해석 방법, 기록 매체 및 화상 데이터 취득 장치
Pfeiffer et al. Efficient representation of traffic scenes by means of dynamic stixels
Kanade et al. Advances in cooperative multi-sensor video surveillance
JP4185052B2 (ja) 拡張仮想環境
JP4355535B2 (ja) ３６０度画像変換処理装置
US8963943B2 (en) Three-dimensional urban modeling apparatus and method
JP4854819B2 (ja) 画像情報出力方法
JP2020008664A (ja) ドライビングシミュレーター
JP2004265396A (ja) 映像生成システム及び映像生成方法
Zhao et al. Alignment of continuous video onto 3D point clouds
Edelman et al. Tracking people and cars using 3D modeling and CCTV
JP4530214B2 (ja) 模擬視界発生装置
WO2008082423A1 (en) Navigation and inspection system
CN118864778A (zh) 一种虚实融合方法、装置、设备及存储介质
Gotoh et al. Geometry reconstruction of urban scenes by tracking vertical edges
Kokkas An investigation into semi-automated 3D city modelling
Sirmacek Quality assessment and comparison of smartphone and leica c10 laser scanner based point clouds
US7400343B2 (en) Apparatus and method for generating image
Ikeuchi et al. Constructing virtual cities with real activities
Molina et al. Mosaic-based modeling and rendering of large-scale dynamic scenes for internet applications
You Large-Scale 3D Scene Modeling

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
COP Corrected version of pamphlet

Free format text: PAGE 20/27, DRAWINGS, ADDED

WWE Wipo information: entry into national phase

Ref document number: 2004521184

Country of ref document: JP

122 Ep: pct application non-entry in european phase