[go: up one dir, main page]

KR20240129706A - Apparatus and method for capturing image - Google Patents

Apparatus and method for capturing image Download PDF

Info

Publication number
KR20240129706A
KR20240129706A KR1020230022582A KR20230022582A KR20240129706A KR 20240129706 A KR20240129706 A KR 20240129706A KR 1020230022582 A KR1020230022582 A KR 1020230022582A KR 20230022582 A KR20230022582 A KR 20230022582A KR 20240129706 A KR20240129706 A KR 20240129706A
Authority
KR
South Korea
Prior art keywords
image
images
lens
capturing device
image capturing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
KR1020230022582A
Other languages
Korean (ko)
Inventor
구원모
최세영
Original Assignee
한화비전 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화비전 주식회사 filed Critical 한화비전 주식회사
Priority to KR1020230022582A priority Critical patent/KR20240129706A/en
Publication of KR20240129706A publication Critical patent/KR20240129706A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

본 발명은 영상 촬영 장치 및 방법에 관한 것으로서, 세로 방향으로 나열된 복수의 렌즈를 이용하여 파노라마 영상을 생성하는 영상 촬영 장치 및 방법에 관한 것이다.
본 발명의 실시예에 따른 영상 촬영 장치는 제1 방향으로 나열되고, 서로 다른 방향으로부터 복수의 광을 입사 받는 복수의 렌즈부와, 상기 입사된 복수의 광을 이용하여 복수의 영상을 생성하는 복수의 영상 센서, 및 상기 복수의 영상을 상기 제1 방향과는 상이한 제2 방향으로 합성하여 합성 영상을 생성하는 영상 합성부를 포함한다.
The present invention relates to an image capturing device and method, and more particularly, to an image capturing device and method for generating a panoramic image using a plurality of lenses arranged in a vertical direction.
An image capturing device according to an embodiment of the present invention includes a plurality of lens units arranged in a first direction and receiving a plurality of light beams from different directions, a plurality of image sensors generating a plurality of images using the plurality of incident light beams, and an image synthesis unit generating a composite image by synthesizing the plurality of images in a second direction different from the first direction.

Description

영상 촬영 장치 및 방법{Apparatus and method for capturing image}{Apparatus and method for capturing image}

본 발명은 영상 촬영 장치 및 방법에 관한 것으로서, 더욱 상세하게는 세로 방향으로 나열된 복수의 렌즈를 이용하여 파노라마 영상을 생성하는 영상 촬영 장치 및 방법에 관한 것이다.The present invention relates to an image capturing device and method, and more particularly, to an image capturing device and method for generating a panoramic image using a plurality of lenses arranged in a vertical direction.

파노라마 영상을 생성하는 파노라마 카메라는 서로 다른 방향을 향하는 복수의 렌즈를 포함할 수 있다. 복수의 렌즈가 이용되어 생성된 복수의 영상이 합성됨으로써 파노라마 영상이 생성될 수 있다.A panoramic camera that creates a panoramic image may include multiple lenses facing different directions. A panoramic image may be created by synthesizing multiple images created using multiple lenses.

파노라마 카메라에 포함된 복수의 렌즈가 가로 방향으로 나열된 경우 복수의 렌즈의 화각의 시점이 상이하게 형성되고, 이로 인해 합성되는 영상의 경계에서 왜곡이 발생될 수 있다.When multiple lenses included in a panoramic camera are aligned horizontally, the viewpoints of the angles of view of the multiple lenses are formed differently, which may cause distortion at the boundaries of the synthesized image.

따라서, 합성되는 영상의 경계에서 발생되는 왜곡을 최소화시켜 파노라마 영상을 생성하는 발명의 등장이 요구된다.Therefore, an invention is required to create a panoramic image by minimizing distortion occurring at the boundary of the synthesized image.

일본 공개특허공보 특개2020-120371호 (2020.08.06)Japanese Patent Publication No. 2020-120371 (August 6, 2020)

본 발명이 해결하고자 하는 과제는 세로 방향으로 나열된 복수의 렌즈를 이용하여 파노라마 영상을 생성하는 영상 촬영 장치 및 방법을 제공하는 것이다.The problem to be solved by the present invention is to provide an image capturing device and method for generating a panoramic image using a plurality of lenses arranged in a vertical direction.

본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The objects of the present invention are not limited to the objects mentioned above, and other objects not mentioned will be clearly understood by those skilled in the art from the description below.

상기 과제를 달성하기 위하여, 본 발명의 실시예에 따른 영상 촬영 장치는 제1 방향으로 나열되고, 서로 다른 방향으로부터 복수의 광을 입사 받는 복수의 렌즈부와, 상기 입사된 복수의 광을 이용하여 복수의 영상을 생성하는 복수의 영상 센서, 및 상기 복수의 영상을 상기 제1 방향과는 상이한 제2 방향으로 합성하여 합성 영상을 생성하는 영상 합성부를 포함한다.In order to achieve the above object, an image capturing device according to an embodiment of the present invention includes a plurality of lens units arranged in a first direction and receiving a plurality of lights from different directions, a plurality of image sensors generating a plurality of images using the plurality of incident lights, and an image synthesis unit generating a composite image by synthesizing the plurality of images in a second direction different from the first direction.

상기 복수의 렌즈부 각각의 화각 기준점이 상기 제1 방향에 평행한 동일선상에 포함되도록 상기 복수의 렌즈부가 상기 제1 방향으로 나열된다.The plurality of lens units are arranged in the first direction so that the angle reference point of each of the plurality of lens units is included on the same line parallel to the first direction.

상기 복수의 렌즈부 중 인접한 렌즈부 간의 거리는 동일하게 형성된다.The distance between adjacent lens sections among the above plurality of lens sections is formed to be the same.

기준면에 대한 상기 복수의 렌즈부의 광축은 동일한 각도로 형성된다.The optical axes of the plurality of lens sections with respect to the reference plane are formed at the same angle.

상기 복수의 렌즈부 중 하나의 렌즈부에 의한 상기 제2 방향의 화각 범위는 다른 렌즈부에 의한 상기 제2 방향의 화각 범위에 적어도 일부가 중첩된다.The angle of view range in the second direction by one lens unit among the plurality of lens units overlaps at least partly with the angle of view range in the second direction by the other lens unit.

상기 영상 합성부는 상기 복수의 렌즈부의 화각 기준점 간의 거리를 참조하여 상기 복수의 영상 중 적어도 일부를 상기 제1 방향으로 이동시킨 이후에 상기 합성 영상을 생성한다.The above image synthesis unit generates the composite image after moving at least a portion of the plurality of images in the first direction with reference to the distance between the angle reference points of the plurality of lens units.

상기 영상 합성부는, 상기 복수의 영상에서 상기 제1 방향으로 동일한 길이를 갖는 목표 영상을 추출하고, 상기 추출된 복수의 목표 영상을 상기 제2 방향으로 합성하여 상기 합성 영상을 생성한다.The above image synthesis unit extracts a target image having the same length in the first direction from the plurality of images, and synthesizes the extracted plurality of target images in the second direction to generate the composite image.

상기 복수의 렌즈부는 상기 복수의 목표 영상 중 인접한 목표 영상의 경계에서 객체의 균열이 제거되도록 하는 렌즈 왜곡률을 갖는다.The above plurality of lens sections have a lens distortion rate that allows cracks in an object to be removed from the boundary of adjacent target images among the plurality of target images.

상기 영상 촬영 장치는 상기 합성 영상을 송신하는 통신부를 더 포함한다.The above image capturing device further includes a communication unit that transmits the composite image.

상기 합성 영상은 파노라마 영상을 포함한다.The above composite image includes a panoramic image.

본 발명의 다른 실시예에 따른 영상 촬영 장치는 인접한 2개의 영상의 적어도 일부가 중첩되도록 사전에 설정된 방향으로 나열된 복수의 영상을 합성하여 합성 영상을 생성하는 영상 합성부를 포함하되, 상기 인접한 2개의 영상은 동일한 영상 정보를 포함하는 공통 영상 영역을 각각 포함하고,According to another embodiment of the present invention, an image capturing device includes an image synthesizing unit that generates a composite image by synthesizing a plurality of images arranged in a preset direction so that at least a portion of two adjacent images overlaps, wherein the two adjacent images each include a common image area including the same image information,

상기 인접한 2개의 영상의 공통 영상 영역이 일치된 경우 상기 공통 영상 영역을 기준으로 상기 복수의 영상의 나열 방향과는 상이한 제1 방향의 양측에 제1 비중첩 영역이 배치되고, 상기 공통 영상 영역을 기준으로 상기 복수의 영상의 나열 방향의 양측에 제2 비중첩 영역이 배치된다.When the common image areas of the two adjacent images above are aligned, first non-overlapping areas are arranged on both sides of a first direction different from the listing direction of the plurality of images based on the common image area, and second non-overlapping areas are arranged on both sides of the listing direction of the plurality of images based on the common image area.

상기 인접한 2개의 영상의 공통 영상 영역은 상기 인접한 2개의 영상 중 하나가 상기 제1 방향으로 이동함으로써 일치된다.The common image area of the two adjacent images is matched by moving one of the two adjacent images in the first direction.

상기 영상 합성부는, 상기 인접한 2개의 영상에서 상기 제1 비중첩 영역을 제거하고, 상기 인접한 2개의 영상 중 하나의 제2 비중첩 영역과 상기 공통 영상 영역의 일부를 합성하여 제1 목표 영상을 생성하고, 상기 인접한 2개의 영상 중 나머지 하나의 제2 비중첩 영역과 상기 공통 영상 영역의 나머지 일부를 합성하여 제2 목표 영상을 생성하며, 상기 제1 목표 영상과 상기 제2 목표 영상을 합성하여 상기 합성 영상을 생성한다.The above image synthesis unit removes the first non-overlapping region from the two adjacent images, synthesizes a second non-overlapping region of one of the two adjacent images and a portion of the common image region to generate a first target image, synthesizes the second non-overlapping region of the remaining one of the two adjacent images and a remaining portion of the common image region to generate a second target image, and synthesizes the first target image and the second target image to generate the synthesized image.

상기 복수의 영상은 상기 제1 방향으로 나열되고, 서로 다른 방향으로 복수의 광을 입사 받는 복수의 렌즈부가 이용되어 생성된 것을 포함한다.The above plurality of images are arranged in the first direction and include those generated by using a plurality of lens sections that receive a plurality of lights in different directions.

본 발명의 실시예에 따른 영상 촬영 방법은 제1 방향으로 나열된 복수의 렌즈부에 의해 서로 다른 방향으로 복수의 광을 입사 받는 단계와, 상기 입사된 복수의 광을 이용하여 복수의 영상을 생성하는 단계, 및 상기 복수의 영상을 상기 제1 방향과는 상이한 제2 방향으로 합성하여 합성 영상을 생성하는 단계를 포함한다.A method for capturing an image according to an embodiment of the present invention includes a step of receiving a plurality of light beams in different directions through a plurality of lens units arranged in a first direction, a step of generating a plurality of images using the plurality of incident light beams, and a step of generating a composite image by synthesizing the plurality of images in a second direction different from the first direction.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Specific details of other embodiments are included in the detailed description and drawings.

상기한 바와 같은 본 발명의 영상 촬영 장치 및 방법에 따르면 복수의 렌즈가 세로 방향으로 나열되기 때문에 합성되는 영상의 경계에서 발생되는 왜곡을 최소화시켜 파노라마 영상을 생성하는 장점이 있다.According to the image capturing device and method of the present invention as described above, since a plurality of lenses are arranged in a vertical direction, there is an advantage in generating a panoramic image by minimizing distortion occurring at the boundary of a synthesized image.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the effects mentioned above, and other effects not mentioned will be clearly understood by those skilled in the art from the description of the claims.

도 1은 본 발명의 실시예에 따른 영상 촬영 장치의 블록도이다.
도 2는 복수의 렌즈부의 배치 관계를 설명하기 위한 도면이다.
도 3은 복수의 렌즈부의 측면도이다.
도 4는 복수의 렌즈부의 평면도이다.
도 5는 복수의 렌즈부의 화각 범위를 설명하기 위한 도면이다.
도 6은 복수의 영상이 이용되어 합성 영상이 생성되는 것을 설명하기 위한 도면이다.
도 7은 보정 각도가 산출되는 것을 설명하기 위한 도면이다.
도 8은 오프셋 거리가 산출되는 것을 설명하기 위한 도면이다.
도 9는 인접한 목표 영상의 경계에서 객체의 균열이 제거되는 것을 설명하기 위한 도면이다.
FIG. 1 is a block diagram of an image capturing device according to an embodiment of the present invention.
Figure 2 is a drawing for explaining the arrangement relationship of multiple lens parts.
Figure 3 is a side view of a plurality of lens sections.
Figure 4 is a plan view of multiple lens sections.
Figure 5 is a drawing for explaining the angle of view range of multiple lens parts.
Figure 6 is a drawing for explaining how multiple images are used to create a composite image.
Figure 7 is a drawing to explain how the correction angle is calculated.
Figure 8 is a drawing to explain how the offset distance is calculated.
Figure 9 is a drawing to explain the removal of cracks in an object at the boundary of adjacent target images.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. The advantages and features of the present invention, and the methods for achieving them, will become apparent with reference to the embodiments described in detail below together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and the present embodiments are provided only to make the disclosure of the present invention complete and to fully inform those skilled in the art of the scope of the invention, and the present invention is defined only by the scope of the claims. Like reference numerals refer to like elements throughout the specification.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used in this specification may be used with a meaning that can be commonly understood by a person of ordinary skill in the art to which the present invention belongs. In addition, terms defined in commonly used dictionaries shall not be ideally or excessively interpreted unless explicitly and specifically defined.

도 1은 본 발명의 실시예에 따른 영상 촬영 장치의 블록도이다.FIG. 1 is a block diagram of an image capturing device according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시예에 따른 영상 촬영 장치(10)는 렌즈부(110, 120, 130), 영상 센서(210, 220, 230), 영상 합성부(300) 및 통신부(400)를 포함하여 구성된다.Referring to FIG. 1, an image capturing device (10) according to an embodiment of the present invention is configured to include a lens unit (110, 120, 130), an image sensor (210, 220, 230), an image synthesis unit (300), and a communication unit (400).

렌즈부(110, 120, 130)는 광을 입사 받을 수 있다. 렌즈부(110, 120, 130)는 피사체 및 배경에 대한 광을 입사 받을 수 있다. 렌즈부(110, 120, 130)는 복수 개가 구비될 수 있다. 복수의 렌즈부(110, 120, 130)는 서로 다른 방향으로부터 복수의 광을 입사 받을 수 있다. 복수의 렌즈부(110, 120, 130)는 제1 방향으로 나열될 수 있다. 복수의 렌즈부(110, 120, 130)의 배치에 대해서는 도 2 내지 도 4를 통하여 후술하기로 한다.The lens units (110, 120, 130) can receive light. The lens units (110, 120, 130) can receive light for a subject and a background. A plurality of lens units (110, 120, 130) may be provided. The plurality of lens units (110, 120, 130) can receive a plurality of lights from different directions. The plurality of lens units (110, 120, 130) may be arranged in the first direction. The arrangement of the plurality of lens units (110, 120, 130) will be described later with reference to FIGS. 2 to 4.

영상 센서(210, 220, 230)는 복수의 렌즈부(110, 120, 130)를 통하여 입사된 복수의 광을 이용하여 복수의 영상을 생성할 수 있다. 예를 들어, 전하 결합 소자(CCD; Charge Coupled Device) 또는 시모스(CMOS; Complementary Metal-Oxide Semiconductor) 소자가 영상 센서(210, 220, 230)의 역할을 수행할 수 있다.The image sensor (210, 220, 230) can generate multiple images by using multiple lights incident through multiple lens units (110, 120, 130). For example, a charge coupled device (CCD) or a complementary metal-oxide semiconductor (CMOS) device can perform the role of the image sensor (210, 220, 230).

영상 센서(210, 220, 230)는 복수 개가 구비될 수 있다. 렌즈부(110, 120, 130)별로 영상 센서(210, 220, 230)가 구비될 수 있다. 예를 들어, 제1 영상 센서(210)는 제1 렌즈부(110)로 입사된 광을 이용하여 영상을 생성하고, 제2 영상 센서(220)는 제2 렌즈부(120)로 입사된 광을 이용하여 영상을 생성할 수 있다.A plurality of image sensors (210, 220, 230) may be provided. Image sensors (210, 220, 230) may be provided for each lens unit (110, 120, 130). For example, the first image sensor (210) may generate an image using light incident on the first lens unit (110), and the second image sensor (220) may generate an image using light incident on the second lens unit (120).

영상 합성부(300)는 복수의 영상을 제1 방향과는 상이한 제2 방향으로 합성하여 합성 영상을 생성할 수 있다. 본 발명에서 합성 영상은 파노라마 영상을 포함할 수 있다. 영상 합성부(300)에 의해 생성되는 합성 영상은 정지 영상일 수 있고, 동영상일 수도 있다.The image synthesis unit (300) can generate a composite image by synthesizing multiple images in a second direction different from the first direction. In the present invention, the composite image can include a panoramic image. The composite image generated by the image synthesis unit (300) can be a still image or a moving image.

통신부(400)는 합성 영상을 송신할 수 있다. 합성 영상은 이를 관리하는 관리 서버(미도시)로 송신되거나 사용자의 단말기(미도시)로 송신될 수 있다. 관리 서버는 수신된 합성 영상을 저장할 수 있다. 사용자의 단말기는 관리 서버 또는 영상 촬영 장치(10)로부터 합성 영상을 수신하여 출력할 수 있다.The communication unit (400) can transmit a composite image. The composite image can be transmitted to a management server (not shown) that manages it or to a user's terminal (not shown). The management server can store the received composite image. The user's terminal can receive and output the composite image from the management server or the image capturing device (10).

전술한 바와 같이, 영상 촬영 장치(10)는 복수의 렌즈부(110, 120, 130)를 포함할 수 있다. 복수의 렌즈부(110, 120, 130)가 제2 방향으로 나열된 경우 인접한 렌즈부가 이용되어 생성된 복수의 영상의 경계에서 왜곡이 발생될 수 있다. 각 렌즈부(110, 120, 130)는 화각의 기준이 되는 화각 기준점(P1, P2)(도 3 참조)을 포함하는데, 인접한 렌즈부의 화각 기준점(P1, P2)이 제2 방향으로 이격됨에 복수의 영상의 경계에서 왜곡이 발생되는 것이다.As described above, the image capturing device (10) may include a plurality of lens units (110, 120, 130). When a plurality of lens units (110, 120, 130) are arranged in the second direction, distortion may occur at the boundary of a plurality of images generated by using adjacent lens units. Each lens unit (110, 120, 130) includes a view angle reference point (P1, P2) (see FIG. 3) that serves as a reference for the view angle, and when the view angle reference points (P1, P2) of adjacent lens units are spaced apart in the second direction, distortion occurs at the boundary of a plurality of images.

이러한 왜곡을 방지하기 위하여 본 발명의 실시예에 따른 영상 촬영 장치(10)에 포함된 복수의 렌즈부(110, 120, 130)는 제1 방향으로 나열될 수 있다. 이하, 제1 렌즈부(110) 및 제2 렌즈부(120)를 예시적으로 설명하나, 본 발명의 실시예에 따른 영상 촬영 장치(10)는 3개 이상의 렌즈부(110, 120, 130)를 포함할 수 있다.In order to prevent such distortion, a plurality of lens units (110, 120, 130) included in the image capturing device (10) according to an embodiment of the present invention may be arranged in a first direction. Hereinafter, the first lens unit (110) and the second lens unit (120) will be described as examples, but the image capturing device (10) according to an embodiment of the present invention may include three or more lens units (110, 120, 130).

도 2는 복수의 렌즈부의 배치 관계를 설명하기 위한 도면이고, 도 3은 복수의 렌즈부의 측면도이며, 도 4는 복수의 렌즈부의 평면도이다.Fig. 2 is a drawing for explaining the arrangement relationship of multiple lens parts, Fig. 3 is a side view of multiple lens parts, and Fig. 4 is a plan view of multiple lens parts.

도 2 내지 도 4를 참조하면, 렌즈부(110, 120)는 렌즈 몸체(111, 121) 및 렌즈(112, 122)를 포함하여 구성된다.Referring to FIGS. 2 to 4, the lens unit (110, 120) is configured to include a lens body (111, 121) and a lens (112, 122).

렌즈 몸체(111, 121)는 렌즈를 수용할 수 있다. 렌즈(112, 122)는 복수 개가 구비될 수 있다. 복수의 렌즈(112, 122)는 렌즈 몸체(111, 121)에 수용되고, 렌즈 몸체(111, 121)의 내부에서 위치가 고정될 수 있다. 복수의 렌즈(112, 122)를 투과한 광이 영상 센서(210, 220, 230)로 전달될 수 있다.The lens body (111, 121) can accommodate a lens. A plurality of lenses (112, 122) can be provided. The plurality of lenses (112, 122) are accommodated in the lens body (111, 121) and their positions can be fixed inside the lens body (111, 121). Light transmitted through the plurality of lenses (112, 122) can be transmitted to the image sensor (210, 220, 230).

복수의 렌즈부(110, 120)는 제1 방향으로 나열될 수 있다. 도 2 및 도 3은 제1 렌즈부(110) 및 제2 렌즈부(120)가 제1 방향으로 나열된 것을 도시하고 있다. 본 발명에서 제2 방향은 기준면(RS)에 평행한 방향을 나타내고, 제1 방향은 기준면(RS)에 수직한 방향을 나타낸 것일 수 있다. 즉, 제1 방향과 제2 방향은 상호간에 수직할 수 있는 것이다. 여기서, 기준면(RS)은 지면을 나타내거나 영상 촬영 장치(10)가 설치되는 설치면을 나타낸 것일 수 있다.A plurality of lens units (110, 120) may be arranged in a first direction. FIG. 2 and FIG. 3 illustrate that the first lens unit (110) and the second lens unit (120) are arranged in the first direction. In the present invention, the second direction may represent a direction parallel to the reference plane (RS), and the first direction may represent a direction perpendicular to the reference plane (RS). In other words, the first direction and the second direction may be perpendicular to each other. Here, the reference plane (RS) may represent the ground or an installation surface on which the image capturing device (10) is installed.

복수의 렌즈부(110, 120) 각각은 화각의 기준이 되는 화각 기준점(P1, P2)을 포함할 수 있다. 피사체 및 배경의 광은 화각 기준점(P1, P2)으로 집중되어 복수의 렌즈(112, 122)를 투과할 수 있다. 화각 기준점(P1, P2)은 렌즈부(110, 120)에 포함된 복수의 렌즈(112, 122)의 광 굴절률이 합성되어 그 위치가 결정될 수 있다.Each of the plurality of lens units (110, 120) may include a view angle reference point (P1, P2) that serves as a reference for the view angle. Light from the subject and the background may be focused on the view angle reference point (P1, P2) and transmitted through the plurality of lenses (112, 122). The position of the view angle reference point (P1, P2) may be determined by synthesizing the optical refractive indices of the plurality of lenses (112, 122) included in the lens units (110, 120).

하나의 렌즈부에 포함된 복수의 렌즈(112, 122)의 구성은 다른 렌즈부에 포함된 복수의 렌즈(112, 122)의 구성과 동일할 수 있다. 예를 들어, 제1 렌즈부(110)에 3개의 렌즈(112, 122)가 포함된 경우 제2 렌즈부(120)에도 3개의 렌즈(112, 122)가 포함될 수 있다. 또한, 제1 렌즈부(110)에 포함된 각 렌즈(112, 122)의 광 굴절률과 제2 렌즈부(120)에 포함된 각 렌즈(112, 122)의 광 굴절률은 동일할 수 있다. 이에, 복수의 렌즈부(110, 120) 각각은 동일한 성능을 광을 굴절시킬 수 있으며, 각 렌즈부(110, 120)별로 동일한 지점에 화각 기준점(P1, P2)이 형성될 수 있다.The configuration of the plurality of lenses (112, 122) included in one lens unit may be the same as the configuration of the plurality of lenses (112, 122) included in another lens unit. For example, when three lenses (112, 122) are included in the first lens unit (110), three lenses (112, 122) may also be included in the second lens unit (120). In addition, the optical refractive index of each lens (112, 122) included in the first lens unit (110) and the optical refractive index of each lens (112, 122) included in the second lens unit (120) may be the same. Accordingly, each of the plurality of lens units (110, 120) may refract light with the same performance, and the angle of view reference point (P1, P2) may be formed at the same point for each lens unit (110, 120).

복수의 렌즈부(110, 120) 각각의 화각 기준점(P1, P2)이 제1 방향에 평행한 동일선(VL)상에 포함되도록 복수의 렌즈부(110, 120)가 제1 방향으로 나열될 수 있다. 도 3에 도시된 바와 같이, 제1 렌즈부(110) 및 제2 렌즈부(120)의 화각 기준점(P1, P2)은 제1 방향의 가상선에 포함될 수 있다. 복수의 렌즈부(110, 120)의 화각 기준점(P1, P2)이 제1 방향으로 일치됨에 따라 제2 방향으로 합성된 복수의 영상의 경계에서 왜곡이 방지되거나 저감될 수 있다.A plurality of lens units (110, 120) may be arranged in the first direction such that the angle reference points (P1, P2) of each of the plurality of lens units (110, 120) are included on the same line (VL) parallel to the first direction. As illustrated in FIG. 3, the angle reference points (P1, P2) of the first lens unit (110) and the second lens unit (120) may be included in the virtual line in the first direction. As the angle reference points (P1, P2) of the plurality of lens units (110, 120) are aligned in the first direction, distortion at the boundary of the plurality of images synthesized in the second direction may be prevented or reduced.

인접한 렌즈부의 화각 기준점(P1, P2)은 일정 거리만큼 이격될 수 있다. 복수의 렌즈부(110, 120) 중 인접한 렌즈부 간의 거리는 동일하게 형성될 수 있다. 3개 이상의 렌즈부(110, 120)가 구비된 경우 인접한 렌즈부 간의 거리가 동일하게 형성될 수 있는 것이다.The angle reference points (P1, P2) of adjacent lens parts can be spaced apart by a certain distance. The distance between adjacent lens parts among the plurality of lens parts (110, 120) can be formed to be the same. When three or more lens parts (110, 120) are provided, the distance between adjacent lens parts can be formed to be the same.

본 발명에서 기준면(RS)에 대한 복수의 렌즈부(110, 120)의 광축(Ax, Bx)은 동일한 각도로 형성될 수 있다. 도 4에 도시된 바와 같이, 복수의 렌즈부(110, 120)를 상부에서 바라볼 때 제1 렌즈부(110)의 광축(이하, 제1 광축이라 한다)(Ax) 및 제2 렌즈부(120)의 광축(이하, 제2 광축이라 한다)(Bx)이 서로 다른 방향을 향하지만, 도 3에 도시된 바와 같이, 제1 광축(Ax) 및 제2 광축(Bx)은 기준면(RS)에 대하여 동일한 각도를 가질 수 있는 것이다. 예를 들어, 기준면(RS)에 대한 제1 광축(Ax)의 각도가 10도인 경우 기준면(RS)에 대한 제2 광축(Bx)의 각도도 10도로 형성될 수 있다.In the present invention, the optical axes (Ax, Bx) of the plurality of lens units (110, 120) with respect to the reference plane (RS) can be formed at the same angle. As illustrated in FIG. 4, when the plurality of lens units (110, 120) are viewed from above, the optical axis (Ax) of the first lens unit (110) and the optical axis (Bx) of the second lens unit (120) (hereinafter referred to as the second optical axis) face different directions. However, as illustrated in FIG. 3, the first optical axis (Ax) and the second optical axis (Bx) can have the same angle with respect to the reference plane (RS). For example, when the angle of the first optical axis (Ax) with respect to the reference plane (RS) is 10 degrees, the angle of the second optical axis (Bx) with respect to the reference plane (RS) can also be formed at 10 degrees.

기준면(RS)에 대한 제1 광축(Ax)과 제2 광축(Bx)의 각도가 상이한 경우 제1 렌즈부(110)에 의해 생성된 영상(이하, 제1 영상이라 한다)과 제2 렌즈부(120)에 의해 생성된 영상(이하, 제2 영상이라 한다) 간에 왜곡이 발생될 수 있다. 기준면(RS)에 대한 제1 광축(Ax) 및 제2 광축(Bx)의 각도가 동일하게 형성됨에 따라 제1 영상 및 제2 영상 간의 왜곡이 방지되거나 감소될 수 있다.When the angles of the first optical axis (Ax) and the second optical axis (Bx) with respect to the reference plane (RS) are different, distortion may occur between the image generated by the first lens unit (110) (hereinafter referred to as the first image) and the image generated by the second lens unit (120) (hereinafter referred to as the second image). When the angles of the first optical axis (Ax) and the second optical axis (Bx) with respect to the reference plane (RS) are formed to be the same, distortion between the first image and the second image can be prevented or reduced.

도 5는 복수의 렌즈부의 화각 범위를 설명하기 위한 도면이다.Figure 5 is a drawing for explaining the angle of view range of multiple lens parts.

도 5를 참조하면, 복수의 렌즈부(110, 120)는 서로 다른 방향으로부터 광을 입사 받을 수 있다.Referring to FIG. 5, multiple lens units (110, 120) can receive light from different directions.

도 5는 제1 렌즈부(110)가 좌측 전방으로부터 광을 입사 받고, 제2 렌즈부(120)가 우측 전방으로부처 광을 입사 받는 것을 도시하고 있다. 전술한 바와 같이, 복수의 렌즈부(110, 120)는 동일한 구성의 렌즈(112, 122)를 포함할 수 있다. 따라서, 제1 렌즈부(110)의 화각(이하, 제1 화각이라 한다)(FOV1) 및 제2 렌즈부(120)의 화각(이하, 제2 화각이라 한다)(FOV2)은 동일할 수 있으며, 제1 화각(FOV1) 및 제2 화각(FOV2)은 제1 렌즈부(110) 및 제2 렌즈부(120)의 화각 기준점(P1, P2)을 기준으로 형성될 수 있다. 이하, 제1 화각(FOV1)에 포함된 광 입사 범위를 제1 화각 범위(RVA1)라 하고, 제2 화각(FOV2)에 포함된 광 입사 범위를 제2 화각 범위(RVA2)라 한다.FIG. 5 illustrates that the first lens unit (110) receives light from the left front, and the second lens unit (120) receives light from the right front. As described above, the plurality of lens units (110, 120) may include lenses (112, 122) having the same configuration. Accordingly, the angle of view (hereinafter referred to as the first angle of view) (FOV1) of the first lens unit (110) and the angle of view (hereinafter referred to as the second angle of view) (FOV2) of the second lens unit (120) may be the same, and the first angle of view (FOV1) and the second angle of view (FOV2) may be formed based on angle of view reference points (P1, P2) of the first lens unit (110) and the second lens unit (120). Hereinafter, the light incident range included in the first field of view (FOV1) is referred to as the first field of view range (RVA1), and the light incident range included in the second field of view (FOV2) is referred to as the second field of view range (RVA2).

복수의 렌즈부(110, 120) 중 하나의 렌즈부에 의한 제2 방향의 화각 범위(RVA1, RVA2)는 다른 렌즈부에 의한 제2 방향의 화각 범위(RVA1, RVA2)에 적어도 일부가 중첩될 수 있다. 도 5에 도시된 바와 같이, 제1 화각 범위(RVA1) 및 제2 화각 범위(RVA2)가 일부 중첩되어 중첩 범위(ROA)가 형성될 수 있다. 화각 기준점(P1, P2)에서 중첩 범위(ROA)로 방사된 가상선(BL)은 제1 영상과 제2 영상의 경계를 형성할 수 있다.The second direction angle of view range (RVA1, RVA2) of one lens unit among the plurality of lens units (110, 120) may at least partially overlap with the second direction angle of view range (RVA1, RVA2) of the other lens unit. As illustrated in FIG. 5, the first angle of view range (RVA1) and the second angle of view range (RVA2) may partially overlap to form an overlapping range (ROA). A virtual line (BL) radiating from the angle of view reference points (P1, P2) to the overlapping range (ROA) may form a boundary between the first image and the second image.

도 6은 복수의 영상이 이용되어 합성 영상이 생성되는 것을 설명하기 위한 도면이다.Figure 6 is a drawing for explaining how multiple images are used to create a composite image.

도 6을 참조하면, 제1 영상(IMG1) 및 제2 영상(IMG2)이 합성되어 합성 영상이 생성될 수 있다. 여기서, 제1 영상(IMG1)은 제1 렌즈부(110)가 이용되어 생성된 영상을 나타내고, 제2 영상(IMG2)은 제2 렌즈부(120)가 이용되어 생성된 영상을 나타낸다.Referring to FIG. 6, a first image (IMG1) and a second image (IMG2) can be synthesized to generate a synthesized image. Here, the first image (IMG1) represents an image generated using the first lens unit (110), and the second image (IMG2) represents an image generated using the second lens unit (120).

영상 합성부(300)는 인접한 2개의 영상의 적어도 일부가 중첩되도록 사전에 설정된 방향으로 나열된 복수의 영상을 합성하여 합성 영상을 생성할 수 있다. 여기서, 복수의 영상의 나열 방향은 전술한 제2 방향을 나타낸다.The image synthesis unit (300) can generate a composite image by synthesizing a plurality of images arranged in a pre-set direction so that at least a portion of two adjacent images overlaps. Here, the arrangement direction of the plurality of images indicates the second direction described above.

인접한 2개의 영상은 동일한 영상 정보를 포함하는 영역을 각각 포함할 수 있다. 이하, 인접한 2개의 영상 각각의 영역 중 동일한 영상 정보를 포함하고 있는 영역을 공통 영상 영역이라 한다.Two adjacent images may each include a region containing the same image information. Hereinafter, an area of each of two adjacent images containing the same image information is referred to as a common image area.

인접한 2개의 영상이 단순히 제2 방향으로 중첩되어 배치되는 경우 공통 영상 영역은 일치하지 않을 수 있다. 이는 제1 방향으로 나열된 복수의 렌즈부가 이용되어 복수의 영상이 생성되었기 때문이다. 인접한 2개의 영상의 공통 영상 영역은 인접한 2개의 영상 중 하나가 제1 방향으로 이동함으로써 일치될 수 있다.When two adjacent images are simply superimposed in the second direction, the common image area may not match. This is because multiple images are generated by using multiple lens sections arranged in the first direction. The common image area of two adjacent images can be matched by moving one of the two adjacent images in the first direction.

인접한 2개의 영상의 공통 영상 영역이 일치된 경우 공통 영상 영역의 주변에 비중첩 영역이 배치될 수 있다. 구체적으로, 인접한 2개의 영상의 공통 영상 영역이 일치된 경우 공통 영상 영역을 기준으로 복수의 영상의 나열 방향(제2 방향)과는 상이한 제1 방향의 양측에 제1 비중첩 영역이 배치될 수 있다. 2개의 제1 비중첩 영역 중 하나는 인접한 2개의 영상 중 하나에 포함된 영상 영역이고, 2개의 제1 비중첩 영역 중 다른 하나는 인접한 2개의 영상 중 다른 하나에 포함된 영역 영역일 수 있다. 또한, 인접한 2개의 영상의 공통 영상 영역이 일치된 경우 공통 영상 영역을 기준으로 복수의 영상의 나열 방향(제2 방향)의 양측에 제2 비중첩 영역이 배치될 수 있다. 2개의 제2 비중첩 영역 중 하나는 인접한 2개의 영상 중 하나에 포함된 영상 영역이고, 2개의 제2 비중첩 영역 중 다른 하나는 인접한 2개의 영상 중 다른 하나에 포함된 영역 영역일 수 있다.When the common image regions of two adjacent images match, non-overlapping regions may be arranged around the common image region. Specifically, when the common image regions of two adjacent images match, first non-overlapping regions may be arranged on both sides of a first direction different from the ordering direction (second direction) of the plurality of images based on the common image region. One of the two first non-overlapping regions may be an image region included in one of the two adjacent images, and the other of the two first non-overlapping regions may be an area region included in the other of the two adjacent images. In addition, when the common image regions of two adjacent images match, second non-overlapping regions may be arranged on both sides of the ordering direction (second direction) of the plurality of images based on the common image region. One of the two second non-overlapping regions may be an image region included in one of the two adjacent images, and the other of the two second non-overlapping regions may be an area region included in the other of the two adjacent images.

인접한 2개의 영상은 제1 비중첩 영역 및 제2 비중첩 영역을 각각 포함할 수 있다. 제1 비중첩 영역이 제거되고, 공통 영상 영역 및 제2 비중첩 영역이 합성되어 합성 영상이 생성될 수 있다.Two adjacent images may each include a first non-overlapping region and a second non-overlapping region. The first non-overlapping region may be removed, and the common image region and the second non-overlapping region may be synthesized to generate a composite image.

도 6을 참조하여 이와 같은 과정을 설명하기로 한다. 도 6에서 제1 영상(IMG1) 및 제2 영상(IMG2)은 전술한 복수의 영상 중 인접한 2개의 영상인 것으로 이해될 수 있다.This process will be described with reference to Fig. 6. In Fig. 6, the first image (IMG1) and the second image (IMG2) can be understood as two adjacent images among the multiple images described above.

영상 합성부(300)는 제1 영상(IMG1) 및 제2 영상(IMG2)의 적어도 일부가 중첩되도록 제2 방향(X)으로 나열할 수 있다. 도 6의 (b)는 제1 영상(IMG1) 및 제2 영상(IMG2)이 제2 방향(X)으로 나열되어 중첩 영역(OA)이 형성된 것을 도시하고 있다.The image synthesis unit (300) can arrange the first image (IMG1) and the second image (IMG2) in the second direction (X) so that at least a portion of the first image (IMG1) and the second image (IMG2) overlap. FIG. 6 (b) illustrates that the first image (IMG1) and the second image (IMG2) are arranged in the second direction (X) to form an overlapping area (OA).

제1 영상(IMG1) 및 제2 영상(IMG2)은 동일한 영상 정보를 포함하는 공통 영상 영역을 각각 포함할 수 있으며, 공통 영상 영역은 제1 영상(IMG1) 및 제2 영상(IMG2)의 중첩 영역(OA)에 포함될 수 있다.The first image (IMG1) and the second image (IMG2) may each include a common image area including the same image information, and the common image area may be included in an overlapping area (OA) of the first image (IMG1) and the second image (IMG2).

한편, 제1 화각 기준점(P1) 및 제2 화각 기준점(P2)이 제1 방향(Y)으로 이격되어 있기 때문에 제1 영상(IMG1) 및 제2 영상(IMG2)을 단순히 제2 방향(X)으로 나열하는 경우 중첩 영역(OA)에서 제1 영상(IMG1) 및 제2 영상(IMG2)의 공통 영상 영역이 일치되지 않을 수 있다. 이에, 영상 합성부(300)는 복수의 렌즈부(110, 120)의 화각 기준점(P1, P2) 간의 거리를 참조하여 복수의 영상 중 적어도 일부를 제1 방향(Y)으로 이동시킨 이후에 합성 영상을 생성할 수 있다. 즉, 영상 합성부(300)는 제1 화각 기준점(P1) 및 제2 화각 기준점(P2) 간의 거리를 참조하여 제1 영상(IMG1) 및 제2 영상(IMG2) 중 하나를 제1 방향(Y)으로 이동시키는 것이다. 이하, 화각 기준점(P1, P2) 간의 거리가 참조되어 이동하는 영상의 이동 거리를 오프셋 거리(OFFSET)라 한다. 오프셋 거리(OFFSET)의 산출에 대한 자세한 설명은 도 7 및 도 8을 통하여 후술하기로 한다.Meanwhile, since the first angle reference point (P1) and the second angle reference point (P2) are spaced apart in the first direction (Y), if the first image (IMG1) and the second image (IMG2) are simply listed in the second direction (X), the common image areas of the first image (IMG1) and the second image (IMG2) in the overlapping area (OA) may not match. Accordingly, the image synthesis unit (300) can generate a synthesis image after moving at least some of the plurality of images in the first direction (Y) with reference to the distance between the angle reference points (P1, P2) of the plurality of lens units (110, 120). That is, the image synthesis unit (300) moves one of the first image (IMG1) and the second image (IMG2) in the first direction (Y) with reference to the distance between the first angle reference point (P1) and the second angle reference point (P2). Hereinafter, the distance of movement of the moving image with reference to the distance between the angle reference points (P1, P2) is called the offset distance (OFFSET). A detailed explanation of the calculation of the offset distance (OFFSET) will be described later with reference to FIGS. 7 and 8.

도 6의 (c)에 도시된 바와 같이, 제1 영상(IMG1) 및 제2 영상(IMG2) 중 하나가 오프셋 거리(OFFSET)만큼 이동하는 경우 중첩 영역(OA)에 포함된 공통 영상 영역(CIA)이 일치하게 된다.As shown in (c) of Fig. 6, when one of the first image (IMG1) and the second image (IMG2) moves by the offset distance (OFFSET), the common image area (CIA) included in the overlapping area (OA) coincides.

인접한 2개의 영상(IMG1, IMG2)의 공통 영상 영역(CIA)이 일치된 경우 공통 영상 영역(CIA)을 기준으로 제1 방향(Y)의 양측에 제1 비중첩 영역(NOA1a, NOA1b)이 배치되고, 공통 영상 영역(CIA)을 기준으로 제2 방향(X)의 양측에 제2 비중첩 영역(NOA2a, NOA2b)이 배치될 수 있다. 여기서, 제1 비중첩 영역(NOA1a, NOA1b) 및 제2 비중첩 영역(NOA2a, NOA2b)은 제1 영역(IMG1) 및 제2 영역(IMG2)의 전체 영역 중 중첩되지 않은 영역을 나타낸다.When the common image area (CIA) of two adjacent images (IMG1, IMG2) is matched, first non-overlapping areas (NOA1a, NOA1b) may be arranged on both sides in the first direction (Y) based on the common image area (CIA), and second non-overlapping areas (NOA2a, NOA2b) may be arranged on both sides in the second direction (X) based on the common image area (CIA). Here, the first non-overlapping area (NOA1a, NOA1b) and the second non-overlapping area (NOA2a, NOA2b) represent non-overlapping areas among the entire areas of the first area (IMG1) and the second area (IMG2).

영상 합성부(300)는 나열된 복수의 영상에서 제1 비중첩 영역(NOA1a, NOA1b)을 제거할 수 있다. 그리고, 영상 합성부(300)는 인접한 2개의 영상(IMG1, IMG2) 중 하나의 제2 비중첩 영역(NOA2a, NOA2b)과 공통 영상 영역(CIA)의 일부를 합성하여 제1 목표 영상(T-IMG1)을 생성하고, 인접한 2개의 영상(IMG1, IMG2) 중 나머지 하나의 제2 비중첩 영역(NOA2a, NOA2b)과 공통 영상 영역(CIA)의 나머지 일부를 합성하여 제2 목표 영상(T-IMG2)을 생성할 수 있다. 구체적으로, 영상 합성부(300)는 제1 영상(IMG1)의 제2 비중첩 영역(NOA2a)과 공통 영상 영역(CIA)의 일부를 합성하여 제1 목표 영상(T-IMG1)을 생성하고, 제2 영상(IMG2)의 제2 비중첩 영역(NOA2b)과 공통 영상 영역(CIA)의 나머지 일부를 합성하여 제2 목표 영상(T-IMG2)을 생성할 수 있다. 여기서, 제1 목표 영상(T-IMG1) 및 제2 목표 영상(T-IMG2)의 제1 방향(Y)으로의 길이는 동일할 수 있다.The image synthesis unit (300) can remove the first non-overlapping area (NOA1a, NOA1b) from the listed plurality of images. In addition, the image synthesis unit (300) can generate a first target image (T-IMG1) by synthesizing a second non-overlapping area (NOA2a, NOA2b) of one of the two adjacent images (IMG1, IMG2) and a part of the common image area (CIA), and can generate a second target image (T-IMG2) by synthesizing a second non-overlapping area (NOA2a, NOA2b) of the remaining one of the two adjacent images (IMG1, IMG2) and a part of the remaining common image area (CIA). Specifically, the image synthesis unit (300) can generate a first target image (T-IMG1) by synthesizing a second non-overlapping area (NOA2a) of the first image (IMG1) and a part of the common image area (CIA), and can generate a second target image (T-IMG2) by synthesizing a second non-overlapping area (NOA2b) of the second image (IMG2) and a remaining part of the common image area (CIA). Here, the lengths of the first target image (T-IMG1) and the second target image (T-IMG2) in the first direction (Y) can be the same.

도 6의 (d)에 도시된 바와 같이, 영상 합성부(300)는 제1 목표 영상(T-IMG1)과 제2 목표 영상(T-IMG2)을 합성하여 합성 영상을 생성할 수 있다. 제2 방향(X)으로 나열된 복수의 목표 영상(T-IMG1, T-IMG2)이 합성되어 연속된 영상 정보를 포함하는 합성 영상이 생성될 수 있다.As illustrated in (d) of Fig. 6, the image synthesis unit (300) can generate a synthetic image by synthesizing a first target image (T-IMG1) and a second target image (T-IMG2). A plurality of target images (T-IMG1, T-IMG2) arranged in the second direction (X) can be synthesized to generate a synthetic image including continuous image information.

도 7은 보정 각도가 산출되는 것을 설명하기 위한 도면이고, 도 8은 오프셋 거리가 산출되는 것을 설명하기 위한 도면이다.Figure 7 is a drawing for explaining how a correction angle is calculated, and Figure 8 is a drawing for explaining how an offset distance is calculated.

도 7을 참조하면, 제1 렌즈부(110) 및 제2 렌즈부(120)의 제1 방향 화각이 참조되어 보정 각도(CA)가 산출될 수 있다.Referring to FIG. 7, the first directional angle of view of the first lens unit (110) and the second lens unit (120) can be referenced to calculate the correction angle (CA).

제1 광축(Ax) 및 제2 광축(Bx)은 서로 평행하고, 참조면에 수직할 수 있다. 이러한 경우, 제1 광축(Ax)에 대한 제1 방향의 제1 화각(A1)과 제2 광축(Bx)에 대한 제1 방향의 제2 화각(A2)은 동일할 수 있다.The first optical axis (Ax) and the second optical axis (Bx) may be parallel to each other and perpendicular to the reference plane. In this case, the first angle of view (A1) in the first direction with respect to the first optical axis (Ax) and the second angle of view (A2) in the first direction with respect to the second optical axis (Bx) may be the same.

제1 렌즈부(110) 및 제2 렌즈부(120)가 참조면을 향하고 있을 때 제1 화각 영역(AF1) 및 제2 화각 영역(AF2)이 참조면에 매핑될 수 있다. 도 7에서 H1은 제2 광축(Bx)부터 제2 화각 영역(AF2)의 상측 경계까지의 거리를 나타낸다. 제1 화각 영역(AF1)과 제2 화각 영역(AF2)을 제1 방향으로 일치시키기 위해서는 제2 화각 영역(AF2)의 상측 경계가 제1 화각 영역(AF1)의 상측 경계에 일치되도록 제2 화각(A2)이 보정 각도(CA)로 보정되어야 한다. 제2 화각(A2)이 보정 각도(CA)로 보정되는 경우 제2 광축(Bx)부터 제2 화각 영역(AF2)의 수직 방향 경계 간의 거리는 H2가 될 수 있다. 여기서, H2와 H1 간의 간격은 제1 화각 기준점(P1) 및 제2 화각 기준점(P2) 간의 거리와 동일할 수 있다.When the first lens unit (110) and the second lens unit (120) are facing the reference plane, the first field of view area (AF1) and the second field of view area (AF2) can be mapped to the reference plane. In FIG. 7, H1 represents the distance from the second optical axis (Bx) to the upper boundary of the second field of view area (AF2). In order to align the first field of view area (AF1) and the second field of view area (AF2) in the first direction, the second field of view (A2) must be corrected by the correction angle (CA) so that the upper boundary of the second field of view area (AF2) aligns with the upper boundary of the first field of view area (AF1). When the second field of view (A2) is corrected by the correction angle (CA), the distance from the second optical axis (Bx) to the vertical boundary of the second field of view area (AF2) can be H2. Here, the distance between H2 and H1 may be equal to the distance between the first angle reference point (P1) and the second angle reference point (P2).

오프셋 거리(OFFSET)를 산출하기 위해서는 우선적으로 보정 각도(CA)가 산출되어야 하는데, 보정 각도(CA)는 아래의 수학식에 의해 산출될 수 있다.In order to calculate the offset distance (OFFSET), the compensation angle (CA) must first be calculated. The compensation angle (CA) can be calculated using the mathematical formula below.

[수학식1][Mathematical Formula 1]

CA = arctan (I/D + tanA2)CA = arctan (I/D + tanA2)

여기서, CA는 보정 각도를 나타내고, I는 제1 화각 기준점(P1) 및 제2 화각 기준점(P2) 간의 거리를 나타내고, D는 화각 기준점(P1, P2)과 참조면 간의 거리를 나타내며, A2는 제2 화각을 나타낸다.Here, CA represents a compensation angle, I represents a distance between a first angle reference point (P1) and a second angle reference point (P2), D represents a distance between angle reference points (P1, P2) and a reference plane, and A2 represents a second angle.

도 8을 참조하면, 제2 화각(A2) 및 보정 각도(CA)가 참조되어 오프셋 거리(OFFSET)가 산출될 수 있다.Referring to Fig. 8, the second angle of view (A2) and the correction angle (CA) can be referenced to calculate the offset distance (OFFSET).

도 8에서 F는 제2 렌즈부(120)의 초점을 나타내고, FL은 제2 렌즈부(120)의 초점 거리를 나타내며, H3는 제2 렌즈부(120)의 제2 화각(A2)이 보정 전에 제2 영상 센서(220)에 매핑된 제2 영상(IMG2)의 높이를 나타내고, H4는 제2 렌즈부(120)의 제2 화각(A2)이 보정 된 이후에 제2 영상 센서(220)에 매핑된 제2 영상(IMG2)의 높이를 나타낸다.In FIG. 8, F represents the focus of the second lens unit (120), FL represents the focal length of the second lens unit (120), H3 represents the height of the second image (IMG2) mapped to the second image sensor (220) before the second angle of view (A2) of the second lens unit (120) is corrected, and H4 represents the height of the second image (IMG2) mapped to the second image sensor (220) after the second angle of view (A2) of the second lens unit (120) is corrected.

제1 화각 영역(AF1)과 제2 화각 영역(AF2)을 제1 방향으로 일치시키기 위하여 제2 영상(IMG2)은 오프셋 거리(OFFSET)만큼 제1 방향으로 이동하여야 한다. 오프셋 거리(OFFSET)는 H4와 H3 간의 차이에 대응될 수 있다.In order to align the first field of view area (AF1) and the second field of view area (AF2) in the first direction, the second image (IMG2) must be moved in the first direction by an offset distance (OFFSET). The offset distance (OFFSET) may correspond to the difference between H4 and H3.

이에, 오프셋 거리(OFFSET)는 아래의 수학식에 의해 산출될 수 있다.Accordingly, the offset distance (OFFSET) can be calculated by the mathematical formula below.

[수학식2][Mathematical formula 2]

H3 = FLХtanA2H3 = FLХtanA2

H4 = FLХtanCAH4 = FLХtanCA

OFFSET = H4 - H3OFFSET = H4 - H3

제2 영상(IMG2)이 오프셋 거리(OFFSET)만큼 제1 방향으로 이동됨에 따라 제1 화각 영역(AF1)와 제2 화각 영역(AF2)이 제1 방향으로 일치될 수 있다. 영상 합성부(300)는 제1 화각 영역(AF1)와 제2 화각 영역(AF2)이 제1 방향으로 일치된 이후에 제1 영상(IMG1) 및 제2 영상(IMG2)에서 제1 목표 영상(T_IMG1) 및 제2 목표 영상(T_IMG2)을 각각 추출할 수 있다. 그리고, 영상 합성부(300)는 제1 목표 영상(T_IMG1)과 제2 목표 영상(T_IMG2)을 제2 방향으로 합성하여 합성 영상을 생성할 수 있다.As the second image (IMG2) is moved in the first direction by the offset distance (OFFSET), the first field of view area (AF1) and the second field of view area (AF2) can be aligned in the first direction. The image synthesis unit (300) can extract the first target image (T_IMG1) and the second target image (T_IMG2) from the first image (IMG1) and the second image (IMG2) after the first field of view area (AF1) and the second field of view area (AF2) are aligned in the first direction. Then, the image synthesis unit (300) can generate a composite image by synthesizing the first target image (T_IMG1) and the second target image (T_IMG2) in the second direction.

도 9는 인접한 목표 영상의 경계에서 객체의 균열이 제거되는 것을 설명하기 위한 도면이다.Figure 9 is a drawing to explain the removal of cracks in an object at the boundary of adjacent target images.

도 9를 참조하면, 복수의 렌즈부(110, 120)는 복수의 목표 영상(T_IMG1, T_IMG2) 중 인접한 목표 영상의 경계에서 객체의 균열이 제거되도록 하는 렌즈 왜곡률을 가질 수 있다.Referring to FIG. 9, the plurality of lens units (110, 120) may have a lens distortion rate that allows cracks in an object to be removed from the boundary of adjacent target images among the plurality of target images (T_IMG1, T_IMG2).

도 9는 제1 목표 영상(T_IMG1) 및 제2 목표 영상(T_IMG2)이 합성되어 합성 영상이 생성되는 것을 도시하고 있다. 제1 목표 영상(T_IMG1) 및 제2 목표 영상(T_IMG2)은 객체의 일부(OBJ1, OJB2)를 각각 포함할 수 있다. 이하, 제1 목표 영상(T_IMG1)에 포함된 객체의 일부를 제1 부분 객체(OBJ1)라 하고, 제2 목표 영상(T_IMG2)에 포함된 객체의 일부를 제2 부분 객체(OBJ2)라 한다.FIG. 9 illustrates that a first target image (T_IMG1) and a second target image (T_IMG2) are synthesized to generate a synthesized image. The first target image (T_IMG1) and the second target image (T_IMG2) may each include a portion of an object (OBJ1, OJB2). Hereinafter, a portion of an object included in the first target image (T_IMG1) is referred to as a first partial object (OBJ1), and a portion of an object included in the second target image (T_IMG2) is referred to as a second partial object (OBJ2).

제1 렌즈부(110) 및 제2 렌즈부(120)의 렌즈 왜곡률이 적절하지 않은 경우 (a)에 도시된 바와 같이 제1 목표 영상(T_IMG1) 및 제2 목표 영상(T_IMG2)의 경계에서 제1 부분 객체(OBJ1)와 제2 부분 객체(OBJ2)가 자연스럽게 연결되지 못하고, 균열이 발생될 수 있다. 이러한 객체의 균열을 제거하기 위하여 제1 렌즈부(110) 및 제2 렌즈부(120)의 렌즈 왜곡률은 적절하게 결정될 수 있다. 제1 렌즈부(110) 및 제2 렌즈부(120)의 렌즈 왜곡률이 적절하게 결정되는 경우 제1 목표 영상(T_IMG1) 및 제2 목표 영상(T_IMG2)의 경계에서 제1 부분 객체(OBJ1)와 제2 부분 객체(OBJ2)가 자연스럽게 연결되고, 균열이 제거될 수 있다.When the lens distortion rates of the first lens unit (110) and the second lens unit (120) are not appropriate, as shown in (a), the first partial object (OBJ1) and the second partial object (OBJ2) cannot be naturally connected at the boundary between the first target image (T_IMG1) and the second target image (T_IMG2), and a crack may occur. In order to remove the crack of the object, the lens distortion rates of the first lens unit (110) and the second lens unit (120) can be appropriately determined. When the lens distortion rates of the first lens unit (110) and the second lens unit (120) are appropriately determined, the first partial object (OBJ1) and the second partial object (OBJ2) can be naturally connected at the boundary between the first target image (T_IMG1) and the second target image (T_IMG2), and the crack can be removed.

이상과 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.Although the embodiments of the present invention have been described with reference to the above and the attached drawings, those skilled in the art to which the present invention pertains will understand that the present invention can be implemented in other specific forms without changing the technical idea or essential characteristics thereof. Therefore, it should be understood that the embodiments described above are exemplary in all respects and not restrictive.

10: 영상 촬영 장치
110, 120, 130: 렌즈부
210, 220, 230: 영상 센서
300: 영상 합성부
400: 통신부
10: Video recording device
110, 120, 130: Lens section
210, 220, 230: Image sensor
300: Video Compositing Section
400: Communications Department

Claims (15)

제1 방향으로 나열되고, 서로 다른 방향으로부터 복수의 광을 입사 받는 복수의 렌즈부;
상기 입사된 복수의 광을 이용하여 복수의 영상을 생성하는 복수의 영상 센서; 및
상기 복수의 영상을 상기 제1 방향과는 상이한 제2 방향으로 합성하여 합성 영상을 생성하는 영상 합성부를 포함하는 영상 촬영 장치.
A plurality of lens sections arranged in a first direction and receiving a plurality of rays of light from different directions;
A plurality of image sensors that generate a plurality of images using the plurality of incident lights; and
An image capturing device including an image synthesizing unit that generates a composite image by synthesizing the plurality of images in a second direction different from the first direction.
제1 항에 있어서,
상기 복수의 렌즈부 각각의 화각 기준점이 상기 제1 방향에 평행한 동일선상에 포함되도록 상기 복수의 렌즈부가 상기 제1 방향으로 나열되는 영상 촬영 장치.
In the first paragraph,
An image capturing device in which the plurality of lens units are arranged in the first direction so that the angle reference point of each of the plurality of lens units is included on the same line parallel to the first direction.
제1 항에 있어서,
상기 복수의 렌즈부 중 인접한 렌즈부 간의 거리는 동일하게 형성되는 영상 촬영 장치.
In the first paragraph,
An image capturing device in which the distance between adjacent lens units among the above-mentioned plurality of lens units is formed to be the same.
제1 항에 있어서,
기준면에 대한 상기 복수의 렌즈부의 광축은 동일한 각도로 형성되는 영상 촬영 장치.
In the first paragraph,
An imaging device in which the optical axes of the plurality of lens sections with respect to the reference plane are formed at the same angle.
제1 항에 있어서,
상기 복수의 렌즈부 중 하나의 렌즈부에 의한 상기 제2 방향의 화각 범위는 다른 렌즈부에 의한 상기 제2 방향의 화각 범위에 적어도 일부가 중첩되는 영상 촬영 장치.
In the first paragraph,
An image capturing device wherein the angle of view range in the second direction by one lens unit among the plurality of lens units overlaps at least partly with the angle of view range in the second direction by another lens unit.
제1 항에 있어서,
상기 영상 합성부는 상기 복수의 렌즈부의 화각 기준점 간의 거리를 참조하여 상기 복수의 영상 중 적어도 일부를 상기 제1 방향으로 이동시킨 이후에 상기 합성 영상을 생성하는 영상 촬영 장치.
In the first paragraph,
An image capturing device in which the image synthesis unit generates the composite image after moving at least a portion of the plurality of images in the first direction with reference to the distance between the angle reference points of the plurality of lens units.
제6 항에 있어서,
상기 영상 합성부는,
상기 복수의 영상에서 상기 제1 방향으로 동일한 길이를 갖는 목표 영상을 추출하고,
상기 추출된 복수의 목표 영상을 상기 제2 방향으로 합성하여 상기 합성 영상을 생성하는 영상 촬영 장치.
In Article 6,
The above video synthesis unit,
Extracting a target image having the same length in the first direction from the above plurality of images,
An image capturing device that generates the composite image by synthesizing the plurality of target images extracted above in the second direction.
제7 항에 있어서,
상기 복수의 렌즈부는 상기 복수의 목표 영상 중 인접한 목표 영상의 경계에서 객체의 균열이 제거되도록 하는 렌즈 왜곡률을 갖는 영상 촬영 장치.
In Article 7,
An image capturing device wherein the plurality of lens sections have a lens distortion rate that removes cracks in an object at the boundary of adjacent target images among the plurality of target images.
제1 항에 있어서,
상기 합성 영상을 송신하는 통신부를 더 포함하는 영상 촬영 장치.
In the first paragraph,
An image capturing device further comprising a communication unit for transmitting the above-mentioned composite image.
제1 항에 있어서,
상기 합성 영상은 파노라마 영상을 포함하는 영상 촬영 장치.
In the first paragraph,
The above composite image is an image capturing device including a panoramic image.
인접한 2개의 영상의 적어도 일부가 중첩되도록 사전에 설정된 방향으로 나열된 복수의 영상을 합성하여 합성 영상을 생성하는 영상 합성부를 포함하되,
상기 인접한 2개의 영상은 동일한 영상 정보를 포함하는 공통 영상 영역을 각각 포함하고,
상기 인접한 2개의 영상의 공통 영상 영역이 일치된 경우 상기 공통 영상 영역을 기준으로 상기 복수의 영상의 나열 방향과는 상이한 제1 방향의 양측에 제1 비중첩 영역이 배치되고, 상기 공통 영상 영역을 기준으로 상기 복수의 영상의 나열 방향의 양측에 제2 비중첩 영역이 배치되는 영상 촬영 장치.
Including an image synthesis unit that generates a composite image by synthesizing a plurality of images arranged in a pre-set direction so that at least a portion of two adjacent images overlaps,
The two adjacent images each include a common image area containing the same image information,
An image capturing device in which, when the common image areas of the two adjacent images match, first non-overlapping areas are arranged on both sides of a first direction different from the listing direction of the plurality of images based on the common image area, and second non-overlapping areas are arranged on both sides of the listing direction of the plurality of images based on the common image area.
제11 항에 있어서,
상기 인접한 2개의 영상의 공통 영상 영역은 상기 인접한 2개의 영상 중 하나가 상기 제1 방향으로 이동함으로써 일치되는 영상 촬영 장치.
In Article 11,
An image capturing device in which the common image area of the two adjacent images is matched by moving one of the two adjacent images in the first direction.
제11 항에 있어서,
상기 영상 합성부는,
상기 인접한 2개의 영상에서 상기 제1 비중첩 영역을 제거하고,
상기 인접한 2개의 영상 중 하나의 제2 비중첩 영역과 상기 공통 영상 영역의 일부를 합성하여 제1 목표 영상을 생성하고,
상기 인접한 2개의 영상 중 나머지 하나의 제2 비중첩 영역과 상기 공통 영상 영역의 나머지 일부를 합성하여 제2 목표 영상을 생성하며,
상기 제1 목표 영상과 상기 제2 목표 영상을 합성하여 상기 합성 영상을 생성하는 영상 촬영 장치.
In Article 11,
The above video synthesis unit,
Remove the first non-overlapping region from the two adjacent images,
Generating a first target image by synthesizing a second non-overlapping region of one of the two adjacent images and a part of the common image region,
A second target image is generated by synthesizing a second non-overlapping region of the remaining one of the two adjacent images and the remaining part of the common image region,
An image capturing device that generates the composite image by synthesizing the first target image and the second target image.
제11 항에 있어서,
상기 복수의 영상은 상기 제1 방향으로 나열되고, 서로 다른 방향으로 복수의 광을 입사 받는 복수의 렌즈부가 이용되어 생성된 것을 포함하는 영상 촬영 장치.
In Article 11,
An image capturing device including a plurality of images, wherein the plurality of images are arranged in the first direction and generated using a plurality of lens sections that receive a plurality of lights in different directions.
제1 방향으로 나열된 복수의 렌즈부에 의해 서로 다른 방향으로 복수의 광을 입사 받는 단계;
상기 입사된 복수의 광을 이용하여 복수의 영상을 생성하는 단계; 및
상기 복수의 영상을 상기 제1 방향과는 상이한 제2 방향으로 합성하여 합성 영상을 생성하는 단계를 포함하는 영상 촬영 방법.
A step of receiving a plurality of lights in different directions by a plurality of lens units arranged in a first direction;
A step of generating multiple images using the multiple incident lights; and
An image capturing method comprising the step of generating a composite image by synthesizing the plurality of images in a second direction different from the first direction.
KR1020230022582A 2023-02-21 2023-02-21 Apparatus and method for capturing image Pending KR20240129706A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230022582A KR20240129706A (en) 2023-02-21 2023-02-21 Apparatus and method for capturing image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230022582A KR20240129706A (en) 2023-02-21 2023-02-21 Apparatus and method for capturing image

Publications (1)

Publication Number Publication Date
KR20240129706A true KR20240129706A (en) 2024-08-28

Family

ID=92591989

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230022582A Pending KR20240129706A (en) 2023-02-21 2023-02-21 Apparatus and method for capturing image

Country Status (1)

Country Link
KR (1) KR20240129706A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020120371A (en) 2018-12-14 2020-08-06 アクシス アーベー System for panoramic imaging

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020120371A (en) 2018-12-14 2020-08-06 アクシス アーベー System for panoramic imaging

Similar Documents

Publication Publication Date Title
US20220357645A1 (en) Opto-mechanics of panoramic capture devices with abutting cameras
CN111198445B (en) A device and method for spectroscopic polarization imaging
CN101201459A (en) A Photoelectric System Using Prism Spectral Vignetting Compensation to Realize Multi-CCD Seamless Splicing
US9661303B2 (en) Multi-camera stereoscopic imaging apparatus for reducing the effects of aberration
US11930256B2 (en) Imaging device, imaging optical system, and imaging method
US20160274337A1 (en) Snychronous camera lens module photographing all directions with single lens
TW201222139A (en) Stereoscopic imaging apparatus
WO2011134215A1 (en) Stereoscopic camera device
US20130107009A1 (en) Three-dimensional image pickup apparatus, light-transparent unit, image processing apparatus, and program
US9019352B2 (en) Two-parallel-channel reflector with focal length and disparity control
US20120147247A1 (en) Optical system and imaging apparatus including the same
CN107465908A (en) A kind of 3D&360 degree panorama shooting method
KR20240129706A (en) Apparatus and method for capturing image
JP2002191060A (en) Three-dimensional imaging unit
JP2010504547A (en) Lens construction
CN101221350B (en) Image plane segmentation multi-optical channel common image plane imaging device
CN101916035A (en) Stereo pick-up device and method
WO2020213594A1 (en) Interchangeable lens, information processing device, information processing method, and program
CN203587870U (en) Multi-view camera shooting lens module
JP2013057698A (en) Lens barrel adapter, lens barrel, and imaging apparatus using the same
WO2024051214A1 (en) Three-dimensional image collection apparatus and method, and related device
JP2003134534A (en) Image pickup device
KR101082382B1 (en) Three dimensional photographing lens system
JP2011182041A (en) Imaging apparatus
JP2012220848A (en) Imaging device and lens device

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20230221

PG1501 Laying open of application