[go: up one dir, main page]

KR20220053678A - 전체 시야 레퍼런스 이미지 존재 하의 이미지 스티칭 - Google Patents

전체 시야 레퍼런스 이미지 존재 하의 이미지 스티칭 Download PDF

Info

Publication number
KR20220053678A
KR20220053678A KR1020227012187A KR20227012187A KR20220053678A KR 20220053678 A KR20220053678 A KR 20220053678A KR 1020227012187 A KR1020227012187 A KR 1020227012187A KR 20227012187 A KR20227012187 A KR 20227012187A KR 20220053678 A KR20220053678 A KR 20220053678A
Authority
KR
South Korea
Prior art keywords
image
fov
tele
images
scanning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020227012187A
Other languages
English (en)
Other versions
KR102495627B1 (ko
Inventor
파즈 일란
샤이 베이스먼
루씨 카츠
아디 테이텔
하가이 차프리르
갈 샤브타이
오뎃 기구신스키
이타마르 아줄레
Original Assignee
코어포토닉스 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코어포토닉스 리미티드 filed Critical 코어포토닉스 리미티드
Priority to KR1020237003409A priority Critical patent/KR102674601B1/ko
Publication of KR20220053678A publication Critical patent/KR20220053678A/ko
Application granted granted Critical
Publication of KR102495627B1 publication Critical patent/KR102495627B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/02—Telephoto objectives, i.e. systems of the type + - in which the distance from the front vertex to the image plane is less than the equivalent focal length
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H04N5/23238—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H04N9/045—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

심리스의 고해상도 와이드 시야 이미지를 획득하기 위한 시스템 및 방법은 스캐닝 텔레 카메라를 사용하여 장면에서 복수의 텔레 이미지를 캡처하는 단계, 여기서 각각의 캡처된 텔레 이미지는 연관된 텔레 시야(FOVT)를 갖고; FOVT보다 큰 시야를 가지며 각각의 R 이미지 장면을 갖는 R 이미지를 검색하는 단계; 폴디드 텔레 카메라가 복수의 텔레 이미지를 캡처하기 위해 장면을 스캔하도록 이에 따라 스캐닝 위치의 순서를 정의하기 위해 R 이미지를 분석하는 단계; 복수의 텔레 이미지와 R 이미지를 정렬하여 정렬된 텔레 이미지를 획득하는 단계; 및 상기 정렬된 텔레 이미지를 출력 이미지로 합성하는 단계를 포함한다. 출력 이미지는 R 이미지의 적어도 일부를 포함할 수 있으며, 출력 이미지의 스트림 중 하나일 수 있다.

Description

전체 시야 레퍼런스 이미지 존재 하의 이미지 스티칭
관련 출원에 대한 상호 참조
본 출원은 2020년 5월 17일자로 출원된 미국 가특허출원 제63/026,097호에 기초하여 그 우선권을 주장하며, 이는 그 전체가 참조로 여기에 포함된다.
본 명세서에 개시된 주제는 일반적으로 이미지 스티칭에 관한 것이고, 특히 큰 FOV 이미지가 존재하는 경우 작은 FOV 카메라로 촬영한 이미지를 스티칭하는 방법에 관한 것이다.
멀티-애퍼처 카메라(또는 멀티-카메라)는 하이-엔드 모바일 핸드헬드 장치("모바일 장치", 예를 들어, 스마트폰, 태블릿 등)의 표준이다. 멀티-카메라는 일반적으로 와이드 시야(FOVW) 또는 "와이드 앵글(광각)" 카메라("와이드" 카메라 또는 "W 카메라"), 및 동일한 FOV를 갖거나, 좁은 FOV(텔레 FOVT를 갖는 텔레포토 또는 "텔레" 카메라 또는 "T" 카메라)를 갖는 하나 이상의 추가 카메라, 또는 FOVUW > FOVW를 갖는 울트라-와이드 카메라("UW 카메라")를 포함한다.
텔레-와이드 또는 텔레-울트라-와이드 멀티-카메라(이하, "텔레-레퍼런스" 멀티-카메라라고 함)는 두 카메라의 장점을 결합하여 단점을 극복한다. R 카메라 해상도("RESR") 및 R 신호 대 잡음비(SNRR)로 레퍼런스(R) 이미지를 제공하는 레퍼런스 카메라("R 카메라")를 이용하여 장면의 큰 레퍼런스 카메라 FOVR을 캡처하고, FOVT로 장면을 주밍하기 위해 더 높은 텔레 카메라 해상도("REST") 및 SNR(SNRT)을 사용한다. 그러나, 텔레 카메라 해상도가 증가함에 따라, FOVT가 좁아져 장면의 일부만 캡처할 수 있다.
최근 개발품은 고유(native) FOVT보다 큰 스캐닝 FOVT를 효과적으로 커버할 수 있도록, 일반(고유) FOVT로 장면을 스캔할 수 있는 스캐닝 텔레 카메라이다. 스캐닝 텔레 카메라는 예를 들어, 공동 소유의 미국 특허 제10,578,948호에 설명되어 있다.
레퍼런스 이미지(R 이미지) 데이터 및 텔레(T) 이미지 데이터를 사용하여, FOVT < FOVN ≤ FOVR을 충족하는 "새로운" 시야 FOVN을 갖는 새로운 이미지를 생성하는 방법이 필요하고 유익할 될 것이다. 여기서, 새로운 이미지의 이미지 해상도는 RESN > RESR이고, 및/또는 새로운 이미지의 SNR은 SNRN > SNRR이다.
다양한 실시예에서, FOVT < FOVN ≤ FOVR을 충족하는 "새로운" 시야 FOVN을 갖는 "새로운" 이미지를 생성하기 위해 레퍼런스 이미지 데이터 및 텔레 이미지 데이터를 사용하기 위한 시스템 및 방법이 제공된다. 새로운 이미지는 심리스(seamless)의 고해상도 큰 FOV 이미지이다. 새로운 이미지는 RESR보다 큰 해상도 RESN, 및/또는 SNRR보다 큰 신호 대 잡음비 SNRN을 갖는다. 새로운 이미지는 2개 이상의 T 이미지를 캡처하고 스티칭하여 획득한 "슈퍼 이미지"("SI")이거나, 또는 R 이미지 또는 그 세그먼트를 초해상도 알고리즘으로 개선하기 위해 하나 이상의 T 이미지를 캡처하고 사용하여 획득한 "울트라-와이드 이미지"("SW")일 수 있다.
도 1은 (a) 공지의 파노라마 이미지(또는 간단히 "파노라마")와 (b) 본 명세서에 개시된 슈퍼 이미지 사이의 한 가지 차이점을 도시한다. 파노라마 이미지는 파노라마 이미지를 형성하는 서로 다른 이미지의 시점(POV)을 정정할 때, "그라운드 트루스(ground truth), 지상 실측 정보)"가 없기 때문에, 고유한 원근 왜곡을 가질 수 있는 반면, 본 명세서에 개시된 슈퍼 이미지는 왜곡되지 않는다.
SI는 동일한 장면의 큰 FOV(예를 들어, FOVW 또는 FOVUW)를 갖는 R 이미지(RESR < REST) 및 적어도 2개의 고해상도 텔레 이미지를 포함한다(도 1(b) 참조). 즉, SI는 더 큰 FOV 레퍼런스 이미지로부터 동일한 장면에 대한 정보를 이용한다. 대조적으로, 당해 기술분야에서 공지된 파노라마를 생성하기 위해, 일반적으로 레퍼런스 이미지가 이용 가능하지 않다. SI에서는, 각각 캡처된 텔레 이미지는 처리되고 더 큰 FOV 레퍼런스 이미지에서의 그 대응 위치에 매칭되어, 일반적인 파노라마 이미지 원근 왜곡을 제거한다. 또한, 각각의 텔레 이미지는 포커스 미스, 많은 양의 노이즈, 일시적인 폐색(occlusion) 등과 같은 캡처 문제가 있는지 확인하고, 필요한 경우, 나중에 다시 촬영할 수 있다.
도 2는 본 명세서에 개시된 바와 같이 획득된 (a) R 이미지와 (c) SI 사이의 또 다른 차이점을 도시한다. 2(b)는 SI를 합성하는 데 사용된 단일 텔레 이미지들을 보여준다. 큰 유효 초점 거리(EFL)를 갖는 텔레 카메라가 이미지를 캡처하는 데 사용되기 때문에, SI(c)에서 "자연적인" 보케 효과를 얻는다. 자연적 보케는 초점이 맞지 않는 FOV 세그먼트의 이미지 데이터에 존재하는 블러링의 양으로 정의된다.
도 3은 공지된 파노라마와 본 명세서에 개시된 바와 같이 획득된 SI 사이의 또 다른 차이점을 도시한다. 2개의 텔레 이미지들(텔레1 및 텔레 2)가 중첩 FOV 영역에서 어떠한 정보도 갖지 않지만, 이미지들에 정보가 완전히 없는 것이 아닌 시나리오를 볼 수 있다. 이 상황에서, 공지된 파노라마는 이미지를 정렬하는 데 실패하는 반면, SI는 R 이미지를 사용하여 이미지들을 정렬할 수 있다.
공지된 파노라마와 SI 사이의 다른 차이점은 SI 획득에서 자동으로 스캔하는 기능을 포함하는데, 이에 의해 학습된 방식으로 텔레 카메라의 스캐닝 위치와 순서를 결정할 수 있고; 배드 이미지를 검출하고 정정하는 기능을 포함하고; 나아가 상이한 텔레 이미지들 간의 중첩 대신에 그라운드 트루스와의 더 높은 중첩으로 인한 견고성(robustness) 증가(이는 텔레 이미지들 간의 중첩 크기 요구가 줄어들기 때문에, 원하는 FOV를 커버하기 위해 더 적은 양의 이미지가 필요로 함)를 포함한다.
다양한 실시예에서, 복수의 텔레 이미지들을 스캔 및 캡처하도록 구성된 폴디드 텔레 카메라를 제공하는 단계, 여기서 각각의 캡처된 이미지는 텔레 이미지 해상도(REST), 텔레 이미지 신호 대 잡음비(SNRT) 및 텔레 시야(FOVT)를 갖고; R 이미지 해상도(RESR < REST)를 가지며 R 시야(FOVR > FOVT)를 갖는 레퍼런스(R) 이미지, 및/또는 신호 대 잡음비(SNRR < SNRT)를 갖는 R 이미지를 획득하고 분석하는 단계; 텔레 이미지들의 연속적인 캡처를 위하여 하나 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계; 각각의 스캐닝 FOVT 위치에서 텔레 이미지를 캡처하는 단계; 정렬된 텔레 이미지들을 획득하기 위해 상기 캡처된 텔레 이미지들을 상기 R 이미지의 세그먼트들과 정렬하는 단계; 및 시야(FOVN ≤ FOVR)를 갖는 새로운 이미지를 생성하기 위해 상기 정렬된 텔레 이미지들 및 상기 R 이미지를 사용하는 단계, 여기서 상기 새로운 이미지의 이미지 해상도는 RESN > RESR이고, 및/또는 상기 새로운 이미지의 SNR은 SNRN > SNRR인 단계를 포함하는 방법이 제공된다.
일부 실시예에서, R 이미지는 FOVW > FOVT를 갖는 와이드 이미지이고, 상기 와이드 이미지는 상기 폴디드 텔레 카메라와 함께 멀티-카메라에 포함된 와이드 카메라에 의해 캡처되는 와이드 이미지이다.
일부 실시예에서, R 이미지는 FOVUW > FOVW > FOVT를 갖는 울트라-와이드 이미지이고, 상기 울트라-와이드 이미지는 상기 폴디드 텔레 카메라와 함께 멀티-카메라에 포함된 울트라-와이드 카메라에 의해 캡처되는 울트라-와이드 이미지이다.
일부 실시예에서, 상기 방법은 각각의 텔레 이미지를 캡처 직후 및 바로 다음 텔레 이미지의 캡처 이전에, 각각의 텔레 이미지를 상기 R 이미지와 정렬하고, 결점에 대해 각각의 텔레 이미지를 분석하고, 결점이 텔레 이미지에서 검출되는 경우, 동일한 FOVT 위치에서 텔레 이미지를 다시 캡처하거나, 또는 결점이 텔레 이미지에서 검출되지 않는 경우, 바로 다음 텔레 이미지를 각각의 FOVT 위치에서 캡처 진행하는 단계를 더 포함한다.
일부 실시예에서, 상기 방법은 결점에 대해 상기 정렬된 텔레 이미지들을 분석하고, 결합이 특정 텔레 이미지에서 검출되는 경우, 동일한 FOVT 위치에서 특정 텔레 이미지를 다시 캡처하거나, 또는 결점이 검출되지 않는 경우, 새로운 이미지를 생성하기 위해 상기 정렬된 텔레 이미지들 및 상기 R 이미지를 사용하는 단계를 더 포함한다.
일부 실시예에서, 상기 폴디드 텔레 카메라는 FOVR 내의 2개 이상의 각각의 FOVT 위치에서 2개 이상의 텔레 이미지를 캡처하고, 상기 정렬된 텔레 이미지들은 슈퍼 이미지를 생성하기 위해 합성된다.
일부 실시예에서, 상기 정렬된 텔레 이미지들 및 상기 R 이미지는 시야(FOVSW)를 갖는 슈퍼 와이드 이미지를 생성하기 위한 알고리즘에 공급되고, 여기서 상기 캡처된 텔레 이미지들의 적어도 하나의 FOVT 내에 포함된 FOVR 내의 FOV 세그먼트는 시야 union-FOVT를 갖고, union-FOVT < FOVSW ≤ FOVR이다.
일부 실시예에서, 상기 폴디드 텔레 카메라는 상이한 각각의 줌 팩터를 갖는 텔레 이미지를 캡처하기 위해 서로 다른 줌 상태를 갖는 멀티-줌 텔레 카메라이다.
일부 실시예에서, 상기 R 이미지를 획득하는 단계는 인터넷, 클라우드 데이터베이스, 또는 사물 인터넷 장치로부터 상기 R 이미지를 획득하는 단계를 포함한다.
일부 실시예에서, 복수의 새로운 이미지들의 시퀀스로 형성된 비디오 스트림은 단일의 새로운 이미지 대신에 출력된다.
일부 실시예에서, 사용자 또는 알고리즘은 FOVR에 포함된 장면 내에서 FOVN의 위치 및 FOVN의 크기를 선택한다.
일부 실시예에서, R 이미지를 분석하는 단계는 스캐닝 FOVT 위치를 자동으로 선택하고, 및/또는 FOVN을 자동으로 선택하기 위해 R 이미지의 세일리언시 맵을 사용하는 단계를 포함한다.
일부 실시예에서, 복수의 정렬된 텔레 이미지를 획득하기 위해 캡처된 텔레 이미지를 정렬하는 단계는 R 이미지 데이터에 대해 T 이미지 데이터를 로컬라이제이션하는 단계를 포함한다.
일부 실시예에서, 텔레 카메라는 7-10mm, 10-20mm, 또는 20-40mm의 유효 초점 거리를 갖는다.
일부 실시예에서, 하나 이상의 스캐닝 FOV 위치의 순서를 결정하는 단계는 하나 이상의 텔레 이미지 각각이 특정 양의 자연적인 보케를 나타내도록 수행된다.
일부 실시예에서, 하나 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계는 합성된 새로운 이미지가 스캐닝의 기계적 제한에 따라 최대 FOV를 커버하도록 수행된다.
일부 실시예에서, 하나 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계는 새로운 이미지가 사용자에 의해 또는 알고리즘에 의해 선택된 관심 영역을 커버하도록 수행된다.
일부 실시예에서, 하나 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계는 각각의 T 이미지가 특정 깊이 범위를 갖는 장면 세그먼트를 포함하거나, 특정 깊이 임계값을 초과하지 않는 장면 세그먼트를 포함하도록 수행된다.
일부 실시예에서, 하나 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계는 먼저 움직이는 객체를 캡처하고, 움직이는 객체가 캡처된 후 정지된 객체를 캡처하도록 수행된다.
일부 실시예에서, 하나 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계는 복수의 FOVT로 원하는 FOVR의 커버리지가 가장 빠른 방식으로 수행되도록 수행된다.
일부 실시예에서, 하나 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계는 객체 추적기로 움직이는 객체를 따라가도록 순서를 결정하는 단계를 포함한다.
일부 실시예에서, 하나 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계는 FOVN에 포함되지만 특정 FOVT에는 포함되지 않은 유사한 객체의 RES 또는 SNR을 개선하기 위해 특정 FOVT를 갖는 텔레 이미지에서 객체를 캡처하는 단계를 포함한다.
일부 실시예에서, 하나 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계는 2개의 상당히 상이한 시점에서 하나 이상의 FOVT로 움직이는 객체를 캡처하는 단계를 포함한다.
일부 실시양태에서, FOVN > FOVT이다.
일부 실시예에서, 텔레 이미지는 R 이미지와 서로 정렬된 상기 정렬된 텔레 이미지들을 획득하기 위해 서로에 대해 추가로 정렬된다.
일부 실시예에서, R 이미지는 복수의 와이드 이미지를 포함한다.
일부 실시예에서, 스캐닝 텔레 카메라는 FOVW 및/또는 FOVUW의 25%보다 크거나, FOVW 및/또는 FOVUW의 50%보다 큰 스캐닝 범위를 커버한다.
일부 실시예에서, 스캐닝 텔레 카메라 해상도 REST > 2xRESW 및/또는 SNRT > 2xSNRW, 또는 REST > 4xRESW 및/또는 SNRT > 4xSNRW이다.
일부 실시예에서, 결점은 모션 블러, 전자 노이즈, 롤링 셔터, 디포커스 블러 및 부정확한 이미지 정렬 또는 가로막음으로 이루어진 그룹으로부터 선택된다.
일부 실시예에서, 결점은 기계적 결함이다.
일부 실시예에서, 정렬된 텔레 이미지를 슈퍼 이미지로 합성하는 단계는 R 이미지와 함께 정렬된 텔레 이미지를 슈퍼 이미지로 합성하는 단계를 포함한다.
일부 실시예에서, 2개 이상의 FOVT 위치의 순서를 결정하는 단계는 최소 수의 T 이미지를 캡처하는 것이 요구되도록 수행된다.
일부 실시예에서, 2개 이상의 FOVT 위치의 순서를 결정하는 단계는 각각의 FOVT 내의 특정 장면 특징을 포함하는 텔레 이미지가 연속적으로 캡처되도록 수행되고, 상기 장면 특징은 텍스처와 같은 시각적 데이터, 또는 장면의 밝기, 깊이 또는 분광 구성과 같은 물리적 데이터일 수 있다.
일부 실시예에서, 2개 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계는 FOVR에 포함된 장면으로부터 움직이는 객체가 제거되도록 수행된다.
일부 실시예에서, 2개 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계는 FOVR에 포함된 장면에서 움직이는 객체의 듀플리케이션을 생성하도록 수행된다.
일부 실시예에서, 2개 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계는 각각의 텔레 이미지가 다른 텔레 이미지와 중첩되도록 수행된다.
일부 실시예에서, 2개 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계는 하나 이상의 관심 객체가 중첩 영역이 아니라 FOVT의 중심 영역에 위치하도록 수행된다.
일부 실시예에서, 멀티-줌 텔레 카메라는 연속-줌 텔레 카메라이다. 일부 실시예에서, 멀티-줌 텔레 카메라는 듀얼-줌 상태 텔레 카메라이다.
일부 실시예에서, R 이미지는 제1 ZF(ZF1)를 갖는 텔레 이미지이고, 순서에 따라 연속적으로 캡처된 텔레 이미지는 제2 줌 팩터(ZF2)를 가지며, 여기서 ZF1≤1.25xZF2이다.
본 명세서에 개시된 방법은 특정 멀티-카메라 모듈에 제한되지 않으며, 조합이 2D 스캐닝에 제한되지 않는 일부 스캐닝 기능을 갖는 적어도 하나의 카메라로 구성되는 한 임의의 카메라 조합에 사용될 수 있다.
본 명세서에 개시된 실시예의 비-제한적인 예는 이 단락 다음에 열거되는 여기에 첨부된 도면을 참조하여 아래에 설명된다. 하나 이상의 도면에 나타나는 동일한 구조, 요소 또는 부품은 일반적으로 그것들이 나타나는 모든 도면에서 동일한 숫자로 표시된다. 동일한 요소가 표시되지만 하나의 도면에서만 번호가 매겨진 경우, 해당 요소가 나타나는 모든 도면에서 동일한 번호를 갖는 것으로 가정한다. 도면 및 설명은 본 명세서에 개시된 실시예를 조명하고 명확히 하기 위한 것이며, 어떤 식으로든 제한하는 것으로 간주되어서는 안 된다. 도면에서:
도 1은 (a) 일반 파노라마 이미지와 (b) 슈퍼 이미지의 주요 차이점을 예시한다.
도 2는 본 명세서에 개시된 바와 같이 획득된 일반 파노라마 이미지와 슈퍼 이미지 사이의 또 다른 주요 차이점을 예시한다.
도 3은 본 명세서에 개시된 바와 같이 획득된 일반 파노라마 이미지와 슈퍼 이미지 사이의 또 다른 주요 차이점을 예시한다.
도 4a는 본 명세서에 개시된 새로운 이미지를 획득하기 위한 방법 실시예의 흐름도를 도시한다.
도 4b는 새로운 이미지를 획득하기 위한 SWM 실시예의 흐름도를 도시하며, 여기서 새로운 이미지는 본 명세서에 개시된 SW이다.
도 5는 듀얼-카메라 출력 이미지의 FOV를 예시한다.
도 6은 R 이미지 검색 프로세스의 실시예를 예시한다.
도 7은 R 이미지 검색 프로세스의 다른 실시예를 예시한다.
도 8a는 SI 또는 SW를 생성하기 위한 텔레 스캐닝 순서를 결정하는 실시예를 예시한다.
도 8b는 SI 또는 SW를 생성하기 위한 텔레 스캐닝 순서를 결정하는 다른 실시예를 예시한다.
도 9는 특정 기준에 따른 텔레 FOV 위치의 결정을 예시한다.
도 10a는 장면에서 움직이는 객체의 검출에 기초한 텔레 스캐닝 순서 결정의 일 실시예에서 텔레 카메라 스캐닝 순서를 예시한다.
도 10b는 도 10a의 스캐닝에 대한 결과적인 슈퍼 이미지를 예시한다.
도 11a는 장면에서 움직이는 객체의 검출에 기초한 텔레 스캐닝 순서 결정의 다른 실시예에서 텔레 카메라 스캐닝 순서를 예시한다.
도 11b는 도 11a의 스캐닝에 대한 결과적인 슈퍼 이미지를 예시한다.
도 12a는 장면에서 움직이는 객체의 검출에 기초한 텔레 스캐닝 순서 결정의 또 다른 실시예에서 텔레 카메라 스캐닝 순서를 예시한다.
도 12b는 도 12a의 스캐닝에 대한 결과적인 슈퍼 이미지를 예시한다.
도 12c는 정지된 객체보다 움직이는 객체를 캡처하는 것을 우선시하는 T 스캐닝 순서의 제1 예를 도시한다.
도 12d는 도 12c의 스캐닝 순서에 따른 결과적인 SW를 도시한다.
도 13은 이미지 정렬 단계의 전형적인 설정의 세부사항을 보여주는 흐름도이다.
도 14는 결점 검출 단계가 오류를 발생시키는 몇 가지 경우를 예시한다.
도 15a는 SI 구성을 위한 방법의 단계들을 보여주는 흐름도이다.
도 15b는 SWM의 단계를 보여주는 흐름도이다.
도 16a는 어떠한 컬러 보정(correction) 단계를 사용하지 않은 슈퍼 이미지를 도시한다.
도 16b는 컬러 보정 단계를 갖는 슈퍼 이미지를 도시한다.
도 17은 적어도 하나의 스캐닝 텔레 카메라를 갖는 멀티-애퍼처 카메라를 포함하는 모바일 장치의 실시예를 개략적으로 도시한다.
이제, 도면으로 돌아가면, 도 4a는 본 명세서에 개시된 RESN > RESR 및/또는 SNRN > SNRR를 갖는 새로운 이미지를 획득하기 위한 방법 실시예의 흐름도를 도시한다. 첫 번째 방법은 본 명세서에 설명된 바와 같이 슈퍼 이미지를 생성하기 위한 슈퍼 이미지 방법(또는 "SIM")으로 지칭될 수 있다(SI 합성(composition)에 대해서는 도 15a 참조). 두 번째 방법은 본 명세서에 설명된 바와 같이 슈퍼-와이드 이미지를 생성하기 위한 슈퍼-와이드 이미지 방법(또는 "SWM")으로 지칭될 수 있다(SW 합성에 대해서는 도 15b 참조). 방법들을 수행하는 알고리즘은 도 17에 도시된 바와 같이, 제1(R) 카메라 및 제2(텔레) 카메라에 작동적으로 결합된 애플리케이션 프로세서(AP)(1740)와 같은 프로세서에서 실행될 수 있다. SI를 획득하기 위한 일부 실시예에서, 초기 스캐닝 위치에서 초기 텔레 이미지가 단계(402)에서 캡처된다. R 이미지가 단계(404)에서 검색된다. 일부 실시예에서, R 이미지는 각각의 카메라로 촬영된 W 이미지 또는 UW 이미지이다. 일부 실시예에서, R 이미지는 예를 들어, 텔레 이미지를 캡처하기 몇 초, 몇 시간 또는 몇 년 전과 같이, 단계(402 및/또는 408)에서 캡처된 텔레 이미지와 상당히 다른 시간에 촬영된다. 다른 실시예에서, R 이미지는 초기 텔레 이미지를 쿼리로 사용하여 외부 데이터베이스로부터 검색된다(아래 참조). 각각의 FOVT를 결정하는 텔레 카메라의 다음("후속적", "순차적" 또는 "연속적"이라고도 함) 스캐닝 위치는 단계(406)에서 초기 및 각각의 후속 텔레 이미지 캡처 후에 선택되거나 업데이트된다.
단계(408)에서, 후속 텔레 이미지는 단계(406)에서 선택되거나 업데이트된 스캐닝 위치를 사용하여 획득(캡처)된다. SIM의 경우, 후속적으로 획득된 텔레 이미지는 단계(410)에서, 정렬된 텔레 이미지를 획득하기 위해 일부 공유 FOV를 갖는 이전에 발견된 텔레 이미지 및 R 이미지와 정렬된다. SWM의 경우, 후속적으로 획득된 텔레 이미지는 정렬된 텔레 이미지를 획득하기 위해 단계(410)에서 R 이미지와 정렬된다. 정렬된 텔레 이미지는 단계(412)에서 결점에 대해 분석되고, 검출된 결점에 기초하여 단계(406)으로 돌아가서 후속 스캐닝 위치가 업데이트된다. R 이미지의 원하는 커버리지가 달성될 때까지 단계(406-412)가 반복된다. 이후, SI 또는 SW는 단계(414)에서, SIM에 대해 도 15a에 도시된 바와 같이, 그리고 SWM에 대해 도 15b에 도시된 바와 같이 합성되어, FOVN > FOVT 및 RESN > REST 및/또는 SNRN > SNRT를 갖는 하나의 결합된(cohesive) 새로운 이미지를 형성하는데, 이는 SI 또는 SW일 수 있다.
일부 실시예에서, 이미지 합성 단계(414)는 모든 텔레 이미지가 위에서 설명된 바와 같이 획득되고 정렬된 후에, 수행될 수 있다. 다른 실시예에서, 이미지 합성 단계(414)는 텔레 이미지 획득 및 이미지 정렬 단계(406-412)의 각 반복 후에 수행되어, 중간 실행 가능한 결과로 "즉시 또는 그때그때(on the fly)" 블렌딩을 수행할 수 있다. 그러한 실시예에서, SI는 단계(406-412)의 각 반복 후에 존재한다.
도 4b는 RESN > RESR 및/또는 SNRN > SNRR을 갖는 새로운 이미지를 획득하기 위한 SWM 실시예의 흐름도를 도시하며, 여기서 새로운 이미지는 본 명세서에 개시된 SW이다. 방법들을 수행하는 알고리즘은 도 17에 도시된 바와 같이, 제1(R) 카메라 및 제2(텔레) 카메라에 작동적으로 결합된 AP(1740)에서 실행될 수 있다. 단계(422)에서, R 이미지가 검색된다. 단계(424)에서, R 이미지에 존재하는 피처(feature)가 당업계에 알려진 바와 같이 추출되고, 단계(426)에서 클러스터링된다. 피처는 모바일 장치(1700)로부터의 거리에 의해, 또는 R 이미지의 FOV 내의 위치에 의해 또는 다른 방식으로, 예를 들어 의미론적 의미에서의 유사성, 예를 들어 2010년 6월 Radhakrishna Achanta, Appu Shaji, Kevin Smith, Aure-lien Lucchi, Pascal Fua 및 Sabine Susstrunk, SLIC Superpixels, EPFL TechnicalReport 149300에 의해 설명된 "SLIC 슈퍼픽셀"과 같은 반-이미지 세그먼테이션에 의해 클러스터링될 수 있다. 클러스터링의 결과에 기초하여, 단계(428)에서, T 스캐닝 순서가 결정된다. 선택적으로 그리고 T 카메라(1710)가 상이한 줌 상태를 갖는 멀티-줌 T 카메라인 경우에, 적절한 줌 팩터(ZF)가 추가적으로 결정될 수 있다. T 스캐닝 순서에 대한 예는 도 12c-d에 주어진다. 단계(430)에서, T 이미지는 단계(428)에서 결정된 T 스캔 순서에 따라 캡처된다.
단계(432 - 440)는 단계(430)에서 캡처된 T 이미지를 단계(422)에서 검색된 R 이미지와 정렬하는 프로세스를 설명한다. 이미지 정렬에 대한 추가 상세 사항은 도 13에 기재되어 있다. 당업계에 알려진 바와 같이, 1개의 OPFE를 기반으로 하는 스캐닝 T 카메라로 캡처된 T 이미지는 "롤 이펙트"를 겪게 되므로, 단계(432)에서 교정된다(rectified). 단계(434)에서, T 이미지의 특징이 추출된다. 각각의 T 이미지에 대해, 단계(434)에서 추출된 특징은 단계(424)에서 추출된 R 이미지의 특징과 매치된다. 단계(438 - 440)은 정렬 프로세스의 미세 조정을 설명한다. 단계(438)에서는, 단계(432)에서 수행된 교정이 단계(436)에서 불충분한 것으로 판명된 경우, T 이미지는 롤 이펙트를 감소시키기 위해 워핑(warping) 측면에서 추가로 조정된다. 단계(440)에서는, R 이미지 데이터에 대한 T 이미지 데이터의 로컬라이제이션이 수행된다. 예를 들어, R 이미지 내에서 T 이미지 데이터를 로컬라이제이션하기 위해 당업계에 알려진 바와 같은 상호 상관 계산이 수행될 수 있다. 예를 들어 그리고 일반적으로, 로컬라이제이션 이전에, 동일한 객체 포인트의 이미지 포인트는 예를 들어, R 이미지와 T 이미지 사이에서 25픽셀 이상, 50픽셀 이상 또는 100픽셀 이상으로 벗어난다. 우리는 약 1μm의 픽셀 크기를 가정한다. 로컬라이제이션 이후에, 동일한 객체 포인트의 이미지 포인트는 예를 들어, R 이미지와 T 이미지 사이에서 20픽셀 미만 또는 10픽셀 미만 또는 2픽셀 미만으로 벗어난다. SWM의 경우, T 이미지를 서로에 대해 정렬할 필요는 없지만, 각각의 T 이미지는 단지 R 이미지와 정렬될 수 있다.
단계(442)에서, R 이미지 및 정렬된 T 이미지는 초해상도 알고리즘에 공급된다. 관련 초해상도 알고리즘은 예를 들어, Daniel Glasner et al., "Super-Resolution from a Single Image(단일 이미지로부터의 초해상도)", ICCV, 2009, Tamar Rott Shaham et al., "SinGAN: Learning a Generative Model from a Single Natural Image(SinGAN: 단일 자연 이미지로부터의 생성 모델 학습", ICCV, 2019, arXiv:1905.01164 또는 Assaf Shocher et al., "Zero-Shot Super-Resolution using Deep Internal Learning(딥 내부 학습을 이용한 제로-샷 초해상도)", 2017, arXiv:1712.06087에 설명되어 있다.
RESN > RESR 및/또는 SNRN > SNRR을 갖는 새로운 이미지가 단계(444)에서 출력된다. 일반적으로, FOVN은 단계(442)에서 초해상도 알고리즘에 공급되는 모든 FOVT의 유니온(union)보다 크다. 즉, FOVN > union-FOVT이다. union-FOVT는 단계(428)에서 캡처된 T 이미지 중 하나의 적어도 하나의 FOVT에 포함된 FOVR 내의 FOV를 나타낸다.
FOVT 스캐닝은 스캐닝 텔레 카메라의 하나 이상의 광학 경로 폴딩 요소(OPFE)를 (예를 들어, 회전을 위해) 작동시킴으로써 수행될 수 있다. 빠른 작동이 필요할 수 있다. 예를 들어, 2°-5°스캐닝을 위해 2-20ms 내의 작동이 수행될 수 있고, 15-25°스캐닝을 위해 10-70ms 내의 작동이 수행될 수 있다. 스캐닝 텔레 카메라는 60°의 최대 대각선 스캐닝 범위를 갖는다. "최대 대각선 스캐닝 범위"는 중심 FOV의 왼쪽 아래의 최대 상태에서의 FOV의 중심과 중심 FOV의 오른쪽 위의 최대 상태에서의 FOV의 중심으로 정의된다. 예를 들어, FOV 대각선을 참조하면, FOVT = 20° 및 60° 스캐닝 범위를 갖는 스캐닝 T 카메라는 전체 80°의 FOV를 커버한다. 40°의 대각선 스캐닝 범위는 FOVW의 약 60-100%를 커버할 수 있다. 스캐닝 텔레 카메라는 EFL=7mm-40mm를 가질 수 있다. 일반적인 줌 팩터(ZF)는 동일한 모바일 장치에 호스팅되는 W 카메라에 대해 2x-10x 줌일 수 있다. 즉, 동일한 거리에서 캡처된 동일한 객체의 이미지가 W 카메라에서보다 T 카메라의 이미지 센서 상에 2x-10x 더 큰 크기로 투영된다. R 카메라와 T 카메라에 동일한 센서가 사용된다고 가정하면, 이미지 해상도는 ZF에 따라 선형적으로 조정된다. 동일한 센서의 경우, 일반적으로 REST > 2 x RESW이다. 일부 예에서는, REST > 5 x RESW이다.
도 5는 예를 들어, W 카메라(R 카메라로 작용함) 및 스캐닝 T 카메라를 포함하는 듀얼-카메라에 대한 듀얼-카메라 이미지의 예시적인 FOV를 도시한다. 텔레 FOV 0은 와이드 FOV에 중첩된 하나의 예시적인 T 스캐닝 위치를 보여주고, FOV 1은 와이드 FOV에 중첩된 다른 예시적인 T 스캐닝 위치를 보여준다. 이러한 설정은 단계(404)에서 W 이미지를 R 이미지로 사용할 수 있게 한다.
도 6은 R 이미지 검색 프로세스의 실시예를 도시한다. 3개의 T 이미지들(텔레1, 텔레2 및 텔레3)은 단계(402 및/또는 408)에서 획득된다. 그 다음, 이러한 이미지들은 유사한 이미지를 위해 (예를 들어, 구글을 사용하여) 외부 데이터베이스를 서치하는데 사용되고, 그 다음 이를 검색하여 R 이미지로 사용된다.
도 7은 R 이미지 검색 프로세스의 다른 실시예를 도시한다. 여기에서, 검색은 모바일 장치에서 GPS 위치를 사용하여 수행된다. 도면은 현재 모바일 장치의 GPS 위치, 및 단계(402 및/또는 408)에서 캡처된 2개의 T 이미지들(텔레1 및 텔레2), 그리고 GPS 위치를 쿼리로 사용하여 외부 데이터베이스에서 검색된 "GPS" R 이미지들을 보여준다.
도 8a는 SI 또는 SW를 생성하기 위한 텔레(T) 스캐닝 순서를 결정하는 실시예를 도시한다(각각 단계(406) 또는 단계(428)). 스캐닝 순서는 1-9의 이미지 넘버링으로 표시된다. 즉, 텔레 FOV 1을 갖는 T 이미지 1은 캡처된 첫 번째 T 이미지이고, 텔레 FOV 2를 갖는 T 이미지 2는 캡처된 두 번째 T 이미지이다. 여기에서, 스캐닝 위치는 T 카메라 스캐닝 범위의 최대 커버리지에 기초하여 결정된다. 도면은 와이드 FOV에 중첩된 T 카메라의 가능한 최대 스캐닝 범위 커버리지와 최대 커버리지를 달성하기 위해 FOV1에서 FOV9까지의 텔레 FOV가 선택된 T 이미지를 보여준다. SW 생성을 위해, 단일 텔레 이미지 1-9 사이의 중첩은 선택 사항이다.
도 8b는 SI 또는 SW를 생성하기 위한 T 스캐닝 순서를 결정하는 다른 실시예를 도시한다(각각 단계(406) 또는 단계(428)). 스캐닝 순서는 도 8a와 같은 넘버링으로 표시된다. 여기에서, 스캐닝 위치는 스캐닝 범위의 최대 커버러지 및 추가적으로 이러한 최대 커버리지를 가장 짧은 전체 캡처 시간에 캡처하는 것에 기초하여 결정된다. 캡처 시간에는 FOVT를 타겟 스캐닝 위치로 연속적으로 이동하고 이 위치에서 하나 이상의 T 이미지를 캡처하는 것이 포함된다. 이 실시예에서, 텔레 FOV 3을 갖는 T 이미지 3과 T 이미지 4 사이, 그리고 T 이미지 6과 T 이미지 7 사이의 FOVT 이동을 최소화함으로써, 도 8a에 도시된 스캐닝 순서에 비해 전체 캡처 시간 단축이 달성된다.
스캐닝 순서를 결정하는 것은 각각의 FOVT 위치를 결정하는 것을 포함하며, 이는 FOVT 위치 및 그 스캐닝 순서가 결정된다는 것을 의미한다.
도 9는 사용자의 관심 영역(ROI) 선택의 최대 커버리지의 기준에 따라 SI 및/또는 SW를 생성하기 위한 텔레 FOV 위치를 결정하는 것을 도시한다. 도면은 사용자가 요청한 ROI를 (레퍼런스로서) 와이드 이미지 FOV와 이러한 ROI 선택의 최대 커버리지를 달성하기 위해 결정된 T 이미지 상에 점선 직사각형으로 표시한다.
SIM 및 SWM에 대한 다른 실시예에서, 스캐닝 위치는 알고리즘(예를 들어, Jiang et al.의 "Salient Object Detection: A Discriminative Regional Feature Integration Approach(세일리언트 객체 검출: 특이한 지역적 특징 통합 접근법)" 또는 Redmon et al의 "You Only Look Once: Unified, Real-Time Object Detection(통합 실시간 객체 검출)"에 설명된 것과 같은 세일리언시 맵)으로부터 획득된 관심 객체 또는 ROI의 최대 커버리지에 기초하여 결정될 수 있다.
SIM에 대한 또 다른 실시예에서, 스캐닝 위치는 ROI 내의 특정 특징이 중첩 영역이 아니라 FOVT의 중심 영역에 위치하도록 결정될 수 있다. 특정 특징은 예를 들어, 사람의 얼굴일 수 있다. 중심 영역에서 특정 특징을 찾으면, 특정 특징에 의해 커버되는 FOV에 "스티칭 심스(stitching seams)"를 적용함으로써, ROI가 위치하는 SI의 FOV 세그먼트에서 아티팩트를 스티칭하는 것을 회피할 수 있다.
SIM 및 SWM에 대한 또 다른 실시예에서, 스캐닝 위치는 예를 들어, 전력 소비 및 캡처 시간을 줄이기 위해, FOVT보다 큰 특정 FOV를 커버하는 주어진 선택된 ROI에 대해 최소 수의 T 이미지 캡처가 필요하도록 결정될 수 있다.
SIM 및 SWM에 대한 또 다른 실시예에서, 스캐닝 위치의 순서를 결정하기 위한 기준은 예를 들어, 원하는 양의 자연적 보케와 같은 예술적 또는 시각적 효과에 기초할 수 있다. 자연적 보케의 양은 전경 객체(인-포커스)와 배경 객체(아웃-오브-포커스)의 객체-렌즈 거리의 차이에 따라 달라진다. 스캐닝 위치 기준은 예를 들어, 균일한 자연적 보케를 갖는 이미지 배경일 수 있다.
SIM 및 SWM에 대한 또 다른 실시예에서, 스캐닝 위치의 순서를 결정하기 위한 기준은 컴퓨터 사진 촬영을 위한 원하는 데이터에 기초할 수 있다. 그러한 데이터는 예를 들어, T 이미지 데이터 및 R 이미지로부터의 이미지 데이터를 포함하는 스테레오 이미지 데이터일 수 있다. 단일 FOVT의 스테레오 이미지 데이터 및 FOVR의 중첩 이미지 FOV 세그먼트로부터, FOVT를 커버하는 스테레오 깊이 맵이 당업계에 공지된 바와 같이 예를 들어, 삼각측량으로 계산될 수 있다. 스테레오 깊이 맵은 인위적 보케 알고리즘을 R 이미지 또는 SI에 적용할 수 있다. 일부 실시예에서, 단계(414)에서의 SI 출력은 시각적 데이터를 포함하는 이미지가 아니라, 스테레오 깊이 데이터를 포함하는 출력일 수 있다.
다른 실시예에서, 스캐닝 순서 기준은 원하는 예술적 SI 효과를 포함할 수 있다. 이러한 효과는 T 이미지 캡처 및 FOV 스캐닝을 동기화함으로써, 생성될 수 있으며, 여기서 캡처는 FOV 이동 중에 발생하여, T 이미지에서 모션 블러 효과가 달성된다. 이를 위한 스캐닝 순서 기준은 특정 장면 세그먼트의 원하는 모션 블러 정도일 수 있다.
SIM 및 SWM에 대한 또 다른 실시예에서, 스캐닝 위치 결정을 위한 기준은 R 이미지에 포함된 장면의 깊이 추정에 기초할 수 있다. 예를 들어, 단일 T 이미지가 특정 깊이 범위(즉, 특정 카메라-객체 거리 범위)를 갖는 장면 세그먼트를 포함하거나, 또는 특정 깊이 임계값을 초과하지 않는 장면 세그먼트를 포함하도록, 스캐닝 위치를 선택할 수 있다. 다른 예에서, 단일 T 이미지가 특정 FOV 크기를 커버하는 ROI를 포함하도록, 스캐닝 위치를 선택할 수 있다. 예를 들어, 스캐닝 순서 기준은 유사한 깊이를 가지거나 특정 FOV 크기의 ROI를 연속적으로 포함하는 장면 세그먼트를 캡처하는 것일 수 있다. 이것은 하나의 고정 FOV(예를 들어, 줌 상태)가 아니라 다른 FOV(줌 상태들)를 가질 수 있는 스캐닝 카메라에 유용할 수 있다. 빠른 SI 또는 SW 캡처의 경우, (시간-소모적인) 줌 상태 전환의 수를 최소화하는 것이 필요할 수 있기 때문에, 동일한 줌 상태들로 FOV 세그먼트들을 연속적으로(순차적으로) 캡처하는 것을 선호할 수 있다. 다른 예로서, 스캐닝 순서 기준은 유사한 깊이를 갖는 장면 세그먼트를 연속적으로 캡처하는 것일 수 있는데, 이는 단일 T 이미지 캡처 간에 T 카메라의 초점을 다시 맞추는 데 필요한 시간을 최소화할 수 있고, T 이미지의 정렬을 용이하게 할 수도 있기 때문이다.
SIM 및 SWM에 대한 또 다른 실시예에서, 스캐닝 순서 기준은 각각의 FOVT 내의 특정 장면 특징을 포함하는 T 이미지가 연속적으로 캡처될 수 있는 것일 수 있다. 일부 실시예에서, 각각의 FOVT 내에서 유사한 장면 특징을 갖는 T 이미지가 연속적으로 캡처될 수 있다. 장면 특징은 텍스처와 같은 시각적 데이터일 수 있다. 장면 특징은 장면의 밝기, 깊이 또는 분광 구성과 같은 물리적 데이터일 수 있다. 분광 구성은 장면에 존재하는 모든 파장의 강도 값으로 정의될 수 있다.
도 10a, 10b, 11a, 11b, 12a, 12b는 장면에서 움직이는 객체(러너, 도 11a의 화살표는 이동 방향을 나타냄)와 관련된 정보를 기반으로 하여, SI를 생성하기 위한 T 스캐닝 순서를 결정하는 기준에 대한 세 가지 예를 도시한다. 각 도면의 뷰들(A)은 흐름도에서 T 스캐닝 순서를 보여준다(화살표 1, 2, 3). 각 도면의 뷰들(B)은 결과적인 SI를 보여준다. 다음과 같이 T 스캐닝 순서를 결정하는 몇 가지 옵션이 있다.
도 10a에 도시된 바와 같이, 움직이는 객체가 장면에 전혀 나타나지 않도록, T 이미지를 캡처하는 순서를 결정할 수 있다. 대안적으로, 움직이는 객체가 도 11a에 도시된 바와 같이, 장면에 한 번만 나타나도록, T 스캐닝 순서를 결정할 수 있다. 또 다른 대안으로, 도 12a에 도시된 바와 같이, 장면에서 움직이는 객체의 듀플리케이션(duplication)을 생성하도록, T 스캐닝 순서를 결정할 수 있다.
T 스캐닝 순서(즉, 스캐닝 순서 기준)는 대안적으로 카메라 또는 장면 속성에 기초할 수 있다. 일부 실시예에서, 스캐닝 순서 기준은 빠른 SI 캡처에 기초할 수 있다. 일부 실시예에서, 단계(414)에서의 SI 출력 또는 단계(444)에서의 SW 출력은 시각적 데이터를 포함하는 이미지가 아니라, 컴퓨터 촬영 또는 물리적 분석에 의해 생성된 분광 데이터, 스테레오 깊이 데이터 또는 기타 이미지 데이터를 포함하는 출력일 수 있다.
일부 실시예에서, 단일 SI를 형성하는 복수의 서브-SI는 R 이미지의 FOV에서 동시에, 즉 도 4에 설명된 바와 같은 단일 캡처 프로세스에서 캡처될 수 있다. 서브-SI는 단일 SI의 일부로 정의되며, 여기서 단일 SI는 서브-SI보다 장면의 더 큰 FOV를 커버한다. 서브-SI는 다른 모든 서브-SI와 관련하여 FOV 중첩이 없다. 단일 SI를 캡처하기 위한 스캐닝 순서 기준은 빠른 SI 캡처일 수 있다. 빠른 SI 캡처는 OPFE 작동에 의해 야기되는 단일 T 이미지 캡처 사이의 지연 시간을 최소화함으로써, 달성될 수 있다. 다른 실시예에서, 단일 SI를 캡처하기 위한 스캐닝 순서 기준은 단일 SI의 장면에서 가장 빠르게 움직이는 객체를 포함하는 특정 서브-SI의 빠른 캡처일 수 있다.
도 12c 내지 도 12d는 도 10a, 도 11a 및 도 12a에 도시된 동일한 장면을 도시한다. 도 12c는 흐름도에서 T 스캐닝 순서를 도시한다. 도 12d는 결과적인 SW를 도시한다.
SIM과 대조적으로, FOVR의 세그먼트에서 RES 또는 SNR을 증가시키기 위한 SWM에서는, 바로 이 FOVR 세그먼트를 포함하는 FOVT를 갖는 T 이미지를 반드시 캡처해야 하는 것은 아니다. 동일한 장면에 존재하는 유사한 특징을 포함하는 T 이미지를 캡처하는 것으로 충분할 수 있다. 예로서 그리고 도 12c를 참조하면, 벤치 2(도 12c에서 "2"로 표시됨)를 포함하는 FOVR의 세그먼트에서 RES 또는 SNR을 증가시키기 위해, 벤치 1(도 12c에서 "1"로 표시됨)을 포함하는 T 이미지를 사용하는 것으로 충분할 수 있는데, 이는 벤치 1이 벤치 2와 유사한 객체이기 때문이다. 유사하게는, 예를 들어 텔레 FOV 3에는 포함되지 않지만 텔레 FOV4에는 포함되는 위치에서 새로운 이미지의 해상도를 증대시키기 위해, 텔레 FOV 3에 보이는 목초지의 세그먼트를 포함하는 T 이미지를 사용할 수 있다.
또한, SWM의 경우, T 이미지는 반드시 서로 정렬되어야 하는 것이 아니라, 단지 R 이미지와 정렬되어야 한다. 따라서, 캡처된 T 이미지는 SIM에 대해 필요한 중첩 FOV를 반드시 포함할 필요는 없다.
다음과 같이 T 스캐닝 순서를 결정하기 위한 몇 가지 옵션이 있다.
도 12c는 (도시 풍경과 같은) 정지된 객체보다 (러너와 같은) 움직이는 객체를 캡처하는 것을 우선시하는 T 스캐닝 순서의 제1 예를 도시한다. 다른 예에서, 여기에 도시된 바와 같이 제1 텔레 FOV1이 캡처될 수 있지만, 러너의 다리를 여전히 포함할 수 있는 제2 텔레 FOV2는 상당히 더 늦은 시간에, 예를 들어 러너가 이미 다른 위치로 이동할 때 캡처될 수 있다. "상당히 더 늦은 시간"은 예를 들어, 100ms 후 또는 250ms 후 또는 500ms 후 또는 심지어 1s 후보다 더 늦은 시간일 수 있다. 이러한 예에서, T 이미지를 캡처하기 위해 객체 추적기로 객체를 추적할 수 있다.
다른 예에서, 복수의 FOVT로 원하는 FOVR의 커버리지가 가장 빠른 방식으로 수행되도록, T 스캐닝 순서가 결정된다.
또 다른 예에서, 그리고 멀티-줌 카메라인 텔레 카메라의 경우, 원하는 줌 팩터(ZF)를 갖는 FOVR의 원하는 커버리지가 가장 빠른 방식으로 수행되도록, T 스캐닝 순서가 결정된다. 사용자 또는 알고리즘이 원하는 ZF를 선택할 수 있다. ZF를 선택하기 위한 하나의 기준은 원하는 REST/RESR 및/또는 SNRT/SNRR의 비율일 수 있고, 다른 기준은 원하는 FOVT일 수 있다. 일부 실시예에서, R 이미지는 제1 ZF(ZF1)로 캡처된 텔레 이미지일 수 있고, 순서에 따라 연속적으로 캡처된 텔레 이미지는 제2 ZF(ZF2)를 가지며, 여기서 ZF1 < ZF2이고, 예를 들어 ZF1 ≤1.1xZF2, ZF1≤1.25xZF2, ZF1≤2xZF2이다.
또 다른 예에서 그리고 멀티-줌 카메라인 텔레 카메라의 경우, 동일한 ZF를 갖는 텔레 이미지가 연속적으로 캡처되도록, T 스캐닝 순서가 결정된다. 예를 들어, 먼저 특정 제1 ZF(ZF1)를 갖는 모든 텔레 이미지가 캡처된 다음, 이후에 특정 제2 ZF(ZF2)를 갖는 모든 텔레 이미지가 캡처된다.
도 13은 SI를 생성하기 위한 이미지 정렬 단계(410) 또는 SW를 생성하기 위한 단계(432-440)의 전형적인 셋업의 세부사항을 보여주는 흐름도이다. 이러한 단계들에 대한 입력은 새로 캡처된 T 이미지, 지금까지 캡처된 모든 T 이미지로부터 이전에 발견된 피쳐 및 R 이미지(하위 단계 1302-1304)이다. 피쳐 추출 하위 단계(1306) 뒤에는 피쳐 매칭 하위-단계(1308)가 바로 뒤따른다. 이러한 절차는 Rublee et al.의 "ORB: an efficient alternative to SIFT or SURF(SIFT 또는 SURF에 대한 효율적인 대안)"[2011, 컴퓨터 사이언스 국제 컨퍼런스] 또는 임의의 다른 피처 스킴(scheme)[이들에 제한되지 않음]에 설명된 것과 같을 수 있다. 다음은 호모그래피 추정 알고리즘이며, 이는 Li et al.의 "Computing homography with RANSAC algorithm: A new method of registration(RANSAC 알고리즘을 갖는 컴퓨팅 호모그래피: 새로운 등록 방법)"[2004년 1월, Proceedings of SPIE - International Society for Optical Engineering]에 설명된 것과 같을 수 있고, 또는 임의의 다른 호모그래피 추정 알고리즘일 수 있다. 일부 실시예에서, 호모그래피 추정이 사용될 수 없지만, 일부 다른 기하학적 변환, 예를 들어 아핀 변환 또는 비-아핀 변환이 사용될 수 있다. 하위 단계(1312)는 결과적인 T 이미지를 정렬하기 위해 하위 단계(1310)에서 발견된 호모그래피에 따라 이미지 워핑을 수행한다. 일부 실시예에서, T 이미지 사이에서 이미지 정렬이 먼저 수행되고, 정렬 후에 미세 조정을 위해 R 이미지를 사용한다. 다른 실시예에서, 이미지 정렬은 미세 조정을 위해 다른 T 이미지 매칭을 사용하면서 R 이미지에 정렬된 각각의 T 이미지로, 또는 다른 이미지 사이의 이미지 정렬의 다른 조합에 의해 수행될 수 있다. 일부 실시예에서, 단계(440)에 설명된 것과 같은 로컬라이제이션 단계가 수행될 수 있다.
도 14는 결점 검출 단계(412)가 오류를 발생시키는 몇 가지 경우들을 예시한다. 이러한 경우들에는 (a) 모션 블러, (b) 전자 노이즈, (c) 디포커스 블러, (d) 롤링 셔터 아티팩트, (e) 부정확한 이미지 정렬(어떠한 이유에서든 단계(410에서의 이미지 정렬 실패), 및 (f) 장면에서의 가로막음이 포함되지만, 이에 제한되지 않는다. 사용자가 제2 객체를 캡처하기를 원할 때, 제1 객체가 제2 객체의 FOV 부분을 덮으면 가로막음이 발생한다. R 이미지는 모션 블러 또는 부정확한 이미지 정렬 또는 장면에서의 가로막음을 검출하는 데 사용될 수 있으며, T 이미지 분석은 전자 노이즈를 검출하기 위해 수행될 수 있다. 결점 검출 단계(412)에서의 오류는 다른 이유로 인해 발생할 수도 있고, 이는 일반적으로 예를 들어, 단일 이미지의 맥락에서 "결점"이라고 지칭되지 않지만, 여전히 단계(414)에서 합성된 SI 또는 SW의 품질 저하를 예상하게 할 수 있다. 이러한 오류가 발생하는 이유는 T 이미지를 캡처하기 위해 사용된 카메라 사양과 관련이 있을 수 있다. 이러한 사양 중 일부는 예를 들어, 노출, 카메라 렌즈 모드 또는 이미지 센서 모드와 관련이 있을 수 있다.
일부 이유는 R 이미지 분석에서 식별되지 않은 장면 특징과 관련이 있을 수 있다. 예를 들어, FOVN에서의 밝은 진동 광원을 고려해 보자. R 이미지가 캡처될 때, 광원이 "오프"였을 수 있지만, 각각의 T 이미지가 캡처될 때 "온"되었을 수 있고, 이는 이전(prior) 또는 연속적인 T 이미지와 대조적으로 이러한 T 이미지에 대해 사용되는 T 카메라 파라미터에서의 상당한 차이를 야기한다. 이러한 시나리오에서, 광원 "오프"로 T 이미지를 다시 캡처하는 것이 바람직할 수 있다.
추가적인 결점 이유는 기계적 결점과 관련될 수 있다. 예를 들어, OPFE가 원하는 위치에 정확하게 도달하지 않았기에, 이미지 정렬에 문제가 발생할 수 있으며, 이미지를 다시 캡처해야 한다.
도 15a는 SI 합성을 위한 방법의 단계, 즉 이미지 합성 단계(414)의 전형적인 셋업의 세부사항을 보여주는 흐름도이다. 입력은 2개 이상의 정렬된 T 이미지, 및 모든 T 이미지와 R 이미지로부터 이전에 발견된 피쳐이다(하위 단계 1502-1504). 첫 번째 알고리즘 하위 단계는 컬러 보정 하위 단계(1506)이다. 하위 단계(1506)는 다른 T 이미지가 아닌 R 이미지에 기초한 컬러 보정을 사용하므로, 해당 기술 분야에 알려진 바와 같은 파노라마 이미지에 사용되는 다른 관련 컬러 보정 절차보다 우수하며, 이는 컬러 보정을 수행하기 위해 이미지 중첩의 정보만을 사용한다. 컬러 보정 하위 단계 자체는 예를 들어 Xiong et al.의 "Color Correction for Mobile Panorama Imaging(모바일 파노라마 이미징을 위한 컬러 보정)" [ICIMCS '09: Proceedings of the First International Conference on Internet Multimedia Computing and Service, 2009, pp219-226]에서와 같이 수행될 수 있다.
SI에 대한 컬러 보정 단계(1506)의 영향은 도 16a 및 16b에 도시되어 있다. 도 16a는 어떠한 컬러 보정 단계를 사용하지 않은 SI를 보여준다. 서로 다른 FOVT를 보여주는 이미지는 서로 상당한 컬러 차이를 보인다. T 컬러 차이는 부자연스럽다. 즉, 장면의 차이에서 비롯된 것이 아니다. 도 16b는 컬러 보정 단계를 포함하는 SI를 도시한다. 컬러 보정은 심리스 출력 이미지를 보장한다. 심 추정 하위 단계(1508)는 중첩 영역에서 2개의 인접한 T 이미지를 결합하고자 하는 최적의 심을 찾는다. 이 단계는 Liao et al.의 "Coarse-to-fine Seam Estimation for Image Stitching(이미지 스티칭을 위한 거침-미세 심 추정"과 같은 심을 사용할 수 있지만, 이에 제한되지 않는다. 이미지 블렌딩 단계(1510)는 예를 들어, Burt et al.의 "A multiresolution spline with application to image mosaics(이미지 모자이크에 적용되는 다중 해상도 스플라인)" [ACM Transactions on Graphics, Vol. 2. No. 4, 1983년 10월, pages 217-236]에 따라 해당 기술 분야에서 알려진 대로 수행된다.
도 15b는 SWM의 단계, 즉 단계(442 및 444)의 일반적인 셋업의 세부사항을 보여주는 흐름도이다. 단계(1522)에서, R 이미지, 및 R 이미지와 각각 정렬된 하나 이상의 T 이미지가 초해상도 알고리즘(1526)에 공급된다. 새로운 이미지가 단계(1528)에서 출력된다.
도 17은 1700으로 번호가 매겨지고 적어도 하나의 스캐닝 텔레 카메라를 갖는 멀티-카메라를 포함하는 모바일 장치의 실시예를 개략적으로 도시한다. 모바일 장치(1700)는 FOV 스캐닝을 위한 OPFE(1712)를 포함하는 제1 스캐닝 T 카메라 모듈(1710), 및 제1 이미지 센서(1716)에 의해 기록된 제1 이미지를 형성하는 제1 렌즈 모듈(1714)을 포함한다. 다른 실시예에서, 카메라 모듈(1710)은 FOV 스캐닝을 위해 2개의 OPFE를 포함할 수 있다. 제1 렌즈 액추에이터(1718)는 포커싱 및/또는 광학 이미지 안정화(OIS)를 위해 렌즈 모듈(1714)을 이동할 수 있다. OPFE 액추에이터(1720)는 (무엇보다도) 스캐닝을 위해 OPFE를 이동할 수 있다. 일부 실시예에서, 카메라 모듈(1710)은 상이한 줌 팩터(ZF)를 갖는 텔레 렌즈 상태 사이에서 전환할 수 있는 스캐닝 텔레 멀티-줌 카메라일 수 있다. ZF를 변경하면, FOVT가 변경된다. 예를 들어, 공동 소유의 국제 특허 출원 PCT/IB2020/051405에는 2개의 별개의(discrete) ZF를 갖는 텔레 멀티-줌 카메라가 설명되어 있다.
모바일 장치(1700)는 카메라 모듈(1710)의 FOV보다 큰 FOV를 갖는 R(예를 들어, W 또는 UW) 카메라 모듈(1730)을 더 포함할 수 있다. 카메라 모듈(1730)은 제2 이미지 센서(1734)에 의해 기록된 이미지를 형성하는 제2 렌즈 모듈(1732)을 포함한다. 제2 렌즈 액추에이터(1736)는 포커싱 및/또는 OIS를 위해 렌즈 모듈(1732)을 이동할 수 있다.
일부 실시예에서, 제1 캘리브레이션 데이터는 예를 들어, EEPROM(전기적으로 지울 수 있는 프로그래밍 가능한 읽기 전용 메모리)와 같은 카메라 모듈의 제1 메모리(1722)에 저장될 수 있다. 다른 실시예에서, 제1 캘리브레이션은 모바일 장치(1700)의 NVM(비휘발성 메모리)과 같은 제3 메모리(1750)에 저장될 수 있다. 제1 캘리브레이션 데이터는 R 카메라 모듈(1730)의 센서와 T 카메라 모듈(1710)의 센서 사이의 캘리브레이션을 위한 캘리브레이션 데이터를 포함할 수 있다. 일부 실시예에서, 제2 캘리브레이션 데이터는 제2 메모리(1738)에 저장될 수 있다. 일부 실시예에서, 제2 캘리브레이션 데이터는 제3 메모리(1750)에 저장될 수 있다. 제2 캘리브레이션 데이터는 R 카메라 모듈(1730)의 센서와 T 카메라 모듈(1710)의 센서 사이의 캘리브레이션 데이터를 포함할 수 있다.
모바일 장치(1700)는 애플리케이션 프로세서(AP)(1740)를 더 포함할 수 있다. 사용시, AP(1740)는 카메라 모듈(1710, 1730)로부터 각각의 제1 및 제2 (레퍼런스) 이미지 데이터를 수신하고, 카메라 제어 신호를 카메라 모듈(1710, 1730)에 공급할 수 있다. 일부 실시예에서, AP(1740)는 카메라 모듈(1710)로부터 제1 이미지 데이터를 수신하고 제3 메모리(1750)로부터 R 이미지 데이터를 수신할 수 있다. 다른 실시예에서, AP(1740)는 카메라 모듈(1710)에 위치한 제1 메모리 및 카메라 모듈(1730)에 위치한 제2 메모리에 저장된 캘리브레이션 데이터를 수신할 수 있다. 또 다른 실시예에서, AP(1740)는 제3 메모리(1750)에 저장된 R 이미지 데이터를 수신할 수 있다. 또 다른 실시예에서, AP(1740)는 외부 데이터베이스로부터 R 이미지를 검색할 수 있다. AP(1740)는 R 이미지 분석(예를 들어, 장면 이해 및 텔레 스캐닝 순서 정의를 위함) 및 T 이미지 분석(예를 들어, 결점 검출을 위함)을 위한 이미지 분석기(1742), OPFE 제어 신호를 계산하는 FOV 스캐너(1744)(예를 들어, 텔레 스캐닝 순서 구현을 위함), 및 단계(402-414) 및 단계 1502-1510(SIM을 위함) 및 단계(422-444) 및 단계(1522-1528)(SWM을 위함)에 설명된 대로 새로운 이미지를 합성하기 이미지 생성기(1746)를 포함한다.
본 개시내용은 특정 실시예 및 일반적으로 관련된 방법의 측면에서 설명되었지만, 실시예 및 방법의 변경 및 치환은 당업자에게 명백할 것이다. 본 개시내용은 본 명세서에 기재된 특정 실시예에 의해 제한되지 않는 것으로 이해되어야 한다.
본 출원에 언급된 모든 참고 문헌은 그 전체가 참고로 여기에 포함된다. 본 출원서에서 임의의 참조문헌으로의 인용 또는 식별은 그러한 참조문헌이 선행 기술로서 이용가능하거나 인정된다는 인정으로 해석되어서는 안된다는 점을 강조한다.

Claims (47)

  1. 복수의 텔레 이미지들을 스캔 및 캡처하도록 구성된 폴디드 텔레 카메라를 제공하는 단계, 여기서 각각의 캡처된 이미지는 텔레 이미지 해상도(REST), 텔레 이미지 신호 대 잡음비(SNRT) 및 텔레 시야(FOVT)를 갖고;
    R 이미지 해상도(RESR < REST)를 가지며 R 시야(FOVR > FOVT)를 갖는 레퍼런스(R) 이미지, 및/또는 신호 대 잡음비(SNRR < SNRT)를 갖는 R 이미지를 획득하고 분석하는 단계;
    텔레 이미지들의 연속적인 캡처를 위하여 하나 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계;
    각각의 스캐닝 FOVT 위치에서 텔레 이미지를 캡처하는 단계;
    정렬된 텔레 이미지들을 획득하기 위해 상기 캡처된 텔레 이미지들을 상기 R 이미지의 세그먼트들과 정렬하는 단계; 및
    시야(FOVN ≤ FOVR)를 갖는 새로운 이미지를 생성하기 위해 상기 정렬된 텔레 이미지들 및 상기 R 이미지를 사용하는 단계, 여기서 상기 새로운 이미지의 이미지 해상도는 RESN > RESR이고, 및/또는 상기 새로운 이미지의 SNR은 SNRN > SNRR이고;
    를 포함하는 방법.
  2. 제1항에 있어서, 상기 R 이미지는 FOVW > FOVT를 갖는 와이드 이미지이고, 상기 와이드 이미지는 상기 폴디드 텔레 카메라와 함께 멀티-카메라에 포함된 와이드 카메라에 의해 캡처되는 와이드 이미지인 방법.
  3. 제1항에 있어서, 상기 R 이미지는 FOVUW > FOVW > FOVT를 갖는 울트라-와이드 이미지이고, 상기 울트라-와이드 이미지는 상기 폴디드 텔레 카메라와 함께 멀티-카메라에 포함된 울트라-와이드 카메라에 의해 캡처되는 울트라-와이드 이미지인 방법.
  4. 제1항에 있어서, 텔레 이미지의 캡처 직후 및 바로 다음 텔레 이미지의 캡처 이전에, 각각의 텔레 이미지를 상기 R 이미지와 정렬하고, 결점에 대해 각각의 텔레 이미지를 분석하고, 결점이 텔레 이미지에서 검출되는 경우, 동일한 FOVT 위치에서 텔레 이미지를 다시 캡처하거나, 또는 결점이 텔레 이미지에서 검출되지 않는 경우, 바로 다음 텔레 이미지를 각각의 FOVT 위치에서 캡처 진행하는 단계를 더 포함하는 방법.
  5. 제1항에 있어서, 결점에 대해 상기 정렬된 텔레 이미지들을 분석하고, 결점이 특정 텔레 이미지에서 검출되는 경우, 동일한 FOVT 위치에서 특정 텔레 이미지를 다시 캡처하거나, 또는 결점이 검출되지 않는 경우, 새로운 이미지를 생성하기 위해 상기 정렬된 텔레 이미지들 및 상기 R 이미지를 사용하는 단계를 더 포함하는 방법.
  6. 제1항에 있어서, 상기 폴디드 텔레 카메라는 FOVR 내의 2개 이상의 각각의 FOVT 위치에서 2개 이상의 텔레 이미지를 캡처하고, 상기 방법은 슈퍼 이미지를 생성하기 위해 상기 정렬된 텔레 이미지들을 합성는 단계를 더 포함하는 방법.
  7. 제1항에 있어서, 상기 정렬된 텔레 이미지들 및 상기 R 이미지는 시야(FOVSW)를 갖는 슈퍼 와이드 이미지를 생성하기 위한 알고리즘에 공급되고, 여기서 상기 캡처된 텔레 이미지들의 적어도 하나의 FOVT 내에 포함된 FOVR 내의 FOV 세그먼트는 시야(union-FOVT)를 갖고, union-FOVT < FOVSW ≤ FOVR인 방법.
  8. 제1항에 있어서, 상기 폴디드 텔레 카메라는 상이한 각각의 줌 팩터(ZF)를 갖는 텔레 이미지를 캡처하기 위해 서로 다른 줌 상태를 갖는 멀티-줌 텔레 카메라인 방법.
  9. 제1항에 있어서, 상기 R 이미지를 획득하는 단계는 인터넷으로부터 상기 R 이미지를 획득하는 단계를 포함하는 방법.
  10. 제1항에 있어서, 상기 R 이미지를 획득하는 단계는 클라우드 데이터베이스로부터 상기 R 이미지를 획득하는 단계를 포함하는 방법.
  11. 제1항에 있어서, 상기 R 이미지를 획득하는 단계는 사물 인터넷 장치로부터 상기 R 이미지를 획득하는 단계를 포함하는 방법.
  12. 제1항에 있어서, 복수의 새로운 이미지들의 시퀀스로 형성된 비디오 스트림이 단일의 새로운 이미지 대신에 출력되는 방법.
  13. 제1항에 있어서, 사용자 또는 알고리즘이 FOVR에 포함된 장면 내에서 FOVN의 위치 및 FOVN의 크기를 선택하는 방법.
  14. 제1항에 있어서, 상기 R 이미지를 분석하는 단계는 상기 스캐닝 FOVT 위치를 자동으로 선택하고, 및/또는 FOVN을 자동으로 선택하기 위해 상기 R 이미지의 세일리언시 맵을 사용하는 단계를 포함하는 방법.
  15. 제1항에 있어서, 상기 R 이미지의 세그먼트들과 정렬된 복수의 정렬된 텔레 이미지들을 획득하기 위해 상기 캡처된 텔레 이미지들을 정렬하는 단계는 R 이미지 데이터에 대해 T 이미지 데이터를 로컬라이제이션하는 단계를 포함하는 방법.
  16. 제1항에 있어서, 상기 하나 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계는 하나 이상의 텔레 이미지 각각이 특정 양의 자연적 보케를 나타내도록 수행되는 시스템.
  17. 제1항에 있어서, 상기 텔레 카메라는 7-10mm의 유효 초점 거리를 갖는 시스템.
  18. 제1항에 있어서, 상기 텔레 카메라는 10-20mm의 유효 초점 거리를 갖는 시스템.
  19. 제1항에 있어서, 상기 텔레 카메라는 20-40mm의 유효 초점 거리를 갖는 시스템.
  20. 제1항에 있어서, 상기 하나 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계는 상기 합성된 새로운 이미지가 스캐닝의 기계적 제한에 따라 최대 FOV를 커버하도록 수행되는 방법.
  21. 제1항에 있어서, 상기 하나 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계는 상기 새로운 이미지가 사용자에 의해 선택된 관심 영역을 커버하도록 수행되는 방법.
  22. 제1항에 있어서, 상기 하나 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계는 상기 새로운 이미지가 알고리즘에 의해 정의된 관심 영역을 커버하도록 수행되는 방법.
  23. 제1항에 있어서, 상기 하나 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계는 각각의 T 이미지가 특정 깊이 범위를 갖는 장면 세그먼트들을 포함하거나, 또는 특정 깊이 임계값을 초과하지 않는 장면 세그먼트들을 포함하도록 수행되는 방법.
  24. 제1항에 있어서, 상기 하나 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계는 먼저 움직이는 객체를 캡처하고, 움직이는 객체가 캡처된 후 정지 객체를 캡처하도록 수행되는 방법.
  25. 제1항에 있어서, 상기 하나 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계는 복수의 FOVT로 원하는 FOVR의 커버리지가 가장 빠른 방식으로 수행되도록 수행되는 방법.
  26. 제1항에 있어서, 2개 이상의 FOVT 위치의 순서를 결정하는 단계는 최소 수의 T 이미지를 캡처하는 것이 요구되도록 수행되는 방법.
  27. 제1항에 있어서, 2개 이상의 FOVT 위치의 순서를 결정하는 단계는 각각의 FOVT 내의 특정 장면 특징을 포함하는 텔레 이미지가 연속적으로 캡처되도록 수행되고, 상기 장면 특징은 텍스처와 같은 시각적 데이터, 또는 장면의 밝기, 깊이 또는 분광 구성과 같은 물리적 데이터일 수 있는 방법.
  28. 제1항에 있어서, 상기 하나 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계는 객체 추적기로 움직이는 객체를 따라가도록 순서를 결정하는 단계를 포함하는 방법.
  29. 제1항에 있어서, FOVN > FOVT인 방법.
  30. 제1항에 있어서, 상기 텔레 이미지는 상기 R 이미지와 서로 정렬된 상기 정렬된 텔레 이미지들을 획득하기 위해 서로에 대해 추가로 정렬되는 방법.
  31. 제2항에 있어서, 상기 R 이미지는 복수의 와이드 이미지들을 포함하는 방법.
  32. 제2항 또는 제3항에 있어서, 상기 스캐닝 텔레 카메라는 FOVW 및/또는 FOVUW의 25%보다 큰 스캐닝 범위를 커버하는 방법.
  33. 제2항 또는 제3항에 있어서, 상기 스캐닝 텔레 카메라는 FOVW 및/또는 FOVUW의 50%보다 큰 스캐닝 범위를 커버하는 방법.
  34. 제2항 또는 제3항에 있어서, 상기 스캐닝 텔레 카메라 해상도 REST > 2 x RESW이고, 및/또는 SNRT > 2 x SNRW인 방법.
  35. 제2항 또는 제3항에 있어서, 상기 스캐닝 텔레 카메라 해상도 REST > 4 x RESW이고, 및/또는 SNRT > 4 x SNRW인 방법.
  36. 제4항 또는 제5항에 있어서, 상기 결점은 모션 블러, 전자 노이즈, 롤링 셔터, 디포커스 블러 및 부정확한 이미지 정렬 또는 가로막음으로 이루어진 그룹으로부터 선택되는 방법.
  37. 제4항 또는 제5항에 있어서, 상기 결점은 기계적 결점인 방법.
  38. 제6항에 있어서, 상기 정렬된 텔레 이미지들을 슈퍼 이미지로 합성하는 단계는 상기 R 이미지와 함께 상기 정렬된 텔레 이미지들을 슈퍼 이미지로 합성하는 단계를 포함하는 방법.
  39. 제6항에 있어서, 2개 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계는 움직이는 객체가 FOVR에 포함된 장면으로부터 제거되도록 수행되는 방법.
  40. 제6항에 있어서, 2개 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계는 FOVR에 포함된 장면에서 움직이는 객체의 듀플리케이션을 생성하도록 수행되는 방법.
  41. 제6항에 있어서, 2개 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계는 각각의 텔레 이미지가 다른 텔레 이미지와 중첩되도록 수행되는 방법.
  42. 제6항에 있어서, 2개 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계는 하나 이상의 관심 객체가 중첩 영역이 아닌 FOVT의 중심 영역에 위치하도록 수행되는 방법.
  43. 제7항에 있어서, 상기 하나 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계는 FOVN에 포함되지만 특정 FOVT에는 포함되지 않는 유사한 객체의 RES 또는 SNR을 개선하기 위해, 특정 FOVT를 갖는 텔레 이미지에서 객체를 캡처하는 단계를 포함하는 방법.
  44. 제7항에 있어서, 상기 하나 이상의 스캐닝 FOVT 위치의 순서를 결정하는 단계는 2개의 상당히 상이한 시점에서 하나 이상의 FOVT로 움직이는 객체를 캡처하는 단계를 포함하는 방법.
  45. 제8항에 있어서, 상기 멀티-줌 텔레 카메라는 연속-줌 텔레 카메라인 방법.
  46. 제8항에 있어서, 상기 멀티-줌 텔레 카메라는 듀얼-줌 상태 텔레 카메라인 방법.
  47. 제8항에 있어서, 상기 R 이미지는 제1 ZF(ZF1)를 갖는 텔레 이미지이고, 상기 순서에 따라 연속적으로 캡처된 상기 텔레 이미지는 제2 줌 팩터(ZF2)를 가지며, ZF1≤1.25×ZF2인 방법.


KR1020227012187A 2020-05-17 2021-05-12 전체 시야 레퍼런스 이미지 존재 하의 이미지 스티칭 Active KR102495627B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237003409A KR102674601B1 (ko) 2020-05-17 2021-05-12 전체 시야 레퍼런스 이미지 존재 하의 이미지 스티칭

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063026097P 2020-05-17 2020-05-17
US63/026,097 2020-05-17
PCT/IB2021/054070 WO2021234515A1 (en) 2020-05-17 2021-05-12 Image stitching in the presence of a full field of view reference image

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237003409A Division KR102674601B1 (ko) 2020-05-17 2021-05-12 전체 시야 레퍼런스 이미지 존재 하의 이미지 스티칭

Publications (2)

Publication Number Publication Date
KR20220053678A true KR20220053678A (ko) 2022-04-29
KR102495627B1 KR102495627B1 (ko) 2023-02-06

Family

ID=78708180

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020247018892A Pending KR20240096759A (ko) 2020-05-17 2021-05-12 전체 시야 레퍼런스 이미지 존재 하의 이미지 스티칭
KR1020237003409A Active KR102674601B1 (ko) 2020-05-17 2021-05-12 전체 시야 레퍼런스 이미지 존재 하의 이미지 스티칭
KR1020227012187A Active KR102495627B1 (ko) 2020-05-17 2021-05-12 전체 시야 레퍼런스 이미지 존재 하의 이미지 스티칭

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020247018892A Pending KR20240096759A (ko) 2020-05-17 2021-05-12 전체 시야 레퍼런스 이미지 존재 하의 이미지 스티칭
KR1020237003409A Active KR102674601B1 (ko) 2020-05-17 2021-05-12 전체 시야 레퍼런스 이미지 존재 하의 이미지 스티칭

Country Status (5)

Country Link
US (3) US11832018B2 (ko)
EP (2) EP4407976A3 (ko)
KR (3) KR20240096759A (ko)
CN (4) CN117372249A (ko)
WO (1) WO2021234515A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4407976A3 (en) * 2020-05-17 2024-10-09 Corephotonics Ltd. Image stitching in the presence of a full field of view reference image
CN111818262B (zh) * 2020-07-08 2021-12-03 杭州萤石软件有限公司 图像重建方法及装置
US20230408889A1 (en) * 2020-11-10 2023-12-21 Sony Group Corporation Imaging apparatus and lens apparatus
KR20230096698A (ko) * 2021-12-23 2023-06-30 삼성전자주식회사 고해상도 영상을 위한 단말의 동작 방법 및 단말
US20220174213A1 (en) * 2022-02-14 2022-06-02 Mallari Hanchate Camera fusion architecture to enhance image quality in the region of interest
EP4350278B1 (en) * 2022-08-17 2025-03-05 Contemporary Amperex Technology (Hong Kong) Limited Calibration ruler, calibration method and apparatus, and detection method and apparatus

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150139558A (ko) * 2013-06-13 2015-12-11 코어포토닉스 리미티드 이중 조리개 줌 디지털 카메라
KR20160068884A (ko) * 2013-10-08 2016-06-15 에스알아이 인터내셔널 홍채 생체 인식 모듈 및 액세스 제어 조립체
KR101928716B1 (ko) * 2015-12-29 2018-12-12 코어포토닉스 리미티드 자동 조정가능 텔레 시야(fov)를 갖는 듀얼-애퍼처 줌 디지털 카메라
KR102013928B1 (ko) * 2012-12-28 2019-08-23 삼성전자주식회사 영상 변형 장치 및 그 방법
KR102017976B1 (ko) * 2015-08-13 2019-09-03 코어포토닉스 리미티드 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라

Family Cites Families (422)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3085354A (en) 1957-01-31 1963-04-16 Westinghouse Electric Corp Multi-gimbal flight simulator
US3584513A (en) 1969-01-06 1971-06-15 Singer General Precision Self-calibrating system for navigational instruments
US3941001A (en) 1973-11-09 1976-03-02 Lear Siegler, Inc. Gimbal control mechanism
US4199785A (en) 1979-01-05 1980-04-22 Honeywell Inc. Electronic zoom system
JPS59191146A (ja) 1983-04-13 1984-10-30 Hitachi Ltd 光学走査装置
US5099263A (en) 1984-11-10 1992-03-24 Minolta Camera Kabushiki Kaisha Variable focal length camera
JPH0690350B2 (ja) 1986-12-15 1994-11-14 富士写真光機株式会社 カメラ
DE58902538D1 (de) 1988-05-19 1992-12-03 Siemens Ag Verfahren zur beobachtung einer szene und einrichtung zur durchfuehrung des verfahrens.
DE3927334C1 (ko) 1989-08-18 1991-01-10 Messerschmitt-Boelkow-Blohm Gmbh, 8012 Ottobrunn, De
JP2703105B2 (ja) 1989-10-20 1998-01-26 富士写真フイルム株式会社 手振れ補正装置
US5032917A (en) 1990-03-12 1991-07-16 Rca Licensing Corporation Video signal blending apparatus
JPH0443773A (ja) 1990-06-11 1992-02-13 Matsushita Electric Ind Co Ltd 演算回路
US5041852A (en) 1990-10-18 1991-08-20 Fjui Photo Film Co., Ltd. Camera shake correction system
JP3261152B2 (ja) 1991-03-13 2002-02-25 シャープ株式会社 複数の光学系を備えた撮像装置
US5394520A (en) 1991-09-26 1995-02-28 Hughes Aircraft Company Imaging apparatus for providing a composite digital representation of a scene within a field of regard
US5657402A (en) 1991-11-01 1997-08-12 Massachusetts Institute Of Technology Method of creating a high resolution still image using a plurality of images and apparatus for practice of the method
JP3103166B2 (ja) 1991-11-26 2000-10-23 富士写真光機株式会社 射出瞳の遠いマクロレンズ
US5248971A (en) 1992-05-19 1993-09-28 Mandl William J Method and apparatus for multiplexed oversampled analog to digital modulation
JP3218730B2 (ja) 1992-10-19 2001-10-15 株式会社ニコン 予測機能を有する焦点調節装置
JPH06177706A (ja) 1992-12-08 1994-06-24 Sony Corp 信号処理装置
DE69324224T2 (de) 1992-12-29 1999-10-28 Koninklijke Philips Electronics N.V., Eindhoven Bildverarbeitungsverfahren und -vorrichtung zum Erzeugen eines Bildes aus mehreren angrenzenden Bildern
US5682198A (en) 1993-06-28 1997-10-28 Canon Kabushiki Kaisha Double eye image pickup apparatus
US5805140A (en) 1993-07-16 1998-09-08 Immersion Corporation High bandwidth force feedback interface using voice coils and flexures
US6128416A (en) 1993-09-10 2000-10-03 Olympus Optical Co., Ltd. Image composing technique for optimally composing a single image from a plurality of digital images
JP3355787B2 (ja) 1994-05-20 2002-12-09 ソニー株式会社 光軸補正機構
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
CA2155719C (en) 1994-11-22 2005-11-01 Terry Laurence Glatt Video surveillance system with pilot and slave cameras
JPH08271976A (ja) 1995-03-29 1996-10-18 Canon Inc カメラ
JPH0995194A (ja) 1995-09-29 1997-04-08 Aisin Seiki Co Ltd 車両前方の物体検出装置
US5768443A (en) 1995-12-19 1998-06-16 Cognex Corporation Method for coordinating multiple fields of view in multi-camera
US5982951A (en) 1996-05-28 1999-11-09 Canon Kabushiki Kaisha Apparatus and method for combining a plurality of images
US5926190A (en) 1996-08-21 1999-07-20 Apple Computer, Inc. Method and system for simulating motion in a computer graphics application using image registration and view interpolation
JPH10126796A (ja) 1996-09-12 1998-05-15 Eastman Kodak Co デュアル・モード・ソフトウェア処理を用いた動画・静止画像用デジタル・カメラ
US5960218A (en) 1997-02-18 1999-09-28 Mobi Corporation Dual focal length camera
US5940641A (en) 1997-07-10 1999-08-17 Eastman Kodak Company Extending panoramic images
GB9720911D0 (en) 1997-10-03 1997-12-03 Britax Rainsfords Pty Ltd Hall effect sensor system
US6148120A (en) 1997-10-30 2000-11-14 Cognex Corporation Warping of focal images to correct correspondence error
US6268611B1 (en) 1997-12-18 2001-07-31 Cellavision Ab Feature-free registration of dissimilar images using a robust similarity metric
JP3695119B2 (ja) 1998-03-05 2005-09-14 株式会社日立製作所 画像合成装置、及び画像合成方法を実現するプログラムを記録した記録媒体
US6208765B1 (en) 1998-06-19 2001-03-27 Sarnoff Corporation Method and apparatus for improving image resolution
GB9823689D0 (en) 1998-10-30 1998-12-23 Greenagate Limited Improved methods and apparatus for 3-D imaging
US6211668B1 (en) 1998-12-09 2001-04-03 Cts Magnetic position sensor having opposed tapered magnets
US6611289B1 (en) 1999-01-15 2003-08-26 Yanbin Yu Digital cameras using multiple sensors with multiple lenses
JP3861855B2 (ja) 1999-01-21 2006-12-27 日本電気株式会社 画像入力装置
US20020063711A1 (en) 1999-05-12 2002-05-30 Imove Inc. Camera system with high resolution image inside a wide angle view
US6738073B2 (en) 1999-05-12 2004-05-18 Imove, Inc. Camera system with both a wide angle view and a high resolution view
US20020075258A1 (en) 1999-05-12 2002-06-20 Imove Inc. Camera system with high resolution image inside a wide angle view
US6346950B1 (en) 1999-05-20 2002-02-12 Compaq Computer Corporation System and method for display images using anamorphic video
US6222359B1 (en) 1999-06-18 2001-04-24 Cts Corporation Non-contacting position sensor using radial bipolar tapered magnets
US7038716B2 (en) 1999-07-30 2006-05-02 Pixim, Inc. Mobile device equipped with digital image sensor
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6650368B1 (en) 1999-10-26 2003-11-18 Hewlett-Packard Development Company, Lp. Digital camera and method of enhancing zoom effects
US6643416B1 (en) 1999-11-30 2003-11-04 Eastman Kodak Company Method for determining necessary resolution for zoom and crop images
US20020005902A1 (en) 2000-06-02 2002-01-17 Yuen Henry C. Automatic video recording system using wide-and narrow-field cameras
JP2002010276A (ja) 2000-06-22 2002-01-11 Olympus Optical Co Ltd 撮像装置
JP4501239B2 (ja) 2000-07-13 2010-07-14 ソニー株式会社 カメラ・キャリブレーション装置及び方法、並びに、記憶媒体
US7002583B2 (en) 2000-08-03 2006-02-21 Stono Technologies, Llc Display of images and image transitions
US6778207B1 (en) 2000-08-07 2004-08-17 Koninklijke Philips Electronics N.V. Fast digital pan tilt zoom video
US7345277B2 (en) 2000-08-09 2008-03-18 Evan Zhang Image intensifier and LWIR fusion/combination system
JP2002099014A (ja) 2000-09-22 2002-04-05 Nikon Corp 信号予測装置及びこれを具えたカメラ
JP2002214662A (ja) 2001-01-23 2002-07-31 Olympus Optical Co Ltd 光学装置の振れ補正装置
US6741250B1 (en) 2001-02-09 2004-05-25 Be Here Corporation Method and system for generation of multiple viewpoints into a scene viewed by motionless cameras and for presentation of a view path
GB2372659A (en) 2001-02-23 2002-08-28 Sharp Kk A method of rectifying a stereoscopic image
US7346217B1 (en) 2001-04-25 2008-03-18 Lockheed Martin Corporation Digital image enhancement using successive zoom images
JP2002341220A (ja) 2001-05-14 2002-11-27 Olympus Optical Co Ltd 光学機器
GB0116877D0 (en) 2001-07-10 2001-09-05 Hewlett Packard Co Intelligent feature selection and pan zoom control
US6680748B1 (en) 2001-09-27 2004-01-20 Pixim, Inc., Multi-mode camera and method therefor
US20030093805A1 (en) 2001-11-15 2003-05-15 Gin J.M. Jack Dual camera surveillance and control system
US7339621B2 (en) 2001-12-13 2008-03-04 Psion Teklogix Systems, Inc. Imager output signal processing
JP4198449B2 (ja) 2002-02-22 2008-12-17 富士フイルム株式会社 デジタルカメラ
JP2003298920A (ja) 2002-03-29 2003-10-17 Fuji Photo Film Co Ltd デジタルカメラ
JP2003304024A (ja) 2002-04-12 2003-10-24 Nippon Telegr & Teleph Corp <Ntt> 駆動回路内蔵光モジュール
JP4657564B2 (ja) 2002-04-30 2011-03-23 イーストマン コダック カンパニー 電子スチルカメラ及び画像処理方法
GB2388265B (en) 2002-04-30 2005-10-12 Hewlett Packard Co Improvements in and relating to processing of images
CA2386560A1 (en) 2002-05-15 2003-11-15 Idelix Software Inc. Controlling optical hardware and dynamic data viewing systems with detail-in-context viewing tools
JP3870124B2 (ja) 2002-06-14 2007-01-17 キヤノン株式会社 画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
US6839067B2 (en) 2002-07-26 2005-01-04 Fuji Xerox Co., Ltd. Capturing and producing shared multi-resolution video
US20040061788A1 (en) 2002-09-26 2004-04-01 Logitech Europe S.A. Multiple mode capture button for a digital camera
US7321470B2 (en) 2002-10-08 2008-01-22 Olympus Corporation Camera
JP4481560B2 (ja) 2002-10-08 2010-06-16 オリンパス株式会社 レンズ鏡筒
GB2394852B (en) 2002-10-31 2006-12-20 Hewlett Packard Co Image capture systems using motion detection
JP2004219569A (ja) 2003-01-10 2004-08-05 Olympus Corp 電子撮像装置
JP3861815B2 (ja) 2003-01-17 2006-12-27 コニカミノルタフォトイメージング株式会社 手振れ補正機能付きカメラ
JP4055599B2 (ja) 2003-02-13 2008-03-05 コニカミノルタオプト株式会社 撮像レンズ装置およびそれを備えた電子機器
EP1595114B1 (en) 2003-02-14 2014-11-12 BEI Sensors & Systems Company, Inc. Position sensor utilizing a linear hall-effect sensor
WO2004084542A1 (ja) 2003-03-20 2004-09-30 Seijiro Tomita パノラマ画像生成方法及びその装置並びにこれらの方法・装置を用いた監視システム
CN1574894A (zh) 2003-06-02 2005-02-02 宾得株式会社 多焦距成像装置和具有该多焦距成像装置的移动装置
US7596284B2 (en) 2003-07-16 2009-09-29 Hewlett-Packard Development Company, L.P. High resolution image reconstruction
US7619683B2 (en) 2003-08-29 2009-11-17 Aptina Imaging Corporation Apparatus including a dual camera module and method of using the same
JP2005099265A (ja) 2003-09-24 2005-04-14 Fujinon Corp 撮像装置および撮像方法、ならびに測距方法
JP2005122084A (ja) 2003-09-25 2005-05-12 Kyocera Corp 光素子モジュール
EP1536633A1 (en) 2003-11-27 2005-06-01 Sony Corporation Photographing apparatus and method, supervising system, program and recording medium
US7746396B2 (en) 2003-12-17 2010-06-29 Nokia Corporation Imaging device and method of creating image file
KR100557040B1 (ko) 2003-12-30 2006-03-03 엘지전자 주식회사 광 픽업 시스템
JP2005208194A (ja) 2004-01-21 2005-08-04 Konica Minolta Photo Imaging Inc 撮影装置
KR20050090780A (ko) 2004-03-10 2005-09-14 삼성전자주식회사 영상촬영장치
EP1594321A3 (en) 2004-05-07 2006-01-25 Dialog Semiconductor GmbH Extended dynamic range in color imagers
JP4201140B2 (ja) 2004-05-10 2008-12-24 株式会社コルグ 操作子
JP2008507229A (ja) 2004-07-19 2008-03-06 グランドアイ，エルティーディー 広角ビデオカメラのズーム機能の自動拡張
JP4894041B2 (ja) 2004-07-20 2012-03-07 株式会社ファイブ・ディー 電子撮像装置
US7564019B2 (en) 2005-08-25 2009-07-21 Richard Ian Olsen Large dynamic range cameras
WO2006026354A2 (en) 2004-08-25 2006-03-09 Newport Imaging Corporation Apparatus for multiple camera devices and method of operating same
US7916180B2 (en) 2004-08-25 2011-03-29 Protarius Filo Ag, L.L.C. Simultaneous multiple field of view digital cameras
US7465107B2 (en) 2004-09-21 2008-12-16 Canon Kabushiki Kaisha Photographing apparatus and control method therefor
KR101054344B1 (ko) 2004-11-17 2011-08-04 삼성전자주식회사 박막 트랜지스터 표시판 및 그 제조 방법
EP1669251A1 (en) 2004-12-07 2006-06-14 IEE INTERNATIONAL ELECTRONICS &amp; ENGINEERING S.A. Child seat detection system
US7688364B2 (en) 2004-12-10 2010-03-30 Ambarella, Inc. Decimating and cropping based zoom factor for a digital camera
US20060126737A1 (en) 2004-12-15 2006-06-15 International Business Machines Corporation Method, system and program product for a camera to track an object using motion vector data
KR100636969B1 (ko) 2004-12-30 2006-10-19 매그나칩 반도체 유한회사 Ｉｓｐ 내장형 이미지 센서 및 듀얼 카메라 시스템
US7573514B2 (en) 2005-02-03 2009-08-11 Eastman Kodak Company Digital imaging system with digital zoom warning
US7663662B2 (en) 2005-02-09 2010-02-16 Flir Systems, Inc. High and low resolution camera systems and methods
US7646400B2 (en) * 2005-02-11 2010-01-12 Creative Technology Ltd Method and apparatus for forming a panoramic image
US7206136B2 (en) 2005-02-18 2007-04-17 Eastman Kodak Company Digital camera using multiple lenses and image sensors to provide an extended zoom range
US20060187322A1 (en) 2005-02-18 2006-08-24 Janson Wilbert F Jr Digital camera using multiple fixed focal length lenses and multiple image sensors to provide an extended zoom range
US7256944B2 (en) 2005-02-18 2007-08-14 Eastman Kodak Company Compact image capture assembly using multiple lenses and image sensors to provide an extended zoom range
US7561191B2 (en) 2005-02-18 2009-07-14 Eastman Kodak Company Camera phone using multiple lenses and image sensors to provide an extended zoom range
US7236306B2 (en) 2005-02-18 2007-06-26 Eastman Kodak Company Digital camera using an express zooming mode to provide expedited operation over an extended zoom range
JP2006237914A (ja) 2005-02-24 2006-09-07 Kyocera Corp 携帯端末装置
JP2006238325A (ja) 2005-02-28 2006-09-07 Canon Inc カメラシステム
KR100658150B1 (ko) 2005-04-08 2006-12-15 삼성전기주식회사 카메라 모듈 및 이의 제작방법
JP3934151B2 (ja) 2005-06-22 2007-06-20 松下電器産業株式会社 画像生成装置および画像生成方法
KR20070005946A (ko) 2005-07-05 2007-01-11 엘지전자 주식회사 휴대 단말기용 카메라 렌즈의 위치 검출 장치
JP2007033879A (ja) 2005-07-27 2007-02-08 Sony Corp 撮像レンズ装置及び撮像装置
US7424218B2 (en) 2005-07-28 2008-09-09 Microsoft Corporation Real-time preview for panoramic images
JP4573724B2 (ja) 2005-08-01 2010-11-04 イーストマン コダック カンパニー 複数光学系を有する撮像装置
JP4573725B2 (ja) 2005-08-01 2010-11-04 イーストマン コダック カンパニー 複数光学系を有する撮像装置
US7964835B2 (en) 2005-08-25 2011-06-21 Protarius Filo Ag, L.L.C. Digital cameras with direct luminance and chrominance detection
JP4188394B2 (ja) 2005-09-20 2008-11-26 フジノン株式会社 監視カメラ装置及び監視カメラシステム
US7872681B2 (en) 2005-10-13 2011-01-18 Rjs Technology, Inc. System and method for a high performance color filter mosaic array
EP1950608B1 (en) 2005-11-14 2010-09-22 Nikon Corporation Image shake correction device and camera
JP4788953B2 (ja) 2005-11-16 2011-10-05 ソニー株式会社 撮像装置及びズームレンズ
US8238695B1 (en) 2005-12-15 2012-08-07 Grandeye, Ltd. Data reduction techniques for processing wide-angle video
US7423540B2 (en) 2005-12-23 2008-09-09 Delphi Technologies, Inc. Method of detecting vehicle-operator state
US20070177025A1 (en) 2006-02-01 2007-08-02 Micron Technology, Inc. Method and apparatus minimizing die area and module size for a dual-camera mobile device
CN101401023A (zh) 2006-02-06 2009-04-01 诺基亚公司 使用装有万向节的棱镜的光学图像稳定器
CN101401022B (zh) 2006-02-06 2010-07-21 诺基亚公司 在成像系统中进行位置检测的方法和设备
JP4579842B2 (ja) 2006-02-06 2010-11-10 イーストマン コダック カンパニー 撮像装置
US9182228B2 (en) 2006-02-13 2015-11-10 Sony Corporation Multi-lens array system and method
JP4622882B2 (ja) 2006-02-21 2011-02-02 カシオ計算機株式会社 デジタルカメラ
US7708478B2 (en) 2006-04-13 2010-05-04 Nokia Corporation Actuator mechanism and a shutter mechanism
US7773121B1 (en) 2006-05-03 2010-08-10 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration High-resolution, continuous field-of-view (FOV), non-rotating imaging system
US8139125B2 (en) 2006-05-05 2012-03-20 Nokia Corporation Optical image recording device with small height and high resolution
JP2007306282A (ja) 2006-05-11 2007-11-22 Citizen Electronics Co Ltd カメラモジュール
KR100749337B1 (ko) 2006-06-13 2007-08-14 삼성전자주식회사 복수의 카메라렌즈를 구비한 이동통신단말기를 이용한 촬영방법 및 장치
US7737379B2 (en) 2006-07-19 2010-06-15 Witdouck Calvin J System and method for sorting larvae cocoons
US8189100B2 (en) 2006-07-25 2012-05-29 Qualcomm Incorporated Mobile device with dual digital camera sensors and methods of using the same
US7756330B2 (en) 2006-07-27 2010-07-13 Eastman Kodak Company Producing an extended dynamic range digital image
US7667762B2 (en) 2006-08-01 2010-02-23 Lifesize Communications, Inc. Dual sensor video camera
US20080030592A1 (en) 2006-08-01 2008-02-07 Eastman Kodak Company Producing digital image with different resolution portions
JP2008076485A (ja) 2006-09-19 2008-04-03 Konica Minolta Opto Inc レンズ鏡胴、及び撮像装置
JP2008096584A (ja) 2006-10-10 2008-04-24 Nikon Corp カメラ
KR101278239B1 (ko) 2006-10-17 2013-06-24 삼성전자주식회사 듀얼 렌즈 광학계 및 이를 구비하는 듀얼 렌즈 카메라
US7697053B2 (en) 2006-11-02 2010-04-13 Eastman Kodak Company Integrated display having multiple capture devices
JP4448844B2 (ja) 2006-11-22 2010-04-14 富士フイルム株式会社 複眼撮像装置
KR100871566B1 (ko) 2006-12-04 2008-12-02 삼성전자주식회사 이미지 촬상 장치의 손떨림 보상을 위한 장치 및 방법
US7533819B2 (en) 2007-01-31 2009-05-19 Symbol Technologies, Inc. Dual camera assembly for an imaging-based bar code reader
US7978239B2 (en) 2007-03-01 2011-07-12 Eastman Kodak Company Digital camera using multiple image sensors to provide improved temporal sampling
US7859588B2 (en) 2007-03-09 2010-12-28 Eastman Kodak Company Method and apparatus for operating a dual lens camera to augment an image
US7729602B2 (en) 2007-03-09 2010-06-01 Eastman Kodak Company Camera using multiple lenses and image sensors operable in a default imaging mode
US7676146B2 (en) 2007-03-09 2010-03-09 Eastman Kodak Company Camera using multiple lenses and image sensors to provide improved focusing capability
US7683962B2 (en) 2007-03-09 2010-03-23 Eastman Kodak Company Camera using multiple lenses and image sensors in a rangefinder configuration to provide a range map
US20100134621A1 (en) 2007-04-06 2010-06-03 Korea Expressway Corporation Multi-area monitoring system from single cctv having a camera quadratic curved surface mirror structure and it, and unwrapping method for the same
JP5040412B2 (ja) 2007-04-18 2012-10-03 ソニー株式会社 撮像素子パッケージ、撮像素子モジュールおよびレンズ鏡筒並びに撮像装置
EP2149067A1 (en) 2007-04-19 2010-02-03 D.V.P. Technologies Ltd. Imaging system and method for use in monitoring a field of regard
US7918398B2 (en) 2007-06-04 2011-04-05 Hand Held Products, Inc. Indicia reading terminal having multiple setting imaging lens
US8390729B2 (en) 2007-09-05 2013-03-05 International Business Machines Corporation Method and apparatus for providing a video image having multiple focal lengths
US20090086074A1 (en) 2007-09-27 2009-04-02 Omnivision Technologies, Inc. Dual mode camera solution apparatus, system, and method
US8084969B2 (en) 2007-10-01 2011-12-27 Allegro Microsystems, Inc. Hall-effect based linear motor controller
KR101428042B1 (ko) 2007-10-08 2014-08-07 엘지이노텍 주식회사 차량 카메라 제어 시스템
US8752969B1 (en) 2007-10-15 2014-06-17 Arete Associates Method of operating a fast scanning mirror
JP2009109904A (ja) 2007-10-31 2009-05-21 Sony Corp レンズ鏡筒及び撮像装置
US20090122195A1 (en) 2007-11-09 2009-05-14 Van Baar Jeroen System and Method for Combining Image Sequences
US20090128644A1 (en) 2007-11-15 2009-05-21 Camp Jr William O System and method for generating a photograph
US8310587B2 (en) 2007-12-04 2012-11-13 DigitalOptics Corporation International Compact camera optics
KR20090058229A (ko) 2007-12-04 2009-06-09 삼성전기주식회사 듀얼 카메라 모듈
TW200928431A (en) 2007-12-26 2009-07-01 Delta Electronics Inc Optical actuator
WO2009097552A1 (en) 2008-02-01 2009-08-06 Omnivision Cdm Optics, Inc. Image data fusion systems and methods
US7745779B2 (en) 2008-02-08 2010-06-29 Aptina Imaging Corporation Color pixel arrays having common color filters for multiple adjacent pixels for use in CMOS imagers
US8115825B2 (en) 2008-02-20 2012-02-14 Apple Inc. Electronic device with two image sensors
CN101276415A (zh) 2008-03-03 2008-10-01 北京航空航天大学 用多定焦摄像机实现多分辨率图像采集的装置和方法
US20100097444A1 (en) 2008-10-16 2010-04-22 Peter Lablans Camera System for Creating an Image From a Plurality of Images
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
FI20085510A7 (fi) 2008-05-28 2009-11-29 Valtion Teknillinen Tutkimuskeskus Zoom-kamera -järjestely, joka käsittää useita alikameroita
JP4513906B2 (ja) 2008-06-27 2010-07-28 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
KR101477178B1 (ko) 2008-07-17 2014-12-29 삼성전자주식회사 듀얼 카메라를 구비하는 휴대 단말기 및 이를 이용한 촬영방법
US8134589B2 (en) 2008-07-17 2012-03-13 Eastman Kodak Company Zoom by multiple image capture
GB2462095A (en) 2008-07-23 2010-01-27 Snell & Wilcox Ltd Processing of images to represent a transition in viewpoint
US8237807B2 (en) 2008-07-24 2012-08-07 Apple Inc. Image capturing device with touch screen for adjusting camera settings
JP5118751B2 (ja) 2008-09-10 2013-01-16 パナソニック株式会社 カメラ本体および撮像装置
CN101394487B (zh) 2008-10-27 2011-09-14 华为技术有限公司 一种合成图像的方法与系统
JP5230376B2 (ja) 2008-11-28 2013-07-10 三星電子株式会社 撮像装置及び撮像方法
JP5265336B2 (ja) 2008-12-25 2013-08-14 富士フイルム株式会社 手振れ補正装置及び光学機器
US20100202068A1 (en) 2009-02-06 2010-08-12 Panasonic Corporation Lens barrel structure
JP2010204341A (ja) 2009-03-03 2010-09-16 Nikon Corp カメラ
CN101833157A (zh) 2009-03-13 2010-09-15 鸿富锦精密工业（深圳）有限公司 相机模组
JP2012521673A (ja) 2009-03-19 2012-09-13 フレクストロニクス エイピー エルエルシー デュアルセンサカメラ
JP5121769B2 (ja) 2009-03-30 2013-01-16 富士フイルム株式会社 レンズユニット
US8896697B2 (en) 2009-04-07 2014-11-25 Chen Golan Video motion compensation and stabilization gimbaled imaging system
KR101552481B1 (ko) 2009-04-13 2015-09-21 삼성전자 주식회사 줌 렌즈 모듈
WO2010122841A1 (ja) 2009-04-22 2010-10-28 コニカミノルタオプト株式会社 レンズ鏡胴、撮像装置及びレンズ鏡胴の製造方法
US8553106B2 (en) 2009-05-04 2013-10-08 Digitaloptics Corporation Dual lens digital zoom
US8766808B2 (en) 2010-03-09 2014-07-01 Flir Systems, Inc. Imager with multiple sensor arrays
SG177156A1 (en) 2009-06-16 2012-01-30 Intel Corp Camera applications in a handheld device
WO2010148363A2 (en) 2009-06-18 2010-12-23 Theia Technologies, Llc Compact dome camera
US9215385B2 (en) 2009-06-22 2015-12-15 Ominivision Technologies, Inc. System and method for an image sensor operable in multiple video standards
WO2011009108A2 (en) 2009-07-17 2011-01-20 Universal Robotics, Inc. System and method for automatic calibration of stereo images
JP5846346B2 (ja) 2009-08-21 2016-01-20 ミツミ電機株式会社 カメラの手振れ補正装置
JP2011055246A (ja) 2009-09-02 2011-03-17 Panasonic Corp 望遠撮像装置
CN201514511U (zh) 2009-09-08 2010-06-23 华晶科技股份有限公司 潜望式镜头结构
KR101613928B1 (ko) 2009-09-09 2016-04-20 엘지전자 주식회사 이동 단말기
EP2478464B1 (en) 2009-09-14 2019-05-08 VIION Systems Inc. Saccadic dual-resolution video analytics camera
KR101617289B1 (ko) 2009-09-30 2016-05-02 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
JP5513834B2 (ja) 2009-10-13 2014-06-04 台湾東電化股▲ふん▼有限公司 レンズ駆動装置
EP2502410B1 (en) 2009-11-19 2019-05-01 eSight Corporation A method for augmenting sight
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
KR101081630B1 (ko) 2009-11-20 2011-11-09 엘지이노텍 주식회사 보이스 코일 모터
US8400555B1 (en) 2009-12-01 2013-03-19 Adobe Systems Incorporated Focused plenoptic camera employing microlenses with different focal lengths
US20110128288A1 (en) 2009-12-02 2011-06-02 David Petrou Region of Interest Selector for Visual Queries
JP5310539B2 (ja) 2009-12-28 2013-10-09 富士通株式会社 メール送受信装置、メール送受信方法及びメール送受信プログラム
KR20110080590A (ko) 2010-01-06 2011-07-13 삼성테크윈 주식회사 흔들림 보정 모듈 및 이를 구비하는 카메라 모듈
CN102906763A (zh) 2010-01-28 2013-01-30 美国路通创新科技公司 带有拍摄扫描装置和基于个人电脑的处理软件的文件成像系统
JP5445235B2 (ja) 2010-03-09 2014-03-19 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP5079836B2 (ja) 2010-03-24 2012-11-21 台灣東電化股▲ふん▼有限公司 レンズのオートフォーカスモジュールの手ブレ防止構造
JP2011205374A (ja) 2010-03-25 2011-10-13 Fujifilm Corp 表示装置
TWI478828B (zh) 2010-03-26 2015-04-01 Hon Hai Prec Ind Co Ltd 車載影像系統及安裝有該車載影像系統的汽車
JP4783465B1 (ja) 2010-03-26 2011-09-28 富士フイルム株式会社 撮像装置及び表示装置
US8456518B2 (en) 2010-03-31 2013-06-04 James Cameron & Vincent Pace Stereoscopic camera with automatic obstruction removal
US20110242342A1 (en) 2010-04-05 2011-10-06 Qualcomm Incorporated Combining data from multiple image sensors
US8547389B2 (en) 2010-04-05 2013-10-01 Microsoft Corporation Capturing image structure detail from a first image and color from a second image
CN102215373B (zh) 2010-04-07 2014-12-24 苹果公司 会议中的显示调整
US8446484B2 (en) 2010-04-21 2013-05-21 Nokia Corporation Image processing architecture with pre-scaler
US20130250150A1 (en) 2010-05-03 2013-09-26 Michael R. Malone Devices and methods for high-resolution image and video capture
TWI524752B (zh) 2010-05-03 2016-03-01 量宏科技股份有限公司 用於高解析度影像及視訊擷取之裝置及方法
US20110285713A1 (en) 2010-05-21 2011-11-24 Jerzy Wieslaw Swic Processing Color Sub-Pixels
DE102010017057B4 (de) 2010-05-21 2015-03-19 Jena-Optronik Gmbh Kamera mit mehreren Festbrennweiten
BR112013000773A2 (pt) 2010-07-13 2016-05-24 Ram Srikanth Mirlay montagem de câmera 3d variável para fotografia
JP2012027263A (ja) 2010-07-23 2012-02-09 Sony Corp 撮像装置、その制御方法およびプログラム
US8493482B2 (en) 2010-08-18 2013-07-23 Apple Inc. Dual image sensor image processing system and method
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
JP5609467B2 (ja) 2010-09-15 2014-10-22 株式会社リコー 撮像装置及び撮像方法
US8780251B2 (en) 2010-09-20 2014-07-15 Canon Kabushiki Kaisha Image capture with focus adjustment
US20120075489A1 (en) 2010-09-24 2012-03-29 Nishihara H Keith Zoom camera image blending technique
US20140192238A1 (en) 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
US9204026B2 (en) 2010-11-01 2015-12-01 Lg Electronics Inc. Mobile terminal and method of controlling an image photographing therein
JP5719148B2 (ja) 2010-11-10 2015-05-13 キヤノン株式会社 撮像装置及びその制御方法、プログラム
KR101731346B1 (ko) 2010-11-12 2017-04-28 엘지전자 주식회사 멀티미디어 장치의 디스플레이화면 제공 방법 및 그에 따른 멀티미디어 장치
US9900522B2 (en) 2010-12-01 2018-02-20 Magna Electronics Inc. System and method of establishing a multi-camera image using pixel remapping
JP5589823B2 (ja) 2010-12-21 2014-09-17 株式会社リコー ステレオカメラの校正装置および校正方法
US10200671B2 (en) 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
JP5654867B2 (ja) 2010-12-27 2015-01-14 パナソニックＩｐマネジメント株式会社 映像信号処理装置及び映像信号処理方法
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
JP2012141442A (ja) 2010-12-28 2012-07-26 Sony Corp レンズ保護装置、レンズユニット及び撮像装置
US8803990B2 (en) 2011-01-25 2014-08-12 Aptina Imaging Corporation Imaging system with multiple sensors for producing high-dynamic-range images
US8520080B2 (en) 2011-01-31 2013-08-27 Hand Held Products, Inc. Apparatus, system, and method of use of imaging assembly on mobile terminal
JP5814566B2 (ja) 2011-02-28 2015-11-17 オリンパス株式会社 撮像装置、撮像方法及び撮像装置の制御プログラム
EP2684026A4 (en) 2011-03-08 2014-09-10 Spectral Instr Imaging Llc IMAGING SYSTEM COMPRISING PRIMARY AND AUXILIARY CAMERA SYSTEMS
JP5708097B2 (ja) 2011-03-18 2015-04-30 株式会社リコー 撮像装置、撮像方法、及び撮像プログラム
US9172856B2 (en) 2011-03-29 2015-10-27 Microsoft Technology Licensing, Llc Folded imaging path camera
CN102739949A (zh) 2011-04-01 2012-10-17 张可伦 多镜头相机和多镜头装置的控制方法
EP2523450B1 (en) 2011-05-10 2014-05-14 HTC Corporation Handheld electronic device with dual image capturing method and computer program product
US8553129B2 (en) 2011-05-10 2013-10-08 Htc Corporation Handheld electronic device with two lens modules, dual image capturing method applying for the handheld electronic device, and computer program product for load into the handheld electronic device
KR101224790B1 (ko) 2011-06-14 2013-01-21 삼성전기주식회사 영상 촬상 장치
US8605199B2 (en) 2011-06-28 2013-12-10 Canon Kabushiki Kaisha Adjustment of imaging properties for an imaging assembly having light-field optics
JP5821356B2 (ja) 2011-07-15 2015-11-24 ミツミ電機株式会社 レンズ駆動装置
US9270875B2 (en) 2011-07-20 2016-02-23 Broadcom Corporation Dual image capture processing
JP6103840B2 (ja) 2011-07-28 2017-03-29 キヤノン株式会社 補正光学装置及び撮像装置
US8988564B2 (en) 2011-09-09 2015-03-24 Apple Inc. Digital camera with light splitter
EP2592823A3 (en) 2011-10-12 2013-06-19 Canon Kabushiki Kaisha Image-capturing device
US8947627B2 (en) 2011-10-14 2015-02-03 Apple Inc. Electronic devices having displays with openings
JP5809936B2 (ja) 2011-11-08 2015-11-11 オリンパス株式会社 撮像装置
JP5884421B2 (ja) 2011-11-14 2016-03-15 ソニー株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
JP5741395B2 (ja) 2011-11-16 2015-07-01 コニカミノルタ株式会社 撮像装置
JP2013120262A (ja) 2011-12-07 2013-06-17 Panasonic Corp 撮像装置
AU2011253982B9 (en) * 2011-12-12 2015-07-16 Canon Kabushiki Kaisha Method, system and apparatus for determining a subject and a distractor in an image
US8970655B2 (en) 2011-12-16 2015-03-03 Polycom, Inc. Reflective and refractive solutions to providing direct eye contact videoconferencing
KR101300353B1 (ko) 2011-12-22 2013-08-28 삼성전기주식회사 손떨림 보정장치
US8619148B1 (en) 2012-01-04 2013-12-31 Audience, Inc. Image correction after combining images from multiple cameras
JP2013143753A (ja) 2012-01-12 2013-07-22 Olympus Corp 撮像装置
KR101993222B1 (ko) 2012-01-19 2019-06-26 엘지전자 주식회사 디스플레이 장치
KR20130090225A (ko) 2012-02-03 2013-08-13 삼성전자주식회사 카메라 이미지 센서의 동작 모드 변경 방법
GB2499200B (en) 2012-02-07 2014-12-17 Canon Kk Method and device for transitioning between an image of a first video sequence and an image for a second video sequence
JP2013183353A (ja) 2012-03-02 2013-09-12 Toshiba Corp 画像処理装置
US8866943B2 (en) 2012-03-09 2014-10-21 Apple Inc. Video camera providing a composite video sequence
KR20130104764A (ko) 2012-03-15 2013-09-25 엘지전자 주식회사 이동단말기
JP2013205550A (ja) 2012-03-28 2013-10-07 Olympus Corp 位置検出装置及び位置制御装置
US20130258044A1 (en) 2012-03-30 2013-10-03 Zetta Research And Development Llc - Forc Series Multi-lens camera
US9029759B2 (en) 2012-04-12 2015-05-12 Nan Chang O-Film Optoelectronics Technology Ltd Compact camera modules with features for reducing Z-height and facilitating lens alignment and methods for manufacturing the same
JP2013238848A (ja) 2012-04-20 2013-11-28 Hoya Corp 撮像装置
GB2516405B (en) 2012-04-27 2016-06-15 Adobe Systems Inc Automatic adjustment of images
IL219639A (en) 2012-05-08 2016-04-21 Israel Aerospace Ind Ltd Remote object tracking
CN102722321A (zh) 2012-05-22 2012-10-10 中兴通讯股份有限公司 双摄像头切换的方法及装置
US8953084B2 (en) 2012-05-30 2015-02-10 Digimarc Corporation Plural focal-plane imaging
JP2015527764A (ja) 2012-06-08 2015-09-17 ノキア コーポレイション マルチ・フレーム画像キャリブレータ
WO2013186804A1 (ja) 2012-06-11 2013-12-19 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
DE102012211383A1 (de) 2012-06-29 2014-01-02 Continental Automotive Gmbh Magnetfelderzeuger und Sensorvorrichtung für den Einsatz beim Ermitteln eines Rotationswinkels
KR101991719B1 (ko) 2012-06-29 2019-06-21 엘지이노텍 주식회사 카메라 모듈
US9134503B2 (en) 2012-07-06 2015-09-15 Apple Inc. VCM OIS actuator module
US9225903B2 (en) 2012-07-12 2015-12-29 Sony Corporation Image blur correction apparatus, method of correcting image blur, and imaging apparatus
WO2014008939A1 (en) 2012-07-12 2014-01-16 Dual Aperture, Inc. Gesture-based user interface
KR102051501B1 (ko) 2012-07-26 2019-12-03 엘지이노텍 주식회사 카메라 모듈
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
US9609190B2 (en) 2012-10-31 2017-03-28 Invisage Technologies, Inc. Devices, methods, and systems for expanded-field-of-view image and video capture
CN102982518A (zh) 2012-11-06 2013-03-20 扬州万方电子技术有限责任公司 红外与可见光动态图像的融合方法及装置
WO2014072818A2 (en) 2012-11-08 2014-05-15 Dynaoptics Pte Ltd. Miniature optical zoom lens
US9386226B2 (en) 2012-11-16 2016-07-05 Panasonic Intellectual Property Corporation Of America Camera drive device
KR101960493B1 (ko) 2012-12-12 2019-07-15 삼성전자주식회사 광학조절장치
CN103024272A (zh) 2012-12-14 2013-04-03 广东欧珀移动通信有限公司 移动终端的双摄像头控制装置、方法、系统以及移动终端
US9270876B2 (en) 2013-01-05 2016-02-23 The Lightco Inc. Methods and apparatus for using multiple optical chains in parallel with multiple different exposure times
US20140313316A1 (en) 2013-01-30 2014-10-23 SeeScan, Inc. Adjustable variable resolution inspection systems and methods using multiple image sensors
US20140218587A1 (en) 2013-02-07 2014-08-07 Motorola Mobility Llc Double sided camera module
US20190215440A1 (en) 2018-01-10 2019-07-11 Duelight Llc Systems and methods for tracking a region using an image sensor
WO2014152855A2 (en) 2013-03-14 2014-09-25 Geerds Joergen Camera system
US10268276B2 (en) 2013-03-15 2019-04-23 Eyecam, LLC Autonomous computing and telecommunications head-up displays glasses
JP6214206B2 (ja) 2013-05-13 2017-10-18 キヤノン株式会社 撮像装置、制御方法及びプログラム
JP6100089B2 (ja) 2013-05-17 2017-03-22 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
DE102013209829B4 (de) 2013-05-27 2016-04-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Optische Struktur mit daran angeordneten Stegen und Verfahren zur Herstellung derselben
CN203406908U (zh) 2013-06-03 2014-01-22 王傲立 手机用旋转摄像头
KR102166262B1 (ko) 2013-06-10 2020-10-15 삼성전자주식회사 카메라 렌즈 어셈블리
JP6227294B2 (ja) 2013-06-20 2017-11-08 惠州市大亜湾永昶電子工業有限公司 手振れ抑制機能付きレンズ駆動装置
US9432575B2 (en) 2013-06-28 2016-08-30 Canon Kabushiki Kaisha Image processing apparatus
TWI546570B (zh) 2013-07-01 2016-08-21 台灣東電化股份有限公司 可切換光路徑之光學防震機構
JP6103503B2 (ja) 2013-07-31 2017-03-29 パナソニックＩｐマネジメント株式会社 撮像装置
US9285566B2 (en) 2013-08-08 2016-03-15 Apple Inc. Mirror tilt actuation
US9494769B2 (en) 2013-09-12 2016-11-15 Hong Kong Applied Science And Technology Research Institute Co. Ltd. Multi-lens imaging module and actuator with auto-focus adjustment
US10151859B2 (en) 2013-09-23 2018-12-11 Lg Innotek Co., Ltd. Camera module and manufacturing method for same
US9615012B2 (en) 2013-09-30 2017-04-04 Google Inc. Using a second camera to adjust settings of first camera
US10038691B2 (en) * 2013-10-08 2018-07-31 Princeton Identity, Inc. Authorization of a financial transaction
CN104581136B (zh) 2013-10-14 2017-05-31 钰立微电子股份有限公司 图像校准系统和立体摄像机的校准方法
US9736365B2 (en) 2013-10-26 2017-08-15 Light Labs Inc. Zoom related methods and apparatus
KR101528626B1 (ko) 2013-11-04 2015-06-17 서경진 원형베일러의 개량형 롤베일 입상배출장치
US9344626B2 (en) 2013-11-18 2016-05-17 Apple Inc. Modeless video and still frame capture using interleaved frames of video and still resolutions
US9509979B2 (en) 2013-11-26 2016-11-29 Mobileye Vision Technologies Ltd. Stereo auto-calibration from structure-from-motion
CN104680501B (zh) 2013-12-03 2018-12-07 华为技术有限公司 图像拼接的方法及装置
US9215377B2 (en) 2013-12-04 2015-12-15 Nokia Technologies Oy Digital zoom with sensor mode change
CN105340267A (zh) 2013-12-06 2016-02-17 华为终端有限公司 一种生成图片的方法及一种双镜头设备
EP3079010B1 (en) 2013-12-06 2018-09-12 Huawei Device (Dongguan) Co., Ltd. Photographing method for dual-camera device and dual-camera device
WO2015081562A1 (zh) 2013-12-06 2015-06-11 华为终端有限公司 一种终端及图像处理方法、图像采集方法
CN105339841B (zh) 2013-12-06 2018-12-14 华为终端（东莞）有限公司 双镜头设备的拍照方法及双镜头设备
US9538096B2 (en) 2014-01-27 2017-01-03 Raytheon Company Imaging system and methods with variable lateral magnification
KR102128468B1 (ko) 2014-02-19 2020-06-30 삼성전자주식회사 복수의 이미지 신호 프로세서들을 포함하는 이미지 처리 장치 및 이미지 처리 방법
DE102014203189A1 (de) 2014-02-21 2015-08-27 Carl Zeiss Smt Gmbh Spiegel-Array
TW201533514A (zh) 2014-02-27 2015-09-01 Tdk Taiwan Corp 相機模組的反射鏡結構
US9557627B2 (en) 2014-03-07 2017-01-31 Apple Inc. Folded camera lens systems
US9316810B2 (en) 2014-03-07 2016-04-19 Apple Inc. Folded telephoto camera lens system
CN103841404A (zh) 2014-03-18 2014-06-04 江西省一元数码科技有限公司 一种新型三维影像拍摄模组
US20150271471A1 (en) 2014-03-19 2015-09-24 Htc Corporation Blocking detection method for camera and electronic apparatus with cameras
KR102214193B1 (ko) 2014-03-25 2021-02-09 삼성전자 주식회사 깊이 카메라 장치, 그것을 구비한 3d 영상 디스플레이 시스템 및 그 제어방법
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9618770B2 (en) 2014-04-11 2017-04-11 Samsung Electro-Mechanics Co., Ltd. Camera module with function of auto-focus and image stabilize
KR101771778B1 (ko) 2014-04-11 2017-08-25 삼성전기주식회사 카메라 모듈
CN105024516B (zh) 2014-04-30 2017-12-01 光宝电子(广州)有限公司 音圈马达阵列模块
JP6376618B2 (ja) 2014-05-15 2018-08-22 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． マルチフレームノイズ低減方法および端末
US20150334309A1 (en) 2014-05-16 2015-11-19 Htc Corporation Handheld electronic apparatus, image capturing apparatus and image capturing method thereof
US9360671B1 (en) 2014-06-09 2016-06-07 Google Inc. Systems and methods for image zoom
US9392188B2 (en) * 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
TW201632949A (zh) 2014-08-29 2016-09-16 伊奧克里公司 捕捉在一可攜式電子器件上之影像之影像轉向
JP2016057468A (ja) 2014-09-10 2016-04-21 Hoya株式会社 屈曲撮像装置
CN105659580B (zh) 2014-09-30 2018-09-07 华为技术有限公司 一种自动对焦方法、装置及电子设备
CN107077046A (zh) 2014-10-20 2017-08-18 肖特玻璃科技(苏州)有限公司 用于相机模块的光学系统、具有光学系统的相机模块和制造光学系统的方法
WO2016081567A1 (en) 2014-11-19 2016-05-26 Orlo James Fiske Thin optical system and camera
KR102287013B1 (ko) 2014-11-25 2021-08-06 삼성디스플레이 주식회사 박막 트랜지스터, 이를 포함하는 유기 발광 표시 장치 및 그 제조 방법
JP6622503B2 (ja) 2014-11-25 2019-12-18 日本放送協会 カメラモデルパラメータ推定装置及びそのプログラム
JP6483418B2 (ja) 2014-11-27 2019-03-13 エイブリック株式会社 ホールセンサおよびホールセンサの温度によるオフセットの補償方法
US10634867B2 (en) 2014-11-28 2020-04-28 Samsung Electro-Mechanics Co., Ltd. Camera module
US10976182B2 (en) 2014-12-22 2021-04-13 Nidec Corporation Position estimation method and position control device
US9286680B1 (en) 2014-12-23 2016-03-15 Futurewei Technologies, Inc. Computational multi-camera adjustment for smooth view switching and zooming
US11019330B2 (en) 2015-01-19 2021-05-25 Aquifi, Inc. Multiple camera system with auto recalibration
US9800798B2 (en) 2015-02-13 2017-10-24 Qualcomm Incorporated Systems and methods for power optimization for imaging devices with dual cameras
US9798135B2 (en) 2015-02-16 2017-10-24 Apple Inc. Hybrid MEMS scanning module
US9591237B2 (en) 2015-04-10 2017-03-07 Qualcomm Incorporated Automated generation of panning shots
EP3696587B1 (en) 2015-04-16 2023-09-20 Corephotonics Ltd. Auto focus and optical image stabilization in a compact folded camera
US9485432B1 (en) 2015-04-29 2016-11-01 Uurmi Systems Private Limited Methods, systems and apparatuses for dual-camera based zooming
US20160353012A1 (en) 2015-05-25 2016-12-01 Htc Corporation Zooming control method for camera and electronic apparatus with camera
US9866752B2 (en) * 2015-06-02 2018-01-09 Qualcomm Incorporated Systems and methods for producing a combined view from fisheye cameras
CN105847662A (zh) 2015-06-19 2016-08-10 维沃移动通信有限公司 一种基于移动终端的运动物体拍摄方法和移动终端
US10291842B2 (en) 2015-06-23 2019-05-14 Samsung Electronics Co., Ltd. Digital photographing apparatus and method of operating the same
CN107533272B (zh) 2015-06-24 2020-09-11 核心光电有限公司 折叠式镜头相机的低剖面三轴致动器
CN105827903A (zh) 2015-06-26 2016-08-03 维沃移动通信有限公司 摄像头模组和移动终端
US9863789B2 (en) 2015-06-30 2018-01-09 Ford Global Technologies, Llc Rotating camera systems and methods
CN106709899B (zh) 2015-07-15 2020-06-02 华为终端有限公司 双摄像头相对位置计算方法、装置和设备
EP3207301A4 (en) 2015-08-14 2018-05-09 SZ DJI Osmo Technology Co., Ltd. Gimbal having parallel stability mechanism
US20170070731A1 (en) 2015-09-04 2017-03-09 Apple Inc. Single And Multi-Camera Calibration
KR101993077B1 (ko) 2015-09-06 2019-06-25 코어포토닉스 리미티드 소형의 접이식 카메라의 롤 보정에 의한 자동 초점 및 광학식 손떨림 방지
US10382698B2 (en) 2015-09-30 2019-08-13 Apple Inc. Mobile zoom using multiple optical image stabilization cameras
KR101858694B1 (ko) 2015-11-03 2018-06-27 엘지전자 주식회사 차량 및 그 제어방법
US9762893B2 (en) * 2015-12-07 2017-09-12 Google Inc. Systems and methods for multiscopic noise reduction and high-dynamic range
KR20170075442A (ko) 2015-12-23 2017-07-03 삼성전자주식회사 촬상 장치 모듈, 이를 포함하는 사용자 단말 장치 및 촬상 장치 모듈의 작동 방법
CN205301703U (zh) 2016-01-19 2016-06-08 西安励德微系统科技有限公司 一种激光光幕投影扫描装置
JP6508532B2 (ja) 2016-02-17 2019-05-08 新シコー科技株式会社 レンズ駆動装置、カメラ装置及び電子機器
US9843736B2 (en) 2016-02-26 2017-12-12 Essential Products, Inc. Image capture with a camera integrated display
KR20170105236A (ko) 2016-03-09 2017-09-19 엘지전자 주식회사 손떨림 보정 장치
KR20170113066A (ko) 2016-03-24 2017-10-12 삼성전자주식회사 디스플레이를 가진 전자 장치 및 그의 이미지 표시 방법
KR20170112491A (ko) 2016-03-31 2017-10-12 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN107925717B (zh) 2016-05-30 2020-10-27 核心光电有限公司 旋转滚珠引导音圈电动机
WO2018007981A1 (en) 2016-07-07 2018-01-11 Corephotonics Ltd. Linear ball guided voice coil motor for folded optic
CN111580239B (zh) 2016-07-12 2022-07-12 台湾东电化股份有限公司 镜头驱动模块
US10303042B2 (en) 2016-07-12 2019-05-28 Tdk Taiwan Corp. Lens driving module
TWM533229U (en) 2016-08-26 2016-12-01 Largan Precision Co Ltd Optical path folding element, imaging lens module and electronic device
CA3037378C (en) 2016-09-19 2023-03-07 Tau Technologies, LLC Multi-camera imaging systems
US10516773B2 (en) 2016-10-13 2019-12-24 Samsung Electro-Mechanics Co., Ltd. Camera module and portable electronic device including the same
KR102609464B1 (ko) 2016-10-18 2023-12-05 삼성전자주식회사 영상을 촬영하는 전자 장치
CN106603765B (zh) 2016-12-20 2020-03-17 Oppo广东移动通信有限公司 支架组件及移动终端
CN106534655B (zh) 2017-01-11 2019-04-16 Oppo广东移动通信有限公司 摄像头模组及移动终端
EP4525469A3 (en) 2017-01-12 2025-05-21 Corephotonics Ltd. Compact folded camera
KR102140582B1 (ko) 2017-04-28 2020-08-03 자화전자(주) 다축 구조의 반사계 구동장치
US10334149B2 (en) 2017-02-23 2019-06-25 Qualcomm Incorporated Adjustment for cameras for low power mode operation
KR102770496B1 (ko) 2017-03-15 2025-02-18 코어포토닉스 리미티드 파노라마 스캐닝 범위를 갖는 카메라
KR102426728B1 (ko) 2017-04-10 2022-07-29 삼성전자주식회사 포커스 제어 방법 및 이를 지원하는 전자 장치
JP6967715B2 (ja) 2017-04-18 2021-11-17 パナソニックＩｐマネジメント株式会社 カメラ校正方法、カメラ校正プログラム及びカメラ校正装置
KR102390184B1 (ko) 2017-04-26 2022-04-25 삼성전자주식회사 전자 장치 및 전자 장치의 영상 표시 방법
US20180368656A1 (en) 2017-05-24 2018-12-27 Camplex, Inc. Surgical visualization systems and displays
WO2019049504A1 (ja) 2017-09-05 2019-03-14 ソニー株式会社 撮像装置
US20190100156A1 (en) 2017-09-29 2019-04-04 GM Global Technology Operations LLC System and method for controlling a display
CN107682489B (zh) 2017-11-20 2019-11-19 珠海市魅族科技有限公司 一种移动终端和移动终端的显示屏控制方法
KR102424791B1 (ko) 2017-11-23 2022-07-22 코어포토닉스 리미티드 컴팩트 폴디드 카메라 구조
US10600157B2 (en) 2018-01-05 2020-03-24 Qualcomm Incorporated Motion blur simulation
US11029452B2 (en) 2018-01-25 2021-06-08 Tdk Taiwan Corp. Vehicle and 3D object information capturing system and method thereof
CN112367448B (zh) 2018-04-23 2022-04-19 核心光电有限公司 感测机构
US11291285B2 (en) 2018-09-07 2022-04-05 LTHR, Inc. Wireless hot shaving cream dispenser
US11055866B2 (en) * 2018-10-29 2021-07-06 Samsung Electronics Co., Ltd System and method for disparity estimation using cameras with different fields of view
CN109729266A (zh) 2018-12-25 2019-05-07 努比亚技术有限公司 一种图像拍摄方法、终端及计算机可读存储介质
EP4407976A3 (en) * 2020-05-17 2024-10-09 Corephotonics Ltd. Image stitching in the presence of a full field of view reference image

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102013928B1 (ko) * 2012-12-28 2019-08-23 삼성전자주식회사 영상 변형 장치 및 그 방법
KR20150139558A (ko) * 2013-06-13 2015-12-11 코어포토닉스 리미티드 이중 조리개 줌 디지털 카메라
KR20160068884A (ko) * 2013-10-08 2016-06-15 에스알아이 인터내셔널 홍채 생체 인식 모듈 및 액세스 제어 조립체
KR102017976B1 (ko) * 2015-08-13 2019-09-03 코어포토닉스 리미티드 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라
KR101928716B1 (ko) * 2015-12-29 2018-12-12 코어포토닉스 리미티드 자동 조정가능 텔레 시야(fov)를 갖는 듀얼-애퍼처 줌 디지털 카메라

Also Published As

Publication number Publication date
US11832018B2 (en) 2023-11-28
KR102495627B1 (ko) 2023-02-06
EP4407976A2 (en) 2024-07-31
KR102674601B1 (ko) 2024-06-11
WO2021234515A1 (en) 2021-11-25
CN114651275B (zh) 2023-10-27
KR20230020585A (ko) 2023-02-10
US20230065883A1 (en) 2023-03-02
CN114651275A (zh) 2022-06-21
KR20240096759A (ko) 2024-06-26
CN117372250A (zh) 2024-01-09
EP4058978A1 (en) 2022-09-21
EP4058978A4 (en) 2022-12-28
US12096150B2 (en) 2024-09-17
CN117372248A (zh) 2024-01-09
EP4058978C0 (en) 2024-07-03
EP4058978B1 (en) 2024-07-03
US20230412755A1 (en) 2023-12-21
EP4407976A3 (en) 2024-10-09
US20250008049A1 (en) 2025-01-02
CN117372249A (zh) 2024-01-09

Similar Documents

Publication Publication Date Title
KR102495627B1 (ko) 전체 시야 레퍼런스 이미지 존재 하의 이미지 스티칭
US11770616B2 (en) Dual aperture zoom camera with video support and switching / non-switching dynamic control
US11575830B2 (en) Image processing device and associated methodology for generating panoramic images
CN113221665B (zh) 一种基于动态最佳缝合线和改进渐入渐出法的视频融合算法
US10764496B2 (en) Fast scan-type panoramic image synthesis method and device
JP5313127B2 (ja) 映像合成方法、映像合成システム
JP4891647B2 (ja) カメラ
JP3817302B2 (ja) 画像生成装置
CN110276714B (zh) 快速扫描式全景图图像合成方法及装置
US12167130B2 (en) Systems and methods for obtaining a super macro image
CN110784642B (zh) 图像处理装置及其控制方法以及存储介质、摄像装置
CN113327198A (zh) 一种远距离双目视频拼接方法及系统
JP3725606B2 (ja) 撮影装置
JP7409604B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
JPH0560714B2 (ko)

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
PA0105 International application

Patent event date: 20220412

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20220412

Comment text: Request for Examination of Application

PA0302 Request for accelerated examination

Patent event date: 20220412

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20220826

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20221031

A107 Divisional application of patent
PA0104 Divisional application for international application

Comment text: Divisional Application for International Patent

Patent event code: PA01041R01D

Patent event date: 20230130

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20230131

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20230131

End annual number: 3

Start annual number: 1

PG1601 Publication of registration