[go: up one dir, main page]

KR100599423B1 - 전방향성 이미징 장치 - Google Patents

전방향성 이미징 장치 Download PDF

Info

Publication number
KR100599423B1
KR100599423B1 KR1020007006159A KR20007006159A KR100599423B1 KR 100599423 B1 KR100599423 B1 KR 100599423B1 KR 1020007006159 A KR1020007006159 A KR 1020007006159A KR 20007006159 A KR20007006159 A KR 20007006159A KR 100599423 B1 KR100599423 B1 KR 100599423B1
Authority
KR
South Korea
Prior art keywords
parabolic
image
shaped reflector
landscape
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020007006159A
Other languages
English (en)
Other versions
KR20010024698A (ko
Inventor
쉬리 케이. 네이야
Original Assignee
더 트러스티스 오브 콜롬비아 유니버시티 인 더 시티 오브 뉴욕
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 더 트러스티스 오브 콜롬비아 유니버시티 인 더 시티 오브 뉴욕 filed Critical 더 트러스티스 오브 콜롬비아 유니버시티 인 더 시티 오브 뉴욕
Publication of KR20010024698A publication Critical patent/KR20010024698A/ko
Application granted granted Critical
Publication of KR100599423B1 publication Critical patent/KR100599423B1/ko
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details
    • G08B13/19626—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details
    • G08B13/19626—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses
    • G08B13/19628—Surveillance camera constructional details optical details, e.g. lenses, mirrors or multiple lenses of wide angled cameras and camera groups, e.g. omni-directional cameras, fish eye, single units having multiple cameras achieving a wide angle view
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19641—Multiple cameras having overlapping views on a single scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Circuits (AREA)
  • Optical Elements Other Than Lenses (AREA)
  • Lenses (AREA)

Abstract

본 발명은 단일 시점으로부터 경관(130)의 이미지를 감지하기 위한 전방향성 이미징 장치에 관한 것이다. 전방향성 이미징 장치는 상기 경관으로부터 복사되는 전자기 복사광의 주 광선을 직각으로 반사시키는 위치에 설치되고, 상기 전방향성 이미징 장치의 단일 시점과 일치하는 초점을 가지는 절단형의 실질적 포물면-형상 반사기(135)를 포함한다. 또한, 전방향성 이미징 장치는 상기 포물면-형상 반사기에 광학적으로 연결되고, 상기 포물면-형상 반사기에 의해 직각으로 반사되지 않은 전자기 복사광의 주 광선을 실질적으로 여과하여 제거하기 위하여 포물면-형상 반사기에 광학적으로 결합된 텔레센트릭 수단(112)(113)을 포함한다. 그리고, 전방향성 이미징 장치는 상기 포물면-형상 반사기로부터 직각으로 반사되는 전자기 복사광의 주 광선을 수신하여 상기 경관의 이미지를 감지하는 위치에 설치되는 하나 또는 그 이상의 이미지 센서(111)를 포함한다.

Description

전방향성 이미징 장치{AN OMNIDIRECTIONAL IMAGING APPARATUS}
본 발명은 한 시점을 기준으로 하는 전방향성 이미지 감지에 관한 것으로, 특히 절단형의 포물면-형상 반사기를 이용하는 상기 이미지 감지에 관한 것이다.
감시, 원격 지상 회의, 원격 감지, 사진 측량 제도법, 모형 획득, 가상 현실, 컴퓨터 그래픽, 기계 시각 및 로보틱스와 같은 여러 응용 분야에서, 이미징 시스템은 주변에 관한 가능한 한 많은 정보를 포착하기 위하여 넓은 시야를 갖는 것이 바람직하다.
기존의 이미징 시스템은 이미지를 원근 투영하는 렌즈를 구비하는 카메라를 포함한다. 그러나, 초광각 렌즈를 구비한 카메라도 시야가 제한되어 있다. 즉, 시야가 전체 반구보다 좁은 영역만을 포함한다. 이 제한된 시야는 이미징 시스템 전체를 투사 중심에 대하여 경사를 주거나 상하 좌우로 움직임으로써 넓힐 수 있다. 이와 같은 시스템이 S.E. Chen의 "Quicktime VR - An Image-Based Approach to Virtual Environment Navigation", Proc. of SIGGRAPH 95, (8):29-38, August (1995)에 개시되어 있다. McMillan 과 G. Bishop도 "Plenoptic Modeling: An Image-Based Rendering System", Computer Graphics: Proc. of SIGGRAPH, August 1995, pp. 39-46에서 종래의 팬-앤-틸트(pan-and-tilt) 시스템을 설명하고 있다. 그러나, 이와 같은 종류의 시스템은 두 가지 심각한 문제점이 있다. 그 중에서 하나는 주로 임계 이동 부품을 구비하는 장치가 갖는 문제점이고, 나머지 하나는 주변 경관을 보기 위하여 전회전하는 데에 너무 많은 시간이 소요된다는 사실이다. 이와 같은 시간적인 한계로 인하여 장치가 실시간으로 동작하는 데에 부적합하게 된다.
이미징 시스템에서 시야를 확대하는 다른 방법은 E.L. Hall 등이 "어안 렌즈를 이용한 전방향성 뷰잉", SPIE Vol. 728 Optics, Illumination, and Image Sensing for Machine Vision (1986), p. 250에서 설명한 바와 같이 이른바 "어안" 렌즈를 이용하는 것이다. 어안 렌즈는 초점 거리가 매우 짧기 때문에 시야가 반구만큼 넓어진다. 그러나, 이미징 시스템에서 이와 같은 렌즈를 사용하면 종래의 렌즈에 비하여 크기가 훨씬 크고 구조가 더 복잡하다는 문제가 발생한다. 또한, 관련 경관의 모든 지점에 대하여 고정된 시점으로 어안 렌즈를 이용하기가 어렵다. Zimmerman의 미국 특허 제 5,187,667 호와 Kuban 등의 미국 특허 제 5,359,363도 종래의 팬-앤-틸트 시스템 대신에 어안 렌즈를 사용하는 것을 제안하였으나 상기에 언급한 바와 같은 문제점이 있었다.
다른 종래의 장치는 시야를 넓히기 위하여 반사면을 이용하였다. 이와 같은 장치는 V.S. Nalwa의 "A True Omnidirectional Viewer", AT&T Bell Laboratories Technical Memorandum, BL0115500-960115-01, Jan. 1996에 개시되어 있다. 여기에서, 다중 전하 결합 장치("CCD") 카메라와 관련하여 다중 평면 반사면을 이용함으로써 반구형 경관의 50도 범위에서 360도 파노라마 이미지를 얻는다. 특히, 네 개의 평면 거울을 피라미드 형태로 배열하고 하나의 카메라를 네 개의 평면 반사면 위에 위치시키고, 각 카메라가 반구형 경관의 50도만큼 90도보다 약간 크게 바라보도록 한다. 이 시스템의 문제점은 360도 이미지를 포착하기 위하여 다수의 센서를 필요로 한다는 점이다. 또한, 이 시스템은 조각 이미지들을 합하여 하나의 전체 360도 시야를 이룰 때 "이음매"에 왜곡 현상이 나타나는 문제점도 갖는다.
또한, 이미지 센서와 관련하여 굽은 반사면을 이용하기도 한다. Yagi 등의 "Evaluating Effectivity of Map Generation by Tracking Vertical Edges in Omnidirectional Image Sequence", IEEE International Conference on Robotics and Automation, June 1995, p. 2334와 Yagi 등의 "Map-Based Navigation for a Mobile Robot With Omnidirectional Image Sensor COPIS", IEEE Transactions on Robotics and Automation, Vol. Ⅱ, No. 5, Oct. 1995에는 원추형 반사면을 이용하여 주변 환경의 이미지를 포착하고 이동 로봇의 탐색 항해를 안내하기 위한 정보를 처리하는 원추 도법 이미지 센서(COPIS)가 개시되어 있다. COPIS가 360도의 시야를 얻을 수는 있는 것이 사실이지만, 원추형 거울의 정점각에 의해 시야가 제한되기 때문에 진정한 의미에서의 전방향성 이미지 센서가 아니다. 또한, COPIS는 단일 시점을 가지지 않고 시점의 궤적이 원형으로 되어 있다. 이와 같은 다중 시점의 궤적은 포착된 이미지의 왜곡을 초래한다.
Yamazawa 등은 "Obstacle Detection With Omnidirectional Image Sensor HyperOmni Vision", IEEE International Conference on Robotics and Automation, Oct. 1995, p. 1062에서 원추형 반사면 대신에 쌍곡형 반사면을 이용하는 COPIS 시스템을 제시하고 있다. 여기서 설명하고 있는 바와 같이, 복사된 빛이 쌍곡면에서 반사되고, 빛의 출발 지점이 한 점으로 모아져서 투시 뷰잉이 가능하다.
쌍곡면 거울을 이용하면 반사된 이미지를 이루는 빛이 반사기의 초점에 집중되어 전체 투시 이미지를 감지하는 데에 유리하기는 하지만, 반사면에 대하여 센서의 위치를 결정하기 어렵고 장애가 발생하면 이미지의 질이 저하되는 문제점이 있다. 또한, 원근 투시 모델을 이용하면 센서와 거울 사이의 거리가 멀어질수록 거울의 단면적이 커야 한다. 따라서, 거울을 적당한 크기로 유지하기 위해서는 거울을 센서에 밀접한 위치에 설치해야 하는 현실적인 어려움이 있다. 이렇게 함으로써, 이미지 센서 광학 소자의 설계가 복잡해지는 문제가 발생한다. 또한, 감지된 이미지를 사용할 수 있는 좌표로 맵핑하려면 집중적인 이미지의 특성 때문에 복합적인 보정이 필요하다. 또 다른 문제점으로는, 단일 시점을 유지하면서 거울과 광학 소자의 위치를 변경할 수 없다는 것이다. 따라서, 쌍곡면 거울 시스템은 단일 시점을 유지하면서도 거울과 광학 소자를 이동시켜서 시스템의 시야를 조절하는 이점을 가질 수 없다.
Yamazawa 등의 연구 이전에는, Donald Rees 등이 미국 특허 제 3,505, 465 호에서 쌍곡형 반사면을 이용하는 것을 제시하였다. 따라서, Rees도 Yamazawa 등이 가진 문제점을 그대로 갖고 있다.
상기에 설명한 종래 기술에 따른 장치는 다음과 같은 두 가지 점에서 불리하다. 그 한 가지는 단일 시점에서 경관을 감지할 수 있는 진정한 전방향성 장치를 제공하지 못하므로 왜곡이 없이 이미지를 생성하기가 불가능하다는 것이고, 나머지 한 가지는 종래의 기술에 따른 장치는 복잡한 보정과 실행이 요구된다는 것이다.
상기에서 언급한 종래 기술의 문제점은 본 발명에 의해 실질적으로 해결된다. 본 발명의 일 측면에 따르면, 단일 시점으로부터 경관의 이미지를 감지하기 위한 전방향성 이미징 장치는 상기 경관으로부터 복사되는 전자기 복사광의 주 광선을 직각으로 반사시키는 위치에 설치되는 절단형의 실질적 포물면-형상 반사기를 포함한다. 포물면-형상 반사기는 전방향성 이미징 장치의 단일 시점과 일치하는 초점을 갖는다. 또한, 전방향성 이미징 장치는 상기 포물면-형상 반사기에 광학적으로 결합되어 포물면-형상 반사기에 의해 직각으로 반사되지 않은 전자기 복사광의 주 광선을 실질적으로 여과하기 위하여 포물면-형상 반사기에 광학적으로 결합된 텔레센트릭 수단을 포함한다. 그리고, 전방향성 이미징 장치는 상기 포물면-형상 반사기로부터 직각으로 반사되는 전자기 복사광의 주 광선을 수신하여 상기 경관의 이미지를 감지하는 위치에 설치되는 하나 또는 그 이상의 이미지 센서를 더 포함한다.
본 발명에 따른 포물면-형상 반사기는 볼록하거나 오목할 수 있다. 그리고 텔레센트릭 수단은 텔레센트릭 렌즈, 텔레센트릭 구경, 또는 시준 렌즈를 포함할 수 있다.
바람직하게는, 포물면-형상 반사기는 원통 좌표로 표현된 다음 방정식을 만족시키는 표면을 갖는 포물면 거울을 포함한다:
Figure 112000011453974-pct00001
여기서, z는 상기 표면의 회전축이고, r은 반경 좌표이고, h는 상수이다. 상기 방정식이 대칭적인 회전면을 나타내므로, 표면의 형상은 각좌표 φ의 함수가 아니다.
본 발명의 바람직한 일 실시예에 있어서, 하나 또는 그 이상의 이미지 센서는 하나 또는 그 이상의 비디오 카메라를 포함한다. 이들 비디오 카메라는 하나 또는 그 이상의 전하 결합 장치나 하나 또는 그 이상의 전하 주입 장치를 사용한다. 또는, 하나 또는 그 이상의 이미지 센서는 사진 필름을 포함할 수 있다. 다른 실시예에 있어서, 하나 또는 그 이상의 이미지 센서는 분해능이 불균일하므로 포물면-형상 반사기로부터 반사된 이미지의 불균일한 분해능을 보상한다.
바람직하게는, 포물면-형상 반사기는 포물면-형상 반사기의 초점을 포함하고, 포물면-형상 반사기의 초점과 꼭지점을 통과하는 축에 수직인 평면에 의해 절단되는 거울을 포함한다.
일 실시예에서, 포물면-형상 반사기는 고정 기판 상에 설치되고, 하나 또는 그 이상의 이미지 센서는 이동 기판 상에 설치되어 하나 또는 그 이상의 이미지 센서가 이동함으로써 시야를 변화시킨다. 또는, 포물면-형상 반사기는 이동 기판 상에 설치되고, 하나 또는 그 이상의 이미지 센서는 고정 기판 상에 설치되어 포물면-형상 반사기가 이동함으로써 시야를 변화시킨다. 이들 실시예에서, 하나 또는 그 이상의 이미지 센서와 포물면-형상 반사기 사이에 이들을 광학적으로 결합시키기 위한 줌 렌즈를 설치하는 것이 바람직하다.
다른 실시예에 있어서, 하나 또는 그 이상의 이미지 센서는 상기 경관의 이미지를 나타내는 이미지 신호를 발생한다. 그리고, 이미지 신호 처리 장치는 하나 또는 그 이상의 이미지 센서에 결합되어 상기 이미지 신호를 수신하고 이미지 신호 데이터로 변환시킨다. 그런 다음, 이미지 신호 처리 장치는 상기 이미지 신호 데이터를 직교 좌표계로 맵핑하여 투시 이미지를 생성한다. 이미지 처리 장치는 이미지 신호 데이터를 직교 좌표계로 맵핑하여 파노라마 이미지를 생성할 수도 있다. 이미지 신호 처리 장치는 보간 이미지 데이터를 제공하여 상기 보간 이미지 데이터와 상기 이미지 신호 데이터가 조합하여 디지털 이미지를 형성할 수 있도록 하는 보간 수단을 포함한다. 바람직하게도, 이미지 처리 신호는 상기 디지털 이미지의 소정 부분을 확대하여 소정의 초점 거리로부터 상기 소정 부분의 확대 이미지를 제공하는 수단을 더 포함할 수 있다.
본 발명에 따른 바람직한 실시예에 있어서, 전방향 이미징 장치는 적어도 하나의 이미지 센서와 포물면-형상 반사기를 광학적으로 결합시키는 적어도 하나의 렌즈를 포함한다. 이 결합 렌즈는 줌 렌즈, 현미경 대물렌즈, 또는 필드-편평화 렌즈일 수도 있다. 바람직하게도, 필드-편평화 렌즈는 포물면-형상 반사기의 필드 곡률과 대략 상반되는 필드 곡률을 갖는다. 그리고, 필드-편평화 렌즈는 평-오목 렌즈(plano-concave lens)나 구면수차가 제거된 메니스커스 렌즈(aplanatic meniscus lens)인 것이 바람직하다.
또 다른 실시예에서, 전방향 이미징 장치는 두 개의 상보적인 반구형 경관으로부터 복사된 전자기 복사광의 주 광선을 직각 반사하도록 위치한 두 개의 절단형의 실질적 포물면-형상 반사기를 이용하여 실질적으로 구면형인 경관을 촬영하는 데에 사용된다. 이 두 개의 포물면-형상 반사기는 하나의 같은 포물면 축을 공유하는 위치에 설치된다. 또한, 두 개의 포물면-형상 반사기가 볼록한 포물면이면, 절단면을 따라 뒷면이 서로 맞닿는 위치에 설치하여 하나의 초점을 공유하도록 한다. 그리고, 두 개의 포물면-형상 반사기가 오목한 포물면이면, 꼭지점이 서로 일치하는 위치에 설치된다.
본 발명의 또 다른 실시예에서, 포물면-형상 반사기에서 직각으로 반사되는 전자기 복사광의 주 광선을 복수개의 광다발로 분할하기 위한 복수개의 광분할기가 설치된다. 이 실시예에서, 복수개의 광다발 중에서 적어도 하나의 광다발을 수신하는 위치에 설치되어 경관의 이미지의 일부를 감지하는 복수개의 이미지 센서가 필요하다.
본 발명의 또 다른 실시예에서, 포물면-형상 반사기에서 직각으로 반사되는 전자기 복사광의 주 광선을 복수개의 단색 복사광으로 분할하기 위한 복수개의 색선별 광분할기가 설치된다. 이전 실시예에서와 같이, 복수개의 단색 복사광 중에서 적어도 하나의 단색 복사광의 주 광선을 수신하는 위치에 설치되어 경관의 단색 이미지의 일부를 감지하는 복수개의 이미지 센서가 필요하다.
본 발명은 단일 시점으로부터 경관의 이미지를 감지하기 위한 방법을 제공한다. 일 실시예에 따르면, 단일 시점으로부터 경관의 이미지를 감지하기 위한 전방향성 이미징 방법은:
(a) 상기 전방향성 이미징 방법의 단일 시점이 상기 포물면-형상 반사기의 초점과 일치하도록, 절단형의 실질적 포물면-형상 반사기 상에서 상기 경관으로부터 복사되는 전자기 복사광의 주 광선을 직각으로 반사시키는 단계;
(b) 상기 포물면-형상 반사기에 의해 직각으로 반사되지 않은 전자기 복사광의 주광선의 실질적인 일부를 텔레센트릭하게 여과시키는 단계; 및
(c) 하나 또는 그 이상의 이미지 센서를 가지고 상기 포물면-형상 반사기로부터 직각으로 반사되는 전자기 복사광의 주 광선을 감지하여 상기 경관의 이미지를 감지하는 단계를 포함한다.
본 발명의 다른 실시예에 따르면, 단일 시점으로부터 경관의 이미지들을 전방향으로 감지하기 위한 방법은:
(a) 고정 기판 상에 절단형의 실질적 포물면-형상 반사기를 설치하는 단계;
(b) 이동 기판 상에 하나 또는 그 이상의 이미지 센서를 설치하는 단계;
(c) 상기 전방향성 이미징 방법의 단일 시점이 상기 포물면-형상 반사기의 초점과 일치하도록, 상기 실질적 포물면-형상 반사기 상에서 상기 경관으로부터 복사되는 전자기 복사광의 주 광선을 직각으로 반사시키는 단계;
(d) 상기 포물면-형상 반사기에 의해 직각으로 반사되지 않은 전자기 복사광의 주 광선의 실질적인 일부를 텔레센트릭하게 여과시키는 단계;
(e) 상기 이동 기판을 제 1 위치로 이동시키는 단계;
(f) 상기 하나 또는 그 이상의 이미지 센서를 가지고 상기 포물면-형상 반사기로부터 직각으로 반사되는 전자기 복사광의 주 광선을 감지하여 제 1 시야를 갖는 상기 경관의 제 1 이미지를 감지하는 단계;
(g) 상기 이동 기판을 상기 제 1 위치와 다른 제 2 위치로 이동시키는 단계; 및
(h) 상기 하나 또는 그 이상의 이미지 센서를 가지고 상기 포물면-형상 반사기로부터 직각으로 반사되는 전자기 복사광의 주 광선을 감지하여 제 2 시야를 갖는 상기 경관의 제 2 이미지를 감지하는 단계를 포함한다.
다른 방법으로서, 포물면-형상 반사기를 고정 기판에 설치하고 이미지 센서를 이동 기판에 설치하는 대신에, 포물면-형상 반사기를 이동 기판에 설치하고 이미지 센서를 고정 기판에 설치할 수도 있다. 그리고, 상기 방법은 경관의 소정 부분을 확대하는 데에 사용하는 줌 렌즈를 가지고 포물면-형상 반사기와 이미지 센서를 광학적으로 결합시키는 단계일 수도 있다.
이제부터, 다음과 같은 첨부 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다:
도 1a는 전방향성 이미징 장치의 일 실시예를 보여주는 측면도이다;
도 1b는 포물면-형상 반사기가 투명 지지물에 의해 이미지 센서에 연결되는 다른 실시예를 보여주는 측면도이다;
도 2는 기판 위에 설치된 포물면-형상 반사기의 등각 투상도이다;
도 3은 원통 좌표계에 지도 투영되는 포물면-형상 반사기의 부분 등각 투상도이다;
도 4는 만곡된 반사면으로부터 반사되는 정사영을 기하학적으로 나타낸 도면이다;
도 5는 포물면-형상 반사기로부터 이미지 센서로 반사되는 정사영을 보여주는 도면이다;
도 6은 포물면-형상 반사기를 이용하여 단일 시점으로 반구형 경관의 소정 부분을 바라보는 방법을 설명하는 도면이다;
도 7은 두 개의 뒷면 붙임 포물면-형상 반사기와 두 개의 이미지 센서를 구비한 전방향성 이미징 장치의 측면도이다;
도 8은 뒷면을 서로 맞대고 하나의 포물면 축과 하나의 초점을 공유하는 두 개의 포물면-형상 반사기를 보여 주는 단면도이다;
도 9는 이미지 데이터를 원통 좌표로 맵핑하여 파노라마 이미지를 만드는 것을 설명하는 도면이다.
도 10은 단일 시점으로부터 실질적 반구형 경관의 이미지를 감지하고 처리하는 방법의 일 실시예를 보여주는 흐름도이다.
도 11은 연장된 포물면-형상 반사기를 포함하는 본 발명에 다른 전방향성 이미징 장치의 일 실시예를 보여주는 측면도이다.
도 12는 반사기의 포물면 축에 대하여 경사진 평면에서 절단되는 포물면-형상 반사기를 포함하는 본 발명에 따른 전방향성 이미징 장치의 일 실시예를 보여 주는 측면도이다;
도 13은 이미지 면적이 이미지 센서의 이미지 면적보다 큰 포물면-형상 반사기를 포함하는 본 발명에 따른 전방향성 이미징 장치의 일 실시예를 보여 주는 측면도이다;
도 14는 오목 포물면-형상 반사기를 포함하는 본 발명에 따른 전방향성 이미징 장치의 일 실시예를 보여 주는 측면도이다;
도 15는 포물면-형상 반사기와 이미지 센서를 광학적으로 결합시키는 줌 렌즈를 포함하는 본 발명에 따른 전방향성 이미징 장치의 일 실시예를 보여 주는 측면도이다;
도 16은 이동 기판 상에 설치된 포물면-형상 반사기를 포함하는 본 발명에 따른 전방향성 이미징 장치의 일 실시예를 보여 주는 측면도이다;
도 17a는 이동 기판 상에 설치된 이미지 센서를 포함하는 본 발명에 따른 전방향성 이미징 장치의 일 실시예를 보여 주는 측면도이다;
도 17b는 이동 카메라를 포함하는 본 발명에 따른 전방향성 이미징 장치의 일 실시예를 보여 주는 측면도이다;
도 17c는 이동 카메라와 광학 소자를 포함하는 본 발명에 따른 전방향성 이미징 장치의 일 실시예를 보여 주는 측면도이다;
도 18은 이미지 센서가 서로 뒷면을 맞대도록 위치하고 있는 네 개의 전하 결합 장치를 포함하는 본 발명에 따른 전방향성 이미징 장치의 일 실시예를 보여 주는 부분 등각 투상도이다;
도 19는 다수의 이미지 센서와 광분할기를 포함하는 본 발명에 따른 전방향성 이미징 장치의 일 실시예를 보여 주는 측면도이다;
도 20은 감지 소자가 분포와 크기가 불균일한 본 발명에 따른 전방향성 이미징 장치의 일 실시예를 보여 주는 상면도이다;
도 21은 포물면-형상 반사기와 이미지 센서를 광학적으로 결합시키는 평면 거울을 포함하는 본 발명에 따른 전방향성 이미징 장치의 일 실시예를 보여 주는 측면도이다;
도 22는 포물면-형상 반사기와 이미지 센서를 광학적으로 결합시키는 현미경 대물렌즈를 포함하는 본 발명에 따른 전방향성 이미징 장치의 일 실시예를 보여 주는 측면도이다;
도 23은 포물면-형상 반사기와 이미지 센서를 광학적으로 결합시키는 시준 렌즈를 포함하는 본 발명에 따른 전방향성 이미징 장치의 일 실시예를 보여 주는 측면도이다;
도 24a는 편평화 평-오목 렌즈를 포함하는 본 발명에 따른 전방향성 이미징 장치의 일 실시예를 보여 주는 측면도이다;
도 24b는 구면수차 제거면을 가진 편평화 메니스커스 렌즈를 포함하는 본 발명에 따른 전방향성 이미징 장치의 일 실시예를 보여 주는 측면도이다; 그리고
도 25는 두 개의 오목 포물면 거울을 이용하여 실질적으로 구면형 이미지를 촬영하는 본 발명에 따른 전방향성 이미징 장치의 일 실시예를 보여 주는 측면도이다.
도 1a는 본 발명의 일 실시예에 따른 전방향성 이미징 장치(100)를 설명하는 도면이다. 기판(140) 위에 장착한 볼록 포물면-형상 반사기(135)는 반구형 경관(130)의 이미지를 직각으로 반사하는 위치에 설치된다. 텔레센트릭 렌즈 또는 확대 렌즈(112)와 텔레센트릭 구경(113)을 구비하는 상용의 소니 3CCD 컬러 비디오 카메라 장치(111)와 같은 이미지 센서(110)는 이미지의 정사영을 수신하는 위치에 설치된다. 텔레센트릭 렌즈 또는 구경은 렌즈나 구경의 평면에 대하여 수직이 아닌 모든 빛, 즉 반구형 경관의 정사영의 일부를 형성하지 않는 배경광을 여과하여 제거하는 역할을 한다.
여기서는 가시 광선을 중심으로 설명하고 있으나, 본 발명은 자외선이나 적 외선과 같이 다른 형태의 전자기 복사광에도 똑같이 적용된다.
도 1b에 도시한 본 발명에 따른 이미징 장치(100)의 다른 실시예에서, 포물면-형상 반사기는 일정 길이의 튜브와 같은 투명한 지지물(136)에 의해 이미지 센서와 결합될 수 있다.
도 1a를 참조하면, 비디오 카메라(110)는 케이블(150)을 통해 보내진 직각으로 반사되는 이미지를 나타내는 아날로그 이미지 신호를 발생한다. 이미지 신호는 디지털화기(120)에 의해 디지털 신호로 변환된다. 이 때, 계수화기(120)는 상용의 NTSC 이미지 신호 아날로그 디지털 변환기이다.
이후, 디지털 신호는 케이블(150)을 통해 DEC 알파 3000/600 워크스테이션과 같은 범용 컴퓨터(125)로 전송된다. 나중에 보다 자세히 설명되는 바와 같이, 컴퓨터(125)를 통하여 사용자는 반구형 경관 중에서 원하는 부분을 보거나, 경관의 소정 부분을 확대하거나, 원하는 방식으로 경관을 파노라마 방식으로 처리할 수 있다.
이미지 센서(110)는 기존의 사진 필름을 이용하는 정지상 또는 동영상 사진 카메라일 수 있다. 이미지 센서(110)는 디지털 이미지 신호 출력을 제공하는 캠코더나 비디오 카메라(116)일 수 있다. 이 때, 디지털 이미지 신호 출력은 아날로그 디지털 변환기(120)를 거치지 않고 직접 컴퓨터(125)로 전송될 수 있다.
도 2는 기판(140)으로부터 연장 형성된 포물면-형상 반사기(135)의 등각 투상도를 보여 준다. 반사기(135)는 알루미늄이나 은과 같이 반사율이 높은 금속의 박막(145)으로 코팅된 포물면 플라스틱 본체로 구성될 수 있다. 또는, 반사기(135)는 포물면의 연마 금속 본체로 구성될 수 있다. 이 경우, 스테인레스강과 같은 금속이 사용될 수 있다.
도 3은 이미지 센서(110) 위에 직각 반사되는 반구형 경관(130)의 이미지과 함께, 포물면-형상 반사기(135)의 바람직한 기하학적 형태를 상세히 보여주는 도면이다. 도 3의 반사기(135)는 다음의 방정식을 따르는 원통 좌표 r, φ 및 z로 정해진다:
Figure 112000011453974-pct00002
(1)
여기서, z는 회전축이고, r은 반경 좌표이고, h는 상수이다. z축은 이미징 배열 장치의 광축과 일치하고, 방정식 (1)에 의해 정해지는 포물면의 초점(315)은 좌표계의 원점과 일치한다. 도 3의 반사기(135)는, z축(310)에 수직이며 그 포물면의 초점(315)을 포함하는 평면 "p"에 의해 잘려진다.
모든 입사광(305)은 초점(315)을 통과하지 않고 반사 포물면에 의해 이미지 센서(110)로 직각으로 반사된다. 따라서, 초점(315)은 반구형 경관(130)이 보이는 단일 시점과 일치한다. 이미지 센서(110)는 이미징 시스템의 광축(310)을 따라 위치하게 되며, 이미지 센서(110)의 감광 표면은 광축에 대하여 수직이다. 정사영을 이용하여 단일 시점으로부터 반구형 경관을 볼 수 있는 것은 본 발명이 갖는 장점이다.
정사영을 이용하여 단일 시점으로부터 반구형 경관을 볼 수 있다는 사실은 도 4를 통하여 설명된다. 도 4에서, z와 r은 각좌표 φ의 소정값에 대한 수직 원통 좌표이다. r축에 대한 입사광(405)의 각도는 θ이다. 입사광(405)은 반사 표면(415)에 의해 출사광(410)으로 직각으로 반사되는다.
단일 시점(420)을 갖기 위해서는 모든 입사광이 다음 방정식을 만족시켜야 한다:
Figure 112000011453974-pct00003
(2)
그리고, 직각 반사를 하기 위해서는 모든 입사광이 소정의 각도로 반사되어야 한다:
alpha = pi /2 (3)
여기서, α는 출사광(410)과 축이 이루는 각도이다. 이들 두 가지 요건을 만족시키고 입사각이 반사각과 같은 경우에는, 반사광(410)과 반사 지점
Figure 112000011453974-pct00052
에서 표면의 법선 방향이 이루는 각 β이 다음 방정식과 같아야 한다.
Figure 112000011453974-pct00004
또는
Figure 112000011453974-pct00005
(4)
방정식 (4)은 다음과 같이 표현할 수도 있다.
Figure 112000011453974-pct00006
(5)
마지막으로, 반사점에서의
Figure 112000011453974-pct00053
평면에서 반사면(415)의 기울기는 다음과 같다.
Figure 112000011453974-pct00007
(6)
(6)과 (4)를 (5)에 대입하면 다음 식으로 표현된다.
1
Figure 112000011453974-pct00008
(7)
Figure 112000011453974-pct00009
에 대한 2개의 해답을 얻기 위해 2차 방정식(7)을 풀 수 있다. 그러나, 반사면에 의한 자체 폐색을 피하기 위해, 우측 4분면의 곡선 경사는 부극성이 된다 (즉, 표면이 볼록하다). 그 결과는 다음과 같다.
Figure 112000011453974-pct00010
(8)
a=z/r이면, 상기 표현식은 다음과 같이 환산된다.
Figure 112000011453974-pct00011
(9)
이 때, h는 적분 상수이다. z = ra를 방정식 (9)에 대입하면 방정식 (1)이 된다.
따라서,
Figure 112000011453974-pct00054
축에 대하여 회전시켰을 때 단일 시점에서 반구형 경관이 직각 반사되는 면이 발생하는 곡선이 존재한다. 이 곡선은 포물선의 초점(420)과 일치하는 단일 시점을 갖는 방정식 (1)에 의해 정의되는 포물선이다.
단일 시점으로부터 반구형 경관을 볼 수 있는 것 외에도, 본 발명에 따른 전방향성 이미징 장치는 이미지를 재구성하거나 복잡한 프레임 변화 없이도 단일 시점에 대해서 경관의 소정 부분을 볼 수 있고, 소정 부분을 확대시켜 볼 수 있고, 경관을 파노라마 방식으로 처리할 수 있다.
도 5는 단일 시점으로부터 반구형 경관의 일부가 보여지는 것을 설명하고 있다. 또한, 도 5는 절단형의 볼록 포물면-형상 반사기(135)를 직교 좌표계로 지도 투영시킨 것을 보여 주고 있다. 이미징 장치의 광축(502)은 z축과 일치하고, 포물면-형상 반사기(135)의 초점(501)은 원점에 위치한다. 보여지는 경관(300)의 일부로부터 입사된 입사광(505)(510)은 각각 x 좌표와 y 좌표에 의해 정의될 수 있는 점(515)(520)에서 반사면과 교차한다. 점(515)(520)은 각 경관의 시점, 즉 포물면-형상 반사기의 초점(501)에서 시작되는 가상 반경선(516)(521)을 따라 위치하고 있다. 이들 입사광은 z축에 수직인 감광 평면을 갖는 이미지 센서(110)로 직각으로 반사되기 때문에, 투영광은 동일한 x 좌표와 y 좌표에서 감광면과 교차하게 된다. 그리고, z 좌표만이 변한다. 따라서, 직각 투영광의 반사기(135)와의 교차점의 x-y 좌표와 직각 투영광이 이미지 센서(110)의 감광 평면과 교차하는 점의 x-y 좌표는 일대일 대응 관계에 있다.
본 발명의 바람직한 장치에서, 이미지 센서(110)는 감광셀의 어레이를 구비하는 평면 전하 결합 장치("CCD") 이미지 센서를 포함한다. 각 감광셀은 어레이에서 소정의 위치에 있는 빛의 세기를 감지한다. 그러므로, 격자에서 x-y 좌표의 특정 범위를 커버하는 CCD 셀에 의해 생성되는 이미지 신호가 동일한 범위의 x-y 좌표 내에 있는 점들에서 반사면(135)으로부터 직각 반사되는 빛들을 일대일 대응으로 나타낸다. 따라서, 이미지를 직교 좌표계에 지도 투영시키는 것은 당해 기술을 아는 사람에게는 간단한 작업이다.
상기에 설명한 일대일 대응 방식으로, 도 6은 반구형 경관의 소정 부분의 이미지를 확대하는 기술을 설명하고 있다. 반사기(135)는 도 5에서와 같은 방식으로 직교하는 x축, y축 및 z축에 대하여 위치가 정해진다. 일정한 지점(550)에 집중된 경관의 소정 부분 위에 소정의 초점 거리 "f"로 이미지를 소정의 크기로 확대하려면, 경관의 소정 부분을 투영하는 반사면의 영역과 같은 범위의 x-y 좌표에 위치하는 CCD 셀의 이미지 신호만이 확대 및 뷰잉 작업에 선택된다.
특히, 경관의 소정 부분에서 일정한 지점(570)에 대하여 적당한 빛의 세기를 결정하기 위해서는 지점(580)에 위치한 CCD 셀이 발생하는 세기 신호가 선택된다. 도 6에서 나타낸 바와 같이, 일정한 지점(570)과 초점(551) 사이에 그은 선은 지점(552)에서의 반사기(135)와 교차한다. 지점(570)에서 빛의 세기는 지점(552)의 x-y 좌표와 가장 근접한 격자상의 x-y 좌표에 위치한 지점(580)에 놓은 CCD 셀에 의해 발생되는 이미지 신호가 나타내는 빛의 세기와 같도록 설정된다. 이 과정은 경관의 소정 부분을 투영하는 반사면의 영역과 같은 범위의 x-y 좌표 내에 있는 모든 CCD 셀에 대해서도 마찬가지로 적용된다. 상기에 설명한 바와 같은 직각 반사와 일대일 대응의 결과로, 이미지의 재구성이나 복잡한 프레임 변환이 필요하지 않게 되었다.
당해 기술의 지식을 가진 사람이라면 단일 시점으로부터 직각으로 반사되는 반구형 경관의 소정 부분을 보거나, 이 소정 부분을 확대시킨 이미지를 만들 수 있도록 범용 컴퓨터를 손쉽게 프로그래밍시킬 수 있다. 또한, 반사기를 따라 연속적인 점들을 지정함으로써 반구형 경관을 단일 시점에서 바라보는 것과 같이 파노라마 방식으로 처리할 수 있다.
상기에서 논의한 실시예에서, 경관의 작은 부분의 이미지를 확대시킬수록 컴퓨터(125)에 정보를 제공하는 CCD 셀의 개수가 감소하므로 이미지의 입도가 커지는 것을 알 수 있다. 바람직한 일 실시예에서, CCD 셀과 정확하게 대응되지 않는 경관 내의 점들에 대한 정보는 보간법에 의해 보다 정밀하게 근사시킬 수 있다. 컴퓨터(125) 상에서 실행될 수 있는 적당한 보간 프로그램이 부록 1에 포함되어 있다. 부록 1에 나와 있는 프로그램은 감지된 전방향성 이미지를 컴퓨터(125) 상에서 표시하기에 적당한 일반적인 투사 이미지으로 처리된다. 이 프로그램을 실행하려면 사용자는 변환시키고자 하는 전방향성 이미지의 이름, 중심 위치 및 반경을 입력해야 한다. 또한, 사용자는 투사 이미지에 대한 초점 거리와 크기 외에도 일반화된 이미지에 대한 이름을 입력해야 한다.
따라서, CCD 셀과 정확히 대응되지 않는 이미지의 소정 부분을 표시하기 위하여 단순히 가장 근접한 CCD 셀이 발생한 이미지 신호를 선택하지 않고, 이러한 경관의 소정 부분에 인접한 부분들에 대응되는 CCD 셀에서 발생하는 이미지 신호의 평균치에 따라서 첨부된 프로그램을 이용하여 경관의 소정 부분을 추정한다. 물론, 본 발명의 범위에서 벗어나지 않으면서도 청구항에 정해진 바와 같이 다항식이나 시간을 맞추는 보간 프로그램과 같이 당해 기술의 지식을 가진 사람들이 알고 있는 보다 기술적으로 우수한 보간 프로그램을 이용할 수도 있다.
투사 이미지를 만드는 앞서 설명한 직교 좌표 매핑과 더불어, 원통 좌표 매핑을 수행하여 보여지는 경관의 파노라마 이미지를 얻을 수 있다. 원통 좌표 매핑은 도 9를 참조하여 설명하기로 한다. 도 9를 보면, 경관의 한 지점(945)에서 투사되는 주광(950)이 포물면-형상 반사기(935)와 충돌하여 이미지 센서(910)로 직각으로 반사된다. 감지 소자(965)에 의해 표시되는 점을 직교 좌표로 맵핑하기 위하여, 절단 실린더(970)가 포물면-형상 반사기(935)와 이미지 센서(910)를 둘러싸는 것으로 생각한다.
그런 다음, 주광(960)(950)을 통하여 감지 소자(965)에 의해 표시되는 점을 추적해 밝히고, 주광(950)이 절단 실린더(970)와 만나는 교차점(955)을 결정한다. 그리고, 교차점(955)에 감지 소자(965)의 세기를 지정한다. 이와 같은 과정을 이미지 센서(910)의 감지 소자 각각에 대해서 수행한다. 이렇게 해서 절단 실린더(970) 상에 위치하는 (적당한 광 세기가 부여된) 점들의 집합이 경관의 파노라마 이미지를 이루게 된다. 이 파노라마 이미지는 절단 실린더를 평면으로 맵핑하여 표시 장치에 나타낼 수 있다. 이와 같은 매핑 과정은 당해 기술의 지식을 가진 사람이라면 쉽게 수행할 수 있으며, 실린더가 길이 방향으로 절단되어 전개되었다고 상상한다면 가시화시킬 수 있다. 또한, 당해 기술의 지식을 가진 사람이라면 쉽게 이해할 수 있는 바와 같이, 원통 좌표 매핑과 함께 직교 좌표 매핑과 관련하여 상기에서 논의한 이미지 데이터의 보간법을 이용할 수도 있다.
본 발명의 바람직한 실시예에서는, 초점을 통하여 절단되고 직경이 1.6 인치인 초점 거리 포물면 거울과 함께 ⅓ 인치 CCD가 사용된다. 에드마운드 사이언티픽사(뉴저지, 배링턴)의 Model No. P32921과 같은 시준 렌즈를 8.5 인치 초점 거리 이미징 렌즈와 함께 사용하여 거울을 CCD와 광학적으로 결합시킨다.
본 발명의 다른 실시예에서, 전방향성 이미징 장치는 도 7에 도시한 것과 같은 또 다른 포물면-형상 반사기(735)를 포함한다. 이 포물면-형상 반사기(735)는 반구형 경관(130)에 상보적인 제 2 포물면-형상 반사기(730)의 이미지를 정사 투영하여 하나의 구면형 경관을 이루도록 하는 위치에 놓여 있다. 제 2 이미지 센서(710)는 제 2 반사기(735)에 의해 정사 투영된 이미지를 수신하도록 위치하고 있다.
제 2 반사기(735)의 정사영을 나타내는 이미지 신호는 상기 설명한 것과 같은 방법으로 변환기(720)에 의해 디지털 신호를 변환되어 라인(725)을 통하여 동일한 범용 컴퓨터(125)로 전송된다.
도 8에 도시한 바와 같이, 반사기들(135)(735)은 뒷면이 서로 마주보고 위치하고 있으며 동일한 회전축(810)을 공유한다. 이 회전축(810)은 이미징 장치의 광축이기도 하다. 또한, 반사기들(135)(735)의 각각은 회전축(810)에 수직이고 초점(805)을 포함하는 평면 "p"에 의해 절단되어 있다.
도 10을 보면, 본 발명의 일 실시예에 따라 단일 시점으로부터 반구형 또는 구면형 경관의 이미지를 감지하기 위한 방법을 설명하는 흐름도(1000)가 나와 있다. 흐름도(1000)는 단일 시점으로부터 반구형 경관의 이미지를 감지하기 위한 단계들을 나타낸다. 이 방법은 반구형 경관을 직각 반사하는 단계(1010)와 직각으로 반사되는 이미지를 감지하는 단계(1020)를 포함한다.
또한, 상기 방법은 이미지 신호를 이미지 신호 데이터로 변환시키는 단계(1030), 이미지 데이터를 적당한 좌표계로 매핑하는 단계(1040), 이미지 데이터를 보간하여 소실된 이미지 데이터의 적당한 값을 도출하는 단계(1060), 및 매핑된 이미지 데이터와 보간된 이미지 데이터로부터 디지털 이미지를 형성하는 단계(1070)를 포함한다. 보간 단계 이전에 뷰잉 방향, 초점 거리 및 이미지 크기를 맞추는 단계(1045)와 이미지 데이터의 소정 부분의 이미지를 확대시키는 단계(105)를 수행할 수 있다.
이제까지 설명한 실시예들은 모두 "법선(normal)" 포물면-형상 반사기를 이용하였다. 이 명세서와 청구항에서 포물면-형상 반사기와 연관하여 언급되는 "법선"이라는 용어는 포물면-형상 반사기의 초점을 통과하고 포물면-형상 반사기의 포물면 축에 수직인 평면에서 절단되는 포물면-형상 반사기를 말한다. 그리고, 이 명세서와 청구항에서 언급하는 포물면-형상 반사기의 포물면 축은 포물면-형상 반사기의 꼭지점과 초점을 통과하는 축을 말한다. 앞서 설명한 바와 같이, 법선 포물면-형상 반사기를 이용하여 전체 반구형(π입체 라디안)을 촬영하거나, 두 개의 반사기를 뒷면을 맞대어 완전한 구형(2π입체 라디안)을 촬영할 수 있다. 도 11 내지 도 15는 포물면-형상 반사기가 여러 가지 비법선 포물면의 형태를 갖는 전방향성 이미징 장치의 또 다른 실시예들을 나타낸다.
도 11은 하나의 카메라(1111)와 하나의 포물면-형상 반사기(1135)만을 이용하여 반구형보다 큰 시야("FOV")를 촬영할 수 있는 전방향성 이미징 장치를 도시한 것이다. 도 11의 실시예에서, 포물면-형상 반사기(1135)는 포물면의 축(z)에 대하여 법선 방향이지만 포물면의 초점(1130) 아래를 지나는 평면으로 적당한 반사기를 절단하여 얻어지는 연장된 포물면이다. 바람직하게도, 포물면이 그 초점 아래로 연장되기 때문에, 포물면-형상 반사기는 그 초점 아래의 반구형으로부터 투사되는 빛을 직각으로 반사할 수 있다. 예를 들면, 도 11의 실시예에서는, 포물면-형상 반사기에 의해 변환된 시야(FOV)가 전체 구형의 75%인 240도이다. 바람직하게도, 도 11에 나타낸 바와 같이, 카메라(1111)와 포물면-형상 반사기(1135)가 광학 장치(1112)에 의해 결합되어 있다.
도 12는 포물면-형상 반사기의 포물면 축에 대하여 경사진 시야(FOV)를 촬영하는 데에 사용되는 전방향성 이미징 장치를 보여 준다. 도 12의 실시예는 카메라(1211), 광학 장치(1212), 및 포물면-형상 반사기(1235)를 포함한다. 포물면-형상 반사기(1235)는 포물면의 초점을 통과하는 면에 의해 절단되고 포물면 축(z)에 대하여 기울어져 있다. 그러므로, 이 반사기의 시야(FOV)는 도 12의 점선과 같이 기울어진 반구형이다. 도 12의 실시예가 포물면의 초점을 통과하는 평면을 보여주고 있지만, 본 발명은 이 실시예에 한정되어 있지 않다. 절단 평면은 포물면의 초점(1230) 위를 통과하거나(따라서, 시야(FOV)가 반구형보다 좁다), 초점(1230) 아래를 통과할 수 있다(따라서, 시야(FOV)가 반구형보다 넓다).
도 13은 반구형보다 넓은 시야(FOV)를 촬영하는 데에 사용되는 전방향성 이미징 장치를 보여 주고 있다. 도 13의 실시예는 광학 장치(1312)에 의해 포물면-형상 반사기(1335)에 결합된 카메라(1311)를 포함한다. 이 실시예에서, 포물면-형상 반사기(1335)는 이미지 면적이 카메라(1311)보다 "크게" 형성되어 있다. 여기서, 반사기와 같은 형태를 갖는, 즉 방정식 (1)에서 정의된 것과 같은 포물면 상수 "h"를 갖는 법선 포물면의 기판이 카메라의 이미지 면적보다 크기가 크거나 작으면, 포물면-형상 반사기의 이미지 면적은 카메라의 이미지 면적보다 "크다". 설명을 위하여, 법선 포물면의 경우를 예로 들면, 포물면의 이미지 면적인 카메라의 것보다 크면, 포물면의 바깥 가장자리에서 직각으로 반사된 빛이 이미지 영역에 닿지 않으므로 카메라의 이미지 영역에서는 전체 반구형보다 작은 시야(FOV)만이 얻을 수 있다. 그러나, 이와 같은 포물면 거울을 이용하여 포착한 이미지는 보다 작은 포물면을 이용하여 포착한 이미지보다 분해능이 높다. 도 13에 도시한 바와 같이, 포물면-형상 반사기(1335)의 포물면 축(z′)은 수평으로 시야를 얻을 수 있도록 광축(z)에 대하여 이동시킬 수 있다. 또한, 포물면-형상 반사기(1335)는 법선 포물면을 필요로 하지 않고, 촬영할 시야(FOV)에 따라 절단된다.
이제까지, 앞서 논의한 모든 실시예들이 볼록 포물면-형상 반사기로 이루어지는 것으로 설명하였다. 도 14에는 카메라(1411), 광학 장치(1412), 및 오목 포물면-형상 반사기(1435)를 포함하는 본 발명에 의한 전방향성 이미징 장치의 일 실시예가 예시되어 있다. 오목 포물면-형상 반사기는 반사기를 은폐하는 것이 바람직할 때(즉, 기후에 대하여 보호해 주어야 하는 실외 장치인 경우)에 사용할 수 있다. 오목 포물면-형상 반사기의 경우, 경관의 포물면 이미지는 "뒤집혀져" 있지만 여전히 앞서 설명한 단일 시점 규정을 만족시킨다. 그러므로, 볼록 포물면 이미지에서와 같은 오목 포물면 이미지으로부터 완전한 투사 이미지를 얻을 수 있다. 그러나, 오목 포물면의 경우에는 단일 반사기를 가지고 겨우 반구만큼의 시야(FOV)를 얻을 수 있다. 이 반구만한 시야(FOV)는 포물면을 포물면의 초점(1435)을 통과하는 평면(포물면의 축(z)에 대하여 법선 방향이거나 기울어진 평면)으로 절단하였을 때 얻어진다. 상기 초점 위로 절단되는 오목 포물면도 이용 가능하지만, 이러한 포물면은 이미지의 자체 장애가 발생하므로 바람직하지 않다.
도 25에 도시한 바와 같이, 반구보다 큰 시야(FOV)는 다수의 오목 포물면-형상 반사기들을 사용하여 얻을 수 있다. 도 25에서, 두 개의 포물면들(2535a)(2535b)이 같은 포물면 축(z)을 공유하고 그 꼭지점(2545)이 일치하는 위치에 놓여져 있다. 이미지 센서들(2511a)(2511b)과 함께, 두 개의 포물면-형상 반사기들(2535a)(2535b)은 두 개의 반구(2530a)(2530b)를 각각 촬영할 수 있다. 이 시스템은 반사기들을 은폐하거나 보호하기 위하여 오목하게 해야 할 때에 이용할 수 있다. 이와 같은 장치에서 도 7의 볼록 거울을 사용하는 대신에 오목 거울을 사용하면 두 개의 반사기들의 절단면 사이의 영역으로 이루어진 작은 맹반이 발생하는 문제점이 있다.
도 15는 줌 기능을 갖는 본 발명에 따른 전방향성 이미징 시스템의 일 실시예이다. 도 15의 전방향성 이미징 시스템은 포물면-형상 반사기(1535), 카메라(1511), 줌 렌즈(1512) 및 릴레이 광학 소자(1513)를 포함한다. 이 명세서와 청구항에서는, 릴레이 광학 소자와 조준 소자는 같은 의미이다. 줌 렌즈(1512)를 가장 낮은 배율 상태로 설정하면, 전방향성 이미징 시스템은 전체 반구만큼의 시야를 갖는 이미지를 제공한다(도 11이나 도 13의 실시예를 사용하는 경우에는 반구보다 크거나 작은 시야를 얻는다). 확대하면, 줌 렌즈(1512)는 더 작은 시야(FOV)를 갖는 높은 배율(따라서, 높은 분해능)을 제공한다. 확대하는 동안에는, 이미징 시스템이 텔레센트릭하도록 줌 렌즈(1512)의 투사 유효 중심을 거의 고정시켜야 한다. 줌 렌즈(1512)가 전체적인 설정값에 대하여 텔레센트릭하도록 릴레이 광학 소자(1513)를 사용하는 것이 바람직하다.
도 15의 실시예에서, 줌 렌즈(1512)는 포물면-형상 반사기(1535)에 대하여 고정되어 있거나 가동적이다. 줌 렌즈(1512)가 고정되어 있는 경우, 확대하였을 때 포물면 축(z) 주위의 영역만을 관찰할 수 있다. 따라서, 줌 렌즈(1512)가 포물면-형상 반사기(1535)의 바깥 가장자리를 따라 이미지 영역 위에 위치하도록 소정의 이동 수단을 장착하는 것이 바람직하다. 물론, 이와 같은 이동 수단은 줌 렌즈(1512)의 광축이 항상 포물면-형상 반사기(1535)의 포물면 축과 평행하게 유지시켜야 한다.
도 16은 경관의 시야를 동적으로 변화시킬 수 있는 전방향성 이미징 시스템을 보여 준다. 포물면-형상 반사기(1635)는 이동 가능한 기판(1640) 상에 장착된다. 이 이동 기판(1640)은 포물면-형상 반사기(1635)를 x축, y축, z축을 따라 이동할 수 있도록 한다. 이동 기판(1640)은 수동으로 조정하거나 컴퓨터를 이용하여 조정할 수 있다. 이동 기판(1640)을 이용함으로써, 광축(z)을 중심으로 이동 기판(1640)을 원형 이동시켜서 경관의 시야를 동적으로 변화시킬 수 있다. 투시 또는 파노라마 방식의 경관을 얻기 위하여 앞서 설명한 바와 같이 이미지를 처리하는 것이 바람직하다.
도 16은 이동 기판(1640)과 함께 줌 렌즈(1612)를 이용하는 것을 보여 주고 있다. 줌 렌즈(1612)는 이동 기판(1640)이 이동함에 따라 이미징 시스템의 시야 안에 진입하게 되는 포물면-형상 반사기(1635)의 부분들로 확대시킬 수 있는 능력을 부가한다. 릴레이 렌즈(1613)는 줌 렌즈(1612)와 포물면-형상 반사기(1635)를 연결시키는 데에 사용하는 것이 바람직하다. 또한, 줌 렌즈(1612)는 포물면-형상 반사기(1635)의 모든 부분들에 대하여 이미지의 윤곽이 뚜렷하게 유지하도록 수동이나 자동으로 초점을 조절하는 기능을 포함하는 것으로 바람직하다. 또는, z축을 따라서 반사기(1635)를 이동시켜서 이미지의 초점을 맞출 수도 있다.
도 16의 실시예에서와 같이 포물면-형상 반사기를 이동시키지 않고, 이미징 시스템의 카메라나 광학 소자의 하나 또는 그 이상의 부품들을 이동시켜서 도 16의 실시예와 같은 효과를 낼 수 있도록 할 수 있다. 도 17a, 17b 및 17c는 이러한 전방향성 이미징 시스템의 실시예들을 보여 주고 있다. 도 17a에서는 CCD와 같은 이미지 센서(1710)에 이동 수단을 장착한 경우이고, 도 17b에서는 카메라(1711)에 이동 수단을 장착한 경우이고, 도 17c는 카메라(1711)와 광학 소자(1712)에 이동 수단을 장착하여 동시에 이동시킬 수 있도록 한 경우이다. 각 도면에 나타낸 바와 같이, 이들 부품은 x축, y축, z축을 따라 이동하여 촬영되는 시야를 변화시켜 준다. 도 16의 실시예에서와 같이, 포물면-형상 반사기를 이동시키는 대신에 카메라나 광학 소자를 이동시킴으로써 전방향성 이미징 시스템의 시점이 포물면-형상 반사기의 초점에 맞게 공간적으로 고정된다.
도 16, 도 17a, 도 17b 또는 도 17c의 실시예는 감시 시스템에서 사용할 때 매우 유리하다. 이들 실시예의 전방향성 이미징 능력은 사용자로 하여금 소정의 영역을 동시에 관찰할 수 있도록 해준다. 관찰되고 있는 영역 내의 특정한 부분을 관찰하는 경우, 사용자는 (카메라, 광학 소자 또는 포물면-형상 반사기를 이동시키기 위하여) 적당한 이동 좌표를 선택하고 확대 설정치를 조절하여 원하는 부위를 좀 더 자세히 관찰할 수 있다.
도 18은 이미지의 분해능을 높이기 위하여 다수의 이미지 센서를 사용하는 전방향성 이미징 시스템을 보여 주고 있다. 도 18의 실시예는 포물면-형상 반사기(1835), 비디오 전자 부품(1809), 네 개의 CCD 소자(1810a-1010d), 및 이미징 광학 소자(1812)를 포함한다. 이 실시예에서, 네 개의 CCD 소자(1810a-1010d)는 서로 겹치지 않고 뒷면이 마주보게 위치하고 있다. 도 18의 실시예는 상용 CCD 소자들이 일반적으로 크기에 상관없이 표준 분해능으로 제조된다는 장점을 갖는다. 따라서, 하나의 상용 ½인치 CCD 소자 대신에 네 개의 상용 ¼인치 CCD 소자를 이용함으로써 이미지의 분해능을 4 배로 증가시킬 수 있다. 도 18이 서로 겹치지 않게 배열된 CCD 소자들을 사용하는 것을 보여 주고 있지만, 본 발명은 이에 한정되지 않는다. 따라서, 다수의 CCD 소자들이 서로 부분적으로 중복되는 장치도 마찬가지로 사용할 수 있다. 그리고, 각 이미지 센서를 그 비디오 회로에 연결시켜서 다수의 이미지 센서를 단일 집적 회로로 제작할 수 있다.
도 19는 이미지의 해상도를 높이기 위하여 다수의 이미지 센서를 사용하는 다른 실시예를 보여 주고 있다. 이 실시예에서, 다수의 이미지 센서에 다수의 카메라(1911)를 장착한다. 광분할기(1916)를 이용하여 포물면 이미지의 각 부분들을 서로 다른 카메라로 전달한다. 따라서, 전체 이미지를 하나의 카메라만으로 찍는 것보다 높은 분해능으로 포물면 이미지의 각 부분을 찍게 된다.
본 발명의 다른 실시예에서는, 색선별 광분할기(도시되어 있지 않음)를 이용하여 이미지를 복수개의 단색 이미지으로 분할하고, 복수개의 단색 이미지들은 복수개의 단색 이미지 검출기들에 의해 감지된다.
이들 단색 이미지들은 나중에 공지된 이미지 처리 수단에 의해 적당하게 합쳐져서 순색 이미지를 형성하게 된다.
도 20은 CCD 소자로서 평면 이미지 센서(2010)를 보여 준다. 포물면 거울을 구비한 일반적인 평면 이미지 센서를 이용하면 이미지의 중심에서 외측 가장 자리로 갈수록 포착된 포물면 이미지의 유효 분해능이 증가하게 된다. 예를 들면, 평면 이미지 센서를 이용하여 법선 포물면-형상 반사기에 의해 반사된 이미지를 포착하는 경우, 포착된 이미지의 분해능은 이미지의 중심에서 가장자리로 갈수록 네 배로 증가한다. 이 효과를 보상하기 위하여, 이미지 센서는 크기와 배치 상태를 변화시킨 감지 소자들(2008)을 구비하여 전체 이미지의 분해능을 균일하게 유지한다. 이와 같은 방법은 시야(FOV)의 소정 부분들의 분해능을 높이는 데에도 이용할 수 있다. 소정의 분해능을 변화시키기 어려운 경우, 로그-폴라 센서들을 이용하여 표준 분해능을 변화시킬 수도 있다.
광학 소자와 반사기의 배치 상태의 유동성을 부여하기 위하여 본 발명에 따른 전방향성 이미징 장치에 하나 또는 그 이상의 평면 거울을 포함시킬 수도 있다. 도 21은 전방향성 이미징 장치가 포물면-형상 반사기(2135), 평면 거울(2116), 릴레이 렌즈(2113), 이미징 렌즈(2112) 및 카메라(2111)를 포함하는 바람직한 실시예를 보여 주고 있다. 이 실시예에서, 포물면-형상 반사기(2135)는 표면(2140)의 위에 위치하고, 평면 거울(2116), 릴레이렌즈(2113), 이미징 렌즈(2112) 및 카메라(2111)는 표면(2140) 아래에 은폐되어 있다. 평면 거울(2116)은 표면(2140)에 형성된 개구부(2145) 바로 아래에 위치하고, 포물면-형상 반사기(2135)로부터 이미지를 90도만큼 포개어 릴레이 렌즈, 이미징 렌즈 및 카메라로 이미지를 재전송한다. 도면에서는 평면 거울이 포물면-형상 반사기와 릴레이 렌즈 사이에 설치되어 있지만, 평면 거울은 릴레이 렌즈와 이미징 렌즈 사이나 이미징 렌즈와 카메라 사이에도 설치할 수 있다.
도 22는 포물면 거울(2236)과 이미지 센서(2210) 사이에 설치한 광학 소자가 저출력 도립 현미경 대물렌즈(2212)로 구성되는 전방향성 이미징 시스템의 일 실시예를 보여 준다. 이 실시예에서, 반사기(2235)는 일반적으로 현미경의 접안렌즈가 설치되는 위치에 장착되어 있고, 이미지 센서(2210)는 일반적으로 슬라이드가 설치되는 위치에 장착된다. 도립 현미경 대물렌즈(2212)를 이용하면 상용 현미경 대물렌즈가 수차 보정이 잘 되므로 이미지를 포착하는 데에 유리하다.
도 23은 시준 렌즈(2313)를 포물면 거울(2335)과 이미징 광학 소자(2312) 사이에 설치한 전방향성 이미징 시스템의 일 실시예를 보여 준다. 대부분의 경우, 상용 이미징 렌즈를 이용함으로써 특수한 렌즈를 설계하는 데에 드는 비용과 시간을 절약하는 것이 바람직하다. 그러나, 대부분의 상용 이미징 렌즈들은 렌즈에서 매우 멀리 떨어진 경관의 촬영에 사용하도록 되어 있다. 그러므로, 렌즈에서 매우 먼 거리에 있는 물체에 맞게 설계되는 것이 일반적이다. 따라서, 렌즈에 근접한 물체를 촬영하는 데에 사용되면, 이미지에서 각종 수차가 발생하므로 렌즈의 유효 분해능이 저하된다. 그 결과 "흐릿"하거나 얼룩진 이미지를 얻게 된다. 이 실시예에서는 이미징 광학 장치(2312)에 대하여 무한대로 가상 물체를 만드는 시준 렌즈(2313)를 이용함으로써 상기 문제를 해결하고 있다. 따라서, 시준 렌즈(2313)를 이용하면 상용 이미징 렌즈를 사용할 수 있게 된다.
도 24a와 도 24b의 실시예들은 이미지 센서(2410)와 이미징 렌즈(2413) 사이에 필드-편평화 렌즈들을 설치하여 사용하는 것을 보여 준다. 일반적으로 수 밀리미터의 작은 초점 거리를 갖는 본 발명의 포물면-형상 반사기가 매우 심한 필드 곡률에 의해 영향받기 때문에 필드-편평화 렌즈를 이용하는 것이 바람직하다. 이미지의 결점을 없애는 한 가지 방법은 필드 곡률이 맞는 만곡면을 갖는 이미지 센서를 이용하는 것이다. 그러나, 반사기와는 부호가 다른 곡률을 갖는 소위 필드-편평화 렌즈라고 하는 특수 렌즈를 이용하는 것이 보다 바람직하다. 따라서, 두 가지 필드 곡률이 상쇄되어 촬영된 이미지 표면이 평평해지므로 평면 이미지 센서 상에서 전체 이미지의 초점이 뚜렷하게 나온다.
두 가지 바람직한 필드-편평화 렌즈가 도 24a와 도 24b에 나와 있다. 도 24a에는 평-오목 렌즈(2412a)가 도시되어 있다. 평-오목 렌즈(2412a)는 이미지 센서 창(2417)과 접하는 위치에 설치하는 것이 바람직하다. 이 위치에서, 평-오목 렌즈(2412a)는 바람직하지 않은 수차의 양을 줄이면서도 반사기의 필드 곡률을 보상한다.
바람직한 필드-편평화 렌즈의 두 번째 종류로서 메니스커스 렌즈가 도 24b에 도시되어 있다. 메니스커스 렌즈(2412b)의 양측 표면은 모두 입사광에 대하여 구면수차가 제거된다. 구면수차가 제거된 표면이면, 입사광에 구면 수차나 코마나 난시 현상이 발생하지 않고 필드 곡률만 도입된다. 메니스커스 렌즈(2412b)는 렌즈의 두께에 의해 결정되는 편평화 효과를 갖는다. 즉, 렌즈의 두께가 두꺼울수록 편평화 효과가 크다. 도 24a의 평-오목 렌즈(2412a)와는 대조적으로, 도 24b의 메니스커스 렌즈(2412b)는 이미지 센서(2410)와 접하는 위치에 설치하지 않는다.
편평화 렌즈의 이론의 설명하지 않기로 한다. 이상적으로는, 광학 시스템의 최상 초점의 표면은 평면이다. 평면인 경우, CCD나 다른 평면 이미지 센서가 전체 영역에 최상의 초점 표면을 맞출 수 있으므로 이미지의 최대 분해능을 제공한다. 그러나, 광학 시스템은 만곡면에서 최상의 이미지를 형성하는 경향이 있다. 따라서, 만족 초점 표면과 평면 CCD 표면을 전체 면적에 대하여 맞출 수 없으므로 이미지의 일부나 전체가 초점이 잘 맞지 않게 된다.
광학 시스템의 필드 곡률을 페츠발 곡률이라고 부른다. 광학 시스템의 모든 광학 소자는 시스템의 페츠발 곡률에 기여한다. 광학 소자의 표면이 굴절성인 경우, 시스템의 곡률에 대한 페츠발 기여도는 다음과 같다:
Figure 112000011453974-pct00012
여기서, n은 광학 소자의 굴절률이고 R은 광학 소자 표면의 곡률 반경이다. 분명히, 표면의 페츠발 기여도는 반경의 부호에 의존한다. 표면이 굴절면이 아니고 거울이면, 페츠발 기여도는 다음과 같다:
Figure 112000011453974-pct00013
이미지의 필드 곡률은 반사면과 굴절면의 기여도를 합한 것을 간단한 상수와 곱하여 계산한다. 이 값이 0이 아니면, 이미지의 시야가 굽은 것이므로 상기에 논의한 문제에 부닥치게 된다. 즉, 이미지의 표면과 이미지 센서의 표면이 완전히 맞지 않게 된다.
그러나, 광학 표면의 곡률은 구면 수차, 코마 및 난시 현상을 조정하는 것과 같은 목적에 필요하므로 없앨 수 없다. 이들 수차의 조절은 광학 소자의 곡률에 따라 결정되므로, 광학 소자의 곡률이 변하면 수차에 악영향을 끼치게 된다. 그러나, 시스템의 다른 수차는 변화시키지 않으면서도 광학 시스템의 페츠발 곡률만을 변화시킬 수 있는 두 가지 방법이 있다. 이들 두 가지 방법은 상기에 설명한 두 가지 종류의 필드-편평화 렌즈의 원리를 이룬다.
페츠발 곡률을 변화시키는 첫 번째 방법은 이미지의 표면에 위치한 광학 표면의 광학적 특성에 의존한다. 광학 표면이 이미지의 표면에 위치하지 않으면(광학 시스템의 중간 이미지나 마지막 이미지의 표면에 위치하면, 이 표면에서는 이미지의 구면 수차나, 코마, 난시 현상이 변하지 않는다. 변하는 것은 오직 시스템의 페츠발 곡률이다. 따라서, 시스템의 마지막 초점에서 적당한 곡률 반경을 갖는 표면을 삽입함으로써 시스템의 페츠발 곡률을 보정할 수 있다. 이 것은 상기에 설명한 평-오목 필드-편평화 렌즈의 원리이다.
페츠발 곡률을 변화시키는 두 번째 방법은 구면 수차를 제거한 표면의 광학 특성에 의존한다. 구면 수차가 제거된 표면을 가정한다. 이 때, s를 표면에서 물체까지의 거리라고 하고 s'를 이미지 거리라고 하자. 그리고, n과 n'을 각각 표면 전후에 위치한 물체의 굴절률이라고 하자(이 때, 공기의 경우에는 n=1이고, 유리의 경우에는 n>1이다). 그러면 s와 s'의 관계는 다음과 같다:
Figure 112000011453974-pct00014
그러면, 표면에 구면 수차나 코마가 발생하지 않고 난시 현상만 조금 발생한다. 양쪽 표면이 모두 이와 같은 조건을 만족시키는 두꺼운 렌즈를 사용하는 경우에는, 반경의 차이가 렌즈의 두께에 의해 결정된다. 이와 같은 사실을 이용하여 구면 수차가 제거된 렌즈의 두께를 조정함으로써 시스템의 페츠발 곡률을 조절할 수 있다. 이 것은 상기에 논의한 메니스커스 필드-편평화 렌즈의 원리이다.
도 24a에 도시한 평-오목 렌즈(2412a)의 바람직한 실시예에서, 평-오목 렌즈는 BK7로 이루어지고 굴절률(n)이 1.517이다. 만곡(오목) 표면 r1의 반경은 6.2 ㎜이다. 만곡면 r1에 마주하는 표면은 평평하고 이미지 검출기 창(2417)과 접한 위치에 놓여 있다. 렌즈의 축 두께는 1.5 ㎜이고 광학 직경은 3 ㎜이다.
도 24b에 도시한 구면 수차 제거 렌즈(2412b)의 바람직한 실시예에서, 구면 수차 제거 렌즈는 아크릴 플라스틱으로 이루어지고 굴절률(n)이 1.494이다. 만곡(볼록) 표면 r2의 반경은 4.78 ㎜이고, 만곡(오목) 표면 r3의 반경은 2.16 ㎜이다. 렌즈의 축 두께는 6.7 ㎜이다. 만곡면 r2의 광학 직경은 7 ㎜이고, 만곡면 r3의 광학 직경은 2.7 ㎜이다.
한편, 본 발명의 상세한 설명에서는 구체적인 실시예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며 후술하는 특허 청구의 범위뿐만 아니라 이 특허 청구의 범위와 균등한 것들에 의해 정해져야 한다.
Figure 112000011453974-pct00045
Figure 112000011453974-pct00046
Figure 112000011453974-pct00047
Figure 112000011453974-pct00048
Figure 112000011453974-pct00049
Figure 112000011453974-pct00050
Figure 112000011453974-pct00051

Claims (55)

  1. 단일한 시점으로부터 경관의 이미지를 감지하기 위한 이미징 장치에 있어서,
    (a) 상기 단일한 시점을 통과할 수 있는 상기 경관으로부터 복사되는 전자기 복사광의 주 광선이 직각으로 반사되도록 위치되고, 상기 이미징 장치의 상기 단일한 시점과 일치하는 초점을 가지고 있는 절단형의 포물면-형상 반사기;
    (b) 상기 포물면-형상 반사기에 의해 직각으로 반사되지 않은 상기 전자기 복사광의 주 광선을 여과하기 위하여, 상기 포물면-형상 반사기에 광학적으로 결합된 텔레센트릭 수단; 및
    (c) 상기 포물면-형상 반사기로부터의 상기 직각으로 반사된 전자기 복사광의 주 광선을 수신하도록 위치되고, 그에 따라 상기 경관의 이미지를 감지하는 적어도 하나의 이미지 센서를 포함하고,
    상기 포물면-형상 반사기와 상기 적어도 하나의 이미지 센서 사이에 설치되는 적어도 하나의 평면 거울을 더 포함하며,
    상기 적어도 하나의 평면 거울은 상기 포물면-형상 반사기를 상기 적어도 하나의 이미지 센서와 광학적으로 결합시키는
    이미징 장치.
  2. 제 1 항에 있어서,
    상기 포물면-형상 반사기는 볼록한
    이미징 장치.
  3. 제 1 항에 있어서,
    상기 포물면-형상 반사기는 오목한
    이미징 장치.
  4. 제 1 항에 있어서,
    상기 포물면-형상 반사기는 원통 좌표로 표기된 다음의 방정식
    Figure 112006015269430-pct00055
    을 만족시키는 표면을 갖는 포물면 거울을 포함하고, 상기 z는 상기 표면의 회전축, 상기 r은 반경 좌표, 상기 h는 상수인
    이미징 장치.
  5. 제 1 항에 있어서,
    상기 적어도 하나의 이미지 센서는 적어도 하나의 전하 결합 장치를 포함하는
    이미징 장치.
  6. 제 1 항에 있어서,
    상기 적어도 하나의 이미지 센서는 적어도 하나의 전하 주입 장치를 포함하는
    이미징 장치.
  7. 제 1 항에 있어서,
    상기 적어도 하나의 이미지 센서는 사진 필름을 포함하는
    이미징 장치.
  8. 제 1 항에 있어서,
    상기 적어도 하나의 이미지 센서는 적어도 하나의 비디오 카메라를 포함하는
    이미징 장치.
  9. 제 1 항에 있어서,
    상기 적어도 하나의 이미지 센서는 상기 이미지의 필드 곡률과 일치하는 만곡면을 포함하는
    이미징 장치.
  10. 제 1 항에 있어서,
    상기 적어도 하나의 이미지 센서 중 적어도 하나의 이미지 센서는 불균일한 분해능을 갖는
    이미징 장치.
  11. 제 1 항에 있어서,
    상기 적어도 하나의 이미지 센서는 상기 포물면-형상 반사기의 꼭지점과 초점을 통과하는 축을 따라 설치되는
    이미징 장치.
  12. 삭제
  13. 제 1 항에 있어서,
    상기 포물면-형상 반사기는 상기 포물면-형상 반사기의 초점을 포함하는 평면에서 절단되는 거울을 포함하는
    이미징 장치.
  14. 제 1 항에 있어서,
    상기 포물면-형상 반사기는 상기 포물면-형상 반사기의 꼭지점과 초점을 통과하는 축에 수직인 평면에서 절단되는 거울을 포함하는
    이미징 장치.
  15. 제 1 항에 있어서,
    상기 포물면-형상 반사기는 법선 포물면 거울을 포함하는
    이미징 장치.
  16. 제 1 항에 있어서,
    상기 포물면-형상 반사기를 상기 적어도 하나의 이미지 센서와 결합시켜 상대적인 위치를 유지하는 투명 지지물
    을 더 포함하는 이미징 장치.
  17. 제 1 항에 있어서,
    고정 기판과 이동 기판을 더 포함하고,
    상기 포물면-형상 반사기는 상기 고정 기판 상에 설치되고, 상기 적어도 하나의 이미지 센서는 상기 이동 기판 상에 설치되어 적어도 하나의 이미지 센서가 이동함으로써 시야를 변화시키는
    이미징 장치.
  18. 제 17 항에 있어서,
    상기 적어도 하나의 이미지 센서와 상기 포물면-형상 반사기 사이에 위치하여 이들을 광학적으로 결합시키는 줌 렌즈
    를 더 포함하는 이미징 장치.
  19. 제 1 항에 있어서,
    고정 기판과 이동 기판을 더 포함하고, 상기 포물면-형상 반사기는 상기 이동 기판 상에 설치되고, 상기 적어도 하나의 이미지 센서는 상기 고정 기판 상에 설치되고, 상기 포물면-형상 반사기의 이동에 따라 시야가 변화되는
    이미징 장치.
  20. 제 19 항에 있어서,
    상기 적어도 하나의 이미지 센서와 상기 포물면-형상 반사기 사이에 위치하여 이들을 광학적으로 결합시키는 줌 렌즈
    를 더 포함하는 이미징 장치.
  21. 제 1 항에 있어서,
    상기 적어도 하나의 이미지 센서는 상기 경관의 이미지를 나타내는 이미지 신호를 발생하고,
    상기 이미지 신호를 수신하여, 상기 이미지 신호를 이미지 신호 데이터로 변환시키기 위해 상기 적어도 하나의 이미지 센서에 결합되는 이미지 신호 처리 장치
    를 더 포함하는 이미징 장치.
  22. 제 21 항에 있어서,
    상기 이미지 신호 처리 장치는 상기 이미지 신호 데이터를 직교 좌표계로 맵핑하여 투시 이미지를 생성하는
    이미징 장치.
  23. 제 21 항에 있어서,
    상기 이미지 신호 처리 장치는 상기 이미지 신호 데이터를 직교 좌표계로 맵핑하여 파노라마 이미지를 생성하는
    이미징 장치.
  24. 제 21 항에 있어서,
    상기 이미지 신호 처리 장치는 보간 이미지 데이터와 상기 이미지 신호 데이터가 조합되어 디지털 이미지를 형성하도록 보간 이미지 데이터를 제공하기 위한 보간 수단을 더 포함하는
    이미징 장치.
  25. 제 24 항에 있어서,
    상기 이미지 신호 처리 장치는 소정 초점 거리로부터의 소정 부분의 확대된 이미지를 제공하기 위해 상기 디지털 이미지의 소정 부분을 확대하기 위한 수단을 더 포함하는
    이미징 장치.
  26. 제 1 항에 있어서,
    상기 텔레센트릭 수단은 텔레센트릭 렌즈를 포함하는
    이미징 장치.
  27. 제 1 항에 있어서,
    상기 텔레센트릭 수단은 텔레센트릭 구경(telecentric aperture)을 포함하는
    이미징 장치.
  28. 제 1 항에 있어서,
    상기 적어도 하나의 이미지 센서와 상기 포물면-형상 반사기를 광학적으로 결합시키는 적어도 하나의 렌즈
    를 더 포함하는 이미징 장치.
  29. 삭제
  30. 제 28 항에 있어서,
    상기 텔레센트릭 수단은 상기 포물면-형상 반사기와 상기 적어도 하나의 렌즈를 광학적으로 결합시키는 시준 렌즈를 포함하는
    이미징 장치.
  31. 제 1 항에 있어서,
    상기 적어도 하나의 이미지 센서와 상기 포물면-형상 반사기를 광학적으로 결합시키는 줌 렌즈
    를 더 포함하는 이미징 장치.
  32. 삭제
  33. 제 1 항에 있어서,
    상기 적어도 하나의 이미지 센서와 상기 포물면-형상 반사기를 광학적으로 결합시키는 필드-편평화 렌즈를 더 포함하고, 상기 필드-편평화 렌즈의 필드 곡률은 상기 포물면-형상 반사기의 필드 곡률과 크기는 같지만 부호 또는 방향이 반대인
    이미징 장치.
  34. 제 33 항에 있어서,
    상기 필드-편평화 렌즈는 상기 적어도 하나의 이미지 센서에 근접하여 위치되는 평-오목 렌즈를 포함하는
    이미징 장치.
  35. 삭제
  36. 제 1 항에 있어서,
    상기 경관은 반구형 경관이고,
    제 2 반구형 경관의 상기 단일한 시점을 통과할 수 있는, 상기 제 2 반구형 경관으로부터 복사되는 전자기 복사광의 주 광선이 직각으로 반사되도록 위치되고, 상기 제 2 반구형 경관의 상기 단일한 시점과 일치하는 초점을 가지고 있는 제2 절단형의 포물면-형상 반사기;
    상기 제 2 포물면-형상 반사기에 의해 직각으로 반사되지 않은 전자기 복사광의 주 광선을 여과하기 위하여, 상기 제 2 포물면-형상 반사기에 광학적으로 결합된 제 2 텔레센트릭 수단; 및
    상기 제 2 포물면-형상 반사기로부터 직각으로 반사된 전자기 복사광의 주 광선을 수신하도록 위치되고, 그에 따라 상기 제 2 반구형 경관의 이미지를 감지하는 적어도 하나의 제 2 이미지 센서
    를 더 포함하는 이미징 장치.
  37. 제 36 항에 있어서,
    상기 반구형 경관은 구면형 경관의 반을 형성하고 상기 제2반구형 경관은 구면형 경관의 나머지 반을 형성하며, 상기 포물면-형상 반사기와 제 2 포물면-형상 반사기는 법선 볼록형 포물면이고, 절단면을 따라 뒷면이 맞대어져 위치되어 있으며, 공통 포물면 축과 공통 초점을 보유하고 있는
    이미징 장치.
  38. 제 36 항에 있어서,
    상기 반구형 경관은 구면형 경관의 반을 형성하고 상기 제2반구형 경관은 구면형 경관의 나머지 반을 형성하며, 상기 포물면-형상 반사기와 제 2 포물면-형상 반사기는 법선 오목형 포물면이고, 그들의 꼭지점이 일치하고, 하나의 공통 포물면 축을 공유하도록 위치되어 있는
    이미징 장치.
  39. 단일한 시점으로부터 경관의 이미지를 감지하기 위한 이미징 방법에 있어서,
    (a) 상기 이미징 방법의 상기 단일 시점이 상기 포물면-형상 반사기의 초점과 일치하도록, 절단형의 포물면-형상 반사기상의 상기 단일한 시점을 통과할 수 있는 상기 경관으로부터 복사되는 전자기 복사광의 주 광선을 직각으로 반사시키는 단계;
    (b) 상기 포물면-형상 반사기에 의해 직각으로 반사되지 않은 전자기 복사광의 모든 주 광선의 일부를 텔레센트릭하게 여과시키는 단계;
    (c) 적어도 하나의 이미지 센서에 의해, 상기 포물면-형상 반사기로부터 직각으로 반사되는 전자기 복사광의 주 광선을 감지하여 상기 경관의 이미지를 감지하는 단계; 및
    (d) 상기 포물면-형상 반사기와 상기 적어도 하나의 이미지 센서 사이에 설치되는 적어도 하나의 평면 거울에 의해 상기 포물면-형상 반사기와 상기 적어도 하나의 이미지 센서를 광학적으로 결합시키는 단계
    를 포함하는 이미징 방법.
  40. 제 39 항에 있어서,
    상기 단계(c)는 상기 포물면-형상 반사기의 꼭지점과 상기 포물면-형상 반사기의 초점을 통과하는 축을 따르는 위치로부터 상기 경관의 이미지를 감지하는 단계를 포함하는
    이미징 방법.
  41. 삭제
  42. 제 39 항에 있어서,
    상기 경관의 이미지를 나타내는 이미지 신호를 제공하는 단계 및 상기 이미지 신호를 이미지 신호 데이터로 변환시키는 단계
    를 더 포함하는 이미징 방법.
  43. 제 42 항에 있어서,
    상기 이미지 신호 데이터를 직교 좌표계로 맵핑하여 투시 이미지를 생성하는 단계
    를 더 포함하는 이미징 방법.
  44. 제 42 항에 있어서,
    상기 이미지 신호 데이터를 직교 좌표계로 맵핑하여 파노라마 이미지를 생성하는 단계
    를 더 포함하는 이미징 방법.
  45. 제 42 항에 있어서,
    소실된 이미지 데이터의 근사값을 정의하기 위해 상기 이미지 신호를 보간하는 단계 및 상기 맵핑 데이터와 상기 보간 이미지 데이터로부터 디지털 데이터를 형성하는 단계
    를 더 포함하는 이미징 방법.
  46. 제 45 항에 있어서,
    소정 거리로부터의 소정 부분의 확대 이미지를 획득하기 위해, 상기 디지털 이미지의 상기 소정 부분을 확대하는 단계, 상기 소실 이미지 데이터의 근사값을 정의하기 위해 상기 이미지를 보간하는 단계, 및 상기 맵핑 이미지 데이터와 상기 보간 이미지 데이터로부터 디지털 이미지를 형성하는 단계
    를 더 포함하는 이미징 방법.
  47. 제 39 항에 있어서,
    상기 경관이 반구형이고,
    제2 반구형 경관의 상기 단일한 시점이 제2 포물면-형상 반사기의 초점과 일치하도록, 상기 제 2 포물면-형상 반사기상의 제 2 반구형 경관의 단일한 시점을 통과할 수 있는, 상기 제2 반구형 경관으로부터 복사되는 복사광의 주 광선을 직각으로 반사시키는 단계
    상기 제 2 포물면-형상 반사기에 의해 직각으로 반사되지 않은 상기 전자기 복사광의 주 광선의 일부를 텔레센트릭하게 여과시키는 단계; 및
    상기 제2 반구형 경관을 감지하기 위해, 적어도 하나의 제 2 이미지 센서에 의해, 상기 제 2 포물면-형상 반사기로부터 직각으로 반사된 전자기 복사광의 주 광선을 감지하는 단계
    를 더 포함하는 이미징 방법.
  48. 단일한 시점으로부터 경관의 이미지들을 감지하기 위한 방법에 있어서,
    (a) 고정 기판 상에 절단형의 포물면-형상 반사기를 설치하는 단계;
    (b) 이동 기판 상에 적어도 하나의 이미지 센서를 설치하는 단계;
    (c) 상기 이미징 방법의 상기 단일 시점이 상기 포물면-형상 반사기의 초점과 일치하도록, 상기 포물면-형상 반사기상에서 단일한 시점을 통과할 수 있는, 상기 경관으로부터 복사되는 복사광의 주 광선을 직각으로 반사시키는 단계;
    (d) 상기 포물면-형상 반사기에 의해 직각으로 반사되지 않은 전자기 복사광의 주 광선의 일부를 텔레센트릭하게 여과시키는 단계;
    (e) 상기 이동 기판을 제 1 위치로 이동시키는 단계;
    (f) 상기 적어도 하나의 이미지 센서에 의해 상기 포물면-형상 반사기로부터 직각으로 반사되는 전자기 복사광의 주 광선을 감지하여 제 1 시야를 갖는 상기 경관의 제 1 이미지를 감지하는 단계;
    (g) 상기 이동 기판을 상기 제 1 위치와 다른 제 2 위치로 이동시키는 단계; 및
    (h) 상기 적어도 하나의 이미지 센서를 가지고 상기 포물면-형상 반사기로부터 직각으로 반사된 전자기 복사광의 주 광선을 감지하여 제 2 시야를 갖는 상기 경관의 제 2 이미지를 감지하는 단계
    를 포함하는 이미지 감지 방법.
  49. 제 48 항에 있어서,
    상기 포물면-형상 반사기와 상기 적어도 하나의 이미지 센서를 줌 렌즈에 의해 광학적으로 결합시키는 단계
    를 더 포함하는 이미지 감지 방법.
  50. 제 49 항에 있어서,
    상기 줌 렌즈를 제1 확대 배율로 설정함으로써 상기 경관내의 소정 영역을 위치 결정하는 단계; 및
    상기 줌 렌즈를 상기 제1 확대 배율 보다 큰 제2 확대 배율로 설정함으로써 상기 소정 영역을 확대하는 단계;
    를 더 포함하는 이미지 감지 방법.
  51. 단일한 시점으로부터 경관의 이미지들을 전방향으로 감지하기 위한 방법에 있어서,
    (a) 이동 기판 상에 절단형의 포물면-형상 반사기를 설치하는 단계;
    (b) 고정 기판 상에 적어도 하나의 이미지 센서를 설치하는 단계;
    (c) 상기 이미징 방법의 상기 단일 시점이 상기 포물면-형상 반사기의 초점과 일치하도록, 상기 포물면-형상 반사기상에서 단일한 시점을 통과할 수 있는, 상기 경관으로부터 복사되는 복사광의 주 광선을 직각으로 반사시키는 단계;
    (d) 상기 포물면-형상 반사기에 의해 직각으로 반사되지 않은 전자기 복사광의 주 광선의 일부를 텔레센트릭하게 여과시키는 단계;
    (e) 상기 이동 기판을 제 1 위치로 이동시키는 단계;
    (f) 상기 적어도 하나의 이미지 센서에 의해, 상기 포물면-형상 반사기로부터 직각으로 반사된 전자기 복사광의 주 광선을 감지하여 제 1 시야를 갖는 상기 경관의 제 1 이미지를 감지하는 단계;
    (g) 상기 이동 기판을 상기 제 1 위치와 다른 제 2 위치로 이동시키는 단계; 및
    (h) 상기 적어도 하나의 이미지 센서에 의해, 상기 포물면-형상 반사기로부터 직각으로 반사되는 전자기 복사광의 주 광선을 감지하여 제 2 시야를 갖는 상기 경관의 제 2 이미지를 감지하는 단계
    를 포함하는 이미지 감지 방법.
  52. 제 51 항에 있어서,
    상기 포물면-형상 반사기와 상기 적어도 하나의 이미지 센서를 줌 렌즈에 의해 광학적으로 결합시키는 단계
    를 더 포함하는 이미지 감지 방법.
  53. 제 52 항에 있어서,
    상기 줌 렌즈를 제1 확대 배율로 설정함으로써 상기 경관내의 소정 영역을 위치 결정하는 단계; 및
    상기 줌 렌즈를 상기 제1 확대 배율 보다 큰 제2 확대 배율로 설정함으로써 상기 소정 영역을 확대하는 단계;
    를 더 포함하는 이미지 감지 방법.
  54. 단일한 시점으로부터 경관의 이미지를 감지하기 위한 이미징 장치에 있어서,
    (a) 상기 단일한 시점을 통과할 수 있는 상기 경관으로부터 복사되는 전자기 복사광의 주 광선이 직각으로 반사되도록 위치되고, 상기 이미징 장치의 상기 단일한 시점과 일치하는 초점을 가지고 있는 절단형의 포물면-형상 반사기;
    (b) 상기 포물면-형상 반사기에 의해 직각으로 반사되지 않은 전자기 복사광의 주 광선을 여과하기 위하여 포물면-형상 반사기에 광학적으로 결합된 텔레센트릭 수단;
    (c) 상기 직각으로 반사된 전자기 복사광의 주 광선을 다수의 광다발로 분할하는 복수의 광분할기; 및
    (d) 상기 다수의 광다발 중 적어도 하나의 광다발을 각각 수신하도록 위치되어, 상기 경관의 이미지의 일부분을 각각이 감지하는 복수의 이미지 센서를 포함하고,
    상기 각각의 광다발은 상기 포물면-형상 반사기로부터 직각으로 반사된 전자기 복사광의 주 광선의 일부를 포함하고 있는
    이미징 장치.
  55. 삭제
KR1020007006159A 1997-12-05 1998-12-04 전방향성 이미징 장치 Expired - Fee Related KR100599423B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US08/986,082 US6118474A (en) 1996-05-10 1997-12-05 Omnidirectional imaging apparatus
US08/986,082 1997-12-05
PCT/US1998/025689 WO1999030197A1 (en) 1997-12-05 1998-12-04 An omnidirectional imaging apparatus

Publications (2)

Publication Number Publication Date
KR20010024698A KR20010024698A (ko) 2001-03-26
KR100599423B1 true KR100599423B1 (ko) 2006-07-10

Family

ID=25532061

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020007006159A Expired - Fee Related KR100599423B1 (ko) 1997-12-05 1998-12-04 전방향성 이미징 장치

Country Status (10)

Country Link
US (1) US6118474A (ko)
EP (1) EP1042697A1 (ko)
JP (1) JP2001526471A (ko)
KR (1) KR100599423B1 (ko)
CN (1) CN1290355A (ko)
AU (1) AU1903399A (ko)
BR (1) BR9813370A (ko)
CA (1) CA2312970A1 (ko)
RU (1) RU2201607C2 (ko)
WO (1) WO1999030197A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101091564B1 (ko) 2009-12-22 2011-12-13 연세대학교 산학협력단 전방향 카메라

Families Citing this family (105)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6111702A (en) * 1995-11-30 2000-08-29 Lucent Technologies Inc. Panoramic viewing system with offset virtual optical centers
US6493032B1 (en) * 1996-06-24 2002-12-10 Be Here Corporation Imaging arrangement which allows for capturing an image of a view at different resolutions
US6226035B1 (en) 1998-03-04 2001-05-01 Cyclo Vision Technologies, Inc. Adjustable imaging system with wide angle capability
US6333749B1 (en) * 1998-04-17 2001-12-25 Adobe Systems, Inc. Method and apparatus for image assisted modeling of three-dimensional scenes
CA2371349A1 (en) 1998-05-13 1999-11-18 Scott Gilbert Panoramic movies which simulate movement through multidimensional space
US20010015751A1 (en) * 1998-06-16 2001-08-23 Genex Technologies, Inc. Method and apparatus for omnidirectional imaging
US6304285B1 (en) * 1998-06-16 2001-10-16 Zheng Jason Geng Method and apparatus for omnidirectional imaging
US6545702B1 (en) * 1998-09-08 2003-04-08 Sri International Method and apparatus for panoramic imaging
CN1352754A (zh) * 1999-01-04 2002-06-05 塞克维森技术公司 全景成象装置
FI114244B (fi) * 1999-05-11 2004-09-15 Teknillinen Korkeakoulu Kamerajärjestelmä ja näyttölaite
US7050085B1 (en) 2000-10-26 2006-05-23 Imove, Inc. System and method for camera calibration
US6690374B2 (en) * 1999-05-12 2004-02-10 Imove, Inc. Security camera system for tracking moving objects in both forward and reverse directions
US6738073B2 (en) * 1999-05-12 2004-05-18 Imove, Inc. Camera system with both a wide angle view and a high resolution view
AU5315700A (en) * 1999-06-02 2000-12-18 Cyclovision Technologies, Inc. Omni-directional security and lighting system
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US7256834B1 (en) 2000-03-17 2007-08-14 Axis, Ab Digital camera having panning and/or tilting functionality, and an image rotating device for such a camera
FR2806809B1 (fr) * 2000-03-22 2002-11-22 Powell Group Dispositif d'aquisition d'image panoramique
WO2001071424A1 (fr) * 2000-03-22 2001-09-27 Egg Solution Optronics Sa Dispositif de grossissement pour systeme de capture d'images d'anamorphose panoramiques
JP2001333303A (ja) * 2000-05-23 2001-11-30 Sharp Corp 全方位視覚システム
JP3549463B2 (ja) * 2000-06-02 2004-08-04 松下電器産業株式会社 カメラ装置
KR100343836B1 (ko) * 2000-06-27 2002-07-20 이성환 파노라마 영상 감시 시스템 및 그 제어방법
JP4750927B2 (ja) * 2000-06-30 2011-08-17 日本ネットワークサービス株式会社 遠隔監視方法および監視制御サーバ
SE519734C2 (sv) * 2000-07-07 2003-04-01 Axis Ab Bildförändringsanordning för en bildalstrande apparat samt metod och digitalkamera till densamma
JP2002196438A (ja) * 2000-10-20 2002-07-12 Matsushita Electric Ind Co Ltd 広角撮像装置
JP3804916B2 (ja) * 2001-02-09 2006-08-02 シャープ株式会社 撮像システムとその画像データ制御に用いられるプログラムおよびその撮像システムにおける撮像画像の歪み補正方法とその手順を記憶させた記憶媒体
US6856472B2 (en) * 2001-02-24 2005-02-15 Eyesee360, Inc. Panoramic mirror and system for producing enhanced panoramic images
US20020147773A1 (en) * 2001-02-24 2002-10-10 Herman Herman Method and system for panoramic image generation using client-server architecture
US6594448B2 (en) 2001-02-24 2003-07-15 Eyesee360, Inc. Radially-oriented planar surfaces for flare reduction in panoramic cameras
US6963355B2 (en) * 2001-02-24 2005-11-08 Eyesee380, Inc. Method and apparatus for eliminating unwanted mirror support images from photographic images
AU2002254217A1 (en) * 2001-02-24 2002-09-12 Eyesee360, Inc. Method and apparatus for processing photographic images
US6831643B2 (en) * 2001-04-16 2004-12-14 Lucent Technologies Inc. Method and system for reconstructing 3D interactive walkthroughs of real-world environments
JP2002334322A (ja) * 2001-05-10 2002-11-22 Sharp Corp 透視投影画像生成システム、透視投影画像生成方法、透視投影画像生成プログラムおよび透視投影画像生成プログラムを記憶した記憶媒体
US7312810B2 (en) 2001-05-25 2007-12-25 Matsushita Electric Industrial Co., Ltd. Wide-angle image generating device
US7362969B2 (en) * 2001-05-29 2008-04-22 Lucent Technologies Inc. Camera model and calibration procedure for omnidirectional paraboloidal catadioptric cameras
US6937266B2 (en) * 2001-06-14 2005-08-30 Microsoft Corporation Automated online broadcasting system and method using an omni-directional camera system for viewing meetings over a computer network
US6744569B2 (en) 2001-06-19 2004-06-01 Genex Technologies, Inc Method and apparatus for omnidirectional three dimensional imaging
FR2830128A1 (fr) * 2001-09-26 2003-03-28 Egg Solution Sa Capteur photoelectrique avec des elements de capture de pixels disposes en cercles concentriques et dispositif d'acquisition d'images panoramiques comprenant ce capteur
AU2002334705A1 (en) * 2001-09-27 2003-04-07 Eyesee360, Inc. System and method for panoramic imaging
US7058239B2 (en) * 2001-10-29 2006-06-06 Eyesee360, Inc. System and method for panoramic imaging
DE10158415C2 (de) * 2001-11-29 2003-10-02 Daimler Chrysler Ag Verfahren zur Überwachung des Innenraums eines Fahrzeugs, sowie ein Fahrzeug mit mindestens einer Kamera im Fahrzeuginnenraum
JP2003223633A (ja) * 2002-01-29 2003-08-08 Sharp Corp 全方位視覚システム
US7904826B2 (en) * 2002-03-29 2011-03-08 Microsoft Corporation Peek around user interface
US7852369B2 (en) * 2002-06-27 2010-12-14 Microsoft Corp. Integrated design for omni-directional camera and microphone array
US7184609B2 (en) * 2002-06-28 2007-02-27 Microsoft Corp. System and method for head size equalization in 360 degree panoramic images
FR2842306A1 (fr) * 2002-07-12 2004-01-16 Egg Solution Optronics Dispositif d'acquisition grand-angle d'ondes electromagnetiques, procede et appareil de detection et de visee utilisant un tel dispositif d'acquisition
US7429996B2 (en) * 2002-07-16 2008-09-30 Intel Corporation Apparatus and method for sensing depth in every direction
US7042508B2 (en) * 2002-07-26 2006-05-09 Appro Technology Inc. Method for presenting fisheye-camera images
US7133031B2 (en) * 2002-10-31 2006-11-07 Microsoft Corporation Optical system design for a universal computing device
US20040184653A1 (en) * 2003-03-20 2004-09-23 Baer Richard L. Optical inspection system, illumination apparatus and method for use in imaging specular objects based on illumination gradients
US20040254424A1 (en) * 2003-04-15 2004-12-16 Interscience, Inc. Integrated panoramic and forward view endoscope
US7450165B2 (en) * 2003-05-02 2008-11-11 Grandeye, Ltd. Multiple-view processing in wide-angle video camera
US7126603B2 (en) * 2003-05-30 2006-10-24 Lucent Technologies Inc. Method and system for creating interactive walkthroughs of real-world environment from set of densely captured images
US8896660B2 (en) * 2003-05-30 2014-11-25 Alcatel Lucent Method and apparatus for computing error-bounded position and orientation of panoramic cameras in real-world environments
US7313285B2 (en) * 2003-05-30 2007-12-25 Lucent Technologies Inc. Method and apparatus for compressing and decompressing images captured from viewpoints throughout N-dimensional space
US7356164B2 (en) * 2003-05-30 2008-04-08 Lucent Technologies Inc. Method and apparatus for finding feature correspondences between images captured in real-world environments
US7118228B2 (en) * 2003-11-04 2006-10-10 Hewlett-Packard Development Company, L.P. Image display system
US7038846B2 (en) * 2003-11-24 2006-05-02 Electronic Scripting Products, Inc. Solid catadioptric lens with a single viewpoint
US7268956B2 (en) * 2003-11-24 2007-09-11 Electronic Scripting Products, Inc. Solid catadioptric lens with two viewpoints
GB2408661B (en) * 2003-11-27 2008-02-06 Sony Comp Entertainment Europe Image rendering
US7548803B2 (en) * 2004-01-21 2009-06-16 Maccarthy James Vehicle surveillance and control system
US8130827B2 (en) * 2004-08-13 2012-03-06 Samsung Electronics Co., Ltd. Method and apparatus for interpolating a reference pixel in an annular image and encoding/decoding an annular image
JP4298752B2 (ja) * 2004-09-14 2009-07-22 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US7812882B2 (en) 2004-12-30 2010-10-12 Microsoft Corporation Camera lens shuttering mechanism
EP1729102B1 (en) * 2005-05-24 2019-04-24 Yonathan Gerlitz Detector with miniature optics for constant energy collection from different distances
US20070045522A1 (en) * 2005-09-01 2007-03-01 Yi-Tsung Chien Omnidirectional electromagnetic sensing device
CN100469137C (zh) * 2006-06-19 2009-03-11 浙江工业大学 具有考虑心里感觉功能的全方位监控视觉装置
US9361943B2 (en) * 2006-11-07 2016-06-07 The Board Of Trustees Of The Leland Stanford Jr. University System and method for tagging objects in a panoramic video and associating functions and indexing panoramic images with same
WO2008066742A1 (en) * 2006-11-22 2008-06-05 Geng Z Jason Wide field-of-view reflector and method of designing and making same
RU2346306C2 (ru) * 2007-03-26 2009-02-10 Федеральное государственное образовательное учреждение высшего профессионального образования Астраханский государственный технический университет (ФГОУ ВПО АГТУ) Разветвитель потока электромагнитного излучения
US20090073254A1 (en) * 2007-09-17 2009-03-19 Hui Li Omnidirectional imaging system with concurrent zoom
US8077401B2 (en) * 2007-10-03 2011-12-13 Ricoh Co., Ltd. Catadioptric imaging system
US8203596B1 (en) * 2007-12-20 2012-06-19 Lockheed Martin Corporation Panoramic imaging system with dual imagers
JP4409618B2 (ja) * 2008-06-04 2010-02-03 暁 吉井 全視野投影装置および全視野映像システム
JP4787292B2 (ja) * 2008-06-16 2011-10-05 富士フイルム株式会社 全方位撮像装置
US8587770B1 (en) 2008-09-24 2013-11-19 Jetprotect Corporation Aircraft collision warning system
US9100562B2 (en) * 2009-04-13 2015-08-04 Massachusetts Institute Of Technology Methods and apparatus for coordinated lens and sensor motion
RU2436255C2 (ru) * 2009-09-22 2011-12-10 Александр Анатольевич Саликов Способ и устройство видеонаблюдения
CN101923179B (zh) * 2009-11-06 2013-04-24 中国科学院空间科学与应用研究中心 一种全天空大气重力波成像仪
CN101706588B (zh) * 2009-11-10 2013-04-24 中国科学院空间科学与应用研究中心 一种采用鱼眼镜头和远心光路的全天空大气重力波成像仪
FI20105058A0 (fi) * 2010-01-22 2010-01-22 Valtion Teknillinen Omnidirektionaalinen linssi, linssiä hyödyntävät optiset laitteet sekä menetelmä optiseksi mittaamiseksi
KR20110120590A (ko) * 2010-04-29 2011-11-04 삼성전자주식회사 광학 시스템 및 이를 적용한 영상투사장치
DE102010026572B4 (de) * 2010-07-08 2013-10-31 Michael Kanna Verfahren zur Aufnahme und Wiedergabe von Panoramadarstellungen
CN102043322A (zh) * 2010-11-09 2011-05-04 浙江工业大学 便携式360°环幕影院系统
KR20140053885A (ko) * 2011-04-18 2014-05-08 아이시360, 인코포레이티드 모바일 컴퓨팅 디바이스에서의 파노라마 비디오 이미징을 위한 장치 및 방법
DE112012005632A5 (de) * 2012-01-11 2014-10-23 Michael Kanna Verfahren und Einrichtung zur Aufnahme und Wiedergabe von Panoramadarstellungen
FR2986337B1 (fr) * 2012-01-31 2014-09-05 Jean-Pierre Lauret Systeme optique destine a mesurer la brdf, bsdf et bdtf
CN102736396B (zh) * 2012-07-23 2015-02-04 中国人民解放军国防科学技术大学 双曲凹面折反射全景相机及其制作方法和应用
US9071752B2 (en) * 2012-09-25 2015-06-30 National Chiao Tung University Scene imaging method using a portable two-camera omni-imaging device for human-reachable environments
FR3007613A1 (fr) * 2013-06-20 2014-12-26 Eurekam Dispositif de prise de vue pour l'elaboration securisee de preparations medicamenteuses, support de positionnement d'objets associe, et systeme incluant un tel dispositif et un tel support
US9817243B2 (en) * 2015-01-27 2017-11-14 Microsoft Technology Licensing, Llc Imaging apparatus
US9979885B2 (en) * 2015-02-09 2018-05-22 Steven Christopher Sparks Apparatus and method for capture of 360° panoramic video image and simultaneous assembly of 360° panoramic zoetropic video image
CA2988711A1 (en) 2015-03-24 2016-09-29 Battelle Memorial Institute Imaging system and method of creating images
DE102015215836B4 (de) 2015-08-19 2017-05-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung mit einer reflektierende Facetten aufweisenden Strahlumlenkvorrichtung
JP6833348B2 (ja) * 2016-05-25 2021-02-24 キヤノン株式会社 情報処理装置、画像処理システム、情報処理装置の制御方法、仮想視点画像の生成方法、及び、プログラム
TWI773677B (zh) * 2017-06-30 2022-08-11 揚明光學股份有限公司 廣角投影鏡頭
EP3724858A4 (en) 2017-12-14 2021-01-13 Samsung Electronics Co., Ltd. IMMERSIVE DATA MANAGEMENT PROCESS AND APPARATUS
CN108055513A (zh) * 2017-12-31 2018-05-18 北京机械设备研究所 全景视频安防监控装置
JP7129654B2 (ja) * 2018-04-04 2022-09-02 パナソニックＩｐマネジメント株式会社 赤外線検出装置
US10951859B2 (en) 2018-05-30 2021-03-16 Microsoft Technology Licensing, Llc Videoconferencing device and method
US10573060B1 (en) * 2018-06-14 2020-02-25 Kilburn Live, Llc Controller binding in virtual domes
US10740957B1 (en) * 2018-06-14 2020-08-11 Kilburn Live, Llc Dynamic split screen
WO2020197532A1 (en) * 2019-03-22 2020-10-01 Source Photonics, Inc. System and method for transferring optical signals in photonic devices and method of making the system
WO2020264098A1 (en) * 2019-06-25 2020-12-30 Intelligent Commute Llc Extensiview and adaptive lka for adas and autonomous driving
CN110441311B (zh) * 2019-07-22 2021-10-08 中国科学院上海光学精密机械研究所 用于多物面成像的多轴多焦镜头
CN115327849B (zh) * 2022-09-05 2024-02-06 同济人工智能研究院(苏州)有限公司 一种全景镜头及气体监测设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997043854A1 (en) * 1996-05-10 1997-11-20 The Trustees Of Columbia University In The City Of New York Omnidirectional imaging apparatus

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2638033A (en) * 1950-12-19 1953-05-12 Buchele Donald Robert Unitary catadioptric objective lens system
US3505465A (en) * 1967-04-21 1970-04-07 Us Army Panoramic television viewing system
US4045116A (en) * 1975-02-27 1977-08-30 Russa Joseph A Wide angle optical imaging system
US4136926A (en) * 1978-04-14 1979-01-30 The United States Of America As Represented By The United States Department Of Energy Achromatic illumination system for small targets
US4540208A (en) * 1980-05-09 1985-09-10 Reliable Security Systems, Inc. Point-of-egress control device for safely securing emergency exit doors
US4395093A (en) * 1981-05-21 1983-07-26 The United States Of America As Represented By The Secretary Of The Navy Lens system for panoramic imagery
US4421721A (en) * 1981-10-02 1983-12-20 The Board Of Trustees Of The Leland Stanford Junior University Apparatus for growing crystal fibers
JPS59115677A (ja) * 1982-12-22 1984-07-04 Hitachi Ltd 画像処理装置
HU192125B (en) * 1983-02-08 1987-05-28 Budapesti Mueszaki Egyetem Block of forming image for centre theory projection adn reproduction of spaces
USD312263S (en) 1987-08-03 1990-11-20 Charles Jeffrey R Wide angle reflector attachment for a camera or similar article
US4820048A (en) * 1987-11-19 1989-04-11 The Perkin-Elmer Corporation Detector for a spectrometer
US5029963A (en) * 1990-02-15 1991-07-09 Itt Corporation Replacement device for a driver's viewer
RU2011308C1 (ru) * 1990-10-16 1994-04-15 Научно-исследовательский институт физической оптики, оптики лазеров, информационно-оптических систем головного института Всероссийского научного центра "Государственный оптический институт им.С.И.Вавилова" Способ формирования изображения и устройство для его осуществления
JPH04185075A (ja) * 1990-11-20 1992-07-01 Canon Inc カラー画像処理装置
US5359363A (en) * 1991-05-13 1994-10-25 Telerobotics International, Inc. Omniview motionless camera surveillance system
US5185667A (en) * 1991-05-13 1993-02-09 Telerobotics International, Inc. Omniview motionless camera orientation system
US5530650A (en) * 1992-10-28 1996-06-25 Mcdonnell Douglas Corp. Computer imaging system and method for remote in-flight aircraft refueling
EP0623268A1 (en) * 1992-11-24 1994-11-09 Geeris Holding Nederland B.V. A method and device for producing panoramic images, and a method and device for consulting panoramic images
US5473474A (en) * 1993-07-16 1995-12-05 National Research Council Of Canada Panoramic lens
US5610391A (en) * 1994-08-25 1997-03-11 Owens-Brockway Glass Container Inc. Optical inspection of container finish dimensional parameters
FR2731896B1 (fr) * 1995-03-24 1997-08-29 Commissariat Energie Atomique Dispositif de mesure de la position du point de fixation d'un oeil sur une cible, procede d'eclairage de l'oeil et application a l'affichage d'images dont les images changent en fonction des mouvements de l'oeil
JPH08275066A (ja) * 1995-03-29 1996-10-18 Toshiba Corp パノラマカメラ
CA2146406A1 (en) * 1995-04-05 1996-10-06 Ian Powell Panoramic fish-eye imaging system
US5627675A (en) * 1995-05-13 1997-05-06 Boeing North American Inc. Optics assembly for observing a panoramic scene
US5539483A (en) * 1995-06-30 1996-07-23 At&T Corp. Panoramic projection apparatus
US6459451B2 (en) * 1996-06-24 2002-10-01 Be Here Corporation Method and apparatus for a panoramic camera to capture a 360 degree image

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997043854A1 (en) * 1996-05-10 1997-11-20 The Trustees Of Columbia University In The City Of New York Omnidirectional imaging apparatus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101091564B1 (ko) 2009-12-22 2011-12-13 연세대학교 산학협력단 전방향 카메라

Also Published As

Publication number Publication date
RU2201607C2 (ru) 2003-03-27
KR20010024698A (ko) 2001-03-26
JP2001526471A (ja) 2001-12-18
CA2312970A1 (en) 1999-06-17
AU1903399A (en) 1999-06-28
BR9813370A (pt) 2001-08-28
CN1290355A (zh) 2001-04-04
EP1042697A1 (en) 2000-10-11
US6118474A (en) 2000-09-12
WO1999030197A1 (en) 1999-06-17

Similar Documents

Publication Publication Date Title
KR100599423B1 (ko) 전방향성 이미징 장치
JP4023827B2 (ja) 全方向性撮像装置
Nayar Catadioptric omnidirectional camera
US6130783A (en) Omnidirectional visual sensor having a plurality of mirrors with surfaces of revolution
US6856472B2 (en) Panoramic mirror and system for producing enhanced panoramic images
US6594448B2 (en) Radially-oriented planar surfaces for flare reduction in panoramic cameras
US6744569B2 (en) Method and apparatus for omnidirectional three dimensional imaging
US7649690B2 (en) Integrated panoramic and forward optical device, system and method for omnidirectional signal processing
US6313865B1 (en) Method and apparatus for implementing a panoptic camera system
US6304285B1 (en) Method and apparatus for omnidirectional imaging
JP3549898B2 (ja) 広角の画像形成用システム及び方法
Nayar Omnidirectional vision
US7298548B2 (en) Multi-directional viewing and imaging
US20050117227A1 (en) Panoramic imaging system with optical zoom capability
JP2006011103A (ja) 球面ミラー撮像装置
KR100482727B1 (ko) 전방향성결상장치및방법
CN210803962U (zh) 全景环形成像光学系统
Ohte et al. A practical spherical mirror omnidirectional camera
CA2251879C (en) Omnidirectional imaging apparatus
MXPA00005531A (en) An omnidirectional imaging apparatus
CA2439296A1 (en) Panoramic mirror and system for producing panoramic images
HK1021282B (en) Omnidirectional imaging apparatus, omnidirectional imaging projection apparatus and omnidirectional imaging method

Legal Events

Date Code Title Description
PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

R15-X000 Change to inventor requested

St.27 status event code: A-3-3-R10-R15-oth-X000

R16-X000 Change to inventor recorded

St.27 status event code: A-3-3-R10-R16-oth-X000

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

T13-X000 Administrative time limit extension granted

St.27 status event code: U-3-3-T10-T13-oth-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

R15-X000 Change to inventor requested

St.27 status event code: A-3-3-R10-R15-oth-X000

R16-X000 Change to inventor recorded

St.27 status event code: A-3-3-R10-R16-oth-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

R15-X000 Change to inventor requested

St.27 status event code: A-3-3-R10-R15-oth-X000

R16-X000 Change to inventor recorded

St.27 status event code: A-3-3-R10-R16-oth-X000

A201 Request for examination
E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

FPAY Annual fee payment

Payment date: 20120704

Year of fee payment: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20130703

Year of fee payment: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20140705

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20140705