KR20110139233A - 거리 측정 방법 및 거리 측정 장치 - Google Patents
거리 측정 방법 및 거리 측정 장치 Download PDFInfo
- Publication number
- KR20110139233A KR20110139233A KR1020117022217A KR20117022217A KR20110139233A KR 20110139233 A KR20110139233 A KR 20110139233A KR 1020117022217 A KR1020117022217 A KR 1020117022217A KR 20117022217 A KR20117022217 A KR 20117022217A KR 20110139233 A KR20110139233 A KR 20110139233A
- Authority
- KR
- South Korea
- Prior art keywords
- parallax
- amount
- distance
- imaging means
- extracted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
- G01C3/18—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with one observation point at each end of the base
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
거리 측정 방법은 소정의 기선 길이를 사이에 두고서 제공되는 2개의 촬상 수단을 이용하여 피사체를 촬영하는 스텝; 및 상기 촬영된 쌍들의 화상 내의 대응점에 관한 거리 정보를 얻는 스텝을 포함한다.
소망의 값에서 상기 기선 길이를 갖고 제 1 회 촬영 동작이 행해진다. 그 후, 각 촬영 동작에서 기선 길이를 L(m+1/n), L(m+2/n)... L{m+(n-1)/n} 변경해서 n회 촬영 동작이 수행되고, 여기서 L은 상기 촬상 수단의 화소 피치이고, m은 임의의 자연수이며, n은 2 이상의 정수이다. n회 촬영 동작에 대해 시차량 연산부(23)에 의해 얻어지는 상기 시차량 중으로부터 각 촬영 동작에 공통인 소정 범위 내의 시차량이 기록 판정부(24)에 의해 추출된다. 상기 추출된 시차량에 의거하여 상기 거리 정보가 얻어진다.
소망의 값에서 상기 기선 길이를 갖고 제 1 회 촬영 동작이 행해진다. 그 후, 각 촬영 동작에서 기선 길이를 L(m+1/n), L(m+2/n)... L{m+(n-1)/n} 변경해서 n회 촬영 동작이 수행되고, 여기서 L은 상기 촬상 수단의 화소 피치이고, m은 임의의 자연수이며, n은 2 이상의 정수이다. n회 촬영 동작에 대해 시차량 연산부(23)에 의해 얻어지는 상기 시차량 중으로부터 각 촬영 동작에 공통인 소정 범위 내의 시차량이 기록 판정부(24)에 의해 추출된다. 상기 추출된 시차량에 의거하여 상기 거리 정보가 얻어진다.
Description
본 발명은 2개의 촬상 수단에 의해 피사체를 촬영함으로써 시차를 갖는 화상 쌍을 얻고 상기 화상에 의거하여 화상 내의 각 점의 거리를 측정하는 방법에 관한 것이다.
또한, 본 발명은 상술한 거리 측정 방법을 실시하기 위한 장치에 관한 것이다.
예컨대, 일본 특허 공개 2000-283753호 공보에 개시된 바와 같이, 소정의 기선(基線) 길이를 사이에 두고서 제공되는 2개의 촬상 수단에 의해 피사체가 촬영되어 시차를 갖는 2개의 화상을 얻고, 상기 화상에 의거하여 화상 내의 점들의 거리가 측정되는 방법이 공지되어 있다. 상기 타입의 거리 측정 방법은 입체 화상을 발생시키고, 측정 대상인 물체의 3차원 위치 정보를 얻기 위해 이용된다.
그러나, 상술한 바와 같이, 2개의 촬상 수단을 이용한 종래의 거리 측정 방법에 있어서 촬영된 피사체 내의 특정 범위의 시차량의 내에 시차량에 의거하여 연산되는 거리 정보에 큰 오차가 발생되는 경우가 있다.
일본 특허 공개 8(1996)-075456호 공보는 측정되는 거리 정보의 정확성을 향상시키기 위해 특징 점의 이동(부화소의 유닛에서의 이동량)에 의거하여 거리 정보를 보정하도록 한 쌍의 촬상 수단이 약간 이동되는 발명을 개시한다. 그러나, 상기 보정은 다루기 힘들고 상기 보정 처리는 시간을 낭비한다.
본 발명은 상기의 사정의 관점에서 개발되었다. 본 발명의 목적은 단순한 방식에서 큰 오차가 발생되는 것을 방지할 수 있는 2개의 촬상 수단을 이용하는 거리 측정 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 상기 거리 측정 방법을 실시할 수 있는 거리 측정 장치를 제공하는 것이다.
본 발명의 거리 측정 방법은 소정의 기선 길이를 사이에 두고서 제공되는 2개의 촬상 수단에 의해 피사체를 촬영함으로써 얻어진 피사체의 화상 쌍 내의 대응점에 관한 거리 정보를 상기 대응점 사이의 시차량에 의거하여 구하는 거리 측정 방법에 있어서:
제 1 회 촬영 동작은 상기 기선 길이를 임의의 값으로 설정해서 수행되고;
상기 제 1 회 촬영 동작 후 각 촬영 동작에서 기선 길이를 L(m+1/n), L(m+2/n)... L{m+(n-1)/n} 변경해서 n회 촬영 동작이 수행되고, 여기서 L은 상기 촬상 수단의 화소 피치이고, m은 임의의 자연수이며, n은 2 이상의 정수이고;
상기 n회 촬영 동작에 의해 얻어진 상기 시차량 중 각 촬영 동작에 공통인 소정 범위 내의 시차량이 추출되고;
상기 추출된 시차량에 의거하여 상기 거리 정보가 구해지는 것을 특징으로 한다.
시차를 갖는 3개 이상의 화상이 촬영되고, 상기 화상들 내의 대응하는 점에 의거하여 거리 정보가 얻어지는 기술이 공지되어 있다는 것을 주목해야 한다. 상기 경우에서 또한, 3개 이상의 화상 중으로부터 화상 쌍에 관해서 상술한 각 처리가 처리된다면 상기 방법은 본 발명의 범주에 포함된다.
본 발명의 거리 측정 방법에 있어서, 상기 기선 길이를 변경할 때 한쪽 촬상 수단은 고정되는 것이 바람직하다. 상기 기선 길이의 변경은 기선 길이가 단축되거나 증대될 수 있다.
본 발명의 거리 측정 방법에 있어서, 상기 추출된 시차량은 기선 길이의 차이에 의한 변동을 보상하는 보정 처리가 되고, 상기 처리된 시차량에 의거하여 상기 거리 정보가 얻어지는 것이 또한 바람직하다.
본 발명의 거리 측정 방법에 있어서, 상기 n값은 소망의 거리 출력 정밀도 또는 소망의 거리 출력 속도 중 하나에 따라 변경되는 것이 또한 바람직하다.
한편, 본 발명의 거리 측정 장치는:
소정의 기선 길이를 사이에 두고서 제공되는 2개의 촬상 수단; 및
상기 2개의 촬상 수단에 의해 피사체를 촬영함으로써 얻어진 피사체의 화상 쌍 내의 대응점에 관한 거리 정보를 상기 대응점 사이의 시차량에 의거하여 구하는 연산 수단을 구비하는 거리 측정 장치에 있어서:
상기 기선 길이를 소망의 값으로 설정해서 제 1 회 촬영 동작 후, 기선 길이를 L(m+1/n), L(m+2/n)... L{m+(n-1)/n} 변경해서 n회 촬영 동작을 수행하도록 상기 2개의 촬상 수단을 상대 이동시키는 이동 수단으로서, L은 상기 촬상 수단의 화소 피치이고, m은 임의의 자연수이며, n은 2 이상의 정수인 이동 수단; 및
상기 n회 촬영 동작에 의해 얻어진 상기 시차량 중 각 촬영 동작에 공통인 소정 범위 내의 시차량을 추출하고 상기 추출된 시차량에 의거하여 상기 거리 정보를 구하도록 구성된 상기 연산 수단을 구비하는 것을 특징으로 한다.
여기서 또한, 기선 길이의 변경은 기선 길이가 단축되거나 증대될 수 있다.
본 발명의 거리 측정 장치에 있어서, 상기 이동 수단은 한쪽 촬상 수단을 이동시키는 반면에, 다른쪽 촬상 수단을 고정 상태로 유지하는 것이 바람직하다.
또한 본 발명의 거리 측정 장치는,
상기 추출된 시차량에 대하여 기선 길이의 차이에 의한 변동을 보상하는 보정 처리를 하는 보정 수단을 더 구비하는 것이 기재될 수 있다.
2개의 촬상 수단을 이용하는 거리 측정 방법에 있어서, 촬영된 피사체 내의 특정 범위의 시차량 내에 시차량에 의거하여 연산되는 거리 정보에 큰 오차가 발생되는 경우가 있다. 상기 큰 오차가 발생되는 시차량의 범위는 촬상 수단의 화소 피치에 대응하는 주기에서 주기적으로 나타난다.
본 발명의 거리 측정 방법은 상술한 사실의 관점에서 개발되었다, 즉, 기선 길이가 임의의 값으로 설정됨과 함께 제 1 촬영 동작이 행해진다. 그 후, 각 촬영 동작에서 기선 길이를 L(m+1/n), L(m+2/n)... L{m+(n-l)/n} 변경해서 n회의 촬영 동작이 수행되고, 여기서 L은 상기 촬상 수단의 화소 피치이고, m은 임의의 자연수이며, n은 2 이상의 정수이다. 그 후, 상기 n회 촬영 동작에 의해 구해진 시차량 중 각 촬영 동작에 공통인 소정 범위 내의 시차량이 추출된다. 마지막으로, 추출된 시차량에 의거하여 거리 정보가 구해진다. 따라서, 상기 소정 범위를 적절히 설정함으로써 거리 정보에서의 큰 오차가 발생되도록 귀착되지 않는 시차량이 상기 거리 정보를 얻는데 이용될 수 있다.
본 발명의 거리 측정 방법에 있어서, 기선 길이를 변경하는 동안 하나의 촬상 수단은 고정되는 구성이 채용될 수 있다는 것을 주목해야 한다. 상기 경우에서, 3차원 공간의 원점이 고정 촬상 수단에 관련될 수 있다. 따라서, 후술하게 되는 시차량의 합성 및 거리 정보의 합성이 용이해질 수 있다.
또한, 본 발명의 거리 측정 방법에 있어서, 상기 추출된 시차량이 기선 길이에서의 차이에 의한 변동을 보상하는 보정 처리가 되고, 상기 처리된 시차량에 의거하여 거리 정보가 얻어지는 구성이 채용될 수 있다. 상기 경우에서, 기선 길이에서의 변화에 의해 오차가 발생되는 것이 방지되고, 정확한 거리 정보를 얻는 것이 가능하게 된다.
본 발명의 거리 측정 방법에 있어서, 하기와 같은 구성이 채용될 수 있다: 상기 n의 값이 소망의 거리 출력 정밀도 및 소망의 거리 출력 속도 중 하나에 의하여 변경된다. 상기 경우에서, 소망의 거리 출력 정밀도 또는 소망의 거리 출력 속도의 실현이 용이해진다. 즉, 상기 n의 값이 증가되면 촬영 동작의 횟수가 늘어난다. 따라서, 궁극적으로 측정 거리가 출력될 때까지 요구되는 시간량이 길어지고, 거리 출력 속도가 저하한다. 그러나, n의 값이 클수록 더 적은 오차량을 갖는 시차량이 추출되고 이용될 수 있고, 따라서 거리 출력 정밀도는 향상된다. 상기의 것과 대조적으로, n의 값이 감소되면, 거리 출력 속도는 향상되는 반면에, 거리 출력 정밀도는 저하한다. 상기 경향 때문에, 소망의 거리 출력 정밀도가 높을 경우에는 n의 값을 크게 설정하고, 소망의 거리 출력 속도가 높을 경우에는 n의 값을 작게 설정함으로써 소망의 거리 출력 정밀도 또는 소망의 거리 출력 속도의 실현이 용이해질 수 있다.
상술한 바와 같이, 본 발명의 거리 측정 장치는,
소정의 기선 길이를 사이에 두고서 제공되는 2개의 촬상 수단; 및
상기 2개의 촬상 수단으로 피사체를 촬영함으로써 얻어진 피사체의 화상 쌍 내의 대응점에 관한 거리 정보를 상기 대응점 사이의 시차량에 의거하여 구하는 연산 수단을 구비하는 거리 측정 장치에 있어서:
상기 기선 길이를 소망의 값으로 설정해서 제 1 회 촬영 동작 후, 각 촬영 동작에서 기선 길이를 L(m+1/n), L(m+2/n)... L{m+(n-1)/n} 변경해서 n회 촬영 동작을 수행하도록 상기 2개의 촬상 수단을 상대 이동시키는 이동 수단으로서, L은 상기 촬상 수단의 화소 피치이고, m은 임의의 자연수이며, n은 2 이상의 정수인 이동 수단; 및
상기 n회 촬영 동작에 의해 얻어진 상기 시차량 중 각 촬영 동작에 공통인 소정 범위 내의 시차량을 추출하고 상기 추출된 시차량에 의거하여 상기 거리 정보를 구하도록 구성된 상기 연산 수단을 더 구비하는 것을 특징으로 한다. 따라서, 본 발명의 거리 측정 장치는 본 발명의 거리 측정 방법을 실시할 수 있다.
본 발명의 거리 측정 장치는 상기 추출된 시차량에서 상기 기선 길이에서의 차이에 의한 변동을 보상하는 보정 처리를 하는 보정 수단을 더 구비하는 구성이 채택될 수 있다. 상기 경우에서, 기선 길이에서의 변화에 의해 오차가 발생되는 것이 방지될 수 있고, 정확한 거리 정보를 얻는 것이 가능하게 된다.
도 1은 본 발명의 제 1 실시형태에 의한 거리 측정 장치의 전체 구성을 예시하는 측면도이다.
도 2는 도 1의 장치의 주요부를 예시하는 블록도이다.
도 3은 도 1의 장치에 의해 행해지는 처리의 스텝을 예시하는 흐름도이다.
도 4는 시차량과 오차간의 관계를 예시하고 추출되는 시차량을 설명하는 집합도이다.
도 5는 시차 특성의 일례를 예시하고, 추출되는 시차량을 설명하는 집합도이다.
도 6은 기선 길이에 의한 시차량의 변동을 예시하는 집합도이다.
도 7은 도 6에 예시한 변동을 보상하는 처리를 설명하는 집합도이다.
도 8은 본 발명의 제 2 실시형태에 의한 거리 측정 장치의 주요부를 예시하는 블록도이다.
도 9는 도 8의 장치에 의해 행해지는 처리의 스텝을 예시하는 흐름도이다.
도 10은 본 발명의 제 3 실시형태에 의한 거리 측정 장치의 주요부를 예시하는 블록도이다.
도 11은 도 10의 장치에 의해 행해지는 처리의 스텝을 예시하는 흐름도이다.
도 2는 도 1의 장치의 주요부를 예시하는 블록도이다.
도 3은 도 1의 장치에 의해 행해지는 처리의 스텝을 예시하는 흐름도이다.
도 4는 시차량과 오차간의 관계를 예시하고 추출되는 시차량을 설명하는 집합도이다.
도 5는 시차 특성의 일례를 예시하고, 추출되는 시차량을 설명하는 집합도이다.
도 6은 기선 길이에 의한 시차량의 변동을 예시하는 집합도이다.
도 7은 도 6에 예시한 변동을 보상하는 처리를 설명하는 집합도이다.
도 8은 본 발명의 제 2 실시형태에 의한 거리 측정 장치의 주요부를 예시하는 블록도이다.
도 9는 도 8의 장치에 의해 행해지는 처리의 스텝을 예시하는 흐름도이다.
도 10은 본 발명의 제 3 실시형태에 의한 거리 측정 장치의 주요부를 예시하는 블록도이다.
도 11은 도 10의 장치에 의해 행해지는 처리의 스텝을 예시하는 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시형태를 설명한다. 도 1은 본 발명의 제 1 실시형태에 의한 거리 측정 장치의 전체 구성을 예시하는 측면도이다. 도 2는 도 1에 예시된 제어 장치(20)의 구성을 입체 카메라(10) 및 입체 카메라 구동부(21)와 함께 예시하는 블록도이다.
제 1 실시형태의 거리 측정 장치는 일례로서 3차원 측정 장치에 적용된다. 도 1에 예시된 바와 같이, 상기 거리 측정 장치에는 2개의 디지털 카메라(11A 및 11B)를 갖는 입체 카메라(10); 베이스(12); 상기 베이스(12)로부터 수직으로 연장하도록 제공되는 스탠드(13); 측정 대상물(14)을 촬영하도록 상기 디지털 카메라(11A 및 11B)를 도 1의 수평 방향으로 이동가능하게 유지하는 레일(15); 디지털 카메라(11A)를 레일(15)을 따라 이동시키는 입체 카메라 구동부(21); 및 상기 입체 카메라(10) 및 입체 카메라 구동부(21)를 제어하는 제어 장치(20)가 구비된다.
도 2에 예시하는 바와 같이, 상기 제어 장치(20)에는 입체 카메라(10) 및 입체 카메라 구동부(21)의 동작을 제어하는 제어부(22); 디지털 카메라(11A 및 11B)로부터 출력되는 디지털 화상 정보를 수신하는 시차량 연산부(23); 상기 시차량 연산부(23)에 접속되는 기록 판정부(24); 상기 기록 판정부(24)에 접속되는 거리 연산부(25); 및 상기 거리 연산부(25)에 접속되는 기록부(26)가 구비된다. 상기 제어 장치(20)는 연산부, 기억부, 인터페이스, 및 표시 수단 등을 포함하는 공지의 컴퓨터 시스템(도시 생략)으로 구성된다.
이어서, 상기 제어 장치(20)에 의해 행해지는 거리 측정 처리의 흐름을 도 3을 참조하여 설명할 것이다. 우선, 스텝(ST1)에서 처리가 시작된다. 제어 장치(20)는 스텝(ST2)에서 측정 대상물(14)을 촬상하는 바에 따라 디지털 카메라(11A, 11B)로부터 출력되는 화상 정보에 의해 형성되는 쌍들의 화상 정보 세트를 취득한다. 화상 취득 동안, 제어 장치(20)는 인터페이스(도시 생략)를 통해 입력되는 지시에 의거하여 입체 카메라 구동부(21)의 동작을 제어하여, 디지털 카메라(11A 및 11B)가 제 1 회 촬영 동작 동안 소정의 기선 길이를 사이에 둔다. 그 후, 디지털 카메라(11A)가 소정 거리 이동되고, 제 2 회 촬영 동작이 실행된다. 각 디지털 카메라(11A 및 11B)로부터 출력되는 화상 정보가 각 촬영 동작 동안 취득되므로, 본 예에서는 두 쌍의 화상 정보 세트가 취득된다.
스텝(ST3)에서, 제어 장치(20)는 도 2의 시차량 연산부(23)를 채용하여, 각 쌍 내에 화상을 나타내는 화상 정보에 의거하여 각 쌍의 화상 내에 대응점에 대한 시차량을 연산한다. 상기 대응점의 탐색 및 시차량의 연산은 일본 특허 공개 10(1998)-320561호 공보 및 2008--190868호 공보 등의 공지의 방법에 의해 행해질 수 있다는 것을 주목해야 한다.
이어서, 제어 장치(20)는 도 2의 기록 판정부(24)를 이용하여 스텝(ST4 내지 ST7)의 처리를 행한다. 스텝(ST4)에서, 기록 판정부(24)는 각 쌍의 화상 내의 각 쌍의 대응점(대응 화소)에 대한 시차량이 후술하는 2개의 소정의 역치 사이에, 즉 소정의 범위 내에 있는지 여부를 판정한다. 한 쌍의 대응점에 대한 시차량이 소정의 범위 내에 있는 경우, 스텝(ST5)에서 상기 시차량은 기록 대상으로 판정된다. 한 쌍의 대응점에 대한 시차량이 소정의 범위 외로 떨어진 경우, 스텝(ST6)에서 상기 시차량은 삭제 대상으로 판정된다. 상기 판정 결과는 시차량을 나타내는 정보와 관련되고, 하기의 처리로 보내진다. 이어서, 제어 장치(20)는 스텝(ST7)에서 상기 판정 처리가 상기 한 쌍의 화상 내의 모든 쌍의 대응 화소에 대해 완료되었는지 여부를 판정한다. 판정 처리가 완료되지 않은 경우, 처리는 스텝(ST4)으로 리턴하고, 상기 판정 처리가 완료된 경우, 처리는 스텝(ST8)으로 진행한다.
이어서, 제어 장치(20)는 도 2의 거리 연산부(25)를 채용하여 스텝(ST8 내지 ST10)의 처리를 행한다. 스텝(ST8)에서, 거리 연산부(25)는 각 쌍의 화상 내의 대응점의 시차량에 의거하여 각 대응점의 거리, 즉 디지털 카메라(11A 및 11B)로부터 촬영된 측정 대상물(14)의 표면 상의 각 점까지의 거리를 연산한다. 그 후, 스텝(ST9)에서, 제어 장치(20)는 스텝(ST5)에서 기록 대상으로 판정되었던 시차량에 의거하여 얻어진 거리를 나타내는 정보를 도 2의 기록부(26)에 기록한다. 이어서, 스텝(ST10)에서 제어 장치(20)는 상기 거리 연산 처리가 모든 쌍의 화상(본 예에서는 두 쌍)에 대해 완료되었는지의 여부를 판정한다. 거리 연산 처리가 모든 쌍의 화상에 대해 완료되지 않은 경우, 처리는 스텝(ST3)으로 리턴하고, 거리 연산 처리가 모든 쌍의 화상에 대해 완료된 경우, 처리는 스텝(ST11)으로 진행하고 종료된다.
기록부(26)에 기록되고 거리를 나타내는 정보는 측정 대상물(14)의 표면 상의 각 점에 관하여 3차원 위치 정보를 얻을 때, 입체 카메라(10)로부터의 거리를 나타내는 정보, 즉 깊이 정보 생성하는데 이용된다는 것을 주목해야 한다.
도 4는 상술한 바와 같이 얻어진 시차량을 나타내는 정보 중으로부터 추출되는 시차량을 추출하기 위한 처리를 설명하는 집합도이다. 도 4에서 번호 1에 의해 지시되는 그래프는 연산된 시차량과 오차 중의 관계를 예시하는 도면이다. 여기서, 시차량은 디지털 카메라(11A 및 11B)의 촬상면 상의 거리에 상대하는 거리로 나타내어진다. 보다 상세하게는, 시차량은 촬상 소자의 화소 피치에 상대하는 거리로 나타내어진다. N 내지 N+1 및 N+1 내지 N+2가 단일 화소 피치에 대응한다.
여기에 예시된 바와 같이, 오차는 기본적으로 시차량에 대응하여 주기적으로 변화되고, 변화의 주기는 단일 화소 피치이다. 이하, 상기 화소 피치를 "L"로 언급한다.
상기 적은 양의 오차를 갖는 시차량을 거리를 연산하는데 채용하기 위하여, 우선 제 1 회 촬영 동작에 의해 얻어진 한 쌍의 화상에 관련된 시차량(도 4에서의 번호 2로 나타낸 도면을 언급함)으로부터, N을 양의 정수로 나타내고 N-0.25L 내지 N+0.25L에서의 범위 내의 시차량이 추출되는 반면에, 남은 시차량, 즉 도 4에서 번호 2에 의해 나타낸 도면에서의 음영이 넣어진 부분에 의해 나타낸 시차량은 삭제된다. 이것이 도 3의 스텝(ST5)과 스텝(ST6)에서 실행되는 처리이다. 상기 방식으로 추출되는 시차량은 가장 적은 오차량을 갖는 값인 N, N+1, N+2...의 ±0.25L의 범위 내에 있는 것이며 그들의 중심으로서 이들 값을 가진다.
도 4에서 번호 3에 의해 나타낸 도면은 제 2 회 촬영 동작에 의해 얻어지는 한 쌍의 화상에 대한 시차량을 예시한다. 도 4에는 도시하지 않았지만, 상기 시차량의 오차 특성은 도 4에 번호 1에 의해 나타낸 그래프에 예시되는 것들과 동일하다. 즉, 상기 오차는 시차량이 N, N+1, N+2...에서 최소가 되고, 화소 피치와 동등한 주기에서 주기적으로 변화한다. 도 3의 스텝(ST5) 및 스텝(ST6)의 처리는 또한 도 4에서의 번호 3에 의해 나타낸 도면에 예시되는 시차량에 관하여 실행된다. 즉, N이 양의 정수로서 나타내어 N-0.25L 내지 N+0.25L의 범위 내의 시차량이 추출되는 반면에, 남은 시차량, 즉 음영이 넣어진 부분에 의해 나타낸 시차량이 삭제된다. 상기 경우에서, 값 N-0.25L 및 N+0.25L이 전술한 역치라는 것을 주목해야 한다.
여기서, 제 1 회 촬영 동작과 제 2 회 촬영 동작 사이에 기선 길이가 L/2만큼 변화된다. 따라서, 도 4에서의 번호 3에 의해 나타낸 도면으로부터 시차량이 추출되는 범위(흰 직사각형)에 의해 나타낸 거리는 그것 바로 위의 도 4에서의 번호 2에 의해 나타낸 도면의 음영이 넣어진 부분에 의해 나타낸 시차량의 범위에 의해 나타낸 거리와 같다. 반대로, 도 4에서의 번호 2에 의해 나타낸 도면으로부터 추출되는 시차량의 범위(흰 직사각형)에 의해 나타낸 거리는 그것 바로 아래의 도 4에서의 번호 3에 의해 나타낸 도면의 음영이 넣어진 부분에 의해 나타낸 시차량의 범위에 의해 나타낸 거리와 같다.
도 4에서의 번호 2에 의해 나타낸 도면으로부터 추출된 시차량과 도 4에서의 번호 3에 의해 나타낸 도면으로부터 추출된 시차량을 서로 보간하도록 합성하고 그것에 의거하여 거리 정보를 계산함으로써 갭을 가지지 않는 거리 정보가 얻어질 수 있다. 대안으로, 도 4에서의 번호 2에 의해 나타낸 도면으로부터 추출된 시차량에 의거하여 거리 정보가 얻어질 수 있고, 도 4에서의 번호 3에 의해 나타낸 도면으로부터 추출된 시차량에 의거하여 거리 정보가 얻어질 수 있고, 상기 얻어진 거리 정보는 서로 보간하도록 합성될 수 있다.
이어서, 도 4에서의 번호 4 내지 7에 의해 나타낸 도면을 참조하여 본 발명의 대안의 실시형태를 설명할 것이다. 상술한 실시형태에 있어서, m의 값이 0으로 설정되었고, n의 값이 2로 설정되어 제 1 회 촬영 동작 후에 기선 길이가 L/2만큼 단축되었고, 합계 2회의 촬영 동작(2지점으로부터의 촬영)이 행해졌다. 그에 반하여, 대안의 실시형태에서는 m의 값이 0으로 설정되고, n의 값이 4로 설정된다. 제 1 회 촬영 동작이 임의로 설정된 기선 길이를 갖고 행해진 후에, 기선 길이가 L/4, 2L/4, 및 3L/4만큼 단축되어 합계 4회 촬영 동작(4지점으로부터의 촬영)을 행한다.
상기 경우에서, 제 1 회, 제 2 회, 제 3 회, 및 제 4 회 촬영 동작에 의해 얻어지는 시차량 중으로부터 추출되고 삭제되는 시차량은 각각 도 4에서의 번호 4 내지 7에 의해 나타낸 도면에 나타낸 흰 직사각형 및 음영이 넣어진 부분이다. 상기 경우에서, N-0.125L 내지 N+0.125L의 범위 내의 시차량이 추출된다.
이하, 상기 대안의 실시형태에 있어서 추출되고 삭제되는 시차량을 더욱 상세히 설명할 것이다. 일례로서, 도 5의 상부 좌측에서의 그래프에 예시하는 바와 같은 시차 특성(G)이 고려될 것이다. 상기 시차 특성이 촬영 지점을 바꾸는 것 없이 합계 4회의 촬영 동작으로 얻어지고, 상술한 바와 같이 시차량이 추출되고 삭제된다면 제 1 회, 제 2 회, 제 3 회, 및 제 4 회 촬영 동작 동안 얻어지는 시차량 중으로부터 삭제되고 추출되는 시차량은 각각 도 5에서의 번호 1 내지 4에 의해 나타낸 도면에 예시되는 음영이 넣어진 부분과 음영이 넣어진 부분들 사이의 부분에 의해 나타내는 것들일 것이다.
그러나, 본 실시형태에 있어서 제 4 회 촬영 동작이 다른 지점으로부터 행해진다. 따라서, 삭제되고 추출된 시차량은 각각 도 6에서의 번호 1 내지 4에 의해 나타낸 도면에 예시되는 음영이 넣어진 부분과 음영이 넣어진 부분들 사이의 부분에 의해 나타낸 것들이다. 상기 경우에서, 음영이 넣어진 부분들간의 범위가 합성되고, 상기 합성된 시차량에 의거하여 거리 정보가 얻어지면 거리 정보에 오차가 발생될 것이다. 상기 오차가 발생되는 것을 방지하기 위하여 도 6에서의 번호 2 내지 4에 의해 나타낸 도면의 음영이 넣어진 부분들간의 시차량에 제 1 회 촬영 동작의 것과의 촬영 지점에서의 차이에 의해 발생하는 차이를 보상하는 처리가 처리될 수 있다. 그 후, 도 7에서의 번호 2 내지 4에 의해 나타낸 도면에 예시되는 바와 같은 처리된 시차량이 합성될 수 있다.
이어서, 도 8을 참조하여 본 발명의 제 2 실시형태에 의한 거리 측정 장치를 설명할 것이다. 도 2를 참조하여 설명된 것들과 동일한 요소는 동일한 참조 번호로 표시될 것이고, 그것들의 불필요한 설명은 특히 필요하지 않는 한에 있어서는 생략될 것이다(동일한 것이 이후의 실시형태에 적용될 것임).
제 2 실시형태의 장치는 2지점 촬영 및 4지점 촬영 등의 선택을 가능하게 한다. 제어 장치(120)는 이동량 설정부(30)가 제공된다. 제 2 실시형태의 장치는 기본적으로 상기 부분만이 도 2에서 예시되는 것과 다르다.
이어서, 제 2 실시형태의 상기 장치에 의해 행해지는 처리가 도 9를 참조하여 설명될 것이다. 우선, 스텝(ST1)에서 처리가 시작된다. 제어 장치(120)는 스텝(ST20)에서 인터페이스(도시 생략)를 통하여 이동량 설정부(30)에 구체화된 디지털 카메라(11A)의 단일 이동 동작에 대한 이동량을 판정한다. 상기 판정 결과가 1/2 화소인 경우, 즉 n의 값이 2인 경우, 처리는 스텝(ST21)으로 진행한다. 스텝(ST21)에서 제 1 회 촬영 동작과, 디지털 카메라(11A)가 1/2 화소에 대응하는 거리, 즉 L/2만큼 이동되어 기선 길이를 단축시킨 제 2 회 촬영 동작이 행해진다.
반면에, 스텝(ST20)에서의 판정 결과가 1/4 화소인 경우, 즉 n의 값이 4인 경우, 처리는 스텝(ST22)으로 진행한다. 스텝(ST22)에서 디지털 카메라(11A)가 초기 지점에서 제공되는 제 1 회 촬영 동작과, 디지털 카메라(11A)가 초기 지점에서 1/4 화소에 대응하는 거리, 즉 L/4만큼 이동되어 기선 길이를 단축시킨 제 2 회 촬영 동작과, 디지털 카메라(11A)가 초기 지점에서 2L/4의 거리만큼 이동되어 기선 길이를 단축시킨 제 3 회 촬영 동작과, 디지털 카메라(11A)가 초기 지점에서 3L/4의 거리만큼 이동되어 기선 길이를 단축시킨 제 4 회 촬영 동작이 행해진다.
2지점 또는 4지점으로부터의 촬영 동작이 완료된 후, 제어 장치(120)는 스텝(ST23)에서 디지털 카메라(11A 및 11B)로부터 출력되는 화상 정보에 의해 형성되는 쌍들의 화상 정보 세트를 얻는다. 그 후, 디지털 카메라(11A)의 이동량에 대응하여 시차량 추출을 위한 역치가 설정된다. 상기 역치는 2지점으로부터의 촬영 및 4지점으로부터의 촬영에 대해 이전에 설명한 것들일 수 있다. 그 후 처리는 도 3의 스텝(ST3)과 같은 스텝(ST3)으로 진행한다. 그 후의 처리의 흐름은 도 3을 참조하여 설명한 것과 같다.
이어서, 본 발명의 제 3 실시형태에 의한 거리 측정 장치가 도 10을 참조하여 설명될 것이다. 제 3 실시형태의 장치는 도 7을 참조하여 이전에 설명하였던 기선 길이에서의 차이에 의한 시차량에서의 변동을 보상하는 보정 처리를 행할 수 있다. 제어 장치(220)는 상기 보정 처리를 행하는 시차 보정부(40)가 제공된다. 또한, 제 3 실시형태의 장치는 상기 보정된 시차량에 의거하여 연산되는 거리 정보를 합성하는 처리를 행한다. 제어 장치(220)는 합성 처리를 행하는 합성부(41)가 제공된다. 제 3 실시형태의 장치는 기본적으로 상기 부분만이 도 2에 예시된 것과 다르다.
이어서, 도 11을 참조하여 제 3 실시형태의 장치에 의해 행해지는 처리를 설명할 것이다. 상기 스텝(ST1 내지 ST8)의 처리는 도 3을 참조하여 설명된 것들과 같다. 스텝(ST8)의 처리가 종료되는 경우, 제어 장치(220)는 스텝(ST30)에서 기록 대상인 시차량만을 메모리(도시 생략)에 기록시킨다.
이어서, 스텝(ST10)에서 제어 장치(220)는 상기 스텝(ST1)에서 상기 스텝(ST30)까지의 처리가 모든 쌍들의 화상에 대해 완료되었는지 여부를 판정한다. 처리가 모든 쌍들의 화상에 대해 완료되지 않은 경우, 처리는 스텝(ST3)으로 리턴하고, 처리가 모든 쌍들의 화상에 대해 완료된 경우, 처리는 스텝(ST32)으로 진행한다.
스텝(ST32)에서, 제어 장치(220)는 제 2 회 그리고 이후의 촬영 동작에 대해 기준 위치(제 1 회 촬영 동작 동안의 위치)로부터의 디지털 카메라(11A)의 이동량을 나타내는 정보를 취득한다. 상기 이동량이 상기 인터페이스 등을 통해 조작자에 의해 구체화되는 경우에서, 이동량 정보는 상기 정보가 저장되는 메모리 등으로부터 취득된다. 이어서, 스텝(ST33)에서 제어 장치(220)는 상기 취득된 이동량 정보에 의거하여 각 촬영 동작 동안 취득되었고, 기록 대상으로 지정되었고, 상기 메모리에 저장되는 시차량을 보정한다. 상기 보정 처리는 이전에 도 6 및 도 7을 참조하여 설명한 것과 같은 것이다.
그 후, 제어 장치(220)는 스텝(ST8)에서 도 10의 거리 연산부(25)를 채용하여 상기 보정된 시차량에 의거하여 각 대응점의 거리를 연산한다. 이어서, 제어 장치(220)는 스텝(ST35)에서 상기 거리를 나타내는 정보를 합성한다. 전술했던 도 4에서의 번호 2에 의해 나타낸 도면의 추출된 시차량과 도 4에서의 번호 3에 의해 나타낸 도면의 추출된 시차량을 합성하는 처리 대신에 상기 합성 처리가 행해진다. 즉, 도 4에서의 번호 2에 의해 나타낸 도면으로부터 추출된 시차량에 의거하여 거리 정보가 취득되고, 도 4에서의 번호 3에 의해 나타낸 도면으로부터 추출된 시차량에 의거하여 거리 정보가 취득되고, 상기 취득된 거리 정보는 서로 보간 하도록 합성된다.
이어서, 스텝(ST36)에서 제어 장치(220)는 상기 합성된 거리 정보를 도 10의 기록부(26)에 기록한다. 상기 처리는 스텝(ST11)에서 종료된다.
n의 값이 2 및 4로서 설정되었던 실시형태를 설명하였다. 그러나, 상기 n의 값은 이들 값에 한정되지 않고, 3 이상의 값을 갖는 다른 양의 정수가 적용될 수도 있다. 또한, 상술한 실시형태에 있어서 상기 m의 값은 O으로서 설정되었다. 그러나, 상기 m의 값은 1 이상의 값을 갖는 임의의 정수일 수도 있다.
Claims (7)
- 소정의 기선 길이를 사이에 두고서 제공되는 2개의 촬상 수단에 의해 피사체를 촬영함으로써 얻어진 피사체의 화상 쌍 내의 대응점에 관한 거리 정보를 상기 대응점 사이의 시차량에 의거하여 구하는 거리 측정 방법에 있어서:
제 1 회 촬영 동작은 상기 기선 길이를 갖고 임의의 값으로 설정해서 수행되고;
상기 제 1 회 촬영 동작 후 각 촬영 동작에서 기선 길이를 L(m+1/n), L(m+2/n)... L{m+(n-1)/n} 변경해서 n회 촬영 동작이 수행되고, 여기서 L은 상기 촬상 수단의 화소 피치이고, m은 임의의 자연수이며, n은 2 이상의 정수이고;
상기 n회 촬영 동작에 의해 얻어진 상기 시차량 중 각 촬영 동작에 공통인 소정 범위 내의 시차량이 추출되고;
상기 추출된 시차량에 의거하여 상기 거리 정보가 구해지는 것을 특징으로 하는 거리 측정 방법. - 제 1 항에 있어서,
상기 기선 길이를 변경할 때 한쪽 촬상 수단은 고정되는 것을 특징으로 하는 거리 측정 방법. - 제 1 항 또는 제 2 항에 있어서,
상기 추출된 시차량은 기선 길이의 차이에 의한 변동을 보상하는 보정 처리가 되고;
상기 처리된 시차량에 의거하여 상기 거리 정보가 얻어지는 것을 특징으로 하는 거리 측정 방법. - 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 n값은 소망의 거리 출력 정밀도 및 소망의 거리 출력 속도 중 하나에 따라 변경되는 것을 특징으로 하는 거리 측정 방법. - 소정의 기선 길이를 사이에 두고서 제공되는 2개의 촬상 수단; 및
상기 2개의 촬상 수단에 의해 피사체를 촬영함으로써 얻어진 피사체의 화상 쌍 내의 대응점에 관한 거리 정보를 상기 대응점 사이의 시차량에 의거하여 구하는 연산 수단을 구비하는 거리 측정 장치에 있어서:
상기 기선 길이를 임의의 값으로 설정해서 제 1 회 촬영 동작 후, 기선 길이를 L(m+1/n), L(m+2/n)... L{m+(n-1)/n} 변경해서 n회 촬영 동작을 수행하도록 상기 2개의 촬상 수단을 상대 이동시키는 이동 수단으로서, L은 상기 촬상 수단의 화소 피치이고, m은 임의의 자연수이며, n은 2 이상의 정수인 이동 수단; 및
상기 n회 촬영 동작에 의해 얻어진 상기 시차량 중 각 촬영 동작에 공통인 소정 범위 내의 시차량을 추출하고 상기 추출된 시차량에 의거하여 상기 거리 정보를 구하도록 구성된 상기 연산 수단을 더 구비하는 것을 특징으로 하는 거리 측정 장치. - 제 5 항에 있어서,
상기 이동 수단은 한쪽 촬상 수단을 이동시키는 반면에, 다른쪽 촬상 수단을 고정 상태로 유지하는 것을 특징으로 하는 거리 측정 장치. - 제 5 항 또는 제 6 항에 있어서,
상기 추출된 시차량에 대하여 기선 길이의 차이에 의한 변동을 보상하는 보정 처리를 하는 보정 수단을 더 구비하는 것을 특징으로 하는 거리 측정 장치.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JPJP-P-2009-073555 | 2009-03-25 | ||
JP2009073555A JP5068782B2 (ja) | 2009-03-25 | 2009-03-25 | 距離測定方法および装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20110139233A true KR20110139233A (ko) | 2011-12-28 |
Family
ID=42780534
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020117022217A Withdrawn KR20110139233A (ko) | 2009-03-25 | 2010-03-19 | 거리 측정 방법 및 거리 측정 장치 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20120013714A1 (ko) |
EP (1) | EP2411760A4 (ko) |
JP (1) | JP5068782B2 (ko) |
KR (1) | KR20110139233A (ko) |
CN (1) | CN102362147A (ko) |
BR (1) | BRPI1009213A2 (ko) |
WO (1) | WO2010109835A1 (ko) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5133472B2 (ja) * | 2011-04-01 | 2013-01-30 | パナソニック株式会社 | 立体映像出力装置及び立体映像出力方法 |
CN104869384B (zh) * | 2014-02-25 | 2017-04-12 | 华晶科技股份有限公司 | 电子装置及其校正方法 |
US10247551B2 (en) * | 2014-09-11 | 2019-04-02 | Hitachi Automotive Systems, Ltd. | Vehicle image processing device for environment recognition |
CN111402315B (zh) * | 2020-03-03 | 2023-07-25 | 四川大学 | 一种自适应调整双目摄像机基线的三维距离测量方法 |
JP7659740B2 (ja) * | 2020-12-23 | 2025-04-10 | ソニーグループ株式会社 | 移動体、移動体の制御方法、及びプログラム |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0949728A (ja) * | 1995-08-04 | 1997-02-18 | Omron Corp | 距離測定装置 |
JP4193290B2 (ja) * | 1999-06-29 | 2008-12-10 | コニカミノルタホールディングス株式会社 | 多眼式データ入力装置 |
US6785469B1 (en) * | 1999-11-16 | 2004-08-31 | Olympus Corporation | Distance measuring device installed in camera |
JP2001218228A (ja) * | 2000-02-01 | 2001-08-10 | Canon Inc | 立体画像撮影用光学系及びそれを用いた立体画像撮影装置 |
JP2001305681A (ja) * | 2000-04-19 | 2001-11-02 | Nippon Signal Co Ltd:The | ステレオカメラ装置 |
JP2004093457A (ja) * | 2002-09-02 | 2004-03-25 | Toyota Motor Corp | 画像処理装置、及び画像処理方法 |
JP3966830B2 (ja) * | 2003-03-28 | 2007-08-29 | 株式会社東芝 | 立体表示装置 |
FI115947B (fi) * | 2004-02-25 | 2005-08-15 | Nokia Corp | Elektroninen laite ja menetelmä elektronisessa laitteessa kuvainformaation muodostamiseksi sekä ohjelmatuote menetelmän toteuttamiseksi |
JP2009047496A (ja) * | 2007-08-17 | 2009-03-05 | Fujifilm Corp | 立体撮像装置および立体撮像装置の制御方法並びにプログラム |
CN101487970B (zh) * | 2009-03-03 | 2011-01-12 | 无锡易斯科电子技术有限公司 | 一种镜像立体摄像设备及方法 |
CN101498889B (zh) * | 2009-03-03 | 2011-09-21 | 无锡易斯科电子技术有限公司 | 一种多目立体摄像方法及装置 |
-
2009
- 2009-03-25 JP JP2009073555A patent/JP5068782B2/ja not_active Expired - Fee Related
-
2010
- 2010-03-19 KR KR1020117022217A patent/KR20110139233A/ko not_active Withdrawn
- 2010-03-19 US US13/260,296 patent/US20120013714A1/en not_active Abandoned
- 2010-03-19 CN CN2010800136923A patent/CN102362147A/zh active Pending
- 2010-03-19 BR BRPI1009213A patent/BRPI1009213A2/pt not_active IP Right Cessation
- 2010-03-19 EP EP10755638.3A patent/EP2411760A4/en not_active Withdrawn
- 2010-03-19 WO PCT/JP2010/001992 patent/WO2010109835A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
US20120013714A1 (en) | 2012-01-19 |
WO2010109835A1 (en) | 2010-09-30 |
EP2411760A1 (en) | 2012-02-01 |
JP5068782B2 (ja) | 2012-11-07 |
BRPI1009213A2 (pt) | 2018-06-19 |
CN102362147A (zh) | 2012-02-22 |
JP2010223864A (ja) | 2010-10-07 |
EP2411760A4 (en) | 2014-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4843750B2 (ja) | 撮像装置、方法およびプログラム | |
EP3033733B1 (en) | Stereo yaw correction using autofocus feedback | |
CN105791801B (zh) | 图像处理装置、图像拾取装置和图像处理方法 | |
US8144974B2 (en) | Image processing apparatus, method, and program | |
US12243253B2 (en) | Depth information generating apparatus, image capturing apparatus, depth information generating method, image processing apparatus, and image processing method | |
KR20110139233A (ko) | 거리 측정 방법 및 거리 측정 장치 | |
US9538161B2 (en) | System and method for stereoscopic photography | |
US10861135B2 (en) | Image processing apparatus, non-transitory computer-readable recording medium storing computer program, and image processing method | |
JP6039301B2 (ja) | 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体 | |
JP5925109B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
KR20110133677A (ko) | 3d 영상 처리 장치 및 그 방법 | |
US10084950B2 (en) | Image capturing apparatus | |
JP4899151B2 (ja) | 視差補間処理方法および処理装置 | |
WO2012086298A1 (ja) | 撮影装置、方法及びプログラム | |
JP6459487B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2018061292A (ja) | 画像処理装置、画像処理方法、プログラム | |
JP7134601B2 (ja) | 画像処理装置、画像処理方法、撮像装置及び撮像装置の制御方法 | |
CN115314697B (zh) | 图像处理设备和方法、摄像设备及其控制方法和存储介质 | |
JP3963219B2 (ja) | 非接触式形状計測装置 | |
JP2020102786A (ja) | 画像処理装置 | |
JP7346021B2 (ja) | 画像処理装置、画像処理方法、撮像装置、プログラムおよび記録媒体 | |
JP2019083407A (ja) | 像振れ補正装置およびその制御方法、撮像装置 | |
JP2019149717A (ja) | 画像処理装置及び画像処理方法、撮像装置、プログラム、記憶媒体 | |
JP6833772B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
JP6415228B2 (ja) | 画像合成装置および画像合成装置の制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PA0105 | International application |
Patent event date: 20110922 Patent event code: PA01051R01D Comment text: International Patent Application |
|
PG1501 | Laying open of application | ||
PC1203 | Withdrawal of no request for examination | ||
WITN | Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid |