[go: up one dir, main page]

KR101210737B1 - 영상 취득 시스템 - Google Patents

영상 취득 시스템 Download PDF

Info

Publication number
KR101210737B1
KR101210737B1 KR1020110046035A KR20110046035A KR101210737B1 KR 101210737 B1 KR101210737 B1 KR 101210737B1 KR 1020110046035 A KR1020110046035 A KR 1020110046035A KR 20110046035 A KR20110046035 A KR 20110046035A KR 101210737 B1 KR101210737 B1 KR 101210737B1
Authority
KR
South Korea
Prior art keywords
subject
image
moving
line scan
scan camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020110046035A
Other languages
English (en)
Other versions
KR20120128223A (ko
Inventor
윤여준
Original Assignee
주식회사 싸이버로지텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 싸이버로지텍 filed Critical 주식회사 싸이버로지텍
Priority to KR1020110046035A priority Critical patent/KR101210737B1/ko
Publication of KR20120128223A publication Critical patent/KR20120128223A/ko
Application granted granted Critical
Publication of KR101210737B1 publication Critical patent/KR101210737B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/56Accessories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)

Abstract

본 발명은 영상취득 시스템에 관한 것으로, 게이트에 설치된 카메라를 이용하여 상기 게이트 사이를 이동하는 차량 전체를 왜곡 없이 촬영하기 위한 영상취득 시스템에 있어서, 피사체인 이동중인 차량의 영상을 취득하는 카메라 및 상기 피사체인 차량의 높이 전체를 촬영할 수 있도록 상기 피사체와 상기 카메라 사이의 거리를 확보하기 위한 미러 바(Mirror Bar)를 포함하여 피사체를 촬영하는 카메라가 피사체인 차량 및 컨테이너의 높이 전체를 촬영하기 위한 파사체와 카메라 사이의 거리를 확보할 수 없는 공간상의 제약에 있어서도 피사체의 영상을 정보의 손실 없이 취득하는 시스템을 제공한다.
또한, 게이트에 설치된 카메라를 이용하여 상기 게이트 사이를 이동하는 차량 전체를 왜곡 없이 촬영하기 위한 영상취득 시스템에 있어서, 피사체인 이동중인 차량의 영상을 취득하는 제1 라인 스캔 카메라(Line Scan Camera), 상기 피사체의 진행방향과 평행하게 설치된 셀 라인(Cell Line)을 갖는 제2 라인 스캔 카메라(Line Scan Camera) 및 상기 제2 라인 스캔 카메라(Line Scan Camera)로부터 입력받은 영상을 픽셀 단위로 변화량을 측정하여 상기 제2 라인 스캔 카메라(Line Scan Camera)로부터 입력받은 영상의 중복된 부분에 해당하는 부분을 상기 제1 라인 스캔 카메라로부터 입력받은 영상에서 제거하는 처리부를 포함하여, 내부 트리거 신호를 사용하는 라인 스캔 카메라에 있어서 이동중인 피사체인 차량에 대한 촬영 영상이 왜곡이 없도록 하여 목적하고자 하는 영상을 취득하는 시스템을 제공한다.
또한, 게이트에 설치된 카메라를 이용하여 상기 게이트 사이를 이동하는 차량 전체를 왜곡 없이 촬영하기 위한 영상취득 시스템에 있어서, 피사체인 이동중인 차량의 영상을 취득하는 라인 스캔 카메라(Line Scan Camera), 상기 이동중인 피사체의 이동 거리를 측정하는 감지장치; 및 상기 감지장치로부터 입력된 데이터를 처리하여 상기 라인 스캔 카메라의 촬영의 시작 신호 및 종료 신호를 출력하는 트리거(Trigger) 생성장치를 포함하여, 외부 트리거 신호를 이용하는 방법에 의해 라인 스캔 카메라를 사용하여 이동중인 피사체인 차량에 대한 촬영 영상이 왜곡이 없도록 하여 목적하고자 하는 영상을 취득하는 시스템을 제공한다.

Description

영상 취득 시스템{AN IMAGE ACQUISITION SYSTEM}
본 발명은 영상 취득 시스템에 관한 것으로, 보다 구체적으로는 피사체인 차량 및 컨테이너와 이를 촬영하는 카메라 간에 촬영에 필요한 거리를 확보할 수 없는 차량 게이트에 있어서, 정지과정 등 피사체의 속도변화가 존재하는 경우에도 촬영 영상에 대한 정보 손실 또는 정보의 중복이 없는 피사체의 영상을 얻기 위한 시스템에 관한 것이다.
컨테이너 터미널에서 게이트(Gate)는 터미널과 외부를 연결하는 부위이다. 게이트의 형태는 일반 고속도로 톨게이트와 유사하며, 컨테이너의 터미널로 또는 터미널로부터의 컨테이너 반출입과 관련된 수속이 이루어진다. 이때, 게이트의 형태는 다양하게 존재하며 게이트에서 하는 일은 차량 및 새시 확인, 드라이버 확인, 컨테이너 번호 확인, 컨테이너 외관상태 검사, 봉인 상태 점검 등이다. 최근에는 이러한 작업을 자동으로 하기 위해 영상으로 컨테이너를 촬영하여 자동으로 컨테이너 번호를 인식하거나 외관상태를 검사하는 방법이 도입되고 있다.
도 1 및 도 2는 터미널의 자동화 게이트를 표현한 것이며 컨테이너 및 차량에 대한 촬영은 컨테이너의 좌면, 우면, 상면, 전방 및 후방에 대하여 이루어진다. 전방 촬영의 경우 컨테이너 일부와 차량을 확인할 수 있다.
상기 게이트에서 촬영에 사용되는 카메라의 종류는 용도에 따라 라인 스캔 카메라(Line Scan Camera)와 에어리어 스캔 카메라(Area Scan Camera)가 있으며, 라인 스캔 카메라(Line Scan Camera)는 카메라의 센서가 가로로만 픽셀들이 구성되어 있고, 세로로는 하나의 라인만 있기 때문에 피사체가 이동하는 동안 촬영하며, 에어리어 스캔 카메라(Area Scan Camera)는 한 번에 한 프레임(Frame)을 스캔하기 때문에 정지된 또는 이동 중인 피사체를 촬영하게 된다.
게이트에서 영상을 촬영할 때 가장 큰 문제는 첫 번째로, 피사체의 측면 촬영을 위한 카메라와 상기 피사체(차량 및 컨테이너)가 너무 가깝다는 점이다. 통상적인 게이트를 기준으로 할 때 카메라 설치위치로부터 피사체까지의 거리는 측면을 기준으로 약 1.5미터 정도이다. 두 번째 문제는 피사체의 길이가 길다는 점이다.
에어리어 스캔 카메라(Area Scan Camera)를 사용하는 기존 기술
게이트(Gate)에서 피사체에 대해 촬영이 가능한 거리인 1.5미터 정도에서 일반적인 렌즈로 컨테이너 높이 전체를 촬영하는 것이 거의 불가능하기 때문에 어안렌즈와 같은 광각이 큰 렌즈를 사용하게 된다. 취득된 영상은 도 5와 같고, 이미지 처리 작업을 통해서 평탄화 작업을 거친 영상은 도 6과 같다
광각이 큰 어안렌즈를 사용하는 해결 방법은 주름진 컨테이너의 특성과 어안렌즈의 광각이 큰 문제로 촬영된 영상의 에지(Edge) 영역의 영상은 이미지 처리 작업을 거친다고 해도 검사와 인식에 필요한 충분한 화질의 영상을 얻기 힘들다.(도 6 참조)
이러한 광각이 큰 렌즈를 사용할 때의 한계를 극복하기 위하여, 영상촬영 전용 게이트(일반적으로 프리게이트(Pre-Gate)라 함)를 설치하는 방안이 사용된다.(도 8 참조) 이때, 게이트 3개당 1개 정도씩의 프리게이트(Pre-Gate)를 둠으로써 카메라와 피사체의 충분한 거리를 확보할 수 있다.
이처럼 광각이 큰 렌즈를 채용하거나 프리게이트를 설치함으로써 컨테이너 높이의 영상을 촬영할 수 있게 되어도, 피사체의 길이가 길기 때문에 에어리어 스캔 카메라(Area Scan Camera) 한 대로는 길이가 긴 피사체 전체를 촬영할 수 없기 때문에 여러 대의 카메라를 설치하여 동시에 촬영하는 방법(도 3 참조)과 고정된 위치에 카메라를 설치하고 차량 이동 중에 여러 번 촬영하는 방법(도 4 참조)이 사용되고 있다.
이러한 방법을 채용하는 경우에도 프리게이트의 설치 및/또는 여러 대의 카메라를 설치하여 동시에 촬영하는 방법은 과도한 시설투자가 필요하고, 각 카메라별로 다른 설정 차이로 인해 목적에 부합하는 충분한 일관성 있는 화질의 영상을 얻기는 어렵다.
라인스캔 카메라(Line scan camer)를 사용하는 기존기술
라인스캔 카메라(line scan camera)는 그 특성상 어안렌즈와 같은 광각이 큰 렌즈가 사용되지는 않고 있으며, 상하로 여러 대의 카메라를 설치하는 방법이 사용 (도 3b) 되거나, 에어리어 카메라(Area Scan Camera)를 통한 영상촬영에서와 마찬가지로 프리게이트 설치를 통해 충분한 촬영거리 (Working Distance)를 확보하는 방안이 사용되고 있다.
게이트에서 라인 스캔 카메라(Line Scan Camera)를 채용하여 촬영하는 경우 촬영속도를 조절할 수 있는 외부 트리거 (External Trigger)를 사용할 수 없으므로 내부 트리거(Internal Trigger)를 사용하게 되는데, 이 경우 촬영된 영상은 차량의 속도에 따라 차이가 나게 된다. 즉, 차량은 등속을 유지할 수 없으므로 얻고자 하는 영상보다 길이가 늘어나거나 줄어들게 된다. 이렇게 취득된 영상의 화질로는 목적에 부합하는 검사 등을 진행할 수 없게 되는 문제점이 있다.(도 7 참조)
다만, 프리게이트 설치 경우 차량의 이동 속도도 비교적 등속에 가까워 라인 스캔 카메라(Line Scan Camera)를 통한 영상인식에도 기존의 방식에 비해 보다 나은 품질의 영상을 얻을 수 있게 된다.
다만, 상술한 프리게이트(Pre-Gate)를 두는 방법에도 별도의 프리게이트(Pre-Gate)를 두어 이중 장치 구성에 따른 시스템의 복잡도가 증가하고, 설치를 위한 별도의 공간이 필요하며, 카메라와 피사체와의 거리문제로 인한 어안렌즈의 사용 또는 상하 분할 촬영의 문제는 해결되지만 에어리어 스캔 카메라(Area Scan Camera) 사용시 여전히 컨테이너 길이로 인한 문제는 여전히 해결되지 않게 된다.(도 9 참조)
프리게이트(Pre-gate)를 설치하여도 라인 스캔 카메라(Line Scan Camera)로 촬영시 내부 트리거(Internal Trigger)를 사용한다면 차량 주행속도에 따른 영상의 길이 변화 문제는 개선은 할 수 있으나 근본적으로 해결할 수는 없다. 예를 들어, 약 15미터인 컨테이너 차량을 라인 스캔 카메라(Line scan Camera)를 이용하여 100㎛ 해상도로 촬영하기 위해서는 150,000 라인을 촬영하여야 한다. 내부 트리거(Internal Trigger)를 이용하여 영상을 촬영하는 경우 차량이 진입하는 속도를 측정하여 라인 스캔 카메라의 스캔 시간을 계산한 후 해당 시간 동안 150,000 라인이 촬영될 수 있도록 그 라인의 촬영 속도를 실시간으로 조정해야 한다. 하지만 차량이 진입속도보다 가속하게 되면 150,000 라인을 찍지못하게 되어 이미지가 짧아지고, 차량이 진입속도보다 감속하게 되면 150,000 라인 이상을 찍게 되어 이미지가 길어지게 되는 문제점이 있다.
전술한 문제점을 해결하기 위하여 본 발명이 이루고자 하는 기술적 과제는, 피사체인 차량과 상기 피사체를 촬영하는 카메라 간에 촬영에 필요한 거리를 확보할 수 없는 차량 게이트에 있어서, 손실 없는 피사체의 영상을 얻기 위한 시스템을 제공하는데 있다.
전술한 기술적 과제를 해결하기 위한 수단으로써, 본 발명은 게이트에 설치된 카메라를 이용하여 상기 게이트 사이를 이동하는 차량 전체를 왜곡 없이 촬영하기 위한 영상취득 시스템에 있어서, 피사체인 이동중인 차량의 영상을 취득하는 제1 라인 스캔 카메라(Line Scan Camera), 상기 피사체의 진행방향과 평행하게 설치된 셀 라인(Cell Line)을 갖는 제2 라인 스캔 카메라(Line Scan Camera) 및 상기 제2 라인 스캔 카메라(Line Scan Camera)로부터 입력받은 영상을 픽셀 단위로 변화량을 측정하여 상기 제2 라인 스캔 카메라(Line Scan Camera)로부터 입력받은 영상의 중복된 부분에 해당하는 부분을 상기 제1 라인 스캔 카메라로부터 입력받은 영상에서 제거하는 처리부를 포함하는 영상 취득 시스템을 제공한다.
삭제
삭제
삭제
삭제
바람직하게는, 상기 피사체인 차량의 높이 전체를 촬영할 수 있는 상기 피사체와 상기 제1 라인 스캔 카메라(Line Scan Camera) 사이의 거리를 확보하기 위한 미러 바(Mirror Bar)를 더 포함하는 영상 취득 시스템을 제공한다.
바람직하게는, 상기 미러 바(Mirror Bar) 및 상기 제1 라인 스캔 카메라(Line Scan Camera) 를 감싸고, 상기 피사체로부터 오는 빛의 광경로를 확보하기 위한 구멍을 포함하는 하우징을 더 포함하는 영상 취득 시스템을 제공한다.
또한 본 발명은, 게이트에 설치된 카메라를 이용하여 상기 게이트 사이를 이동하는 차량 전체를 왜곡 없이 촬영하기 위한 영상취득 시스템에 있어서, 피사체인 이동중인 차량의 영상을 취득하는 라인 스캔 카메라(Line Scan Camera), 상기 이동중인 피사체의 이동 거리를 측정하는 감지장치 및 상기 감지장치로부터 입력된 데이터를 처리하여 상기 라인 스캔 카메라의 촬영의 시작 신호를 출력하는 트리거(Trigger) 생성장치를 포함하는 영상 취득 시스템을 제공한다.
바람직하게는, 상기 트리거(Trigger) 생성장치가, 상기 감지장치로부터 데이터를 입력받는 입력부, 상기 감지장치로부터 입력된 데이터를 처리하여 상기 피사체의 거리 변화에 따라 상기 라인 스캔 카메라(Line Scan Camera)의 해상도에 맞도록 트리거를 생성하는 제어부 및 상기 제어부로부터 생성된 트리거(Trigger) 신호를 발생시키는 출력부를 포함하는 영상취득 시스템을 제공한다.
바람직하게는, 상기 감지장치가, 상기 이동중인 피사체의 속도를 감지하여 상기 피사체의 이동 거리를 측정하는 것을 특징으로 하는 영상취득 시스템을 제공한다.
바람직하게는, 상기 감지장치가, 상기 이동중인 피사체의 영상을 촬영하고, 촬영된 영상에서 이동 벡터(Moving Vector)를 추출하여 상기 차량의 이동 거리를 측정하는 것을 특징으로 하는 영상취득 시스템을 제공한다.
바람직하게는, 상기 영상취득 시스템에 있어서, 상기 피사체인 차량의 높이 전체를 촬영할 수 있는 상기 피사체와 상기 카메라 사이의 거리를 확보하기 위한 미러 바(Mirror Bar)를 더 포함하는 영상취득 시스템을 제공한다.
바람직하게는, 상기 미러 바(Mirror Bar) 및 라인 스캔 카메라(Line Scan Camera)를 감싸고, 상기 피사체로부터 오는 빛의 광경로를 확보하기 위한 구멍을 포함하는 하우징을 더 포함하는 영상취득 시스템을 제공한다.
본 발명에 따르면, 피사체를 촬영하는 카메라가 피사체인 차량 및 컨테이너의 높이 전체를 촬영하기 위한 피사체와 카메라 사이의 거리를 확보할 수 없는 공간상의 제약에 대해 이를 우회적으로 해당 공간 안에서 왜곡 없는 목적한 영상을 얻을 수 있다.
또한, 피사체가 컨테이너와 같이 높이가 높고 길이가 긴 경우에 있어서, 수 개의 카메라가 설치될 필요가 없고, 수 개의 카메라에 의해 취득한 영상 간의 취득하지 못한 영상의 손실이 발생하지 않으며, 광각이 큰 어안렌즈를 사용하여 영상 처리를 통해 손실되는 영상의 정보가 없도록 할 수 있다.
또한, 피사체가 이동 중이고 피사체의 이동 속도가 변하는 경우에도 라인 스캔 카메라(Line Scan Camera)를 통해 얻어지는 영상이 길어지거나 줄어들어 영상이 왜곡되지 않도록 할 수 있다.
또한, 피사체가 정지 중인 경우라 할지라도, 외부 트리거(External Trigger) 신호를 이용하여 라인 스캔 카메라(Line Scan Camera)를 통해 얻어지는 정보가 무한정 늘어나는 것을 방지할 수 있다.
또한, 피사체에 대하여 목적하는 영상을 취득함으로써, 컨테이너 차량 등 피사체에 대해 촬영된 영상의 길이 변화에 따른 광학 문자 인식기(OCR) 및 외관검사 등의 과정에서 발생하는 에러 가능성을 현격하게 줄일 수 있게 된다.
또한, 피사체를 촬영하여 목적하는 영상을 얻는 본 발명은 별도로 시스템의 복잡도가 증가하거나 설치를 위한 별도의 공간이 필요하지 않아 공간 활용 측면에서도 뛰어나다.
또한, 차량의 게이트(Gate)에서 사용되는 경우 외부로부터 발생된 오염물질로부터 보호하기 위한 구성을 추가함으로써, 카메라로부터 얻어지는 영상이 오염물질에 의해 더럽혀지는 것을 방지할 수 있고, 카메라의 내구성도 함께 확보할 수 있다.
도 1은 터미널의 자동화 게이트를 나타낸 도면이고,
도 2는 터미널의 자동화 게이트를 차량의 전면에서 나타낸 도면이며,
도 3은 에어리어 스캔 카메라(Area Scan Camera)를 사용하여 여러 대의 카메라를 설치하여 동시에 촬영하는 방법을 나타낸 도면이고,
도 4는 에어리어 스캔 카메라(Area Scan Camera)를 사용하여 고정된 위치에 카메라를 설치하고 차량 이동중에 여러 번 촬영하는 방법을 나타낸 도면이며,
도 5는 어안렌즈와 같이 광각이 큰 렌즈를 사용하여 취득한 영상을 나타내는 도면이고,
도 6는 도 5의 영상을 이미지 처리 작업을 통해서 평탄화 작업을 거친 영상을 나타낸 도면이며,
도 7은 라인 스캔 카메라(Line Scan Camera)를 사용하여 촬영하는 경우에 내부 트리거(Internal Trigger)를 사용하는 경우 차량의 속도에 따라 차이가 나는 이미지의 비교를 나타낸 도면이고,
도 8은 프리게이트(Pre-Gate)의 구성도를 나타낸 도면이며,
도 9는 프리게이트(Pre-Gate)를 별도로 둔 경우에 에어리어 스캔 카메라(Area Scan Camera) 사용시 여전히 컨테이너 길이로 인한 문제가 존재함을 나타낸 도면이며,
도 10은 본 발명에 따라 미러 바(Mirror Bar) 및 카메라를 이용한 영상취득 시스템의 구성도를 나타낸 도면이고,
도 11a는 미러 바(Mirror Bar)를 거울로 사용한 것을 나타내는 도면이며,
도 11b는 미러 바(Mirror Bar)를 프리즘으로 사용한 것을 나타내는 도면이고,
도 12는 미러 바(Mirror Bar) 및 카메라를 감싸는 하우징을 나타내는 도면이며,
도 13은 내부 트리거(Internal Trigger)를 사용하여 촬영할 때, 차량의 이동속도를 측정하며, 이미지 처리 작업시 중복 촬영된 영상을 제거하도록 하는 라인 스캔 카메라를 설치한 도면이고,
도 14는 촬영을 통한 영상 취득 도중 차량의 이동 속도가 줄었을 때, 촬영된 영상의 문제점을 나타내는 도면이며,
도 15는 도 14에서 발생한 문제를 해결하는 방법을 나타내는 도면이고,
도 16a는 외부 트리거(External Trigger)를 사용하여 촬영할 때, 트리거(Trigger)로써 차량의 속도를 측정하여 이를 이용한 일 실시예를 나타내는 도면이며,
도 16b는 외부 트리거(External Trigger)를 사용하여 촬영할 때, 트리거(Trigger)로써 이미지 센서를 이용한 일 실시예를 나타내는 도면이고,
도 17은 트리거(Trigger) 생성 장치의 세부 구성을 나타내는 도면이다.
아래에는 첨부한 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구성될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙여 설명하기로 한다.
이하, 본 발명에서 실시하고자 하는 구체적인 기술내용에 대해 첨부도면을 참조하여 상세하고도 명확하게 설명하기로 한다.
제1 실시예
도 10은 본 발명의 바람직한 실시예에 따른 미러 바(Mirror Bar)(100)를 이용하여 게이트에 설치된 카메라를 이용하여 상기 게이트 사이를 이동하는 차량 전체를 왜곡 없이 촬영하기 위한 방법을 나타낸 것이다.
프리게이트(Pre-Gate)가 아닌 일반 게이트(Gate)에서 촬영에 필요한 충분한 거리를 d 라고 하고 물리적으로 카메라 설치 가능한 거리를 d1 이라고 할 때, d2 만큼의 거리를 확보하기 위한 방안으로써, 광경로 상에 있는 a 지점에 미러 바(Mirror Bar)(100)를 설치하여 촬영에 필요한 충분한 거리를 확보할 수 있게 된다. 즉, 일반 게이트(Gate)에서 피사체인 차량 및 컨테이너의 높이 전체를 촬영할 수 없어 어안 렌즈, 수 개의 카메라를 설치하는 기존의 문제점(도 3 내지 6 참조)을 해결할 수 있게 된다.
도 11a은 상술한 미러 바(Mirror Bar)(100)를 설치하여 촬영에 필요한 충분한 거리를 확보함에 있어 피사체로부터 오는 빛을 거울로 반사하여 촬영하는 것을 특징으로 한 것을 나타낸 것이고, 도 11b는 미러 바(Mirror Bar)(100)를 피사체로부터 오는 빛을 프리즘을 통해 굴절시켜 촬영하는 것을 특징으로 한 것이다.
이러한 방식은 컨테이너 터미널뿐 아니라 촬영에 필요한 충분한 거리를 확보할 수 없는 일반 주차장 게이트(Gate) 등에서도 사용될 수 있고, 이로써 영상 촬영에 있어 왜곡으로 인한 영상 정보의 손실을 방지할 수 있게 된다.
도 12는 본 발명의 바람직한 실시예에 의한 하우징(Housing)(150)을 이용하여 카메라 및 미러 바(Mirror Bar)(100)를 외부 오염으로부터 보호하는 방법을 나타낸 것이다.
청결하지 않은 게이트(Gate)의 상황을 고려하여 미러 바(Mirror Bar)(100)를 외부의 오염으로부터 보호하기 위해 미러 바(Mirror Bar)(100)와 카메라를 하우징(Housing)(150)으로 전체적으로 감싸고 있으며, 피사체로부터 오는 빛의 광경로를 확보하기 위한 카메라의 광경로 상에 구멍을 내어, 먼지를 제외한 흙탕물 등의 외부 오염물질로부터의 오염을 방지할 수 있다. 광 경로 상의 오염물질 유도부는 스펀지, 천 등의 흡착재질을 채택하여 미러 바에 도착하는 오염물질을 최소화 할 수 있다. 또한 오염물질 유도부에 팬(fan)을 부착하여 강제흡착시키는 것도 가능하다. (주기적 청소가 가능한 현장 상황에서는) 오염 물질 유도부에 고투과성의 아크릴, PC, 유리 등을 탈부착할 수 있도록 하여 오염 물질이 하우징 내로 유임되는 것을 최소화하는 것도 가능하다.
이 때, 하우징(Housing)(150) 내의 카메라가 라인 스캔 카메라(Line Scan Camera)(200)인 경우에는 하우징(Housing)(150)의 구멍은 라인 스캔 카메라(Line Scan Camera)(200)의 경우 렌즈 구경 이하의 좁고 긴 한 라인의 좁고 긴 공간만이 필요할 뿐이므로, 외부 오염물질로부터의 오염을 더욱 방지할 수 있게 된다.
또한, 앞서 본 바와 같이 피사체인 차량의 높이 전체를 촬영할 수 있도록 상기 피사체와 상기 제1 라인 스캔 카메라 사이의 거리를 확보하기 위한 미러 바(Mirror Bar)를 더 포함할 수 있으며, 상기 미러 바 및 상기 제1 라인 스캔 카메라를 감싸고, 상기 피사체로부터 오는 빛의 광경로를 확보하기 위한 구멍을 포함하는 하우징을 더 포함할 수도 있음은 물론이다.
제2 실시예
도 13은 본 발명의 또 다른 바람직한 실시예이며, 게이트에 설치된 카메라를 이용하여 상기 게이트 사이를 이동하는 차량 전체를 왜곡 없이 촬영하기 위한 영상취득 시스템에 있어서, 이미지 처리 작업을 통한 영상취득 시스템을 나타낸 것이다.
피사체에 대한 촬영 방향의 직각 방향으로, 즉 차량의 진행방향과 라인 스캔 카메라(Line Scan Camera)의 셀 라인(Cell Line)이 평행하도록 제2 라인 스캔 카메라(Line Scan Camera)(301)를 추가한다.
제1 라인 스캔 카메라(300)의 내부 트리거(Internal Trigger)를 사용하여 촬영함에 있어서, 상기의 제2 라인 스캔 카메라(Line Scan Camera)(301)는 피사체의 이동속도를 측정하며, 이미지 처리 작업시 피사체의 이동속도를 고려하여 피사체의 촬영된 영상 중에서 중복 촬영된 부분을 제거할 수 있다.
예를 들어, 해상도를 과장하여 4번 만에 차량을 전 부분을 모두 촬영할 수 있다고 가정한다. 만약 차량 이동 중에 세 번째 영상 촬영시 차량의 이동 속도가 줄었다면 그 촬영은 중복되게 두 번 발생하여 촬영된 영상은 도 14에 나타난 바와 같게 된다. 이 때, 이미지 처리 작업을 통해 중복된 4라인의 영상을 제거하게 되면 왜곡이 없는 정상적인 영상을 얻을 수 있게 된다.(도 15 참조)
다만 해상도를 과장하지 않고, 실제 촬영의 경우에는(15,000 라인의 촬영이 이루어지게 된다) 피사체를 촬영하여 영상을 얻는 라인 스캔 카메라만으로는 왜곡이 없는 정상적인 영상인지 여부를 판단하는 것은 실질적으로 불가능하다.
따라서, 이를 해결하기 위해 본 발명에서는 영상 촬영 방향에 직각으로, 즉 차량의 진행방향과 카메라의 셀 라인(Cell Line)이 평행하도록 제2 라인 스캔 카메라(Line Scan Camera)(301)를 설치하여 피사체의 이동속도 측정이 가능하며, 픽셀 단위의 변화량을 측정하는 것을 통해 이미지가 늘어난 지점을 정확히 알 수 있게 된다.
즉, 처리부(미도시)는 피사체에 대한 전체 영상을 취득한 후 제2 라인 스캔 카메라(Line Scan Camera)(301)를 통해 측정한 픽셀 단위의 변화량을 이용하여 영상 처리 작업을 거쳐 목적한 왜곡 없는 정상적인 영상을 취득하게 된다.
이로써, 컨테이너 차량 등 피사체에 대해 촬영된 영상의 길이 변화에 따른 광학 문자 인식기(OCR) 및 외관검사 등의 과정에서 발생하는 에러 가능성을 현격하게 줄일 수 있게 된다.
또한, 앞서 본 바와 같이 피사체인 차량의 높이 전체를 촬영할 수 있도록 상기 피사체와 상기 제1 라인 스캔 카메라 사이의 거리를 확보하기 위한 미러 바(Mirror Bar)를 더 포함할 수 있으며, 상기 미러 바 및 상기 제1 라인 스캔 카메라를 감싸고, 상기 피사체로부터 오는 빛의 광경로를 확보하기 위한 구멍을 포함하는 하우징을 더 포함할 수도 있음은 물론이다.
제3 실시예
도 16은 게이트에 설치된 카메라를 이용하여 상기 게이트 사이를 이동하는 차량 전체를 왜곡 없이 촬영하기 위한 영상취득 시스템에 있어서, 라인 스캔 카메라(Line Scan Camera)가 외부 트리거(External Trigger) 생성 장치를 가진 경우에 움직이는 피사체를 촬영하는 영상취득 시스템을 나타낸 도면이다.
고정된 라인 스캔 카메라(Line Scan Camera)(200)를 통해 움직이는 피사체를 촬영하는 일반적인 방법은 피사체를 이동시키는 모터의 인코더를 사용하거나 해당 인코더가 라인 스캔 카메라(Line Scan Camera)(200)의 라인 스캔 속도와 해상도를 기준으로 서로 신호를 교환하여 즉, 라인 스캔 카메라(200)의 외부 트리거 신호를 생성하여 촬영하는 방법과, 컨테이너 터미널 게이트를 통과하는 차량과 같이 라인 스캔 카메라(200)와 움직이는 피사체 간에 서로 신호를 교환할 수 없는 경우에는 움직이는 피사체의 속도에 맞도록 내부 트리거(Internal Trigger) 신호를 사용하여 촬영하는 방법을 이용하게 된다.
그러나 상술한 내부 트리거(Internal Trigger)를 이용한 라인 스캔 카메라(Line Scan Camera)를 사용하는 경우에는, 촬영된 영상은 피사체의 이동속도에 따라 차이가 나게 된다. 즉, 피사체인 차량은 등속을 유지할 수 없으므로 얻고자 하는 영상은 그보다 길이가 늘어나거나 줄어들게 된다. 이렇게 취득된 영상의 화질로는 목적에 부합하는 검사 등을 진행할 수 없게 되는 문제점이 있다.
본 발명은 상술한 후자와 같은 라인 스캔 카메라(Line Scan Camera)(200)와 움직이는 피사체 간에 서로 신호를 교환할 수 없는 상황에서 라인 스캔 카메라(Line Scan Camera)(200)의 내부 트리거(Internal Trigger) 신호를 이용하여 영상을 촬영하는 경우의 문제점을 해결하기 위한 방안으로써, 차량의 이동거리를 해상도 단위로 측정하여 외부 트리거(External Trigger) 신호를 생성하여 촬영 속도(Trigger Time)를 조정하도록 하는 것이다.
예를 들면, 길이가 15미터인 컨테이너 차량을 100㎛ 해상도로 촬영할 때, 실시간으로 측정되는 거리를 트리거(Trigger) 생성장치에서 트리거(Trigger) 조정장치를 통해 설정된 사전정보에 따라 차량이 100㎛ 진행 시마다 한 라인씩 촬영할 수 있도록 촬영중인 모든 라인 스캔 카메라(Line Scan Camera)(200)에 트리거 신호(Trigger Signal)을 보내게 된다. 만약 라인 스캔(Line Scan) 상황(촬영 상황)에서 차량이 정지하는 경우에 내부 트리거(Internal Trigger) 신호를 사용하는 경우라면 현재 스캔위치의 영상을 계속적으로 촬영하게 되어 촬영된 영상의 이미지가 무한정 늘어나게 되지만, 본 발명의 장치를 사용한다면 정지된 상태에서는 트리거 신호(Tigger Signal)을 생성하지 않기 때문에 다시 피사체에서 움직임이 발생하기 전까지는 촬영하지 않게 된다.
따라서, 본 발명을 구성하게 되면 프리게이트(Pre-Gate)의 설치 없이도 속도의 변화가 있거나 또는 정지중인 차량을 대상으로 차량의 속도에 따라 늘어나거나 줄어들지 않는 정확한 영상을 얻을 수 있게 된다.
또한, 본 발명은 라인 스캔 카메라(Line scan camera)(200)와 움직이는 피사체간에 직접적인 신호 교환이 어려운 모든 경우에 정확한 외부 트리거(External Trigger) 신호 생성 장치를 사용하여 정확한 영상을 얻을 수 있다.
실시예에 따른 본 발명은 이동중인 피사체의 영상을 취득하는 라인 스캔 카메라(Line Scan Camera)(200), 상기 이동중인 피사체의 이동 거리를 측정하는 감지장치(400) 및 상기 감지장치로부터 입력된 데이터를 처리하여 상기 라인 스캔 카메라의 촬영의 시작 신호 및 종료 신호를 생성하는 트리거(Trigger) 생성 장치(500)를 포함하는 라인 스캔 카메라를 이용한 영상취득 시스템을 구비하게 된다.(도 16a 및 16b 참조)
상기의 외부 트리거(External Trigger) 신호 생성 장치(500)는 상기 감지장치로부터 데이터를 입력받는 입력부(510), 상기 감지장치로부터 입력된 데이터를 처리하여 상기 피사체의 거리 변화에 따라 상기 라인 스캔 카메라(Line Scan Camera)의 해상도에 맞도록 트리거를 생성하는 제어부(520), 상기 제어부로부터 판단 및 생성된 상기 라인 스캔 카메라(Line Scan Camera)의 촬영 여부에 대한 트리거(Trigger) 신호를 발생하는 출력부(530)로 구성되어 질 수 있다.(도 17 참조)
상기 감지장치(400)에 피사체인 차량의 이동거리를 측정하기 위한 센서로는 속도 센서와 이미지 센서를 사용할 수 있다.
속도 센서를 사용하는 경우에는 이동중인 차량과 센서와의 속도 및 거리를 측정할 수 있는 지점에 센서를 설치하여 차량의 이동 거리 변화에 따라 라인 스캔 카메라(Line Scan Camera)의 해상도에 맞도록 트리거(Trigger) 신호를 생성하여 출력한다.
이미지 센서를 사용하는 경우에 상기 이미지 센서는 차량이 진행하는 동안 영상을 촬영했을 때 영상의 끊김이 발생하지 않는 장소에 설치하며, 일 예로써 컨테이너 차량의 측면 또는 컨테이너 차량이 지나가는 상면 등에 설치하여 영상 촬영시 공백이 발생하지 않도록 한다. 이미지 센서는 라인 스캔 이미지 센서(Line Scan Image Sensor) 또는 에어리어 이미지 센서(Area Image Sensor)일 수 있으며, 트리거 신호(Trigger Signal) 생성 프로세서는 영상 처리 라이브러리(Image Processing Library)를 통해 구현되며, 영상 상의 이동 벡터(Moving Vector)만을 추출하여 차량의 이동거리를 계산함으로써, 해상도와 라인 스캔 속도(Line Rate)에 적합한 트리거 신호(Trigger Signal)을 생성 및 출력한다.
한편으로, 상기의 감지장치(400)의 센서를 속도 센서로 사용하는 경우에는 광원 또는 초음파 발생장치를 더 포함할 수 있으며, 센서를 이미지 센서로 사용하는 경우에는 촬영할 수 없이 어두운 경우를 대비하여 조명을 더 포함할 수 있다.
또한, 앞서 본 바와 같이 피사체인 차량의 높이 전체를 촬영할 수 있도록 상기 피사체와 상기 제1 라인 스캔 카메라 사이의 거리를 확보하기 위한 미러 바(Mirror Bar)를 더 포함할 수 있으며, 상기 미러 바 및 상기 제1 라인 스캔 카메라를 감싸고, 상기 피사체로부터 오는 빛의 광경로를 확보하기 위한 구멍을 포함하는 하우징을 더 포함할 수도 있음은 물론이다.
이상에서 설명한 본 발명의 바람직한 실시 예들은 기술적 과제를 해결하기 위해 개시된 것으로, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자(당업자)라면 본 발명의 사상 및 범위 안에서 다양한 수정, 변경, 부가 등이 가능할 것이며, 이러한 수정 변경 등은 이하의 특허청구범위에 속하는 것으로 보아야 할 것이다.
a : 미러 바(Mirror Bar)를 설치하게 되는 지점
d : 일반 게이트(Gate)에서 촬영에 필요한 충분한 거리
d1 : 게이트에서 물리적으로 설치 가능한 거리
d2 : 차량 및 컨테이너의 높이 전체를 촬영하기 위해 피사체와 카메라 간의 필요한 거리
10 : 피사체 100 : 미러 바(Mirror Bar)
150 : 하우징 200 : 라인 스캔 카메라(Line Scan Camera)
300 : 제1 라인 스캔 카메라(Line Scan Camera)
301 : 제2 라인 스캔 카메라(Line Scan Camera)
400 : 감지장치
500 : 트리거(Trigger) 생성 장치
510 : 입력부 520 : 제어부
530 : 출력부

Claims (13)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 게이트에 설치된 카메라를 이용하여 상기 게이트 사이를 이동하는 차량 전체를 왜곡 없이 촬영하기 위한 영상취득 시스템에 있어서,
    피사체인 이동중인 차량의 영상을 취득하는 제1 라인 스캔 카메라(Line Scan Camera);
    상기 피사체의 진행방향과 평행하게 설치된 셀 라인(Cell Line)을 갖는 제2 라인 스캔 카메라(Line Scan Camera); 및
    상기 제2 라인 스캔 카메라(Line Scan Camera)로부터 입력받은 영상을 픽셀 단위로 변화량을 측정하여 상기 제2 라인 스캔 카메라(Line Scan Camera)로부터 입력받은 영상의 중복된 부분에 해당하는 부분을 상기 제1 라인 스캔 카메라로부터 입력받은 영상에서 제거하는 처리부;
    를 포함하는 영상 취득 시스템.
  6. 제 5 항에 있어서,
    상기 피사체인 차량의 높이 전체를 촬영할 수 있는 상기 피사체와 상기 제1 라인 스캔 카메라(Line Scan Camera) 사이의 거리를 확보하기 위한 미러 바(Mirror Bar);
    를 더 포함하는 영상 취득 시스템.
  7. 제 6 항에 있어서,
    상기 미러 바(Mirror Bar) 및 상기 제1 라인 스캔 카메라(Line Scan Camera) 를 감싸고, 상기 피사체로부터 오는 빛의 광경로를 확보하기 위한 구멍을 포함하는 하우징;
    을 더 포함하는 영상 취득 시스템.
  8. 삭제
  9. 게이트에 설치된 카메라를 이용하여 상기 게이트 사이를 이동하는 차량 전체를 왜곡 없이 촬영하기 위한 영상취득 시스템에 있어서,
    피사체인 이동중인 차량의 영상을 취득하는 라인 스캔 카메라(Line Scan Camera);
    상기 이동중인 피사체의 이동 거리를 측정하는 감지장치; 및
    상기 감지장치로부터 입력된 데이터를 처리하여 상기 라인 스캔 카메라의 촬영의 시작 신호를 출력하는 트리거(Trigger) 생성장치;
    를 포함하되,
    상기 트리거(Trigger) 생성장치는,
    상기 감지장치로부터 데이터를 입력받는 입력부;
    상기 감지장치로부터 입력된 데이터를 처리하여 상기 피사체의 거리 변화에 따라 상기 라인 스캔 카메라(Line Scan Camera)의 해상도에 맞도록 트리거를 생성하는 제어부; 및
    상기 제어부로부터 생성된 트리거(Trigger) 신호를 발생시키는 출력부;
    를 포함하는 영상취득 시스템.
  10. 게이트에 설치된 카메라를 이용하여 상기 게이트 사이를 이동하는 차량 전체를 왜곡 없이 촬영하기 위한 영상취득 시스템에 있어서,
    피사체인 이동중인 차량의 영상을 취득하는 라인 스캔 카메라(Line Scan Camera);
    상기 이동중인 피사체의 이동 거리를 측정하는 감지장치; 및
    상기 감지장치로부터 입력된 데이터를 처리하여 상기 라인 스캔 카메라의 촬영의 시작 신호를 출력하는 트리거(Trigger) 생성장치;
    를 포함하되,
    상기 감지장치는, 상기 이동중인 피사체의 속도를 감지하여 상기 피사체의 이동 거리를 측정하는 것을 특징으로 하는 영상취득 시스템.
  11. 게이트에 설치된 카메라를 이용하여 상기 게이트 사이를 이동하는 차량 전체를 왜곡 없이 촬영하기 위한 영상취득 시스템에 있어서,
    피사체인 이동중인 차량의 영상을 취득하는 라인 스캔 카메라(Line Scan Camera);
    상기 이동중인 피사체의 이동 거리를 측정하는 감지장치; 및
    상기 감지장치로부터 입력된 데이터를 처리하여 상기 라인 스캔 카메라의 촬영의 시작 신호를 출력하는 트리거(Trigger) 생성장치;
    를 포함하되,
    상기 감지장치는, 상기 이동중인 피사체의 영상을 촬영하고, 촬영된 영상에서 이동 벡터(Moving Vector)를 추출하여 상기 차량의 이동 거리를 측정하는 것을 특징으로 하는 영상취득 시스템.
  12. 제 9 항 내지 제 11 항 중 어느 한 항에 있어서,
    상기 피사체인 차량의 높이 전체를 촬영할 수 있는 상기 피사체와 상기 카메라 사이의 거리를 확보하기 위한 미러 바(Mirror Bar);
    를 더 포함하는 영상취득 시스템.
  13. 제 12 항에 있어서,
    상기 미러 바(Mirror Bar) 및 라인 스캔 카메라(Line Scan Camera)를 감싸고, 상기 피사체로부터 오는 빛의 광경로를 확보하기 위한 구멍을 포함하는 하우징;
    을 더 포함하는 영상취득 시스템.
KR1020110046035A 2011-05-17 2011-05-17 영상 취득 시스템 Active KR101210737B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110046035A KR101210737B1 (ko) 2011-05-17 2011-05-17 영상 취득 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110046035A KR101210737B1 (ko) 2011-05-17 2011-05-17 영상 취득 시스템

Publications (2)

Publication Number Publication Date
KR20120128223A KR20120128223A (ko) 2012-11-27
KR101210737B1 true KR101210737B1 (ko) 2012-12-10

Family

ID=47513001

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110046035A Active KR101210737B1 (ko) 2011-05-17 2011-05-17 영상 취득 시스템

Country Status (1)

Country Link
KR (1) KR101210737B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102274092B1 (ko) 2021-02-05 2021-07-08 주식회사 스타시큐리티 인공지능 기반 차량높이 측정 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030042304A1 (en) * 1998-03-24 2003-03-06 Knowles C. Harry Automatic vehicle identification and classification (AVIC) system employing a tunnel-arrangement of PLIIM-based subsystems
KR100701521B1 (ko) * 2006-03-13 2007-03-29 주식회사 지팬스 컨테이너의 2차원 표면 영상획득시스템 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030042304A1 (en) * 1998-03-24 2003-03-06 Knowles C. Harry Automatic vehicle identification and classification (AVIC) system employing a tunnel-arrangement of PLIIM-based subsystems
KR100701521B1 (ko) * 2006-03-13 2007-03-29 주식회사 지팬스 컨테이너의 2차원 표면 영상획득시스템 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102274092B1 (ko) 2021-02-05 2021-07-08 주식회사 스타시큐리티 인공지능 기반 차량높이 측정 시스템

Also Published As

Publication number Publication date
KR20120128223A (ko) 2012-11-27

Similar Documents

Publication Publication Date Title
CN109688388B (zh) 一种使用隧道巡检机器人全方位实时监控的方法
US8451252B2 (en) Image sensor for touch screen and image sensing apparatus
CN110602355A (zh) 一种图像采集方法
JP5967463B2 (ja) 物体識別装置、並びに、これを備えた移動体制御装置及び情報提供装置
JP5207057B2 (ja) 撮影装置の汚れを検知する汚れ検知装置及び同検知方法
CN104335576B (zh) 用于拍摄车辆底部的图像的装置和方法
CN114189671A (zh) 相机清洁系统的验证
KR101465236B1 (ko) 스테레오 카메라를 이용한 차량 속도 검출 장치 및 방법
KR101210737B1 (ko) 영상 취득 시스템
KR20180136601A (ko) 포트홀 검출장치 및 포트홀 관리 시스템
CN112672017B (zh) 测试结构件、ToF装置以及镜头脏污检测方法
JP7575614B2 (ja) ステレオカメラの光路における障害を認識するための方法及び装置
JP6986952B2 (ja) 洗車装置
KR101747919B1 (ko) 차량의 번호판 인식 장치
US20100321558A1 (en) Apparatus and method for detecting spatial movement of object
JP5964093B2 (ja) 車両サイズ測定装置、車両サイズ測定方法、およびプログラム
US20170237949A1 (en) Method and system of identifying container number
CN203396714U (zh) 一种车载高速动态轨道表面缺陷视频检测装置
KR102506812B1 (ko) 자율 주행용 차량
CN109459440A (zh) 一种铁路接触网支撑机构缺陷检测成像系统
KR102562617B1 (ko) 어레이 카메라 시스템
KR101884868B1 (ko) 구면 반사경을 이용하여 사각지대 영상 취득 및 저장이 가능한 차량용 블랙박스
JP4281177B2 (ja) 車載用撮像装置
JP6553581B2 (ja) 光コネクタ端面検査装置とその合焦画像データ取得方法
JP7038522B2 (ja) 車軸画像生成装置、車軸画像生成方法、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20110517

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20120614

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20121115

PG1501 Laying open of application
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20121204

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20121204

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20151127

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20151127

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20161118

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20161118

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20171201

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20171201

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20181127

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20181127

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20191120

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20191120

Start annual number: 8

End annual number: 8