KR101781351B1

KR101781351B1 - 위변조 여권 검사 방법 및 그 기록매체

Info

Publication number: KR101781351B1
Application number: KR1020140163508A
Authority: KR
Inventors: 이중; 나기현; 강태이; 변준석; 정도준
Original assignee: 대한민국
Priority date: 2014-11-21
Filing date: 2014-11-21
Publication date: 2017-09-26
Anticipated expiration: 2034-11-21
Also published as: KR20160061528A; WO2016080815A1

Abstract

본 발명은 위변조 여권 검사 방법 및 그 기록매체에 관한 것으로, 제어부와, 상기 제어부에 연결되며 대비 여권 이미지가 저장된 저장부와, 상기 제어부에 연결되며 사용자의 명령이 입력되는 수단인 입력부와, 상기 제어부에 연결되며 검사결과가 표시되는 표시부로 이루어지는 여권검사시스템에서 실행되며; 상기 여권검사시스템에 연결된 스캐너를 통해 검사 여권의 이미지가 획득되어 저장부에 저장되는 검사 여권 이미지 획득 단계와; 검사 여권의 이미지에서 MRZ(Machine Readable Zone) 데이터의 유효성 검사가 실행되는 유효성 검사 단계와; 저장부로부터 검사 여권과 대비될 대비 여권 이미지가 검색되는 대비 여권 이미지 검색 단계와; 상기 대비 여권과 상기 검사 여권이 대비되는 여권 대비 단계와; 검사 결과가 표시부에 디스플레이되는 여권 위변조 검사 결과 표시 단계로 이루어진다.

Description

위변조 여권 검사 방법 및 그 기록매체{Forgery passport inspection method and recording medium thereof}

본 발명은 위변조 여권 검사 방법 및 그 기록매체에 관한 것으로, 보다 상세하게는 가시광선, 적외선, 자외선 이미지를 제공하는 스캐너를 사용하여 검사 여권의 이미지를 여권 검사 시스템에 입력하고, 영상처리 및 패턴인식 기술을 사용하여 검사 여권 이미지와 데이터베이스에 저장된 발급국의 대비 여권과 비교하며, 검사 여권 이미지의 MRZ(Machine Readable Zone) 데이터의 유효성을 검사하고, 검사 여권과 대비 여권의 패턴 영역의 히스토그램을 비교하거나, 검사 여권과 대비 여권의 패턴 영역을 이루는 이진화된 픽셀 데이터에 대한 픽셀 갯수, 평균값 및 표준편차의 연산결과를 비교하거나, 또는 검사 여권 이미지의 위치와 회전 각도를 맞추는 기하보정과 패턴 분석을 실시하여 대비 여권의 비교 대상 패턴을 기준으로 검사 여권의 자외선 이미지 중에서 특징영역에 대한 패턴 영역과 비교하여 여권 위변조를 식별하는, 위변조 여권 검사 방법 및 그 기록매체에 관한 것이다.

최근, 위변조된 여권 행사 범죄의 증가함에 따라, 여권 검사 시스템이 여권의 진위 확인을 위해 발급국의 보안 요소를 모두 숙지하고 비교 검사해야 하는 절차가 필요하다. 여권 위변조 방지 기술은 적용되어 있으나 대부분 주관적 판단에 의존하는 현 검사방법은 특수장비(VSC 6000 등)의 사용이 요구되고 시간이 많이 소모되며, 검사자의 위변조 진위 여부 판단 실수가 있을 수 있다. 또한, 검사자가 위변조 방지 기술을 모두 숙지하고 있어야 하는데 국가별로 여권에 적용 기술이 다르고, 국가별로도 여러 판본이 존재하여 이를 숙지하는 것은 실제로 어려운 일이다.

여권 위변조 방법은 위조 또는 변조하여 사용된다.

위조는 O/A기기의 대중화로 진정한 여권을 스캔받아, 포토샵 등 이미지처리 프로그램을 사용하여 위조된 여권을 생산하는 경우가 대다수이다.

변조는 여권의 중요 정보인 인적사항 등을 훼손한 후 해당 부분을 재기재 또는 출력하는 경우와 사진을 교체하여 사용하는 경우가 다수이다.

위변조 방지용 여권/visa 발급 및 통과 심사 방법과 관련된 선행기술이 등록 실용신안 20-02934623에 개시되어 있으며, 위변조 방지용 여권 발급부와 위변조 여권 소지자 통과 심사부로 구성된다.

도 1은 종래의 위변조 방지용 여권 발급부를 나타낸 도면이다.

위변조 방지용 여권 발급부는 카메라(11)를 통한 영상획득부; 발급 희망자의 얼굴 영상에서 얼굴 영역부분만 추출하는 Mask된 얼굴 영역 발생기(12); 위조 여부를 판정하기 위해 Mask된 얼굴 영역 발생기(12)에서 추출된 얼굴 영상 이미지에서 얼굴고유의 특징 점을 추출해내는 얼굴 고유 데이터 발생기(13); 추출된 얼굴 고유 데이터를 2D 바코드 데이터로 변환하는 2D 바코드 변환부(14); Mask된 얼굴 영역 발생기(12)에서 얻어진 인물 사진과, 인쇄된 2D 바코드 데이터를 동시에 삽입하여 여권을 제작하는 여권/Visa 제작부(15); 여권 입력부를 통해 여권 발급자의 신상 정보를 입력한후, 발급 전 여권의 사진과 2D 바코드의 일치여부를 Test를 하는 여권 입력 및 인증 Test(16), 및 Test가 끝난 후 최종 여권을 발급하는 최종 연권 발급부(17)로 구성된다.

위변조 여권 소지자 통과 심사부는 2D 바코드에 저장된 얼굴 고유 데이터와 여권 사진에 부착된 얼굴 영상 사진을 분리한후 얼굴 영상 사진으로부터 얼굴 고유 데이터를 다시 발생시켜 2D 바코드의 얼굴 고유 데이터와 비교하는 것을 특징으로 하는 여권 위변조 판독부를 구비한다.

그러나, 각 여권들은 고유의 위변조를 방지하기 위해 적외선 또는 자외선 잉크로 고유한 패턴이 인쇄된 것도 있는데, 이 부분을 분석하여 여권의 위변조 여부를 식별하는 구체적인 기술이 도입되지 않았다.

등록실용신안 20-02934623

이러한 종래 기술의 문제점을 해결하기 위한 본 발명의 목적은 가시광선, 적외선, 자외선 이미지를 제공하는 스캐너를 사용하여 검사 여권의 이미지를 여권 검사 시스템에 입력하고, 영상처리 및 패턴인식 기술을 사용하여 검사 여권 이미지와 데이터베이스에 저장된 발급국의 대비 여권과 비교하며, 검사 여권 이미지의 MRZ(Machine Readable Zone) 데이터의 유효성을 검사하고, 검사 여권과 대비 여권의 패턴 영역의 히스토그램을 비교하거나, 검사 여권과 대비 여권의 패턴 영역을 이루는 이진화된 픽셀 데이터에 대한 픽셀 갯수, 평균값 및 표준편차의 연산결과를 비교하거나, 또는 검사 여권 이미지의 위치와 회전 각도를 맞추는 기하보정과 패턴 분석을 실시하여 대비 여권의 비교 대상 패턴을 기준으로 검사 여권의 자외선 이미지 중에서 특징영역에 대한 패턴 영역과 비교하여 여권 위변조를 식별하는, 위변조 여권 검사 방법 및 그 기록매체에 관한 것이다.

본 발명의 목적을 달성하기 위해, 위변조 여권 검사 방법은 제어부와, 상기 제어부에 연결되며 대비 여권 이미지가 저장된 저장부와, 상기 제어부에 연결되며 사용자의 명령이 입력되는 수단인 입력부와, 상기 제어부에 연결되며 검사결과가 표시되는 표시부로 이루어지는 여권검사시스템에서 실행되며; 상기 여권검사시스템에 연결된 스캐너를 통해 가시광선(Visible Ray), 또는 적외선(Infrared Rays), 또는 자외선(Ultraviloet Rays) 패턴 영역이 포함된 여권 이미지 스캔 후 검사 여권 이미지가 획득되어 저장부에 저장되는 검사 여권 이미지 획득 단계; 상기 검사 여권의 이미지에서 MRZ(Machine Readable Zone) 데이터의 유효성 검사가 실행되는 유효성 검사 단계; 상기 저장부로부터 검사 여권과 대비될 대비 여권 이미지가 검색되는 대비 여권 이미지 검색 단계; 및 대비 여권 이미지와 검사 여권 이미지의 위치와 회전 각도를 맞추는 기하 보정 실시 후, 상기 대비 여권 이미지와 상기 검사 여권 이미지가 대비되는 여권 대비 단계; 및 여권 위변조 검사 결과가 표시부에 디스플레이되는 검사 결과 표시 단계를 포함하며,
상기 검사 여권과 상기 대비 여권의 패턴 영역 이미지를 분석하는 패턴 분석은 상기 검사 여권의 패턴 영역 이미지의 적외선과 자외선 잉크로 형성된 패턴 영역의 히스토그램과 상기 대비 여권의 패턴 영역의 이미지의 히스토그램에 대하여 상기 검사 여권의 위변조 여부를 확인하기 위해 두 히스토그램의 동일성을 판단하는 Chi-square test, Shade ratio 유효 범위를 검사 여권과 대비 여권의 차이를 출력하고, 상기 검사 여권과 대비 여권의 패턴 영역 이미지에 대한 패턴 분석의 결과는 Chi-square test 결과와 Shade ratio의 결과를 종합한 값을 각 국가의 여권마다 여권검사시스템의 데이터베이스에 저장된 임계치(threshold)와 비교하여 여권 위변조의 여부를 검사하며,
여권의 위변조를 분석하기 위해 각각 검사 여권과 대비 여권의 패턴 영역에 대한 패턴 분석의 최종 결과는 Chi-square test 결과와 Shade ratio의 결과를 종합한 값을 여권마다 데이터베이스에 저장된 threshold와 비교하여 여권 위변조의 여부가 도출되는 것을 특징으로 한다.

본 발명에 따른 위변조 여권 검사 방법 및 그 기록매체는 가시광선, 적외선, 또는 자외선으로 형성된 패턴 영역이 포함된 검사 여권 이미지를 스캔하는 스캐너 및 여권 검사 시스템의 제안된 기술을 구현한 소프트웨어만으로 빠르고 간단하게 여권 위변조 식별이 가능하므로 출입국심사 등의 여권검사 업무 속도를 높이고, 정량적 검사를 통한 여권 진위 확인으로 여권검사의 신뢰성을 극대화될 것으로 기대된다.

제안된 위변조 여권 검사 방법은 검사 여권(검사 대상 여권)과 대비 여권(발급국 표준여권)과의 정량적 비교를 통한 유사도를 자동으로 계산하여 제공함으로써 주관적 판단에 따른 오류를 최소화한다.

제안된 위변조 여권 검사 방법은 검사 여권과 대비 여권과의 주관적 상세 비교를 도와줄 수 있는 정규화 및 중첩 절단 비교 방법 제공으로 정량 검사의 한계를 보완하여 여권 검사의 신뢰성을 확보하여 위변조된 여권을 사용한 범죄를 줄이는 효과가 있다.

도 1은 종래의 위변조 방지용 여권 발급부를 나타낸 도면이다.
도 2는 본 발명에 따른 위변조 여권 검사 시스템 구성도이다.
도 3은 본 발명의 실시예에 따른 여권 검사 시스템의 내부 구성도이다.
도 4는 본 발명에 따른 위변조 여권 검사 방법을 설명한 순서도이다.
도 5는 검사 여권 패턴 영역의 히스토그램과 대비 여권 패턴 영역의 히스토그램이 대비되는 단계를 나타낸 순서도이다.
도 6은 검사 여권과 대비 여권의 패턴 영역을 이루는 이진화된 픽셀 데이터에 대한 픽셀 갯수, 평균값 및 표준편차의 연산결과를 대비하는 여권 대비 단계를 나타낸 순서도이다.
도 7은 대비 여권 이미지 검색 단계와 여권 대비 단계 사이에 대비 여권과 검사 여권 이미지의 위치와 회전 각도를 맞추는 기하 보정을 실시하는 여권 이미지 보정 단계를 나타낸 순서도이다.
도 8은 한국에서 발행된 여권의 사진을 나타낸 도면이다.
도 9는 검사 여권 이미지에서 MRZ(Machine Readable Zone) 데이터의 유효성 검사에 사용되는 정보(이미지 및 데이터베이스 목록 등) 나타낸 사진이다.
도 10은 여권 위변조 검사에 사용되는 특징 영역 정보 및 검사 결과를 나타낸 사진이다.
도 11은 여권 위변조 검사시 세로 방향으로 절단 중첩 비교한 사진이다.
도 12는 검사 여권 이미지의 특징점(Interest point)을 Hessian matrix를 사용하여 검사 여권 이미지의 LoG(Laplacian of Gaussian)를 사용한 2차 미분의 결과를 박스 필터에 적용 후 변환을 설명하기 위한 도면이다.
도 13은 검사 여권 이미지의 LoG(Laplacian of Gaussian)를 사용한 2차 미분의 결과를 박스 필터에 의해 변환된 결과를 Scale space를 구성하고 Up-scaling을 하면서 구축된 이미지 피라미드(Image pyramid)를 도식적으로 나타낸 도면이다.
도 14는 검사 여권 이미지의 특징점 선정 후, 특징점을 중심으로 일정 거리 안의 이웃들에 대하여 x, y방향의 Haar-wavelet response를 계산하는 것을 나타낸 도면이다.
도 15는 검사 여권과 대비 여권의 패턴 영역의 패턴 분석시, Chi-suqare test를 사용하여 여권의 고유의 패턴 영역(좌측)으로부터 추출된 이미지의 각 픽셀마다 8bit의 값을 가지는 채널로 변환되고, 이를 토대로 각 픽셀의 x축의 R, G, B 값(0~255)에 대한 Y 축의 빈도(갯수)를 나타내는 히스토그램(우측)을 나타낸 도면이다.
도 16은 검사 여권과 대비 여권의 패턴 영역 분석시에, Chi-square test가 gray-scale 공간을 사용하기 때문에 검사 여권과 대비 여권 이미지의 밝기(brightness)에 따라 값이 변할 가능성이 존재하기 때문에 검사 여권과 대비 여권의 패턴 영역 이미지를 Otsu 알고리즘을 사용하여 이진화(Binarization)하여 Shade ratio를 추출하는 것을 비교한 도면이다.

본 발명의 목적, 특징, 장점들은 첨부한 도면들을 참조하여 상세한 설명과 바람직한 실시예로부터 더욱 분명해질 것이다. 본 명세서의 각 도면의 구성요소들에 참조번호를 부가함에 있어서, 동일한 구성 요소들에 비록 다른 도면상에 표시되더라도 가능한 한 동일한 번호를 부여한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

본 명세서에서는 검사 대상 여권을 '검사 여권'이라고 하고, 각각의 국적에 따른 발행국 표준 여권을 '대비 여권'이라고 한다.

도 2는 본 발명에 따른 위변조 여권 검사 시스템 구성도이다.

위변조 여권 검사 시스템은 검사 여권의 이미지와 대비 여권의 이미지를 비교하여 여권의 위변조를 검사하는 여권 검사 시스템(110)과, 여권 검사 시스템(110)과 연결되며 가시광선(Visible Ray), 또는 적외선(Infrared Rays), 또는 자외선(Ultraviloet Rays) 패턴 영역이 형성된 이미지를 스캔하는 스캐너(120)로 구성된다.

도 3은 본 발명의 실시예에 따른 여권 검사 시스템의 내부 구성도이다.

여권 검사 시스템(110)은 스캐너(120)와 연결되며, 스캐너(120)에서 스캔된 검사 여권 이미지와 대비 여권의 이미지를 비교하여 여권의 위변조를 검사하는 제어부(111), 상기 제어부(111)에 연결되며 검사 여권 이미지를 저장하고 대비 여권 이미지가 저장된 저장부(117), 상기 제어부(111)에 연결되며 사용자의 명령이 입력되는 수단인 입력부(113), 상기 제어부(111)에 연결되며 검사결과가 표시되는 표시부(115), 및 스캐너(120)와 연결되는 연결부(119)를 포함한다.

도 4는 위변조 여권 검사 방법을 설명한 순서도이다.

위변조 여권 검사 방법은 제어부(111)와, 상기 제어부(111)에 연결되며 대비 여권 이미지가 저장된 저장부(117)와, 상기 제어부(111)에 연결되며 사용자의 명령이 입력되는 수단인 입력부(113)와, 상기 제어부(111)에 연결되며 검사결과가 표시되는 표시부(115)로 이루어지는 여권검사시스템에서 실행되며;

가시광선(Visible Ray), 또는 적외선(Infrared Rays), 또는 자외선(Ultraviloet Rays) 패턴 영역이 포함된 여권 이미지를 스캔하는 스캐너(120)를 통해 검사 여권 이미지가 획득되어 저장부(117)에 저장되는 검사 여권 이미지 획득 단계와; 검사 여권의 이미지에서 MRZ(Machine Readable Zone) 데이터의 유효성 검사가 실행되는 유효성 검사 단계와; 저장부(117)로부터 검사 여권과 대비될 대비 여권 이미지가 검색되는 대비 여권 이미지 검색 단계와; 대비 여권과 검사 여권이 대비되는 여권 대비 단계와, 여권 위변조 검사 결과가 표시부(115)에 디스플레이되는 검사 결과 표시 단계로 이루어진다.

도 5는 검사 여권 패턴 영역의 히스토그램과 대비 여권 패턴 영역의 히스토그램이 대비되는 여권 대비 단계를 나타낸 순서도이다.

상기 여권 대비 단계는 상기 검사 여권과 상기 대비 여권에서 자외선 또는 적외선으로 형성된 고유의 패턴 영역이 분리되는 패턴 영역 분리 단계와, 상기 검사 여권과 상기 대비 여권 이미지에서 분리된 패턴 영역의 히스토그램(histogram) 데이터가 추출되는 히스토그램 데이터 추출 단계와, 검사 여권 패턴 영역의 히스토그램과 대비 여권 패턴 영역의 히스토그램이 대비되는 히스토그램 데이터 대비 단계로 이루어진다.

도 6은 검사 여권과 대비 여권의 패턴 영역을 이루는 이진화된 픽셀 데이터에 대한 픽셀 갯수, 평균값 및 표준편차의 연산결과를 대비하는 여권 대비 단계를 나타낸 순서도이다.

상기 여권 대비 단계는 상기 검사 여권과 상기 대비 여권에서 패턴 영역이 분리되는 패턴 영역 분리 단계; 분리된 패턴 영역이 이진화되는 이진화 단계; 상기 대비 여권의 패턴 영역을 이루는 이진화된 픽셀 데이터에 대한 픽셀 갯수, 평균값 및 표준편차가 연산되는 대비 여권 연산 단계; 상기 검사 여권의 패턴 영역을 이루는 이진화된 픽셀 데이터에 대한 픽셀 갯수, 평균값 및 표준편차가 연산되는 검사 여권 연산 단계; 및 상기 검사 여권에 대한 연산결과와 대비 여권에 대한 연산결과가 대비되는 연산결과 대비 단계로 이루어진다.

도 7은 대비 여권 이미지 검색 단계와 여권 대비 단계 사이에 대비 여권과 검사 여권 이미지의 위치와 회전 각도를 맞추는 기하 보정을 실시하는 여권 이미지 보정 단계를 나타낸 순서도이다.

상기 대비 여권 이미지 검색 단계와 여권 대비 단계 사이에는 대비 여권과 검사 여권 이미지의 위치와 회전 각도를 맞추는 기하 보정을 실시하여 여권 이미지 보정 단계가 더 포함되며; 상기 여권 이미지 보정 단계는 검사 여권 이미지와 대비 여권 이미지를 이루는 픽셀들에 대한 헤시안 매트릭스(Hessian matrix)가 연산되는 단계와, 각 이미지를 이루는 픽셀에 대한 스케일 스페이스(scale space)가 생성되고 업스케일링되면서 이미지 피라미드(image pyramid)가 생성되는 단계와, 각 스케일(scale)의 이미지에서 특징점 그룹이 선정되는 단계와, 특징점 그룹에 대한 Haar-wavelet response가 연산되는 단계와, Haar-wavelet response 결과로부터 도미넌트 방향이 연산되는 단계와, 검출된 특징점에 대하여 대비 여권과 검사 여권의 이미지를 이루는 픽셀의 좌표가 재설정되고 도미넌트 방향이 일치되도록 회전 변위가 재설정되어 저장부(117)에 저장되는 것을 특징으로 한다.

상기 제어부(111)에는 스캐너(120)가 연결되며, 검사 여권 이미지 획득 단계에서는 스캐너(120)에서 스캔된 검사 여권의 가시광선 이미지, 자외선 이미지 및 적외선 이미지가 저장부(117)에 저장되며; 상기 패턴 영역 분리 단계에서는 가시광선 이미지, 자외선 이미지 및 적외선 이미지에서의 패턴 영역이 분리되는 것을 특징으로 한다.

상기 여권 대비 단계는 검사 여권과 대비 여권에서 패턴 영역의 이미지를 분리되는 패턴 영역 분리 단계와, 분리된 패턴 영역의 이미지의 각 픽셀의 히스토그램 데이터(x축은 8비트의 각각의 R,G,B 값 또는 각각의 R,G,B 값을 더한 값, y축은 빈도(갯수))가 추출되는 히스토그램 데이터 추출 단계와, 검사 여권 패턴 영역의 히스토그램과 대비 여권 패턴 영역의 히스토그램이 대비되는 히스토그램 데이터 대비 단계로 이루어지는 히스토그램 대비 단계와; 분리된 패턴 영역의 이미지의 각 픽셀들이 Otsu 알고리즘을 사용하여 이미지의 명암 분포에서 변곡점을 찾아 추출된 임계값(threshold)에 의해 흑색과 백색으로 이진화되는 이진화 단계와, 대비 여권의 패턴 영역을 이루는 이진화된 픽셀 데이터가 연산(흑색과 백색의 픽셀 갯수, 평균값 및 표준편차)되는 대비 여권 연산 단계와; 검사 여권의 패턴 영역을 이루는 이진화된 픽셀 데이터가 연산(흑색과 백색의 픽셀 갯수, 평균값 및 표준편차)되는 검사 여권 연산 단계와, 검사 여권에 대한 연산결과와 대비 여권에 대한 연산결과가 대비되는 연산결과 대비 단계로 이루어지는 픽셀 데이터 대비 단계를 포함한다.

도 8은 한국에서 발행된 여권의 사진을 나타낸 도면이다.

여권에는 여권 번호(Passport No)(도 8의 영역 1), 여권의 종류(Type), 발행국(Country code), 성(Surname), 이름(Given name), 국적(Nationality), 성별(Sex), 생년월일(Date of birth), 주민등록번호 뒷자리(Personal Number), 발급일(Date of Issue), 발행관청(Authority), 기간만료일(Date of expiry), 한글설명의 인적 사항 정보가 포함된다(도 8의 영역 2).

그리고 여권 하단의 2줄로 표시된 MRZ(Machine Readable Zone) 데이터가 기재된다(도 8의 영역 3).

MRZ 데이터에는 여권의 종류(Type)(도 8의 MRZ 영역 1), 발행국(Country code)(도 8의 MRZ 영역 2), 성(Surname)(도 8의 MRZ 영역 3), 이름(Given name)(도 8의 MRZ 영역 4), 여권 번호(도 8의 MRZ 영역 5), 국적(도 8의 MRZ 영역 6), 생년월일(도 8의 MRZ 영역 7), 성별(도 8의 MRZ 영역 8), 기간만료일(도 8의 MRZ 영역 9), 주민등록번호(뒷자리)(도 8의 MRZ 영역 10)를 포함한다.

또한, 각 여권들은 적외선과 자외선 잉크로 고유한 패턴(예, 태극문양)이 인쇄되어 여권 위변조를 방지하기 위해 사용된다.

도 9는 검사 여권 이미지에서 MRZ(Machine Readable Zone) 데이터의 유효성 검사에 사용되는 정보(이미지 및 데이터베이스 목록 등) 나타낸 사진이다. 1은 각 국가별 표준 여권으로 사용되는 대비 여권, 2는 검사 대상 여권을 나타내는 검사 여권을 나타낸다.

MRZ 유효성 검사는 ICAO Document 9303 (endorsed by the International Organization for Standardization and the International Electrotechnical Commission as ISO/IEC 7501-1)을 기준으로 이루어진다.

예를들면, 도 2에 도시된 바와 같이, 여권 하단의 MRZ 영역의 두 번째 줄에는 위와 같은 정보가 포함되어 있다.

위 도표에서 C는 Checksum의 약자이다. 총 5개의 Checksum 중 4개는 각각 앞의 여권 번호, 생년월일, 만료일자, 개인식별코드의 유효성을 검사하고 마지막의 5번째 Checksum은 전체 코드에 대한 유효성을 확인한다.

코드 유효성 검사에 사용되는 공식은 다음과 같다.

차례대로 7, 3, 1을 반복적으로 곱하여 더한 후, 10으로 나눈 나머지가 Checksum이 된다. 알파벳의 경우 위의 도표를 이용하여 숫자로 변환한다. 예를 들면, 생년월일 750101의 경우 7 x 7 + 5 x 3 + 0 x 1 + 1 x 7 + 0 x 3 + 1 x 1 = 72가 되어 10으로 나눈 나머지 2가 Checksum이 된다.

도 10은 여권 위변조 검사에 사용되는 특징 영역 정보 및 검사 결과를 나타낸 사진이다.

도 11은 여권 위변조 검사시 세로 방향으로 절단 중첩 비교한 사진이다.

이하에서 기하보정을 포함하여 위에서 설명한 여권의 진위가 판별되는 과정에 대하여 도면을 참조하여 상세하게 설명하다. 각 여권들은 저마다 고유의 위조 방지 요소를 포함하고 있다. 여기에는 적외선과 자외선 잉크로 고유한 패턴이 인쇄된 것도 있는데, 본 발명에서는 검사 여권과 대비 여권의 이미지의 고유한 패턴 영역 부분을 분석하여 검사 여권의 위변조 여부를 검출한다. 적용된 기술로는 기하보정(자동화 분석을 위해 먼저 검사 여권과 같은 종류의 대비 여권(표준 샘플 여권)의 위치를 동일하게 맞춰 주는 작업을 수행)과 패턴분석(동일 위치로 보정된 두 여권에 대하여 자외선(IR)과 적외선(UV) 위조 방지 장치의 적합성 여부를 판단한다. 위조 방지 장치에는 일정한 패턴이 존재하기 때문에 각각의 패턴에 대한 비교 분석 알고리즘을 사용하여 진위를 판별)을 사용한다.

기하보정

여권 검사 시스템(110)에 연동된 스캐너(120)에 의해 스캔하는 경우, 검사 여권들은 스캔 위치와 회전각도를 달리하여 검사여권 이미지가 획득되므로, 검사여권과 대비여권의 비교시에 그 위치와 회전각도를 동일하게 맞추는 '기하 보정'을 해야 된다.

그러므로, 대비 여권의 비교 대상이 되는 패턴을 기준으로 스캐너(120)에 의해 스캔된 검사 여권의 위치와 회전 각도를 맞추는 기하 보정을 실시한다. 여권들은 각각 기입된 내용이 다르지만, 자외선이나 적외선 하에서 일정한 패턴들이 노출되기 때문에 이를 기준으로 위치를 판별한다. 여기에는 SURF(Speeded Up Robust Features) 알고리즘이 사용된다.

SURF 알고리즘은 여러 개의 영상으로부터 크기(Scale), 조명(Illumination), 시점(Viewpoint) 등의 환경 변화를 고려하여 환경 변화에 불변하는 특징을 찾는 알고리즘이다. Integral image를 이용한 박스 필터로 스케일 스페이스(Scale space)를 분석하여 기존의 알고리즘보다 빠른 속도를 갖는다.

영상의 변화량 측정은 미분 연산(1차 미분, 2차 미분)이 사용된다. 1차 미분은 기울기(gradient)라는 용어로 사용되며 벡터값을 갖고 크기, 방향, 엣지 방향을 알수 있다. 영상의 엣지(edge)는 영상의 밝기값(픽셀 값)이 변하는 지점이다. 2차 미분은 1차 미분을 다시 미분한 것으로, 라플라시안(Laplacian) 이라 한다.

Lxx, Lxy, Lyy는 이미지 내의 점 (x, y)에서 가우시안-라플라시안 2차미분을 수행한 convolution이다. σ(sigma)는 scale을 의미한다.

특징점(Interest point)을 찾는 데는 검사 여권의 이미지에 Hessian matrix가 사용된다. Lxx(x,y,σ)는 검사 여권 이미지의 LoG(Laplacian of Gaussian)를 사용한 2차 미분의 결과이고 이것을 박스 필터에 적용하면 도 12와 같이 변환된다.

도 12는 검사 여권 이미지의 특징점을 Hessian matrix를 사용하여 검사 여권 이미지의 LoG(Laplacian of Gaussian)를 사용한 2차 미분의 결과를 박스 필터에 적용 후 변환된 도면이다.

이를 토대로 Scale space를 구성하고 Up-scaling을 하면서 이미지 피라미드(Image pyramid)를 구축한다.

예를들면, 앞서 scale space를 생성할 때, 베이스 필터 사이즈(base filter size)를 최초 9x9에서 점점 확장하여 이미지 피라미드를 구축한다. 현재 필터의 사이즈(Current Filter Size)는 아래와 같이 1.2의 스케일(base filter scale)에 대응하여 증가한다.

scale = Current Filter Size * 1.2(base filter scale) / 9(base filter size)

도 13은 검사 여권 이미지의 LoG(Laplacian of Gaussian)를 사용한 2차 미분의 결과를 박스 필터에 의해 변환된 결과를 Scale space를 구성하고 Up-scaling을 하면서 구축된 이미지 피라미드(Image pyramid)를 나타낸 도면이다.

이렇게 서로 다른 스케일의 검사 여권 이미지가 구성되면, 각각에 대해 Non-maximal suppression을 이용하여 이웃한 점들과 비교하여 중심점이 가장 클 경우 특징점 후보가 선정되게 된다.

검사 여권 이미지의 특징점이 선정되면, 각 특징점의 Descriptor를 생성하기 위해 오리엔테이션(Orientation)을 할당하게 되는데, 도 14에 도시된 바와 같이 특징점을 중심으로 일정 거리 안의 이웃들에 대하여 x, y방향의 Haar-wavelet response를 계산한다.

도 14는 검사 여권 이미지의 특징점 선정 후, 특징점을 중심으로 일정 거리 안의 이웃들에 대하여 x, y방향의 Haar-wavelet response를 계산하는 것을 나타낸 도면이다.

Haar-wavelet response 계산하는 과정은 특징점(x, y)과 이웃한 점들(x-6:x+6, y-6:y+6)에 대하여 각각의 점에 대해 x, y방향의 그라디언트와 2.5sigma 값을 가지는 가우시안 분포를 곱하여 계산한다.

특징점 (x,y)를 중심으로 일정 거리 안의 이웃들에 대하여 x, y방향의 Haar-wavelet response를 계산할 때는 60°크기의 부채꼴 모양의 window를 사용한다. 부채꼴 모양의 window 내의 모든 response를 더하면, 도 14의 빨간 화살표처럼 새로운 벡터를 만들 수 있으며, 이것들 중 가장 긴 벡터가 도미넌트 방향(dominant orientation)이 일치된다. 위 과정까지 모두 완료되면 최종적으로 검출된 특징점과 각 특징점의 Descriptor를 이용하여 매칭하고, 매칭된 결과값을 토대로 x, y 축으로의 위치 이동(translation)과 2D 공간상에서의 회전(rotation)을 수행하여 두 이미지의 위치를 일치시키게 된다.

패턴분석

Chi - square test

검사 여권의 패턴 영역 이미지의 패턴 분석 이전에 여권 검사 시스템의 데이터베이스에 등록된 각 여권별 고유 패턴 영역을 불러와 이미지를 추출한다. 각 여권별 고유 패턴 영역으로부터 추출된 이미지는 gray-scale을 통해 각 픽셀마다 8bit의 값을 가지는 채널로 변환되고, 이를 토대로 각 픽셀의 x축의 R,G,B 값(0~255)에 대한 Y축의 빈도(갯수)를 나타내는 히스토그램이 구성된다. 이 작업은 스캐너를 통해 여권 검사 시스템으로 입력받은 검사 여권이미지와 데이터베이스에서 불러온 표준 샘플 여권 이미지 양쪽에 동일하게 적용된다.

도 15는 검사 여권과 대비 여권의 패턴 영역 이미지의 패턴 분석시, Chi-suqare test를 사용하여 여권의 고유의 패턴 영역(좌측)으로부터 추출된 이미지의 각 픽셀마다 8bit의 값을 가지는 채널로 변환되고, 이를 토대로 각 픽셀의 x축의 R, G, B 값(0~255)에 대한 Y 축의 빈도(갯수)를 나타내는 히스토그램(우측)을 나타낸 도면이다.

검사 여권의 패턴 영역 이미지의 적외선과 자외선 잉크로 형성된 패턴 영역의 히스토그램과 대비 여권의 패턴 영역의 이미지의 히스토그램에 대하여 여권의 위변조 여부를 확인하기 위해 두 히스토그램의 동일성을 판단하는데는 Chi-square test가 사용된다. Chi-square test는 두 불연속변수 간의 상관관계를 측정하는 통계적 기법으로 두 히스토그램은 수학식2에서 각각 관찰빈도(O:Observed frequencies)와 기대 빈도(E:Expected frequencies)로 사용된다.

chi-square test에서 식에 포함된 변수들은 O(observed)는 관측값(히스토그램 빈의 값)을, E(expected)는 기댓값(히스토그램 빈의 값)이며, 대응되는 빈도 각각에 대한 연산의 합이다(빈의 수는 0~255).

본 프로그램에서는 여권검사 시스템의 DB에 저장된 대비 여권(표준 샘플 여권)들이 기댓값(E)으로 설정되고, 검사 여권이 관측값(O)으로 설정된다.

수학식2을 통해 얻은 결과값을 사용하여 Chi-square distribution(카이제곱 분포, χ²분포)에서 p-value를 구하는데 사용한다. 구해진 p-value와 여권 검사 시스템의 데이터베이스에 저장된 significance level을 비교하여 여권 위변조 여부의 최종 검증을 수행한다.

참고로, Chi-square distribution(카이제곱 분포, χ²분포)는 분산이 σ²이고 정규 분포를 이루는 모집단으로부터 표본의 크기가 n인 모든 표본을 추출했을 때 표본 분산이

이면 (n-1)의 자유도(degrees of freedom)를 가진 Chi-square distribution(카이제곱 분포, χ²분포)는

이다.

p-value는 표 3에 나타난 바와 같이 카이 제곱 분포표에서 해당하는 값을 선택한다.

Shade ratio

상기 Chi-square test는 gray-scale 공간을 사용하기 때문에 검사 여권과 대비 여권 이미지의 밝기(brightness)에 따라 값이 변할 가능성이 존재하기 때문에 이를 보완하기 위해 검사 여권과 대비 여권의 이미지를 Otsu 알고리즘을 사용하여 임계값(threshold)에 의해 흑색과 백색으로 이진화(Binarization)하여 Shade ratio를 추출하여 추가적으로 사용한다.

도 16은 검사 여권과 대비 여권의 패턴 영역 분석시에, Chi-square test가 gray-scale 공간을 사용하기 때문에 검사 여권과 대비 여권 이미지의 밝기(brightness)에 따라 값이 변할 가능성이 존재하기 때문에 검사 여권과 대비 여권의 패턴 영역 이미지의 각 픽셀을 Otsu 알고리즘을 사용하여 임계값을 사용하여 흑색과 백색으로 이진화(Binarization)하여 Shade ratio를 추출하는 것을 비교한 도면이다.

이진화에는 Otsu 알고리즘이 사용된다. Otsu 알고리즘은 여권 이미지의 명암 분포에서 변곡점을 찾아 흑색(black)과 백색(white)을 구분하는 threshold값을 추출하기 때문에 여권의 패턴 영역 이미지의 밝기(brightness)에 구애 받지 않는 결과를 가진 각 픽셀의 이진화된 흑백 이미지를 생성할수 있다. 이진화 과정을 거친 패턴 영역 이미지는 픽셀당 1bit의 채널을 갖는 흑백 이미지로 변환되며, 변환이 완료되면 패턴 영역 이미지의 전체 픽셀을 읽고, 흑색과 백색 픽셀의 수, 평균, 표준 편차를 다음 표 4와 같이 계산한다. 계산은 패턴 영역 이미지의 모든 레퍼런스 데이터에 대하여 실행된다.

또한, 표5에 도시된 바와 같이 각각 검사 여권과 대비 여권의 패턴 영역 이미지의 전체 픽셀 데이터의 평균(Mean) 및 표준 편차(Standard Deviation), 픽셀 퍼센티지(％)를 계산한다.

위 결과를 토대로 Shade ratio의 유효 범위를 계산하여 검사 여권(검사 대상 여권)과 대비 여권(표준 샘플 여권)간의 차이를 출력한다.

Shade ratio의 유효 범위를 계산하는 과정은 먼저 계산된 대비 여권(표준 여권)들의 Shade ratio 평균과 표준편차를 사용하여 확률 분포를 구하고 일정 확률(현재 10%, 추후 국가별 다른 기준 적용)을 기준으로 유효 범위를 설정한다.

여권의 위변조를 분석하기 위해 각각 검사 여권과 대비 여권의 패턴 영역에 대한 패턴 분석의 최종 결과는 Chi-square test 결과와 Shade ratio의 결과를 종합한 값을 여권마다 데이터베이스에 저장된 threshold와 비교하여 여권 위변조의 여부가 도출된다.

110: 여권 검사 시스템 111: 제어부
113: 입력부 115: 표시부
117: 저장부 119: 연결부
120; 스캐너

Claims

제어부와, 상기 제어부에 연결되며 대비 여권 이미지가 저장된 저장부와, 상기 제어부에 연결되며 사용자의 명령이 입력되는 수단인 입력부와, 상기 제어부에 연결되며 검사결과가 표시되는 표시부로 이루어지는 여권검사시스템에서 실행되며;
상기 여권검사시스템에 연결된 스캐너를 통해 가시광선(Visible Ray), 또는 적외선(Infrared Rays), 또는 자외선(Ultraviloet Rays) 패턴 영역이 포함된 여권 이미지 스캔 후 검사 여권의 이미지가 획득되어 저장부에 저장되는 검사 여권 이미지 획득 단계;
상기 검사 여권의 이미지에서 MRZ(Machine Readable Zone) 데이터의 유효성 검사가 실행되는 유효성 검사 단계;
상기 저장부로부터 검사 여권 이미지와 대비될 대비 여권 이미지가 검색되는 대비 여권 이미지 검색 단계;
대비 여권 이미지와 검사 여권 이미지의 위치와 회전 각도를 맞추는 기하 보정 실시 후, 상기 대비 여권 이미지와 상기 검사 여권 이미지가 대비되는 여권 대비 단계; 및
여권 위변조 검사 결과가 표시부에 디스플레이되는 검사 결과 표시 단계를 포함하며,
상기 검사 여권과 상기 대비 여권의 패턴 영역 이미지를 분석하는 패턴 분석은 상기 검사 여권의 패턴 영역 이미지의 적외선과 자외선 잉크로 형성된 패턴 영역의 히스토그램과 상기 대비 여권의 패턴 영역의 이미지의 히스토그램에 대하여 상기 검사 여권의 위변조 여부를 확인하기 위해 두 히스토그램의 동일성을 판단하는 Chi-square test, Shade ratio 유효 범위를 검사 여권과 대비 여권의 차이를 출력하고, 상기 검사 여권과 대비 여권의 패턴 영역 이미지에 대한 패턴 분석의 결과는 Chi-square test 결과와 Shade ratio의 결과를 종합한 값을 각 국가의 여권마다 여권검사시스템의 데이터베이스에 저장된 임계치(threshold)와 비교하여 여권 위변조의 여부를 검사하며,
여권의 위변조를 분석하기 위해 각각 검사 여권과 대비 여권의 패턴 영역에 대한 패턴 분석의 최종 결과는 Chi-square test 결과와 Shade ratio의 결과를 종합한 값을 여권마다 데이터베이스에 저장된 threshold와 비교하여 여권 위변조의 여부가 도출되는 것을 특징으로 하는 위변조 여권 검사 방법.
제1 항에 있어서,
상기 MRZ 데이터의 유효성 검사 단계에서 검사 여권 이미지에 포함된 MRZ 데이터는 여권의 종류(Type), 발행국(Country code), 성(Surname), 이름(Given name), 여권 번호, 국적, 생년월일, 성별, 기간만료일, 주민등록번호(뒷자리)를 포함하며,
여권 하단의 MRZ 영역의 두 번째 줄에는 총 5개의 Checksum 중 4개는 각각 앞의 여권 번호, 생년월일, 만료일자, 개인식별코드의 유효성을 검사하고 마지막의 5번째 C(Checksum)은 전체 코드에 대한 유효성을 확인하는 것을 특징으로 하는 위변조 여권 검사 방법.
제1 항에 있어서,
상기 검사 여권과 상기 대비 여권은 위변조 방지를 위해 적외선과 자외선 잉크로 고유한 패턴이 인쇄되며, 상기 검사 여권과 상기 대비 여권 이미지의 고유한 패턴 영역의 이미지를 분석하여 검사 여권의 위변조 여부를 검출하는 것을 특징으로 하는 위변조 여권 검사 방법.
삭제
제1 항에 있어서,
상기 제어부에는 상기 스캐너가 연결되며, 상기 검사 여권 이미지 획득 단계에서는 상기 스캐너에서 스캔된 검사 여권의 가시광선 이미지, 자외선 이미지 및 적외선 이미지가 저장부에 저장되며;
상기 여권 대비 단계는 상기 검사 여권과 상기 대비 여권에서 자외선 또는 적외선으로 형성된 고유의 패턴 영역이 분리되는 패턴 영역 분리 단계를 더 포함하며;
상기 패턴 영역 분리 단계에서는 가시광선 이미지, 자외선 이미지 및 적외선 이미지에서의 패턴 영역이 분리되는 것을 특징으로 하는 위변조 여권 검사 방법.
제1 항에 있어서,
상기 여권 대비 단계는
상기 검사 여권과 상기 대비 여권에서 자외선 또는 적외선으로 형성된 고유의 패턴 영역이 분리되는 패턴 영역 분리 단계와, 분리된 패턴 영역의 히스토그램 데이터가 추출되는 히스토그램 데이터 추출 단계와, 검사 여권 패턴 영역의 히스토그램과 대비 여권 패턴 영역의 히스토그램이 대비되는 히스토그램 데이터 대비 단계로 이루어지는 것을 특징으로 하는 위변조 여권 검사 방법.
제1 항에 있어서,
상기 여권 대비 단계는 상기 검사 여권과 상기 대비 여권에서 패턴 영역이 분리되는 패턴 영역 분리 단계;
분리된 패턴 영역이 이진화되는 이진화 단계;
상기 대비 여권의 패턴 영역을 이루는 이진화된 픽셀 데이터에 대한 픽셀 갯수, 평균값 및 표준편차가 연산되는 대비 여권 연산 단계;
상기 검사 여권의 패턴 영역을 이루는 이진화된 픽셀 데이터에 대한 픽셀 갯수, 평균값 및 표준편차가 연산되는 검사 여권 연산 단계; 및
상기 검사 여권에 대한 연산결과와 대비 여권에 대한 연산결과가 대비되는 연산결과 대비 단계로 이루어지는 것을 특징으로 하는 위변조 여권 검사 방법.
제1 항에 있어서,
상기 대비 여권 이미지 검색 단계와 여권 대비 단계 사이에는 기하 보정을 통해 대비 여권과 검사 여권 이미지의 위치와 회전 각도를 맞추는 여권 이미지 보정 단계가 더 포함되며;
상기 여권 이미지 보정 단계는 검사 여권 이미지와 대비 여권 이미지를 이루는 픽셀들에 대한 헤시안 매트릭스(Hessian matrix)가 연산되는 단계와, 각 이미지를 이루는 픽셀에 대한 스케일 스페이스(scale space)가 생성되고 업스케일링되면서 이미지 피라미드가 생성되는 단계와, 각 스케일의 이미지에서 특징점 그룹이 선정되는 단계와, 특징점 그룹에 대한 Haar-wavelet response가 연산되는 단계와, Haar-wavelet response 결과로부터 도미넌트 방향이 연산되는 단계와, 검출된 특징점에 대하여 대비 여권과 검사 여권의 이미지를 이루는 픽셀의 좌표가 재설정되고 도미넌트 방향이 일치되도록 회전 변위가 재설정되어 저장부에 저장되는 것을 특징으로 하는 위변조 여권 검사 방법.
제8 항에 있어서,
상기 여권 대비 단계는
검사 여권과 대비 여권에서 패턴 영역의 이미지를 분리되는 패턴 영역 분리 단계와, 분리된 패턴 영역의 이미지의 각 픽셀의 히스토그램 데이터(x축은 8비트의 각각의 R,G,B 값 또는 각각의 R,G,B 값을 더한 값, y축은 빈도(갯수))가 추출되는 히스토그램 데이터 추출 단계;
상기 검사 여권 패턴 영역의 히스토그램과 대비 여권 패턴 영역의 히스토그램이 대비되는 히스토그램 데이터 대비 단계로 이루어지는 히스토그램 대비 단계;
분리된 패턴 영역의 이미지의 각 픽셀들이 이미지의 명암 분포에서 변곡점을 찾아 추출된 임계값(threshold)에 의해 흑색과 백색으로 이진화되는 이진화 단계;
상기 대비 여권의 패턴 영역을 이루는 이진화된 픽셀 데이터가 연산(흑색과 백색의 픽셀 갯수, 평균값 및 표준편차)되는 대비 여권 연산 단계;
상기 검사 여권의 패턴 영역을 이루는 이진화된 픽셀 데이터가 연산(흑색과 백색의 픽셀 갯수, 평균값 및 표준편차)되는 검사 여권 연산 단계; 및
상기 검사 여권에 대한 연산결과와 대비 여권에 대한 연산결과가 대비되는 연산결과 대비 단계로 이루어지는 픽셀 데이터 대비 단계를 포함하는 위변조 여권 검사 방법.
제9 항에 있어서,
상진 이진화 단계는 Otsu 알고리즘을 사용하는 것을 특징으로 하는 위변조 여권 검사 방법.
제8 항에 있어서,
상기 대비 여권의 비교 대상이 되는 패턴을 기준으로 상기 스캐너에 의해 스캔된 상기 검사 여권의 위치와 회전 각도를 맞추는 기하 보정을 실시하며, 여권들은 각각 기입된 내용이 다르지만, 자외선이나 적외선 하에서 일정한 패턴들이 노출되기 때문에 이를 기준으로 위치를 판별하기 위해 SURF(Speeded Up Robust Features) 알고리즘이 사용하는 것을 특징으로 하는 위변조 여권 검사 방법.
제11 항에 있어서,
상기 기하 보정은
여권의 이미지에 헤시안 메트릭스(Hessian matrix)를 사용하여 이미지의 특징점 (x,y)을 선정하며, 검사 여권 이미지의 LoG(Laplacian of Gaussian)를 사용한 2차 미분의 결과를 박스 필터에 의해 변환된 결과를 Scale space를 구성하고 Up-scaling을 하면서 구축된 이미지 피라미드(Image pyramid)를 표시하고, 서로 다른 스케일의 검사 여권 이미지가 구성되면, 각각에 대해 Non-maximal suppression을 이용하여 이웃한 점들과 비교하여 중심점이 가장 클 경우 특징점 후보가 선정되며, 상기 검사 여권 이미지의 특징점이 선정되면, 상기 특징점을 중심으로 일정 거리 안의 이웃들에 대하여 x, y방향의 Haar-wavelet response를 계산하고, 특징점(x, y)과 이웃한 점들(x-6:x+6, y-6:y+6)에 대하여 각각의 점에 대해 x,y방향의 그라디언트와 2.5sigma 값을 가지는 가우시안 분포를 곱하여 계산하며,
x, y방향의 Haar-wavelet response 계산 시에는 일정 각도(예:60°)크기의 부채꼴 모양의 window 내의 모든 response를 더하면 새로운 벡터들이 생성되고 그 중 가장 긴 벡터가 도미넌트 방향(dominant orientation)이 일치되며, 위 과정까지 모두 완료되면 최종적으로 검출된 특징점과 각 특징점의 Descriptor를 이용하여 매칭하고, 매칭된 결과값을 토대로 x, y축으로의 위치 이동(translation)과 2D 공간상에서의 회전(rotation)을 수행하여 검사 여권과 대비 여권 두 이미지의 위치를 일치시키는 것을 특징으로 하는 위변조 여권 검사 방법.
(수학식1) 헤시안 메트릭스(Hessian matrix)

단, Lxx, Lxy, Lyy는 이미지 내의 점 (x, y)에서 가우시안-라플라시안 2차미분을 수행한 convolution.
Lxx(x,y,σ)는 검사 여권 이미지의 LoG(Laplacian of Gaussian)를 사용한 2차 미분의 결과, σ(sigma)는 스케일(scale).
제12 항에 있어서,
상기 검사 여권 이미지의 패턴 영역의 특징점을 Hessian matrix를 사용하여 검사 여권 이미지의 LoG(Laplacian of Gaussian)를 사용한 2차 미분의 결과를 박스 필터에 적용되어 변환되면, 이를 토대로 스케일 스페이스(Scale space)를 구성하고 Up-scaling을 하면서 베이스 필터 사이즈(base filter size)를 점점 확장하여 이미지 피라미드(Image pyramid)를 구축하며, 이렇게 서로 다른 스케일의 검사 여권 이미지가 구성되면, 각각에 대해 Non-maximal suppression을 이용하여 이웃한 점들과 비교하여 중심점이 가장 클 경우 특징점 후보가 선정되게 되고,
상기 검사 여권 이미지의 특징점이 선정되면, 각 특징점의 Descriptor를 생성하기 위해 오리엔테이션(Orientation)을 할당하게 되는데, 특징점을 중심으로 일정 거리 안의 이웃들에 대하여 x, y방향의 Haar-wavelet response를 계산하며,
상기 Haar-wavelet response 계산하는 과정은 특징점(x, y)과 이웃한 점들(x-6:x+6, y-6:y+6)에 대하여 각각의 점에 대해 x, y방향의 그라디언트와 2.5sigma 값을 가지는 가우시안 분포를 곱하여 계산하며
특징점 (x,y)를 중심으로 일정 거리 안의 이웃들에 대하여 x, y방향의 Haar-wavelet response를 계산할 때는 60°크기의 부채꼴 모양의 window 내의 모든 response를 더하면 새로운 벡터를 만들며 이것들 중 가장 긴 벡터가 도미넌트 방향(dominant orientation)이 일치되고, 위 과정까지 모두 완료되면 최종적으로 검출된 특징점과 각 특징점의 Descriptor를 이용하여 매칭하고, 매칭된 결과값을 토대로 x, y 축으로의 위치 이동(translation)과 2D 공간상에서의 회전(rotation)을 수행하여 검사 여권과 대비 여권의 두 이미지의 위치를 일치시키는 것을 특징으로 하는 위변조 여권 검사 방법.
삭제
제1 항에 있어서,
상기 Chi-square test는
상기 스캐너를 통해 여권 검사 시스템으로 입력받은 상기 검사 여권의 패턴 영역의 패턴 분석 이전에 데이터베이스에 등록된 각 여권별 고유의 패턴 영역 이미지를 추출하고 gray-scale을 통해 각 픽셀마다 8bit의 값을 가지는 채널로 변환하며, 각 픽셀의 x축의 R,G,B 값(0~255)에 대한 Y 축의 빈도(갯수)를 나타내는 히스토그램을 구성하고, 상기 검사 여권 이미지와 상기 여권 검사 시스템의 데이터베이스에서 불러온 대비 여권 이미지에 적용하여 두 히스토그램의 동일성을 판단하기 위해 아래 수학식2와 같이 Chi-square test를 사용하며, 상기 Chi-square test는 두 불연속변수 간의 상관관계를 측정하는 통계적 기법으로 두 히스토그램은 각각 관찰빈도(O:Observed frequencies)와 기대 빈도(E:Expected frequencies)를 사용하여 아래 수학식2를 통해 얻은 결과값을 사용하여 Chi-square distribution(카이제곱 분포, χ²분포)에서 p-value를 구하며, 구해진 p-value와 데이터베이스에 저장된 significance level을 비교하여 여권 위변조 여부의 최종 검증을 하는 것을 특징으로 하는 위변조 여권 검사 방법.
(수학식 2)

단, O(observed) : 관측값(히스토그램 빈의 값),
E(expected) : 기댓값(히스토그램 빈의 값): 대응되는 빈 각각에 대한 연산의 합(빈의 수는 0~255)(본 프로그램에서는 DB에 저장된 대비 여권(표준 여권)들이 기댓값(E)으로 설정되고, 검사 여권이 관측값(O)으로 설정.
제1 항에 있어서,
상기 Chi-square test는 gray-scale 공간을 사용하기 때문에 검사 여권과 대비 여권 이미지의 밝기(brightness)에 따라 값이 변할 가능성이 있기 때문에 여권 이미지를 Otsu 알고리즘을 사용하여 여권 이미지의 명암 분포에서 변곡점을 찾아 흑색과 백색을 구분하는 임계값(threshold)을 추출하기 때문에 여권 이미지의 패턴 영역 이미지의 밝기(brightness)에 구애 받지 않고 상기 임계값에 의해 패턴영역의 이미지의 각 픽셀당 이진화하여 흑백 이미지로 변환하고 Shade ratio를 추출하며, 상기 검사 여권과 상기 대비 여권의 패턴 영역 이미지의 전체 픽셀을 읽고, 전체 픽셀 데이터의 흑색과 백색 픽셀의 수, 평균, 표준 편차, 픽셀 퍼센티지(％)를 계산하여 서로 비교하며, 위 결과를 토대로 계산된 대비 여권들의 Shade ratio 평균과 표준편차를 사용하여 확률 분포를 구하고 일정 확률(현재 10%, 국가별 다른 기준 적용)을 기준으로 Shade ratio의 유효 범위를 계산하여 검사 여권과 대비 여권의 차이를 출력하여 검사 여권의 위변조를 분석하는 것을 특징으로 하는 위변조 여권 검사 방법.
가시광선(Visible Ray), 또는 적외선(Infrared Rays), 또는 자외선(Ultraviloet Rays) 패턴 영역이 포함된 여권 이미지를 스캔하는 스캐너; 및 제어부와, 상기 제어부에 연결되며 대비 여권 이미지가 저장된 저장부와, 상기 제어부에 연결되며 사용자의 명령이 입력되는 수단인 입력부와, 상기 제어부에 연결되며 검사결과가 표시되는 표시부로 이루어지는 여권검사시스템에서,
상기 여권검사시스템에 연결된 스캐너를 통해 가시광선(Visible Ray), 또는 적외선(Infrared Rays), 또는 자외선(Ultraviloet Rays) 패턴 영역이 포함된 여권 이미지 스캔 후 검사 여권의 이미지가 획득되어 저장부에 저장되는 검사 여권 이미지 획득 기능;
상기 검사 여권의 이미지에서 MRZ(Machine Readable Zone) 데이터의 유효성 검사가 실행되는 유효성 검사 기능;
상기 저장부로부터 검사 여권 이미지와 대비될 대비 여권 이미지가 검색되는 대비 여권 이미지 검색 기능;
대비 여권 이미지와 검사 여권 이미지의 위치와 회전 각도를 맞추는 기하 보정 실시 후, 상기 대비 여권 이미지와 상기 검사 여권 이미지가 대비되는 여권 대비 기능; 및
여권 위변조 검사 결과가 표시부에 디스플레이되는 검사 결과 표시 기능을 포함하며,
상기 검사 여권과 상기 대비 여권의 패턴 영역 이미지를 분석하는 패턴 분석은 상기 검사 여권의 패턴 영역 이미지의 적외선과 자외선 잉크로 형성된 패턴 영역의 히스토그램과 상기 대비 여권의 패턴 영역의 이미지의 히스토그램에 대하여 상기 검사 여권의 위변조 여부를 확인하기 위해 두 히스토그램의 동일성을 판단하는 Chi-square test, Shade ratio 유효 범위를 검사 여권과 대비 여권의 차이를 출력하고, 상기 검사 여권과 대비 여권의 패턴 영역 이미지에 대한 패턴 분석의 결과는 Chi-square test 결과와 Shade ratio의 결과를 종합한 값을 각 국가의 여권마다 여권검사시스템의 데이터베이스에 저장된 임계치(threshold)와 비교하여 여권 위변조의 여부를 검사하며,
여권의 위변조를 분석하기 위해 각각 검사 여권과 대비 여권의 패턴 영역에 대한 패턴 분석의 최종 결과는 Chi-square test 결과와 Shade ratio의 결과를 종합한 값을 여권마다 데이터베이스에 저장된 threshold와 비교하여 여권 위변조의 여부가 도출되는 기능을 실현하기 위한 프로그램이 저장된 컴퓨터로 읽을 수 있는 기록 매체.