[go: up one dir, main page]

KR101926510B1 - 광각카메라를 이용한 안면인식 기반의 광역 감시 시스템 - Google Patents

광각카메라를 이용한 안면인식 기반의 광역 감시 시스템 Download PDF

Info

Publication number
KR101926510B1
KR101926510B1 KR1020180029639A KR20180029639A KR101926510B1 KR 101926510 B1 KR101926510 B1 KR 101926510B1 KR 1020180029639 A KR1020180029639 A KR 1020180029639A KR 20180029639 A KR20180029639 A KR 20180029639A KR 101926510 B1 KR101926510 B1 KR 101926510B1
Authority
KR
South Korea
Prior art keywords
image
target object
time
stereoscopic image
wide
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020180029639A
Other languages
English (en)
Inventor
이경순
Original Assignee
주식회사 월드씨엔에스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 월드씨엔에스 filed Critical 주식회사 월드씨엔에스
Priority to KR1020180029639A priority Critical patent/KR101926510B1/ko
Application granted granted Critical
Publication of KR101926510B1 publication Critical patent/KR101926510B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G06K9/00302—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 광각카메라를 이용한 안면인식 기반의 광역 감시 시스템에 관한 것으로, 보다 상세하게는 다수 개의 광각카메라를 이용하여 대상객체(사람)를 중심으로 하는 다수의 영상을 획득하고, 이를 통해 대상객체의 안면부를 입체적으로 파악하면서 대상객체의 움직임이나 행동을 추적할 수 있도록 한 것이다.
특히, 본 발명은 다수 개의 광각카메라를 이용하여 촬영된 영상을 기반으로, 대상객체를 입체적으로 관찰할 수 있는 영상을 제공함으로써, 안면인식을 기반으로 대상객체를 효율적으로 추적 및 감시할 수 있다.
또한, 본 발명은 장시간 촬영된 많은 양의 영상을 정확히 판독할 수 있도록 하기 위하여, 해당 영상이 촬영된 공간에 출현한 객체들을 확인하고, 해당 공간(배경영상)에 다수의 객체를 동시에 오버랩(Overlap)함으로써, 짧은 시간 동안 모든 객체에 대한 움직임이나 행동을 정확히 확인할 수 있다.
따라서, 보안 및 감시 시스템 분야, 특히 시각적 영상 기반의 보안 및 감시 분야, CCTV를 이용한 보안 및 감시 분야, IoT 기반의 보안 및 감시 분야는 물론, 이와 유사 내지 연관된 분야에서 신뢰성 및 경쟁력을 향상시킬 수 있다.

Description

광각카메라를 이용한 안면인식 기반의 광역 감시 시스템{Wide area surveillance system based on facial recognition using wide angle camera}
본 발명은 광각카메라를 이용한 안면인식 기반의 광역 감시 시스템에 관한 것으로서, 보다 상세하게는 다수 개의 광각카메라를 이용하여 대상객체(사람)를 중심으로 하는 다수의 영상을 획득하고, 이를 통해 대상객체의 안면부를 입체적으로 파악하면서 대상객체의 움직임이나 행동을 추적할 수 있도록 한 것이다.
특히, 본 발명은 다수 개의 광각카메라를 이용하여 촬영된 영상을 기반으로, 대상객체를 입체적으로 관찰할 수 있는 영상을 제공함으로써, 안면인식을 기반으로 대상객체를 효율적으로 추적 및 감시할 수 있는 광각카메라를 이용한 안면인식 기반의 광역 감시 시스템에 관한 것이다.
CCTV와 같은 보안 및 감시용 카메라 등은 주택가, 도로 또는 각종 시설물 등에 광범위하게 설치되어 있으며, 이러한 카메라를 이용하는 보안 및 감시 시스템은 범죄예방을 효과적으로 수행하고 범죄발생시에도 보다 빠르게 범죄사건을 해결할 수 있는 기술로 자리잡고 있다.
일반적으로 보안 및 감시 시스템은, 감시대상지역에 다수의 카메라를 설치하여 해당 지역에 대한 영상을 실시간으로 확보하고, 관리자는 중앙관제실 등에서 해당 영상을 감시하게 된다.
그러나, 이와 같은 보안 및 감시 시스템은 소수의 관리자가 많은 지역을 시각적으로 감시해야 하므로, 시야가 분산되고 특정 지역만을 집중적으로 감시할 수 없기 때문에, 범죄가 발생되는 등의 중요한 순간을 놓치는 경우가 빈번하게 발생하였으며, 추후 이를 확인하기 위해서는 모든 영상기록을 일일이 재검색해야 하는 어려움이 있었다.
이를 해결하기 위하여, 관리자가 시각적으로 감시해야 하는 객체들에 대하여, 영상인식 기법을 통해 영상 속의 객체를 자동으로 인식하고 추적하는 기술들이 개발되고 있다.
예를 들어, 하기의 선행기술문헌인 대한민국 등록특허공보 제10-1364046호 '동영상에서 객체를 추적하는 방법 및 그 장치'(이하 '선행기술'이라 한다)는 영상 속의 객체가 움직임에 따라 달라지는 형상(크기, 기울어짐, 변형 등)의 변화에 대응하여 해당 객체를 효율적으로 추적하기 위한 것이다.
선행기술을 보다 구체적으로 살펴보면, 영상 속의 객체에 대한 특징점을 추출한 후, 해당 특징점을 이용하여 추적함으로써, 복잡한 배경 환경속에서 다양한 객체를 정확히 추적할 수 있도록 한 것이다.
이와 같은 영상인식을 통한 추적기능을 이용하게 되면, 관리자의 부담이 크게 감소하기 때문에 보다 효율적인 감시가 이루어질 수 있다.
그러나, 영상인식을 통한 보안 및 감시 시스템에서 수행되는 이동물체(대상객체를 말하며, 주로 사람) 검출 기법은 영상 속의 객체를 검출하는 과정에서, 객체 인식의 정확성 및 처리속도 등에 있어서, 인식의 오류 등과 같은 한계가 존재할 수 밖에 없으며, 이로 인해 시스템의 신뢰성에 있어서 문제점이 발생할 수 밖에 없었다.
결과적으로, 보안 및 감시 시스템을 운용하는 입장에서, 시스템에 대한 충분한 신뢰성을 확보하기 위해서는 관리자가 직접 영상들을 확인하는 과정을 거칠 수 밖에는 없었다.
또한, 선행기술과 같은 종래의 보안 및 감시 시스템은, 단순히 대상객체(사람) 자체의 이동에 대한 추적 및 이동경로에 대한 정보만을 제공하는데 그치고 있다는 아쉬움이 있었다.
대한민국 등록특허공보 제10-1364046호 '동영상에서 객체를 추적하는 방법 및 그 장치'
상기와 같은 문제점을 해결하기 위해서, 본 발명은 다수 개의 광각카메라를 이용하여 대상객체(사람)를 중심으로 하는 다수의 영상을 획득하고, 이를 통해 대상객체의 안면부를 입체적으로 파악하면서 대상객체의 움직임이나 행동을 추적할 수 있도록 하는 광각카메라를 이용한 안면인식 기반의 광역 감시 시스템을 제공하는데 목적이 있다.
특히, 본 발명은 다수 개의 광각카메라를 이용하여 촬영된 영상을 기반으로, 대상객체를 입체적으로 관찰할 수 있는 영상을 제공함으로써, 안면인식을 기반으로 대상객체를 효율적으로 추적 및 감시할 수 있는 광각카메라를 이용한 안면인식 기반의 광역 감시 시스템을 제공하는데 목적이 있다.
또한, 본 발명은 장시간 촬영된 많은 양의 영상을 정확히 판독할 수 있도록 하기 위하여, 해당 영상이 촬영된 공간에 출현한 객체들을 확인하고, 해당 공간(배경영상)에 다수의 객체를 동시에 오버랩(Overlap)함으로써, 짧은 시간 동안 모든 객체에 대한 움직임이나 행동을 정확히 확인할 수 있는 광각카메라를 이용한 안면인식 기반의 광역 감시 시스템을 제공하는데 목적이 있다.
상기와 같은 목적을 달성하기 위해서, 본 발명에 따른 광각카메라를 이용한 안면인식 기반의 광역 감시 시스템은, 전방향영상을 획득하는 다수 개의 광각카메라; 상기 광각카메라들을 통해 촬영된 촬영시점별 원본영상에서, 대상객체 및 해당 대상객체의 안면부를 확인하는 객체확인부; 및 상기 대상객체의 안면부가 확인된 촬영시점별 원본영상에 대하여, 대상객체의 안면부가 영상의 중심에 위치하도록 각 촬영시점별 원본영상을 보정하여 촬영시점별 안면영상을 생성하는 객체영상처리부; 및 상기 객체영상처리부에서 생성된 촬영시점별 안면영상을 기반으로, 해당 대상객체의 안면부에 대한 안면부입체영상을 생성하는 입체영상제공부;를 포함한다.
또한, 상기 입체영상제공부는, 시분할(Time slicing) 촬영 기법을 이용하여 해당 대상객체의 안면부가 포함된 복수 개의 촬영시점별 안면영상으로부터 안면부입체영상을 생성할 수 있다.
또한, 상기 안면부입체영상을 확인하여 대상객체의 객체시점을 확인하는 객체시점확인모듈; 및 상기 광각카메라를 통해 촬영된 영상 중 상기 객체시점확인모듈에서 확인된 객체시점에 대응하는 객체시점별 원본영상을 추출하는 객체시점영상추출모듈;를 더 포함하고, 상기 입체영상제공부는, 상기 객체시점영상추출모듈에서 추출된 객체시점별 원본영상을 기반으로, 해당 객체가 바라보는 영역의 입체영상을 생성하여 제공할 수 있다.
또한, 상기 입체영상제공부는, 일정시간 동안 상기 광각카메라들을 통해 촬영된 촬영시점별 원본영상에 포함된 적어도 하나의 대상객체를 추출하고, 추출된 대상객체를 동일한 배경영상에 오버랩(Overlap)한 시간압축입체영상을 생성하여 제공할 수 있다.
또한, 상기 입체영상제공부는, 사용자에 의해 특정 대상객체가 선택되면, 해당 대상객체가 나타난 시점부터 사라지는 시점까지의 안면부입체영상을 제공할 수 있다.
또한, 상기 입체영상제공부는, 상기 대상객체가 촬영된 시간대별로 설정된 객체표시정보에 매칭되도록 해당 대상객체를 보정한 후, 상기 배경영상에 오버랩할 수 있다.
또한, 상기 입체영상제공부는, 상기 대상객체를 배경영상에 오버랩하는 과정에서, 상기 대상객체의 움직임을 분석하여 경고상황으로 판단될 경우, 해당 대상객체를 경고상태로 오버랩할 수 있다.
또한, 상기 입체영상제공부로부터 제공된 오버랩영상으로부터 특정 대상객체의 움직임을 분석하고, 해당 지역의 디지털맵을 호출하여 해당 대상객체의 예측이동경로를 확인하는 객체추적부;를 더 포함할 수 있다.
또한, 상기 광각카메라를 통해 촬영된 원본영상을 수집하여 상기 객체확인부로 제공하는 영상수집부; 및 상기 예측이동경로 중 적어도 다른 일부를 촬영할 수 있으며, 상기 영상수집부와 사물인터넷기반으로 연동하여 촬영된 영상 중 적어도 일부를 제공하는 IoT카메라;를 더 포함하며, 상기 영상제공부는, 상기 객체추적부에서 확인된 예측이동경로를 기반으로, 상기 영상수집부를 통해 광각카메라로부터 제공된 영상과 IoT카메라로부터 제공된 영상에서 대상객체를 추출하여 배경영상에 오버랩할 수 있다.
또한, 상기 영상제공부는, 상기 광각카메라로부터 제공된 영상의 적어도 일부를 이용하여 상기 IoT카메라로부터 제공된 영상을 광각영상으로 보정한 후, 대상객체를 해당 영상에 오버랩할 수 있다.
상기와 같은 해결수단에 의해, 본 발명은 다수 개의 광각카메라를 이용하여 대상객체(사람)를 중심으로 하는 다수의 영상을 획득하고, 이를 통해 대상객체의 안면부를 입체적으로 파악하면서 대상객체의 움직임이나 행동을 추적할 수 있는 장점이 있다.
특히, 본 발명은 다수 개의 광각카메라를 이용하여 촬영된 영상을 기반으로, 대상객체를 입체적으로 관찰할 수 있는 영상을 제공함으로써, 안면인식을 기반으로 대상객체를 효율적으로 추적 및 감시할 수 있는 장점이 있다.
또한, 본 발명은 입체적으로 파악된 안면부의 영상을 기반으로, 대상객체의 시선을 추적할 수 있는 장점이 있다.
이에, 본 발명은 범죄자(대상객체) 입장에서의 시선파악을 통해 범죄모의 상황을 예측하고 대비하여 범죄예방효과를 향상시킬 수 있는 효과가 있다.
또한, 본 발명은 범죄발생시 해당 지역 중심으로 다수의 대상객체(사람)들의 시선을 확인하고 해당 범죄와의 연관성을 유추하여 사건해결에 도움을 줄 수 있는 장점이 있다.
또한, 본 발명은 하나의 배경영상에 다수의 객체를 동시에 오버랩하여 디스플레이 함으로써, 장시간 촬영된 많은 양의 영상을 단시간 내에 정확히 판독할 수 있는 장점이 있다.
이에, 본 발명은 감시카메라를 통해 획득된 영상을 담당자가 직접 시각적으로 판독하는 과정에서, 짧은 시간 동안 많은 양의 영상을 확인하고, 영상 속의 객체(사람 등)의 움직임이나 행동을 추적할 수 있는 장점이 있다.
또한, 본 발명은 시간압축영상을 디스플레이하는 과정에서, 특정 객체를 선택하게 되면, 해당 객체를 기준으로 정상적인 속도의 영상을 디스플레이함으로써, 해당 객체(사람)의 행동과 주변상황 등을 보다 정확하게 판별할 수 있는 장점이 있다.
다시 말해, 본 발명은 다수의 객체들을 시각적으로 동시에 관찰할 수 있으며, 특정 객체가 의심행동을 하는 경우 해당 객체에 대하여 정상적인 상태에서 관찰하는 것이 가능하도록 하는 장점이 있다.
또한, 본 발명은 IoT를 기반으로 하는 다양한 카메라들과 연동하여, 보다 넓은 지역에 대한 감시가 가능하도록 함으로써, 시스템의 구축 및 운용에 대한 비용은 크게 절감하면서도, 감시지역은 대폭적으로 확장할 수 있는 장점이 있다.
이를 통해, 본 발명은 보안 및 감시 시스템의 운용에 대한 시간적 및 공간적 한계를 극복할 수 있으며, 보다 효율적인 시스템 운용이 가능하도록 하는 장점이 있다.
따라서, 보안 및 감시 시스템 분야, 특히 시각적 영상 기반의 보안 및 감시 분야, CCTV를 이용한 보안 및 감시 분야, IoT 기반의 보안 및 감시 분야는 물론, 이와 유사 내지 연관된 분야에서 신뢰성 및 경쟁력을 향상시킬 수 있다.
도 1은 본 발명에 의한 광각카메라를 이용한 안면인식 기반의 광역 감시 시스템의 일 실시예를 나타내는 구성도이다.
도 2 내지 도 4는 도 1에 나타난 입체영상제공부가 안면인식 및 시선추적 하는 방법의 실시예들을 설명하는 도면이다.
도 5 내지 도 8은 도 1에 나타난 입체영상제공부가 시간압축영상을 제공하는 방법의 실시예들을 설명하는 도면이다.
도 9는 도 1의 다른 일 실시예를 나타내는 구성도이다.
본 발명에 따른 광각카메라를 이용한 안면인식 기반의 광역 감시 시스템에 대한 예는 다양하게 적용할 수 있으며, 이하에서는 첨부된 도면을 참조하여 가장 바람직한 실시 예에 대해 설명하기로 한다.
도 1은 본 발명에 의한 광각카메라를 이용한 안면인식 기반의 광역 감시 시스템의 일 실시예를 나타내는 구성도이다.
도 1을 참조하면, 광각카메라를 이용한 안면인식 기반의 광역 감시 시스템(100)은 광각카메라(110), 객체확인부(120), 객체영상처리부(130) 및 입체영상제공부(140)를 포함하며, 이하에서 설명되는 영상은 정지영상은 물론 동영상을 포함하는 포괄적 의미로 이해할 수 있다.
광각카메라(110)는 전방향(360°)영상을 획득하기 위한 것으로, 도 1에 나타난 바와 같이 복수 개의 렌즈가 구성될 수 있으며, 복수 개의 렌즈를 통해 획득된 영상은 영상처리 알고리즘을 통해 하나의 전방향영상으로 통합될 수 있다. 여기서, 다수의 영상을 하나의 전방향영상으로 통합하는 영상처리 알고리즘은 당업자의 요구에 따라 다양한 방법을 적용할 수 있으므로, 특정한 것에 한정하지는 않는다.
객체확인부(120)는 광각카메라들을 통해 촬영된 촬영시점별 원본영상(전방향영상)에서, 대상객체 및 해당 대상객체의 안면부를 확인하는 것으로, 영상인식을 통해 해당 원본영상에 포함된 객체, 특히 움직이는 객체(예를 들어, 사람)를 확인할 수 있으며, 해당 객체인 사람의 안면부를 인식할 수 있다. 여기서, 특정 영상으로부터 움직이는 대상객체 및 그 객체의 안면부를 확인하는 방법에 대해서는 앞서와 마찬가지로 특정한 것에 한정하지 않음은 물론이다.
객체영상처리부(130)는 객체확인부(120)를 통해 대상객체의 안면부가 확인된 촬영시점별 원본영상을 수신한 후, 해당 영상에서 대상객체의 안면부가 영상의 중심에 위치하도록 각 촬영시점별 원본영상을 보정하여 촬영시점별 안면영상을 생성한다.
다시 말해, 해당 객체가 영상의 중심에 위치하도록 카메라를 조절하여 촬영하는 방식이 아니라, 전방향 영상을 획득하는 광각카메라(110)에 의해 촬영된 영상 자체를 보정하여 해당 대상객체가 영상의 중심에 위치하도록 조정할 수 있다.
입체영상제공부(140)는 객체영상처리부(130)에서 생성된 촬영시점별 안면영상을 기반으로, 해당 대상객체의 안면부에 대한 안면부입체영상을 생성한다.
또한, 입체영상제공부(140)는 해당 대상객체의 시선방향을 확인할 수 있다.
일반적으로, 특정 사람의 시선방향을 추적하기 위해서는 안면부를 근접촬영한 영상을 기반으로 분석하는 것이 일반적이나, 본 발명과 같은 시스템에서는 특정 사람을 근접하여 촬영할 수 있는 경우는 극히 드물다.
따라서, 본 발명의 입체영상제공부(140)는 앞서와 같이 안면부에 대한 안면부입체영상과 더불어, 해당 대상객체의 움직임(몸통의 방향 등)과 행동을 연관분석함으로써, 대상객체가 어느 방향을 바라보는지 유추할 수 있다.
다시 말해, 본 발명은 사람의 눈을 직접 확인하여 시선을 추적하는 방식이 아니라, 사람의 안면부와 몸통 등이 향하는 방향과 특정 행동 등에 기초하여 어느 방향을 바라보는지 유추하는 방식으로 대상객체의 시선방향을 확인할 수 있다.
이하에서는, 유추된 시선방향을 이용하여 범죄를 예방하거나 해결할 수 있도록 하기 위한 영상을 제공하는 방법에 대해 살펴보기로 한다.
도 2 내지 도 4는 도 1에 나타난 입체영상제공부가 안면인식 및 시선추적 하는 방법의 실시예들을 설명하는 도면이다.
도 2를 참조하면, 하나의 대상객체는 다수 개의 광각카메라(110)에 의해 촬영될 수 있다.
이와 같이, 하나의 대상객체를 다양한 시점에서 촬영하게 되면, 시분할(Time slicing) 촬영 기법을 이용하여 해당 대상객체의 안면부가 포함된 복수 개의 촬영시점별 안면영상으로부터 안면부입체영상을 생성할 수 있다. 여기서, 시분할 촬영 기법은, 피사체가 갑자기 정지한 상태에서 마치 카메라가 피사체 주위를 도는 것처럼 보이게 만드는 기술로, 피사체 주위에 다수의 카메라를 위치시키고 특정 시점에서 모든 카메라가 동시에 피사체를 촬영한 후, 이 영상을 이용하여 피사체를 중심으로 하는 영상을 만드는 기법이다.
따라서, 도 2에 나타난 바와 같이 복수의 광각카메라(100)를 이용하여 특정 대상객체를 동시에 촬영하게 되면, 이를 바탕으로 하여 시분할 촬영 기법과 같은 영상을 획득할 수 있다.
특히, 본 발명에서 구성되는 광각카메라는, 특정 방향을 촬영하는 것이 아니라 전방향을 촬영한 영상을 획득할 수 있으므로, 한번의 촬영으로 동시에 다수 개의 대상객체에 대한 입체영상을 획득할 수 있다.
한편, 입체영상제공부(140)는 도 1에 나타난 바와 같이 객체시점확인모듈(141) 및 객체시점영상추출모듈(142)을 더 포함할 수 있다.
객체시점확인모듈(141)은 앞서 설명한 바와 같이, 안면부입체영상을 확인하여 대상객체의 객체시점을 확인하는 것으로, 도 3에 나타난 바와 같이 다수 개의 광각카메라(110)에 의해 촬영된 영상을 분석하여 해당 대상객체의 시선(도 3에서 박스형 화살표)을 확인할 수 있다.
객체시점영상추출모듈(142)은 객체시점확인모듈(141)에서 확인된 대상객체가 바라보는 물체(T) 등을 영상으로 확인할 수 있도록 하기 위한 것으로, 앞서 설명한 보와 같이 본 발명의 광각카메라(110)는 전방향에 대한 영상을 획득할 수 있으므로, 도 3에 나타난 바와 같이 광각카메라(110)를 통해 촬영된 영상 중 객체시점확인모듈(141)에서 확인된 객체시점에 대응하는 객체시점별 원본영상(도 3에서 점선으로 표시한 방향의 영상)을 추출할 수 있다.
이에, 입체영상제공부(140)는 객체시점영상추출모듈(142)에서 추출된 객체시점별 원본영상을 기반으로, 해당 객체가 바라보는 영역의 입체영상을 생성하여 제공할 수 있다.
따라서, 본 발명은 대상객체, 예를 들어 범죄자에 대한 감시 및 추적을 통해, 해당 범죄자가 어떤 지역이나 물건을 관찰했는지를 확인하고, 해당 영상을 분석하여 해당 범죄자가 어떤 범죄를 하려고 하는지를 확인할 수 있으며, 이를 통해 해당 범죄를 예방할 수 있는 대책을 수립할 수 있다.
또한, 본 발명은 특정 범죄가 발생한 경우, 도 4에 나타난 바와 같이 해당 범죄가 발생한 시간 및 지역에 대한 영상을 획득하고, 앞서 설명한 영상처리를 통해 통해, 범죄와 관련된 물건(T)을 누가 가장 많이 주시하였는지를 확인한 후, 이를 토대로 하여 해당 범죄를 해결할 수 있도록 할 수 있다.
한편, 시각적 영상을 기반으로 하는 보안 및 감시 시스템의 경우, 소수의 관리자가 많은 지역에 설치된 영상들을 모두 확인하기에는 어려움이 있을 수 있으므로, 이하에서는 이러한 문제를 해결할 수 있는 방법에 대해 살펴보기로 한다.
도 5 내지 도 8은 도 1에 나타난 입체영상제공부가 시간압축영상을 제공하는 방법의 실시예들을 설명하는 도면으로, 일정시간 동안 해당 감시지역에 5명이 나타난 경우를 예로 하여 설명하기로 한다.
도 2를 참조하면, 객체확인부(120)가 광각카메라(110)를 통해 일정시간 동안 촬영된 전방향영상을 분석하여, 서로 다른 시간(t1 내지 t5)에 5명의 사람(객체, 'a' 내지 'e')이 해당 감시지역에 나타난 것을 확인할 수 있다.
이에, 객체확인부(120)가 객체영상처리부(130)를 통해 해당 객체에 대한 정보를 입체영상제공부(140)로 전송하면, 입체영상제공부(140)는 해당 원본영상으로부터 각각의 객체('a' 내지 'e')들을 추출한 후, 도 5의 하부에 나타난 바와 같이 하나의 배경영상에 추출된 객체('a' 내지 'e')들을 오버렙(Overlap)할 수 있다.
이때, 입체영상제공부(140)는 추출된 대상객체의 투명도를 조절하여, 배경영상이 비춰지도록 오버랩할 수 있다.
이후, 관리자가 시간압축영상을 확인하는 과정에서, 특정 객체의 움직임을 집중적으로 관찰하고자 할 경우, 도 6의 (a)에 나타난 바와 같이 배경영상에 객체들이 오버랩된 시간압축영상에서 해당 객체(b)를 선택할 수 있다.
이와 같이 관리자에 의해 특정 객체가 선택되면, 입체영상제공부(140)는 도 6의 (b)에 나타난 바와 같이 해당 대상객체(b)가 나타난 시점(t2)부터 사라지는 시점(t2')까지에 해당하는 대상객체(b)의 노출시간(Δt2) 동안의 원본영상(도 6의 (c))을 제공할 수 있다.
따라서, 관리자는 도 5와 같은 과정을 통해 일정 시간 동안의 영상을 짧은 시간 동안 확인할 수 있으며, 필요시 특정 사람을 선택하여 해당 사람의 행동이나 움직임을 보다 명확하게 확인할 수 있다.
또한, 본 발명은 하나의 배경영상에 등장하는 객체들이 나타나는 순서를 시각적으로 쉽게 파악할 수 있도록, 각각의 객체를 차별화하여 디스플레이 할 수 있다.
이를 보다 구체적으로 살펴보면, 입체영상제공부(140)는 대상객체가 촬영된 시간대별로 설정된 객체표시정보에 매칭되도록 해당 대상객체를 보정한 후, 배경영상에 해당 대상객체들을 오버랩할 수 있다. 여기서, 객체표시정보는 해당 대상객체를 배경화면에 오버랩하는 방법에 대해 설정한 것으로, 각각의 대상객체의 투명도를 조절하거나 색체, 명암, 채도 등을 조절하여 표시할 수 있으며, 각각의 대상객체에 숫자나 문자, 기호 등을 부여하여 표시할 수 있다.
예를 들어, 해당 감시지역을 촬영한 시간(일정시간)이 오전 및 오후 시간을 포함할 경우, 오전시간에 나타난 객체는 붉은색 테두리 선이 나타나도록 표시하고, 오후시간에 나타난 객체는 파란색 테두리 선이 나타나도록 표시할 수 있다.
이와 같이 특정 시간대별로 객체를 차별화하여 표시할 경우, 관리자가 하나의 영상에 포함된 다수의 객체들 간의 연관관계, 동선, 움직임 등을 보다 쉽게 파악할 수 있다.
또한, 입체영상제공부(140)는 객체확인부(120)를 통해 도 5 및 도 6의 (b)에 나타난 바와 같이 대상객체가 촬영된 시간을 확인할 수 있고, 대상객체가 촬영된 시간의 상대적 순서에 따라 객체표시정보에 매칭되도록 해당 대상객체를 보정할 수 있다.
예를 들어, 입체영상제공부(140)는 확인하고자 하는 영상의 전체 시간을 다수의 시간간격으로 분할 한 후, 각 시간대별 순서에 따라 도 7의(a)에 나타난 바와 같이 대상객체의 투명도, 명암, 채도 중 적어도 하나에 대하여, 각 특성이 점차적으로 변화하도록 설정할 수 있다.
다른 예로, 입체영상제공부(140)는 도 7의 (b)에 나타난 바와같이 대상각체가 해당 감시지역에 나타난 순서에 따라 숫자를 부여할 수 있다.
이와 같이 시계열적 순서에 따라 시각적인 차별성을 부여한 객체를 배경영상에 오버랩함으로써, 관리자가 각 대상객체들간의 관련성 등을 보다 명확하게 확인할 수 있다.
또한, 입체영상제공부(140)는 대상객체를 배경영상에 오버랩하는 과정에서, 대상객체의 움직임을 분석하여 경고상황(도난, 사고 등이 발생)으로 판단될 경우, 해당 대상객체를 경고상태로 오버랩할 수 있다. 여기서, 경고상태는 해당 대상객체가 붉은색으로 점멸되도록 하거나, 느낌표 등이 부여되도록 설정한 상태를 포함할 수 있다.
따라서, 관리자는 이와 같이 경고상태가 표시된 대상객체를 선택하여 도 6에 나타난 바와 같은 과정을 통해, 해당 대상객체가 어떠한 행동을 하는지 보다 명확하게 파악할 수 있다.
한편, 관리자에 의해 선택된 대상객체가 두 명(b 및 d)일 경우, 입체영상제공부(140)는 각각의 대상객체에 대하여 정상적인 시간에서의 영상을 제공할 수 있다.
이때, 도 8의 (a)에 나타난 바와 같이 각 객체가 해당 감시지역에 나타난 시간 중 일부의 시간이 중복될 경우, 입체영상제공부(140)는 중복된 시간에 대하여 두 객체를 차별화하여 표시함으로써, 관리자가 두 객체간의 시계열적 순서를 쉽게 파악하도록 할 수 있다.
다시 말해, 입체영상제공부(140)는 대상객체에 대하여, 도 8의 (b)에 나타난 바와 같이 확인된 시간의 경과에 따라 객체표시정보를 그라데이션(Gradation) 기법으로 표현하여 배경영상에 오버랩할 수 있다.
이와 같은 그라데이션 기법은 해당 대상객체가 나타난 영상을 정상적인 시간으로 재생하는 경우에 한정하는 것은 아니며, 두 대상객체를 하나의 배경영상에 동시에 오버랩하여 디스플레이하는 경우에도 적용할 수 있다.
따라서, 본 발명은 관리자가 일정시간 동안의 영상을 짧은 시간 내에 확인할 수 있도록 함은 물론, 각 대상객체들 간의 시계열적 우선순위를 쉽게 파악할 수 있도록 함으로써, 대상객체들 간의 연관관계나 관련성 등을 고려하여 보다 명확한 객체 추적이 가능하도록 할 수 있다.
도 9는 도 1의 다른 일 실시예를 나타내는 구성도이다.
도 9를 참조하면, 본 발명의 광각카메라를 이용한 안면인식 기반의 객체 추적 시스템(100)은 객체추적부(150)를 더 포함할 수 있다.
객체추적부(150)는 입체영상제공부(140)로부터 제공된 오버랩영상으로부터 특정 대상객체의 움직임을 분석하고, 해당 지역의 디지털맵을 호출하여 해당 대상객체의 예측이동경로를 확인하는 것으로, 해당 디지털맵에서 광각카메라(110)가 설치된 지점을 확인하고, 해당 오버랩영상과 비교함으로써, 디지털맵상에서 해당 대상객체가 어느 방향으로 이동하는지를 예측할 수 있다.
이때, 광각카메라를 이용한 안면인식 기반의 객체 추적 시스템(100)은 디지털맵상에서 기존에 설치된 카메라의 위치를 확인하고, 해당 대상객체의 예측이동경로를 감시하는 카메라를 확인하여 해당 대상객체에 대한 지속적인 추적이 가능하도록 할 수 있다. 여기서, 기존에 설치된 카메라는 IoT를 기반으로 영상데이터를 송수신할 수 있는 IoT카메라(211)와 연동될 수 있다.
다시 말해, IoT카메라(211)는 사물인터넷기반으로 광각카메라를 이용한 안면인식 기반의 객체 추적 시스템(100)과 연동할 수 있으며, 예측이동경로 중 적어도 다른 일부(광각카메라에 의해 촬영되는 영역을 제외한 영역)를 촬영하고, 촬영된 영상 중 적어도 일부를 제공할 수 있다.
이를 위하여 광각카메라를 이용한 안면인식 기반의 객체 추적 시스템(100)는, 도 9에 나타난 바와 같이 IoT카메라(211)와 사물인터넷기반으로 연동되며, IoT카메라(211)를 통해 촬영된 영상을 객체확인부(120)로 제공하는 영상수집부(121)를 더 포함할 수 있다.
이에, 입체영상제공부(140)는 객체추적부(150)에서 확인된 예측이동경로를 기반으로, 영상수집부(121)를 통해 광각카메라(110)로부터 제공된 영상과 IoT카메라(211)로부터 제공된 영상에서 대상객체를 추출하여 배경영상에 오버랩할 수 있다.
이때, 입체영상제공부(140)는 관리자에게 일정한 품질의 영상을 제공하기 위하여, IoT카메라(211)로부터 제공된 영상을 광각영상으로 보정하여 제공할 수 있다.
보다 구체적으로, 입체영상제공부(140)는 광각카메라(110)로부터 제공된 영상의 적어도 일부를 이용하여 IoT카메라(211)로부터 제공된 영상을 광각영상으로 보정한 후, 대상객체를 해당 영상에 오버랩할 수 있다.
따라서, 본 발명의 광각카메라를 이용한 안면인식 기반의 객체 추적 시스템(100)은 대상 감시지역에 이미 설치된 카메라 등을 활용하여 광역 감시가 가능하기 때문에, 최소한의 비용으로 효율적인 광역 감시 시스템의 구축 및 운용이 가능하도록 할 수 있다.
이상에서 본 발명에 의한 광각카메라를 이용한 안면인식 기반의 광역 감시 시스템에 대하여 설명하였다. 이러한 본 발명의 기술적 구성은 본 발명이 속하는 기술분야의 당업자가 본 발명의 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 한정적인 것이 아닌 것으로서 이해되어야 한다.
100 : 광역 감시 시스템
110 : 광각카메라 111 : IoT카메라
120 : 객체확인부 121 : 영상수집부
130 : 객체영상처리부
140 : 입체영상제공부
150 : 객체추적부

Claims (10)

  1. 전방향영상을 획득하는 다수 개의 광각카메라;
    상기 광각카메라들을 통해 촬영된 촬영시점별 원본영상에서, 다수의 대상객체 및 해당 대상객체의 안면부를 확인하는 객체확인부; 및
    상기 대상객체의 안면부가 확인된 촬영시점별 원본영상에 대하여, 대상객체의 안면부가 영상의 중심에 위치하도록 각 촬영시점별 원본영상을 보정하여 촬영시점별 안면영상을 생성하는 객체영상처리부;
    상기 객체영상처리부에서 생성된 촬영시점별 안면영상을 기반으로, 해당 대상객체의 안면부에 대한 안면부입체영상을 생성하는 입체영상제공부;
    상기 안면부입체영상을 확인하여 대상객체의 객체시점을 확인하는 객체시점확인모듈; 및
    상기 광각카메라를 통해 촬영된 영상 중 상기 객체시점확인모듈에서 확인된 객체시점에 대응하는 객체시점별 원본영상을 추출하는 객체시점영상추출모듈;를 더 포함하고,
    상기 입체영상제공부는,
    시분할(Time slicing) 촬영 기법을 이용하여 해당 대상객체의 안면부가 포함된 복수 개의 촬영시점별 안면영상으로부터 안면부입체영상을 생성하고, 상기 객체시점영상추출모듈에서 추출된 객체시점별 원본영상을 기반으로, 해당 객체가 바라보는 영역의 입체영상을 생성하여 제공하며, 일정시간 동안 상기 광각카메라들을 통해 촬영된 촬영시점별 원본영상에 포함된 다수의 대상객체를 추출하고, 추출된 대상객체들을 동일한 하나의 배경영상에 오버랩(Overlap)한 시간압축입체영상을 생성하여 제공하며,
    상기 시간압축입체영상은,
    추출된 대상객체들의 노출시간 중 가장 긴 노출시간이, 해당 시간압축입체영상의 총 노출시간으로 결정되는 것을 특징으로 하는 광각카메라를 이용한 안면인식 기반의 광역 감시 시스템.
  2. 제 1항에 있어서,
    상기 입체영상제공부는,
    사용자에 의해 특정 대상객체가 선택되면, 해당 대상객체가 나타난 시점부터 사라지는 시점까지의 안면부입체영상을 제공하는 것을 특징으로 하는 광각카메라를 이용한 안면인식 기반의 광역 감시 시스템.
  3. 제 1항에 있어서,
    상기 입체영상제공부는,
    상기 대상객체가 촬영된 시간대별로 설정된 객체표시정보에 매칭되도록 해당 대상객체를 보정한 후, 상기 배경영상에 오버랩하는 것을 특징으로 하는 광각카메라를 이용한 안면인식 기반의 광역 감시 시스템.
  4. 제 1항에 있어서,
    상기 입체영상제공부는,
    상기 대상객체를 배경영상에 오버랩하는 과정에서, 상기 대상객체의 움직임을 분석하여 경고상황으로 판단될 경우, 해당 대상객체를 경고상태로 오버랩하는 것을 특징으로 하는 광각카메라를 이용한 안면인식 기반의 광역 감시 시스템.
  5. 제 1항에 있어서,
    상기 입체영상제공부로부터 제공된 오버랩영상으로부터 특정 대상객체의 움직임을 분석하고, 해당 지역의 디지털맵을 호출하여 해당 대상객체의 예측이동경로를 확인하는 객체추적부;를 더 포함하는 것을 특징으로 하는 광각카메라를 이용한 안면인식 기반의 광역 감시 시스템.
  6. 제 5항에 있어서,
    상기 광각카메라를 통해 촬영된 원본영상을 수집하여 상기 객체확인부로 제공하는 영상수집부; 및
    상기 예측이동경로 중 적어도 다른 일부를 촬영할 수 있으며, 상기 영상수집부와 사물인터넷기반으로 연동하여 촬영된 영상 중 적어도 일부를 제공하는 IoT카메라;를 더 포함하며,
    상기 입체영상제공부는,
    상기 객체추적부에서 확인된 예측이동경로를 기반으로, 상기 영상수집부를 통해 광각카메라로부터 제공된 영상과 IoT카메라로부터 제공된 영상에서 대상객체를 추출하여 배경영상에 오버랩하는 것을 특징으로 하는 광각카메라를 이용한 안면인식 기반의 광역 감시 시스템.
  7. 제 6항에 있어서,
    상기 입체영상제공부는,
    상기 광각카메라로부터 제공된 영상의 적어도 일부를 이용하여 상기 IoT카메라로부터 제공된 영상을 광각영상으로 보정한 후, 대상객체를 해당 영상에 오버랩하는 것을 특징으로 하는 광각카메라를 이용한 안면인식 기반의 광역 감시 시스템.
  8. 삭제
  9. 삭제
  10. 삭제
KR1020180029639A 2018-03-14 2018-03-14 광각카메라를 이용한 안면인식 기반의 광역 감시 시스템 Active KR101926510B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180029639A KR101926510B1 (ko) 2018-03-14 2018-03-14 광각카메라를 이용한 안면인식 기반의 광역 감시 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180029639A KR101926510B1 (ko) 2018-03-14 2018-03-14 광각카메라를 이용한 안면인식 기반의 광역 감시 시스템

Publications (1)

Publication Number Publication Date
KR101926510B1 true KR101926510B1 (ko) 2019-03-07

Family

ID=65760765

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180029639A Active KR101926510B1 (ko) 2018-03-14 2018-03-14 광각카메라를 이용한 안면인식 기반의 광역 감시 시스템

Country Status (1)

Country Link
KR (1) KR101926510B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200105766A (ko) 2020-08-21 2020-09-09 김동현 보안시스템
CN112598704A (zh) * 2020-12-15 2021-04-02 中标慧安信息技术股份有限公司 用于公共场所的目标定位追踪方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100091607A (ko) * 2009-02-11 2010-08-19 엘지디스플레이 주식회사 입체 영상의 뷰 제어방법과 이를 이용한 입체 영상표시장치
KR20130032620A (ko) * 2011-09-23 2013-04-02 김용국 3차원 사용자 아바타를 이용한 동영상 제작장치 및 방법
KR101364046B1 (ko) 2012-11-05 2014-02-19 재단법인대구경북과학기술원 동영상에서 객체를 추적하는 방법 및 그 장치
KR20150093972A (ko) * 2014-02-10 2015-08-19 한국전자통신연구원 스테레오 카메라 기반의 3차원 얼굴 복원 방법 및 장치
JP2015154409A (ja) * 2014-02-18 2015-08-24 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体
KR101808587B1 (ko) * 2017-08-03 2017-12-13 주식회사 두원전자통신 객체인식과 추적감시 및 이상상황 감지기술을 이용한 지능형 통합감시관제시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100091607A (ko) * 2009-02-11 2010-08-19 엘지디스플레이 주식회사 입체 영상의 뷰 제어방법과 이를 이용한 입체 영상표시장치
KR20130032620A (ko) * 2011-09-23 2013-04-02 김용국 3차원 사용자 아바타를 이용한 동영상 제작장치 및 방법
KR101364046B1 (ko) 2012-11-05 2014-02-19 재단법인대구경북과학기술원 동영상에서 객체를 추적하는 방법 및 그 장치
KR20150093972A (ko) * 2014-02-10 2015-08-19 한국전자통신연구원 스테레오 카메라 기반의 3차원 얼굴 복원 방법 및 장치
JP2015154409A (ja) * 2014-02-18 2015-08-24 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体
KR101808587B1 (ko) * 2017-08-03 2017-12-13 주식회사 두원전자통신 객체인식과 추적감시 및 이상상황 감지기술을 이용한 지능형 통합감시관제시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200105766A (ko) 2020-08-21 2020-09-09 김동현 보안시스템
CN112598704A (zh) * 2020-12-15 2021-04-02 中标慧安信息技术股份有限公司 用于公共场所的目标定位追踪方法和系统

Similar Documents

Publication Publication Date Title
KR101215948B1 (ko) 신체정보 및 얼굴인식에 기반한 감시 시스템의 영상정보 마스킹 방법
KR100849689B1 (ko) 영상자동팝업기능이 구비된 감시통제시스템 및 그 제어방법
KR101036947B1 (ko) 컴퓨터 영상 분석기술을 이용한 범죄 및 사고예방 자동경비 시스템
CN101635834A (zh) 类神经控制自动追踪识别系统
KR101084914B1 (ko) 차량번호 및 사람 이미지의 인덱싱 관리시스템
EP2770733A1 (en) A system and method to create evidence of an incident in video surveillance system
KR101442669B1 (ko) 지능형 객체감지를 통한 범죄행위 판별방법 및 그 장치
KR101926510B1 (ko) 광각카메라를 이용한 안면인식 기반의 광역 감시 시스템
JP4617286B2 (ja) 不正通過者検出装置及びこれを利用した不正通過者録画システム
JP5088463B2 (ja) 監視システム
KR102046591B1 (ko) 영상 감시 시스템 및 영상 감시방법
JP4985742B2 (ja) 撮影システム、方法及びプログラム
US20230088660A1 (en) Identity-concealing motion detection and portraying device
JP2017167800A (ja) 監視システム、情報処理装置、監視方法および監視プログラム
KR101926435B1 (ko) 시간압축방식을 이용한 객체 추적 시스템
KR20100135103A (ko) 이종 카메라를 이용한 보안 시스템 및 방법
WO2021199853A1 (ja) 情報登録装置、情報登録システム、情報登録方法およびプログラム記憶媒体
JP5580686B2 (ja) 通報装置
US11106895B1 (en) Video alert and secondary verification system and method
WO2003005315A1 (en) Vision based method and apparatus for detecting an event requiring assistance or documentation
KR101539944B1 (ko) 객체 식별 방법
JP4954459B2 (ja) 不審人物検出装置
WO2009066994A2 (en) Method for detecting unattended object and removal of static object
JP2004128615A (ja) 人物監視システム
JP7445239B1 (ja) 試験監視システム、及び、試験監視方法

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20180314

PA0201 Request for examination
PA0302 Request for accelerated examination

Patent event date: 20180919

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20180314

Patent event code: PA03021R01I

Comment text: Patent Application

PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20181011

Patent event code: PE09021S01D

PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20181126

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20181203

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20181203

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20211203

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20221219

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20231204

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20241203

Start annual number: 7

End annual number: 7