KR20180075506A

KR20180075506A - 정보 처리 장치, 정보 처리 방법 및 프로그램

Info

Publication number: KR20180075506A
Application number: KR1020187011323A
Authority: KR
Inventors: 마사카즈 에비하라; 카즈노리 사카키
Original assignee: 소니 주식회사
Priority date: 2015-10-27
Filing date: 2016-10-04
Publication date: 2018-07-04
Also published as: WO2017073252A1; CN108141572A; US10349013B2; US20180262718A1

Abstract

본 개시에 관한 정보 처리 장치는, 복수의 촬상 장치의 각각으로부터 촬영 정보를 수신하는 수신부와, 수신한 상기 촬영 정보에 기초하여, 상기 복수의 촬상 장치의 색조를 일치시키기 위한 색변환 정보를 연산하는 색변환 정보 연산부를 구비한다. 이 구성에 의해, 복수의 카메라로 촬영한 화상으로부터 특정한 대상 물체를 인식하는 경우에, 카메라간에 취득된 화상 정보의 불균형을 억제하는 것이 가능하게 된다. 이러한 구성에 의하면, 복수의 카메라로 촬영한 화상으로부터 특정한 대상 물체를 인식하는 경우에, 카메라간에 취득된 화상 정보의 불균형을 억제하는 것이 가능하게 된다.

Description

정보 처리 장치, 정보 처리 방법 및 프로그램

본 개시는 정보 처리 장치, 정보 처리 방법 및 프로그램에 관한 것이다.

종래, 예를 들어 하기의 특허문헌 1에 기재되어 있는 바와 같이, 카메라 위치 정보나 시간이나 범인의 특징(옷의 색) 등으로부터 복수 카메라간의 영상으로부터 동일 인물을 추적·검색한다고 하는 카메라간 추적·검색 기능이 제안되어 있다.

일본특허공개 제2009-199322호 공보

현재, 시큐리티 카메라의 보급이 폭발적으로 늘어나고 있어, 연간 기록되는 영상은 이미 1조 시간을 넘고 있다고 말해지고 있다. 이 흐름은 금후에도 가속하는 경향에 있어, 수년 후에는 현재의 수배의 기록 시간에 이를 것으로 예측되고 있다. 그러나, 이와 같은 현상임에도 불구하고, 예를 들어 사건 발생 등의 유사시에는, 지금도 오퍼레이터가 대량으로 기록된 영상을 하나하나 재생하여 확인한다고 하는, 눈으로 보는 것에 의한 검색을 하고 있는 사례가 많아, 해마다 오퍼레이터의 인건비가 증가하고 있다고 하는 문제가 발생하고 있다.

상기 특허문헌 1에 기재된 바와 같은 기능을 이용했을 경우에도, 복수의 카메라간에 색 정보 등에 불균형이 생기고 있으면, 동일 인물의 매칭 정밀도를 저하시켜 버려, 검색 자체의 성능을 저해하여 버리는 문제가 있다.

이에, 복수의 카메라로 촬영한 화상으로부터 특정한 대상 물체를 인식하는 경우에, 카메라간에 취득된 화상 정보의 불균형을 억제하는 것이 요구되고 있었다.

본 개시에 의하면, 복수의 촬상 장치의 각각으로부터 촬영 정보를 수신하는 수신부와, 수신한 상기 촬영 정보에 기초하여, 상기 복수의 촬상 장치의 색조를 일치시키기 위한 색변환 정보를 연산하는 색변환 정보 연산부를 구비하는, 정보 처리 장치가 제공된다.

상기 복수의 촬상 장치의 각각에 대한 상기 색변환 정보를 이용하여 상기 복수의 촬상 장치가 촬영한 화상의 색조를 변환하는 화상 색변환부를 더 구비하는 것이어도 좋다.

또한, 상기 색변환 정보 연산부는, 상기 복수의 촬상 장치 중 특정한 촬상 장치의 색조를 기준으로 하여, 상기 특정한 촬상 장치 이외의 다른 촬상 장치의 색조와 상기 특정한 촬상 장치의 색조에 기초하여, 상기 복수의 촬상 장치의 각각 대해 상기 색변환 정보를 연산하는 것이어도 좋다.

또한, 상기 복수의 촬상 장치의 각각에 대한 상기 색변환 정보에 기초하여, 상기 복수의 촬상 장치의 각각에 대한 촬상에 관한 촬상 파라미터를 작성하는 촬상 파라미터 작성부와, 상기 촬상 파라미터를 이용하여 상기 복수의 촬상 장치가 촬상을 행하기 위해, 상기 촬상 파라미터를 상기 복수의 촬상 장치 각각에 송신하는 송신부를 더 구비하는 것이어도 좋다.

또한, 상기 촬영 정보는, 상기 복수의 촬상 장치의 각각이 촬영할 때의 촬영 환경에 관한 촬영 환경 정보와, 상기 복수의 촬상 장치의 각각에 고유한 촬영에 관한 파라미터를 포함하는 것이어도 좋다.

또한, 상기 복수의 촬상 장치 중 어느 것이 촬영한 추적 대상 오브젝트의 색조에 기초하여, 상기 복수의 촬상 장치 중 적어도 어느 하나가 촬영한 화상 중에서 상기 추적 대상 오브젝트에 유사한 후보 오브젝트를 산출하는 후보 오브젝트 산출부를 더 구비하는 것이어도 좋다.

또한, 상기 추적 대상 오브젝트와 상기 후보 오브젝트의 유사도에 기초하여, 상기 후보 오브젝트의 일람을 표시하기 위한 처리를 행하는 표시 처리부를 더 구비하는 것이어도 좋다.

또한, 본 개시에 의하면, 복수의 촬상 장치의 각각으로부터 촬영 정보를 수신하는 단계와, 수신한 상기 촬영 정보에 기초하여, 상기 복수의 촬상 장치의 색조를 일치시키기 위한 색변환 정보를 연산하는 단계를 구비하는, 정보 처리 방법이 제공된다.

또한, 본 개시에 의하면, 복수의 촬상 장치의 각각으로부터 촬영 정보를 수신하는 수단, 수신한 상기 촬영 정보에 기초하여, 상기 복수의 촬상 장치의 색조를 일치시키기 위한 색변환 정보를 연산하는 수단으로서 컴퓨터를 기능시키기 위한 프로그램이 제공된다.

이상 설명한 바와 같이 본 개시에 의하면, 복수의 카메라로 촬영한 화상으로부터 특정한 대상 물체를 인식하는 경우에, 카메라간에 취득된 화상 정보의 불균형을 억제하는 것이 가능하게 된다.

또한, 상기 효과는 반드시 한정적인 것은 아니고, 상기 효과와 함께, 또는 상기 효과에 대신하여, 본 명세서에 나타낸 어느 효과, 또는 본 명세서로부터 파악될 수 있는 다른 효과가 발휘되어도 좋다.

[도 1] 본 개시의 일 실시형태에 관한 감시 카메라 시스템의 구성을 나타내는 모식도이다.
[도 2] 복수의 감시 카메라로 촬영된 영상으로부터 특정한 인물을 추적하기 위한 시스템의 유저 인터페이스의 일례를 나타내는 모식도이다.
[도 3] 추적 처리의 전체의 흐름을 나타내는 흐름도이다.
[도 4] 후보 오브젝트를 산출할 때의 처리의 일례를 나타내는 흐름도이다.
[도 5] 카메라간 색보정 처리의 일례를 나타내는 흐름도이다.
[도 6] 영상 관리 서버 내에서 색변환 매트릭스를 작성하고, 그 결과로부터 모든 카메라에서 촬영 시부터 색감이 맞도록, 각 감시 카메라의 카메라 파라미터를 변환하는 예를 나타내는 모식도이다.
[도 7] 기저 카메라가 특정한 컬러 차트를 촬영했을 경우의 색조의 예를 나타내는 모식도이다.
[도 8] 주변 카메라가 특정한 컬러 차트를 촬영했을 경우의 색조의 예를 나타내는 모식도이다.
[도 9] 주변 카메라가 특정한 컬러 차트를 촬영했을 경우의 색조를 색변환 매트릭스로 변환했을 경우의 색조의 예를 나타내는 모식도이다.
[도 10] 영상 관리 서버의 구성을 나타내는 모식도이다.
[도 11] 각 감시 카메라의 구성을 나타내는 모식도이다.
[도 12] 영상 관리 서버의 구성 중, 유사 오브젝트를 산출하는 구성을 나타내는 모식도이다.

이하 첨부도면을 참조하면서, 본 개시의 바람직한 실시형태에 대해 상세하게 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성요소에 대해서는, 동일한 부호를 부여함으로써 중복 설명을 생략한다.

또한, 설명은 이하의 순서로 행하는 것으로 한다.

1. 전제가 되는 기술

2. 유저 인터페이스의 일례

3. 감시 카메라 시스템에서 행해지는 처리 플로우

4. 후보 오브젝트를 산출할 때의 처리

5. 색변환 매트릭스에 대해

6. 영상 관리 서버의 구성예

7. 감시 카메라의 구성예

8. 유사 오브젝트를 산출하기 위한 구성예

1. 전제가 되는 기술

전술한 바와 같이, 최근에는 시큐리티 카메라의 보급이 폭발적으로 늘어나고 있지만, 예를 들어 사건 발생 등의 유사시에는, 지금도 오퍼레이터가 대량으로 기록된 영상을 하나하나 재생하여 범인의 영상을 확인하는 등, 눈으로 보는 것에 의한 검색을 하고 있는 사례가 많아, 해마다 오퍼레이터의 인건비가 증가하고 있다고 하는 문제가 발생하고 있다.

이에 대해, 카메라 위치 정보, 사건 발생 시간, 범인의 특징(옷의 색) 등에 기초하여, 복수 카메라간의 영상으로부터 동일 인물을 추적하여 검색하는 카메라간 추적 검색 기능을 이용함으로써, 오퍼레이터의 작업 부하 경감을 실현하는 것이 생각된다.

그러나, 이러한 기능을 이용했을 경우에도, 여전히 문제점이 포함되어 있어, 케이스에 따라서는 오퍼레이터의 작업 시간을 삭감할 수 없는 경우도 있다. 이하에서는, 하기의 스텝 S1~4의 플로우를 따라 복수의 카메라로부터 사건 발생 후의 범인의 도주 경로 등을 검색할 경우의 워크플로우를 일례로서 이러한 문제점을 설명한다.

스텝 1 ： 감시 카메라의 감시 에어리어에서 사건이 발생

스텝 2 ： 사건이 발생한 에어리어의 감시 카메라로부터 시간을 좁혀 들어가, 사건 영상으로부터 범인을 발견한다.

스텝 3 ： 스텝 2에서 발견한 범인으로부터, 검색 정보(카메라 위치, 시간, 범인의 진행 방향, 범인의 옷의 색 등)를 입력하여 카메라간 검색 기능을 실행한다

스텝 4 ： 검색 기능이, 주변 카메라의 녹화된 영상을 검색하여, 결과를 출력한다

스텝 5 ： 스텝 4에서 검색 기능으로부터 출력된 검색 결과(썸네일, 타임라인 태그)군으로부터 하나하나 대상 인물을 눈으로 보아 확인하여, 범인을 특정하고 도주 경로를 검색한다

이상의 플로우에서 문제가 되는 국면은, 스텝 4이다. 스텝 4에서 출력되는 썸네일 자체는, 스텝 2에서 발견한 범인의 특징에 기초하여, 주변 카메라에서 녹화된 동일 인물일 가능성이 있는 인물을 우선적으로 선택하여 출력한 것이다. 이와 같은 기능에서는, 동일 인물의 판단은 카메라 위치로부터 검색 장소를 좁혀 들어가고, 사건 발견 시간으로부터 검색 시간을 좁혀 들어가 행하지만, 최종적으로는 옷의 색 등으로 인물의 좁혀 들어감을 한다. 그러나, 색에 관해서는 기후, 일조 조건, 특수 광원하 등의 영향에 의해 같은 색이라고 하더라도 다른 색으로서 영상 기록되어 버린다. 예를 들어, 오렌지색의 옷을 입고 있는 사람에 대해, 어떤 감시 카메라에서는 정상적으로 오렌지색의 옷을 입은 사람으로 보여지지만, 다른 감시 카메라에서는 수은등 아래에 있었기 때문에 황색의 옷을 입고 있는 사람처럼 보여져 버리는 경우가 있다. 이 때문에, 복수의 카메라간에서의 검색에 있어서는, 카메라 설치 환경을 제대로 파악하고 있지 않으면 광원의 차이에 의해 동일한 색이더라도 다른 색으로 보여 버려, 색으로 검색할 때에 동일 인물의 매칭 정밀도를 저하시켜 버려, 검색 자체의 성능을 저해하여 버리는 경우가 있다.

이 때문에, 본 실시형태에서는, 카메라와 서버간을 제휴시키고 색을 이용하여 검색을 행할 때에, 자동으로 카메라간의 색의 불균형을 보정하여, 검색 시의 인물 매칭의 정밀도를 향상시킨다. 이하 상세하게 설명한다.

도 1은, 본 개시의 일 실시형태에 관한 감시 카메라 시스템(1000)의 구성을 나타내는 모식도이다. 도 1에 나타내는 바와 같이, 감시 카메라 시스템(1000)은, 영상 관리 서버(100)와, 복수의 감시 카메라(200, 210, 220, 230)가 네트워크 등을 통해 접속되어 구성된다. 각 감시 카메라(200, 210, 220, 230)가 촬영한 영상은, 영상 관리 서버(100)로 보내진다. 영상 관리 서버(100)는, 각 감시 카메라(200, 210, 220, 230)가 촬영한 영상을 관리한다. 영상 관리 서버(100) 측에서 특정한 인물을 지정함으로써, 카메라간 검색 기능에 의해, 각 감시 카메라(200, 210, 220, 230)가 촬상한 영상 중에서, 지정한 특정 인물과 일치하는 인물을 검색할 수 있다.

2. 유저 인터페이스의 일례

도 2는, 복수의 감시 카메라(200, 210, 220, 230)에서 촬영된 영상으로부터 특정한 인물을 추적하기 위한 시스템의 유저 인터페이스의 일례를 나타낸다. 일례로서, 도 2에 나타내는 인터페이스는, 영상 관리 서버(100)의 표시부에 표시된다.

도 2에 있어서의 유저 인터페이스는, 유저가 지정한 추적 대상 오브젝트(키 오브젝트)를 표시하는 패널(310)과, 추적 처리를 행한 결과를 표시하는 패널(320)과, 추적한 추적 대상 오브젝트가 어떠한 경로를 취했는지 지도 상에 표시함과 함께, 그 오브젝트가 촬영되어 있는 장면(scean)을 재생하는 패널(330)로 이루어진다. 일례로서, 영상 관리 서버(100)의 표시부에는 터치 센서가 설치되어 있어, 유저는, 도 2의 유저 인터페이스를 터치함으로써 원하는 조작을 행할 수 있다.

패널(310)은, 유저가 미리 지정한 키 오브젝트를 항상 표시하여, 유저가 확인할 수 있는 패널이다. 이 패널에는 크게 나누어, 현 키 오브젝트 정보부(312)와, 키 오브젝트 이력부(314)가 있다. 현 키 오브젝트 정보부(312)는, 현재 지정되어 있는 키 오브젝트(현 키 오브젝트)를 확인할 수 있는 영역이다. 현 키 오브젝트 정보부(312) 중, 영역(312a)은 녹화된 카메라 영상으로부터 유저가 키 오브젝트를 지정한 시점에서의 전체도이다. 영역(312b)은, 유저가 지정한 직사각형 영역(312c)을 확대하여 표시하고 있다. 키 오브젝트 이력부(314)는, 검색을 복수 행했을 경우에 표시되는, 과거의 키 오브젝트의 전체 화상이다. 키 오브젝트를 재설정했을 경우, 영역(312a)의 화상이 이 키 오브젝트 이력부(314)에 격납되고 표시된다.

추적 결과를 표시하는 패널(320)은, 후보 오브젝트를 산출한 결과를 표시하는 패널이다. 시간을 슬라이더(322)로 나타낸 영역 상에 최초로 유저가 지정한 추적 오브젝트(322a)나, 그 후 유저가 정답으로 간주한 오브젝트(322b, 322c)가 썸네일로서 표시된다. 또한, 현재 보고 있는 시점은 영역(322d)과 같은 직사각형으로 표시된다. 영역(324)은, 산출된 후보 오브젝트를 표시하는 영역이다. 영역(324)에는, 각 감시 카메라(200, 210, 220, 230)에서 산출된 후보 오브젝트가 감시 카메라(200, 210, 220, 230)마다 표시된다.

재생과 지도 표시를 행하는 패널(330)에는, 지도부(332)와 영상 재생부(334)가 있다. 지도부(332)는, 지도 표시(맵)와 타임라인 표시를 전환할 수 있다. 지도 표시의 경우는, 후보 오브젝트 중에서 유저가 정답을 선택하는 것을 반복한 결과, 추적 대상자의 궤적 K가 지도 상에 플롯된다. 지도 내에는, 각 감시 카메라(200, 210, 220, 230)의 위치에 카메라 아이콘이 표시되고, 각 감시 카메라(200, 210, 220, 230)의 방향과 시야각이 표시된다. 각 감시 카메라(200, 210, 220, 230)의 카메라 아이콘의 위치에는, 추적 대상자가 그 카메라를 통과하고 있었을 경우, 추적 대상자로서 인식한 시각의 영상이 시간과 함께 썸네일 표시된다. 또한 그 추적 대상자가 이동한 궤적을, 지도 상에 화살표로 표시함으로써, 추적 대상자의 궤적의 전체가 파악하기 쉽게 되어 있다. 또한, 지도 상의 썸네일을 선택하면, 대상자가 존재하여 있던 시간대에 있어서, 대응하는 감시 카메라의 영상을 영상 재생부(334)로 재생하여 재확인할 수 있다. 영상은 통상 재생 외에 역재생이나 빨리감기, 빨리되감기를 행할 수 있다. 또한, 슬라이더 바의 임의의 위치를 선택함으로써, 그 시점의 영상까지 점프할 수 있다. 영상 재생부(334)에서는, 각 감시 카메라(200, 210, 220, 230)의 재생 영상을 표시할 수 있다. 유저는, 영상 재생부(334)에 표시된 영상 중에 테두리(334a)로 키 오브젝트를 지정할 수 있다.

또한, 키 오브젝트를 지정한 후, 영상 재생부(334)에서의 재생 영상 중에 키 오브젝트가 나타나면, 키 오브젝트에 테두리(334a)가 표시된다. 키 오브젝트가 촬영되어 있는 경우, 테두리(334a)는 하나만 표시되지만, 화면 상에서 오브젝트 동선 표시를 선택하면, 그 키 오브젝트가 화상 위에서 움직인 궤적을 오브젝트의 사이즈, 위치에 따라 표시할 수 있다.

이상과 같이, 유저는, 각 감시 카메라(200, 210, 220, 230)의 재생 영상을 재생할 때에, 화면 조작에 의해 키 오브젝트를 지정할 수 있다. 영상 관리 서버(100)는, 지정된 키 오브젝트에 기초하여, 각 감시 카메라(200, 210, 220, 230)가 촬영한 영상 중에서 키 오브젝트와 유사한 후보 오브젝트를 산출한다. 산출된 후보 오브젝트는 패널(320)에 표시되고, 유저는, 패널(320)에 표시된 후보 오브젝트로부터 정답 오브젝트를 선택할 수 있다. 그리고, 각 감시 카메라(200, 210, 220, 230)에 있어서, 정답 오브젝트가 촬영된 시각으로부터 정답 오브젝트의 궤적 K가 구해져, 패널(330)에 표시된다. 또한, 후보 오브젝트, 정답 오브젝트에 대해서는 후술한다.

3. 감시 카메라 시스템에서 행해지는 처리 플로우

도 3은, 추적 처리의 전체의 흐름을 나타내는 흐름도이다. 먼저, 스텝 S10에 있어서, 유저는, 추적하고 싶은 키 오브젝트를 선택한다. 여기서는, 일례로서, 영상 재생부(334)에 표시된 영상 중에 테두리(334a)를 설정함으로써, 추적하고 싶은 키 오브젝트(추적 대상 오브젝트)를 지정할 수 있다. 유저는, 패널(330)의 영상 재생부(334)에 영상을 재생 중에, 추적 대상 오브젝트를 찾아냈을 경우는, 그 영역을 직사각형의 테두리(334a)로 지정할 수 있다. 이에 의해, 추적 대상 오브젝트가 선택된다. 추적 대상 오브젝트는 패널(310)에 표시된다.

추적 대상 오브젝트를 지정하면, 다음의 스텝 S12에서는, 복수의 감시 카메라(200, 210, 220, 230)가 녹화한 영상 중에서, 추적 대상 오브젝트에 유사한 오브젝트를 산출한다. 스텝 S12의 처리의 결과, 제시된 오브젝트군을 후보 오브젝트라고 칭한다. 또한, 후보 오브젝트 산출의 상세한 내용은 후술한다. 또한, 이 후보 오브젝트가 산출된 후, 후보 오브젝트는 패널(320)에 표시된다.

패널(330)에는, 감시 카메라(200, 210, 220, 230)의 위치가 지도부(332)에 표시되며, 감시 카메라(200, 210, 220, 230) 중, 선택된 감시 카메라가 촬영한 영상이 영상 재생부(334)에 표시된다. 스텝 S14에서는, 후보 오브젝트가, 시계열로 또한 우선도가 높은 것으로부터 순서대로, 패널(320) 상에서 배열된다. 패널(320)에서는, 감시 카메라(200, 210, 220, 230)가 촬영한 후보 오브젝트가 1행씩 시계열로 좌측으로부터 표시되며, 또한, 우선도가 높은 것일수록 위에 표시된다.

스텝 S16에서는, 패널(320)에 표시된 후보 오브젝트 중에서, 추적 대상 오브젝트라고 생각되는 오브젝트가 있는지 유저 자신이 눈으로 보아 확인한다. 이 때, 후보 오브젝트 중에서, 추적 대상 오브젝트에 유사한 것이 발견되었을 경우는, 정답이 발견되었다고 판단하여, 스텝 S18로 진행되고, 그 후보 오브젝트를 정답 오브젝트(유사 오브젝트)로서 선택한다. 유저는, 패널(320) 상에서 추적 대상 오브젝트에 유사한 후보 오브젝트를 지정함으로써, 정답 오브젝트를 선택할 수 있다. 스텝 S18 후에는 스텝 S12로 진행되고, 선택한 정답 오브젝트보다 이후의 시간에 촬영된 후보 오브젝트 중에서, 추적 대상 오브젝트에 유사한 후보 오브젝트를 재차 산출한다.

이상과 같이 하여, 추적 대상 오브젝트와 일치하는 후보 오브젝트가 발견되지 않게 될 때까지, 스텝 S12~스텝 S18의 처리를 반복한다. 스텝 S16에서 정답이 발견되지 않았던 경우는, 스텝 S20으로 진행되고, 추적이 완료되었는지 아닌지를 판정한다. 스텝 S20의 판정에서는, 패널(330)의 지도와 재생 중의 재생 영상으로부터 추적이 완료되었는지 아닌지를 확인한다. 재생 영상 중에 추적 대상을 찾아냈을 경우는, 스텝 S22로 진행되고, 추적 대상을 포함하는 직사각형 영역(테두리(334a))을 지정하여, 추적 대상 오브젝트를 지정한다. 그 후, 스텝 S12로 진행되고, 스텝 S22에서 지정한 추적 대상 오브젝트에 기초하여, 그 시점으로부터 이후의 시간에서 후보 오브젝트를 재차 산출한다. 이를 반복하여, 최종적으로 스텝 S20에서 추적이 완료되었다고 판정한 시점에서 종료가 된다.

4. 후보 오브젝트를 산출할 때의 처리　

다음으로, 후보 오브젝트의 산출에 관해 상세하게 설명한다. 도 4는, 후보 오브젝트를 산출할 때의 처리의 일례를 나타내는 흐름도이다. 도 4의 예에서는, 「위치」, 「시간」, 「옷의 색」의 3개의 관점으로부터 우선도를 산출하여, 후보 오브젝트를 산출한다. 먼저, 스텝 S30에서는, 예측 이동 위치 가중 계수 W1를 산출한다. 여기서는, 현재 추적 중의 물체의 영상으로부터 예측 이동 속도와 방향을 산출하고, 다음으로 비추는 감시 카메라를 예측하여 가중 계수 W1를 산출한다.

스텝 S32에서는, 예측 이동 시간 가중 계수 W2를 산출한다. 시간에 관해서는, 스텝 S30의 처리와 마찬가지로, 현재 추적 중의 물체의 영상으로부터 예측 이동 속도와 방향을 산출하고, 다음에 비추는 시간(시각)을 예측하여 가중 계수 W2를 산출한다.

스텝 S34에서는, 옷의 색의 유사성에 관한 가중 계수 W3를 산출한다. 옷의 색에 관해서는, 다른 감시 카메라에 의해 취득한 추적 대상 오브젝트에 기초하여, 후보 오브젝트(범인)가 입고 있는 옷의 색과의 색의 유사성을 구하여, 가중 계수 W3로서 산출한다.

마지막으로, 스텝 S36에서는, 가중 계수 W1, W2, W3로부터 복합적으로 가중을 산출하고, 우선도 W로서 출력한다. 우선도 W에 기초하여, 각 감시 카메라(200, 210, 220, 230)가 촬영한 영상 중에서, 추적 대상 오브젝트에 유사하고 있다고 판단되는 후보 오브젝트가 선택된다. 또한, 여기서 출력된 우선도는, 도 3의 스텝 S14에서, 후보 오브젝트를 시계열로, 또한 우선도가 높은 것으로부터 순서대로 패널(320) 상에 배열할 때에 이용된다.

또한, 도 4의 예에서는, 「위치」, 「시간」, 「옷의 색」의 3점으로부터 우선도를 산출하고 있지만, 얼굴의 특징량, 옷의 특징량 등 다른 여러가지 요소를 추가하는 것도 가능하다.

다음으로, 도 4의 스텝 S34에서 실시하고 있는 옷의 색의 유사성에 관한 가중 계수 W3의 산출과 관련하여, 감시 카메라(200, 210, 220, 230)와 영상 관리 서버(100)가 제휴하여 자동으로 행하는 카메라간 색 보정 처리에 대해 설명한다. 도 5는, 카메라간 색 보정 처리의 일례를 나타내는 흐름도이며, 영상 관리 서버(100)에서 행해지는 처리를 나타내고 있다. 여기서는, 감시 카메라(200, 210, 220, 230) 중 하나를 색조의 기준이 되는 기저 카메라로 하고, 그 이외의 감시 카메라를 주변 카메라로서 설명한다. 먼저, 스텝 S40에서는, 후보 오브젝트를 촬상한 감시 카메라의 촬영 환경 정보 m(색 온도 등), 촬영 시의 카메라 파라미터 n을 입수한다. 다음의 스텝 S42에서는, 기저 카메라와 주변 카메라의 촬영 환경 정보나 촬영 시의 카메라 파라미터를 취득하여, 카메라간의 색감을 맞추기 위한 색변환 매트릭스를 산출한다. 다음의 스텝 S44에서는, 주변 카메라의 카메라 영상에 대해 스텝 S42에서 구한 색변환 매트릭스를 적용하여, 기저 카메라의 추적 대상 오브젝트의 색에 대한 유사성을 산출하여 가중 계수 W3로서 출력한다. 이와 같이 하여, 도 4의 스텝 S34에 있어서의 가중 계수가 산출된다.

5. 색변환 매트릭스에 대해

본 실시형태에서는, 도 1에 나타내는 바와 같이, 각 감시 카메라(200, 210, 220, 230)로부터 필요한 촬영 정보(촬영 환경 정보 p1~p4나 촬영 시의 카메라 파라미터 q1~q4)를 영상 관리 서버(100) 측으로 보내고, 영상 관리 서버(100) 내에서 각 감시 카메라(200, 210, 220, 230)를 위한 색변환 매트릭스를 작성하고, 각 감시 카메라(200, 210, 220, 230)로부터 수신한 영상에 색변환 매트릭스를 적용함으로써, 영상 관리 서버(100) 측에서 색감을 맞춘다. 이 때, 상술한 바와 같이, 기저 카메라의 영상을 기준으로 하여 주변 카메라의 색감을 맞출 수 있다.

한편, 도 6에 나타내는 바와 같이, 영상 관리 서버(100) 내에서 색변환 매트릭스를 작성하고, 그 결과로부터 모든 카메라에서 촬영 시부터 색감이 맞도록, 각 감시 카메라(200, 210, 220, 230)의 카메라 파라미터 q1~q4를 카메라 파라미터 q＇1~q＇4로 변환하여도 좋다. 이 경우, 각 감시 카메라(200, 210, 220, 230)의 카메라 파라미터 n＇를 각 감시 카메라(200, 210, 220, 230) 측으로 보내어, 감시 카메라(200, 210, 220, 230) 내에서 색감을 자동 조정시킨다.

이하의 (1)식은, 3×3 행렬을 가지는 컬러 매트릭스의 일례를 나타내고 있다. 컬러 매트릭스는, 색변환을 실현하기 위해서 사용하는 행렬식으로서, 색변환 매트릭스에 대응한다. 여기서는, 일례로서 3×3 행렬을 가지는 컬러 매트릭스를 나타내고 있지만, 5×5 행렬을 가지는 컬러 매트릭스여도 좋다.

[수식]

예를 들어, 다른 장소에 기저 카메라와 주변 카메라(A)의 2대의 카메라가 있고, 그 2개의 카메라의 설치 환경이나 촬영 시간 등에 의해 촬영 상황이 다른 경우에 대해 설명한다. 기저 카메라의 촬영 환경하에 있어서 특정한 컬러 차트가 도 7과 같은 색조를 나타내고, 주변 카메라(A)의 촬영 환경하에 있어서는, 같은 컬러 차트가 도 8과 같이 도 7과는 완전히 다른 색조를 나타내는 경우가 있다. 또한, 도 7, 도 8, 도 9에서는, 도트의 농도의 상이함에 의해 색조의 차이를 모식적으로 나타내고 있다. 이 경우는, 영상 관리 서버(100)에서 색을 이용한 매칭을 했다고 해도, 기저 카메라와 주변 카메라(A) 사이에서 촬영한 영상의 색조가 애초 크게 변하기 때문에, 양 카메라에서 촬영한 오브젝트가 동일 물체이더라도, 매칭 정밀도가 낮아져 동일 물체라고 간주되어지지 않을 가능성이 있다.

이 때문에, 본 실시형태에서는, 색변환 매트릭스를 이용하여 카메라간의 색을 조화시킴으로써(조정함으로써) 정밀도를 향상시킨다. 일례로서 3×3 행렬을 사용한 간이적인 동작예를 든다. 기저 카메라에서 취득되는 색을 RBase, GBase, BBase라 하고, 주변 카메라(A)에서 취득된 색을 RA, GA, BA라 한다. 후단의 영상 관리 서버(100)에서 색을 이용한 매칭의 정밀도를 향상시키기 위해서는, 가능한 한 RBase≒RA, GBase≒GA, BBase≒BA가 되는 것이 바람직하다. 그러나, 위에서 설명한 바와 같이, 카메라의 설치 환경이나 상황에 따라서는, 같은 색의 물체를 촬영했다고 하더라도 도 7, 도 8과 같은 색의 변화가 생겨 버려, RBase≠RA, GBase≠GA, BBase≠BA가 되고 있을 가능성이 있다. 이 때문에, 이하의 (2)식에 나타내는 것 같은 컬러 매트릭스(m11~m33의 행렬)를 사용하여 주변 카메라(A)에서 취득된 색에 변환을 가함으로써, RBase≒RA＇, GBase≒GA＇, BBase≒BA＇로 한다. 이에 의해, 도 9에 나타내는 바와 같이, 주변 카메라(A)에서 취득된 색을 도 7의 기저 카메라로 촬영한 영상과 같은 색조로 변화시킬 수 있어, 매칭 정밀도를 향상시키는 것이 가능하게 된다.

[수식]

영상 관리 서버(100)는, 기저 카메라에서 취득된 색 RBase, GBase, BBase와, 주변 카메라(A)에서 취득된 색 RA, GA, BA에 기초하여, 주변 카메라(A)를 위한 색변환 매트릭스(컬러 매트릭스(m11~m33의 행렬))를 구할 수 있다. 색변환 매트릭스의 작성 시에는, 기저 카메라와 주변 카메라(A)의 화상으로서, 동일 물체가 촬영된 화상을 이용하지만, 색을 이미 알고 있는 물체가 촬영된 화상을 이용한다. 기저 카메라와 주변 카메라(A)에서 동일 물체가 촬영된 화상을 이용하는 경우는, 그 물체의 색이 같게 되도록 색변환 매트릭스를 작성한다. 기저 카메라로 촬상했을 경우의 색을 이미 알고 있는 물체가 촬영된, 주변 카메라(A)의 화상을 이용하는 경우는, 기저 카메라로 촬상했을 경우와 같은 색이 되도록, 색변환 매트릭스를 작성한다. 또한, 색변환 매트릭스는, 환경 정보나 파라미터에 따라, 미리 복수 준비하여 두어도 좋다. 이 경우, 도 5의 스텝 S42는, 「미리 준비된 복수의 색변환 매트릭스 중에서, 대응하는 색변환 매트릭스를 준비한다」라고 해석하여, 처리를 진행시키게 된다.

6. 영상 관리 서버(100)의 구성예

도 10은, 영상 관리 서버(100)의 구성을 나타내는 모식도이다. 도 10에 나타내는 바와 같이, 영상 관리 서버(100)는, 통신부(102), 색변환 컬러 매트릭스 연산부(104), 화상 색변환부(106), 색유사성 연산부(108), 카메라 파라미터 작성부(110)를 갖고 구성된다. 통신부(102)는, 기저 카메라로부터 보내진, 기저 카메라의 카메라 파라미터, 기저 카메라의 카메라 영상, 기저 카메라의 촬영 상황 등의 촬영 정보를 수신한다. 또한, 통신부(102)는, 주변 카메라로부터 보내진, 주변 카메라의 카메라 파라미터, 주변 카메라의 카메라 영상, 주변 카메라의 카메라 촬영 상황을 수신한다. 또한, 카메라 파라미터는, 예를 들어 화이트 밸런스값 등의 파라미터이며, 카메라 촬영 상황은, 촬영한 화상의 색온도 등의 파라미터이다. 또한, 도 10에 나타내는 각 구성요소는, CPU 등의 중앙연산처리장치와 이를 기능시키기 위한 프로그램으로 구성할 수가 있으며, 그 프로그램은 메모리 등의 기록 매체에 격납될 수 있다.

색변환 컬러 매트릭스 연산부(104)는, 기저 카메라와 주변 카메라로부터 보내진 각종 정보에 기초하여, RBase≒RA＇, GBase≒GA＇, BBase≒BA＇가 되는 것 같은 컬러 매트릭스(m11~m33의 행렬)를 산출한다. 작성된 컬러 매트릭스는 화상 색 변환부(106)로 보내지고, 이 컬러 매트릭스를 사용함으로써 주변 카메라의 화상은 기저 카메라의 색조에 근사하도록 변환되어, 그 화상이 출력된다. 변환된 주변 카메라의 화상은 색유사성 연산부(108)로 보내지고, 기저 카메라의 카메라 화상과의 색의 유사성이 산출되어, 색유사성을 나타내는 가중 계수 W3가 출력된다. 이 처리에 의해, 다른 카메라, 다른 환경하에서 촬영된 영상에서도 매칭 시에 카메라간의 색조가 조정되고 있기 때문에, 색의 유사성의 판정 정밀도를 대폭 향상시키는 것이 가능하게 된다.

또한, 다른 방법으로서 도 6과 같이 각 감시 카메라(200, 210, 220, 230)의 카메라 파라미터를 영상 관리 서버(100) 측에서 작성하고, 이를 각 감시 카메라(200, 210, 220, 230)에 반영시킴으로써, 카메라 촬영 시의 영상 자체의 색을 맞출 수도 있다. 이 경우의 처리로서는, 도 10의 카메라 파라미터 작성부(110)가, 색변환 컬러 매트릭스 연산부(104)로부터 출력된 컬러 매트릭스와, 각 감시 카메라(200, 210, 220, 230)의 카메라 파라미터와, 카메라 촬영 상황으로부터, 촬영 시에 카메라간에 미리 색조가 맞는 새로운 카메라 파라미터를 산출하여 출력한다. 이에 의해, 카메라 파라미터로서, 적어도 주변 카메라의 새로운 카메라 파라미터가 출력된다. 또한, 주변 카메라의 카메라 파라미터만으로는 조정을 행하기에 충분하지 않을 경우는, 기저 카메라의 새로운 카메라 파라미터를 출력한다.

7. 감시 카메라의 구성예

도 11은, 각 감시 카메라(200, 210, 220, 230)(기저 카메라, 주변 카메라)의 구성을 나타내는 모식도이다. 도 11에 나타내는 바와 같이, 각 감시 카메라(200, 210, 220, 230)는, 통신부(202), 파라미터 선택부(204), 화상 처리부(206), 촬상부(208)을 갖고 구성된다. 영상 관리 서버(100)의 카메라 파라미터 작성부(110)에서 작성된 신(新) 카메라 파라미터는, 통신부(102)로부터 기저 카메라, 주변 카메라로 보내진다. 규정 카메라, 주변 카메라의 통신부(202)는, 신 카메라 파라미터를 수신한다. 파라미터 선택부(204)는, 기존의 카메라 파라미터와 신 카메라 파라미터를 합성하고, 양자를 조화시킴으로써 카메라 파라미터를 변경시켜, 카메라간의 색 맞춤을 실현하여 간다. 또한, 파라미터의 반영은, 기저 카메라와 주변 카메라에서 동일한 동작을 할 수도 있다.

새롭게 산출된 카메라 파라미터는, 화상 처리부(206)로 보내진다. 화상 처리부(206)는, 촬상부(촬상 소자)(208)가 촬상에 의해 취득한 화상 정보를 카메라 파라미터에 기초하여 화상처리한다. 이에 의해, 카메라 파라미터에 의해 화상 정보가 보정되어, 각 감시 카메라(200, 210, 220, 230)에서 색조를 조정하는 것이 가능하게 된다.

8. 유사 오브젝트를 산출하기 위한 구성예

도 12는, 영상 관리 서버(100)의 구성 중, 유사 오브젝트를 산출하는 구성을 나타내는 모식도이다. 도 12에 나타내는 바와 같이, 영상 관리 서버(100)는, 후보 오브젝트 산출부(120), 후보 오브젝트 유사도 산출부(122), 유사 오브젝트 선택부(124), 조작 입력부(126)를 갖는다. 후보 오브젝트 산출부(122)는, 도 4의 처리에 따라 우선도 W를 산출하고, 각 감시 카메라(200, 210, 220, 230)가 촬영한 영상 중에서, 추적 대상 오브젝트에 유사하고 있다고 판단되는 후보 오브젝트를 산출한다. 또한, 도 11, 도 12에 나타내는 각 구성요소에 대해서도, CPU 등의 중앙연산처리장치와 이를 기능시키기 위한 프로그램으로부터 구성할 수 있으며, 그 프로그램은 메모리 등의 기록 매체에 격납될 수 있다.

후보 오브젝트 유사도 산출부(124)는, 우선도 W에 기초하여 추적 대상 오브젝트와 후보 오브젝트의 유사도를 산출한다. 유저가 추적 대상 오브젝트에 유사한 후보 오브젝트를 찾아냈을 경우에, 조작 정보 입력부(126)에는, 유저의 지시에 따른 조작 정보가, 마우스, 키보드, 터치 패드(터치 센서) 등으로부터 입력된다. 유사 오브젝트 선택부(124)는, 유저가 추적 대상 오브젝트에 유사한 후보 오브젝트를 찾아냈을 경우에, 유저의 지시에 따라 그 후보 오브젝트를 유사 오브젝트로서 선택한다(도 3의 스텝 S18). 표시 처리부(128)는, 산출된 후보 오브젝트를 도 2와 같이 표시하기 위한 처리를 행한다. 또한, 표시 처리부(128)는, 후보 오브젝트가 촬영된 시간, 추적 대상 오브젝트와 후보 오브젝트의 유사도(우선도 W)에 기초하여, 도 2의 패널(320)에의 표시를 행하기 위한 처리를 행한다(도 3의 스텝 S14).

이상 설명한 바와 같이, 본 실시형태에 따르면, 복수의 감시 카메라(200, 210, 220, 230)에서 촬영한 영상의 색조를 최적으로 조정하는 것이 가능하게 된다. 따라서, 추적 대상 오브젝트와 유사한 후보 오브젝트를 고정밀도로 추출하는 것이 가능하게 된다.

이상, 첨부 도면을 참조하면서 본 개시의 바람직한 실시형태에 대해 상세하게 설명하였지만, 본 개시의 기술적 범위는 이러한 예에 한정되지 않는다. 본 개시의 기술분야에 있어서의 통상의 지식을 가지는 사람이면, 특허청구의 범위에 기재된 기술적 사상의 범주 내에 있어, 각종의 변경예 또는 수정예에 상도할 수 있음은 분명하며, 이들에 대해서도, 당연히 본 개시의 기술적 범위에 속하는 것으로 이해된다.

또한, 본 명세서에 기재된 효과는, 어디까지나 설명적 또는 예시적인 것으로서 한정적인 것이 아니다. 즉, 본 개시에 관한 기술은, 상기 효과와 함께, 또는 상기 효과에 대신하여, 본 명세서의 기재로부터 당업자에게는 분명한 다른 효과를 발휘할 수 있다.

또한, 이하와 같은 구성도 본 개시의 기술적 범위에 속한다.

(1) 복수의 촬상 장치의 각각으로부터 촬영 정보를 수신하는 수신부와,

수신한 상기 촬영 정보에 기초하여, 상기 복수의 촬상 장치의 색조를 일치시키기 위한 색변환 정보를 연산하는 색변환 정보 연산부

를 구비하는, 정보 처리 장치.

(2) 상기 복수의 촬상 장치의 각각에 대한 상기 색변환 정보를 이용하여 상기 복수의 촬상 장치가 촬영한 화상의 색조를 변환하는 화상 색변환부를 더 구비하는, 상기 (1)에 기재된 정보 처리 장치.

(3) 상기 색변환 정보 연산부는, 상기 복수의 촬상 장치 중 특정한 촬상 장치의 색조를 기준으로 하여, 상기 특정한 촬상 장치 이외의 다른 촬상 장치의 색조와 상기 특정한 촬상 장치의 색조에 기초하여, 상기 복수의 촬상 장치의 각각에 대해 상기 색변환 정보를 연산하는, 상기 (1) 또는 (2)에 기재된 정보 처리 장치.

(4) 상기 복수의 촬상 장치의 각각에 대한 상기 색변환 정보에 기초하여, 상기 복수의 촬상 장치의 각각에 대한 촬상에 관한 촬상 파라미터를 작성하는 촬상 파라미터 작성부와,

상기 촬상 파라미터를 이용하여 상기 복수의 촬상 장치가 촬상을 행하기 위해, 상기 촬상 파라미터를 상기 복수의 촬상 장치 각각에 송신하는 송신부

를 더 구비하는, 상기 (1) 내지 (3) 중 어느 하나에 기재된 정보 처리 장치.

(5) 상기 촬영 정보는, 상기 복수의 촬상 장치의 각각이 촬영할 때의 촬영 환경에 관한 촬영 환경 정보와, 상기 복수의 촬상 장치의 각각에 고유한 촬영에 관한 파라미터를 포함하는, 상기 (1) 내지 (4) 중 어느 하나에 기재된 정보 처리 장치.

(6) 상기 복수의 촬상 장치 중 어느 하나가 촬영한 추적 대상 오브젝트의 색조에 기초하여, 상기 복수의 촬상 장치 중 적어도 어느 하나가 촬영한 화상 중에서 상기 추적 대상 오브젝트에 유사한 후보 오브젝트를 산출하는 후보 오브젝트 산출부를 더 구비하는, 상기 (1) 내지 (5) 중 어느 하나에 기재된 정보 처리 장치.

(7) 상기 추적 대상 오브젝트와 상기 후보 오브젝트의 유사도에 기초하여, 상기 후보 오브젝트의 일람을 표시하기 위한 처리를 행하는 표시 처리부를 더 구비하는, 상기 (6)에 기재된 정보 처리 장치.

(8) 복수의 촬상 장치의 각각으로부터 촬영 정보를 수신하는 단계와,

수신한 상기 촬영 정보에 기초하여, 상기 복수의 촬상 장치의 색조를 일치시키기 위한 색변환 정보를 연산하는 단계

를 구비하는, 정보 처리 방법.

(9) 복수의 촬상 장치의 각각으로부터 촬영 정보를 수신하는 수단,

수신한 상기 촬영 정보에 기초하여, 상기 복수의 촬상 장치의 색조를 일치시키기 위한 색변환 정보를 연산하는 수단,

으로서 컴퓨터를 기능시키기 위한 프로그램.

100: 영상 관리 서버
102: 통신부
104: 색변환 컬러 매트릭스 연산부

Claims

복수의 촬상 장치의 각각으로부터 촬영 정보를 수신하는 수신부와,
수신한 상기 촬영 정보에 기초하여, 상기 복수의 촬상 장치의 색조를 일치시키기 위한 색변환 정보를 연산하는 색변환 정보 연산부
를 구비하는, 정보 처리 장치.
제1항에 있어서,
상기 복수의 촬상 장치의 각각에 대한 상기 색변환 정보를 이용하여 상기 복수의 촬상 장치가 촬영한 화상의 색조를 변환하는 화상 색변환부를 더 구비하는, 정보 처리 장치.
제1항에 있어서,
상기 색변환 정보 연산부는, 상기 복수의 촬상 장치 중 특정한 촬상 장치의 색조를 기준으로 하여, 상기 특정한 촬상 장치 이외의 다른 촬상 장치의 색조와 상기 특정한 촬상 장치의 색조에 기초하여, 상기 복수의 촬상 장치의 각각에 대해 상기 색변환 정보를 연산하는, 정보 처리 장치.
제1항에 있어서,
상기 복수의 촬상 장치의 각각에 대한 상기 색변환 정보에 기초하여, 상기 복수의 촬상 장치의 각각에 대한 촬상에 관한 촬상 파라미터를 작성하는 촬상 파라미터 작성부와,
상기 촬상 파라미터를 이용하여 상기 복수의 촬상 장치가 촬상을 행하기 위해, 상기 촬상 파라미터를 상기 복수의 촬상 장치 각각에 송신하는 송신부
를 더 구비하는, 정보 처리 장치.
제1항에 있어서,
상기 촬영 정보는, 상기 복수의 촬상 장치의 각각이 촬영할 때의 촬영 환경에 관한 촬영 환경 정보와, 상기 복수의 촬상 장치의 각각에 고유한 촬영에 관한 파라미터를 포함하는, 정보 처리 장치.
제1항에 있어서,
상기 복수의 촬상 장치 중 어느 하나가 촬영한 추적 대상 오브젝트의 색조에 기초하여, 상기 복수의 촬상 장치 중 적어도 어느 하나가 촬영한 화상 중에서 상기 추적 대상 오브젝트에 유사한 후보 오브젝트를 산출하는 후보 오브젝트 산출부를 더 구비하는, 정보 처리 장치.
제6항에 있어서,
상기 추적 대상 오브젝트와 상기 후보 오브젝트의 유사도에 기초하여, 상기 후보 오브젝트의 일람을 표시하기 위한 처리를 행하는 표시 처리부를 더 구비하는, 정보 처리 장치.
복수의 촬상 장치의 각각으로부터 촬영 정보를 수신하는 단계와,
수신한 상기 촬영 정보에 기초하여, 상기 복수의 촬상 장치의 색조를 일치시키기 위한 색변환 정보를 연산하는 단계
를 구비하는, 정보 처리 방법.
복수의 촬상 장치의 각각으로부터 촬영 정보를 수신하는 수단,
수신한 상기 촬영 정보에 기초하여, 상기 복수의 촬상 장치의 색조를 일치시키기 위한 색변환 정보를 연산하는 수단,
으로서 컴퓨터를 기능시키기 위한 프로그램.