KR102693918B1 - 센서-간 캘리브레이션 시스템 및 방법 - Google Patents

Abstract

방법은 초기 레이더 트랙과 초기 카메라 트랙으로부터 물체 위치를 비교함으로써 레이더 데이터와 이미지 데이터 중 하나에 적용될 보정 매개변수를 계산하는 단계와 조합하여, 레이더 데이터 및 초기 레이더 매개변수를 사용하여 초기 레이더 트랙을 생성하고 이미지 각도 위치 데이터, 초기 카메라 매개변수 및 레이더 범위 데이터를 사용하여 초기 카메라 트랙을 생성하는 단계를 포함하며, 제 1 보정 매개변수는 제 1 보정 트랙을 생성하기 위해서 레이더와 카메라 중 다른 것으로부터 데이터에 적용될 때, 제 1 보정 트랙과 레이더와 카메라 중 다른 것의 트랙 사이의 대응 정도가 초기 레이더 트랙과 초기 카메라 트랙 사이의 대응 정도보다 더 높도록 선택된다.

Description

센서-간 캘리브레이션 시스템 및 방법

본 개시는 센서-간 캘리브레이션(calibration)을 위한 시스템 및 방법에 관한 것이다. 특히, 본 개시는 제자리에서 이동 물체(object)를 추적함으로써 거의 실시간으로 센서-간 캘리브레이션을 위한 시스템 및 방법에 관한 것이다.

이동 물체는 전형적으로, 단일 센서에 의해 추적되지만 설정을 다중 센서 추적 시스템(multi-sensor tracking system)으로 확장할 때 이점이 발생한다. 하나의 이점은 다중 센서가 전형적으로 추적 시스템의 캡처 볼륨(capture volume)을 확장한다는 점이며; 다른 하나의 장점은 다중 센서가 중복 측정을 제공하여 정확도를 개선하고 이상치 측정을 강조할 수 있다는 점이다. 또한, 서로를 보완하는 상이한 유형의 센서가 조합될 수 있다. 예를 들어, 수평 및 수직 모두로 높은 각도 정확도를 제공하는 카메라 센서는 레이더와 적합하게 조합되어 범위 및 범위 비율의 정확한 측정을 제공할 수 있다. 어떤 경우든, 이들 이점을 얻기 위해서 모든 센서는 서로 캘리브레이션되어야 한다.

다중 센서 추적 시스템의 예로서, 골프공 추적 시스템은 하나 이상의 카메라 또는 레이더, 카메라와 레이더의 조합, 그리고 골프공 비행의 상이하고/하거나 중복 부분을 추적하는 기타 센서를 포함할 수 있다. 각각의 센서는 장치 고유의 좌표계에서 한 번 이상의 볼 측정으로 구성된 물체 데이터를 획득하고 서로 캘리브레이션될 때 그들 데이터가 데이터의 추가 처리 및 융합을 위한 높은 수준의 일관성으로 전역 좌표계에 투영될 수 있다.

센서를 캘리브레이션하려면 센서의 내부 및 외부 모두에서 다양한 매개변수의 결정이 필요하다. 내부 매개변수는 초점 길이, 렌즈 왜곡 매개변수와 카메라의 주요 지점, 및 레이더의 위상 오프셋으로 구성될 수 있다. 외부 매개변수는 전형적으로 센서의 위치와 배향(orientation)을 구성한다. 두 매개변수 세트를 결정하기 위한 공지된 방법은 엄격하고 시간 소모적이며 수동 집약적이다. 게다가, 그들은 전형적으로, 그들의 자연스러운 설정, 즉 여기에서 이동 물체를 추적할 때 센서를 활용하지 못한다. 그 때문에, 공지된 캘리브레이션 방법은 종종 센서의 가동 중지 시간을 유발한다.

내부 매개변수를 캘리브레이션하기 위한 공지된 방법의 제 1 예에서, 카메라 센서는 고정기구에 수동으로 배치되고 공지된 치수의 물체, 전형적으로 하나 이상의 체커보드(checkerboard)로 지향된다. 물체의 주요 특징은 소프트웨어에서 수동 또는 자동으로 이미지에 표시된다. 결과적으로 공지된 물체 치수로부터 카메라의 내부 매개변수를 계산하는, 당업자에게 자명한 수학적 연산이 수행된다. 제 2 예에서, 레이더는 고정기구에 수동으로 배치되고 레이더의 위치에 대해 공지된 위치의 하나 이상의 장치로 지향된다. 장치, 전형적으로 트랜스폰더(transponder)는 미리 정의되고 공지된 도플러 시프트(Doppler shift)를 사용하여 레이더에 신호를 반환할 수 있다. 장치의 상대적인 위치와 관련된 이러한 지식은 당업자가 각각의 레이더 수신기의 필요한 위상 오프셋을 계산하게 한다.

외부 매개변수를 캘리브레이션하기 위한 공지된 방법은 유사한 방식으로 진행된다. 제 1 예에서, GPS-로버(GPS-rover) 또는 이와 유사한 것이 센서의 3D 위치를 수동으로 추출하는데 사용될 수 있다. 센서가 카메라인 경우에, GPS-로버는 카메라에 보이는 다수의 고정점의 3D 좌표를 결정하는데 동등하게 사용될 수 있다. 그런 다음 카메라는 자동으로 또는 이미지에서 수동으로 지정하여 그 자체 좌표계에서 고정점을 식별한다. 결과적으로, GPS 좌표계에서 카메라의 배향을 추가로 추정하기 위해서 수학적 연산이 수행된다. 제 2 예에서, 라이더 스캐너는 스캐너에 대한 직선의 시선을 가진 센서 시스템의 상대적인 3D 좌표를 추출한다. 스캐너는 다중 위치로 이동해야 하고 데이터는 함께 연결되어 센서의 서로에 대한 위치를 추출할 수 있다. 센서의 배향을 결정하기 위해서 다른 수단이 채택되어야 한다. 제 3 예에서, 센서에 커플링된 경사계는 경사계(inclinometer)에 대한 센서의 미리 결정된 배향에 기초하여 센서의 외부 매개변수의 일부분, 즉 그의 틸트(tilt) 및 롤(roll)을 결정하는데 사용된다.

센서 매개변수는 일반적으로 일단 캘리브레이션되면 일정하게 유지된다. 그러나 온도 또는 연령과 같은 요인으로 인해 시간이 지남에 따라 센서 매개변수가 드리프트(drift)될 수 있다. 예를 들어, 야구 경기장의 스탠드에 고정되어 비행 중인 야구공을 추적하도록 구성된 레이더는 레이더가 장착된 스탠드에 팬(fan)이 장착됨에 따라서 이동하고 회전할 수 있다. 드리프트하는 센서 매개변수는 반복적인 캘리브레이션을 필요로 하지만, 그러한 캘리브레이션은 센서에 접근하기 어렵고 교정 프로세스에 수동 개입이 필요할 때 번거로울 수 있다. 캘리브레이션 프로세스에서 센서의 정상 작동으로부터 센서의 가동 중지 시간이 발생하는 경우 반복 캘리브레이션 추가로 매우 비실용적일 수 있다.

다중 센서 시스템의 센서가 서로에 대해 부정확하게 캘리브레이션될 때, 센서로부터의 데이터를 융합하면 전달된 데이터의 품질을 저하시킬 수 있다. 제 1 예에서, 2 개 이상의 센서가 중첩 시간에 동일한 이동 물체를 모니터링할 때, 다양한 센서로부터의 측정치 사이의 차이는 예를 들어 단순 평균화, 가중 평균화, 칼만 필터(Kalman filter) 또는 기타 공지된 수학적 접근방법에 의해 처리될 수 있다. 도 1은 궤적이 단순하지만 평균을 냈을 때 중복 영역의 시작 부분에서 물체의 비물리적 궤적을 생성하는 두 센서의 일관되지 않은 추적 데이터의 예를 도시한다. 제 2 예에서, 2 개 이상의 센서가 시간 중첩 없이 동일한 이동 물체를 측정할 때, 이들의 측정은 센서 사이의 전환 지점에서 불연속성을 초래할 수 있다. 도 2는 물체가 하나의 센서의 시야로부터 다른 센서의 시야로 전환하는 지점에서 불연속적인 궤적을 생성하는 일관성 없는 추적 데이터의 예를 도시한다. 최종 궤적의 불연속성은 예를 들어, 데이터에 대한 칼만 필터를 평활화함으로써 줄어들 수 있지만, 그럼에도 불구하고 오정렬 데이터는 여전히 최종 궤적의 품질을 저하시킬 것이다.

본 개시는 다중 센서 추적 시스템에서 레이더로 레이더 데이터를 그리고 카메라로 이미지 데이터를 캡처하는 단계로서, 레이더 데이터 및 이미지 데이터가 물체의 경로에 대응하고, 레이더 데이터가 물체에 대한 레이더 범위 데이터 및 레이더 속도 데이터를 포함하고 카메라 데이터가 물체에 대한 이미지 각도 위치 데이터를 포함하는, 단계; 레이더 데이터 및 초기 레이더 매개변수를 사용하여 초기 레이더 트랙(track)을 생성하는 단계; 이미지 각도 위치 데이터, 초기 카메라 매개변수 및 레이더 범위 데이터를 이용하여 초기 카메라 트랙을 생성하는 단계; 및 초기 레이더 트랙과 초기 카메라 트랙으로부터 물체에 대한 위치를 비교함으로써 레이더 데이터에 적용될 제 1 보정 매개변수(first correction parameter)로서, 제 1 보정 매개변수는 제 1 보정 트랙을 생성하기 위해서 레이더 데이터에 적용될 때, 제 1 보정 트랙과 초기 카메라 트랙 사이의 대응 정도가 초기 레이더 트랙과 초기 카메라 트랙 사이의 대응 정도보다 더 높도록 선택되는, 제 1 보정 매개변수와, 초기 레이더 트랙과 초기 카메라 트랙으로부터 물체에 대한 위치를 비교함으로써 이미지 각도 위치 데이터에 적용될 제 2 보정 매개변수로서, 제 2 보정 매개변수는 제 2 보정 트랙을 생성하기 위해서 이미지 각도 위치 데이터에 적용될 때, 제 2 보정 트랙과 초기 레이더 트랙 사이의 대응 정도가 초기 레이더 트랙과 초기 카메라 트랙 사이의 대응 정도보다 더 높도록 선택되는, 제 2 보정 매개변수 중 하나를 계산하는 단계를 포함하는 방법에 관한 것이다.

실시예에서, 상기 방법은 제 1 보정 매개변수로 레이더를 캘리브레이팅하거나 제 2 보정 매개변수로 카메라를 캘리브레이팅하는 단계를 더 포함한다.

실시예에서, 제 1 보정 매개변수는 레이더의 최적화된 배향을 포함하고, 제 2 보정 매개변수는 카메라의 최적화된 배향을 포함하며, 상기 방법은 제 1 보정 매개변수에 기초하여 보정된 배향으로 레이더를 캘리브레이션하기 위해서 초기 레이더 매개변수에 틸트 조정 및 팬(pan) 조정 중 하나를 결정하고 제 2 보정 매개변수에 기초하여 보정된 배향으로 카메라를 캘리브레이션하기 위해서 초기 카메라 매개변수에 틸트 조정 및 팬 조정 중 하나를 결정하는 단계 더 포함한다.

실시예에서, 상기 방법은 초기 레이더 트랙에 다항식을 피팅(fitting)하는 단계; 및 이미지 데이터가 획득된 시간에 대응하는 일련의 시점에서 다항식을 평가하여 일련의 시점에서의 각각의 시점에 대응하는 레이더 위치를 결정하는 단계를 더 포함한다.

실시예에서, 상기 방법은 일련의 시점의 각각의 시점에서 다항식과 카메라 트랙을 비교함으로써 레이더와 카메라 중 하나에 일련의 틸트 및 팬 조정을 결정하는 단계; 메디안(median) 틸트 및 팬 조정으로서 일련의 틸트 및 팬 조정에 대한 메디안을 결정하는 단계; 및 메디안 틸트 및 팬 조정을 로우 패스 필터링(low pass filtering)하는 단계를 더 포함한다.

실시예에서, 초기 레이더 트랙은 상태 벡터(state vector)와 동적 모델(dynamical model)로 표시되며, 상태 벡터는 물체의 경로 매개변수를 표시하고 동적 모델은 물체의 양력(lift)과 항력(drag)을 나타낸다.

실시예에서, 레이더 범위 측정은 이미지 각도 위치 데이터를 3D 좌표로 확장하는데 사용된다.

실시예에서, 다중 센서 추적 시스템은 야구장에서 구현되며 물체는 야구공이다.

본 개시는 또한, 다중 센서 추적 시스템에서 레이더 및 카메라와 통신하는 중앙 처리 장치(central processing arrangement)를 포함하는 시스템에 관한 것이며, 중앙 처리 장치가 물체의 경로에 대응하는 레이더로부터 레이더 데이터를 수신하고 카메라로부터 카메라 데이터를 수신하며, 레이더 데이터가 물체에 대한 레이더 범위 데이터 및 레이더 속도 데이터를 포함하고 카메라 데이터가 물체에 대한 이미지 각도 위치 데이터를 포함하며, 중앙 처리 장치가 레이더 데이터 및 초기 레이더 매개변수를 사용하여 초기 레이더 트랙을 생성하며, 중앙 처리 장치가 이미지 각도 위치 데이터, 초기 카메라 매개변수 및 레이더 범위 데이터를 사용하여 초기 카메라 트랙을 생성하며, 중앙 처리 장치가 초기 레이더 트랙과 초기 카메라 트랙으로부터 물체에 대한 위치를 비교함으로써 레이더 데이터에 적용될 제 1 보정 매개변수로서, 제 1 보정 매개변수는 제 1 보정 트랙을 생성하기 위해서 레이더 데이터에 적용될 때, 제 1 보정 트랙과 초기 카메라 트랙 사이의 대응 정도가 초기 레이더 트랙과 초기 카메라 트랙 사이의 대응 정도보다 더 높도록 선택되는, 제 1 보정 매개변수와, 초기 레이더 트랙과 초기 카메라 트랙으로부터 물체에 대한 위치를 비교함으로써 이미지 각도 위치 데이터에 적용될 제 2 보정 매개변수로서, 제 2 보정 매개변수는 제 2 보정 트랙을 생성하기 위해서 이미지 각도 위치 데이터에 적용될 때, 제 2 보정 트랙과 초기 레이더 트랙 사이의 대응 정도가 초기 레이더 트랙과 초기 카메라 트랙 사이의 대응 정도보다 더 높도록 선택되는, 제 2 보정 매개변수 중 하나를 계산한다.

실시예에서, 제 1 보정 매개변수는 레이더의 최적화된 배향을 포함하고, 제 2 보정 매개변수는 카메라의 최적화된 배향을 포함하며, 중앙 처리 장치는 제 1 보정 매개변수에 기초하여 보정된 배향으로 레이더를 캘리브레이션하기 위해서 초기 레이더 매개변수에 틸트 조정 및 팬(pan) 조정 중 하나를 결정하고 제 2 보정 매개변수에 기초하여 보정된 배향으로 카메라를 캘리브레이션하기 위해서 초기 카메라 매개변수에 틸트 조정 및 팬 조정 중 하나를 결정한다.

실시예에서, 중앙 처리 장치는 초기 레이더 트랙에 다항식을 피팅하고 일련의 시점에서 각각의 시점에 대응하는 레이더 위치를 결정하기 위해서 이미지 데이터가 획득된 시간에 대응하는 일련의 시점에서 다항식을 평가한다.

실시예에서, 중앙 처리 장치는 일련의 시점의 각각의 시점에서 다항식과 카메라 트랙을 비교함으로써 레이더와 카메라 중 하나에 대한 일련의 틸트 및 팬 조정을 결정하고 메디안 틸트 및 팬 조정으로서 일련의 틸트 및 팬 조정에 대한 메디안을 결정하며, 시스템은 메디안 틸트 및 팬 조정을 필터링하는 로우 패스 필터링 장치를 더 포함한다.

실시예에서, 중앙 처리 장치는 상태 벡터와 동적 모델로서 초기 레이더 트랙을 표시하며, 상태 벡터는 물체의 경로 매개변수를 표시하고 동적 모델은 물체의 양력과 항력을 나타낸다.

또한, 본 개시는 다중 센서 추적 시스템에서 제 1 센서로 제 1 센서 데이터를 캡처하고 제 2 센서로 제 2 센서 데이터를 캡처하는 단계로서, 제 1 및 제 2 센서 데이터가 물체의 경로에 대응하는, 단계; 제 1 센서 데이터 및 초기 제 1 센서 매개변수를 사용하여 초기 제 1 트랙을 생성하는 단계; 제 2 센서 데이터 및 제 1 센서 데이터의 적어도 하나의 애스팩트(aspect)를 사용하여 초기 제 2 트랙을 생성하는 단계로서, 제 1 센서 데이터의 적어도 하나의 애스팩트가 제 2 센서 데이터를 3차원 공간으로 확장하는데 사용되는, 단계; 및 계산하는 단계로서, 초기 제 1 트랙과 초기 제 2 트랙으로부터의 물체에 대한 위치를 비교함으로써 제 1 센서 데이터에 적용될 제 1 보정 매개변수로서, 제 1 보정 매개변수는 제 1 보정된 트랙을 생성하기 위해서 제 1 센서 데이터에 적용될 때 제 1 보정된 트랙과 초기 제 2 트랙 사이의 대응 정도가 초기 제 1 트랙과 초기 제 2 트랙 사이의 대응 정도보다 더 높도록 선택되는, 제 1 보정 매개변수; 및 초기 제 1 트랙과 초기 제 2 트랙으로부터의 물체에 대한 위치를 비교함으로써 제 2 센서 데이터에 적용될 제 2 보정 매개변수로서, 제 2 보정 매개변수는 제 2 보정된 트랙을 생성하기 위해서 제 2 센서 데이터에 적용될 때 제 2 보정된 트랙과 초기 제 1 트랙 사이의 대응 정도가 초기 제 1 트랙과 초기 제 2 트랙 사이의 대응 정도보다 더 높도록 선택되는, 제 2 보정 매개변수 중 하나를 계산하는, 단계;를 포함하는 방법에 관한 것이다.

도 1은 종래 방법에 따라 물체의 불연속 트랙을 생성하는 2 개의 센서로부터의 불일치 데이터의 제 1 예를 도시한다.
도 2는 종래 방법에 따라 물체의 불연속적인 궤적을 생성하는 2 개의 센서로부터의 불일치 데이터의 제 2 예를 도시한다.
도 3은 원시 센서 데이터를 전역 좌표계에서 이동 물체의 트랙으로 변환하기 위한 예시적인 방법을 도시한다.
도 4는 다중 센서 추적 장치에서 센서를 캘리브레이팅하기 위한 예시적인 시스템을 도시한다.
도 5는 다중 센서 시스템에서 센서를 캘리브레이팅하기 위한 예시적인 방법을 도시한다.
도 6은 예시적인 데이터 흐름 및 처리 단계를 갖는 도 4의 시스템을 도시한다.
도 7a 및 도 7b는 예시적인 센서-간 캘리브레이션을 실행하기 전과 실행한 후의 합성 데이터의 예시를 도시한다.
도 8a 및 도 8b는 예시적인 센서-간 캘리브레이션을 실행하기 전과 실행한 후의 실제 측정된 데이터의 예시를 도시한다.
도 9는 야구 투구 및/또는 기타 야구 궤적과 같은 물체 궤적을 추적하기 위한 레이더 및 2 개의 카메라를 포함하는 시스템을 도시한다.
도 10은 물체, 예를 들어 야구 투구의 궤적 데이터에 기초하여 카메라에 대한 도 9의 레이더의 배향을 캘리브레이팅하는 방법을 도시한다.

예시적인 실시예는 감지된 이동 물체의 일관되고 더 정확한 추적 데이터가 생성될 수 있도록 다중 센서 시스템에서 하나 이상의 센서의 내부 및 외부 센서 매개변수의 일부 또는 전부를 자동으로 그리고 적응적으로 결정하는 학습 시스템을 설명한다. 매개변수는 수동 개입이 필요 없고 그들의 정상 작동으로부터 센서의 가동 중지시간 없이 현장에서 거의 실시간으로 결정된다.

다중 센서 시스템의 정상 작동 동안, 센서는 이동 물체를 추적하도록 구성된다. 일 예에서, 다중 센서 시스템은 골프 코스에 위치되고 비행 중인 골프공을 추적하도록 구성된 임의의 수의 카메라 및 레이더일 수 있다. 센서는 동일한 이동 물체를 추적할 때 중복 데이터를 생성하며, 이는 일관되고 더 정확한 추적 데이터를 생성하기 위해서 하나 이상의 센서의 내부 및 외부 매개변수를 서로 캘리브레이션하는데 사용될 수 있는 중복 데이터이다.

시스템은 다중 센서로 구성되며, 각각의 센서는 원시 데이터를 추적 유닛에 공급하고, 이는 차례로 중앙 처리 장치("CP")와 통신한다. 센서는 관심 있는 이동 물체의 데이터를 캡처하는 역할을 한다. 센서는 펄스, 도플러(Doppler), CW, FMCW 또는 MFCW 레이더, 가시광선 또는 적외선 카메라, 라이더, 관성 측정 유닛 등, 또는 이들의 임의의 조합일 수 있다.

센서의 내부 매개변수는 일반적으로 센서의 내부 작동과 관련된 매개변수로 정의될 수 있다. 예를 들어 초점 길이, 렌즈 왜곡 매개변수 및 카메라의 주요 지점; 레이더에 대한 위상 오프셋 및 안테나 방사 패턴; 일반적으로 센서의 내부 클록 오프셋(clock offset) 등이 있다. 센서의 내부 매개변수가 높은 정확도로 공지될 때, 센서에 의해 수신된 데이터는 높은 수준의 정확도를 갖는 출력을 생성하도록 처리될 수 있다.

센서의 외부 매개변수는 전형적으로 전역 좌표계에 대한 센서의 위치와 배향을 구성한다. 센서의 외부 매개변수에 대한 지식은 센서의 좌표계로부터 측정된 데이터를 전역 좌표계의 데이터로 매핑하여 다른 센서로부터의 데이터와 비교할 수 있다.

본 명세서에서 정의된 바와 같이, 추적 유닛은 원시 센서 데이터에서 관심 있는 이동 물체를 검출하고, 가능한 경우 동일한 이동 물체의 연속적인 검출을 "트랙(track)"으로 종합하는 역할을 한다. 따라서 트랙은 연속적으로 이동 물체에 대한 하나 이상의 검출이다. 예를 들어, 카메라는 골프 코스로부터 다수의 연속 이미지를 캡처할 수 있다. 그 추적 유닛은 결과적으로, 예를 들어 각각의 이미지에서 골프공의 픽셀 위치를 정확히 추출할 수 있고, 연속적인 이미지에서 골프공의 픽셀 위치는 카메라의 국소 좌표계에서 픽셀 위치의 트랙으로 연결된다.

추적 유닛은 센서 및 CP로부터 물리적으로 분리된 개체일 수 있거나 대안적으로 센서에 내장되거나 CP와 통합된 개체일 수 있다. 추적 유닛은 원시 센서 데이터에서 이동 물체를 검출하고 검출된 이동 물체의 트랙을 생성하도록 프로그래밍된 내부 처리 장치를 가지며, 또한 그의 센서의 내부 및 외부 매개변수를 저장하는 메모리를 가질 것이다. 추적 유닛은 추적을 돕기 위해서 센서의 내부 매개변수에 대한 원시 센서 데이터를 보완했을 수 있다. 예를 들어, 추적 유닛은 관심있는 이동 물체의 픽셀 위치를 추출하기 전에 카메라로부터 원시 이미지를 스케일링하고 왜곡을 해제할 수 있다. 센서, 예컨대 미끄럼 및/또는 회전하는 스테이션에 부착된 카메라가 이동식인 경우에, 그리고 이러한 움직임이 센서의 구성요소, 센서에 장착된 추가 센서, 예를 들어 관성 항법 시스템에 의해 또는 이미지 분석을 통해 내부적으로 모니터링되는 경우에, 당업자에 의해 이해될 수 있는 바와 같이 이러한 정보는 추적 유닛에 동일하게 이용 가능하게 만들어져서 측정치를 트랙으로 종합하는데 도움을 줄 수 있다.

추적 유닛은 또한, 다른 센서들로부터 발생하는 트랙에 대한 지식을 갖고 있는 CP에 의해 그 추적에서 안내될 수 있다. 예를 들어, 다중 카메라가 비행 중인 골프공을 추적하는 골프 연습장에서 하나의 추적 유닛이 그의 카메라의 원시 이미지에서 비행 중인 골프공을 검출할 수 있으며, 이는 CP에 전달될 수 있다. 당업자에게 자명한 바와 같이, CP는 차례로, 각각의 카메라의 내부 및 외부 매개변수에 대한 지식을 통해 검출된 골프공을 다른 카메라의 이미지에 투영하여 그들의 추적 유닛이 그들 각각의 이미지에서 투영된 지점 주변의 적합한 이웃에서 동일한 골프공을 검색할 수 있게 한다.

다중 센서 중 각각의 하나는 주어진 센서에 로컬인 좌표계의 물체를 측정한다. 센서는 상이한 관점에서 뿐만 아니라 상이한 공간에서 측정할 수 있다. 예를 들어, 카메라 센서는 일련의 이미지에서 물체의 2-차원 픽셀 위치를 측정할 수 있는 반면에, 레이더 센서는 물체의 3-차원 위치뿐만 아니라 반경 방향 속도를 포함한 4-차원 공간에서 측정할 수 있다.

CP는 후술하는 바와 같이, 전역 좌표계에서 센서에 걸쳐 트랙을 일치시키고; 일치된 트랙이 사용자 정의된 최적의 방식으로 일치하도록 센서 매개변수를 최적화하고; 정확한 데이터가 출력으로서 제공될 수 있도록 최적화된 센서 매개변수와 일치된 트랙을 융합하는 역할을 한다.

도 3은 원시 센서 데이터를 전역 좌표계에서 이동 물체의 트랙으로 변환하기 위한 예시적인 방법을 도시한다. 일 실시예에서, 센서는 카메라이다. 단계 302에서, 카메라는 이동 물체를 포함하는 일련의 이미지를 원시 데이터로 캡처하고 각각의 이미지에서 이동 물체의 픽셀 위치를 검출한다. 단계 304에서, 이동 물체에 대한 다중 연속 검출이 트랙으로 합쳐진다. 단계 306에서, 트랙의 각각의 픽셀은 당업자에게 공지되어 있는 바와 같이, 변환을 수행하기 위한 적절한 방법(306-b)뿐만 아니라 카메라의 내부 매개변수(306-a)를 프로세스에 공급함으로써 정규화된 카메라 좌표로 변환된다. 마지막으로, 단계 308에서 트랙의 각각의 정규화된 카메라 좌표는 카메라의 외부 매개변수(308-a)뿐만 아니라 매핑(308-b)을 수행하는데 필요한 적절한 수학적 연산을 공급함으로써 전역 좌표계에 매핑된다. 카메라의 경우, 최종 출력은 관심 있는 이동 물체를 찾는 전역 좌표 시스템의 연속 광선이다.

도 4는 다중 센서 추적 장치에서 센서를 캘리브레이팅하기 위한 예시적인 시스템(400)을 도시한다. 시스템은 복수의 센서(402)(즉, 센서(402(1)-402(n))), 복수의 추적 유닛(404)(즉, 추적 유닛(404(1)-404(n))), 및 중앙 처리 장치(CP)(140)를 포함한다. 환언하면, 시스템(400)은 단일 CP(410)와 통신하는 추적 유닛(404)에 원시 데이터를 공급하는 임의의 수의 센서(402)를 포함할 수 있다. 센서(402)는 (예를 들어, 물체 또는 사람의)운동을 추적하도록 구성된 임의의 센서, 예를 들어 레이더 어레이, 카메라, 라이다(lidar) 등일 수 있다. 센서(402)는 위치에 고정될 수 있거나 이동될 수 있다. 추적 유닛(404)은 원시 센서 데이터에 대한 계산을 수행하고 원시 센서 데이터에서 이동 물체의 연속적인 측정 및 검출에 대응하는 출력 트랙을 CP(410)에 출력하도록 구성된 내부 프로세서(406) 및 메모리(408)를 각각 가질 수 있다. 메모리(408)에 저장된 센서 매개변수는 추적 유닛(404)으로부터 CP(410)로 추가적으로 전달될 수 있다. 대안적으로, 위에서 논의된 바와 같이, 추적 유닛(404) 중 하나 이상이 CP(410)에서 구현될 수 있다.

CP(410)는 프로세서(412) 및 저장소(414)를 포함한다. CP(410)는 그들의 추적 유닛(404)을 통해 센서(402)에 커플링되고 추적 유닛(404)으로부터 트랙 및 센서 매개변수를 수신하고 추적 유닛(404)으로 안내(guidance)를 보내도록 구성된다. CP(410)는 데이터를 최종 사용자(416)에게 출력하도록 추가로 구성될 수 있다. 최종 사용자(416)는 예를 들어, 디스플레이 또는 추가 처리 장치일 수 있다. CP(410)의 프로세서(412)는 복수의 프로세서를 포함할 수 있고; 몇몇 실시예에서, CP(410)는 수십 또는 수백 개의 물체의 트랙을 동시에 처리할 수 있으며, 이는 상대적으로 높은 컴퓨팅 성능을 요구할 수 있다. CP(410)는 추적 관련 계산을 수행하기 위해 그에 저장된 실행 가능한 명령을 가진다. 예를 들어, CP(410)는 센서들로부터 수신한 트래킹 데이터를 매칭하고, 센서-간 캘리브레이션 프로세스를 수행하고, 최종 사용자에게 물체 궤적을 출력하기 위한 트래킹 데이터를 융합할 수 있다.

센서(402)의 매개변수는 추적 유닛의 메모리(408)에 저장된 그들의 매개변수와 함께 더 이른 시간에 캘리브레이션되었을 수 있다. 기존 캘리브레이션은 센서의 팩토리 캘리브레이션(factory calibration) 또는 본 명세서에 설명된 센서-간 캘리브레이션 절차의 이전 실행으로부터 수행되었을 수 있다.

도 5는 다중 센서 시스템에서 센서(402)를 - 한 번 - 캘리브레이팅하기 위한 예시적인 방법(500)을 도시한다. 캘리브레이션은 특히 각각의 센서의 정상 작동 중에 수행된다.

이전에 논의된 바와 같이, 기존 매개변수의 세트는 메모리(408)의 센서(402) 각각에 대해 저장될 수 있다. 당업계에 공지된 임의의 다양한 수단은 아래에서 상세히 설명될 예시적인 캘리브레이션 절차를 포함한 이들 매개변수를 결정하는데 사용될 수 있다.

단계 505에서, 센서(402)는 적어도 하나의 이동 물체에 대응하는 원시 데이터를 캡처한다. 센서(402)는 예를 들어, 골프 연습장에 있는 골프공과 같은 다중 이동 물체를 동시에 추적하기 위해서 추적 위치에 또는 그 주변에 전개될 수 있다. 그러나 예시적인 캘리브레이션 절차를 수행하기 위해서 하나의 이동 물체만이 추적될 필요가 있다.

단계 510에서, 각각의 센서(402)의 추적 유닛(404)은 센서(402)가 원시 데이터를 생성한 물체 모션의 부분에 대한 트랙을 개별적으로 결정한다. 트랙은 잠재적으로 메모리(408)로부터 검색된 기존 센서 매개변수를 사용하여 원시 데이터에 대한 계산을 수행함으로써 결정된다. 추적 유닛(404)으로부터의 트랙이 부분적으로라도 시간상 중첩되는 것은 요구사항이 아니다. 예를 들어, 제 1 센서(402(1))는 트랙의 시작을 측정할 수 있는 반면에, 제 2 센서(402(2))는 이후 부분을 측정할 수 있다. 물체와 관련된 역학 모델(예를 들어, 뉴턴의 제 2 법칙 및 이동 물체의 공기 역학적 특성에 대한 지식)을 통해 CP(410) 또는 기타 프로세서는 트랙을 시간적으로 앞뒤로 외삽하여 중복 양을 증가시킴으로써 2 개의 트랙이 당업자에 의해 이해되는 바와 같이 서로 더 쉽게 비교될 수 있다.

단계 515에서, 각각의 추적 유닛(404)은 메모리(408)에 저장된 센서 매개변수와 함께 단계 510에서 결정된 각각의 트랙을 CP(510)에 출력한다.

단계 520에서, CP(410)는 전역 좌표 시스템에서 센서(402)에 걸쳐 트랙을 정합시킨다. 원시 데이터로부터 전역 좌표계의 데이터로 변환하는 프로세스는 도 3에 요약되어 있다. 각각의 트랙이 나타내는 고유한 특성을 식별함으로써 트랙이 정합된다. 그러한 특징은 예를 들어, 물체 위치 및 시간의 동기화; 물체 속도; 스핀율; 스핀 축; 물체 바운스(object bounce)의 위치 및 타이밍; 물체의 색상 또는 반사 계수; 등일 수 있다. 모든 트랙이 센서에 걸쳐 일치하는 것은 아닐 수 있다. 예를 들어, 제 1 물체의 모션의 일부분은 센서(402) 중 하나의 관점에서 제 2 물체의 모션 또는 개입 구조에 의해 모호해질 수 있으므로, 센서(402)는 주어진 시간에서 제 1 객체에 대해 트랙으로부터 데이터를 캡처하고 트랙을 생성하는데 실패한다. 또한, 몇몇 트랙은 몇몇 센서에 대해 일치될 수 있는 반면에 다른 트랙은 다른 센서에 대해 일치될 수 있다. 이전에 언급된 바와 같이, 트랙은 트랙을 더 양호하게 비교하기 위해서 시간에서 앞으로 및/또는 뒤로 외삽될 수 있다. 센서의 기존 매개변수에 대해 알고 있는 CP(410)는 CP(410)가 트랙(센서 좌표계에서 생성됨)을 전역 클록(global clock)이 있는 전역 좌표계로 투영되게 한다.

일단 매칭되면, 단계 525에서, CP(410)는 센서-간 캘리브레이션 프로세스를 실행하며, 이에 대해서는 아래에서 상세히 설명된다. 센서-간 캘리브레이션 프로세스는 센서 트랙이 전역 좌표계에서 최적의 방식으로 일치하도록 하나 이상의 센서(402)의 내부 및 외부 매개변수를 조정한다. 옵션(530)에서, 센서 트랙은 아래에서 상세히 설명될 미래의 캘리브레이션 프로세스에서 사용하기 위해 메모리(414)에 저장된다.

단계 535에서, 최적화된 매개변수는 각각의 센서(402)의 추적 유닛(404)으로 반환된다. 각각의 추적 유닛(404)은 메모리(408)에 저장된 기존의 매개변수를 최적화된 매개변수로 업데이트하고 향후 추적을 위해 업데이트된 매개변수를 사용할 수 있다. 이러한 방식으로, 센서(402)는 개별 트랙이 CP(410)에 융합될 때 일관된 추적 데이터를 생성하도록 캘리브레이션된다. 향후 트랙(임의의 추가 조정이 필요할 때까지)에 대해 CP(410)는 수신된 트랙을 일관성 있게 만들기 위해서 계산을 수행할 필요가 없는데, 이는 캘리브레이션된 매개변수가 주어지면 트랙이 이미 일관성이 있어야 하기 때문이다. CP(410)는 전역 좌표계의 트랙을 간단히 융합하고 조합된 트랙을 최종 사용자(416)에게 출력할 수 있다.

도 6은 센서-간 캘리브레이션 프로세스 및 그의 피드백이 다중 센서 시스템의 정상 작동에 통합되는 방식을 도시한다. 정상 작동 중에, 센서는 이동 물체가 추적 유닛에 의해 검출되는 원시 데이터를 캡처한다. 결과적으로 이동 물체의 트랙은 최종 사용자에게 출력되기 전에 일치되고 융합될 수 있다. 센서-간 캘리브레이션 프로세스는 센서 가동 중지 시간이 필요하지 않도록 병렬로 구현될 수 있다. 센서-간 캘리브레이션 프로세스가 실행될 수 있고 최적화된 매개변수가 향후 추적을 위해 각각의 추적 유닛으로 반환될 수 있다.

센서-간 캘리브레이션 프로세스는 추적 유닛(404)에 의해 생성된 트랙이 전역 좌표계에서 최적의 방식으로 공간적으로 및/또는 시간적으로 일치하도록 센서(402)의 내부 및 외부 매개변수를 결정한다.

최적성은 사용자 정의될 수 있다. 일 실시예에서, 최적성은 트랙들 사이의 가중된 3d-위치 잔차(residual)를 최소화하는 것을 구성할 것이다. 알고리즘적으로, 전형적으로 비용 함수(E)를 최소화하도록 정의한다. 위치 잔차를 최소화할 때 이러한 비용 함수는 일치된 단일 트랙(t)에 대해 다음과 같이 보일 수 있다:

위의 함수에서, 는 트랙(t)에 속하는 전역 좌표계에서 물체의 n번째 위치의 추정치이며, 이는 센서(i)와 관련된 추적 유닛에 의해 검출 또는 추정되고 센서(i)의 내부 및 외부 매개변수에 대한 최신 추정치의 함수이다. 는 몇몇 사용자 정의 가중치 행렬()에서 그의 인수의 가중치 2-노름(norm)을 나타낸다.

주어진 센서(402)로부터의 데이터는 데이터에 높은 신뢰도를 부여하는 품질을 가질 수 있는 반면에, 다른 센서(402)로부터의 다른 데이터는 낮은 신뢰도를 나타내는 품질을 가질 수 있다. 고품질 데이터가 다른 고품질 데이터와 비교될 수 있는 경우, 더 큰 가중치가 배치되며 이는 가중치 행렬()에 반영될 수 있다. 모든 데이터의 가중치가 동일하면, 가중치 행렬은 단위 행렬로 설정될 수 있다. 신뢰도가 낮은 측정값의 예는 예를 들어, 노이즈가 있는 측정값; 예를 들어 이미지에서 물체의 깊이와 같은 센서의 "공간" 밖의 측정값; 또는 동적 모델을 외삽하여 얻은 측정값이다.

다른 실시예에서, 최소화될 비용 함수는 속도, 회전 축, 가속도, 픽셀, 픽셀 강도 등의 잔차 또는 이들의 임의의 가중 조합의 함수일 수 있다. 예를 들어, 다중 센서 시스템은 레이더 및 골프공과 같은 이동 물체를 검출하는 카메라로 구성될 수 있다. 레이더에 의해 검출된 볼 위치는 카메라의 이미지 평면에 투영될 수 있으며, 카메라의 좌표와 레이더 투영의 픽셀 좌표 사이의 잔차를 최소화하는 비용 함수가 정의될 수 있다. 다른 예에서, 두 대의 카메라는 조명이 변하는 체적을 가로질러 이동하는 비행 중인 야구공을 추적할 수 있으므로 각각의 카메라에서 볼 때 공이 점점 어두워진다. 각각의 카메라에 의해 모니터링되는 픽셀 강도의 차이는 비용 함수에 추가로 포함될 수 있으므로, 최소화될 비용 함수는 픽셀 좌표뿐만 아니라 픽셀 강도의 함수일 수 있다. 또 다른 예에서, 카메라와 레이더가 있는 센서 장치에서, 카메라의 이미지 평면에서 검출된 픽셀 위치는 레이더에 의해 검출된 볼 위치의 레이더 범위 측정을 사용하고 이러한 공간의 잔차를 최소화하는 비용 함수를 정의하는 3D 유클리드 공간(Euclidean space)으로 확장될 수 있다.

다중 트랙이 CP에 의해 일치된 경우에, 비용 함수는 각각의 트랙의 비용의 가중 합으로 기록될 수 있다. 즉,

여기서, w_t는 각각의 트랙(t)에 할당된 가중치이다. 기본적으로, 각각의 트랙에 할당된 가중치는 동일한 것으로 가정될 수 있다. 즉, w_t = 1.

최적성에 도달하는 것, 즉 E를 최소화하는 것은 수치적으로 수행될 수 있으며 CP에 의해 수행될 수 있다. 가장 간단한 형태로, CP는 모든 센서에 대해 - 내부 및 외부의 - 모든 매개변수에 대해 무차별 그리드 검색(brute-force grid search)을 수행하고 비용 함수를 최소화하는 매개변수를 선택할 수 있다. 그러한 지능형 추측이 존재하는 경우 모든 매개변수에 대한 지능형 추측 주변의 작은 그리드를 샘플링하여 동일하게 수행할 수 있다. 다른 실시예에서, 지능형 최적화 기술이 활용될 수 있다. 그러한 기술의 예로는 Nelder-Mead 알고리즘과 비용 함수의 도함수가 평가될 수 있는 곳에서 Gauss-Newton 알고리즘, Levenberg-Marquardt 알고리즘 또는 기타 경사 하강법 기초 알고리즘(gradient descent-based algorithm)이 있다. 비용 함수(E)가 최소화되고 최적화된 내부 및 외부 매개변수가 결정된 후 최적화된 매개변수는 향후 추적을 위해 각각의 센서에 반환될 수 있다.

다중 센서 시스템의 특성 및 사용자 선호도에 따라서 센서-간 캘리브레이션 프로세스는 다양한 방식으로 구현될 수 있다. 일 실시예에서, 센서-간 캘리브레이션은 예를 들어, 설치 시에 한 번 수행되고, 그 후에 내부 및 외부 매개변수가 캘리브레이션되고 시간에 따라서 일정한 것으로 간주된다. 설치하는 동안 하나 이상의 트랙이 수집되어 디스크에 저장될 수 있으며, 그 후에 센서-간 캘리브레이션 루틴이 실행될 수 있다.

다른 실시예에서, 센서-간 캘리브레이션 프로세스는 연속적으로 실행될 수 있어서, 각각의 센서의 내부 및 외부 매개변수가 각각의 새롭게 식별된 트랙 또는 트랙들에 대해 연속적으로 업데이트된다. 새로 식별된 트랙 또는 트랙들이 역사적으로 식별된 트랙의 일부 또는 전체 목록에 추가되고, 메모리에서 검색되고, 센서-간 캘리브레이션이 실행될 수 있다.

또 다른 실시예에서, 새롭게 식별된 트랙 또는 트랙들이 역사적으로 식별된 트랙의 일부 또는 전부의 목록에 부가될 수 있고, 메모리로부터 검색될 수 있고, 센서-간 캘리브레이션이 실행될 수 있다. 그러나, 이러한 실시예에서, 일부 또는 모든 센서의 내부 및 외부 매개변수는 트랙 수집 동안 시간적으로 드리프트된 것으로 가정될 수 있다. 이를 설명하기 위해서, 트랙은 센서-간 캘리브레이션 프로세스 동안 더 최근에 식별된 트랙에 더 큰 가중치가 주어질 수 있도록 시간에 따라 지수적으로 가중치가 주어질 수 있다. 그러한 가중치 함수는 w_t = e^{- λΔτ} 형식을 취할 수 있으며, 여기서 Δ_τ는 트랙이 관찰된 이후 시간(초)이고 λ는 사용자 정의 감쇠율 상수이다.

또 다른 실시예에서, 일부 또는 모든 센서의 전술한 드리프트는 하나 이상의 수단, 예를 들어 센서에 내장된 관성 운동 유닛(IMU)에 의해 모니터링된다. 측정된 드리프트는 센서-간 캘리브레이션의 최적화 단계 동안 CP에 의해 설명될 수 있으므로, 다시 이득이 있는 추적은 최소화될 비용 함수에서 동일한 가중치가 주어질 수 있다. 즉, w_t = 1.

또 다른 실시예에서, 새로운 트랙과 메모리로부터의 모든 트랙의 센서-간 캘리브레이션의 전체 실행을 수행하기 위한 시간 및/또는 리소스가 없을 수 있다. 수백만 개 정도의 너무 많은 트랙이 있을 수 있다. 그 대신, 당업자에게 공지된 바와 같이 확률적 또는 미니-배치 경사 하강법을 채택할 수 있다. 새롭게 식별된 트랙 또는 트랙들을 수신하면, CP(410)는 먼저 모든 센서에 대한 가장 최근의 매개변수 값 세트를 로서 저장할 수 있다. 다음으로, CP(410)는 그 트랙 또는 그 트랙들에 대해 센서-간 캘리브레이션을 실행함으로써 새로 수신된 트랙 또는 트랙들에 기초하여 최적의 매개변수 값 세트를 계산할 수 있다. 이러한 매개변수 값 세트는 로서 저장된다. 마지막으로, CP(410)는 위의 가중치 합, 즉 로서 각각의 센서에 대한 최적의 매개변수 값 세트를 근사하며, 여기서 0 ≤ w ≤ 1은 사용 정의 가중치이다. 사용자 정의(w)를 설정하기 위한 휴리스틱(Heuristic)은 당업자에게 공지될 것이다.

모든 경우에, 모든 내부 및 외부 센서 매개변수의 업데이트된 값은 향후 추적을 위해 각각의 센서의 추적 유닛으로 전송될 수 있다.

센서-간 캘리브레이션 프로세스는 임의의 특정 센서의 임의의 하나 이상의 센서 매개변수가 최적화되도록 설정될 수 있다. 즉, 모든 센서 매개변수를 최적화할 필요는 없다. 제 1 예로, 다중 레이더가 장착된 골프 연습장의 경우에, 센서-간 캘리브레이션 프로세서를 통해 각각의 레이더의 팬 각도만이 최적화되도록 선택되는 반면에, 나머지 모든 내부 및 외부 센서 매개변수는 다른 수단에 의해 도달된다. 센서의 모든 매개변수가 아닌 일부로 최적화를 제한하는 것은 제한적 최적화를 수행하는 것과 동일하며, 이는 당업자에게 친숙할 수 있다.

센서-간 캘리브레이션은 다양한 설정으로 구현될 수 있다. 예를 들어, 프로세스는 이동 물체가 이동할 수 있는 전체 볼륨을 캡처하기 위해서 유사하거나 그렇지 않은 다중 센서가 요구되는 장소에서 실행될 수 있다. 골프 연습장, 골프 코스의 홀, 야구 경기장, 축구 경기장 또는 기타 경기장과 같은 장소에서, 다중 센서가 스포츠 공 또는 공 모양의 물체를 추적하고 여러 센서의 추적 데이터를 조합하여 예를 들어, 방송 디스플레이에 단일 트랙을 출력한다. 이들 장소는 중복 측정을 위해서 센서 사이의 충분한 중첩이 필요한 정밀 측정이 필요할 수도 있다. 조합된 측정값의 분산을 최소화하고 이상치를 거부하면 시스템의 정밀도가 향상될 수 있다.

일부 장소는 하나 이상의 센서가 캘리브레이션되어야 하는 범주형 출력을 전달하는 기준 센서를 사용할 수 있다. 예를 들어, 야구에서 기준 센서는 사람, 즉 심판일 수 있고 출력은 투구, 즉 스트라이크 또는 볼의 호출이다. 하나 이상의 제 2 센서는 투구 동안 공의 궤적을 캡처할 수 있다. 따라서 제 2 센서의 매개변수는 제 2 센서에 의해 제안된 호출이 기준 센서(여기서는 심판)의 호출과 양호하게 상관되도록 업데이트될 수 있다.

또 다른 장소에서는 물체의 전체 궤적을 측정하는 센서와 궤적의 일부만을 측정하는 센서를 조합할 수 있다. 전체 궤적 센서는 부분 궤적 센서보다 정확도가 떨어지는 물체를 측정할 수 있다. 그러한 시스템의 예는 공의 전체 궤적을 측정하는 센서가 이미 존재하는 골프 연습장에 고정밀 골프 런치 모니터(golf launch monitor)를 추가하는 것이다. 골프 연습장에 이미 설치된 센서와 정렬되도록 런치 모니터의 외부 매개변수를 캘리브레이팅함으로써 임팩트 시와 비행 내내 샷에 대한 자세한 데이터가 제공될 수 있다. 고정밀 골프 런치 모니터는 골퍼가 직접 설치하는 휴대용 장치일 수 있다. 휴대용 골프 런치 모니터의 이러한 캘리브레이션 방법은 골퍼 측의 조작 없이 자동으로 수행될 수 있다.

또 다른 장소에서는 아직 시간이 동기화되지 않은 다중 센서를 구현할 수 있다. 일 예는 야구 투구의 궤적을 추적하는 두 개의 센서로, 하나는 시간에 정확하게, 다른 하나는 약간의 Δt만큼 오프셋된다. CP의 두 트랙을 정합시킨 후, 센서-간 캘리브레이션은 예를 들어 제 2 센서의 트랙을 -Δt만큼 오프셋함으로써 두 트랙 사이의 위치 잔차를 최소화를 시도하는 것으로 수행될 수 있다.

다른 실시예에서, 관성 측정 유닛(IMU)은 예를 들어, 골프 클럽이며 클럽의 스윙을 추적하는 레이더 및/또는 카메라와 함께 사용된다. IMU는 클럽을 스윙하는 동안 속도와 방향과 같은 클럽의 매개변수를 캡처한다. 레이더 및/또는 카메라의 유사한 측정값과 비교함으로써 IMU의 위치와 방향이 결정될 수 있다. IMU가 장착될 수 있는 다른 예로는 테니스 라켓, 야구 방망이, 크리켓 방망이 등이 있다.

아래에 상세히 설명될 다른 실시예에서, 위에서 설명된 놈 기초 접근법(norm-based approach)보다 더욱 휴리스틱 접근법을 활용하는 캘리브레이션 접근법이 사용된다. 이러한 실시예는 특히, 예를 들어 야구 경기장 설정에 적용될 수 있다. 이러한 실시예에 대한 캘리브레이션 프로세스는 던져진 투구 추적과 관련하여 설명되지만, 당업자는 예시적인 캘리브레이션 프로세스가 야구 경기장에서 다른 투구 또는 타구를 또는 다른 설정의 다른 스포츠 공을 추적하기 위한 다른 설정 및 다른 목적으로도 사용될 수 있음을 이해할 것이다.

도 9는 야구 투구 및/또는 다른 야구 궤적과 같은 물체 궤적을 추적하기 위한 레이더(902) 및 2 개의 카메라(904, 906)를 포함하는 시스템(900)을 도시한다. 제 1 카메라(904)는 넓은 조리개를 갖고 광각 카메라로 지칭될 수 있는 반면에, 제 2 카메라(906)는 좁은 조리개를 갖고 좁은각 카메라로 지칭될 수 있다. 레이더(902) 및 2 개의 카메라(904, 906)는 이러한 실시예에서, 추적 유닛과 같은 동일한 구조상에 장착될 수 있고 중첩되는 시야(FOV)를 갖도록, 즉 카메라(904, 906) 또는 카메라(904, 906)의 FOV의 일부와 동일한 FOV를 커버하는 레이더 안테나의 메인 빔과 함께 지향될 수 있다.

그러나, 다른 실시예에서, 레이더(902) 및 하나 이상의 카메라(904, 906)는 별도로 장착될 수 있고 그들의 FOV 사이에서 덜 중첩될 수 있다. 제 1 카메라(904)는 현장 캘리브레이션 목적을 위한, 예를 들어 외부 매개변수를 캘리브레이팅하는 주 센서로 간주될 수 있고 이러한 실시예에서 전체 플레이 필드를 커버하는 FOV를 가진다. 제 1 카메라(904)의 FOV와 유사한 FOV를 가지는 제 2 카메라(906)는 추적 목적을 위한 예를 들어, 투수 마운드, 타자석 및 주변 지역과 같은 지역을 포함하도록 나중에 잘리는 이미지를 캡처한다. 이는 또한, 제 2 카메라(906)가 정확하게 지향될 필요가 없기 때문에 설치 동안 유연성 증가를 허용한다. 그러나 자르지 않았거나 다르게 잘린 이미지도 사용될 수 있다. 제 1 카메라(904)의 프레임 레이트(frame rate)는 예를 들어, 30 fps이고 제 2 카메라(906)의 프레임 레이트는 예를 들어 60 fps일 수 있다. 제 1 (광각)카메라(904)의 외부 매개변수는 초기 캘리브레이션 프로세스의 제 1 단계로 결정되고, 이후 제 2 (좁은각)카메라(906)의 외부 매개변수는 제 1 카메라(904)에 대해 결정된다.

아래에 상세히 설명될 일 실시예에서, 레이더(902)에 대한 외부 매개변수는 레이더(902) 및 좁은각 카메라(906)에서만 볼(ball) 검출에 기초한 센서-간 캘리브레이션에 의해 결정된다. 그러나, 다른 실시예에서, 레이더 매개변수는 광각 카메라(904)에서도 볼 검출에 기초하여 결정될 수 있다. 시스템(900)의 센서는 시간 동기화되어, 센서 중 하나에 의해 주어진 시간에 캡처된 측정이 다른 센서 중 하나에 의해 동시에(또는 가장 가까운 이용 가능한 시간에) 캡처된 측정과 또는 당업자에 의해 이해되는 바와 같이 2 개의 가장 가까운 이용 가능한 시간들 사이의 보간된 값과 직접 비교될 수 있다.

위에서 설명된 CP(410)와 같은 중앙 처리 장치는 물체 추적 및 캘리브레이션 계산을 수행하는데 사용될 수 있다. 라이브 캘리브레이션 시스템은 아래에 설명된 센서-간 캘리브레이션 프로세스와 함께 실행될 수 있으며, 라이브 캘리브레이션(live calibration) 시스템은 좁은각 카메라에서 홈 플레이트를 검출하고 이들 검출을 기초로 기준선 캘리브레이션을 조정한다. 당업자는 특히 홈 플레이트가 종종 선수, 심판 등에 의해 가려지기 때문에 라이브 캘리브레이션 시스템이 필드 또는 경기장의 임의의 다른 특징 또는 일정한 특징에 의존할 수 있음을 이해할 것이다. 라이브 캘리브레이션 시스템은 홈 플레이트 또는 기타 미리 결정된 특징의 검출에 기초하여 기준선 보정을 조정할 수 있으며, 좁은각 카메라 또는 광각 카메라에서 특징 매칭에 기초하여 기준선 캘리브레이션을 조정할 수 있다.

도 10은 물체, 예를 들어 야구공 투구의 궤적 데이터에 기초한 카메라, 예를 들어, 좁은각 카메라(906)에 대한 레이더, 예를 들어 레이더(902)의 배향을 캘리브레이팅하기 위한 방법(1000)을 도시한다. 단계 1005에서, 물체 궤적에 대응하는 센서 데이터는 레이더(902) 및 카메라(906)에 의해 획득된다. 예를 들어, 물체는 야구공일 수 있고 궤적은 투구에 대응할 수 있다. 단계 1010에서, 캘리브레이션 목적으로 레이더 데이터에 대한 트랙이 결정된다. 예를 들어, 이러한 실시예에서, 3차원 위치 데이터는 원시 레이더 데이터(범위 및 속도 데이터를 포함하는 레이더 데이터)로부터 계산되고 초기 매개변수를 사용하여 처리된다. 트랙은 원시 데이터를 기초로 하는 물체 경로의 수학적, 도식적 또는 논리적 표현일 수 있으며 다양한 방식으로 다양한 공간에서 표현될 수 있다.

예를 들어, 일 실시예에서, 다항식이 위치 데이터에 맞춰질 수 있어서, 다항식이 평가될 수 있고 물체의 위치가 비행 중 언제든지 결정될 수 있다. 다른 매개변수 표현은 시간 t = t0에서의 상태 벡터와 시간 t |= t0에 대한 외삽을 허용하는 동적 모델일 수 있다. 스포츠 공의 경우, 상태 벡터는 공의 위치, 속도, 회전, 회전 축 등을 나타낼 수 있으며, 동적 모델은 무엇보다도 공의 항력과 양력을 설명할 수 있다. 다항식 또는 상태 벡터 좌표의 계수가 결정되면 이들과 같은 매개변수 표현은 원시 측정 데이터에 액세스하지 않고도 물체 위치를 평가하는 것을 허용한다. 따라서 센서-간 캘리브레이션을 수행하기 전에 원시 데이터가 삭제될 수 있다.

이는 매개변수 표현이 데이터에 대한 양호한 모델이거나 원시 데이터를 저장하는 것이 비실용적인 시스템에 유리하다. 매개변수 표현이 사용될 때, 실제 측정값이 표시되는 공간(또는 공간의 투영) 대신에 매개변수 공간에서 최적화가 수행될 수 있다. 당업자가 이해하는 바와 같이, 상호 캘리브레이션되는 다양한 센서의 측정 주기가 동기화되는(즉, 하나의 센서의 각각의 측정이 다른 센서로부터의 측정에 시간적으로 정확하게 대응하는) 상황에서, 동일한 시간에 대한 각각의 센서로부터의 원시 데이터는 캘리브레이션을 위해 직접 비교될 수 있다.

다른 실시예에서, 시간(t = t0)에서의 공 위치는 t0에 가장 가까운 시간 측정에 의해, 또는 시간 t0에 가장 가까운 공의 k 측정치의 가중 평균에 의해 표현될 수 있다. 이들 표현에서 트랙은 원시 측정 데이터, 예를 들어, 레이더 스펙트럼의 피크에 의해, 또는 다른 센서의 물체 위치 또는 픽셀 위치, 및 임의의 주어진 시간에 원시 데이터로부터 물체의 위치 또는 다른 특징을 추출하는 방법에 의해 표현된다. 원시 측정 데이터는 당업자에 의해 이해되는 바와 같이 추적/캘리브레이션 프로세스에 사용하기 전에 평활화되거나 제거된 이상치를 가질 수 있다. 원시 데이터로부터 물체의 트랙을 결정하는 매개변수적 또는 비-매개변수적인 임의의 그러한 방법은 트랙의 성질과 측정의 노이즈에 관한 가정을 나타낸다.

단계 1015에서, 레이더 데이터로부터 유도된 트랙은 각각의 이미지 프레임의 획득에 대응하는 시점에서 평가된다. 다항식이 트랙을 나타내기 위해 사용되면, 레이더 다항식은 프레임이 카메라(906)에 의해 획득된 각각의 시간 순간에서 평가되어 해당 시간 순간에 대응하는 레이더 위치를 결정한다. 그러나 위에서 논의된 바와 같이, 레이더 데이터의 다른 트랙 표현은 레이더 위치를 추출하기 위해 다르게 평가될 수 있다.

단계 1020에서, 이미지 데이터는 3차원 이미지 위치, 즉 카메라 트랙을 결정하기 위해서 레이더 범위 데이터(즉, 이미지가 캡처된 각각의 시점에서 레이더로부터 물체까지의 거리에 대응하는 데이터)와 조합된다. 특히, 이미지에서 물체의 각도 위치는 카메라 추적을 결정하기 위해서 레이더로부터의 범위 측정과 조합된다. 범위 측정은 이미지 평면으로부터 3D 공간으로 비전 포인트(각도 측정)를 투영 해제하는데 사용된다. 환언하면, 변환은 조합된 레이더 범위 측정 및 비전 포인트를 기초로 3D 공간을 한정하는데 사용된다. 따라서 단계 1015 및 1020 이후에는 이미지 데이터를 획득한 시점마다 3차원 좌표계, 예를 들어 전역 좌표계에서 한 쌍의 위치(레이더 위치 및 이미지 위치)가 결정된다. 위에서 상세히 설명된 바와 같이, 이미지 위치는 이미지 데이터로부터 엄격하게 유도되지 않고 오히려, 레이더로부터의 범위 데이터(즉, 레이더로부터의 거리)를 이미지 위치 결정에 통합한다. 대안적인 실시예에서, 3D 공간의 레이더 트랙은 2D 이미지 평면으로 투영될 수 있다. 예를 들어, 레이더 측정은 물체가 2D 이미지 평면에 위치될 위치를 정의하도록 변환될 수 있다.

당업자에 의해 이해되는 바와 같이, 이미저는 이미지 평면 내의 상이한 위치에서 변하는 왜곡을 생성할 수 있다. 예를 들어, 픽셀 위치에 기초한 함수로서 표현된 이러한 왜곡은 보정된 2D 평면에서 볼의 보정된 각도 위치를 결정하기 위해서 볼의 검출된 위치(예를 들어, 픽셀 단위)에 적용될 수 있다. 이들 보정된 각도 위치는 보정 목적을 위해 레이더 데이터에 기초하여 결정된 각도 위치와 비교될 수 있다. 대안적으로, 레이더 데이터에 의해 표현되는 보정되지 않은 이미지 데이터의 각도 위치를 결정하기 위해서 이러한 왜곡 함수의 반대가 레이더 데이터에 적용될 수 있고 이러한 데이터는 캘리브레이션 목적을 위해서 보정되지 않은 이미지 데이터와 비교될 수 있다.

단계 1025에서, 이렇게 결정된 레이더 및 이미지 위치의 각각의 쌍에 대해 두 위치가 일치되게 만드는 카메라(906) 또는 레이더(902) 중 하나에 대해 배향의 변화(즉, 틸트/팬 조정)가 계산된다. 환언하면, 레이더 또는 카메라의 틸트 및 팬(즉, 방향)이 최적화되는 외부 매개변수이다. 카메라(906) 또는 레이더(902) 중 하나가 매개변수를 최적화할 수 있지만, 레이더 방향이 카메라의 방향과 일치하도록 업데이트되면 위에서 논의된 바와 같이 카메라가 기준선 계산에 사용되기 때문에 구현이 약간 더 간단할 수 있다. 그러나 카메라 배향을 업데이트하는 것은 실제 좌표에 대한 매핑이 또한 업데이트되는 한 레이더 배향을 업데이트하는 것과 수학적으로 동일하다. 각각의 피치에 대해서, 피치에 대한 모든 검출 쌍에 대한 틸트/팬의 메디안은 피치당 틸트/팬 조정으로 결정된다. 다중 연속 피치에 대한 틸트/팬 조정 세트는 위에서 설명된 바와 같이 확률적 또는 미니-배치 구배 접근 방식(stochastic or mini-batch gradient approach)을 사용하여 필터링될 수 있다. 단계 1030에서, 레이더 또는 카메라는 결정된 틸트/팬 조정에 대응하는 새로운 외부 매개변수로 캘리브레이션된다.

위에서 논의된 바와 같이, 방법(1000)에서, 카메라에 대한 메디안 틸트/팬은 피치당 결정되고 카메라 매개변수는 그에 따라 조정된다. 이러한 접근 방식은 위에서 설명된 바와 같이, 최적화된 비용 함수를 사용하는 것보다 더 경험적이며 캘리브레이션 알고리즘을 이상치에 대해 더 관대하게 만들 수 있다. 방법(800)의 다른 양태는 복수의 센서 각각에 대한 독립적인 트랙을 결정하고 이들 트랙을 비교하는 것보다, 방법(1000)이 먼저 카메라 데이터를 레이더 데이터와 조합하여 카메라 트랙을 결정하고, 이러한(조합된) 카메라 트랙은 그런 다음 레이더 데이터로부터 엄격하게 유도된 레이더 트랙과 비교된다.

도 7a 및 도 7b는 예시적인 센서-간 캘리브레이션을 실행하기 전과 실행한 후의 합성 데이터의 예시를 도시한다. 도 7a에서, 제 1 및 제 2 센서는 복수의 이동 물체를 추적했고 트랙은 초기에 CP(410)에 의해 일치되었다. 추적된 물체는 명확성을 위해 1 내지 6 번이 주어졌다. 물체(1 내지 3)의 경우, 센서는 캘리브레이션을 실행하는데 충분한 중복 데이터를 캡처했다. 물체(4)의 경우, 트랙의 일부는 파선으로 시각화된 시간의 앞뒤로 동적 모델을 외삽하여 도달했다. 물체(5)의 경우, 제 2 센서만이 트랙을 생성했다. 환언하면, 제 1 센서에 의해 계산된 트랙 중 어느 것도 제 2 센서에 의해 계산된 트랙과 일치하지 않았다. 물체(6)의 경우, 반대 상황이 발생했다 - 제 1 센서만이 물체에 대한 트랙을 생성했다 -. 트랙은 공간에서 중복하지 않은 트랙에 의해 시각화된 그들의 위치 추정치에 상당한 잔차를 표시한다.

도 7b에서, 센서-간 캘리브레이션이 실행되었다. 이러한 예에서, 제 1 센서의 외부 매개변수만이 최적화되어 일치하는 트랙이 위치 잔차를 기초로 최적의 방식으로 일치한다. 도 7b에 도시된 바와 같이, 제 1 센서의 트랙은 병진 운동 및 회전되었다.

도 8a 및 도 8b는 예시적인 센서-간 캘리브레이션을 실행하기 전과 후에 실제 측정된 데이터의 예시를 도시한다. 예시는 MLB 경기장에서 야구 방망이로 친 다수의 야구공 트랙의 평면도를 도시한다. 트랙을 생성하는데 사용되는 센서는 레이더이다. 레이더에 걸쳐 일치된 트랙만이 도시된다. 모든 레이더로 포착된 모든 트랙에 대해서, 타격된 시간부터 착지될 때까지 공의 위치를 추정할 뿐만 아니라 공의 위치에 대한 레이더의 추정에 대한 신뢰도를 정량화하는 동적 모델이 장착되었다. 이들은 희미한 오차 막대로 도시되며 최소화될 비용 함수의 가중치에 사용된다. 추적된 모든 공에는 추적한 레이더와 관련된 마커가 제공된다.

도 8a에 도시된 보정되지 않은 데이터에서, 레이더를 통한 공의 위치 추정치 사이에는 명백한 불일치가 존재한다. 도 8b에 도시된 보정된 데이터에서, 센서-간 캘리브레이션 절차에 따라서 레이더의 내부 매개변수(즉, 위상 오프셋)가 최적화되고 업데이트되어 잔차가 크게 감소했다.

Claims (14)

1. 방법으로서,
   다중 센서 추적 시스템(multi-sensor tracking system)에서 레이더로 레이더 데이터를 그리고 카메라로 이미지 데이터를 캡처하는 단계로서, 레이더 데이터 및 이미지 데이터는 물체(object)의 경로에 대응하고, 레이더 데이터는 물체에 대한 레이더 범위 데이터 및 레이더 속도 데이터를 포함하고 카메라 데이터는 물체에 대한 이미지 각도 위치 데이터를 포함하는, 단계;
   레이더 데이터 및 초기 레이더 매개변수를 사용하여 초기 레이더 트랙(track)을 생성하는 단계;
   이미지 각도 위치 데이터, 초기 카메라 매개변수 및 레이더 범위 데이터를 사용하여 초기 카메라 트랙을 생성하는 단계; 및
   계산하는 단계로서,
   초기 레이더 트랙과 초기 카메라 트랙으로부터의 물체에 대한 위치를 비교함으로써 레이더 데이터에 적용될 제 1 보정 매개변수(first correction parameter)로서, 제 1 보정 매개변수는 제 1 보정된 트랙을 생성하기 위해서 레이더 데이터에 적용될 때 제 1 보정된 트랙과 초기 카메라 트랙 사이의 대응 정도가 초기 레이더 트랙과 초기 카메라 트랙 사이의 대응 정도보다 더 높도록 선택되는, 제 1 보정 매개변수; 및
   초기 레이더 트랙과 초기 카메라 트랙으로부터의 물체에 대한 위치를 비교함으로써 이미지 각도 위치 데이터에 적용될 제 2 보정 매개변수로서, 제 2 보정 매개변수는 제 2 보정된 트랙을 생성하기 위해서 이미지 각도 위치 데이터에 적용될 때 제 2 보정된 트랙과 초기 레이더 트랙 사이의 대응 정도가 초기 레이더 트랙과 초기 카메라 트랙 사이의 대응 정도보다 더 높도록 선택되는, 제 2 보정 매개변수 중 하나를 계산하는 단계;를 포함하는,
   방법.
2. 제 1 항에 있어서,
   상기 제 1 보정 매개변수 및 제 2 보정 매개변수 중 하나를 계산하는 단계 이후에, 제 1 보정 매개변수로 레이더를 캘리브레이팅(calibrating)하거나 제 2 보정 매개변수로 카메라를 캘리브레이팅하는 단계를 더 포함하는,
   방법.
3. 제 1 항에 있어서,
   제 1 보정 매개변수에 기초하여 보정된 배향으로 레이더를 캘리브레이팅하기 위한 초기 레이더 매개변수에 대한 틸트(tilt) 조정 및 팬(pan) 조정, 제 2 보정 매개변수에 기초하여 보정된 배향으로 카메라를 캘리브레이팅하기 위한 초기 카메라 매개변수에 대한 틸트 조정 및 팬 조정 중 하나를 결정하는 단계를 더 포함하는,
   방법.
4. 제 3 항에 있어서,
   상기 틸트 조정 및 팬 조정 중 하나를 결정하는 단계 이전에, 초기 레이더 트랙에 다항식을 피팅(fitting)하는 단계; 및
   이미지 프레임들이 캡처된 시간들에 대응하는 일련의 시점들에서 다항식을 평가하여 일련의 시점들 중의 각 시점에 대응하는 레이더 위치를 결정하는 단계를 더 포함하는,
   방법.
5. 제 4 항에 있어서,
   상기 다항식을 평가한 이후에, 일련의 시점들 중의 각 시점에서 다항식과 카메라 트랙을 비교함으로써 레이더와 카메라 중 하나에 대한 일련의 틸트 및 팬 조정을 결정하는 단계;
   중앙값(median) 틸트 및 팬 조정으로서 일련의 틸트 및 팬 조정에 대한 중앙값을 결정하는 단계; 및
   중앙값 틸트 및 팬 조정을 로우 패스 필터링(low pass filtering)하는 단계를 더 포함하는,
   방법.
6. 제 3 항에 있어서,
   초기 레이더 트랙은 상태 벡터(state vector)와 동적 모델(dynamical model)에 의해 표시되며, 상태 벡터는 물체의 경로 매개변수를 표시하고 동적 모델은 물체의 양력(lift)과 항력(drag)을 나타내는,
   방법.
7. 제 1 항에 있어서,
   레이더 범위 측정은 이미지 각도 위치 데이터를 3D 좌표로 확장하는데 사용되는,
   방법.
8. 제 1 항에 있어서,
   다중 센서 추적 시스템은 야구장에서 구현되며 물체는 야구공인,
   방법.
9. 시스템으로서,
   다중 센서 추적 시스템에서 레이더 및 카메라와 통신하는 중앙 처리 장치(central processing arrangement)를 포함하며, 중앙 처리 장치는 물체의 경로에 대응하는 레이더로부터의 레이더 데이터 및 카메라로부터의 카메라 데이터를 수신하며, 레이더 데이터는 물체에 대한 레이더 범위 데이터 및 레이더 속도 데이터를 포함하고 카메라 데이터는 물체에 대한 이미지 각도 위치 데이터를 포함하며, 중앙 처리 장치는 레이더 데이터 및 초기 레이더 매개변수를 사용하여 초기 레이더 트랙을 생성하며, 중앙 처리 장치는 이미지 각도 위치 데이터, 초기 카메라 매개변수 및 레이더 범위 데이터를 사용하여 초기 카메라 트랙을 생성하며, 중앙 처리 장치는:
   초기 레이더 트랙과 초기 카메라 트랙으로부터의 물체에 대한 위치를 비교함으로써 레이더 데이터에 적용될 제 1 보정 매개변수로서, 제 1 보정 매개변수는 제 1 보정된 트랙을 생성하기 위해서 레이더 데이터에 적용될 때, 제 1 보정된 트랙과 초기 카메라 트랙 사이의 대응 정도가 초기 레이더 트랙과 초기 카메라 트랙 사이의 대응 정도보다 더 높도록 선택되는, 제 1 보정 매개변수; 및
   초기 레이더 트랙과 초기 카메라 트랙으로부터의 물체에 대한 위치를 비교함으로써 이미지 각도 위치 데이터에 적용될 제 2 보정 매개변수로서, 제 2 보정 매개변수는 제 2 보정된 트랙을 생성하기 위해서 이미지 각도 위치 데이터에 적용될 때, 제 2 보정된 트랙과 초기 레이더 트랙 사이의 대응 정도가 초기 레이더 트랙과 초기 카메라 트랙 사이의 대응 정도보다 더 높도록 선택되는, 제 2 보정 매개변수; 중 하나를 계산하는,
   시스템.
10. 제 9 항에 있어서,
    중앙 처리 장치는, 제 1 보정 매개변수에 기초하여 보정된 배향으로 레이더를 캘리브레이팅하기 위한 초기 레이더 매개변수에 대한 틸트 조정 및 팬 조정, 제 2 보정 매개변수에 기초하여 보정된 배향으로 카메라를 캘리브레이팅하기 위한 초기 카메라 매개변수에 대한 틸트 조정 및 팬 조정 중 하나를 결정하는,
    시스템.
11. 제 10 항에 있어서,
    중앙 처리 장치는 초기 레이더 트랙에 다항식을 피팅하고, 이미지 프레임들이 캡처된 시간들에 대응하는 일련의 시점들에서 다항식을 평가하여, 일련의 시점들 중의 각 시점에 대응하는 레이더 위치를 결정하는,
    시스템.
12. 제 11 항에 있어서,
    중앙 처리 장치는, 일련의 시점들 중의 각 시점에서 다항식과 카메라 트랙을 비교함으로써 레이더와 카메라 중 하나에 대한 일련의 틸트 및 팬 조정을 결정하고 중앙값 틸트 및 팬 조정으로서 일련의 틸트 및 팬 조정에 대한 중앙값을 결정하며, 시스템은 중앙값 틸트 및 팬 조정을 필터링하는 로우 패스 필터링 장치를 더 포함하는,
    시스템.
13. 제 10 항에 있어서,
    중앙 처리 장치는 상태 벡터와 동적 모델로 초기 레이더 트랙을 표시하며, 상태 벡터는 물체의 경로 매개변수를 표시하고 동적 모델은 물체의 양력과 항력을 나타내는,
    시스템.
14. 방법으로서,
    다중 센서 추적 시스템에서 제 1 센서로 제 1 센서 데이터를 그리고 제 2 센서로 제 2 센서 데이터를 캡처하는 단계로서, 제 1 및 제 2 센서 데이터는 물체의 경로에 대응하는, 단계;
    제 1 센서 데이터 및 초기 제 1 센서 매개변수를 사용하여 초기 제 1 트랙을 생성하는 단계;
    제 2 센서 데이터 및 제 1 센서 데이터의 적어도 하나의 애스팩트(aspect)를 사용하여 초기 제 2 트랙을 생성하는 단계로서, 제 1 센서 데이터의 적어도 하나의 애스팩트는 제 2 센서 데이터를 3차원 공간으로 확장하는데 사용되는, 단계; 및
    계산하는 단계로서,
    초기 제 1 트랙과 초기 제 2 트랙으로부터의 물체에 대한 위치를 비교함으로써 제 1 센서 데이터에 적용될 제 1 보정 매개변수로서, 제 1 보정 매개변수는 제 1 보정된 트랙을 생성하기 위해서 제 1 센서 데이터에 적용될 때 제 1 보정된 트랙과 초기 제 2 트랙 사이의 대응 정도가 초기 제 1 트랙과 초기 제 2 트랙 사이의 대응 정도보다 더 높도록 선택되는, 제 1 보정 매개변수; 및
    초기 제 1 트랙과 초기 제 2 트랙으로부터의 물체에 대한 위치를 비교함으로써 제 2 센서 데이터에 적용될 제 2 보정 매개변수로서, 제 2 보정 매개변수는 제 2 보정된 트랙을 생성하기 위해서 제 2 센서 데이터에 적용될 때 제 2 보정된 트랙과 초기 제 1 트랙 사이의 대응 정도가 초기 제 1 트랙과 초기 제 2 트랙 사이의 대응 정도보다 더 높도록 선택되는, 제 2 보정 매개변수 중 하나를 계산하는, 단계;를 포함하는,
    방법.