CN101228555A - 用于目标的运动行为的三维监控和分析的系统 - Google Patents

Abstract

本发明涉及一种用于三维监控和分析测试对象、例如实验室动物的运动相关行为的系统。所述系统包括实际摄像机、至少一个虚拟摄像机和计算机，所述计算机连接到所述实际摄像机。所述计算机并且最好被安装软件，所述软件能够捕获与测试对象的三维运动相关行为相关联的立体图像，并且处理从对象的三维运动参数所获取的这些图像帧。

Description

用于目标的运动行为的三维监控和分析的系统

版权声明

本专利文件的一部分包含受到版权保护的材料。版权拥有者不反对由任何人传真复制所述专利文件或者专利公开，就像其在专利和商标局的专利文件或者记录中那样，但是版权拥有者如论如何都保留所有的版权权利。

技术领域

总地来说，本发明涉及目标的行为表现型的监控和分析，所述目标诸如脊椎动物(例如斑马鱼或Danio rerio(斑马鱼的学名)、金鱼或鲫鱼)、啮齿动物(例如老鼠)和昆虫(例如果蝇)。更具体而言，本发明的一个方面涉及在实时和在线模式下或者离线模式下，对于单独的动物或者一组(群)动物，在特定的行为范例实验下的实验室动物的三维运动相关行为的自动监控和分析，所述行为诸如运动行为、动作行为、家笼行为、进攻、反掠夺、群聚偏好和光偏好范例。实验室动物可以是在敲入、敲除或者转基因操作后在遗传上改变的动物，或者是在被暴露到药物、化学品或者特定的环境后的实验动物。

背景技术

诸如野生型动物、遗传上改变(转基因、敲入或者敲除)的动物、药物处理的动物和在化学突变形成操作后的动物的实验室动物已经在各种生物、临床、生物医学、环境和军事研究领域(包括(仅仅说出几个)染色体组的研究、遗传学功能无序、表型的药物筛选、毒理学、生物检测和生物防御的研究)中被广泛地用作人模型。这是因为下述事实：人和动物共享大量的遗传和神经解剖学的同源，其在不同的物种之间被广泛地保留。动物模型的行为研究特别有益于用于下述目的的后染色体组的研究领域：用于识别已知的基因类型，量化由各种神经无序引发的行为响应，并且披露药物候选者的毒性和效用。

在运动功能中的缺陷可能被遗传突变或者被化学化合物的效果引起，运动相关的动物行为研究有益于明白不同的基因型对于各种运动相关的功能疾病(诸如杭廷顿氏舞蹈病和帕金森氏病)的影响以及药物或者任何化学化合物对于人类的影响。用于这些目的的典型动物模型包括啮齿动物(诸如老鼠)、脊椎动物(诸如斑马鱼和金鱼)和昆虫(诸如果蝇)。已经对于这些模型设计了多种标准化的动物行为测试。例如，啮齿动物的行为测试包括露地、家笼、水迷宫和社会行为范例，而用于脊椎动物的行为测试包括游动运动行为、反掠夺行为和群聚偏好范例。已经对于这些测试定义了用于描述表型的行为的关键参数。例如，可以通过行程距离、游动速度、转动角度、方向改变的平均速度(RCDI)、净位移对总位移比率(NGDR)、体波形状和尾部击打幅度和频率等来分类和分析斑马鱼的游动运动行为。

在各种物种的实验室动物的所有的标准行为测试中，运动信息和自发的行为信息对于表型筛选很重要。可以从露地(用于运动行为测试)和家笼范例获得这样的信息。

已经在历史上通过人的观察和/或依赖于预先记录的录像带的离线手册而实现实验室动物的运动模式的监控，这不可避免地导致不精确、不足和主观的数据和观察结果。而且，人的观察方法具有很大的缺陷，诸如缺少量化数据、大的观察变化、劳动密集、高成本和沿着人眼的深度方向丢失信息。近来，研究者已经开发了各种计算机化的装置和方法，用于自动地监控动物的运动行为，包括光束笼、压力活动板和与离线视频序列分析相关联的二维视频记录(仅仅列出几个)。例如参见S.Kato，et al，A computer image processing system forquantification of zebrafish behavior，Journal of Neuroscience Methods，134(2004)，1-7；以及J.Chraskova，et al.An automatic 3-D trackingsystem with a PC and a single TV camera，Journal of NeuroscienceMethods，88(1999)，195-200。在这些方法中，所述视频记录方法相对于其他方法具有独特的优点，诸如非接触设置、高采样频率、高空间分辨率、长监控时段、跟踪身体的特定部分的运动的能力和在跟踪不同的物种的运动中的通用性。因此，所述二维视频记录和分析方法更广地应用在动物行为监控和分析的领域中。

但是，仍然存在与现有的二维视频监控和分析系统相关联的较大缺点。例如，现有的视频监控系统通常仅仅通过使用单个摄像机来收集用于描述动物平面运动的那些运动学参数，即如果摄像机从运动区域上部观看，则为水平面。现有的二维视频系统的摄像机一般拍摄动物容器的单个视角，因此丢失了沿着其他空间轴的信息，诸如与由摄像机的图像平面限定的平面垂直的摄像机轴。因此，现有的二维视频系统(例如由S.Kato，Journal of Neuroscience Methods，134(2004)，1-7描述的系统)一般不能检测所测试的动物的上下运动，例如老鼠的后部运动和斑马鱼的上下游动，因为所述摄像机通常从鼠笼或者鱼箱的上部拍摄。另外，现有的视频跟踪系统在监控位于同一容器中的多个移动的动物上具有有限的能力，并且如果被跟踪的动物被其他动物阻挡，或者如果动物身体的一部分(可能是所关心的)被动物身体本身阻挡，则现有的视频跟踪系统丢失与特定动物相关联的运动信息。例如，如果摄像机从场地上部拍摄，则二维视频跟踪系统可能不能接触到老鼠的路线。另外，现有的视频监控系统一般不校正物理缺陷或者环境改变，例如它们不处理当监控鱼游动时应当被校正的、与水折射或者反射相关联的测量误差。

一般，在过去几年中，对于自动表型行为监控系统的需求增加，其可以用于实验室动物的各种行为测试。已经按照这些需要开发的自动系统的示例包括光束笼、压力板活动测量计和模拟/数字视频监控系统。例如参见如上所述的文献。这些自动监控系统的应用已经成功地解决了与传统的人类观察方法相关联的大多数主观问题，诸如低精度、劳动密集和结果数据的误差。在这些系统和方法中，由于摄像机的高空间分辨率及其对于各种动物物种和环境的熟悉，作为运动传感器的摄像机的使用已经提供了大多数强大的监控能力。但是，许多现有的视频系统在本质上是二维的，并且仅仅可以沿着两个平移轴和一个旋转轴(即限定平面运动的三个自由度(DOF))监控运动信息。因此，当使用这些传统的二维视频跟踪系统时，所收集的动物运动参数的时间历史是不完整的。因此，需要能够真实地监控在三维空间中的实验室动物的运动相关行为的更高级的视频系统。

实时的三维系统已经得到描述，其中，使用两个或者多个摄像机来捕获图像。另外，三维系统已经被描述为由一个摄像机和两个或者多个镜表面的组合构成，导致非传统的立体象对。参见Gluckman和Nayar，A Real-Time Catadioptric Stereo System Using Planar Mirror，IUW，1998；Lin，J.Yeh，M.Ouhyoung，Extracting 3-D facialanimation parameter from multiview video clips，IEEE CGA，22(6)，2002，72-80；and J.Chraskova，et al.An automatic 3-D trackingsystem with a PC and a single TV camera，Journal of NeuroseienceMethods，88(1999)，195-200。由Nayar，Lin和Chraskova描述的系统涉及单个立体图像的捕获。但是，在它们的系统中，未充分地处理动物运动的三维视频跟踪的系统实现方式，诸如校准系统、处理由多个媒体引发的测量误差和系统噪声、强壮地跟踪单个或者多个动物的运动而没有混淆、同时跟踪多个动物而不用附加可视的可识别的标签。例如，虽然在Chraskova描述的三维动物跟踪系统中使用了反射镜，但是所述反射镜仅仅被设置在大致的方向和位置，而没有针对其精确的几何参数进一步被校准。在用于跟踪鱼的游动行为的它们的系统实现方式中，未校正监控误差，诸如水折射引起的立体几何形状的失真。而且，在由Chraskova描述的系统中，需要被被跟踪的每个动物携带发光二极管(LED)标记，同时需要在同时监控多个动物的应用中在交替的时间范围(时间共享的时间段)中激活多个LED标记。这些要求大大地提高了在所述行为实验的实现方式上的技术挑战和在行为监控结果上的不确定性。

因此，需要改善的系统和方法，用于三维监控和分析一个或多个测试动物的运动行为。

发明内容

本发明涉及一种用于三维监控和分析测试对象的运动相关行为的系统。所述系统包括实际摄像机、至少一个虚拟摄像机和计算机。所述计算机最好连接到所述实际摄像机，并且被安装软件包，所述软件包能够捕获与测试对象的三维运动相关行为相关联的立体图像，并且处理这些所获取的图像帧以获得所关心的测试对象的三维运动参数。本发明的系统包括硬件和软件组件，所述硬件组件最好包括硬件设置或者配置、基于硬件的噪声消除组件、自动校准装置组件和实验室动物容器组件。所述软件组件最好包括基于软件的噪声消除组件、基本校准组件和扩展的校准组件、线性核线结构导出组件、非线性核线结构导出组件、图像分段组件、图像对应性检测组件、三维运动跟踪组件、基于软件的目标识别和标记组件、三维重建组件和数据后处理组件。

在一个特别优选的实施例中，所述实际摄像机是数字摄像机，并且所述虚拟摄像机是在平面反射镜中的所述实际摄像机的反射。因此，所述系统是反折射的立体计算机视觉系统。

附图说明

图1是本发明的一种示例的三维动物行为监控系统的示意图，其中，将鱼的游动行为的监控作为示例。

图2是本发明的三维动物行为监控系统的一个示例实施例的示意图，所述系统可以被应用来监控老鼠的运动行为、家笼行为和路线。

图3示出了用于本发明的立体系统的校准的、本发明的示例性的基于硬件的校准装置组件，校准模式具有多个彩色端来作为可视指示器。

图4示出了具有采用高强度发光二极管(LED)形式的多个可视指示器的自动校准模式的图像，所述图像位于与实际摄像机相关联的视域内。

图5示出了所获取的空鱼箱的立体图像。三个区域对应于实际和虚拟摄像机的视域，并且被显示在有界框内。

图6图解了从可视指示器组的对应图像和所获得的镜面法线计算的镜子位置的计算方法。

图7示出了由在图1中所示的实际摄像机0和两个虚拟摄像机1和2形成的本发明的核线结构(epipolar structure)的示例，其中e_ij是由摄象机i和j形成的核点，M_t表示视图t中的可见指示器的对应图象。

图8图解了通过使用射线跟踪方法的正向和反向折射处理。当监控水生动物时，这个处理被应用到扩展的系统校准、对应性检测和三维重建。

图9示出了用于监控水生动物的三维游动轨迹的实时和在线处理的流程图。

图10示出了图像帧，其中，通过应用本发明的对应软件组件，测试鱼被识别、标记和跟踪。左上：原始帧；右上：被处理的帧，具有被分配到被测试的鱼的标签；下部：测试鱼的重建的三维运动轨迹。

图11示出了图像帧，其中，通过本发明的对应软件组件来识别、标记和跟踪测试老鼠的两个特征点。左上：原始帧；右上：被处理的帧，具有被分配到测试老鼠上的所述特征点的标签；下部：测试老鼠上的特征点的重建的三维运动轨迹。

图12示出了在酒癖测试中的三条金鱼的重建的三维游动轨迹的示例。所述监控时间是5分钟，其中，(A)控制组，不添加酒精；(B)测试组，具有0.25％的酒精/水体积浓度；(C)测试组，具有0.5％的酒精/水体积浓度；(D)测试组，具有1.0％的酒精/水体积浓度；(E)测试组，具有1.5％的酒精/水体积浓度。

图13示出了在酒癖测试中的三条金鱼的重建的三维游动轨迹的另一个示例。所述监控时间是5分钟，其中，(A)控制组，不添加酒精；(B)测试组，具有0.25％的酒精/水体积浓度；(C)测试组，具有0.5％的酒精/水体积浓度；(D)测试组，具有1.0％的酒精/水体积浓度；(E)是测试组，具有1.5％的酒精/水体积浓度。

图14示出了在酒癖测试中的一条斑马鱼的重建的三维游动轨迹的多个示例。所述监控时间是15分钟，其中，(A)控制，不向水中添加酒精；(B)测试斑马鱼，具有0.25％的酒精/水体积浓度；(C)测试斑马鱼，具有0.5％的酒精/水体积浓度。

图15示出了在腹部酒精注入后老鼠头的重建的三维运动轨迹的示例。监控时间是10分钟。(A)和(D)是不注入酒精的控制老鼠；(B)和(E)是在注入酒精后的测试老鼠，身体重量-归一化的酒精浓度是0.2g/kg；并且(C)和(F)是在注入酒精后的测试老鼠，身体重量-归一化的酒精浓度是2.0g/kg。

图16图解了在腹部咖啡因注入后老鼠头的重建的三维运动轨迹的示例。监控时间是10分钟。(1.A)和(2.A)是不注入咖啡因的控制老鼠；(1.B)和(2.B)是在注入咖啡因后的测试老鼠，身体重量-归一化的咖啡因浓度是6.25g/kg；(1.C)和(2.C)是在注入咖啡因后的测试老鼠，身体重量-归一化的咖啡因浓度是12.5g/kg；(1.D)和(2.D)是在注入咖啡因后的控制老鼠，身体重量-归一化的咖啡因浓度是25g/kg；(1.E)和(2.E)是在注入咖啡因后的测试老鼠，身体重量-归一化的咖啡因浓度是100g/kg。

图17图解了在酒癖测试中的金鱼的游动速度和速率的采样时间序列。(A)示出了在三维空间中的游动速度；(B)示出了在X方向上的游动速率(在图11中示出X方向)；(C)示出了在Y方向上的游动速率(在图11中示出了Y方向)；(D)示出了在Z方向上的游动速率(在图11中示出了Z方向)；(1)控制鱼；(2)测试鱼，酒精/水体积浓度0.25％；(3)测试鱼，酒精/水体积浓度0.5％；(4)测试鱼，酒精/水体积浓度1.0％；(5)测试鱼，酒精/水体积浓度1.5％。

图18图解了在酒癖测试中的金鱼的转动速度和速率的采样时间序列。(A)示出了在三维空间中的转动速度；(B)示出了围绕X轴的转动速率(在图11中示出X轴)；(C)示出了围绕Y轴的转动速率(在图11中示出了Y轴)；(D)示出了围绕Z轴的转动速度(在图11中示出了Z轴)；(1)控制鱼；(2)测试鱼，酒精/水体积浓度0.25％；(3)测试鱼，酒精/水体积浓度0.5％；(4)测试鱼，酒精/水体积浓度1.0％；(5)测试鱼，酒精/水体积浓度1.5％。

图19图解了在酒癖测试中的距金鱼的轨迹中心的距离和位移的采样时间序列。(A)示出了在三维空间中与轨迹中心的距离；(B)在X方向上从轨迹中心的位移(在图11中示出X方向)；(C)示出了在Y方向上的从轨迹中心的位移(在图11中示出了Y方向)；(D)示出了在Z方向上从轨迹中心的位移(在图11中示出了Z方向)；(1)控制鱼；(2)测试鱼，酒精/水体积浓度0.25％；(3)测试鱼，酒精/水体积浓度0.5％；(4)测试鱼，酒精/水体积浓度1.0％；(5)测试鱼，酒精/水体积浓度1.5％。

图20图解了在酒癖测试中的金鱼的行为响应曲线的采样。(A)示出了与轨迹中心的平均距离对酒精浓度的点估计、置信区间和响应曲线；(B)示出了平均三维线性速度对酒精浓度的点估计、置信区间和响应曲线；(C)示出了平均三维角速度对酒精浓度的点估计、置信区间和响应曲线。

图21示出了老鼠头的上下运动速度的组平均值和标准偏差，其是从在示例2中的实验(老鼠的酒精引发的行为改变)获得的。

图22示出了与老鼠头的轨迹中心的三维距离(DFC)的组平均值和标准偏差，其是从在示例2中的实验(老鼠的酒精引发的行为改变)获得的。

图23示出了当使用不同剂量的酒精溶液注入老鼠时老鼠头的高度的按照分组的分布，其是从在示例2中的实验(老鼠的酒精引发的行为改变)获得的。

图24示出了酒精注入对于老鼠的后部行为的影响，其是从在示例2中的实验(老鼠的酒精引发的行为改变)获得的。

图25示出了老鼠呆在动物容器的后半部分的时间百分比的组平均值和标准偏差。其是从在示例2中的实验(老鼠的酒精引发的行为改变)获得的。

图26示出了老鼠呆在动物容器的角落的时间百分比的组平均值和标准偏差。其是从在示例2中的实验(老鼠的酒精引发的行为改变)获得的。

图27是用于啮齿动物夜间行动的在线和实时的监控处理的、本发明的示例图形用户界面(GUI)。背光被用作环境照明源，而在啮齿动物耳部上的特征点被以荧光染料涂敷。

图28是本发明的三维行为监控系统的示例硬件组件，其中，从框架去除外盖以便显示内部硬件部分的布置。

图29是可以从由二维和三维视频系统监控的运动轨迹提取的示例基本运动学属性的表，其中，d、v、a分别表示线性位移、速率和加速度，而ф、ω、α分别表示角位移、速率和加速度。在二维系统中，仅仅可以在具有设置的摄像机轴X的摄像机图像平面上自由地变换坐标系，而在三维系统中没有坐标变换的限制。

图30是在时域和频域中的示例运动参数，它们用于行为端点的进一步的统计分析。这些序列是通过数据后处理组件从重建的三维运动轨迹自动得出的。在这个表中，{X，Y，Z}表示在三维空间中的任何笛卡儿坐标，可以按照不同的需要来将其附加或者变换。

图31是示例1的分组的划分的表(对于金鱼的酒癖测试)，其中，监控和分析通过向水中加入酒精而引入的金鱼的三维游动的改变。

图32是示出在示例1的对于金鱼的酒癖测试中与中心的平均距离、三维游动速度和三维转动速度的单向方差分析(ANOVA)结果的表，“*”表示在被比较的分组之间的相关联的运动参数上的大差别。

图33是示出在示例1的对于金鱼的酒癖测试中与中心的平均距离的此后(post-hoc)平均值比较的结果的表格，“*”表示在被比较的分组之间的相关联的运动参数上的大差别。

图34是示出在示例1的对于金鱼的酒癖测试中平均三维的此后平均值比较的结果的表格，“*”表示在被比较的分组之间的相关联的运动参数上的大差别。

图35是示出来自示例2(老鼠的酒精引发的行为改变)的老鼠头的上下速度的按照组的平均值比较的结果的表格，“*”表示在两个被比较的分组之间的大差别。

图36是来自示例2(老鼠的酒精引发的行为改变)的距老鼠头的轨迹中心的三维距离的按照组的平均值比较的结果的表，“*”表示在两个被比较的分组之间的大差别。

图37是来自示例2(老鼠的酒精引发的行为改变)的在监控过程期间后部的时间百分比的按照组的平均值比较的结果的表，“*”表示在两个被比较的分组之间的大差别。

具体实施方式

本发明的系统和方法可以自动地监控在三维空间中的一个或多个所关心的目标的运动(在此所述的“目标”是任何所关心的测试对象，例如所关心的实验室动物或者在所关心的实验室动物的身体上的特征点)，并且提供在6 DOF中的关键运动参数的对应的量化分析。通过使用本发明的立体监控系统，在包含至少6个DOF的扩展的三维空间中而不是在传统的二维视频跟踪系统的仅仅具有三个DOF的二维空间中跟踪和分析目标运动。在一个优选实施例中，本发明的系统包括实际摄像机和至少一个虚拟摄像机。可以在任何两个摄像机之间形成立体象对，并且所述系统可以包括一个或多个立体象对。实际摄像机包括但是不限于数字摄像机或者具有帧抓取器数字化转换器的模拟摄像机。虚拟摄像机包括但是不限于在反射平面镜中的实际摄像机的反射和同步的摄像机，所述同步的摄像机是真实的摄像机，其通过软件或者定制的硬件而与所述实际摄像机同步。在一个优选实施例中，通过将实际摄像机反射到平面镜子中来形成所述虚拟摄像机。平面镜子的使用消除了同步的需要，并且提供了低系统成本的益处。另外，由于平面镜的反射属性，可以通过使用平面镜来用于虚拟摄像机来节省空间。当通过向镜子中反射实际摄像机而形成系统的虚拟摄像机时，系统是反折射的立体系统。

在使用真实摄像机来作为虚拟摄像机的情况下，需要另外的手段来同步所述实际摄像机和虚拟摄像机。这样的同步用于保证形成立体象对的多个摄像机同时获取相同目标的图像。所述摄像机可以对于每个帧输出多于一个图像，在这种情况下，更多的像素可以有效地贡献于目标的图像，并且可以更清楚地观看所述目标。计算时间和存储器成本可能提高，因为多个图像需要被处理以便重建目标的三维位置。

在一个实施例中，本发明的系统可以包括多个摄像机(包括多个真实摄像机和/或多个虚拟摄像机)，其可以形成被监控的目标的两个或者更多的线性独立的视图(即每个包含在另一个中可能不存在的信息)。优选的是，所述摄像机被分布在空间中，以覆盖多个动物的三维行为。

在所述优选实施例的实现方式中，通过向镜子中反射实际摄像机而获得虚拟摄像机。在这个实施例中，实际摄像机的所有的外在参数被镜面反射为对应的虚拟摄像机的外在参数，而对应的虚拟摄像机的内在参数保持与实际的相同。反折射的立体摄像机的使用一般等同于通过单个真实摄像机或者多个真实摄像机来同时捕获目标的图像和镜面反射的图像。但是，前一种方法被实现为有效的立体系统更系统，并且更容易被分解用于模块化结构。

实际摄像机和虚拟摄像机被置于封闭空间中，并且被配置来在线性独立的方向上盯住所关心的目标。特殊设计的硬件组件被用于保证在监控过程期间通过所述摄像机来获取一致的图像帧，并且具有最小的噪声。这样的硬件组件包括硬件部分、基于硬件的噪声消除组件、自动校准装置部件和实验室动物容器部件的几何配置，如下进一步所述。

实际摄像机最好通过嵌入的图像获取卡而连接到计算机(例如个人计算机(PC))。在所述计算机中，内部开发的软件包被安装以用于行为监控和分析。所述软件包把最好包括基于软件的噪声消除组件、基于软件的校准组件、同步组件、核线导出组件、图像分段组件、图像对应性检测组件、三维运动跟踪组件、基于软件的目标识别和标记组件、三维重建组件和数据后处理组件，如下进一步所述。这些软件组件可以执行下述功能：自适应背景产生、图像分段、前景图像群集、前景图像对应性检测、目标识别和标记、三维运动跟踪、三维位置重建、智能目标重新标记、自动测量误差校正、基于轨迹的运动学分析和用于描述目标的三维运动的运动学参数的统计分析。在一个特别优选的实施例中，所述软件包括对应的算法，其能够分析视频图像，并且实时地和/或以离线模式从所存储的图像序列计算目标的三维运动参数。

所述系统可以被配置来使得能够在三维运动历史上监控和分析目标行为，其有益于研究基因改变的实验室动物、具有导致运动功能变差的疾病的实验动物和/或高通过量药物筛选的实验动物。另外，所述系统可以类似地被配置来适应于各种应用，诸如动物心理研究、生理研究、神经学研究和/或移动物体的三维形状重建或者三维形状形态建立。

系统的用户可以建立新的监控记录以用于后处理，其包含所关心的目标的三维轨迹。所述用户可以通过收回目标的所记录的运动历史来分析数据，以产生三维显示，或者可以以文本形式分析数据。可以从其他的运动数据独立地提取和分析与一个或多个运动参数相关联的具体特征。可以使用公知的技术来完成数据的分类和统计测试，所述公知技术诸如ANOVA(其表示方差分析)和MANOVA(其表示方差的多元分析)。

系统设置

在图1和图22中所示的一个优选实施例中，系统包括：动物容器(箱子或者笼子)，用于容纳目标，诸如实验动物，所述容器作为露地或者家笼/家箱；外部盒，作为环境噪声屏蔽物，其上固定了适当的照明源，包括环境光、紫外光和/或背景光；一个数字摄像机，用于拍摄所述箱子的一个透明面，其作为实际摄像机；以及一个或多个反射平面镜，其中可以由所述实际摄像机看到实验动物的图像。通过将所述实际摄像机反射到每个镜子中来形成虚拟摄像机。实际摄像机和虚拟摄像机关注与彼此的轴不同的方向。实际摄像机实时地捕获所关心的空间的视频图像。所述视频图像可以被存储在存储媒体中，或者可以用于计算所关心的目标的三维运动轨迹，然后被去除。实时地计算所述运动轨迹具有几个优点：首先，可以提高采样频率，因为不必将任何图像序列存储到计算机硬盘，其次，可以节省盘空间，允许长时间的监控。

如上所述，虽然将数字摄像机用作在所述优选实施例中的实际摄像机，但是，其他非限定性的实际摄像机示例包括具有帧抓取器/数字化转换器的模拟摄像机及其组合。除了至少一个实际摄像机之外，优选的系统也包括至少一个虚拟摄像机。图1图解了具有两个虚拟摄像机的一个优选实施例，所述两个虚拟摄像机由反射平面镜和实际摄像机形成。虚拟摄像机的其他示例包括同步的摄像机(其是已经被同步并且也可以被校准的真实摄像机)、联网的摄像机或者反射曲面。但是，通常，在这个实施例中的基于硬件和基于软件的校准组件需要被修改以适配其他的虚拟摄像机选择。

在实际摄像机的图像平面上投影的图像可以由多个区域构成，包括约束动物容器的区域(诸如老鼠笼或者鱼箱)和约束镜子中的动物容器的图像的区域，如图5中所示。这等同于通过实际摄像机和虚拟摄像机来获取目标的图像。根据这种配置，可以从不同的三维视点同时获取移动目标的多个图像，所述不同的三维视点形成立体对应组，其可以用于重建目标的空间位置。为了获得适当的视场(FOV)和最佳图像质量，可以将平移和旋转机构应用到所述镜子，以使得它们能够在所述空间中自由地平移和/或旋转。本发明的虚拟摄像机特别有益于在任何对的摄像机(包括实际摄像机、虚拟摄像机及其组合)之间的同步。目标本身的图像和在虚拟摄像机中形成的目标的图像被实际摄像机在单个图像平面上捕获；因此，可以省略用于捕获多个图像的多个实际摄像机。单个图像平面和单个实际摄像机的使用大大地减少了存储器要求，这使得图像处理更有效。所述系统可以包括用于提供期望的视图和数据所需要的那么多的虚拟摄像机。本发明的系统能够以经济的方式提供可以被容易地获取的目标的详细图像。

所述实际摄像机连接到计算机，所述计算机优选地包括立体计算机视觉能力(即包括用于立体图像处理和三维运动跟踪的软件包)。来自实际摄像机的图像可以以实时的方式以不变的高帧速率(例如在优选的系统中的每秒15帧(fps))被提供到计算机中。所述图像可以被存储在硬盘中以便以后参考/分析，或者在计算与所关心的目标相关联的运动轨迹和运动学参数后被立即转储。可以使用任何已知的图像处理软件，所述软件例如(但是不限于)是以下述语言所写的：VisualC++、C#.NET、在Windows XP平台上的OpenGL和在其他的软件开发平台上的其他编程语言。

图2图解了本发明的系统的另一个实施例，其中，将镜子布置在期望的位置和方向以形成所监控的动物的脚部的图像，其可以被实际摄像机201无阻挡地捕获。因此，可以实时地记录或者分析所监控的动物的路线。

系统噪声的去除

系统噪声(诸如由环境照明条件上的变化引起的不一致或者时变的背景，由在所获取的图像中的前景和背景之间的对比度不足、由当监控鱼的游动行为时的水干扰或者由在不同媒体的界面上形成的动物的反射图像引起的分段误差，等等)在监控处理中带来大的挑战，因为无关区域可能被误认为目标的前景图像。所述错误的结果可能因此导致不正确的图像对应、目标识别和标记以及在被跟踪的目标的重建的三维位置上的误差。因此，所述优选的公开的系统可以还包括基于硬件的和基于软件的噪声消除组件。所述硬件噪声消除组件允许系统避免由不一致的照明条件引起的环境噪声和由在媒体界面上的目标的反射图像的形成引起的监控噪声。所述软件噪声消除组件可以自适应地更新图像背景，以通过多个滤波器消除照明噪声和滤除错误地分段的目标图像，所述滤波器包括强度滤波器、彩色空间滤波器和像素大小滤波器。所述软件噪声消除组件还包括由核线几何形状施加的空间一致性限制和由三维卡尔曼滤波器施加的时间一致性限制。如果对应于可能目标的被分段的图像不同时满足两种限制，则它们被作为测量噪声被消除。

作为用于硬件噪声消除的组件，摄像机和动物容器被布置在闭合的空间(在图1中所示的外部盒)中，并且与外部的环境照明条件屏蔽开。在所述外部盒中包括一致的光源，以提供测试动物的一致的照明。通过使用这种硬件配置，可以有效地消除由照明条件的改变引起的环境噪声。

在一个实施例中，所述硬件噪声消除部分也包括图像对比增强的能力。例如，基于硬件的噪声消除组件可以包括多个均匀的白光源，它们优选地被与摄像机(实际摄像机和虚拟摄像机)相对地布置，如图5中所示。因此，在照明条件中的小干扰在图像帧的一致性上变得不重要。

另外，基于硬件的噪声消除组件还包括唯一的系统设置和部件配置，用于避免在媒体界面上的目标的反射图像的形成。面向摄像机和镜子2的动物容器的两壁(参见图1和5)优选地是清晰的和透明的。它们分别作为实际摄像机和虚拟摄像机2的观察窗，并且它们的法线与这两个摄像机的轴大致重合。另一方面，动物容器的其他三个壁(与观察窗相对的两壁和在底部的壁)的内表面被表面加工为粗糙的，直到在它们之上不形成反射图像。在监控鱼的游动运动的一个实施例中，这些不清晰的窗格被图5中所示的光源照亮，以增强对比。在这个实施例中，可以获得近乎饱和的白色来作为图像中的背景。因此，前景目标被强调为黑色区域。

在一个优选实施例中，为了消除在媒体界面上的目标的反射图像，实际摄像机的轴在动物容器的一个监控窗的平面上，并且一个镜子被配置成使得对应的虚拟摄像机的轴在另一个监控窗的平面上。因此，所述系统被配置与其相关联的摄像机的图像平面平行或者与其他的摄像机垂直的观察窗，以防止在观察窗上形成目标的反射图像。可以通过人工地或者自动地调整平面镜来将此实现。为了自动调整镜子以获得虚拟摄像机的最佳配置，一种算法将所述容器的两个监控窗的投影作为输入，并且通过逐步地校正虚拟摄像机的位置直到所述两个监控窗口的投影具有上述的形式而完成所述调整。

作为软件噪声消除组件的一部分，当执行背景减除以进行目标分段时，可以自适应地更新目标所驻留的背景图像。每当噪声水平变得大于在先前的背景图像中的设置门限值时，用更新的图像取代先前的背景图像。要动态地更新的软件噪声消除组件的能力使得监控在普通的实验室照明环境中、在增强的照明条件下或者在自然的环境中更强壮和适应。

在当执行彩色空间分段以进行目标分段时的另一个优选实施例中，在所获取的帧中的像素的彩色空间属性(诸如色度、饱和度和值)被彩色空间滤波器过滤。具有在由所设置的值范围限定的彩色空间之外的彩色空间属性的像素被滤除。所述所设置的彩色值的范围对应于要监控的目标的彩色属性。

基于软件的噪声消除组件还包括像素密度滤波器和像素大小滤波器，用于消除目标的错误分段的前景图像。在应用用于目标分段的前景减除的一个优选实施例中，像素密度滤波器通过去除具有在所设置的密度范围(对应于目标图像的密度)之外的密度值的前景图像像素而工作。在通过背景减除或者彩色分段而进行目标分段后，可能目标的所分段的前景图像的像素被群集为标记。所述标记像素大小滤波器然后被应用到这些标记。具有落在目标图像的期望像素数量的所设置的大小范围之外的像素大小的标记被作为测量噪声滤除。

立体象对的校准

本发明的系统优选地包括基于硬件的校准组件和基于软件的校准组件。图3图解了一种示例的校准组件，其中，通过所有的实际摄像机和虚拟摄像机来捕获辅助校准装置302。在镜子304和305中的所述装置的图像以及被实际摄像机本身实际捕获的图像被实际摄像机301看到。在这些图像之间自动建立对应性，从该对应性可以通过立体影像校准处理来获得镜子的位置和方向、虚拟摄像机的外在参数和立体象对的核线结构。

系统校准的数据收集过程如下。将包含其中布置了校准装置的动物容器的多个视图的图像与包含其中未布置校准装置的动物容器的相同视图的图像相比较。其实现是通过强调校准装置的彩色信息然后进行HSV(色度、饱和度、值)分段(其导致具有被区别的浓度和颜色的差别图像)，或者通过仅仅强调校准装置的密度信息。被强调的像素形成几个群集，并且在具有已知的对应性的图像平面上计算这些群集的几何形心，其后将其用于求解校准方程以获得镜子的位置和方向。

存在基于硬件的校准组件(包括所述校准装置)和从其获得的模式的各种实施例。例如，可以使用具有诸如在图3中所示的彩色端的可视指示器的对象或者具有在图4中所示的特定通断次序的几个彩色LED。所述基于硬件的校准组件可以还包括计算机端口和将所述计算机端口和可视指示器连接的电缆，所述校准组件用于通过从计算机发出TTL脉冲而按照优选的顺序自动通断所述可视指示器。

优选的软件校准组件包括用于实际摄像机的内在参数校准、镜子校准、虚拟摄像机的校准和媒体界面的校准的软件，在一个优选实施例中，这些校准步骤被自动地执行。虽然已经在优选实施例中开发了用于校准的特殊软件包(其中的处理在下面被说明)，但是任何通用的校准软件可以被应用到实际摄像机的内在参数校准。可以使用本发明的基于硬件的校准组件按照标准的摄像机校准规程校准实际摄像机的内在参数。优选的是，使用多种基于软件的校准组件(其应用如下进一步所述的逐步的校准方法)来实现基本校准过程(包括镜子校准和虚拟摄像机校准)和扩展的校准过程(包括由水折射引起的立体几何形状的失真的媒体界面校准)。

首先，基于软件的校准组件能够通过区分两个或者更多的图像(在背景图像和其上具有可视指示器的任何其他图像之间)以确定在指示器的图像(由全部的摄像机拍摄)之间的对应性来提取对应于在校准装置上的可视指示器(诸如LED或者彩色端)的像素。可以例如通过自动HSV分段、通过自动密度分段或者通过手工选择来设置这样的对应性。

在一个优选实施例中，镜子的几何属性的基于软件的校准组件使用下面的校准方法来实现镜子校准。

通过四个参数[u，d]来将平面镜参数化，其中，u是归一化的三维向量，用于指示镜子平面的方向(法线)，d是从镜子平面到与实际摄像机相关联的摄像机坐标的原点或者实际摄像机的投影中心(COP)(0，0，0)^T的距离。因此，在镜子平面上的任何点p将满足：

p·u＝d    (1)

方向矢量u满足：

Tu＝0    (2)

其中

$T=\left[\begin{array}{ccc}-f(C_y^1-M_y^1)& -f(C_x^1-M_x^1)& C_x^1{M}_y^1-C_y^1{M}_x^1\\ -f(C_y^2-M_y^2)& -f(C_x^2-M_x^2)& C_x^2{M}_y^2-C_y^2{M}_x^2\\ & .& .\\ -f(C_y^{n-1}-M_y^{n-1})& -f(C_x^{n-1}-M_x^{n-1})& C_x^{n-1}{M}_y^{n-1}-C_y^{n-1}{M}_x^{n-1}\\ -f(C_y^n-M_y^n)& -f(C_x^n-M_x^n)& C_x^n{M}_y^n-C_y^n{M}_x^n\end{array}\right]$

在此，(Cⁱ，Mⁱ)分别是在实际摄像机(Cⁱ)的区域中和镜子(Mⁱ)的区域中的可视指示器的图像的对应像素形心；上标表示像素形心的图像坐标，f是实际摄像机的焦距。其后，可以经由单值分解(SVD)将法线u计算为对应于T^TT的最小特征值的特征向量(参见Lin，J.Yeh，M.Ouhyoung，Extracting 3-D facial animation parameters frommultiview video clips，IEEE CGA，22(6)，2002)。

为了计算从实际摄像机的COP镜子平面的距离d，需要在校准图案上的两个可视指示器(P^C1和P^C2)之间的已知长度L。如果在与实际摄像机相关联的图像区域中的这两个指示器的投影是C¹和C²，并且在镜子区域中的它们的对应性是M¹和M²，则如图6中所示，下面的参数方程成立：

$P^{C1}=t^{C1}{(C_x^1,C_y^1,f)}^T$

$P^{C2}=t^{C2}{(C_x^2,C_y^2,f)}^T$

$P^{M1}=t^{M1}{(M_x^1,M_y^1,f)}^T$

$P^{M2}=t^{M2}{(M_x^2,M_y^2,f)}^T$

在此，t是来自COP(0，0，0)的射线的参数表示。因为用于描述四个瞄准射线(sighting ray)的这四个参数是相关的，因此可以根据镜子的反射属性在t^C1的空间上进行二进制搜索如下。我们首先通过‖P^C1-P^C2‖＝L在t^C1的当前迭代值计算t^C2。其后，将P^C1和P^C2沿着镜子平面的法线方向u投影在与M¹和M²相关联的瞄准射线上，结果产生在图6中所示的两个投影P^M1和P^M2。在经由线交点计算t^M1和t^M2后，在两个投影P^M1和P^M2之间的距离被计算为d(P^M1，P^M2)＝‖P^M2-P^M1‖。当‖d(P^M1，P^M2)-L‖＜ε(其被单个容差门限值ε控制)时，递归过程结束。使用已知的P^C1、P^C2、P^M1和P^M2而唯一地确定从COP(0，0，0)到镜子平面的距离d。最后，在所计算的d值内获得最小二乘解，因为多个可视的指示器用于镜子校准。

一旦完成了镜子校准，则基于软件的校准组件自动得出虚拟摄像机的外在参数(诸如投影中心的位置和摄像机轴)。通过按照与虚拟摄像机相关联的镜子反射实际摄像机的对应外在参数来获得虚拟摄像机的外在参数。在一个优选实施例中，在与实际摄像机相关联的笛卡儿坐标中执行诸如反射镜像的几乎所有的几何运算。因此，已知实际摄像机的外在参数。

在一个优选实施例中，基于软件的校准组件被应用于校准立体象对的外在参数。立体象对可以包括实际摄像机和虚拟摄像机或者两个虚拟摄像机。如上所述，可以将计算机控制的可视指示器布置在动物容器中，并且通过经由计算机并行端口发出TTL脉冲信号而逐个将其接通。这引入了大量对应。因此，通过基于软件的校准组件将由实际摄像机和虚拟摄像机引入的核点计算为在相关联的两个视图中连接指示器的对应图像的线的交点。

经由优化处理来计算由两个虚拟摄像机引入的核点，以便下面的误差函数被最小化：

$E(e_0,e_1)=\underset{i}{\mathrm{\Σ}}\left|\right|((M_0^1\×e_0)\×m-(M_1^1\×e_1)\×m)\left|\right|$

在此，(e₀，e₁)是要通过迭代处理计算的核点，m是通过将所述两个虚拟摄像机的图像平面的交线投影到实际摄像机的图像平面上而形成的螺旋轴的投影，(M₀，M₁)是在同一可视指示器的虚拟摄像机0和1的区域中的对应图像，i是可视指示器的索引。上述误差函数的物理含义是：当所述误差函数趋向于0时，连接e₀和M₀的核线应当与连接e₁和在两个虚拟摄像机的螺旋轴的投影m上的M₁的核线相交(例如参见J.Gluckman，et al，A real-time catadioptricstereo system using planar mirrors，Proceedings of ImageUnderstanding Workshop，(1998))。图7示出了在图1中所示的立体系统的核线几何形状的示例，其仅仅由用于立体象对的外在参数的基于软件的校准组件校准。

如上所述的基本校准过程仅仅在当光线在单个媒体中穿行时(诸如当监控啮齿动物时在空中)得出核线几何形状中有效。在监控水生动物的运动相关行为的情况下，通过如上所述的基本校准方法而获得的核线结构可能由于在水和空气之间的界面的光折射而不足。在这种情况下，核线的一部分可能变得弯曲，并且在直核线之间的投影关系可能不再保持。为了当瞄准射线穿过不同的媒体时调整立体影像几何形状和识别相关联的图像对应，需要扩展的校准来适应光折射。通过使用包含本发明的扩展校准方法的基于软件的校准组件来校准使得光通过两个不同的媒体的新的核线结构。这种扩展的校准方法优选地如下。

在监控水生动物的行为的情况下，箱子被填充水，因此引入了摄像机瞄准射线的折射。因此，应当在两个连续的步骤中校准所述系统：(1)基本校准，其中，按照如上所述的过程来校准和得出立体象对的传统核线结构；(2)扩展校准，其中，瞄准射线可能通过的媒体界面被校准它们的位置和方向。所述扩展校准导致检测到对应于通过多个媒体的折射的瞄准射线的失真的核线曲线。在所述过程期间，在区域中的目标标记将被投影到在动物容器中的三维线段中。并且这个线段将被投影回另一个区域上来作为核线曲线。然后，在对应性检测过程期间，被核线曲线通过的目标标记被认为是满足所述核线限制的对应者。因此，如果在摄像机瞄准射线的路径中存在多个媒体，则所述核线结构不再是线性的。

在扩展校准过程中，需要校准发生折射的媒体界面的精确的位置和方向。扩展校准是基于射线跟踪方法。所述过程由两组计算(正向折射和反像折射)构成。

按照系统几何以及从基本校准得出的核线结构，可以对于界面的参数进行初始的估计。这些参数包括在箱子中的两个观察窗和水表面的法线u₁以及与摄像机的COP的距离d₁。在此，i(i小于等于3)表示这些媒体界面的索引。

假定立体象对由两个摄像机C₀和C₁构成，如图8中所示，其中，C₀是实际摄像机，C₁是通过相对于镜子1反射实际摄像机C₀而获得的虚拟摄像机。正向折射通过下述方式开始：通过将瞄准射线从COP₀射向在C₀的图像平面上的可视指示器m(所述指示器的三维位置未知)的图像M₀。瞄准射线COP₀M₀在界面(u₀，d₀)上的点S被折射。通过忽略由于其较小的尺寸而导致的所有箱壁的厚度(大约2.5毫米厚)，可以按照斯涅耳定律使用空气和水的已知折射率来计算折射射线SP(P是在折射射线上的任何三维点)。然后执行反向折射以找到在C₁的图像平面上的点P的折射投影的图像P₁，其应该是在C₁中M₀的对应图像，只要媒体界面的参数是精确的，因此P是指示器m的实际位置。设P_i1表示P在界面(u₁，d₁)上的折射点，则P₁是C₁的图像平面与射线PP_i1的折射射线的交点。因此，剩余的任务是找到在(u₁，d₁)上的折射点P_i1。通过在界面平面(u₁，d₁)和由P、P在(u₁，d₁)上的投影(表示为V)和COP₁确定的平面之间的交线上执行二进制搜索来找到折射点P_i1。在这个步骤中，在COP₁和折射射线PP_i1之间的距离用于引导搜索，直到PP_i1的折射射线精确地通过COP₁。

通过将校准图案置于水中，可以获得一组对应＜M₀，M₁＞_i，其中i表示第i个指示器。在每个M_0i上的正向和反向折射后，可以按照如上所述的方法来计算一组P_1i。其后，最小化下面的误差函数以同时校准两个界面平面的参数

$E(u_0,d_0,u_1,d_1)=\underset{i=1}{\overset{s}{\mathrm{\Σ}}}\left|\right|M_{1i}-P_{1i}\left|\right|$

上述的误差函数依赖于两个界面平面的所有参数。以交替的方式来执行所述优化过程，直到满足足够的收敛。在所述迭代过程中使用牛顿方法来有效地找到收敛点。

在扩展校准方法的实现中，通过相对于镜子反射实际摄像机而获得虚拟摄像机，如图8中所示。如上所述，这种实现方式等同于仅仅由实际摄像机同时观看目标本身的图像及目标的镜面反射图像。

通过背景减除和彩色空间分段而进行的目标分段

在一个实施例中，在动物运动跟踪开始之前通过校准组件来执行离线系统校准，其后是基本校准过程，然后作为选用是如上所述的扩展校准过程。在离线校准完成后，所述系统可以被转换到在线跟踪模式，其中，获得视频图像，并且将其以不变的帧速率提供到计算机中。

在本发明的所述优选实施例中，通过基于软件的目标分段组件来执行目标分段。所述目标分段组件通过两种方法(即背景减除和彩色空间分段)来将与来自背景图像的目标相关联的前景图像分离。在所述优选实施例中，前者用于跟踪水生动物，而后者被用于来跟踪啮齿动物上的特征点。但是，这两种方法可以独立地或者组合地被应用到跟踪所有类型的动物。

在跟踪水生动物的三维运动中，本发明的系统优选地在跟踪处理开始之前产生背景图像。可以通过下述方式来完成所述背景产生：通过获得其中没有目标的动物容器的背景图像(如图5中所示)，或者通过经由区分多个帧而消除与移动动物相关联的像素，然后平均这些帧的彩色值以获得原始的背景图像。在在线跟踪模式期间，基于软件的动态背景产生组件也可以动态地产生更新的背景图像，如果在背景中发生变化则特别期望这种方式。在这个实施例中，可以对于在当前的背景图像中的期望的可接受变化量设置门限值。当所述变化超过那个预设的门限值时，可以动态地确定新的背景图像。用于更新背景图像的标准如下：

‖I₁-I₀‖≥(1+τ)‖I₁-I₀‖

其中，I_t和I₁分别是在时间t获取的帧和当跟踪过程开始时的第一帧(或者在背景再生后获取的第一帧)；I₀是当前的背景图像，其或者在跟踪过程之前被产生，或者在跟踪过程的中间被再生；τ是容差。在一个实施例中，对于图像上的每个像素，门限值被预设为5％。因此，如果新的图像的总的变化大于来自原始图像的5％，则所述图像被认为足够不同以被重新计算。

可以通过背景减除或者彩色空间分段或者其组合来实现目标分段。通过背景减除的目标分段通过下述方式来工作：通过经由区分当前帧与当前的背景图像而获得前景图像，然后将在前景图像中的像素群集为目标的标记图像。在所述彩色空间分段中，通过下述方式来实现目标图像的分段：通过选择其彩色空间属性(HSV或者RGB)落在前景图像的期望的彩色空间值的设置范围内的图像像素。这些前景像素然后被群集为标记。

对于从在单个图像平面上的实际摄像机和虚拟摄像机获得的所有的图像执行目标分段。在基于软件的目标分段组件中，将下面的群集算法应用到分段的前景图像上。初始分段的前景图像由通过背景减除或者彩色分段而获得的分散像素构成。首先，将前景图像作为输入，然后，通过密度滤波器和/或彩色空间滤波器来扫描所述图像以获得满足一组门限值的像素。当找到这样的像素时，执行搜索以告知是否可以找到同一类型的任何相邻的像素。如果找到了相邻的像素，则它们被分组在一起作为一个标记。否则，丢弃基于其而执行所述搜索的像素。如果形成了标记，则通过平均在这个标记中的像素组而计算这个标记的图像属性，然后这个标记被分段为用于表示可能的目标图像的标记。这个过程继续直到找到了在前景图像上的所有可能的标记。

在所述优选实施例中，通过分段和群集而获得的所有的标记然后被标记大小滤波器测试。其大小落在所设置的大小范围之外的那些标记被作为测量噪声除去。

通过核线限制的对应性检测

在本发明的所述优选实施例中，通过得出的核线结构(通过基于软件的校准组件来校准它)来获得核线限制。在一个优选实施例中，在其中立体几何形状不失真的系统中至少存在两个核线结构。第一，在包括实际摄像机和虚拟摄像机的立体象对之间或者在实际摄像机的区域中的一个目标标记和虚拟摄像机的区域中的同一目标的另一个标记之间的核线结构；第二，在两个虚拟摄像机之间或者在两个虚拟摄像机的区域中的目标标记之间的核线结构。对于第一种核线结构，基于软件的核线导出组件能够通过如上所述的基本校准过程来计算核点e。在实际摄像机区域和在虚拟摄像机区域中设置的对应标记应当满足下面的核线限制：

(C×M)·e＝0

在此，C和M分别表示在实际摄像机和虚拟摄像机的区域中的两个标记。上述的核线限制的物理含义是连接对应的标记C和M的线应当通过核点e。对于在两个虚拟摄像机之间的第二核线结构，可以通过如上所述的基本校准处理通过核线导出组件来校准两个核点e₁和e₂。在虚拟摄像机1的区域中的对应的标记集M₁和在虚拟摄像机2的区域中的M₂满足下面的核线限制。这个核线限制的物理含义是连接M₁和e₁的线与连接M₂和e₂的线的交点位于螺旋轴m的投影上。

((M₁×e₁)×(M₂×e₂))· m＝0

在监控水生动物的行为的情况下，上述的传统核线结构在寻找对应的标记方面变得不足。因此，使用不同的方案来通过使用核线曲线来找到对应的标记。这样的核线曲线就是被折射的瞄准射线在立体象对的图像平面上的投影，它们是对应的。如在扩展校准过程中所述，射线跟踪方法用于检测这样的核线曲线如下。在给定在一个区域中的标记M₀的情况下，我们首先将其投影回三维空间中来作为瞄准射线。然后，我们获得在动物容器中的折射射线段。我们将这个折射射线划分为小线段。因此，我们具有沿着折射射线的几个端点(这些小线段的端点)。通过将这些点经由折射投影到另一个区域，我们具有在那个区域中的逐段的线性核线曲线。并且所述核线曲线将通过对应的标记M₁。

同样，在核线曲线的导出中涉及两种折射，因此可以通过曲线的核线限制(正向折射和反向折射)来检测对应的标记集。正向折射从目标标记开始，反向折射从在与这个标记相关联的折射瞄准射线上的三维点开始。在媒体界面上的折射前后的射线之间的关系可以按照斯涅耳定律被描述为下面表达式：

$\frac{\sin {\mathrm{\θ}}_0}{\sin {\mathrm{\θ}}_1}=\frac{{\mathrm{\λ}}_0}{{\mathrm{\λ}}_1}$

其中，θ₀和θ₁表示在入射和折射射线和界面法线之间的角度，λ₀和λ₁是诸如空气和水的两种媒体的折射率。正向和反向折射的过程类似于在扩张校准过程(立体象对的校准)中所述的那些。

以轻微的修改，在折射核线结构的对应的检测和导出中使用的射线跟踪方法也可以容易地被应用到目标的三维位置的重建。

目标跟踪、识别、标记

本系统的一个实施例包括基于软件的目标三维运动跟踪组件和目标识别/标记组件。

在一个优选实施例中，所述基于软件的三维运动跟踪组件包括两个类型的一致性限制：在不同的视图之间的空间一致性和在图像序列上的时间一致性。这两组限制被动态地分配自适应加权，并且在整个监控处理中被同时施加。

空间一致性的限制如下工作。当通过分段和群集而获得对应于可能的目标的标记时，识别在它们之间的对应性。通过在不同的视图中互连对应的标记的几何符合对应性集(GCCS)的产生而实现这样的对应性的检测。对于每个帧，当未发生折射时通过传统的核线几何形状来引导GCCS的导出，或者当瞄准射线通过多于一个媒体时通过非线性的核线曲线限制来引导GCCS的导出。通过在每个帧的基础上检测这样的GCCS来强制空间一致性，这是与时间无关的。

时间一致性的限制如下工作。线性三维卡尔曼滤波器被设计来从在前一个帧中的这些目标的重建的位置和速率预测目标的当前的三维位置。在所述三维卡尔曼预测器中，对于第i个目标的三维位置p_i(t)和速率v_i(t)，保持在帧序列上更新状态向量x_i(t)＝{p_xi(t)  p_yi(t)  p_zi(t)  v_xi(t)  v_yi(t)  v_zi(t)}^T。对于帧t+1，根据在帧t中的状态向量x_i(t)进行系统状态

的预测：

${\hat{x}}_t(t+1)={\mathrm{\Φx}}_i\left(t\right)$

在此，Ф是恒定状态转换矩阵。在我们的系统中，使用三维线性系统来预测新的状态，如在下面的方程中所述。

p_i(t+1)＝p_i(t)+v_i(t)

v_i(t+1)＝v_i(t)

所述状态转换矩阵如下。

$\mathrm{\Φ}=\left[\begin{array}{cccccc}1& 0& 0& 1& 0& 0\\ 0& 1& 0& 0& 1& 0\\ 0& 0& 1& 0& 0& 1\\ 0& 0& 0& 1& 0& 0\\ 0& 0& 0& 0& 1& 0\\ 0& 0& 0& 0& 0& 1\end{array}\right]$

与在帧t+1的目标的三维位置的估计一起，也可以从卡尔曼预测器获得预测状态协方差矩阵P₁(t+1|t)。因此，通过反向折射过程来计算所估计的三维位置的二维投影，而矩阵P₁(t+1|t)的最大特征值也被计算和投影为围绕目标的所有的投影二维标记的搜索区域的半径。

在一个特定的实施例中，目标识别/标记组件是能量函数，其优选地按照最小能量的原理来工作。所述能量函数以被跟踪的目标的分段的前景标记来作为输入，在一个特别优选的实施例中，所述能量函数将两个主要参数组合在一起来用于目标识别。这两个参数是通过三维运动跟踪组件获得的，包括：空间一致性，其包括由多个核线限制检测的GCCS；时间一致性，其包括具有继承的目标标签的多个三维线性卡尔曼滤波器预测。为了识别目标和逐步向它们分配适当的标签，通过所有可允许的置换来应用迭代，以找到所有的标记对的所有能量值。具有最小能量的对被当作是从前一个帧继承目标标签的正确的运动对。

作为能量参数之一，空间一致性使用通过核线几何导出组件获得的核线限制。当存在单个媒体时，这些限制按照通过基本校准获得的传统的线性核线几何形状，或者当发生光折射时，这些限制可以按照通过扩展校准获得的调整的非线性的核线结构。在可能的对应标记之间测试空间一致性值以得到GCCS，例如，如果标记不位于核线直线或者曲线之上，则所述值是0，这表示所述标记未满足空间限制。如果所述标记良好地位于所述核线上，则所述值是1，这表示所述标记满足空间限制。基于在标记之间的对齐，这样的空间一致性值在0-1之间。

作为另一个能量参数，时间一致性使用所有的三维线性卡尔曼预测器来用于所有的被跟踪的目标。所述目标是通过目标识别组件被识别的，其基于通过将空间一致性和时间一致性组合在一起的能量函数的最小化。主要是通过最小化所示的能量函数而获得这样的整体跟踪一致性，如下面所述。假定以N来表示所述一组卡尔曼滤波器预测(具有继承的标签)，并且以M来表示所检测的GCCS，并且分别具有n个标签和m组的对应(由于可能的噪声，m大于等于n)；则所述能量函数是：

$E(N,M)=\underset{i,j=1}{\overset{n,m}{\mathrm{\Σ}}}\underset{v=1}{\overset{R}{\mathrm{\Σ}}}(M_{\mathrm{vj}}-N_{\mathrm{vi}})$

在此，i、j和v分别表示第i个标签、GCCS的第j个对应和第v个视图。为了找到能量函数的最小值，字面上需要n×m个迭代，这具有高的计算成本。但是，可以通过将迭代限定到在预测的搜索区域中的GCCS来大幅度地裁剪搜索树。在标签被正确地分配到GCCS后，通过卡尔曼校正器来更新三维卡尔曼滤波器的状态向量和状态协方差矩阵。

但是，应当注意，不需要物理目标标记。本发明的系统能够使用基于空间一致性和时间一致性的算法智能地识别多个目标的三维运动。在此使用的“空间一致性”表示目标标记满足立体系统的核线限制的倾向。在此使用的“时间一致性”表示与目标相关联的图像在短时间中接近同一目标的前一个图像的倾向。本发明的系统不要求动物被加标签或者被注入跟踪器件，除非特殊点或者特征点是所感兴趣的，它们是动物身体上的小部分。

在视觉冲突后的对象重新识别

本发明可以还包括基于软件的重新标记组件，用于目标的重新识别。当在特定的时间间隔期间两个或者更多的动物或者特征点足够接近时，它们的投影图像可能在所有的视图中合并在一起，在这种情况下，作为时间跟踪器的卡尔曼滤波器的强壮性变差，这通常导致当这些动物或者特征点的路径在所述时间间隔后分开时标记模糊。这是因为在分开时每个目标可继承多于一个标签。当两个或者多个移动的目标(诸如斑马鱼)保持接近或者具有物理接触以至于它们的标签重叠，即它们的当前三维位置看起来相同时，所述重新标记组件是有益的。本发明的重新标记组件能够在近乎或者实际的冲突后重新分配两个或者更多的目标的标签。

在所述优选实施例中，所述重新标记组件包括施加用于时间一致性的辅助限制的几种方法。首先，沿着被监控的所有目标的帧序列来产生和保持动态模板。对于任何帧，这样的模板包含在图像平面上被标记的目标标记的所有的对应像素。这些模板也被二维卡尔曼滤波器引导，并且用于每当目标的图像合并时区分不同的目标。而且，目标的身体轮廓的扩展的体积三维路径被沿着时间轴连续地查看以保证它们在合并和分开后不彼此相交。图10和11示出了所获取的图像帧、所处理的图像和在线重建的三维轨迹，其中，在施加空间和时间限制后，金鱼和老鼠的标记被识别和标记。

通过三角测量的三维重建

所述系统也可以包括基于软件的三维重建组件，用于从其标记重建目标的三维位置，即根据从所有的摄像机获得的图像确定目标的实际三维位置。三角测量方法用于所述三维重建组件中。用于获得目标的三维位置而没有光折射的三角测量处理被执行，如下所述。

在目标的标记图像中建立正确的对应后，所述三角测量组件可以使用下面的方程来计算三维位置：

(P^C+P^M)·u＝2d

(P^C-P^M)×u＝0

在此，P^C和P^M是目标的三维位置和同一目标的镜面反射位置(参见图6)，u是镜子的法线，d是从实际摄像机的COP到镜子平面的距离。可以以在基本校准中描述的参数形式来表示P^C和P^M，并且具有在实际摄像机和虚拟摄像机的区域中的标记的已知对应(参见图6)。如果在实际摄像机的区域中没有目标的可获得标记(这可能是由于阻挡而引起)，则可以使用下面的方程对于在两个镜子中的P^M的解来消除P^C。其也可以用于当获得所述镜面反射位置时恢复目标的实际三维位置。

P^C＝P^M-2(P^M·u-d)u

在监控水生动物的运动行为的情况下，按照媒体界面的校准位置和方向调整所述三角测量方法，以适应于瞄准射线的折射。

图12和13示出了在酒精响应测试中三条金鱼的重建的三维运动轨迹。图14示出了在酒精响应测试中单条斑马鱼的重建的三维运动轨迹。图15示出了在酒癖响应测试中老鼠的头部(特征点被设置为两耳的中点)的重建的三维运动轨迹。图16示出了在咖啡因癖响应测试中老鼠的头部的重建的三维运动轨迹。

数据后处理

本发明的系统还包括数据后处理组件。所述数据后处理组件能够将目标的三维轨迹平滑和去噪声，并且从目标的重建的三维轨迹自动地提取所关心的运动变量。所述数据后处理组件还能够对于所提取的运动变量执行描述和推论性的统计分析。图17-19示出了在金鱼的酒癖测试中从目标的采样的三维运动轨迹所提取的运动速度和速率、转动速度和速率和与它们的轨迹中心的距离和位移。图20示出了在金鱼酒癖测试中的采样运动变量的统计分析的结果。

图9图解了用于跟踪实验室动物的三维运动的特别优选的系统和方法。

在线和离线监控处理

在一个优选实施例中，所述系统可以工作在三种模式中：离线校准模式、在线或者离线监控模式和在线/离线后处理模式。

在所述优选实施例中，在在线模式中执行监控处理。在所述在线模式中，在特定的时刻获取图像帧，然后被处理以获得目标的当前三维位置。这些三维位置被加到当前的轨迹，所述当前轨迹被动态地平滑、去除噪声和处理以获得所关心的运动变量。在离线监控模式中，监控软件可以被分离为几个模块，包括视频捕获模块、视频处理模块和数据分析模块。在所述视频捕获模块中，监控处理的视频序列被获取和以压缩的图像格式或者原始图像格式存储在特定媒体中，诸如内部或者外部硬盘和录像带。时间标记序列也被存储，其包含与视频序列相关联的时间信息。可以在以后的任何时间检索所述视频序列进行观察或者图像处理。所述视频处理模块将所记录的视频序列作为输入，并且执行所有的图像处理任务以获得原始的重建的三维轨迹。所述数据分析模块以所述重建的三维轨迹或者所记录的时间标记序列作为输入，并且执行数据处理任务，诸如轨迹平滑、轨迹去除噪声、运动学分析和统计分析。

图形用户界面

在这个实施例中，用于实时行为监控的图形用户界面(GUI)由三个窗口构成：由实际摄像机捕获的实时视频；前景标记，其具有通过软件分段和识别组件获得的标记索引；以及目标的被恢复的三维游动轨迹，如图10和11中所示。可以使用本发明的三维运动重建组件来在这个窗口上执行交互调查。在一个优选实施例中，三维运动重建组件按照摄像机坐标来执行平移、旋转和缩放。图21示出了用于啮齿动物夜间行为的在线监控处理的GUI的一个示例，其中，将背景光用作环境照明源，同时以荧光染料标记在啮齿动物身体上的特征点。

在一个特别优选的实施例中，本发明的软件组件是在具有OpenGL图形支持的windows XP平台内编程的Visual C#.NET或者Visual C++。其他平台的示例包括但是不限于MAC、UNIX、LINUX等。

示例

下面的示例给出了本发明的三维行为监控系统的示例实施例，用于监控和分析实验室动物的运动和运动相关联的行为，所述示例仅仅用于说明，在此的任何内容都不应当被看作是对于本发明的整体范围的任何限定。

示例1：监控通过在水中增加酒精而引起的在金鱼(鲫鱼)的三维游动运动中的改变。

本发明的系统和方法监控、量化和分析对于各种化合物的鱼的运动响应上的改变。例如，这样的实验之一是金鱼的酒癖响应。在这个示例行为监控实验中，具有相同的生物条件的平均身体长度35～40毫米的金鱼(鲫鱼)被筛选和饲养以获得酒精响应。金鱼然后被返回为五个组，如表3中所示。要测试的鱼被保持在相同和自然的环境中几天。在所述监控处理之前，它们被取出和在具有指定的酒精浓度值的箱子中习惯一个小时。每个监控处理持续15分钟。为了排除由新环境引起的任何过渡响应，对于最后5分钟内的鱼轨迹分析行为端点。为了演示本发明的监控系统同时跟踪多条鱼的能力，具有相同的处理的最多达三条鱼被传送到测试箱子中来进行监控运行。其他参数(例如时间、温度等)被小心地控制在整个实验过程中的任何变化。图12和13图解了来自所进行的实验的重建三维轨迹的一些示例，对于每组有一个随机选择的监控运行。

一旦实验完成，则由所述系统自动执行运动学分析。根据所监控的鱼的三维运动轨迹，对于多种多元时间系列(MTS)执行这样的分析，以进一步在时域和频域中提取特征。图17-19示出了对于从实验随机选择的一些情况的这些得出的时间系列(游动速度/速率、转动速度/速率和与轨迹中心的距离/位移，鱼的轨迹中心C_T被计算为 $C_T=\frac{1}{T}{\∫}_0^{T}M\left(t\right)\mathrm{dt},$ 其中，M(t)是作为时间的函数的鱼的三维位置，T是监控处理的时间间隔)的示例。图20示出了与轨迹中心的三维距离(DFC)、三维线性速度和三维角速度的平均值分别相对于酒精/水浓度的点估计和95％的置信区间。在图20中也示出了最小乘方拟合响应曲线，用于指示在行为端点和酒精浓度值之间的关系。表4示出了来自关于在表3中的5组的端点的单向ANOVA分析的所计算的P值。而且，图34和35分别示出了来自对于平均DFC和三维线性速度的逐组的此后平均值比较的所计算的P值。

如图19(A)和图19(B)中所示，当酒精浓度从0提高时，金鱼趋向于沿着更展开的路径游动更快。当浓度提高直到特定值(在这种情况下大约是1.3％)时，这些倾向更猛烈。当浓度提高通过这个点时，金鱼的运动当游动路径被限制到更小的区域时再次变得更慢，直到当酒精浓度变得太高以致它们不能生存时它们最后停止移动(所有的鱼在2％的酒精浓度下死亡)。另一方面，图20(C)示出了当酒精浓度从0提高时金鱼的转动速率变得一致地更低。

这些所观察的现象与关于动物的酒精响应的常识相符。如图33中所示，在金鱼组之间找到平均DFC和三维线性速度的大差别，同时，没有找到平均三维转动速率的大差别。如图34和35中所示的来自平均值的此后测试的结果指示对于平均DFC和三维游动速度：(i)在控制组、测试组1(酒精/水浓度0.25％)和测试组2(酒精/水浓度0.5％)之间没有大差别；(ii)在测试组3(酒精/水浓度1.0％)和4(酒精/水浓度1.5％)之间没有大差别；(iii)在控制组、测试组1和2与测试组3和4之间的差很大。这些结果显示已经在关于实验室鱼的酒精响应的公布结果中看到的类似倾向。

示例2：通过监控老鼠头的三维运动的改变而评价酒精引起的中毒

在这个示例中，本发明的三维行为监控系统被应用来量化地识别在由酒精注入引起的中毒引发的老鼠运动上的详细差别。相关联的实验的焦点是发现完全客观但是难于通过人的观察或者二维监控系统检测的行为改变上的细节。

从Charles River实验室获得21-25克雌性ICR老鼠。在行为实验之前，这些老鼠被放在实验室动物设施中至少一个星期。所有的老鼠被放在标准的鼠笼中，并且随意地提供食物和水。它们被以12:12小时的黑白周期保持，并且每天上午9:00点灯。

利用对于基因同类的老鼠和算术评估等级的先行研究，对于行为实验，酒精剂量被确定为0、0.1、0.2、0.5、1.0和2.0g/kg。因此，测试老鼠被划分为6组，每组6个老鼠。在所述实验的早晨，分别在每个老鼠的左右耳部上涂敷黄色和蓝色的荧光染料。这些荧光染料作为特征点或者要监控的目标。每天准备新鲜的在盐水(0.9 NaCl)中的浓度为0.2-2g/10ml的酒精溶液。每个老鼠被称重，然后按照所选择的剂量被注入酒精溶液。然后在行为监控之前，将老鼠放在监控系统中的动物容器中10分钟。监控室的内部被黑色光照明，以刺激所述荧光染料。对于每次监控，将视频图像序列记录10分钟，然后存储在计算机硬盘上。所记录的视频序列以后被检索来用于特征点的运动轨迹的三维重建和用于数据后处理。在完成每次监控处理后清洁所述动物容器。

从老鼠头的重建的三维轨迹计算运动参数。将老鼠头的位置取作老鼠的两耳的中点。被统计分析的参数包括运动速度、角速度、加速度和与轨迹中心的距离(DFC)。图21示出了老鼠头的上下运动速度的组平均值和标准偏差。图22示出了老鼠头的与轨迹中心的三维距离(DFC)的组平均值和标准偏差。为了分析测试老鼠的后部行为，在逐组基础上计算当老鼠头在不同高度时时间间隔的平均持续时间。下面的高度的四个部分被指定：低于17mm、17mm到25mm、25mm到45mm和大于45mm，最后一部分对应于老鼠的后部运动。在每个剂量组之间比较在每个高度部分中的持续时间。图23示出了在每个组中的老鼠头的高度的分布。图24示出了不同的酒精剂量对于老鼠的后部行为的影响。也在组之间计算和比较在动物容器的后半部分(隐藏倾向)中花费的时间。另外，也将在动物容器的四个角花费的时间计算和比较为调查倾向的指示。图25示出了时间百分比的组平均值和标准偏差，其中，老鼠呆在动物容器的后半部分。图26示出了当老鼠呆在动物容器的角落时时间百分比的组平均值和标准偏差。

对象的测试用于这些行为端点的逐组比较。表7示出了关于老鼠头的上下速度的逐组平均值比较的结果，“*”表示在被比较的两个组之间的大差别。表8示出了关于老鼠头的与轨迹中心的三维距离的逐组平均值比较的结果。表9示出了关于在监控过程期间后部的时间百分比的逐组平均值比较的结果。

图15示出了老鼠头的重建的三维运动轨迹的示例，其中，(A)和(D)是不注入酒精的控制老鼠；(B)和(E)是在注入酒精后的测试老鼠，身体重量-归一化的酒精浓度是0.2 g/kg；并且(C)和(F)是在注入酒精后的测试老鼠，身体重量-归一化的酒精浓度是2.0 g/kg。

从老鼠头的运动参数的统计分析，当与控制组(仅仅盐水)相比较并且有时与实验组相比较时，8个基本运动参数(三维速度、三维角速度、三维加速度、DFC、三维速度在XY平面上的投影、三维角速度在XY平面上的投影、沿着Z轴的速度、沿着Z轴的角速度)都得出了大差别(例如参见表7和8)。

在四个高度部分中的高度分布显示大差别，特别是对于2.0g/kg组(参见表9)。

在保存箱的后半部分中花费的时间不显示任何差别(参见图25)。

在四个角落花费的时间在所述组的几个之间大大不同(参见图26)。

所述三维行为监控系统证明是用于区分在受到酒精引发的毒性影响的运动相关行为中的最小改变的有效工具。这些差别还不能被眼睛检测，它们是与剂量相关联的并且是可再生的。在当前的研究中，仅仅在一个测试组中包括6个测试动物，已经在许多成对的比较中检测到统计显著性。通过在每个组中对于更多的动物使用相同的处理，我们可以测试所有类型的老鼠对于任何化学品的响应，获得精确的结果。

Claims (57)

1.一种三维监控系统，包括至少一个实际摄像机、至少一个虚拟摄像机、和链接到所述实际摄像机的计算机，其中，所述系统监控和分析至少一个对象的运动相关行为。

2.一种三维监控系统，包括至少一个实际摄像机、至少一个虚拟摄像机、和链接到所述实际摄像机的计算机，其中，所述系统包括扩展的校准组件。

3.一种三维监控系统，包括至少一个实际摄像机、至少一个虚拟摄像机、和链接到所述实际摄像机的计算机，其中，所述系统监控和分析多于一个对象的运动相关行为。

4.按照权利要求1、2或者3的系统，其中，所述计算机被安装软件。

5.按照权利要求1、2或者3的系统，其中，所述系统在包括3个平移和3个旋转的6个自由度方面监控和分析对象的运动相关行为。

6.按照权利要求1、2或者3的系统，其中，所述系统能够监控一个或多个对象的三维运动相关行为。

7.按照权利要求1、2或者3的系统，其中，所述系统能够监控在一个或多个对象上的一个或多个特征点的三维运动相关行为。

8.按照权利要求1、2或者3的系统，其中，所述系统能够在在线或者离线模式中执行行为监控。

9.按照权利要求1、2或者3的系统，其中，所述实际摄像机选自由数字摄像机和具有帧抓取器的模拟摄像机组成的组。

10.按照权利要求1、2或者3的系统，其中，所述虚拟摄像机选自由反射表面和与实际摄像机同步的摄像机构成的组。

11.按照权利要求1、2或者3的系统，其中，通过将所述实际摄像机反射到反射表面中来获得所述虚拟摄像机。

12.按照权利要求1、2或者3的系统，其中，所述系统是反折射的立体系统。

13.按照权利要求10或者11的系统，其中，所述实际摄像机捕获所述目标的图像和在反射表面中的目标的镜面反射图像。

14.按照权利要求1、2或者3的系统，还包括多于一个实际摄像机。

15.按照权利要求1、2或者3的系统，还包括多于一个虚拟摄像机。

16.按照权利要求1、2或者3的系统，其中，所述实际摄像机能够在逐个帧的基础上获取图像。

17.按照权利要求1、2或者3的系统，其中，所述摄像机形成多于一个线性独立的视图。

18.按照权利要求1、2或者3的系统，还包括外箱，其将所述摄像机和动物容器限定在闭合的空间中。

19.按照权利要求1、2或者3的系统，还包括选自由发光二极管(LED)或者彩色端构成的组的可视指示器装置。

20.按照权利要求19的系统，其中，所述可视指示器装置还包括电子面板和可编程的计算机端口，用于自动接通和关闭所述可视指示器。

21.按照权利要求1、2或者3的系统，还包括动物容器。

22.按照权利要求21的系统，其中，所述动物容器具有至少两个垂直面，其限定了第一和第二监控窗。

23.按照权利要求22的系统，还包括不透明的表面，用于防止在其上形成反射图像。

24.按照权利要求1的系统，其中，所述对象选自由啮齿动物、鱼、昆虫、蠕虫、两栖动物、爬行动物和哺乳动物构成的组。

25.按照权利要求22的系统，其中，所述实际摄像机的轴在第一监控窗的平面上，并且所述虚拟摄像机的轴在第二监控窗的平面上。

26.按照权利要求1、2或者3的系统，其中，所述计算机包括校准组件、立体图像处理组件、目标跟踪和识别组件以及三维重建组件。

27.按照权利要求1、2或者3的系统，其中，所述计算机包括噪声消除组件。

28.按照权利要求27的系统，其中，所述噪声消除组件检测由照明条件上的改变和/或由错误分段的图像引起的噪声。

29.按照权利要求27的系统，其中，所述噪声消除组件自动消除由噪声引起的误差。

30.按照权利要求1、2或者3的系统，其中，所述计算机包括运动相关行为分析组件。

31.按照权利要求30的系统，其中，所述运动相关行为分析组件从目标的重建的三维运动轨迹执行运动学和统计分析。

32.按照权利要求26的系统，其中，所述校准组件还包括基本校准组件和扩展校准组件。

33.按照权利要求32的系统，其中，所述基本校准组件校准反射表面和虚拟摄像机。

34.按照权利要求32的系统，其中，所述扩展校准组件校准折射界面。

35.按照权利要求32的系统，其中，所述扩展校准组件使用包括正向和反向折射的射线跟踪方法。

36.按照权利要求26的系统，其中，所述立体图像处理组件还包括核线结构导出组件、图像分段组件和图像对应性检测组件。

37.按照权利要求36的系统，其中，所述核线结构导出组件导出在单个媒体中的线性核线结构。

38.按照权利要求36的系统，其中，当光通过两个或者更多媒体时，所述核线结构导出组件导出非线性核线结构。

39.按照权利要求37的系统，其中，从摄像机的校准参数导出所述线性核线结构。

40.按照权利要求38的系统，其中，从摄像机和折射界面的校准参数导出非线性核线结构。

41.按照权利要求36的系统，其中，所述图像分段组件使用背景减除方法或者彩色空间分段方法或者其组合。

42.按照权利要求41的系统，其中，所述背景减除方法自动地和自适应地更新背景图像。

43.按照权利要求36的系统，其中，所述图像对应性检测组件检测在所有视图中的目标的图像之间的对应性。

44.按照权利要求36的系统，其中，所述图像对应性检测组件通过使用核线几何限制来执行对应性检测。

45.按照权利要求26的系统，其中，所述目标跟踪和识别组件能够进行三维运动跟踪和目标识别。

46.按照权利要求45的系统，其中，所述三维运动跟踪检测在所有视图中和在两个连续图像帧中的目标的相关图像。

47.按照权利要求45的系统，其中，所述三维运动跟踪提取从图像对应性检测获得的对应图像集。

48.按照权利要求47的系统，其中，所述三维运动跟踪还使用三维卡尔曼预测器-校正器方法来跟踪在两个连续帧上的目标图像。

49.按照权利要求45的系统，其中，所述目标跟踪和识别组件识别在所获取的帧上的目标图像，并且自动向所述目标图像分配标签。

50.按照权利要求45的系统，其中，所述目标跟踪和识别组件通过对空间一致性或者时间一致性和/或其组合应用最小能量原理来识别目标图像。

51.按照权利要求50的系统，其中，所述空间一致性是对应的目标图像满足核线限制的倾向。

52.按照权利要求50的系统，其中，所述时间一致性是与目标相关联的图像在短时间中接近同一目标的前一个图像的倾向。

53.按照权利要求45的系统，其中，所述目标跟踪和识别组件能够识别多个对象，而不向所述对象附加物理标签。

54.按照权利要求45的系统，其中，所述目标和识别组件能够识别在对象上的多个特征点，而不向所述特征点附加物理标签。

55.按照权利要求26的系统，其中，所述三维重建组件从目标图像重建目标的三维位置。

56.按照权利要求26的系统，其中，所述三维重建组件从两个或者更多的独立视图重建目标的三维位置。

57.按照权利要求26的系统，其中，所述三维重建组件通过使用三角测量方法来执行三维重建。

Images