CN1783980A - 显示设备、图像处理设备和图像处理方法、成像设备和程序 - Google Patents

Abstract

一种方法和系统，它显示实际图像以允许用户容易的知道他/她自己的位置关系，同时又能体验存在感。设置一个外部圆顶屏幕以围绕用户，并在其上显示诸如对象周围的景物的沉浸图像。在外部圆顶屏幕内设置一个内部圆顶屏幕，它显示当从用户的视点观看对象时由用户的视觉感知的对象的鸟瞰图像。在这种情况下，允许用户通过鸟瞰图像容易的知道他/她自己的位置关系，同时又能体验沉浸图像提供的存在感。

Description

显示设备、图像处理设备和 图像处理方法、成像设备和程序

本申请是于2003年10月8日提交的题为“显示设备、图像处理设备和图像处理方法、成像设备和程序”的中国专利申请No.200310100763.5的分案申请。

技术领域

本发明涉及显示设备、图像处理设备以及图像处理方法、成像设备和程序。具体地说，本发明涉及能比传统设备和方法更具存在感地向用户展示图像的显示设备、图像处理设备、图像处理方法、成像设备和程序。

背景技术

作为具有存在感地向用户展示图像的常规设备，已知包括沉浸屏幕的显示设备。在包括沉浸屏幕的显示设备中，可以向用户提供由用户的视觉感知出好象用户处于虚拟空间中的图像(以下在适当时称为沉浸图像)。因此，通过观看沉浸图像，用户能够体验一种存在感，就好象用户处于沉浸图像提供的虚拟空间中。

本发明认识到前述常规系统和方法的一些缺陷。例如，由于如前所述的包括沉浸屏幕的显示设备显示由用户的视觉感知出好象用户处于虚拟空间中的图像，有时用户难以知道用户与由沉浸图像提供的虚拟空间的相互位置。

作为另一个示例，在赛车游戏(即，赛车视频游戏)中，如从特定视点观看的那样显示用户所驾驶的车辆的鸟瞰图像。在这种情况下，用户能够容易地知道其驾驶的车辆的位置，并且能以更真实的方式驾驶车辆。

然而在显示鸟瞰图像的情况中，与显示沉浸图像相比，一种沉浸感和存在感被削弱。

发明内容

本发明针对常规系统和方法的上述限制而实现。本发明使用户能够容易地知道他/她自己的位置关系，并且允许显示具有存在感的图像。

根据本发明的显示设备包括用于显示第一图像的第一显示机制，它被设置以围绕用户；以及用于显示第二图像的第二显示机制，它设置在第一显示机制内部。

根据本发明的图像处理设备包括一个图像选择机制，用于基于用户的视点，从分别从多个位置捕获的图像中选择从用户的视点观看的预定对象的视点图像；和视点图像转换机制，用于基于用户的视点和显示机制的形状将视点图像转换为光发射图像。

根据本发明的图像处理方法包括图像选择步骤，基于用户的视点，从分别从多个位置捕获的图像中选择从用户的视点观看的预定对象的视点图像；和视点图像转换步骤，用于基于用户的视点和显示机制的形状将视点图像转换为光发射图像。

根据本发明的程序包括图像选择步骤，基于用户的视点，从分别从多个位置捕获的图像中选择从用户的视点观看的预定对象的视点图像；和视点图像转换步骤，用于基于用户的视点和显示机制的形状将视点图像转换为光发射图像。

根据本发明的成像设备，包括用于在所有方向上对对象的周围成像的全向成像机制；和用于从多个方向对对象成像的多个对象成像机制。

根据本发明的显示设备，设置为围绕(或至少部分围绕，如在半球形情况中)用户的第一显示机制显示第一图像，并且设置在第一显示机制内部(如，在半球形空间中)的第二显示机制显示第二图像。

根据本发明的图像处理设备、图像处理方法和程序，基于用户的视点选择从用户的视点观看的预定对象的视点图像，并且基于用户视点和显示机制的形状将视点图像转换为光发射图像。

根据本发明的成像设备，对对象周围所有方向上的环境成像，并且从所有方向对对象成像。

附图说明

图1表示根据本发明实施例的成像/显示系统的示例配置；

图2表示成像系统的示例配置；

图3表示广角成像单元的示例配置的透视图；

图4表示周围成像单元的示例配置的透视图；

图5表示全向照相机和周围照相机的位置关系；

图6表示显示系统的示例配置的框图；

图7表示广角显示单元的示例配置的透视图；

图8表示周围图像显示单元的示例配置的透视图；

图9表示外部圆顶屏幕和内部圆顶屏幕的位置关系；

图10表示多个用户观看图像时的情况；

图11表示向多个用户展示从各用户的相应视点观看的对象的图像的情况；

图12表示水平视差系统；

图13表示垂直和水平视差系统；

图14表示广角图像处理单元的示例配置；

图15表示广角成像坐标系统；

图16表示全向图像；

图17表示全向图像和纬度-经度图像；

图18是解释广角图像处理的流程图；

图19用于解释显示在内部圆顶屏幕上的图像；

图20表示显示在内部全向投影仪的显示表面上的图像以及显示在内部园顶屏幕上的图像；

图21表示用户A和B的视点彼此远离的情况；

图22表示用户A和B的视点彼此接近的情况；

图23是周围图像处理单元的示例配置的框图；

图24用于解释视点方向计算单元执行的处理；

图25用于解释显示图像生成单元执行的处理；

图26用于解释显示图像生成单元执行的处理；

图27用于解释显示图像生成单元执行的处理；

图28是解释周围图像处理的流程图；

图29是解释周围图像处理的流程图；

图30表示根据本发明实施例的计算机的示例配置。

具体实施方式

图1显示了根据本发明的一个实施例的成像/显示系统(一个系统指多个设备的逻辑组合，无论这些设备是否位于同一外壳内)的示例配置。

成像系统1捕获对象的图像并在围绕该对象的所有方向(可能除去底部)上成像。成像系统1在记录介质3(例如，光盘、磁盘、磁带或半导体存储器)上记录获得的图像数据，或通过传输介质4(例如，电话电路、光纤、卫星电路、微波或其他无线链路、CATV(有线电视)网或因特网)发送图像数据。

显示系统2从记录介质3回放图像数据或者接收和显示通过传输介质4传送的图像数据。

图2显示了图1所示的图像系统1的示例配置。广角成像单元11包括广角照相机(摄像机)，用于在广视角上对对象的周围成像，并且它像多路复用器13提供由广角照相机捕获的广角图像数据(视频数据)。构成广角成像单元的广角照相机例如通过用于捕获对象周围的所有方向(或几乎所有方向，如除了直接在对象下方的所有方向上，或者甚至是具有一个视野的所有方向，或者是围绕对象的大致半球体积的所有方向)上的图像的全向照相机来实现，如下面所述。因此，从广角成像单元11输出的广角图像数据包括诸如对象周围的景物的图像。

周围成像单元12包括布置的大量照相机(摄像机)以便在水平和垂直方向包围对象，并且它将由多个照相机捕获的图像数据(视频数据)提供给多路复用器13。在周围成像单元12中，在多个位置放置的照相机分别输出通过从照相机的位置(照相机位置)对对象成像获得的图像数据。从多个位置捕获的对象的图像数据在适当时统一称为周围图像数据。

多路复用器13多路复用从广角成像单元11提供的广角图像数据以及从周围成像单元12提供的周围图像数据，并且将得到的多路复用图像数据提供给记录/发送单元14。

更具体地说，多路复用器13彼此关联地多路复用相同帧的广角图像数据和周围图像数据。此外，多路复用器13与照相机位置相关联的多路复用周围图像数据的每个帧，即从多个照相机位置捕获的图像数据。假定构成周围成像单元12的相应照相机的照相机位置先前已知。照相机位置例如由表示以对象位置为原点的三维坐标系统上的位置的坐标表示。

记录/发送单元14在记录介质3(图1)上记录从多路复用器13提供的多路复用的图像数据，或者通过传输介质4发送多路复用的图像数据。

图3表示图2所示的广角成像单元11的示例配置。广角成像单元11包括全向照相机21。理想情况下，全向照相机21通过如图3所示的半球形表面接收入射到全向照相机21上的光束，并且对应于光束输出图像数据。

全向照相机21例如由具有鱼眼镜头的照相机或者具有双曲面镜的照相机实现。在本实施例中，全向照相机21由具有鱼眼镜头的照相机实现。得到的对象图像相对于观察点(在这种情况下，是全向照相机的位置)几乎在所有方向上捕获。

放置全向照相机21以允许对围绕对象的所有方向上的景物等成像。从总体意义上使用术语“所有方向”，而不应对其有限制性解释；例如，照相机紧下方的方向或对象的阴影中的方向可能不被包括。例如，如果对象是在体育场中进行的足球比赛，那么例如在体育场的中央放置全向照相机21，从而全向照相机21捕获观众观看足球比赛的立足点，或者甚至天空或体育场圆顶内的景物的图像。

图4表示图2所示的周围成像单元12的示例配置。周围成像单元12包括放置在对象周围以包围对象的多个周围照相机22_k(k＝1，2，...)，从而周围成像单元12捕获从大量视点观看的对象的图像。因此，例如，如果对象是如前所述在体育场中进行的足球比赛，构成周围成像单元的大量周围照相机22_k被相应放置以包围(即，至少在用于观看足球场的侯选场地的整个范围中)体育场中的足球场，从而周围照相机22_k捕获球场上正在进行的足球赛的情况。

周围照相机22_k可以在水平面中仅放置在对象的经度方向(水平方向)上，或者放置在对象的所有经度和纬度方向(水平和垂直方向)上。如果周围照相机22_k仅在水平面中放置在对象的经度方向上，那么只能使用水平视差系统，如下所述。如果周围照相机22放置在对象的所有经度和纬度方向上，可以使用水平视差系统或垂直和水平视差系统，如下所述。

图5表示放置全向照相机21(图3)和周围照相机22_k(图4)的相对位置。例如，周围照相机22_k以规则的经度和纬度间隔放置在围绕对象的半球的球形表面上。周围照相机22_k以周围照相机22_k的位置(照相机位置)作为视点对对象成像。

全向照相机21例如放置在放置周围照相机22_k的半球的中央。全向照相机21从半球的中央在所有方向上对对象的周围成像，即，在放置周围照相机22_k的半球弯曲表面上的点的方向。此外，术语“在所有方向上”指对应于表面上，与具有对象处于其中的空间的至少一部分的侯选场景的表面上的点对应的方向。所述表面还可以包括半球形的平坦表面部分，但不需要(尽管可以)包括全向照相机21的视野以外的方向。

在图5所示的实施例中，放置全向照相机21以便其光轴在放置周围照相机22_k的半球的北极方向延伸(具有90度纬度的点的方向)。放置周围照相机22_k，以便其光轴在半球形中心的方向延伸。

应当理解，全向照相机21和周围照相机22_k可以放置在除图5所示的位置之外的位置，或者甚至放置在除了半球形空间以外的空间中，如立方体或其他传统的或非传统的定义3维内部空间的空间(例如，它可以是任意形状的空间)中。

在图2所示的成像系统1中，在广角成像单元11中，全向照相机21(图3)在围绕对象的所有方向上捕获图像，并且将获得的全向图像数据(广角图像数据)提供给多路复用器13。同时，在周围成像单元12中，周围照相机22_k(图4)捕获从其照相机位置观看的对象的图像，并将获得的周围图像数据提供给多路复用器13。

多路复用器13多路复用从广角成像单元11提供的全向图像数据和从周围成像单元12提供的周围图像数据，并将得到的多路复用图像数据提供给记录/发送单元14。

记录/发送单元14在记录介质3(图1)上记录从多路复用器13提供的多路复用图像数据，或者通过传输介质4向目的地(如远程位置的计算机)发送多路复用的图像数据。

因此，在成像系统1中，例如，如果对象是在体育场中进行的足球比赛，那么观众观看足球比赛的立足点以及足球踢入空中等景物被成像，以获得全向图像数据，并且从多个视点观看的足球比赛的地面和球员的图像被捕获以获得周围图像数据。

接下来，图6显示了图1所示的显示系统2的示例配置。回放/接收单元从记录介质3(图1)回放多路复用的图像数据，或者接收通过传输介质4(图1)传送的多路复用图像数据，并将多路复用的图像数据提供给多路复用器32。

分路器32将从回放/接收单元31提供的多路复用的图像数据去多路复用成一帧一帧的全向图像数据和周围图像数据，并将全向图像数据提供给广角图像处理单元33，而将周围图像数据提供给周围图像处理单元35。

广角图像处理单元33处理从分路器32提供的全向图像数据，并将得到的图像数据提供给广角图像显示单元34。

广角图像显示单元34基于与从广角图像处理单元33提供的图像数据对应的图像显示为用户提供沉浸感的沉浸图像。

周围图像处理单元35根据从视点检测单元37提供的用户的视点处理从分路器32提供的周围图像数据，由此生成从用户的视点观看的对象的图像数据，并将图像数据提供给周围图像显示单元36。

周围图像显示单元36基于从周围图像处理单元35提供的图像数据显示从诸如用户的视点的特定视点观看的对象的鸟瞰图像。

视点检测单元37检测用户的视点，并将用户的视提供给周围图像处理单元35。视点检测单元37例如通过来自Polhemus公司的磁传感器实现，它作为三维定位传感器。在这种情况下，由磁传感器实现的视点检测单元37被戴在例如用户头上。或者，视点检测单元37可由允许关于视点(的改变)的用户控制输入的机制实现，如操作杆或跟踪球。即，视点检测单元37不需要允许检测用户的实际视点，而可以是允许输入用户的虚拟视点的机制。

图7显示了图6所示的广角图像显示单元34的示例配置。广角图像显示单元34包括外部全向投影仪41和外部圆顶屏幕42。外部全向投影仪41能够在广视角上发出光束，并且例如通过普通投影仪和用作将投影仪发出的光束扩散在广视角上的光学系统的鱼眼镜头来实现。

外部圆顶屏幕42具有例如半球形圆顶的形状，并且被放置以围绕用户。此外，作为外部圆顶屏幕42的半球形圆顶要足够大，以允许容纳多个用户，并在一定程度上移动，并且其直径在例如5m的数量级上。

在外部圆顶屏幕42的内部(或外部)表面上，例如，应用可使光线散射的涂层材料。在外部圆顶屏幕42内部，放置外部全向投影仪41，从而光束将朝向外部圆顶屏幕42的内表面发出，它在此半球形空间中构成“所有方向”。

更具体地说，例如，放置外部全向投影仪41，从而其光学中心与用作外部圆顶屏幕42的半球形圆顶的中心一致，并且其光轴垂直于水平面。外部全向投影仪41使用其鱼眼镜头发出光束，所述光束对应于从广角图像处理单元33向具有半球形圆顶形状的外部圆顶屏幕42的整个内表面提供的图像数据。

由外部全向投影仪41发出的光束被接收并散射到具有半球形圆顶形状的外部圆顶屏幕42的内表面上的各点。因此，在在用户上方放置的外部圆顶屏幕42的内表面上，显示与由外部全向投影仪41发出的光束对应的沉浸图像，即由成像系统1捕获的对象的全向图像。

外部圆顶屏幕42的形状不限于半球形圆顶形状，只要该形状能围绕用户即可，例如可以是圆柱形形状、立方体形状或其他没有共识名称的3维形状。

接下来，图8显示了图6所示的周围图像显示单元36的示例配置。周围图像显示单元35包括内部全向投影仪43和内部圆顶屏幕44。

内部全向投影仪43类似于图7所示的外部全向投影仪41，能够在广视角上发出光束，并且例如通过普通投影仪和用作将投影仪发出的光束扩散在广视角上的光学系统的鱼眼镜头来实现。

内部圆顶屏幕44具有预定的例如半球形圆顶的形状。在内部圆顶屏幕44的内部(或外部)表面上，例如，应用可使光线散射的涂层材料。在内部圆顶屏幕42内部，放置内部全向投影仪41，从而光束将朝向内部圆顶屏幕44的内表面发出。

更具体地说，例如，放置内部全向投影仪43，从而其光学中心与用作内部圆顶屏幕44的半球形圆顶的中心一致，并且其光轴垂直于水平面。内部全向投影仪43使用其鱼眼镜头发出光束，所述光束对应于从广角图像处理单元33向具有半球形圆顶形状的内部圆顶屏幕44的整个内表面提供的图像数据。

由内部全向投影仪43发出的光束被接收并散射到具有半球形圆顶形状的外部圆顶屏幕44的内表面上的各点。内部圆顶屏幕44本身由透明材料构成。由内部全向投影仪43发出的光束散射在内部圆顶屏幕44的内表面上，由此在内部圆顶屏幕44的外表面上显示对应于从内部全向投影仪43发出的光束的鸟瞰图像，即成像系统1捕获的从特定视点观看的对象的图像，这称为背部投影。

尽管本实施例中内部圆顶屏幕44的形状是类似于图7的外部圆顶屏幕42的半球形圆顶形状，但是，内部圆顶屏幕44的形状不必与外部圆顶屏幕42的形状类似。即，内部圆顶屏幕44的形状可以独立于外部圆顶屏幕42的形状，而是圆柱形形状、多棱镜形状或没有共识名称的其他形状。

图9显示放置外部圆顶屏幕42(图7)和内部圆顶屏幕44的位置的关系。如前所述，放置外部圆顶屏幕42以围绕用户，并且在外部圆顶屏幕42内部放置内部圆顶屏幕44。在此使用术语“围绕”意味着外部圆顶屏幕42不一定完全包住用户，而只是给用户一种包含在外部圆顶屏幕42定义的空间中的感觉。例如，外部圆顶屏幕42最好放在与用户站立的表面相同的表面上。然而，外部圆顶屏幕42可以悬挂或以其他方式被支撑，从而外部圆顶屏幕42被升起一些(例如，一、二英寸，到几英尺)。

因此，允许位于外部圆顶屏幕42内部和内部圆顶屏幕44外部的区域中的用户同时观看在外部圆顶屏幕42的内表面上显示的沉浸图像和在内部圆顶屏幕44外表面上显示的鸟瞰图像。因此，允许用户体验由沉浸图像提供的沉浸感觉，并通过鸟瞰图像容易地知道他/她自己的位置。

更具体地说，例如，在外部圆顶屏幕42的内表面上显示足球体育场的看台的景物的沉浸图像，在内部圆顶屏幕44的外表面上显示从用户的视点观看的足球场上比赛的进行情况。因此，允许用户体验一种好象实际在足球体育场中观看足球比赛的存在感。

如图10所示，外部圆顶屏幕42内可容纳不止一个而是多个用户。因此，通过显示系统2，允许多个用户同时观看在外部圆顶屏幕42上显示的沉浸图像和在内部圆顶屏幕44上显示的鸟瞰图像。

例如，如果两个用户A和B存在于外部圆顶屏幕42中，并且如果用户A和B处于不同位置，如图11所示，那么内部圆顶屏幕44向用户A提供从用户A的视点观看的对象的鸟瞰图像，同时向用户B提供从用户A的视点观看的对象的鸟瞰图像。

即，在显示系统2中，内部圆顶屏幕44向每个用户提供从用户的视点观看的对象的鸟瞰图像。

因此，允许用户观看从他/她的视点观看的对象的图像(鸟瞰图像)，并且有选择视点的自由。用户可以选择的视点位置例如可以限制为外部圆顶屏幕42内特定高度的水平面上的位置，如图12所示，或者例如可以是在外部圆顶屏幕42中的任意位置而没有这种限制，如图13所示。对于如图12所示的视点限于特定水平面上位置的系统，可将该系统称为水平视差系统，因为仅允许用户在水平方向上移动他/她的视点。对于如图13所示的视点可以在任何位置的系统，可将该系统称为垂直和水平视差系统，因为允许用户在任何垂直和水平方向上移动他/她的视点。

图14显示如图6所示的广角图像处理单元33的示例配置。从分路器32输出的一帧一帧的全向图像数据被提供给帧存储器51。帧存储器51一帧一帧的存储从分路器提供的全向图像数据，一帧一帧的读取全向图像数据并将其提供给广角图像转换单元52。帧存储器51包括多个存储器库，并且允许通过切换存储器库来同时存储和读取全向图像数据。

广角图像转换单元52在控制器56的控制下将从帧存储器51提供的全向图像数据转换成表示在平面上由纬度方向和经度方向定义的矩形区域的纬度-经度图像数据，并将其提供给图像角度校正单元53。

图像角度校正单元53在控制器56的控制下，基于广角图像显示单元34的外部全向投影仪41(图7)的光学特性，校正从广角图像转换单元52提供的纬度-经度图像数据，并将校正后的纬度-经度图像数据提供给纬度-经度图像转换单元54。

纬度-经度图像转换单元54在控制器56的控制下将从图像角度校正单元53提供的纬度-经度图像数据转换成全向图像数据，并将其提供给帧存储器55。

帧存储器55一帧一帧地存储从纬度-经度图像转换单元54提供的全向图像数据，一帧一帧地读取全向图像数据，并将其提供给广角图像显示单元34的外部全向投影仪41(图7)。帧存储器55类似于帧存储器51，包括多个存储器库，并且允许通过切换存储器库来同时存储和读取全向图像数据。控制器56基于帧存储器51中全向图像数据的存储状态，控制广角图像转换单元52、图像角度校正单元53和纬度-经度图像转换单元54。

接下来，将参照图15-17描述图14所示的广角图像转换单元52、图像角度校正单元53和纬度-经度图像转换单元54执行的处理。

广角图像转换单元52接收存储在帧存储器51中的全向图像数据，即，如图3所示的构成广角成像单元11的全向照相机21捕获的全向图像数据。

现在，令图15所示的三维坐标系统被称为广角成像坐标系统，在图15所示的系统中全向照相机21的光轴构成z轴，并且全向照相机21的成像表面(感光器表面)构成xy平面，将在广角成像坐标系统中考虑入射到全向照相机21的光束与接收光束的全向照相机21捕获的全向图像数据间的关系。向全向照相机21发出的光束L被其鱼眼镜头折射，并入射到全向照相机21的成像表面上。即，鱼眼镜头在包括广角成像坐标系统的Z轴和光束L的平面内折射光束L，从而光束L入射在xy平面上。因此，全向照相机21捕获表示如图16所示的环形或圆环形区域的图像数据作为全向图像数据。

现在，对于广角成像坐标系统，令xy轴上相对于x平面的一个角为经度θ，相对于z轴的一个角为纬度Φ，具有经度θ和纬度Φ的点的方向被表示为方向(θ，Φ)，如图15所示。然后，从方向(θ，Φ)入射到全向照相机21的光束L被全向照相机21的鱼眼镜头根据纬度Φ折射。

令从方向(θ，Φ)入射的光束L被表示为光束L(θ，Φ)，光束L(θ，Φ)投射到xy平面上的点被表示为Q(x，y)。那么，经度θ和纬度Φ可使用点Q的x和y坐标通过下述等式表示。

$\mathrm{\θ}={\tan }^{-1}\frac{y}{x}---\left(1\right)$

$\mathrm{\φ}=f_1\left(\sqrt{x^2+y^2}\right)---\left(2\right)$

在等式(2)中，函数f₁()根据全向照相机21的鱼眼镜头的光学特性确定。令函数f₁()的反函数表示为f₁ ^-1()，等式(2)可以改写为 $\sqrt{(x^2+y^2)}={f_1}^{-1}\left(\mathrm{\θ}\right).$ 代表鱼眼镜头的光学特性的反函数f₁ ^-1(θ)可被表示为(鱼眼镜头的焦距)xθ的鱼眼镜头被称为等距离投影法。

由等式(1)和(2)，由全向照相机21捕获的全向图像的点Q(x，y)可以使用表示入射到该点的光束L(θ，Φ)的方向的经度θ和纬度Φ表示。

更具体地说，由连接点Q(x，y)和原点O的连线相对于x轴形成的角度等于光束L的经度θ。点Q(x，y)和原点O间的距离

取决于光束L的纬度Φ。经度θ和纬度Φ的取值相互独立。

因此，例如，假定是一个二维坐标系统的纬度-经度坐标系统，具有在水平轴上的经度θ和垂直轴上的纬度Φ，构成全向图像数据的像素Q(x，y)可以在纬度-经度坐标系统上投影到点Q’(θ，Φ)。

通过将全向图像数据投影到纬度-经度坐标系统上，将代表圆环形区域的全向图像数据转换为代表由经度θ和纬度Φ定义的矩形区域的图像数据，即如图17所示的纬度-经度图像数据。

如图14所示的广角图像转换单元52以如上方式将全向图像数据转换为纬度-经度图像数据。

如果用于捕获全向图像的广角成像单元11(图3)的全向照相机21的鱼眼镜头的光学特性与用于发射与全向图像对应的光束的广角图像显示单元34(图7)的外部全向投影仪41的鱼眼镜头的光学特性相同，当将全向照相机21捕获的全向图像数据原样提供给外部全向投影仪41时，外部全向投影仪41会发出与入射到全向照相机21上的光束仅是方向相反的光束。因此，理论上，从外部全向投影仪41接收光束的外部圆顶屏幕42(图7)显示的景物图像等与全向照相机21捕获的相同。

然而，全向照相机21(图3)和外部全向投影仪41(图7)的鱼眼镜头的光学特性并不一定相同，并且可以彼此不同。

入射到全向照相机21的光束L(θ，Φ)到达的成像表面上的点Q(x，y)与经度θ和纬度Φ相关，如等式(1)和(2)所示。

由等式(1)表示的经度θ不受鱼眼镜头的光学特性的影响。另一方面，由等式(2)表示的纬度Φ使用函数f₁()计算，并且由于函数f₁()的反函数f₁ ^-1()如前所述代表鱼眼镜头的光学特性，因此纬度Φ受鱼眼镜头的光学特性影响。

因此，当全向照相机21(图3)和外部全向投影仪41(图7)的鱼眼镜头的光学特性不同时，为了使显示在外部圆顶屏幕42(图7)上的图像与全向照相机21捕获的景物图像等相同，必须相对于纬度Φ的方向校正全向照相机21捕获的全向图像数据。

由于全向图像数据的纬度Φ的方向沿如图17所示的纬度-经度图像数据的垂直轴方向，如图14所示的图像角度校正单元53例如根据如下等式将从广角图像转换单元52提供的纬度-经度图像数据的垂直轴上的纬度Φ校正为纬度Φ’。

Φ’＝αΦ                                     (3)

在等式(3)中，α是由全向照相机21(图3)和外部全向投影仪41(图7)的鱼眼镜头的光学特性确定的一个值。

因此，令构成从广角图像转换单元52提供的纬度-经度图像数据的像素表示为Q’(θ，Φ)，图像角度校正单元53将像素Q’(θ，Φ)校正为像素Q’(θ，Φ’)。

代表如图17所示的纬度-经度图像数据的垂直轴的方向的纬度Φ对应于纬度-经度图像数据的垂直方向上的图像角度。因此，纬度Φ的校正对应于增大或减小纬度-经度图像数据的垂直方向上的图像角度。

如果代表矩形区域的纬度-经度图像数据被原样提供给外部全向投影仪41(图7)，则外部圆顶屏幕42不显示全向照相机21(图3)捕获的全向图像数据。因此，如图14所示的纬度-精度图像转换单元54将已在图像角度校正单元中校正了其纬度Φ的纬度-经度图像数据转换回代表图16所示的圆环形区域(或环形区域)的全向图像数据。在纬度-经度图像转换单元54产生的全向图像数据中，已基于全向照相机21(图3)和外部全向投影仪41(图7)的鱼眼镜头的光学特性校正了沿纬度Φ方向的标度。因此，当将全向图像数据提供给外部全向投影仪41(图7)时，外部圆顶屏幕42显示全向照相机21(图3)捕获的全向图像。

接下来，将参照流程图18描述在如图14所示的广角图像处理单元33中执行的处理。

控制器56监控帧存储器51，并且它在帧存储器51开始存储全向图像数据时开始广角图像处理。

更具体地说，在广角图像处理中，首先在步骤S1中，控制器56在变量i中设置初始值，例如1，以对帧数进行计数，然后处理进入步骤S2。在步骤S2中，帧存储器51读取存储于其中的第i个帧的全向图像数据，并将其提供给广角图像转换单元52。然后处理进入步骤S3。

在步骤S3中，广角图像转换单元52根据等式(1)计算构成从帧存储器51提供的全向图像数据的每个像素Q(x，y)的经度θ，然后处理进入步骤S4。在步骤S4中，广角图像转换单元52根据等式(2)计算构成从帧存储器51提供的全向图像数据的每个像素Q(x，y)的纬度Φ，然后处理进入步骤S5。

在步骤S5中，广角图像转换单元52将构成从帧存储器51提供的全向图像数据的每个像素Q(x，y)映射到纬度-经度坐标系统的点(θ，Φ)上，所述点由以为像素Q(x，y)计算的经度θ和纬度Φ表示，由此将代表圆环形区域的全向图像数据转换为代表矩形区域的纬度-经度图像数据，如图17所示。

广角图像转换单元52如上所述在步骤S5中获得了纬度-经度图像数据后，将所述纬度-经度图像数据提供给图像角度校正单元53，然后处理进入步骤S6。

在步骤S6中，图像角度校正单元53根据等式(3)将从广角图像转换单元52提供的纬度-经度图像数据的纬度Φ校正为纬度Φ’，并将由校正的纬度Φ’表示的纬度-经度图像数据提供给纬度-经度图像转换单元54。然后处理进入步骤S7。

在步骤S7中，纬度-经度图像转换单元54根据等式(4)(见下)为构成从图像角度校正单元53提供的纬度-经度图像数据的每个像素Q’(θ，Φ’)计算在广角成像坐标系统的xy平面上的x坐标，然后处理进入步骤S8。

在步骤S8中，纬度-经度图像转换单元54根据等式(5)为构成从图像角度校正单元53提供的纬度-经度图像数据的每个像素Q’(θ，Φ’)计算在广角成像坐标系统的xy平面上的y坐标，然后处理进入步骤S9。

x＝f₂(Φ’)cosθ                                (4)

y＝f₂(Φ’)sinθ                                (5)

等式(4)和(5)中的函数f₂(Φ’)代表外部全向投影仪41(图7)的光学特性(由外部全向投影仪41的鱼眼镜头的投影方法确定)。解答等式(1)和(2)将产生类似于等式(4)和(5)的等式。

在步骤S9中，纬度-经度图像转换单元54将构成从图像角度校正单元53提供的纬度-经度图像数据的每个像素Q(θ，Φ’)映射到广角成像坐标系统的xy平面上的点(x，y)上，所述点由已为像素Q’(θ，Φ’)获得的x和y坐标表示，由此将代表矩形区域的纬度-经度图像数据转换为代表圆环形区域的全向图像数据。全向图像数据被提供给并存储在帧存储器55中，作为使外部全向投影仪41(图7)发光的光发射全向图像数据。

如上所述的存储在帧存储器55中的光发射全向图像数据随后被读取并提供给广角图像显示单元34(图6)。在广角图像显示单元34中，外部全向投影仪41(图7)发出对应于光发射全向图像数据的光束，并且外部圆顶屏幕42(图7)接收所述光束，由此外部圆顶屏幕42显示全向照相机21(图3)捕获的在围绕对象的所有方向上的景物的图像，作为沉浸图像。

然后，处理进入步骤S10，其中控制器51参考帧存储器51以确定第i帧是否是最后一帧。如果在步骤S10中确定第i帧不是最后一帧，即如果第i帧后的帧的全向图像数据存储在帧存储器51中，则处理进入步骤S11，其中控制器56将变量i递增1。然后，处理返回步骤S2，并重复类似的处理。

另一方面，如果在步骤S10确定第i帧是最后一帧，即如果第i帧后的帧的全向图像数据未存储在帧存储器51中，则停止广角图像处理。

如果全向照相机21(图3)和外部全向投影仪41(图7)具有相同的光学特性，则分路器32(图6)输出的全向图像数据可以直接提供给广角图像显示单元34，作为光发射全向图像数据，旁路图14所示的广角图像处理单元33。

接下来，描述图6所示的周围图像处理单元35的概况。在周围图像显示单元36(图6)中，内部圆顶屏幕44(图8)向用户展示从用户的视点观看的对象的图像，如前所述。如果存在多个用户，内部圆顶屏幕44(图8)向多个用户展示从各用户的相应视点观看的对象的图像。

因此，如果内部圆顶屏幕44透明并且如果由周围成像单元12(图12)成像的对象存在于内部圆顶屏幕44内部，内部圆顶屏幕44显示如每个用户的视觉所感知的对象的相同图像，如图19所示。

更具体地说，在图19所示的实施例中，存在两个用户A和B，并且内部圆顶屏幕44在一点上显示从用户A的视点观看的对象的图像，在所述点处，连接内部圆顶屏幕44的中心和用户A的视点的直线与内部圆顶屏幕44相交。此外，内部圆顶屏幕44在一点上显示从用户B的视点观看的对象的图像，在所述点处，连接内部圆顶屏幕44的中心和用户B的视点的直线与内部圆顶屏幕44相交。

因此，在如图8所示的周围显示单元36中，例如，如图20所示，内部全向投影仪43在例如一个液晶屏(未示出)的显示表面上显示从每个用户的视点观看的对象的图像(以下在适当时称为视点图像)，并且通过鱼眼镜头发射对应于视点图像的光束。因此，内部圆顶屏幕44向每个用户展示从用户的视点观看的对象的图像。

图6所示的周围图像处理单元35使用从分路器32提供的周围图像数据生成从由视点检测单元37提供的每个视点观看的对象的图像(视点图像)，并根据视点将与每个视点相关联的视点图像映射到一个位置，由此生成对应于要由内部全向投影仪43(图8)发出的光束的光发射图像，即要显示在内部全向投影仪43的显示表面上的光发射图像(以下也称为显示图像)。

当用户A和B远离，因而用户A和B的视点彼此远离时，例如，如图21所示，即使内部圆顶屏幕44向用户A和B展示从其相应视点观看的对象的图像(视点图像)，也仅允许用户A观看与用户A的视点相关联的视点图像，而仅允许用户B观看与用户B的视点相关联的视点图像。

即，与用户B的视点相关联的视点图像不被用户A看到，或者只在不干扰与用户A的视点相关联的视点图像的观看的程度上被看到。类似地，与用户A相关联的视点图像不被用户B看到，或者只在不干扰与用户B的视点相关联的视点图像的观看的程度上被看到。

另一方面，当用户A和B彼此接近时，例如，如图22所示，他们的视点也彼此接近，从而在内部圆顶屏幕44上显示的分别用于用户A和B的视点图像可能彼此重叠。即使在内部圆顶屏幕44上显示的分别用于用户A和B的视点图像彼此不重叠，用户A和B的视点图像彼此接近地显示在内部圆顶屏幕44上。因此，与用户B的视点相关联的视点图像干扰用户A观看与用户A的视点相关联的视点图像，并且与用户A的视点相关联的视点图像干扰用户B观看与用户B的视点相关联的视点图像。

因此，当用户A和B的视点间的距离短时，周围图像处理单元35在接近用户A和B的视点的位置设置用户A和B的公共视点，并且生成从该视点观看的对象的图像(视点图像)。在这种情况下，如图22所示，内部圆顶屏幕44向用户A和B展示从公共视点观看的对象的图像，从而不会干扰用户A和B观看图像。

图23显示如图6所示的执行上述处理(周围图像处理)的周围图像处理单元35的示例配置。视点缓冲器61接收从视点检测单元37(图6)输出的用户的视点。视点缓冲器61存储从视点检测单元37提供的视点。如果存在多个用户，如图6所示的视点检测单元37检测多个用户的视点，并将视点提供给视点缓冲器61。在这种情况下，视点缓冲器61存储从视点检测单元37提供的多个用户的所有视点。

视点处理单元62读取存储在视点缓冲器61中的用户的视点，根据需要对视点执行预定操作，并将结果提供给视点存储单元63。视点存储单元63存储从视点处理单元62提供的视点。视点方向计算单元64计算存储在视点存储单元63中的视点的方向(视点方向)，并将其提供给视点图像转换单元67。

帧存储器65一帧一帧地存储从分路器32(图6)提供的周围图像数据，读取周围图像数据并将其提供给图像选择单元66。类似于图14的帧存储器51那样构建帧存储器65，从而帧存储器65允许同时存储和读取周围图像数据。

图像选择单元66从由帧存储器65提供的周围图像数据选择生成与存储在视点存储单元63中的视点相关联的视点图像所需的图像数据。具体地说，周围图像数据是由放置多个照相机位置(如图4所示)的多个周围照相机22₁，22₂，22₃捕获的一组图像数据，并且令构成由周围照相机22_k捕获的周围图像数据的图像数据被称为照相机图像数据，图像选择单元66基于存储在视点存储单元63中的视点从周围图像数据中选择照相机图像数据。

然后，图像选择单元66将基于存储在视点存储单元63中的视点从周围图像数据中选择的图像数据(按原样或在对其进行处理后)提供给视点图像转换单元67，作为与视点相关联的视点图像数据。

视点图像转换单元67基于从视点方向计算单元64提供的视点方向并且基于内部圆顶屏幕44(图8)的形状，生成用于使用从图像选择单元66提供的视点图像数据在内部全向投影仪43(图8)的显示表面上显示图像的显示图像数据，并将其提供给帧存储器68。

如上所述的图像选择单元66和视点图像转换单元67构成了显示图像生成单元70，用于基于用户的视点和内部圆顶屏幕44(图8)的形状从周围图像数据生成显示图像数据。

帧存储器68存储从视点图像转换单元67提供的显示图像数据，并将显示图像数据提供给内部全向投影仪43(图8)。类似于图14所示的帧存储器51来构建帧存储器68，从而帧存储器68允许同时存储和读取显示图像数据。

控制器69参考帧存储器65中的周围图像数据的存储状态，控制视点处理单元62、视点方向计算单元64、图像选择单元66和视点图像转换单元67。

接下来，将参照图24描述图23的视点方向计算单元64执行的处理。视点方向计算单元64计算代表存储在视点存储单元63中的视点的方向(视点方向)的经度和纬度。

现在，令其中由内部全向投影仪43的光轴构成z轴、内部全向投影仪43的显示表面构成xy平面的一个三维坐标系统被称为周围图像显示坐标系统，视点方向计算单元64计算在从周围图像显示坐标系统的原点O观看的特定位置处的视点V(x，y，z)的方向，作为视点方向。

现在，参照周围图像显示坐标系统，令相对于xy平面上x轴的一个角为经度θ，相对于z轴的一个角为纬度Φ，具有经度θ和纬度Φ的点的方向被表示为方向(θ，Φ)，代表视点V(x，y，z)的视点方向(θ，Φ)的经度θ和纬度Φ可分别通过下述等式计算。

$\mathrm{\θ}={\tan }^{-1}\frac{y}{x}---\left(6\right)$

$\mathrm{\φ}=\frac{\mathrm{\π}}{2}-{\tan }^{-1}\frac{z}{\sqrt{x^2+y^2}}---\left(7\right)$

视点方向计算单元64根据等式(6)和(7)计算视点方向(θ，Φ)并将其提供给视点图像转换单元67。

接下来，将参照图25-27描述图23所示的显示图像生成单元70执行的处理。

为了在内部圆顶屏幕44(图8)上向用户显示从用户的视点观看的对象的视点图像，例如图25所示，从用户的视点的视点方向(θ，Φ)捕获的照相机图像数据必须作为视点图像以预定的范围显示在内部圆顶屏幕44上，以视点方向(θ，Φ)和内部圆顶屏幕44的交点U为中心。

现在，令视点图像，即从视点方向(θ，Φ)捕获的照相机图像数据被称为视点图像(θ，Φ)，以用户的视点的视点方向(θ，Φ)和内部圆顶屏幕44的交点U为中心的内部圆顶屏幕44上的预定范围被表示为显示区域(θ，Φ)，为了在显示区域(θ，Φ)中显示视点图像(θ，Φ)，必须将视点图像(θ，Φ)写入要在内部全向投影仪43(图8)的显示表面上显示的显示图像上的一个位置。

因此，在图23所示的显示图像生成单元70中，图像选择单元66选择视点图像(θ，Φ)，即从存储在视点存储单元63中的视点的视点方向(θ，Φ)捕获的照相机图像数据，并且视点图像转换单元67将视点图像(θ，Φ)映射到显示图像，从而可以在显示区域(θ，Φ)中显示视点图像(θ，Φ)。

现在，令其中由内部全向投影仪43的显示表面构成xy平面的二维坐标系统被称为显示表面坐标系统，并且其x坐标和y坐标称为x_a坐标和y_a坐标，如图26所示。此外，令其中由视点图像(θ，Φ)构成xy平面的二维坐标系统被称为视点图像坐标系统。如图26所示，以内部全向投影仪43的光轴和显示表面的交点作为显示表面坐标系统的原点O_a，而以矩形视点图像(θ，Φ)的中心(矩形视点图像(θ，Φ)的对角线交点)作为视点图像坐标系统的原点O。

为了在显示区域(θ，Φ)中显示视点图像(θ，Φ)，首先必须将视点图像(θ，Φ)映射到距离显示表面坐标系统的原点O_a一段与纬度Φ对应的距离g(Φ)的位置上，如图26所示。此外，为了在显示区域(θ，Φ)中显示视点图像(θ，Φ)，其次必须将视点图像(θ，Φ)逆时针旋转一个角度(π/2+θ)，如图27所示。

因此，视点图像转换单元67首先根据等式(8)计算视点图像(θ，Φ)的视点图像坐标系统的原点O在显示表面坐标系统中的坐标(x_ao，y_ao)。

$\left(\begin{array}{c}{x}_{\mathrm{so}}\\ y_{\mathrm{so}}\end{array}\right)=\left(\begin{array}{c}g\left(\mathrm{\φ}\right)\cos \mathrm{\θ}\\ g\left(\mathrm{\φ}\right)\sin \mathrm{\θ}\end{array}\right)---\left(8\right)$

在等式(8)中，函数g(φ)代表内部全向投影仪43(图8)的光学特性(由内部全向投影仪43的鱼眼镜头的投影方法确定)。

此外，令构成视点图像(θ，Φ)的像素Q的视点坐标系统中的坐标表示为Q(x_Q，y_Q)，其在显示表面坐标系统中的坐标表示为Q(x_aQ，y_aQ)，视点图像转换单元67根据等式(9)计算构成视点图像(θ，Φ)的像素Q在显示表面坐标系统中的坐标Q(x_aQ，y_aQ)。

$\left(\begin{array}{c}{x}_{\mathrm{so}}\\ y_{\mathrm{so}}\end{array}\right)=\left(\begin{array}{cc}\cos (\frac{\mathrm{\π}}{2}+\mathrm{\θ})& -\sin (\frac{\mathrm{\π}}{2}+\mathrm{\θ})\\ \sin (\frac{\mathrm{\π}}{2}+\mathrm{\θ})& \cos (\frac{\mathrm{\π}}{2}+\mathrm{\θ})\end{array}\right)\left(\begin{array}{c}{x}_Q\\ y_Q\end{array}\right)+\left(\begin{array}{c}{x}_{\mathrm{SO}}\\ y_{\mathrm{SO}}\end{array}\right)---\left(9\right)$

然后，视点图像转换单元67将构成视点图像(θ，Φ)的每个像素Q(x_Q，y_Q)的像素值写入帧存储器68中与由等式(9)表示的坐标(x_aQ，y_aQ)相对应的位置上，由此将视点图像(θ，Φ)转换成显示图像。

接下来，将参照图28和29描述图23所示的周围图像处理单元35执行的处理(周围图像处理)。

控制器69监控帧存储器65，并且在帧存储器65开始存储周围图像数据时开始周围图像处理。

更具体地说，在周围图像处理中，首先在步骤S21，控制器69在变量i中设置初始值，例如1，用于对帧的数量进行计数。然后处理进入步骤S22。

在步骤S21中将变量i设置为1的过程以及如下所述的在步骤S23中将变量i递增的过程分别与前面参照图18描述的在步骤S1中将变量i设置为1的过程及步骤S11中将变量i递增的过程同步执行。即，广角图像处理单元33中的广角图像处理和周围图像处理单元35中的周围图像处理在同一帧上同步执行。因此，广角图像显示单元34和周围图像显示单元36同步显示相同帧的沉浸图像和鸟瞰图像。

在步骤S22中，控制器69在变量n中设置初始值，例如1，用于对用户数量进行计数，然后处理进入步骤323。在步骤S23中，视点处理单元62从视点缓冲器61读取用户#n的视点，并将其寄存在视点存储单元63中。

更具体地说，视点检测单元37(图6)例如，以帧周期，检测存在于外部圆顶屏幕42(图7)中的所有用户的视点，并用最新检测到的视点更新存储在视点缓冲器61中的内容。在步骤S23中，视点处理单元62在第i帧的时刻读取存储在视点缓冲器61中的用户#n的视点，并将其寄存在视点存储单元63中。用户#n的视点可以例如与代表用户#n的ID(标识)一同存储在视点存储单元63中。

在视点处理单元62已在视点存储单元63中寄存了用户#n的视点后，处理进入步骤S24，其中控制器69确定变量n是否等于存在于外部圆顶屏幕42(图7)中的用户总数N。如果在步骤S23确定变量n不等于N，那么处理进入步骤S25，其中控制器69使变量n递增1 。然后处理返回步骤S23，并重复相同处理。

另一方面，如果在步骤S24确定变量n等于N，即当已在视点存储单元63中存储了存在于外部圆顶屏幕42(图7)中的所有用户的视点时，处理进入步骤S26。在步骤S26，控制器69在代表要在视点选择单元66中处理的视点的总数的变量M中设置存在于外部圆顶屏幕42(图7)中的用户的总数N作为初始值。然后处理进入步骤S27。

在步骤S27中，控制器69在变量m中设置初始值，例如1，用于对视点数量进行计数，并且在指示是否存在短范围视点的标志中设置一个初始值，例如0表示不存在短范围视点，如下所述。然后处理进入步骤S28。

在步骤S28中，视点处理单元62，相对于存储在视点存储单元63中的M个视点中的第m个视点，计算到其他(M-1)个相应视点的距离(视点距离)，并检测视点距离不大于(或距离小于)预定阈值TH1的视点作为第m个视点的短范围视点。然后处理进入步骤S29，其中视点处理单元62确定是否存在第m个视点的短范围视点。

如果在步骤S29确定不存在第m个视点的短范围视点，即，如果未在视点存储单元63中存储(寄存)与第m个视点的视点距离不大于阈值TH1的视点，则跳过步骤S30到S34并且处理进入步骤S35。

另一方面，如果在步骤S29确定存在第m个视点的短范围视点，即，如果视点存储单元63中存储(寄存)了与第m个视点的视点距离不大于阈值TH1的视点(短范围视点)，则处理进入步骤S30。在步骤S30，控制器69例如在标志上设置1，表示存在短范围视点，然后处理进入步骤S31。

如果已在标志中置1，则步骤S30中的处理可以跳过。

在步骤S31，视点处理单元62在存储于视点存储单元63中的视点中检测确定为第m个视点的短范围视点的视点的个数，并且进一步检测短范围视点和第m个视点的重心(两个相关对象的质量中心)。

然后，处理进入步骤S32，其中视点处理单元62通过进行覆盖，将在步骤S31计算的重心作为第m个视点寄存(写入)视点存储单元63中，然后处理进入步骤S33。在步骤S33中，视点处理单元62从存储于视点存储单元63中的视点中删除确定为第m个视点的短范围视点的视点，然后处理进入步骤S34。

在步骤S34，控制器69从代表要在视点选择单元66中处理的总共M个视点的变量M中减去在步骤S31检测的短范围视点个数，并将相减得到的值新设置为变量M，然后处理进入步骤S35。即，由于在步骤S33中从存储在视点存储单元63中的视点删除了短范围视点，在步骤S34中使变量M的值减少删除的短范围视点数。

因此，通过图28虚线包围的步骤S28到步骤S34的处理，检测与第m个视点距离近的一个或多个视点，并且一个或多个视点及第m个视点集成在这些视点的重心的位置上。

在步骤S35中，控制器69确定变量m是否等于变量M，即存储在视点存储单元63中的视点个数M。如果在步骤S35确定变量m不等于变量M，则处理进入步骤S36，其中，控制器69使变量m加1。然后，处理返回步骤S28并重复相同的过程。

另一方面，如果在步骤S35确定变量m等于变量M，则处理进入步骤S37，其中控制器69确定标志是否等于1。如果在步骤S37确定标志等于1，即如果在存储于视点存储单元63中的视点中存在在先前的步骤S28到步骤S36的环路处理中集成的视点并且如果视点可以被进一步集成，则处理返回步骤S27，并且重复相同的过程。

另一方面，如果在步骤S37确定标志不等于1，即如果标志仍为0(如在步骤S27所设置)并且如果存储于视点存储单元63中的视点中不存在与其他视点的距离不大于阈值TH1的视点，则处理进入如图29所示的步骤S41。在步骤S41中，控制器69对变量m设置初始值，例如1，用于对视点个数进行计数，然后处理进入步骤S42。在步骤S42中，图像选择单元66计算存储在视点存储单元66中的第m个视点与构成周围成像单元12的周围照相机22_k的照相机视点间的距离作为照相机距离。

周围照相机22_k的照相机视点是指与周围图像数据多路复用、按预定归一化因子β归一化(相除)的照相机位置。归一化因子β例如可以是通过将从原点到用户在周围图像显示坐标系统中能获得的最远的视点的距离除以从原点到离对象最远的周围照相机22_k的距离而获得的值。

在步骤S42的处理之后，处理进入步骤S43，其中图像选择单元66计算在步骤S42中为第m个视点计算的照相机距离中的最小值Dmin作为最小照相机距离。在步骤S44中，图像选择单元66确定第m个视点的最小照相机距离Dmin是否不大于(或者小于)预定阈值TH2。

如果在步骤S44确定第m个视点的最小照相机距离Dmin不大于预定阈值TH2，即，如果具有最小照相机距离Dmin的照相机视点接近第m个视点并可因此视为第m个视点，则处理进入步骤S45。在步骤S45，图像选择单元66从存储在帧存储器65中的周围图像数据中选择由具有带有最小照相机距离Dmin的照相机视点的周围照相机22_k捕获的第i帧照相机图像作为第m个视点的视点图像，并将其提供给视点图像转换单元67。然后处理进入步骤S49。

另一方面，如果在步骤S44确定第m个视点的最小照相机距离Dmin大于预定阈值TH2，即，如果具有最小照相机距离Dmin的照相机视点不接近于第m个视点并因此不能被看作第m个视点，则处理进入步骤S47。在步骤S47中，图像选择单元66检测为第m个视点计算的第二最小照相机距离作为第二照相机距离D₂，并从存储在帧存储器65中的周围图像数据中选择两个照相机图像，即由具有带有最小照相机距离Dmin的照相机视点的周围照相机22_k捕获的第i帧照相机图像，以及由具有带有第二照相机距离D₂的照相机视点的周围照相机22_k捕获的第i帧照相机图像。此外，在步骤S47中，图像选择单元66按第二照相机距离D₂和最小照相机距离Dmin的比率D₂∶Dmin，将由具有带有最小照相机距离Dmin的照相机视点的周围照相机22_k捕获的第i帧照相机图像与由具有带有第二照相机距离D₂的照相机视点的周围照相机22_k捕获的第i帧照相机图像组合，由此生成合成的图像。

即，令构成由具有带有最小照相机距离Dmin的照相机视点的周围照相机22_k捕获的第i帧照相机图像的第c个像素表示为p_c，而构成由具有带有第二照相机距离D₂的照相机视点的周围照相机22_k捕获的第i帧照相机图像的第c个像素表示为q_c，图像选择单元66通过根据公式(D₂×p_c+D_min×q_c)/(D₂+D_min)组合像素p_c和q_c生成合成像素，并生成包括这种合成像素的合成图像。

尽管上例中使用两个照相机图像生成合成的图像，但也可使用三个或多个照相机图像。

然后处理进入步骤S48，其中图像选择单元66选择在步骤S47生成的合成图像作为第m个视点的视点图像，并将其提供给视点图像转换单元67。然后处理进入步骤S49。

在步骤S49中，将第m个视点的视点图像转换为显示图像。更具体地说，在步骤S49，视点方向计算单元64计算存储在视点存储单元63中的第m个视点的视点方向(θ，Φ)，并将其提供给视点图像转换单元67。视点图像转换单元67基于从视点方向计算单元64提供的第m个视点的视点方向(θ，Φ)，计算一个显示图像的位置，从图像选择单元66提供的第m个视点的视点图像的每个像素都要根据等式(8)和(9)映射到该处。然后，视点图像转换单元67将第m个视点的视点图像的每个像素映射到(写入)帧存储器68中与这样计算的显示图像的位置对应的位置(地址)上。然后处理进入步骤S50。

然后，对应于写入帧存储器68的显示图像的光束从内部全向投影仪43发出，由此，内部圆顶屏幕44显示从第m个视点观看的对象的图像。

在步骤S50中，控制器69确定变量m是否等于存储在视点存储单元63中的视点的总数M。如果在步骤S50确定变量m不等于M，则处理进入步骤S51，其中控制器69使变量m递增1。然后处理返回步骤S42，并且重复相同的处理。

另一方面，如果在步骤S50确定变量m等于M，即如果存储在视点存储单元63中的所有视点的视点图像已被转换为显示图像，并且显示图像已写入帧存储器68，则内部全向投影仪43(图8)发出对应于存储在帧存储器68中的显示图像的光束作为第i帧的图像。相应地，内部圆顶屏幕44在根据相应的视点的位置上显示从第一到第M个视点观看的对象的鸟瞰图像。

然后，处理进入步骤S52，其中控制器69参考帧存储器65以确定第i帧是否为最后一帧。如果在步骤S52确定第i帧不是最后一帧，即如果第i帧后面的帧的周围图像数据存储在帧存储器65中，则处理进入步骤S53。在步骤S53，控制器69使变量i递增1。然后处理返回步骤S22，如图28所示，并且重复相同的处理。

另一方面，如果在步骤S52确定第i帧是最后一帧，即如果第i帧后面的帧的周围图像数据未存储在帧存储器65中，则退出周围图像处理。

如上所述，在显示系统2中，在外部圆顶屏幕42的内表面上显示第i帧的沉浸图像，并且在内部圆顶屏幕44的外表面上显示第i帧的鸟瞰图像。相应的，允许用户体验由沉浸图像提供的沉浸感，还允许用户通过鸟瞰图像容易地知道他/她自己的位置。

因此，例如，如果图1的成像/显示系统用于对体育节目进行成像和显示，连续地放置成像系统1的多个周围照相机22_k(图4)，以围绕进行体育赛事的体育场，并且将全向照相机21(图3)放置在体育场的中央，以允许进行成像。相应的，允许显示系统显示提供存在感到图像。

此外，内部圆顶屏幕44根据用户视点在根据用户视点的位置上显示鸟瞰图像，从而展示给用户的鸟瞰图像随着用户移动他/她的视点而变化。因此，允许用户“浏览”(look into)对象，即，移动他/她的视点以观看从特定视点观看时被隐藏的对象。此外，从多个用户的相应视点观看的对象的鸟瞰图像可以被展示给多个用户。

此外，通过显示系统2，例如，外部圆顶屏幕42(图7)显示远处的鱼、动物等，而内部圆顶屏幕44(图8)显示近处的鱼、动物等，由此虚拟地实现了诸如水族馆或动物园之类的自然观看设施。

此外，显示系统2允许显示诸如计算机图形的人工生成图像，而不是实际捕获的图像。即，显示系统2允许显示宇宙空间的计算机图形图像、分子的显微结构等。在这种情况下，提供允许用户从直觉上获得通常不能被视觉识别的结构的接口。

此外，显示系统2例如可用于显示称为视频游戏中的图像。

由图6所示的广角图像处理单元33和周围图像处理单元35执行的一系列处理步骤可由硬件或软件执行。当所述一系列处理步骤由软件执行时，例如在通用计算机上安装构成软件的程序。

图30显示了根据一个实施例将在其上安装执行所述一系列处理步骤的程序的计算机。

程序可以预先存储在硬盘105或ROM 103中，这是计算机中的记录介质。

或者，程序可以暂时或永久地存储(记录)在诸如软盘、CD-ROM(光盘只读存储器)、MO(磁光)盘、DVD(数字多用途盘)、磁盘或半导体存储器之类的可移除记录介质111中。可移除记录介质111可以作为所谓的软件包提供。

除如上所述将程序从记录介质111安装在计算机上外，还可以将程序以无线方式通过用于数字卫星广播的人造卫星从下载站传送到计算机，或者以有线方式通过诸如LAN(局域网)和因特网之类的网络传送，从而传送给计算机的程序将由通信单元108接收并可以安装在内部硬盘105上。

计算机包括CPU(中央处理器)102。CPU 102通过总线101与输入/输出接口相连。当CPU 102接收用户通过操作输入单元107(包括例如键盘、鼠标和麦克风)发出的命令的输入，CPU 102根据命令执行存储在ROM(只读存储器)103中的程序。或者，CPU 102将存储在硬盘105中的程序，通过卫星或网络传送、由通信单元108接收并安装在硬盘105上的程序或者从可移除记录介质111读取并安装在硬盘105上的程序加载到RAM(随机存取存储器)中并执行。CPU 102因此根据流程图执行上述处理，或者如框图中所示的装置执行的处理。CPU 102然后通过输入/输出接口从输出单元106(包括例如LCD(液晶显示器)和扬声器)输出处理结果，从通信单元108发送它或者根据需要将其记录在硬盘105上。

定义用于允许计算机执行在本说明书中的各种处理的程序的处理步骤不一定按流程图所示的时间顺序执行，而是可以并行或单独执行(例如并行处理或使用对象的处理)。

此外，程序可由单个计算机执行或通过具有多个计算机的分布式处理执行。此外，程序可以被传送到远程计算机并由远程计算机执行。

在显示系统2中，记录在记录介质3(图1)上的图像可以以离线方式显示，并且通过传输介质4传输的图像可以以实时方式显示。

此外，如上所述，内部全向投影仪43(图8)发出对应于显示图像的光束，光束背投影到内部圆顶屏幕44(图8)上；因此，当显示视点图像时，视点图像的左、右被反转。为了避免在内部圆顶屏幕44上显示左右反转的视点图像，例如，作为视点图像的原始左侧和右侧必须预先反转。这一反转可由周围图像处理单元35的图像选择单元66(图23)执行。或者，可以在由成像系统1的周围照相机22_k(图4)捕获照相机图像时以光学方式进行照相机图像的左右反转。

此外，在本实施例中，内部全向投影仪43(图8)发出对应于显示图像的光束，并且光束被背投影到内部圆顶屏幕44(图8)上，由此显示视点图像。在这种情况下，必须考虑内部圆顶屏幕44(图8)的形状来生成视点图像。更具体地说，考虑视点图像为矩形，当矩形视点图像被映射到显示图像的特定位置时，由内部全向投影仪43发出与显示图像对应的光束，由此在内部圆顶屏幕44上显示视点图像，因为矩形视点图像投影到具有半球形形状的内部圆顶屏幕44的球形表面，显示在内部圆顶屏幕44上的视点图像变形。因此，为了内部圆顶屏幕44能以矩形显示视点图像而没有变形，视点图像转换单元67(图23)必须转换视点图像并基于内部圆顶屏幕44的形状将其映射到显示图像上。

然而，在本实施例中，内部圆顶屏幕44(图8)的半径大到一定程度，并且显示视点图像的范围可以被看作平坦的。这时，视点图像的转换和基于内部圆顶屏幕44形状将其映射到显示图像是可选的。

此外，尽管在本实施例的成像系统1中仅设置了一个周围成像单元12(图2)，但是可以设置多个周围成像单元。这时，装置可以是其中多个周围成像单元捕获空间上或暂时分离的多个对象的图像，并且显示系统2处理通过叠加多个对象的图像获得的图像作为照相机图像。

此外，图6所示的广角图像处理单元33、周围图像处理单元35和视点检测单元37可以位于成像系统1(图2)中，而不是显示系统1中。

本专利说明书包含涉及于2002年10月4日向日本专利局提出的申请号为P2002-291819的日本优先权文档中公开的主题，其全部内容引用于此，作为参考。

方便起见，下列附图标记在所有附图中使用，以标识根据本发明的一个或多个实施例中采用的各种部件。1：成像系统；2：显示系统；3：记录介质；4：传输介质；11：广角成像单元；12：周围成像单元；13：多路复用器；14：记录/发送单元；21：全向照相机；22_k：周围照相机；31：回放/接收单元；32：分路器；33：广角图像处理单元；34：广角显示单元；35：周围图像处理单元；36：周围图像显示单元；37：视点检测单元；41：外部全向投影仪；42：外部圆顶屏幕；43：内部全向投影仪；44：内部圆顶屏幕；51：帧存储器；52：广角图像转换单元；53：图像角度校正单元；54：纬度-经度图像转换单元；55：帧存储器；56：控制器；61：视点缓冲器；62：视点处理单元；63：视点存储单元；64：视点方向计算单元；65：帧存储器；66：图像选择单元；67：视点图像转换单元；68：帧存储器；69：控制器；70：显示图像生成单元；101：总线；102：CPU；103：ROM；104：RAM；105：硬盘；106：输出单元；107：输入单元；108：通信单元；109：驱动器；110：输入/输出接口；111：可移除记录介质。

Claims (9)

1.一种图像处理设备，用于处理从多个位置捕获的图像，并用投影仪生成被投影以便向具有预定3维形状的内部显示表面显示的投影图像，所述图像处理设备包括：

图像选择机制，用于基于用户的视点，从分别从多个位置捕获的图像中选择从用户的视点观看的预定对象的视点图像；和

视点图像转换机制，用于基于用户的视点和内部显示表面的预定3维形状将视点图像转换为投影的图像。

2.根据权利要求1所述的图像处理设备，还包括用于检测用户视点的视点检测器。

3.根据权利要求1所述的图像处理设备，还包括多个成像设备。

4.根据权利要求1所述的图像处理设备，其中：

图像选择机制选择分别与多个用户视点关联的视点图像；

视点图像转换机制用于转换分别与多个用户视点关联的视点图像，以生成投影的图像；和

显示机制，用于显示投影的图像，以显示分别从多个用户视点观看的预定对象的显示图像。

5.根据权利要求1所述的图像处理设备，还包括集成机制，用于将多个用户视点集成为集成的单个视点，

其中图像选择机制用于从分别从多个成像设备捕获的图像选择分别与多个用户视点关联的视点图像，并从视点图像生成单个视点的视点图像；

并且其中视点图像转换机制用于将单个视点的视点图像转换为投影的图像。

6.根据权利要求5所述的图像处理设备，

其中图像选择机制用于根据各用户视点与集成的单个视点的距离，计算分别与多个用户视点关联的视点图像的加权和，以便生成单个视点的视点图像。

7.根据权利要求5所述的图像处理设备，其中集成机制用于将多个用户视点集成到多个用户视点的重心的位置。

8.根据权利要求5所述的图像处理设备，还包括：

视点距离计算器，用于计算多个用户视点间的距离，

其中集成机制用于将视点距离不大于预定距离的多个用户视点集成为集成的单个视点。

9.一种图像处理方法，用于处理从多个位置捕获的图像，并用投影仪生成投影向显示表面的投影图像，所述图像处理方法包括以下步骤：

基于用户的视点，从分别从多个位置捕获的图像中选择根据用户的视点的对象的视点图像；和

基于用户的视点和显示表面的形状将视点图像转换为投影的图像。

Images