CN102194206B - 绘画图像共有装置、绘画图像共有方法 - Google Patents

Abstract

本发明涉及能够在不同地点共同享有绘画图像的绘画图像共有装置以及绘画图像共有方法。其目的在于提高绘画对象体所显示的图像的视觉性能以及绘画图像共有的实时性能。本发明的绘画图像共有装置在用图像供给装置显示其他地点的绘画图像之前取得本地点中显示在绘画对象体上的显示图像，而且生成所取得的显示图像与存放在数据缓冲器中的他地点的绘画图像之间的差分图像，并将该差分图像作为本地点的绘画图像送往他地点的绘画图像共有装置。而后，将他地点的绘画图像存入数据缓冲器。

Description

绘画图像共有装置、绘画图像共有方法

技术领域

本发明涉及共有绘画图像，具体涉及能够在不同地点共同享有绘画图像的绘画图像共有装置以及绘画图像共有方法。

背景技术

现有技术中存在一种用于向远距离会议等提供绘画图像的技术，该技术用照相机等拍摄画在各个地点的白板或黑板等绘画对象体上的图像，并用投影机等将该图像投影到其他地点的绘画对象体上，来提供多个画在绘画对象物上图像。

例如，专利文献1(JP特开2005-203886号公报)公开了一种远距离会议援助系统，该系统具备在各个远距离地点投影投影图像的投影机、以及向投影机发送需要投影的原图像的服务器，各台投影机具备摄影装置以及送信装置，该摄影装置用于拍摄写入到投影了投影图像的屏幕上的写入图像，该送信装置用于将摄影装置拍摄的写入图像送往服务器，服务器具有合成装置以及传送装置，该合成装置将来自一方投影机的写入图像合成到原图像上，该传送装置将合成装置合成的图像送往另一方的投影机。

但是，专利文献1公开的系统需要以一定的时间间隔终端投影机的投影，用以拍摄写入图像，从而造成了显示在屏幕上的图像的视觉性能变差。

而且，该绘画图像共有系统在拍摄被投影到绘画对象体上的图像时，需要让摄影处理待机，一直等到投影图像呈安定状态，以确保摄影图像质量。而在绘画图像共有装置中，因实行上述待机处理，使得该处理时间变长，影响到来自其他地点的绘画图像的投影效率，从而造成绘画图像共有的实时性能受到损害。

发明内容

本发明的目的在于解决上述问题，提供一种能够提高显示在绘画对象体上的图象的视觉性能和绘画图像共有的实时性能的绘画图像共有装置以及绘画图像的共有方法。本发明具体提供以下装置和方法，即：

(1)本发明的一个方面在于，提供一种绘画图像共有装置，用于在不同地点共有绘画图像，其中包括：共有图像取得装置，用于取得需要与其他地点共有且显示在绘画对象体上的共有区域的图像；图像供给装置，用于将收到的来自其他地点的绘画图像显示在绘画对象体上；数据缓冲器，其中保存收到的来自其他地点的绘画图像；差分图像生成装置，用于生成该数据缓冲器中保存的绘画图像与该共有图像取得装置所取得的绘画图像之间的差分图像；以及，图像送信装置，用于向该其他地点的绘画图像共有装置发送该差分图像，所述共有图像取得装置在该图像供给装置显示绘画图像之前取得共有区域的图像。

(2)本发明的另一个方面在于，提供一种根据(1)所述的绘画图像共有装置，其中，所述数据缓冲器中存放在所述差分图像生成装置生成所述差分图像之后收到的来自其他地点的绘画图像；所述差分图像生成装置利用所述数据缓冲器中既存的绘画图像和所述共有图像取得装置所取得的图像来生成差分图像。

(3)本发明的另一个方面在于，提供一种绘画图像共有装置，用于在不同地点共有绘画图像，其中包括：共有图像取得装置，用于取得需要与其他地点共有且显示在绘画对象体上的共有区域的图像；图像供给装置，用于将收到的来自其他地点的绘画图像显示在绘画对象体上；数据缓冲器，其中保存收到的来自其他地点的绘画图像；差分图像生成装置，用于生成该数据缓冲器中保存的绘画图像与该共有图像取得装置所取得的绘画图像之间的差分图像；以及，图像送信装置，用于向该其他地点的绘画图像共有装置发送该差分图像，所述共有图像取得装置在所述图像供给装置显示所述绘画图像后经过一定时间之后，取得所述绘画对象体上显示的共有区域的图像。

(4)本发明的另一个方面在于，提供一种绘画图像共有装置，用于在不同地点共有绘画图像，其中包括：图像供给装置，用于将收到的来自其他地点的绘画图像显示在绘画对象体上；共有图像取得装置，用于在该图像供给装置显示该绘画图像后经过一定时间之后，取得需要与其他地点共有且显示在绘画对象体上的共有区域的图像；数据缓冲器，其中保存收到的来自其他地点的绘画图像；差分图像生成装置，用于生成该数据缓冲器中保存的绘画图像与该共有图像取得装置所取得的绘画图像之间的差分图像；以及，图像送信装置，用于向该其他地点的绘画图像共有装置发送该差分图像，所述共有图像取得装置和所述差分图像生成装置以及所述所述图像送信装置、与所述图像供给装置并列实行处理。

(5)本发明的另一个方面在于，提供一种根据(4)所述的绘画图像共有装置，其中，所述差分图像生成装置按照RGB各色成分，计算所述共有图像取得装置取得的图像中的对象像素的平均差分值与存放在所述数据缓冲器中与该对象像素相对应的绘画图像的像素的平均差分值之间的差分值，合成以该差分值作为该各色成分的值的像素，并生成该差分图像，该平均差分值是从对象像素的辉度值减去对象像素的周围区域的辉度值的平均值所求出的辉度值。

(6)本发明的另一个方面在于，提供一种根据(4)所述的绘画图像共有装置，其中，所述差分图像生成装置按照RGB各色成分，计算所述共有图像取得装置取得的图像中的对象像素的平均比率值，而后，计算该平均比率值、与对应于该对象像素的所述绘画图像的对象像素的辉度值之间的差分值，合成以该差分值作为该各色成分的值的像素，并生成所述差分图像，该平均比率值是所述取得的图像中的对象像素的辉度值、与该对象像素的周围区域的辉度值的平均值之比乘以所述取得的图像的背景色的辉度值而得到的辉度值。

(7)本发明的另一个方面在于，提供一种根据(1)至(6)中任意一项所述的绘画图像共有装置，其中，所述共有图像取得装置让所述摄影装置拍摄所述共有区域的图像，并取得该共有区域的图像。

(8)本发明的另一个方面在于，提供一种根据(1)至(6)中任意一项所述的绘画图像共有装置，其中，所述图像供给装置向投影装置提供收到的来自其他地点的绘画图像，并投影到绘画对象体上。

(9)本发明的另一个方面在于，提供一种根据(7)所述的绘画图像共有装置，其中，所述图像供给装置让投影装置投影标记图像，该标记图像用于规定所述共有区域；该共有图像取得装置让摄影装置拍摄接受投影装置投影的绘画对象体并取得摄影图像，从包含在该摄影图像中的标记图像的标记的坐标值来确定所述共有区域。

(10)本发明的另一个方面在于，提供一种根据(7)所述的绘画图像共有装置，其中，所述图像供给装置让投影装置将白纸图像投影到绘画对象体上；该共有图像取得装置让摄影装置拍摄该绘画对象体，并取得摄影图像，利用包含在该摄影图像中的白纸图像的区域与该白纸图像以外的区域之间的辉度差，来确定该共有区域。

(11)本发明的另一个方面在于，提供一种根据(7)所述的绘画图像共有装置，其中，所述共有图像取得装置对摄影图像施加透视投影转换。

(12)本发明的另一个方面在于，提供一种根据(7)所述的绘画图像共有装置，其中，所述差分图像生成装置对投影图像施加膨胀处理，而后生成差分图像。

(13)本发明的另一个方面在于，提供一种根据(7)所述的绘画图像共有装置，其中，所述差分图像生成装置对所述差分图像实行过滤处理，切除黄色成份。

(14)本发明的另一个方面在于，提供一种根据(7)所述的绘画图像共有装置，其中，所述差分图像生成装置对所述差分图像施加提高色强度的补偿。

(15)本发明的另一个方面在于，提供一种绘画图像共有方法，其为绘画图像共有装置实行的数据处理方法，其通过该绘画图像共有装置实行以下步骤：共有图像取得步骤，取得需要与其他地点共有且显示在绘画对象体上的共有区域的图像；图像供给步骤，将收到的来自其他地点的绘画图像显示在绘画对象体上；差分图像生成步骤，生成保存在数据缓冲器中的其他地点的绘画图像与所述共有区域的图像之间的差分图像；数据缓冲器保存步骤，将收到的来自其他地点的绘画图像存入数据缓冲器；以及，图像送信步骤，向该其他地点的绘画图像共有装置发送该差分图像，其中，在所述图像供给步骤之前实行所述共有图像取得步骤。

(16)本发明的另一个方面在于，提供一种绘画图像共有方法，其为绘画图像共有装置实行的数据处理方法，其通过该绘画图像共有装置实行以下步骤：共有图像取得步骤，取得需要与其他地点共有且显示在绘画对象体上的共有区域的图像；图像供给步骤，将收到的来自其他地点的绘画图像显示在绘画对象体上；差分图像生成步骤，生成保存在数据缓冲器中的其他地点的绘画图像与所述共有区域的图像之间的差分图像；数据缓冲器保存步骤，将收到的来自其他地点的绘画图像存入数据缓冲器；以及，图像送信步骤，向该其他地点的绘画图像共有装置发送该差分图像，其中，在所述图像供给步骤结束后经过一定时间之后实行所述共有图像取得步骤。

(17)本发明的另一个方面在于，提供一种绘画图像共有方法，其为绘画图像共有装置实行的数据处理方法，其通过该绘画图像共有装置实行以下步骤：图像供给步骤，将收到的来自其他地点的绘画图像显示在绘画对象体上；共有图像取得步骤，在显示该绘画图像后经过一定时间之后，取得需要与其他地点共有且显示在绘画对象体上的共有区域的图像；差分图像生成步骤，生成保存在数据缓冲器中的其他地点的绘画图像与所述共有区域的图像之间的差分图像；以及，图像送信步骤，向该其他地点的绘画图像共有装置发送该差分图像，其中，所述共有图像取得步骤和所述差分图像生成步骤以及所述所述图像送信步骤、与所述图像供给步骤并列实行。

本发明的绘画图像共有装置在用图像供给装置显示其他地点的绘画图像之前取得本地点的显示在绘画对象体上的显示图像。而且，生成所取得的显示图像与存放在数据缓冲器中的其他地点的绘画图像之间的差分图像，并将该差分图像作为本地点的绘画图像送往其他地点的绘画图像共有装置。而后，将他地点的绘画图像存入数据缓冲器。这样便不再需要稳定显示图向所需的显示处理后的待机处理，有利于从整体上缩短了绘画图像共有装置实行处理的时间，从而便增加了单位时间的发送的绘画图像数量，提高了绘画图像共有系统的实时性能。进而，本发明将其他地点的绘画图像共有装置发送本地点的绘画图像即差分图像，从而能够避免绘画图像重叠所带来的回波现象，进一步提高投影图像的视觉性能。

本发明能够提供一种能够提高显示在绘画对象体上的图象的视觉性能和绘画图像共有的实时性能的绘画图像共有装置以及绘画图像的共有方法。

附图说明

图1是本发明实施方式的绘画图像共有系统的示意图。

图2是本实施方式的绘画图像共有装置的功能结构的示意图。

图3是本实施方式的绘画图像共有装置在收到来自其他地点的绘画图像时实行的处理的流程图。

图4是本实施方式的差分图像生成部实行差分图像生成处理的流程图。

图5是本实施方式的差分图像生成部实行的平均比率计算处理的流程图。

图6是另一实施方式的差分图像生成部实行的平均差分值计算处理的流程图。

图7是本实施方式的差分图像生成部实行的差分计算处理的流程图。

图8A和图8B是另一个实施方式的绘画图像共有装置实行的处理流程图。

图9A和图9B进一步显示其他实施方式的绘画图像共有装置实行的处理的流程图。

具体实施方式

以下说明本发明的实施方式，但是本发明并不局限于下述的实施方式。

图1显示了本发明实施方式的绘画图像共有系统100。该绘画图像共有系统100包括两个地点110a和110b。地点110a和地点110b通过英特网或LAN、WAN互相连接。本实施方式为了便于说明，采用了包含两个地点的构成，除此之外，还可以有包括多个地点的绘画图像共有系统的实施方式，另外，绘画图像共有系统中的地点还可用专用线来连接。

地点110a包括绘画对象体112a、投影装置114a、摄影装置116a、以及绘画图像共有装置118a。地点110b的构成与地点110a相同，在此省略说明。

绘画对象体112a例如有白板、黑板、或纸张等物，其不但能够用于显示投影装置114a投影的图像，而且地点11a的用户能够在其上书写文字或绘图等。在本实施方式的绘画对象体112a上，写有地点110a的用户描写的绘画图像即绘画文字1130，同时，还投影了地点110b的用户绘制的绘画图像即文字1132。

本实施方式采用投影机作为投影装置，投影装置114a用于投影来本地点110b的绘画图像。如图1所示，投影装置114a将地点110b的绘画文字1132投影到地点110a的绘画对象体112a上。本实施方式采用用绘画对象体112a和投影装置114a来显示图像的结构，除此之外，还可以用液晶或等离子等显示装置来取代绘画对象体112a和投影装置114a。此时，可在显示装置上设置具有透射性能的薄膜或板材，用户在该薄膜等上描写文字等绘画图像。

摄影装置116a用于拍摄绘画对象体112a上描写的绘画图像、或者拍摄显示在绘画对象体112a上的显示图像即投影图像，本实施方式可以采用数码照像机、数码录像机、WEB相机等摄影装置。在本实施方式中，当绘画图像共有装置118a收到地点110b的绘画图像时，摄影装置116a根据绘画图像共有装置118a的指示对绘画对象体112a进行拍摄。除此之外，摄影装置116a还可以在绘画图像共有装置118a的控制下以一定间隔来拍摄绘画对象体112a。

绘画图像共有装置118a从本地点110a的绘画图像对象体112a的摄影图像中抽取绘画图像并将其送往其他地点110b，或者从其他地点110b接收绘画图像并将该绘画图像显示到绘画对象体112a上，从而能够在多个地点之间共有绘画图像。本实施方式中的绘画图像共有装置118a采用笔记本式或台式等电脑。

绘画图像共有装置118a中搭载PENTIUM(登录商标)处理器或互换处理器，在WINDOWS(登录商标)系列、MAC(登录商标)OS、UNIX(登录商标)、LINUX(登录商标)等操作系统的管理下，执行以汇编语言、C、C++、Java(登录商标)、Java Script、PERL、RUBY、PYTHON等程序语言编制的本实施方式的程序。绘画图像共有装置118a中包括RAM，用于提供执行程序的执行空间，还包括硬磁盘装置(HDD)，用于持续保存程序或数据等。通过该程序的执行，该信息处理装置上实现本实施方式的各种功能。进而，绘画图像共有装置118a具有投影装置114a以及摄影装置116a等周围设施，或者具有连接网络120的接口，通过该接口与周围设施或其他地点110b的绘画图像共有装置118b进行数据通信，如收发绘画图像的信息的等。

本实施方式的各种功能通过上述程序语言等汇编的可在装置中实行的程序得以实现，本发明的程序可装入硬磁盘装置、CD-ROM、MO、软磁盘、EEPROM、EPROM等可读记录介质中出售、或者以其他装置可读的格式通过网络传送。

本实施方式的绘画图像共有系统利用投影装置和摄影装置、当本发明并不受此限制。

图2显示本实施方式的绘画图像共有装置118a的功能结构200。该绘画图像共有装置118a包括图像收信部210、共有图像取得部212、以及图像供给部214。

图像收信部210具有通过网络120接收其他地点发送的绘画图像的功能。图像收信部210将收到的其他点的绘画图像存放到RAM等存储装置中，并通知共有图像取得部212。

共有图象区的部212具有取得显示在绘画对象体上共有区域中的图像的功能，该图像需要与绘画图像共有系统中的其他地点共同享有。本实施方式的共有图像取得部212让摄影装置116a拍摄绘画图像以及投影图像，并取得该摄影图像。共有图像取得部212对摄影装置116a拍摄的摄影图像施加透视投影转换后实行图像补偿，如梯形失真补偿或纵横比补偿以及转动补偿等。

共有图象取得部212利用标记图像来确定共有区域，并计算共有区域的大小，该标记图像为图1所示的、包括规定显示图像共有区域的标记1120、1122、1124、1126的图像数据。共有图像取得部212收到来自下述图像供给部214的有关结束投影标记图像的通知后，让摄影装置116a拍摄绘画对象体112a，并从摄影装置116a中取得摄影图像，对该摄影图像施加透视投影转换。共有图像取得部212检测摄影图像中包含的各个标记的坐标值，将其作为共有区域的角点的坐标，以确定共有区域。而后，共有图像取得部212根据该共有区域的角点坐标值计算共有区域大小，并将该共有区域的角点坐标值以及该共有区域大小存入RAM或HDD等存储装置。

此外，共有图像取得部212还可以不利用标记图像来确定共有区域且计算该共有区域大小。此时，图像供给部214让投影装置投影存放在下述数据缓冲器220中的白纸图像，共有图像取得部212利用从摄影装置116a取得的照射区域与该区域以外的区域之间的辉度差，来计算共有区域的角点坐标值。而后，共有图像取得部212根据该共有区域的角点坐标值计算共有区域大小。本实施方式的数据缓冲器220中存放了初始期间的白纸图像。

共有图像取得部212从图像收信部210收到关于收到绘画图像的通知后，让摄影装置116a拍摄绘画对象体112a，并从摄影装置116a中取得摄影图像。共有图像取得部212对摄影图像施加透视投影转换后，利用存放在存储装置中的共有区域的角点坐标值或共有区域大小，在摄影图像上切割共有区域，并将其存放到RAM或HDD等存储装置中。而后，共有图像取得部212通知送往图像供给部214已收到摄影图像并结束了摄影处理。除了上述本实施方式以外，本发明还可以在发送让摄影装置116a拍摄绘画对象体112a的指令时，将该指令的意旨通知图像供给部214，指示实行投影处理。

本实施方式中，共有图像取得部212实行摄影图像的透视投影转换，此外，本发明还可以根据共有图像取得部212的指示，用透视投影转换电路对摄影图像施加透视投影转换。

图像供给部214具有使绘画对象体上显示所收到的来自其他地点的绘画图像的功能。本实施方式的图像供给部214向投影装置114a提供图像收信部210收到的其他地点的绘画图像，并将其作为投影图像投影到绘画对象体112a上。图像供给部214从共有图象取得部212收到关于绘画图像的摄影处理结束的通知后，图像收信部210从存储装置中取得保存其中的其他地点的绘画图像，并对该绘画图像施加放大或缩小处理，以适于共有区域的大小，而后将其送往投影装置114a，投影该绘画图像。在实行绘画图像放大或缩小处理时，图像供给部214从存储装置读取共有区域大小，当判断收到的绘画图像与共有区域之间存在大小差异时，计算绘画图像与共有区域之间的大小比率，并根据该比率放大或缩小该绘画图像。图像供给部214在结束向投影装置114a发送绘画图像后，将投影图像存入上述存储装置，并通知差分图像生成部216投影处理结束。

图像供给部214能够使得投影装置114a投影上述标记图像。标记图像被预先保存在绘画图像共有装置118a中的HDD等非易失性存储器中，图像供给部214从该非易失性存储器中读取标记图像，并让投影装置114a投影。本实施方式的图像供给部214在绘画图像共有装置118启动时使得标记图像被投影到绘画对象体112a上，除此之外，本发明还可以根据用户指示进行投影，或者定期投影标记图像。

本实施方式用青色作为标记图像中的标记的颜色，除此之外，还可以用其他颜色作为标记颜色。另外，本实施方式的标记形状为矩形，除此之外，还可以采用三角形或四分之一圆形等其他形状。进而，本实施方式将标记设置在共有区域的各个角上，以此限定共有区域，除此方法之外，还可以在共有区域的其他边界区域，如在共有区域边界线上各个角之间的中点等上设置标记。

进而，绘画图像共有装置118a包括差分图像生成部216、图像送信部218、以及数据缓冲器220。

差分图像生成部216具有实行差分图像生成处理的功能，该差分图像生成处理用于取得差分图像，即取得存放在数据缓冲器220中的前一次投影图像与共有图像取得部212从摄影装置116a中取得并经过编辑后的摄影图像之间的差分。差分图像生成部216从图像供给部214接到投影处理结束通知后，从数据缓冲器220中取得前一次投影图像，并用该投影图像以及存储装置中的最新摄影图像来实行差分图像生成处理。本实施方式由于在投影处理之前实行摄影处理，因此最新的摄影图像之中可能不存在来自其他地点的最新绘画图像。此时，用前一次投影图像和最新的摄影图像，也就是说用前一次投影图像以及包含本身的绘画图像的图像来进行差分图像生成处理。这样，摄影处理先于投影处理的结构也能够实现恰当的差分图像的生成。

在本实施方式的差分图像生成处理中，差分图像生成部216利用形态操作(morphological operations)运算中的腐蚀(erosion)或平滑过滤，来对从数据缓冲器220中取得的投影图像中的绘画图像施加膨胀处理，使该绘画图像膨胀。这样便能够排除摄影图像以及投影图像之间的绘画图像位置偏差所带来的影响。

差分图像生成部216分离被施加了膨胀处理的投影图像以及摄影图像的RGB的各色成分(红、绿、青)，并对每一种色成分计算投影图像以及摄影图像各个像素的平均比率。在此，平均比率值是指，对象像素的辉度值与对象像素周围区域的辉度值的平均值的比率即平均比率乘以背景色的辉度值所得到的对象像素的辉度值的中间值。

本实施方式的平均比率值计算处理如下：

(1)在对象像素(x，y)的周围，确定大小为m×n(m、n为任意整数)的矩形，

(2)利用某种色成分的摄影图像的积分图像，计算m×n区域中的辉度的平均值AVE，

(3)将摄影图像的背景色的辉度值乘以平均比率，例如，绘画对象体为白板时，背景色的辉度值为20，平均比率即相对于AVE的对象像素的辉度值的比率。当AVE的值大于1时，对象像素的平均比率值与背景色的辉度值相等。背景色的辉度值为用户预先任意指定的值。

除了上述方式之外，本发明的差分图像生成部216还可以利用对象像素的平均差分值来生成差分图像。在此，平均差分值是指从对象像素的辉度值中减去对象像素周围区域的辉度值的平均值而得到的对象像素的辉度值的中间值。

平均差分值计算如下：

(1)在对象像素(x，y)的周围，确定大小为m×n(m、n为任意整数)的矩形，

(2)利用某种色成分的摄影图像的积分图像，计算m×n区域中的辉度的平均值AVE，

(3)从对象像素的辉度值中减去AVE。

差分图像生成部216既可利用摄影图像的对象像素的平均比率以及该对象像素对应的投影图像的辉度值，来计算这些对象像素的差分值，也可利用摄影图像的对象像素的平均差分值以及该对象像素对应的投影图像的对象像素的平均差分值，来计算这些对象像素的差分值。差分图像生成部216按照RGB个各色成分计算包括摄影图像以及投影图像的所有的像素的上述差分值，并合成以该差分值为各色成分的值的像素，生成以RGB颜色构成的差分图像。

进而，差分图像生成部216对该差分图像施加过滤处理，去除黄色成份。差分图像生成部216将对象像素背景颜色的辉度值和红色或绿色的辉度值之间的差分值、与该背景颜色的辉度值和青色的辉度值之间的差分值进行比较，如果青色辉度值的差分值大于红色或绿色的辉度值的差分值，则将红色或绿色的辉度值的差分值之中较大一方的值乘以一定数所得到定数倍的值，作为青色的辉度值。相反，如果青色辉度值的差分值小于红色或绿色的辉度值的差分值，则保持该青色的辉度值不变。

例如，背景颜色的辉度值为200，红色的辉度值为190，绿色的辉度值为180，青色的辉度值为140，则这些颜色的辉度值与各种背景颜色的辉度值之间的差分值分别为10(红色辉度值的差分值)、20(绿色辉度值的差分值)、60(青色辉度值的差分值)。此时，青色辉度值的差分值大于红色或绿色的辉度值的差分值，因而将红色和绿色的辉度值中较大一方的绿色辉度值的差分值(20)的一定数倍，如2倍的值(40)作为青色辉度值的差分值。即将青色辉度值的差分值设为160。本实施方式中使用的一定数为任意数值，但是如果数值过大，则不能有效去除黄色成分，因此，优选采用1～2的数值。

差分图像生成部216实行上述差分图像生成处理后，将图像供给部214送往投影装置114a的最新投影图像存入数据缓冲器220。本实施方式的数据缓冲器220为HDD或RAM等可装设的缓冲存储器。差分图像生成部216将投影图像存入数据缓冲器220后，向图像送信部218发出差分图像生成处理结束的通知。

图像送信部218具有将差分图像生成部216生成的差分图像通过网络送往其他地点的绘画图像共有装置的功能。图像送行部218接到差分图像生成部216结束差分图像生成处理的通知后，将自身的地点110a的绘画图像即差分图像通过网络120送往其他地点110b的绘画图像共有装置118b。

本实施方式的绘画图像共有系统能够避免发生因向其他地点的绘画图像共有装置发送自身的绘画图像即差分图像引起的绘画图像重叠所带来的回波(echo)现象，进一步提高投影图像的视觉性能。

图3是本实施方式的绘画图像共有装置118a在收到来自其他地点的绘画图像时实行的处理的流程图。图3所示的处理自步骤S300开始，首先在步骤S301中判断图像收信部210是否通过网络120收到绘画图像，当判断没有收到绘画图像时(否)，反复步骤S301。而当判断收到绘画图像时(是)，则通知共有图像取得部212收到绘画图像，进入步骤S302。在步骤S302中，共有图像取得部212让摄影装置116a拍摄绘画对象体112a并取得该摄影图像，进而通知图像供给部214以取得摄影图像。在步骤S303中，共有图像取得部212在摄影图像上切割施加图像补偿的共有区域，并通知图像供给部214摄影处理结束。在步骤S304中，图像供给部214将图像收信部210收到的其他地点的绘画图像作为投影图像，提供给投影装置114a投影到绘画对象体112a上。

在步骤S305中，差分图像生成部216实行差分图像生成处理。关于差分图像生成处理将在以下参考图4详细叙述。在步骤S306中，差分图像生成部216将在步骤S304中的送往投影装置的投影图像存入数据缓冲器220，并通知图像送信部218关于发送差分图像的指令。

在步骤S307中，图像送信部216向其他地点的绘画图像共有装置发送差分图像，而后返回步骤S301，等待接受下一个绘画图像。

本实施方式如上所述，在摄影处理之前实行投影处理，为此不需要如在投影处理之后实行摄影处理的结构所需要的投影处理后的待机处理，因而从整体上缩短了绘画图像共有装置实行处理的时间。这样便增加了单位时间的发送的绘画图像数量，提高了绘画图像共有系统的实时性能。

图4是差分图像生成部216实行差分图像生成处理的流程图。图4所示的处理从步骤S400开始，即当差分图像生成部216收到图像供给部214提供投影图像的通知时开始实行差分图像生成处理。在步骤S401中，差分图像生成部216取得存放在数据缓冲器220中的前一次投影图像，并对该投影图像施加膨胀处理。在步骤S402中，差分图像生成部216取得存储装置中的最新摄影图像，并按照RGB各色成分对该摄影图像以及经过膨胀处理后的投影图像进行分离。在步骤S403中，差分图像生成部216生成RGB各色成分分离后的摄影图像的积分图像。

在步骤S404中，差分图像生成部216对摄影图像的对象象素实行平均比率值计算处理或平均差分值计算处理。关于平均比率计算处理以及平均差分值计算处理将在以下参考图5和图6详细说明。在步骤S405中，差分图像生成部216对对象象素实行差分计算处理，算出差分图像各色成分的辉度值。差分图像生成部216对所有象素实行步骤S404至S405的处理，并对所有色成分(R、G、B)实行步骤S403至S405的处理。

步骤S406中，差分图像生成部216对所有象素进行合成，合成为以步骤S405中计算的辉度值作为RGB色的各色成分的值的象素，生成以RGB色构成的差分图像。在步骤S407中，差分图像生成部216对该差分图像施加过滤处理，去除黄色成分，至步骤S408处理结束。

图5是本实施方式的差分图像生成部216实行的平均比率计算处理的流程图。图5的处理从步骤S500开始，在步骤S501中差分图像生成部216确定以对象象素为中心且大小为m×n的矩形区域。在步骤S502中，差分图像生成部216用积分图像计算在步骤S501中确定的矩形区域中的辉度值的平均值。在步骤S503中，根据背景颜色辉度值、对象象素的辉度值、以及矩形区域内的辉度值的平均值计算对象象素的平均比率值，至步骤S504结束处理。

图6是另一实施方式的差分图像生成部216实行的平均差分值计算处理的流程图。图6从步骤S600开始，在步骤S601中差分图像生成部216确定以对象象素为中心且大小为m×n的矩形区域。在步骤S602中，差分图像生成部216用积分图像计算在步骤S601中确定的矩形区域中的辉度值的平均值。在步骤S603中，从对象象素的辉度值中减去矩形区域内的辉度值的平均值，算出对象象素的平均差分值，至步骤S604结束处理。

图7是本实施方式的差分图像生成部216实行的差分计算处理的流程图。图7从步骤S700开始，在步骤S701中差分图像生成部216计算摄影图像的对象象素与投影图像的对象象素之间的差分值。在步骤S702中，差分图像生成部216判断步骤S701中算出的差分值是否大于绘画阀值，如果差分值大于绘画阀值，则进入步骤S703。绘画阀值可设定为任意值，本实施方式将绘画阀值适当地设为-5。

在步骤S703中差分图像生成部216设差分值为0。这样可以补偿差分图像中对象象素的辉度值，而且能够在摄影图像比投影图像更为明亮时，排除绘画对象体拍摄时的反射光或照明器具等的影响。进而，差分值较小时可判断为出自噪音影响，因此还能够去除差分图像上的噪音。

另一方面，如果步骤S702的判断中，差分图像生成部216判断差分值在绘画阀值以下，则处理进入步骤步骤S704。在步骤S704中，差分图像生成部216实行补偿处理，将差分值乘以常数以提高色强度。本实施方式将该常数设为1～2。这样能够排除摄影引起的摄影图像的色强度减少的影响，提高差分图像的视觉性能。

在步骤S705中，差分图像生成部216在差分值上加上背景色的辉度值，而后在步骤S706结束处理。

图8是另一个实施方式的绘画图像共有装置实行的处理流程图。本实施方式的绘画图像共有装置在前一次图像投影处理后，经过一定时间，让摄影装置实行绘画对象体的拍摄处理。本实施方式的图像收信部具有接受其他地点的绘画图像并随时保存的功能没，该其他地点绘画图像的保存处理在实行时独立于其他功能。本实施方式的数据缓冲器中保存其他地点的绘画图像以及本地点自己的投影图像，这些图像数据被保存在数据缓冲器中的既定存储地址值，因而能够识别。另外，还可以将能够毫无疑问地识别绘画图像以及投影图像的信息，如用于识别绘画图像或投影图像的ID编号或文字列、或者将ID编号和文字列结合形成的信息与这些图像数据相关并存入数据缓冲器，以用于识别。进而，还可以将这些图像存入个别的独立数据缓冲器。以下说明本实施方式，本实施方式具有与参考图1～7说明的实施方式相同的结构，因此在此仅对不同之处进行说明。

图8的处理从步骤S800开始，在步骤S801中，绘画图像共有装置判断前一次投影处理后是否经过了一定时间，如果判断没有经过一定时间(否)，则反复该处理。绘画图像共有装置从存储装置取得最新投影时刻，并将其与现在时刻比较，判断前一次投影处理后是否经过了一定时间。关于最新投影时刻将在以下步骤S805中详述。本实施方式将上述一定时间适当设为200～300msec。

另一方面，在步骤S801的判断中，绘画图像共有装置判断前一次投影处理后经过了一定时间(是)，则处理进入步骤S802。在步骤S802中，读取其他地点的图像数据，该图像数据是在下述步骤S811中存入数据缓冲器中的。而后，绘画图像共有装置实行步骤S803和S804，该S803和S804与参考图3说明的步骤S302和S303相同。在步骤S805中，图像供给部将步骤S802中读取的其他地点的最新绘画图像作为投影图像提供到投影装置并投影到绘画对象体上，使用绘画图像共有装置的OS等管理的定时函数等来取得现在时刻，并将该时刻作为投影时刻存入RAM等存储装置。接着，绘画图像共有装置实行与步骤S305～S307相同的步骤S806～S808，而后返回步骤S801。

图8B所示的步骤S809～S811的处理表示本实施方式的绘画图像共有装置实行的绘画图像收信处理，该处理从步骤S809开始。在步骤810中，图像收信部判断是否收到其他地点的绘画图像共有装置发送的绘画图像，当判断没有收到绘画图像时(否)，反复步骤S810，而当判断收到绘画图像时(是)，则处理进入步骤S811。在步骤S811中，图像收信部将绘画图像存入数据缓冲器，而后返回步骤S810，反复上述处理。

本实施方式不需要等待取得他地点的绘画图像，因而能够有效地向其他地点发送自己的绘画图像，从而提高了送信帧率。这样，便能够提高绘画图像共有的实时性能。

图9A和图9B进一步显示其他实施方式的绘画图像共有装置实行的处理的流程图。在本实施方式的绘画图像共有装置中，参考图8说明的处理中与摄影处理有关的处理、和与投影处理有关的处理分别作为互相独立的不同处理并行实行。图9A和图9B所示的处理与图8A和图8B的处理存在众多共同点，因而以下省略说明共同点，重点说明不同之处。

图9A的处理从步骤S900开始。在步骤S901中，绘画图像共有装置判断前一次投影处理后是否经过了一定时间，如果判断没有经过一定时间(否)，则反复该处理。绘画图像共有装置从存储装置中取得下述步骤S909的处理中取得的最新投影时刻，并将其与现在时刻相比，来判断前一次投影处理后是否经过了一定时间。本实施方式将上述一定时间适当设为200～300msec。

另一方面，在步骤S901的判断中，绘画图像共有装置判断前一次投影处理后经过了一定时间(是)，则处理进入步骤S902。在步骤S902中，读取数据缓冲器中的投影图像。而后，绘画图像共有装置实行步骤S903和S904，该S903和S904与参考图8说明的步骤S803和S804相同。而后，绘画图像共有装置在步骤S905中实行差分图像生成处理，生成步骤S902读取的投影图像以及S904生成的摄影图像之间的差分图像，而后，在步骤S906中将差分图像送往其他地点的绘画图像共有装置。

图9B所示的有关投影处理的处理从步骤S907开始，在步骤908中，图像收信部判断是否收从网络收到绘画图像，当判断没有收到绘画图像时(否)，反复处理。而当判断收到绘画图像时(是)，则通知图像供给部收到绘画图像，进入步骤S909。在步骤S909中，图像供给部将其他地点的绘画图像作为投影图像向投影装置提供，并使得绘画图像投影到绘画对象体上，利用绘画图像共有装置的OS等管理的定时函数等取得现在时刻，将该时刻作为投影时刻存入RAM等存储装置，在步骤S910中，将投影图像存入数据缓冲器，而后返回步骤908重复上述处理。

本实施方式中，有关摄影的处理和有关投影的处理可分别作为独立的处理来进行实装，能够有效地向其他地点发送自己的绘画图像而不必等待取得他地点的绘画图像，提高了绘画图像共有系统中的送信帧率。这样便能够提高绘画图像共有的实时性能。

本发明不局限于上述说明了的实施方式，只要具有本发明的作用和效果，包括本技术领域的人员能够想到的其他实施方式、或上述实施方式的改良、增加、更改等任何实施方式，均属于本发明范畴。

Claims (15)

1.一种绘画图像共有装置，用于在不同地点共有绘画图像，其中包括：

共有图像取得装置，用于取得需要与其他地点共有且显示在绘画对象体上的共有区域的图像；

图像供给装置，用于将收到的来自其他地点的绘画图像显示在绘画对象体上；

数据缓冲器，其中保存收到的来自其他地点的绘画图像；

差分图像生成装置，用于生成该数据缓冲器中保存的绘画图像与该共有图像取得装置所取得的绘画图像之间的差分图像；以及，

图像送信装置，用于向该其他地点的绘画图像共有装置发送该差分图像，

所述共有图像取得装置在该图像供给装置显示绘画图像之前取得共有区域的图像；

其中，所述共有图像取得装置让摄影装置拍摄所述共有区域的图像，并取得该共有区域的图像；

所述图像供给装置向投影装置提供收到的来自其他地点的绘画图像，并投影到绘画对象体上。

2.根据权利要求1所述的绘画图像共有装置，其中，

所述数据缓冲器中存放在所述差分图像生成装置生成所述差分图像之后收到的来自其他地点的绘画图像；

所述差分图像生成装置利用所述数据缓冲器中既存的绘画图像和所述共有图像取得装置所取得的图像来生成差分图像。

3.一种绘画图像共有装置，用于在不同地点共有绘画图像，其中包括：

共有图像取得装置，用于取得需要与其他地点共有且显示在绘画对象体上的共有区域的图像；

图像供给装置，用于将收到的来自其他地点的绘画图像显示在绘画对象体上；

数据缓冲器，其中保存收到的来自其他地点的绘画图像；

差分图像生成装置，用于生成该数据缓冲器中保存的绘画图像与该共有图像取得装置所取得的绘画图像之间的差分图像；以及，

图像送信装置，用于向该其他地点的绘画图像共有装置发送该差分图像，

所述共有图像取得装置在所述图像供给装置显示所述绘画图像后经过一定时间之后，取得所述绘画对象体上显示的共有区域的图像；

其中，所述共有图像取得装置让摄影装置拍摄所述共有区域的图像，并取得该共有区域的图像；

所述图像供给装置向投影装置提供收到的来自其他地点的绘画图像，并投影到绘画对象体上。

4.一种绘画图像共有装置，用于在不同地点共有绘画图像，其中包括：

图像供给装置，用于将收到的来自其他地点的绘画图像显示在绘画对象体上；

共有图像取得装置，用于在该图像供给装置显示该绘画图像后经过一定时间之后，取得需要与其他地点共有且显示在绘画对象体上的共有区域的图像；

数据缓冲器，其中保存收到的来自其他地点的绘画图像；

差分图像生成装置，用于生成该数据缓冲器中保存的绘画图像与该共有图像取得装置所取得的绘画图像之间的差分图像；以及，

图像送信装置，用于向该其他地点的绘画图像共有装置发送该差分图像，

所述共有图像取得装置和所述差分图像生成装置以及所述所述图像送信装置、与所述图像供给装置并列实行处理；

其中，所述共有图像取得装置让摄影装置拍摄所述共有区域的图像，并取得该共有区域的图像；

所述图像供给装置向投影装置提供收到的来自其他地点的绘画图像，并投影到绘画对象体上。

5.根据权利要求4所述的绘画图像共有装置，其中，

所述差分图像生成装置按照RGB各色成分，计算所述共有图像取得装置取得的图像中对象像素的平均差分值与存放在所述数据缓冲器中与该对象像素相对应的绘画图像的像素的平均差分值之间的差分值；

合成以该差分值作为该各色成分的值的像素，并生成该差分图像；

该平均差分值是从对象像素的辉度值减去对象像素的周围区域的辉度值的平均值所求出的辉度值。

6.根据权利要求4所述的绘画图像共有装置，其中，

所述差分图像生成装置按照RGB各色成分，计算所述共有图像取得装置取得的图像中的对象像素的平均比率值，而后，计算该平均比率值、与对应于该对象像素的所述绘画图像的对象像素的辉度值之间的差分值，合成以该差分值作为该各色成分的值的像素，并生成所述差分图像，

该平均比率值是所述取得的图像中的对象像素的辉度值、与该对象像素的周围区域的辉度值的平均值之比乘以所述取得的图像的背景色的辉度值而得到的辉度值。

7.根据权利要求1至6中任意一项所述的绘画图像共有装置，其中，

所述图像供给装置让投影装置投影标记图像，该标记图像用于规定所述共有区域；

该共有图像取得装置让摄影装置拍摄接受投影装置投影的绘画对象体并取得摄影图像，从包含在该摄影图像中的标记图像的标记的坐标值来确定所述共有区域。

8.根据权利要求1至6中任意一项所述的绘画图像共有装置，其中，

所述图像供给装置让投影装置将白纸图像投影到绘画对象体上；

该共有图像取得装置让摄影装置拍摄该绘画对象体，并取得摄影图像，利用包含在该摄影图像中的白纸图像的区域与该白纸图像以外的区域之间的辉度差，来确定该共有区域。

9.根据权利要求1至6中任意一项所述的绘画图像共有装置，其中，所述共有图像取得装置对摄影图像施加透视投影转换。

10.根据权利要求1至6中任意一项所述的绘画图像共有装置，其中，所述差分图像生成装置对投影图像施加膨胀处理，而后生成差分图像。

11.根据权利要求1至6中任意一项所述的绘画图像共有装置，其中，所述差分图像生成装置对所述差分图像实行过滤处理，切除黄色成份。

12.根据权利要求1至6中任意一项所述的绘画图像共有装置，其中，所述差分图像生成装置对所述差分图像施加提高色强度的补偿。

13.一种绘画图像共有方法，为绘画图像共有装置实行的数据处理方法，其通过该绘画图像共有装置实行以下步骤：

共有图像取得步骤，取得需要与其他地点共有且显示在绘画对象体上的共有区域的图像；

图像供给步骤，将收到的来自其他地点的绘画图像显示在绘画对象体上；

差分图像生成步骤，生成保存在数据缓冲器中的其他地点的绘画图像与所述共有区域的图像之间的差分图像；

数据缓冲器保存步骤，将收到的来自其他地点的绘画图像存入数据缓冲器；以及，

图像送信步骤，向该其他地点的绘画图像共有装置发送该差分图像，

其中，在所述图像供给步骤之前实行所述共有图像取得步骤；

所述绘画图像共有方法还包括以下步骤：

拍摄所述共有区域的图像，并取得该共有区域的图像；以及

向投影装置提供收到的来自其他地点的绘画图像，并投影到绘画对象体上。

14.一种绘画图像共有方法，为绘画图像共有装置实行的数据处理方法，其通过该绘画图像共有装置实行以下步骤：

共有图像取得步骤，取得需要与其他地点共有且显示在绘画对象体上的共有区域的图像；

图像供给步骤，将收到的来自其他地点的绘画图像显示在绘画对象体上；

差分图像生成步骤，生成保存在数据缓冲器中的其他地点的绘画图像与所述共有区域的图像之间的差分图像；

数据缓冲器保存步骤，将收到的来自其他地点的绘画图像存入数据缓冲器；以及，

图像送信步骤，向该其他地点的绘画图像共有装置发送该差分图像，

其中，在所述图像供给步骤结束后经过一定时间之后实行所述共有图像取得步骤；

所述绘画图像共有方法还包括以下步骤：

拍摄所述共有区域的图像，并取得该共有区域的图像；以及

向投影装置提供收到的来自其他地点的绘画图像，并投影到绘画对象体上。

15.一种绘画图像共有方法，为绘画图像共有装置实行的数据处理方法，其通过该绘画图像共有装置实行以下步骤：

图像供给步骤，将收到的来自其他地点的绘画图像显示在绘画对象体上；

共有图像取得步骤，在显示该绘画图像后经过一定时间之后，取得需要与其他地点共有且显示在绘画对象体上的共有区域的图像；

差分图像生成步骤，生成保存在数据缓冲器中的其他地点的绘画图像与所述共有区域的图像之间的差分图像；以及，

图像送信步骤，向该其他地点的绘画图像共有装置发送该差分图像，

其中，所述共有图像取得步骤和所述差分图像生成步骤以及所述图像送信步骤、与所述图像供给步骤并列实行；

所述绘画图像共有方法还包括以下步骤：

拍摄所述共有区域的图像，并取得该共有区域的图像；以及

向投影装置提供收到的来自其他地点的绘画图像，并投影到绘画对象体上。