CN1330179C - 图像处理系统及图像处理方法和电子相机及图像处理装置 - Google Patents

Abstract

本发明提供一种图像处理系统及图像处理方法和电子照相机及图像处理装置。在数码相机(4)中，将自己通过摄影记录的图像G以再生模式显示在监视器(48)上时，如果用户指示正面摄影修正(修正梯形畸变)，则在显示图像G中，识别修正时成为基准的四边形的轮廓线f1、f2。将重叠于辨识过的轮廓线f1、f2的四角框F根据用户的切换操作依次移动，以选择所希望的轮廓线。根据确定操作，将选择的轮廓线f1的4个顶点A～D的坐标信息写入显示图像G的图像文件的标题部。其后，在图像处理装置(2)中，在对图像G进行正面摄影修正时，从图像文件中读出坐标信息，执行以具有由此所示的4顶点的四角形为基准的修正。

Description

图像处理系统及图像处理方法和电子相机及图像处理装置

技术领域

本发明涉及对由摄像记录的图像进行规定的加工的图像处理系统及图像处理方法，和其中采用的电子照相机及图像处理装置。

背景技术

例如，在由照相机拍摄原稿时，如果不在与原稿正对的位置进行拍摄，则在拍摄到的图像中会产生与原稿等所谓的梯形畸变。关于此，在下述专利文献1中记载了在具备了CCD等摄像元件的电子照相机中，通过在电子照相机中设置图像处理电路，使电子照相机本身进行对存在于拍摄的原稿等图像内的梯形畸变的修正(正面摄影修正)的方法。

在这里，在使一般的电子照相机进行对上述拍摄图像的正面摄影修正时，其图像处理能力有限，在正面摄影修正所需的图像处理中需要大量的时间。因此，对由电子照相机拍摄的图像的正面摄影修正一般采用用作其他用途的个人计算机等其他图像处理装置来进行。

【专利文献1】

特开2002-354331号公报(参照〔0015〕、〔0016〕段落)。

但是，在不使用电子照相机，而是应用用作其他用途的个人计算机等电学地进行对上述拍摄图像的正面摄影修正时，需要用于决定摄影图像内成为正面摄影修正的基准的区域、即修正方向或程度的修正基准(通常是四角形的区域)，而且，该修正基准需要根据摄影图像(被拍摄体)的内容来设定。

因此，在需要进行正面摄影修正后的摄影图像时，必需使用个人计算机等来进行正面摄影修正中所必需的所有操作，存在不方便的问题。特别是在准备许多修正后的摄影图像时，则更加显著。

发明内容

本发明是一种图像处理系统，其由以下部分构成：电子照相机；以及图像处理装置，其具备对由电子照相机拍摄记录的图像，根据与该图像对应而由所述电子照相机记录的加工信息，进行规定加工的图像处理部，该电子照相机包括：拍摄被拍摄体的摄像部；记录由该摄像部拍摄到的图像的图像记录部；对所述图像记录部所记录的图像进行显示的图像显示部；根据记录在该图像记录部内的图像，取得在对该图像的规定加工中使用的加工信息的取得部；使表示由所述取得部取得的加工信息的内容的确认显示、与该加工信息的取得源的图像一起显示在该图像显示部上的控制部；和将由该取得部取得的加工信息与取得源的图像对应记录的加工信息记录部。

另外，本发明的电子照相机，其特征在于，包括：拍摄被拍摄体的摄像部；记录由该摄像部拍摄到的图像的图像记录部；对所述图像记录部所记录的图像进行显示的图像显示部；根据记录在该图像记录部内的图像，取得在对该图像的规定加工中使用的加工信息的取得部；使表示由所述取得部取得的加工信息的内容的确认显示、与该加工信息的取得源的图像一起显示在该图像显示部上的控制部；和将由该取得部取得的加工信息与取得源的图像对应记录的加工信息记录部。

此外，本发明的图像处理装置，其特征在于，具备：对由电子照相机拍摄记录的图像，根据与该图像对应而由所述电子照相机记录的加工信息，进行规定加工的图像处理部。

附图说明

图1是表示本发明的摄像投影系统的系统构成图。

图2是表示同系统中的主要的投影仪和PC2的电学构成概况的框图。

图3是表示数码相机的电学构成的框图。

图4是表示摄像投影系统的基本动作的流程图。

图5是表示数码相机中的再生模式下的正面摄影修正数据的登记处理顺序的流程图。

图6是表示选择修正候补时的数码相机的显示画面的图。

图7是表示登记修正信息后的图像文件的数据结构的示意图。

图8是表示PC中的正面摄影修正处理的顺序的流程图。

具体实施方式

以下根据附图说明本发明的一实施方式。图1是包含本发明的图像处理系统的摄像投影系统的系统构成图。

该摄像投影系统由投影仪1、笔记本型个人计算机(以下称PC)2和传真照相机3构成。投影仪1和PC2介由RGB电缆100连接，PC2和传真照相机3介由USB电缆200连接。而且，在本实施方式中，PC2是本发明的图像处理装置。

投影仪1是收纳了投影透镜等光学系统的投影部1a设置在主体正面的结构，将对应于从PC传送来的文件等图像的投射光从投影部1a投射到屏幕S(或白板等)上。另外，在投影仪1中附有红外线远程控制单元5，通过采用其而能从远处操作投影仪1。

传真照相机3由：照相机台31、由立设在其上的支柱32形成的支架33和装卸自由地安装在支柱32的上端部上下左右自由转动设置的没有图示出的安装部上的数码相机4构成。数码相机4具有拥有AE功能、AF功能的一般方式，同时备有作为输出摄影取得的图像数据的PC照相机发挥作用的规定摄影模式。

而且，在摄像投影系统中，如图所示在照相机台31上放置报纸或杂志的报道、传真用纸(presentation paper)、书面原稿等书面资料A或者各种立体资料，通过由数码相机4对其进行拍摄，同时将拍摄的图像介由PC2传送到投影仪1，从而书面资料A等可投影到屏幕S上。

另一方面，图2是表示上述摄像投影系统中主要的投影仪1和PC2的电学构成概况的框图。

(投影仪的构成)

投影仪1备有CUP11、ROM12、RAM13、图像输入部14、显示部15、键输入部16、红外线接收部17。连接于上述RGB电缆100的RBG信号输入端子18与图像输入部14连接，根据从PC2输入的输入图像信号(RGB信号)生成用于投影图像的显示信号，并送到显示部15。显示部15包括：氪灯等光源；用于将光源的光变换成对应于输入显示信号的投影光的液晶或微镜阵列等图像变换元件(本发明的图像变换机构)；根据从图像输入部14传送来的显示信号驱动该图像变换元件的驱动电路；设置在上述投影部1a的投影透镜等光学系统，将基于由PC2传送来的图像数据的显示图像投影到屏幕S上。

按照存储在ROM12的程序，将RAM13作为操作用存储器动作，CUP11控制整个投影仪1。键输入部16由为了让用户进行投影仪1的操作而准备的多个键构成，红外线信号接收部17接收由上述红外线远程控制单元5传送来的红外线，将对其编码化的操作信号译码后送到CPU11。

(PC的构成)

另一方面，PC2备有：CUP21、RAM22、存储装置23、输入装置24、视频适配器(video adapter)25、VRAM26、显示装置27。

视频适配器25生成显示用的视频信号(RGB信号)，输出到由LCD及其驱动电路等构成的上述显示装置27，VRAM26随时存储视频适配器25生成的显示用图像数据。而且，在视频适配器25上设有上述RGB电缆100连接的RBG输出端子28，视频适配器25根据CPU21的命令，介由RGB电缆100将显示用图像数据输出到投影仪1。

另外，在CPU21上连接有图中没有示出的USB接口电路，在设置于此处的USB连接端子29上连接有上述USB电缆200。于是，由传真照相机3拍摄的摄影图像数据介由USB电缆200输入到PC2。

输入装置24是设置在PC2主体上的多个键或连接主体的鼠标等，存储装置23是存储容量比较大的硬盘等。在上述存储装置23中存储有：用于进行图像显示(presentation)用文件的制作·编辑的规定图像显示程序；或用于对后述的摄影图像进行各种图像处理的图像处理程序；及用于使视频适配器25生成用于将上述文件或图像等显示在显示装置27上的显示用图像数据或者输出到投影仪1的图像数据的图像显示程序等。

而且，在PC2中，通过让CPU21根据上述图像处理程序动作，从而作为本发明的图像处理部(210)发挥功能。

(数码相机的构成)

图3是表示主要构成传真照相机3的数码相机4的电学构成的框图。数码相机4具有作为拍摄上述书面资料A等的摄像元件的CCD41(摄像部)和DSP/CPU42。CCD41将介由图中未示出的聚焦透镜及变焦透镜等光学系统成像的被拍摄体的光学像进行光电变换，输出对应于被拍摄体的光学像的模拟摄像信号。

DSP/CPU42是进行包括按照JPEG方式的图像数据的压缩·扩张的数字信号处理，同时控制数码相机4的各部分的单片机。在DSP/CPU42上连接驱动CCD41的TG(Timing Generator)43，在TG43上连接输入从CCD41输出的摄像信号的单元电路44。单元电路44由：通过相关双重采样除去CCD41的输出信号等噪声的CDS电路、将除去了噪声的摄像信号放大的增益调整用放大器(AGC)、将放大后的摄像信号转换成数字信号的A/D转换器(AD)构成，CCD41的输出信号在单元电路44转换成数字信号并送到DSP/CPU42。

而且，在DSP/CPU42上连接有：透镜驱动部45、USB接口46、键输入部47、液晶监视器48(图像显示部)，同时，介由地址/数据总线49连接有DRAM50、内置闪烁存储器51、卡接口52。另外，在USB接口46上连接有外部机器连接端子55，在卡接口52上连接有存储卡53，该存储卡53可自由装卸地安装在设于照相机主体上的图中未示出的卡槽上。

透镜驱动部45由用于沿光轴方向分别驱动上述聚焦透镜及变焦透镜的步进电动机及根据从DSP/CPU42送来的控制信号驱动这些的电动机驱动器构成。键输入部47包括动作模式的切换键或变焦键、菜单键、快门键等各种键，将对应于使用者的键操作的操作信号输出到DSP/CPU42。

液晶监视器48包括彩色LCD及其驱动电路，在摄影待机方式中将由CCD41拍摄的被拍摄体图像作为直通图像来显示，另外，在再生模式中，显示从存储卡53读出并由DSP/CPU42进行扩张的记录图像。而且，作为操作辅助用，进行功能选择时的处理菜单显示或设定用的图形或图符(icon)等的显示。

DRAM50是暂时存储由CCD41拍摄并进行过数字化的被拍摄体的图像数据的缓冲器，同时作为DSP/CPU42的暂存器使用。而且，在摄影待机模式下当按下快门键摄影时，存储在DRAM50内的图像数据由DSP/CPU42压缩，最终作为规定格式(在本实施方式中以JPEG为基准的格式)的图像文件而被记录于存储卡53内。并且，存储卡53是本发明的图像记录部530，同时也是加工信息记录部531。

在内置闪烁存储器51中存储用来使DSP/CPU42控制数码相机4的各部分的控制程序和在数码相机4的控制中使用的各种数据，DSP/CPU42通过按照上述控制程序动作，从而作为本发明的取得部420、控制部421发挥作用。

另一方面，在安装了数码相机4的上述支架33上，在上述安装部(未图示)设置照相机侧端子34，在上述照相机台31上设有外部侧端子35，该外部侧端子35上连接有上述USB电缆200。而且，构成为：通过将上述外部及其连接端子55连接到支架33的照相机侧端子34上，从而数码相机4能介由USB电缆200而与PC2之间进行数据通信，在上述的规定摄影模式下，将由CCD41拍摄并进行过数字化的被拍摄体的图像数据依次传送到PC2。

(摄像投影系统的动作说明)

下面说明以上构成的摄像投影系统的本发明中的动作。图4是表示在在图1所示的状态下，对数码相机4设定作为PC照相机发挥作用的规定摄影模式时的动作的流程图。

在传真照相机3中，数码相机4通过设定上述的规定摄影模式而拍摄任意的书面资料A等，将所拍摄的文件的图像数据输出到PC2(步骤SA1)。而且，在PC2中根据上述图像处理程序对输入的图像数据，通过畸变修正处理、旋转处理、剪贴处理等各种图像处理来进行摄影图像的修正后，按照显示程序将处理后的图像数据输出到投影仪1(步骤SA2～SA5)。而且，投影仪1将基于从PC2输入的图像数据的图像投影在屏幕S上(步骤SA6)。另外，PC2所进行的上述图像处理，根据需要对图像的一部分或全部实施。

(数码相机的动作说明)

另一方面，图5是表示数码相机4中设定再生模式时的正面摄影修正数据的登记处理顺序的流程图。而且，在这里，在存储卡53中记录有：用户从上述支架33取下并使用上述数码相机4，例如在投影文件或其他资料等的同时，从斜向拍摄了用标识器在此手写了注释等的状态白板时的摄影图像G(参照图6)。

在再生模式中，数码相机4根据由用户所进行的规定的键操作，从存储卡53中读出用户选择的摄影图像的数据，由DRAM50将其展开显示在液晶监视器48上(步骤SB1)。此时，根据用户要求，如果从预先准备的菜单画面选择“正面摄影修正”，则移行到上述登记处理(步骤SB2为是)，首先对显示中的摄影图像G进行直线识别，同时确认所识别的直线的连续性，扫描闭环为四边形形状的轮廓线(步骤SB3)。在这里，如果轮廓线不存在(步骤SB4为否)，则直接暂时结束登记处理。而且，此时也可以将“没有修正对象”等信息显示在液晶监视器48上。

再者，当轮廓线存在时(步骤SB4为是)，例如图6所示，显示重叠于显示中的摄影图像G上且表示成为修正候补的轮廓线的作为本发明的确认显示的四角框F(步骤SB5)。而且，同时显示“修正”按钮B1和“取消”按钮B2。此外，图示的例表示的状态是：摄影图像G主要由背景Ga、白板Gb和投影图像Gc的各领域形成，另一方面，由步骤SB3扫描白板Gb的外周轮廓线f1和投影图像Gc的外周轮廓线f2，同时白板Gb的外周轮廓线f1成为修正候补，在轮廓线f1上重叠显示四角框F。而且，在该例中以粗虚线表示四角框F，但实际上由红色等线表示四角框F。

在这里，数码相机4成为用户操作的待机状态，在此期间，在由用户选择了“取消”按钮B2时(步骤SB6为是)，与轮廓线不存在时相同，直接结束登记处理。再者，在不选择任何按钮B1、B2，存在通过变焦键进行修正候补的切换操作时(步骤SB6为否，SB7为否、步骤SB8为是)，变更修正候补后(步骤SB9)，返回到步骤SB5，在变更后的修正候补上重叠显示四角框F。即，在图6的离子中，显示重叠于投影图像Gc的外周轮廓线f2上的四角框F。另外，虽然没有图示，但扫描过的轮廓线存在多条，且在这些轮廓线相互并列的情况下，每次变焦操作都以规定的顺序是四角框F移动到各轮廓线。

而且，如果有用户的“选择”按钮B2的选择操作(确定操作)  (步骤SB7为是)，则在此刻取得由四角框F显示的轮廓线的4个顶点A、B、C、D的坐标信息(XY方向的像素位置数据)(步骤SB10)，将取得的坐标信息记录到摄影图像G的图像数据的标题部分(步骤SB11)，结束登记处理。图7是表示记录了上述坐标信息300的状态中的摄影图像G的数据结构的示意图，坐标信息300在JPEG文件中存储于存储图像信息(压缩图像数据)以外的中间信息的标题区域m内所确保着的用户能自由使用的用户区域n内。

(PC的动作说明)

另外，图8是表示将数码相机4安装在上述支架33上，按照用户操作，在PC2中设定将记录于数码相机4内的摄影图像投影到投影仪1上的规定的投影控制模式时，PC2实施的正面摄影修正相关的处理顺序的流程图。而且，上述投影控制模式是在数码相机4中设定有图像传送模式的状态下，从数码相机4取得记录于存储卡53内的摄影图像的缩略图像等，通过将摄影图像的一览显示在显示装置27上，而让用户选择应投影的摄影图像的模式。

在上述投影控制模式中，若用户选择应投影的摄影图像，则PC2从数码相机4取得选择过的摄影图像的图像文件(步骤SC1)，确认该文件标题中的上述坐标信息300的有无(步骤SC2)。在这里，如果没有存储坐标信息300(步骤SC3为否)，则进行图4中说明的、在数码相机4中设定作为PC照相机发挥作用的规定的摄影模式时的通常图像处理，同时将处理后的图像数据输出到投影仪1(步骤SC4)。

另一方面，从数码相机4取得的图像文件例如是图6所示的摄影图像G的图像文件，如果存储有坐标信息300(步骤SC3为是)，则在取得其之后(步骤SC5)，根据坐标信息300来修正图像的畸变(步骤SC6)。即，在作为坐标信息300，在标题中存储了轮廓线f1的四角A～D的数据时，将轮廓线f1作为区域修正基准，进行使该区域为长方形的修正。接着，从修正后的图像将由变形(修正)后的轮廓线f1包围的区域剪切出来(步骤SC7)，将剪切出的图像显示在显示装置27上，同时输出到投影仪1(步骤SC8)。

在这里，在以上所说明的PC2及数码相机4中，通过应用这些可得到以下效果。即，在本实施方式的数码相机4中，在用于利用投影仪投影到屏幕上用的图像摄影的情况下，在将其不安装到支架33上而单独使用的状态下，对于所拍摄的图像，可以预先设定在实际投影时修正畸变的区域。即，在刚刚完成拍摄和情况良好时，即使PC2不在手边，也可进行上述设定操作。因此，例如在需要准备多个投影图像时是方便的。而且，由于也可预先决定实际修正畸变而使用的区域，故是方便的。

而且，在拍摄的图像中，可以直接确认是否能进行所希望的区域的畸变修正。这是因为在图5说明的正面摄影修正数据的登记处理中，不能修正畸变的区域不能成为选择候补，该区域的设定是不可能的缘故。因此，如果在刚刚摄影后进行上述确认，则通过根据情况通过修改摄影，从而一定能得到必要的图像。

而且，在本实施方式中，虽然对由PC2和数码相机4来实现本发明的图像处理系统的情况进行了说明，但例如在仅由投影仪1和连接于其的数码相机4形成的摄影系统中也可适用本发明。在这种情况下，只要使投影仪1进行上述PC2的正面摄影修正处理，使其作为本发明的图像处理装置发挥作用即可。

另外，在本实施方式中，作为本发明的电子照相机，虽然说明了通过安装在支架33上而作为传真照相机3使用，具有将摄影图像转送到PC2的功能的数码相机4，但只要是能将自己摄影的图像例如介由存储卡53像PC2等供给的构成，本发明也可以适用于不具备与PC2之间的数据通信功能的数码相机(包括内置于移动电话机或PDA等便携式信息终端中的机器)。

此外，在本实施方式中，虽然对附加(登记)于摄影图像的加工信息是表示成为畸变修正的对象的区域的坐标信息300的情况进行了说明，但附加(登记)于摄影图像的加工信息即使不能用于上述的规定区域的畸变修正和剪切双方，也可以是只用于其中一方的信息，还可以作为在除此之外的其他加工时使用的信息。

再者，坐标信息300等加工信息不一定是与摄影图像一体不可分的数据，只要在PC2等中是可以辨识与摄影图像的对应关系的状态，也可以与摄影图像分开记录在存储卡53等中。但是，坐标信息300等，如本实施方式所述，由于附加在取得源的图像数据(JPCEG文件)上且一体不可分割的信息在PC2等中处理容易，故是方便的。

Claims (7)

1、一种图像处理系统，其由以下部分构成：

电子照相机(4)；以及

图像处理装置(2)，其具备对由电子照相机拍摄记录的图像，根据与该图像对应而由所述电子照相机记录的加工信息，进行规定加工的图像处理部(210)，

该电子照相机包括：

拍摄被拍摄体的摄像部(41)；

记录由该摄像部拍摄到的图像的图像记录部(530)；

对所述图像记录部所记录的图像进行显示的图像显示部(48)；

根据记录在该图像记录部内的图像，取得在对该图像的规定加工中使用的加工信息的取得部(420)；

使表示由所述取得部取得的加工信息的内容的确认显示、与该加工信息的取得源的图像一起显示在该图像显示部上的控制部(421)；和

将由该取得部取得的加工信息与取得源的图像对应记录的加工信息记录部(531)。

2、根据权利要求1所述的图像处理系统，其中所述电子照相机的特征还在于，

所述加工信息记录部是所述图像记录部，同时所述加工信息以附加于取得源的图像上的状态而被记录。

3、根据权利要求2所述的图像处理系统，其中所述电子照相机的特征还在于，

由所述取得部取得的加工信息包含表示所述图像中的规定区域的坐标信息。

4、根据权利要求3所述的图像处理系统，其中所述电子照相机的特征还在于，

具备：

显示记录于所述图像记录部内的图像的图像显示部(48)；

使表示由所述取得部取得的加工信息的内容的确认显示与该加工信息的取得源的图像一起显示在该图像显示部上的控制部(421)，

所述控制部，在由所述取得部取得的加工信息存在多个时，将分别表示该多个加工信息内容的确认显示，一边根据使用者的确定操作进行切换一边显示在所述显示部上，同时，根据使用者的确定操作，将对应于显示在所述显示部上的确认显示的加工信息记录在所述加工信息记录部内。

5、一种图像处理方法，其由以下工序构成：

对由电子照相机拍摄并记录的图像进行显示的显示工序(SB1)；

使表示加工信息的内容的确认显示、与所述所显示的图像一起显示的确认显示工序(SB5)，其中加工信息用于对所显示的图像进行规定加工；

取得显示过的加工信息的取得工序(SB10)；和

将所取得的加工信息与取得源的图像对应记录的记录工序(SB11)；

根据与该图像对应记录的所述加工信息，对所述图像进行规定的加工的加工工序(SC6)。

6、一种电子照相机，其由以下部分构成：

拍摄被拍摄体的摄像部(41)；

记录由该摄像部拍摄到的图像的图像记录部(530)；

对所述图像记录部所记录的图像进行显示的图像显示部(48)；

根据记录在该图像记录部内的图像，取得在对该图像的规定加工中使用的加工信息的取得部(420)；

使表示由所述取得部取得的加工信息的内容的确认显示、与该加工信息的取得源的图像一起显示在该图像显示部上的控制部(421)；和

将由该取得部取得的加工信息与取得源的图像对应记录的加工信息记录部(531)。

7、根据权利要求6所述的电子照相机，其特征在于，

由所述取得部取得的加工信息包含表示所述图像中的规定区域的坐标信息。

Images