CN103533213B - 图像信号处理装置和方法 - Google Patents

Abstract

提供了一种图像信号处理装置、图像信号处理方法和程序。图像信号处理装置包括多个颜色支持畸变校正单元，其接收校正目标图像的颜色信号，基于透镜畸变特性执行颜色的图像畸变校正，并且生成支持所述颜色的校正图像。所述多个颜色支持畸变校正单元的每个执行接收参考信号、并且设置所述输入图像中由参考信号指示的像素位置的像素值为输出像素值的处理，所述参考信号指示应用于计算输出校正图像的像素值的输入图像中的像素位置。

Description

图像信号处理装置和方法

技术领域

本公开涉及图像信号处理装置、图像信号处理方法和程序。具体地，本公开涉及执行抑制显示单元中导致的颜色偏移的处理的图像信号处理装置、图像信号处理方法和程序。

背景技术

安装在头上以观看图像的显示装置（即，头戴式显示器（HMD））是广为人知的。头戴式显示器具有用于右眼和左眼的每个的光学单元，并且配置为当与耳机一起使用时能够控制视觉和听觉。当配置以便在附接到头部时完全从外部世界隔绝时，在观看和收听时增强虚拟现实。此外，头戴式显示器可以将不同图像反映到右眼和左眼，并且当对于右眼和左眼显示具有视差的图像时，可能呈现3D图像。

作为头戴式显示器上用于右眼和左眼的显示单元，可能使用高分辨率的显示面板，包括例如液晶和有机EL（电致发光）设备。此外，如果设置光学系统中的足够视角，并且通过耳机实现多声道，则可能实现与电影院中的视听类似的存在感。

显示单元输出对应于图像的各种颜色的波长光，并且用户（或者观察者）通过右眼和左眼观察显示单元的输出图像。

此外，作为公开头戴式显示器的结构和原理的相关技术，例如提供JP 2011-145488A。

头戴式显示器上用于右眼和左眼的显示单元包括显示面板和透镜的组合。在这样的图像显示设备中，存在由于透镜的畸变等在观察图像中出现颜色偏移的情况。更具体地，例如，在原本应该观察为通过均等地混合RGB的颜色产生的白（W）颜色的像素中，存在出现颜色偏移的情况，其观察为好像逐渐偏移和排列RGB的颜色。

发明内容

鉴于例如上述做出本公开。具体地，提供可以抑制由透镜畸变等导致的颜色偏移并且显示高质量的彩色图像的图像信号处理装置、图像信号处理方法和程序。

根据本公开的第一实施例，提供了一种图像信号处理装置，包括：多个颜色支持畸变校正单元，其接收校正目标图像的颜色信号，基于透镜畸变特性执行颜色的图像畸变校正，并且生成支持所述颜色的校正图像。所述多个颜色支持畸变校正单元的每个执行接收参考信号、并且设置所述输入图像中由参考信号指示的像素位置的像素值为输出像素值的处理，所述参考信号指示应用于计算输出校正图像的像素值的输入图像中的像素位置。所述多个颜色支持畸变校正单元的至少一个执行以下处理：应用设为具有与另一颜色参考信号小差别的校正参考信号，并且生成校正图像，其中所述输入图像中由所述校正参考信号指示的像素位置的像素值设为输出像素值。

此外，图像信号处理装置可以还包括：畸变差别抑制参考信号生成单元，其计算两个不同颜色的参考信号之间的差别绝对值，应用根据计算的差别绝对值确定的校正量，并且生成支持所述两个不同颜色之一的校正参考信号。应用校正参考信号的颜色支持畸变校正单元可以执行应用由所述畸变差别抑制参考信号生成单元生成的校正参考信号的处理。

此外，所述畸变差别抑制参考信号生成单元可以生成校正参考信号，其中所述两个不同颜色的参考信号之间的差别设置为小。

此外，所述畸变差别抑制参考信号生成单元可以生成校正参考信号，其中当所述两个不同颜色的参考信号之间的差别绝对值越大，利用两个不同颜色的参考信号的差别减少量设为越大。

此外，应用所述校正参考信号的颜色支持畸变校正单元可以进一步通过对图像信号执行高通减少处理生成校正图像，所述图像信号包括通过应用校正参考信号计算的像素值。

此外，图像信号处理装置可以还包括：滤波器频带计算单元，其计算所述两个不同颜色的参考信号之间的差别绝对值，并且根据计算的差别绝对值，生成滤波器频带控制信号以执行高通减少处理。应用所述校正参考信号的颜色支持畸变校正单元可以通过执行根据由所述滤波器频带计算单元计算的滤波器频带控制信号的高通减少处理，生成校正图像。

此外，所述滤波器频带计算单元可以生成滤波器频带控制信号，其中当所述两个不同颜色的参考信号之间的差别绝对值越大，高通减少率设为越高。

此外，通过线性内插处理，所述颜色支持畸变校正单元可以生成校正图像，其中输入图像中由参考信号或校正参考信号指示的像素位置的像素值设为输出像素值。

此外，所述多个颜色支持畸变校正单元可以包括：R畸变校正单元，其接收校正目标图像的R信号，并且生成和输出支持R信号的校正图像，G畸变校正单元，其接收校正目标图像的G信号，并且生成和输出支持G信号的校正图像，以及B畸变校正单元，其接收校正目标图像的B信号，并且生成和输出支持B信号的校正图像。

此外，仅所述R畸变校正单元和所述B畸变校正单元可以生成校正图像，其中由输入图像中的校正参考信号指示的像素位置的像素值设为输出像素值。

此外，仅所述R畸变校正单元和所述B畸变校正单元可以通过对图像信号执行高通减少处理，生成校正图像，所述图像信号包括通过应用校正参考信号计算的像素值。

此外，根据本公开的第二实施例，提供了一种头戴式显示装置，其包括执行图像信号处理的图像信号处理单元。

此外，根据本公开的第三实施例，提供了一种在图像信号处理装置中执行的图像信号处理方法，所述图像信号处理装置包括多个颜色支持畸变校正单元，其接收校正目标图像的颜色信号，基于透镜畸变特性执行颜色的图像畸变校正，并且生成支持所述颜色的校正图像。所述多个颜色支持畸变校正单元的每个执行接收参考信号、并且设置所述输入图像中由参考信号指示的像素位置的像素值为输出像素值的处理，所述参考信号指示应用于计算输出校正图像的像素值的输入图像中的像素位置。所述多个颜色支持畸变校正单元的至少一个执行以下处理：应用设为具有与另一颜色参考信号小差别的校正参考信号，并且生成校正图像，其中所述输入图像中由所述校正参考信号指示的像素位置的像素值设为输出像素值。

此外，根据本公开的第四实施例，提供了一种用于使得在图像信号处理装置中执行图像处理的程序，所述图像信号处理装置包括多个颜色支持畸变校正单元，其接收校正目标图像的颜色信号，基于透镜畸变特性执行颜色的图像畸变校正，并且生成支持所述颜色的校正图像。所述程序使得所述多个颜色支持畸变校正单元的每个执行接收参考信号、并且设置所述输入图像中由参考信号指示的像素位置的像素值为输出像素值的处理，所述参考信号指示应用于计算输出校正图像的像素值的输入图像中的像素位置。所述程序使得所述多个颜色支持畸变校正单元的至少一个执行以下处理：应用设为具有与另一颜色参考信号小差别的校正参考信号，并且生成校正图像，其中所述输入图像中由所述校正参考信号指示的像素位置的像素值设为输出像素值。

注意，根据本公开实施例的程序例如是这样的程序，其可以提供在存储介质或通信介质中，所述存储介质或通信介质为能够运行各种类型的程序代码的信息处理设备或计算机系统以计算机可读形式提供。以计算机可读形式提供这种类型的程序使得可能在信息处理设备或计算机系统中实施根据该程序的处理。

注意，在本说明书中描述的各种类型的处理不但可以以如已经描述的时间序列执行，而且可以根据执行该处理的设备的处理能力或根据需要并行或独立地执行。此外，本说明书中的系统不限于逻辑上集合多个设备的配置，多个设备全部包含在同一机壳中。

根据本公开实施例的配置，实现了一种配置，其可以抑制基于透镜畸变的每个颜色的图像畸变和由于显示面板的白光散射导致的伪光的颜色偏移。

更具体地，其包括：多个颜色支持畸变校正单元，其接收校正目标图像的颜色信号，基于透镜畸变特性执行颜色的图像畸变校正，并且生成支持所述颜色的校正图像。所述多个颜色支持畸变校正单元的每个接收参考信号，所述参考信号指示应用于计算输出校正图像的每个像素值的输入图像中的像素位置，并且设置所述输入图像中由参考信号指示的像素位置的像素值为输出像素值。所述多个颜色支持畸变校正单元的至少一个应用设为具有与其他颜色参考信号小差别的校正参考信号，设置输入图像中由所述校正参考信号指示的像素位置的像素值设为输出像素值，并且进一步生成和输出对其应用作为高通减少处理的频带控制的校正图像。

通过该配置，实现了一种配置，其可以抑制基于透镜畸变的每个颜色的图像畸变和由于显示面板的白光散射导致的伪光的颜色偏移。

附图说明

图1是图示使用本公开的图像信号处理装置的系统配置示例的图；

图2是图示作为本公开的图像信号处理装置的示例的头戴式显示器的概要配置示例的图；

图3是图示作为本公开的图像信号处理装置的示例的头戴式显示器的配置示例的图；

图4是图示由透镜导致的图像畸变的图；

图5是图示校正由透镜导致的图像畸变的处理示例的图；

图6是图示由透镜导致的RGB的每个的图像畸变的图；

图7是图示由于由透镜导致的RGB的每个的图像畸变的观察图像中的颜色偏移的图；

图8是图示校正由透镜导致的RGB的每个的图像畸变的处理示例的图；

图9是图示校正由透镜导致的RGB的每个的图像畸变的处理示例的图；

图10是图示校正由透镜导致的RGB的每个的图像畸变的信号处理配置的图；

图11是图示信号处理单元中支持每个颜色的畸变校正单元的配置示例的图，该畸变校正单元用于校正由透镜导致的RGB的每个的图像畸变；

图12是图示通过信号处理单元中支持每个颜色的畸变校正单元中的线性内插单元的处理的图，该畸变校正单元用于校正由透镜导致的RGB的每个的图像畸变；

图13是图示伪光的出现的图；

图14是图示由伪光导致的观察图像的问题的图；

图15是图示由伪光导致的观察图像的问题的图；

图16是图示作为本公开的图像信号处理装置的示例的头戴式显示器的配置示例的图；

图17是图示本公开的图像信号处理装置的图像信号处理单元的一个配置示例的图；

图18是图示通过本公开的图像信号处理装置的图像信号处理单元中的、畸变差别抑制参考信号生成单元的处理的图；

图19是图示通过本公开的图像信号处理装置的图像信号处理单元中的、畸变差别基础滤波器频带计算单元的处理的图；

图20是图示通过本公开的图像信号处理装置的图像信号处理单元的频带调整、以及通过R畸变校正单元的配置和处理的图；

图21是图示通过本公开的图像信号处理装置的图像信号处理单元的频带调整、以及通过R畸变校正单元的低通滤波应用处理的图；

图22是图示通过本公开的图像信号处理装置的图像信号处理单元的频带调整以及通过R畸变校正单元执行的处理的效果的图；

图23是图示通过本公开的图像信号处理装置的图像信号处理单元的频带调整以及通过R畸变校正单元执行的处理的效果的图；

图24是图示通过本公开的图像信号处理装置的图像信号处理单元的频带调整以及通过R畸变校正单元执行的处理的效果的图；以及

图25是图示通过本公开的图像信号处理装置的图像信号处理单元的频带调整以及通过R畸变校正单元执行的处理的效果的图。

具体实施方式

下文中，将参照附图详细描述本公开的优选实施例。注意，在本说明书和附图中，具有基本相同功能和结构的结构元件用相同的参考标号标识，并且省略这些结构元件的重复说明。

在以下，参照附图详细描述本公开的图像信号处理装置、图像信号处理方法和程序。在此，根据以下项目给出说明。

1.头戴式显示器的配置和颜色偏移的出现

2.关于通过伪光抑制颜色偏移的出现的处理

2.1关于头戴式显示器的整体配置

2.2关于由图像信号处理单元执行的处理的细节

2.3关于基于校正参考信号的应用和低通滤波器的应用的效果

3.本公开的配置的概述

[1.头戴式显示器的配置和颜色偏移的出现]

首先，说明头戴式显示器配置和颜色偏移出现的概述。

图1示意性图示包括头戴式显示器的图像显示系统的配置。图1中图示的系统包括头戴式显示器10本身、作为观看内容源的蓝光盘再现装置20、作为蓝光盘再现装置20的播放内容的其他输出目的地的高视觉显示器（例如，HDMI（高清晰度多媒体接口）电视）30、以及执行从蓝光盘再现装置 20输出的AV信号的处理的前端盒40。

前端盒40对应于HDMI中继器，当接收从蓝光盘再现装置20输出的AV 信号的HDMI输入时，其例如执行信号处理和HDMI输出。此外，前端盒40 还代表双向输出切换器，其将蓝光盘再现装置20的输出目的地切换为头戴式显示器10和高视觉显示器30之一。在图示的示例中，尽管前端盒40具有两个输出，但是它可以具有三个输出或更多。然而，在前端盒40中，AV信号的输出目的地是独有的，并且最高优先级分配给到头戴式显示器10的输出。

HDMI线缆连接在蓝光盘再现装置20和前端盒40之间以及前端盒40和高视觉显示器30之间。尽管可能采用这样的配置，其中HDMI线缆连接在前端盒40和头戴式显示器10之间，但是其他规范的线缆可以用于执行AV信号的串行传送。然而，假设AV信号和功率由连接在前端盒40和头戴式显示器10之间的一条线缆提供，并且头戴式显示器10可以通过该线缆获取驱动功率。

头戴式显示器10包括用于左眼和右眼的独立显示单元。每个显示单元例如使用有机EL设备。此外，左和右显示单元每个装配有透镜块，其包括具有低畸变和高分辨率的广视角光学系统。

图2图示头戴式显示器10的外观配置示例。在头戴式显示器的框架中，左眼显示单元50和右眼显示单元60与透镜块（上述）一起支撑。此外，左侧耳机和右侧耳机附接到左右太阳穴。在图示的示例中，鼻垫（或鼻罩）也用作可佩戴传感器，并且具有当用户（或观众）的鼻子端接触鼻垫时检测佩戴的系统。当用户的鼻子端接触鼻垫时，佩戴传感器接通，并且当佩戴传感器与鼻子端分离时，佩戴传感器关断。

如图2所示，遮光罩附接在左眼显示单元50和右眼显示单元60上面。在用户佩戴头戴式显示器10的状态下，左眼和右眼通过遮光罩阻挡环境光，并且可能维持实质上恒定的观看环境。也就是说，头戴式显示器10形成为直接覆盖用户眼睛的设备。

图3是从上表面看头戴式显示器10的视图。

左眼显示单元50和右眼显示单元60具有相同配置。

说明左眼显示单元50的配置示例。如图所示，左眼显示单元50包括用白光源81和滤色镜82形成的显示面板80以及透镜83。对应于诸如从前端盒输出的电影的内容的HDMI输出输入图像信号处理单元70中。在此，该图像信号处理单元70是保持在头戴式显示器10中的配置。

基于图像信号的控制信号从图像信号处理单元70输出以控制白光源81。由白光源81输出的光通过滤色镜82和透镜83到达用户（或观察者）的眼睛。

然而，在具有如上组合显示面板80和透镜83的配置的显示设备中，存在这样的情况，其中由于透镜83的畸变等在观察图像中出现颜色偏移。

例如，在通过在一个像素上重叠RGB每个的波长光并且输出结果，相对于显示面板上的一个像素显示W（白色）的情况下，可能显示白色。

然而，可以出现颜色偏移，其中例如RGB的输出位置由于透镜的畸变而偏移，并且RGB颜色输出到稍稍偏移的位置。

希望提供一种通过在显示面板的每个区域中部分地偏移图像来抵消畸变的方法。

图4图示由透镜畸变产生的观察图像的示例。

图4图示两个图像的示例：（A）原始图像（即，在显示面板上的图像）；以及（B）通过透镜的图像（即，观察图像）。

通过由图3中图示的图像信号处理单元输出的图像信号，在显示面板80 （即，用白光源81和滤色镜82形成的显示面板80）上显示对应于原始内容的图4（A）中图示的正确图像。图4（A）中图示的四边形图示一个给定显示对象的轮廓。

然而，当通过在用户（或者观察者）的眼睛前面安排的透镜观察该图像时，由于透镜畸变的畸变出现，并且如图4（B）中所示，观察到好像原始四边形对象变形。

原始图像和观察图像之间的这种差别基于透镜特性（即，所谓畸变特性）。

可以预先测量透镜畸变特性，并且例如在使用具有如图4所示的畸变特性的透镜的情况下，有效执行生成并且输出具有与畸变特性相反特性的图像作为校正图像的处理。

也就是说，如图5所示，关于相对于图像信号处理单元70的输出图像（A1），如（A2）所示，图像信号处理单元70生成具有与图像畸变特性相反特性的图像作为校正图像。

如果在显示面板80上显示该校正图像，如图5（B）所示，通过透镜的观察图像用作没有畸变的图像，并且用户（或者观察者）可以观察到普通图像。

然而，透镜的畸变特性稍稍取决于光波长而改变。

例如，在使用RGB信号的显示单元中，如图6所示，取决于R、G和B 的每个的波长光，导致不同畸变。

通过基于这种波长的畸变特性的差别，如上所说明的，出现这样的情况，其中应该原始观察为白色（W）的像素值没有观察为白色，而是观察为偏移的RGB颜色。

图7是图示该颜色偏移的现象的图。图7图示以下两个观察图像的示例。

（a）理想观察图像和（b）实际观察图像的每个示出观察图像和观察的图像中包括的RGB信号的输出信号位置的示例。

存在其中它们是通过透镜输出图像的示例。

在图7（a）中图示的理想观察图像中，RGB颜色的输出位置安排成一直线，并且由用户观察的像素值是白色（W）。

然而，在图7（b）中图示的真实观察图像中，RGB颜色的信号输出位置偏移，并且由用户观察的像素值不是白色（W），而是其中安排RGB的三种颜色的图像。

因此，因为透镜的畸变特性取决于光波长而改变，所以如果对于RGB 执行相同的畸变校正，相对RGB位置保持在偏移状态。优选的是在生成校正图像时执行对于RGB的每个颜色单元唯一的校正处理。

也就是说，有效执行如图8所示的处理。如图8所示，关于相对于图像信号处理单元70的图像信号的输入图像（A1），如（A2）所示，生成具有与对于RGB波长光唯一的透镜畸变特性相反特性的图像作为校正图像。

图8（A2）中图示的该校正图像是这样的图像，其中为RGB的每个设置与上面说明的图6（B）中RGB的每个颜色的畸变特性相反的特性。

当在显示面板80上显示该校正图像时，如图8（B）所示，通过透镜的观察图像用作没有畸变的图像，并且用户（或者观察者）可以观察没有颜色偏移的正常图像。

例如，如图9（b）所示，为了使得相同的白色（W）像素作为原始图像，从该原始图像输出的白色（W）像素被观察为观察图像，要求生成其中RGB 每个的偏移量设置为稍稍改变的校正图像作为输出到显示面板80的校正图像，如图9（a）所示。

参照图10说明信号处理配置的示例，该信号处理配置以颜色为单元通过这样的校正处理生成校正图像。

如图10所示，信号处理单元包括执行支持R信号的畸变校正的R畸变校正单元101、执行支持G信号的畸变校正的G畸变校正单元102以及执行支持B信号的畸变校正的B畸变校正单元102。

在RGB畸变校正单元101到103中，输入对于RGB唯一的输入信号 dinR、dinG和dinB以及参考信号refR、refG和refB。

输入信号din表示形成显示图像的每个像素的像素信号。例如，对应于形成来自图1和图3所示的前端盒40的输入内容的每个图像帧的颜色的像素信号按顺序输入校正单元。

参考信号ref表示这样的信号，其指示在生成RGB畸变校正单元101到 103的每个的输出信号dout时要参考的输入图像的像素位置。

该参考信号是基于头戴式显示器10的透镜畸变特性的参数，并且预先存储在头戴式显示器10的图像信号处理单元中的存储器中。

例如，R参考信号refR指示输入图像中的像素位置，其对应于由R畸变校正单元101输出的第k个R像素doutR(k)。由R畸变校正单元101输出的第k个R像素doutR(k)的像素位置和输入图像中的像素位置之间的距离对应于畸变量，即，观察图像中由透镜畸变导致的像素位置偏移量。

此外，仅与R像素值相关联的输入信号和参考信号输入R畸变校正单元 101，仅与G像素值相关联的输入信号和参考信号输入G畸变校正单元102，并且仅与B像素值相关联的输入信号和参考信号输入B畸变校正单元103。

RGB畸变校正单元101到103通过应用输入信号din的像素值作为校正目标，以及指示根据基于每个颜色的畸变特性的像素偏移量确定的参考像素位置的参考信号ref，生成输出信号dout，并且输出输出信号dout。

RGB畸变校正单元101到103的每个应用顺序输入的输入图像值信号 din，并且执行计算从这些输入像素位置偏移的位置（即，基于每个颜色的透镜畸变特性偏移的像素位置）的像素值的像素内插处理。输出利用内插像素值形成的图像信号作为输出信号dout。

参照图11说明在RGB畸变校正单元101到103的每个中执行的像素值内插处理的具体处理。

在以下，为了说明简单，在以下假定下给出说明，其中基于输入图像的像素值，RGB畸变校正单元101到103执行计算仅在水平方向偏移的位置的像素值的内插处理。此外，在应用线性内插作为内插方法的假定下给出说明。此外，尽管存在执行水平和垂直方向的二维内插处理或者诸如三次内插的多头内插处理的情况，但是可以通过将在下面描述的一维方向上的处理扩展到二维方向实现这些项目的处理，并且基本处理代表基于以下说明的处理。

图11图示R畸变校正单元101的详细配置，R畸变校正单元101是图 10所示的RGB畸变校正单元101到103的一个畸变校正单元。图10所示的 RGB畸变校正单元101到103具有与图11所示的畸变校正单元101的配置相同的配置。

R畸变校正单元101中输入的参考信号refR(k)示出要参考的输入图像信号的像素位置，以便计算由R畸变校正单元101输出的第k个R像素doutR(k)。

也就是说，由R畸变校正单元101输出的第k个R像素doutR(k)的像素位置和输入图像中的参考信号refR(k)指定的像素位置之间的距离对应于畸变量，即，观察图像中由透镜畸变导致的像素位置的偏移量。

然而，该偏移量不限于匹配像素间隔的整数。因此，参考信号refR(k)的整数部分称为“mk”，并且其小数部分称为“sk”。

例如，该示例是仅使用水平方向像素的示例，并且“mk”对应于从水平像素线的左侧的像素顺序设置的像素号1、2、3、4、5等。

例如，R畸变校正单元101执行设置第k个是输出R像素doutR(k)的像素值为由参考信号refR(k)=mk+sk确定的输入图像的像素位置的像素值的处理。

在图11中，R输入图像dinR顺序存储在存储器111中。

根据参考信号refR(k)=mk+sk中mk的值，从存储器111获取要参考的输入图像的像素值dinR(mk)和dinR(mk+1)，以便计算由R畸变校正单元101输出的第k个输出信号doutR(k)。

通过由参考信号refR(k)=mk+sk小数部分sk对输入图像的这些像素值 dinR(mk)和dinR(mk+1)执行线性内插，线性内插单元112计算原始输入图像中像素位置（即，由参考信号refR(k)=mk+sk指示的像素位置）的像素值，以便设为输出图像信号doutR(k)的像素值。

参照图12，说明由R畸变校正单元101执行的输出信号doutR(k)的计算处理示例。

图12示出（A）相对于R畸变校正单元101的输入图像的每个像素位置的像素值（din），以及（B）来自R畸变校正单元101的输出图像的每个像素位置的像素值（dout）。

水平轴指示像素位置，并且以相同比例示出（A）和（B）。

垂直轴指示输入图像像素值和输出图像像素值。

例如，图12（B）中图示的输出图像的第k个像素的像素值doutR(k)是对应于图12（B）中图示的像素120的像素值。

用于计算该像素值的输入图像中的像素位置通过参考信号 refR(k)=mk+sk确定。

由该参考信号refR(k)=mk+sk指定的像素位置是图12（A）中图示的像素121。

然而，该像素121是输入图像中不存在的像素位置。

它的两侧，即，mk的像素位置中的R像素122和mk+1的像素位置中的 R像素123存在。

通过使用输入图像的这些R像素值dinR(mk)和dinR(mk+1)的内插处理，线性内插单元112计算对应于由参考信号refR(k)=mk+sk指示的像素位置（即图12（A）中图示的像素121的像素位置）的像素值。该计算像素值假定为图12（B）中图示的输出图像中第k像素的像素值doutR(k)。

线性内插单元112在以下等式中计算输出像素值doutR(k)。

doutR(k)=(1-sk)×dinR(mk)+(sk)×dinR(mk)

线性内插单元112根据上面的等式计算输出像素值doutR(k)。

尽管已经参照图11和12说明R畸变校正单元101中校正图像的R像素值的计算处理示例，但是因为其与G畸变校正单元102和B畸变校正单元103 不同仅在于G和B是处理像素，所以通过与该处理序列类似的处理计算和输出输出图像中G和B像素的像素值。

通过该处理，例如，可能生成上面参照图8说明的图8（A2）中图示的校正图像，即，反映与基于RGB波长的透镜畸变特性相反特性的校正图像。

上面示出了基于波长依赖的畸变校正处理的一般处理。

如上参照图3所说明的，即使在有机EL系统或液晶系统中，几乎所有显示面板具有这样的配置，其中滤色镜安排在白光源的前表面。

关于具有这样的配置的显示单元，不幸的是，白光源的流出光漏入与原始输出颜色不同颜色的滤色镜的成分。这参照图13说明。

图13图示了如上面在图3中说明的相同头戴式显示器的横截面配置。

如上面参照图3说明的，提供了其中滤色镜安排在白光源的前表面的配置。

在图13所示的示例中，仅仅在滤色镜的B（蓝色）像素位置的背景上的白光源设为开，并且其周围设为关，以便执行生成蓝色像素输出的处理。

然而，来自白光源的光向四周扩展，并且在倾斜方向照射的光由邻近其应该通过的滤色镜（B）的透镜通过滤色镜（R和G）收集。

结果，使得用户（或者观察者）观察与原始图像的颜色不同颜色的图像。

该伪光元素在下面称为“伪光”。此外，由于伪光在观察图像中出现并且不包括在原始图像中的颜色称为“由于伪光的颜色偏移”。

在图13所示的示例中，Rb和Gb对应于伪元素。

在此，伪信号“Rb”和“Gb”中的首字母“R”和“G”示出导致为伪光的颜色信号，并且随后的字母“b”示出对应于要输出的颜色信号的原始滤波颜色“B”。信号“Bb”是正常信号，其中输出颜色元素和要输出的信号两者是“B”。

在头戴式显示器中使用的小显示器中，因为滤色镜和白光源之间的距离相对大，所以该伪现象变得更加显著。

该伪现象是即使在参照图7到图12说明的、生成和输出支持RGB的每个颜色的畸变特性的校正图像的情况下也没有克服的现象。

图14是图示在参照图8说明的、生成和输出支持RGB的每个颜色的畸变特性的校正图像的情况下，由于伪光的颜色偏移的出现方面的图。

如图14所示，例如，对于相对于图3所示的头戴式显示器10的图像信号处理单元70的输入图像（A1），如（A2）所示，生成具有与RGB波长光唯一的透镜畸变特性相反特性的图像作为校正图像。

图14（A2）中图示的该校正图像是这样的图像，其中为RGB的每个设置与在上面说明的图6（B）中RGB的每个的畸变特性相反的特性。

当该校正图像输出到显示面板上时，作为通过透镜观察的观察图像，除了如图14（B）所示的原始白色（W）外，输出蓝、天蓝、黄和红。也就是说，观察到其上出现由于伪光的颜色偏移的图像。

图15是图示基于支持RGB的校正图像信号的伪光的出现方面以及观察图像中的对应的图。

图15（a）示出没有伪光的理想校正图像信号。

此外，图15中图示的示例是通过输出生成W像素的输出示例，其中通过RGB的均等输出进行该输出。

图15（b）图示其中出现伪光的校正图像信号。实际上，如参照图13说明的，通过作为原始光发射目标的滤色镜的颜色附近的颜色的输出光出现，并且如图15（b）所示，支持伪光的各种信号出现。

也就是说，R信号包括伪光信号Rg和Rb，G信号包括伪光信号Gr和 Gb，并且B信号包括伪光信号Br和Bg。因此，包括这些伪光信号。

结果，如图15（c）所示，在白色（W）像素的输出处理中，在白色（W）附近输出蓝、天蓝、黄和红。也就是说，观察到其中通过伪光的颜色偏移出现的图像。

[2.关于抑制通过伪光的颜色偏移出现的处理]

在以下，对于执行抑制参照图13到15说明的由于伪光的颜色偏移出现的处理的图像信号处理装置给出说明。

[2-1.关于头戴式显示器的整体配置]

首先，参照图16，对于头戴式显示器10的整体配置给出说明，头戴式显示器10是本公开的图像信号处理装置的实施例。

控制单元201例如包括微处理器，并且通过在使用RAM（随机存取存储器）203作为工作区域的同时运行ROM（只读存储器）202中存储的控制程序，控制整个装置的操作。

佩戴传感器204检测头戴式显示器10佩戴在用户（或者观察者）上，或者用户取下头戴式显示器10。当检测到佩戴或者取下头戴式显示器10时，佩戴传感器204在控制单元201中产生检测信号。

基于该检测信号，控制单元201发送控制指令以针对图像信号处理单元 206开始或停止处理。

图像信号处理单元206对于在HDMI信号输入单元205中从前端盒40 接收的图像信号执行诸如解码、缩放和降噪的信号处理。此外，其执行校正图像的生成处理，以便抑制基于透镜畸变或伪光的颜色偏移的出现。

经历处理的图像信号暂时记录在VRAM（视频RAM）210中。

显示控制单元207将暂时记录在VRAM210中的图像信号显示和输出到左眼显示单元208和右眼显示单元209。左眼显示单元208和右眼显示单元 209采用上面参照图3或图13说明的配置，也就是说，包括显示面板和透镜的配置，其中显示面板包括白光源和滤色镜。

[2-2.关于由图像信号处理单元执行的处理的细节]

接下来，参照图17，对于由图16中图示的头戴式显示器10中的图像信号处理单元206执行的处理给出详细说明。

如上所述，图像信号处理单元206对于在HDMI信号输入单元205中从前端盒40接收的图像信号执行诸如解码、缩放和降噪的信号处理。此外，其执行校正图像的生成处理，以便抑制基于透镜畸变或伪光的颜色偏移的出现。

诸如解码、缩放和降噪的信号处理类似于相关技术中的处理，并且因此对于用于抑制基于透镜畸变和伪光的颜色偏移的出现的校正图像的生成处理给出详细说明。

图17是图示由图像信号处理单元206执行的校正图像的生成处理的系统的图，校正图像用于抑制基于透镜畸变或伪光的颜色偏移的出现。

类似于上面参照图10说明的图像处理系统，图17中图示的图像处理单元的配置包括支持颜色的畸变校正单元421到423，其通过执行对应于每个 RGB波长光的透镜畸变特性的支持每个颜色的校正，生成校正图像。

然而，在图17中图示的配置中，对于R信号执行畸变校正的R畸变校正单元配置为频带调整和R畸变校正单元421，其执行与图10中的配置的处理不同的处理。

类似地，对于B信号执行畸变校正的B畸变校正单元配置为频带调整和 B畸变校正单元423，其执行与图10中的配置的处理不同的处理。

对于G信号执行畸变校正的G畸变校正单元配置为G畸变校正单元422，其执行与图10中的配置的处理类似的配置。

此外，在图17中图示的配置中，添加以下组件以便抑制基于伪光的颜色偏移的出现。

添加R-G畸变差别抑制R参考信号生成单元401、B-G畸变差别抑制B 参考信号生成单元402、R-G畸变差别基础R支持滤波器频带计算单元411 和B-G畸变差别基础B支持滤波器频带计算单元412的组件。

R-G畸变差别抑制R参考信号生成单元401从存储器接收基于R信号的透镜畸变特性的参数R参考信号refR311、以及基于G信号的透镜畸变特性的参数G参考信号refG312的输入，生成校正R参考信号ref'R321，并且将生成的校正R参考信号ref'R321输入频带调整和R畸变校正单元421。

B-G畸变差别抑制B参考信号生成单元402从存储器接收基于B信号的透镜畸变特性的参数B参考信号refB313、以及基于G信号的透镜畸变特性的参数G参考信号refG312的输入，生成校正B参考信号ref'B322，并且将生成的校正R参考信号ref'R322输入频带调整和B畸变校正单元423。

R-G畸变差别基础R支持滤波器频带计算单元411从存储器接收基于R 信号的透镜畸变特性的参数R参考信号refR311、以及基于G信号的透镜畸变特性的参数G参考信号refG312的输入，生成R支持滤波器频带控制信号ΔfR331，并且将生成的R支持滤波器频带控制信号ΔfR331输入频带调整和R 畸变校正单元421。

B-G畸变差别基础B支持滤波器频带计算单元412从存储器接收基于B 信号的透镜畸变特性的参数B参考信号refR313、以及基于G信号的透镜畸变特性的参数G参考信号refG312的输入，生成B支持滤波器频带控制信号ΔfB332，并且将生成的B支持滤波器频带控制信号ΔfB332输入频带调整和B 畸变校正单元423。

说明根据图17中图示的图像信号处理单元206的配置的处理。

对于R信号执行畸变校正的频带调整和R畸变校正单元421接收R输入信号dinR301的输入。

对于G信号执行畸变校正的G畸变校正单元422接收G输入信号 dinG302的输入。

对于B信号执行畸变校正的频带调整和B畸变校正单元423接收B输入信号dinB303的输入。

输入信号din表示形成显示图像的每个像素的像素信号。它是从图16中图示的HDMI信号输入单元205输入的图像信号，并且表示支持形成从例如图1或图3中图示的前端盒40输入的内容的每个图像帧的每个颜色的像素信号。

此外，频带调整和R畸变校正单元421接收由R-G畸变差别抑制R参考信号生成单元401生成的校正R参考信号ref'R321、以及由R-G畸变差别基础R支持滤波器频带计算单元411生成的R支持滤波器频带控制信号ΔfR331 的输入。

此外，G畸变校正单元422接收作为支持G信号的参考信号的G参考信号refG312的输入。

此外，频带调整和B畸变校正单元423接收由B-G畸变差别抑制B参考信号生成单元402生成的校正B参考信号ref'B322、以及由B-G畸变差别基础B支持滤波器频带计算单元412生成的B支持滤波器频带控制信号ΔfB332 的输入。

R参考信号refR311、G参考信号refG312和B参考信号refB313是与上面参照图10说明的参考信号类似的信号，并且表示基于头戴式显示器10上透镜的颜色畸变特性的参数。它们预先存储在头戴式显示器10的存储器中。

在参照图10说明的配置中，它们用作指示在RGB畸变校正单元101到 103中生成输出信号dout时要参考的输入图像的像素位置的信号。

在图17中图示的配置中，G畸变校正单元422执行与参照图10和图11 说明的处理相同的处理。也就是说，根据G参考信号refG312，其确定要参考的输入图像的像素位置，并且生成输出信号doutG。

G畸变校正单元422执行与参照图10和图11说明的处理相同的处理。

然而，对R信号执行畸变校正的频带调整和R畸变校正单元421以及对 B信号执行畸变校正的频带调整和B畸变校正单元423，执行与参照图10和图11说明的处理不同的处理。

图17中图示的支持RGB颜色的畸变校正单元421到423接收校正目标图像的颜色信号的输入，基于透镜畸变特性执行颜色的图像畸变校正，并且生成对于颜色的校正图像。类似于上面参照图10到图12说明的处理，这些支持多颜色的畸变校正单元421到423的每个执行以下处理：接收指示输入图像中的像素位置的参考信号的输入，其应用于计算输出校正图像的每个像素值；并且设置由参考信号指示的输入图像的像素位置的像素值作为输出像素值。

然而，在图17中的配置中，支持R和B的每个颜色的畸变校正单元执行以下处理：接收其中与G参考信号refG的差别设为小的校正参考信号的输入；应用该校正信号；并且生成校正图像，其中输入图像中由校正参考信号指示的像素位置的像素值设为输出像素值。

在R-G畸变差别抑制R参考信号生成单元401和B-G畸变差别抑制B 参考信号生成单元402生成该校正参考信号。

参照图18说明由R-G畸变差别抑制R参考信号生成单元401执行的处理和由B-G畸变差别抑制B参考信号生成单元402执行的处理。

如上所述，R-G畸变差别抑制R参考信号生成单元401从存储器接收基于R信号的透镜畸变特性的参数R参考信号refR311、以及基于G信号的透镜畸变特性的参数G参考信号refG312的输入，生成校正R参考信号ref'R321，并且将生成的校正R参考信号ref'R321输入频带调整和R畸变校正单元421。

此外，B-G畸变差别抑制B参考信号生成单元402从存储器接收基于B 信号的透镜畸变特性的参数B参考信号refB313、以及基于G信号的透镜畸变特性的参数G参考信号refG312的输入，生成校正B参考信号ref'B322，并且将生成的校正R参考信号ref'R322输入频带调整和B畸变校正单元423。

图18是图示由R-G畸变差别抑制R参考信号生成单元401和B-G畸变差别抑制B参考信号生成单元402执行的处理的图。

首先，说明R-G畸变差别抑制R参考信号生成单元401中的处理示例。

R-G畸变差别抑制R参考信号生成单元401从存储器接收基于R信号的透镜畸变特性的参数R参考信号refR311、以及基于G信号的透镜畸变特性的参数G参考信号refG312的输入，并且计算差别绝对值。

abs(refR-refG)

根据上面的等式，计算R参考信号refR311和G参考信号refG312之间的差别绝对值。

该差别绝对值abs(refR-refG)对应于图18中图示的曲线图的水平轴。

R-G畸变差别抑制R参考信号生成单元401根据图18中图示的曲线图，计算对应于计算的差别绝对值abs(refR-refG)的增益。

图18中图示的曲线图示出差别绝对值abs(refR-refG)和增益之间的对应数据，其存储在R-G畸变差别抑制R参考信号生成单元401中的存储器或诸如图16中图示的ROM202的存储单元中。

R-G畸变差别抑制R参考信号生成单元401参考存储在存储器中的差别绝对值abs(refR-refG)和增益之间的对应数据，并且计算对应于计算的差别绝对值abs(refR-refG)的增益。

此外，根据计算的增益，生成校正R参考信号ref'R321。校正R参考信号ref'R321执行根据以下等式1的计算。

ref'R=refG+gain(refR-refG)...(等式1)

在上面的等式1中，“refG”代表图17中图示的G参考信号refG312，并且“gain(refR-refG)”代表根据图18中图示的曲线图基于计算的差别绝对值abs(refR-refG)获取的增益值。

R-G畸变差别抑制R参考信号生成单元401将如上生成的校正R参考信号ref'R321输入频带调整和R畸变校正单元421。

设置图18图示的曲线图，使得当G参考信号refG和R参考信号refR之间的差别越大，R参考信号refR的值越接近由G参考信号refG指示的位置。在图18图示的示例中，当参考信号的差别绝对值abs(refR-refG)变为10像素时，获取70%的增益。

例如，在“abs(refR-refG)”是10像素的情况下，R-G畸变差别抑制R 参考信号生成单元401生成校正R参考信号ref'R321，其中重写R参考信号 refR的值，使得差别变为7像素，并且将其输入频带调整和R畸变校正单元 421。

接下来，说明B-G畸变差别抑制B参考信号生成单元402中的处理示例。

B-G畸变差别抑制B参考信号生成单元402从存储器接收基于B信号的透镜畸变特性的参数B参考信号refB313、以及基于G信号的透镜畸变特性的参数G参考信号refG312的输入，并且计算差别绝对值。

abs(refB-refG)

根据上面的等式，计算B参考信号refB313和G参考信号refG312之间的差别绝对值。

该差别绝对值abs(refB-refG)对应于图18中图示的曲线图的水平轴。

B-G畸变差别抑制B参考信号生成单元402根据图18中图示的曲线图，计算对应于计算的差别绝对值abs(refB-refG)的增益。

图18中图示的曲线图示出差别绝对值abs(refB-refG)和增益之间的对应数据，其存储在B-G畸变差别抑制B参考信号生成单元402中的存储器或诸如图16中图示的ROM202的存储单元中。

B-G畸变差别抑制B参考信号生成单元402参考存储在存储器中的差别绝对值abs(refB-refG)和增益之间的对应数据，并且计算对应于计算的差别绝对值abs(refB-refG)的增益。

此外，根据计算的增益，生成校正B参考信号ref'B322。校正B参考信号ref'R322执行根据以下等式2的计算。

ref'B=refG+gain(refB-refG)...(等式2)

在上面的等式2中，“refG”代表图17中图示的G参考信号refG312，并且“gain(refB-refG)”代表根据图18中图示的曲线图基于计算的差别绝对值abs(refB-refG)获取的增益值。

B-G畸变差别抑制B参考信号生成单元402将如上生成的校正B参考信号ref'B322输入频带调整和B畸变校正单元423。

设置图18图示的曲线图，使得当G参考信号refG和B参考信号refB之间的差别越大，B参考信号refB的值越接近由G参考信号refG指示的位置。在图18图示的示例中，当参考信号的差别绝对值abs(refB-refG)变为10像素时，获取70%的增益。

例如，在“abs(refB-refG)”是10像素的情况下，B-G畸变差别抑制B 参考信号生成单元402生成校正B参考信号ref'B322，其中重写B参考信号 refB的值，使得差别变为7像素，并且将其输入频带调整和B畸变校正单元 423。

接下来，参照图19说明由R-G畸变差别基础R支持滤波器频带计算单元411和B-G畸变差别基础B支持滤波器频带计算单元412执行的处理。

如上所述，R-G畸变差别基础R支持滤波器频带计算单元411从存储器接收基于R信号的透镜畸变特性的参数R参考信号refR311、以及基于G信号的透镜畸变特性的参数G参考信号refG312的输入，生成R支持滤波器频带控制信号ΔfR331，并且将生成的R支持滤波器频带控制信号ΔfR331输入频带调整和R畸变校正单元421。

此外，B-G畸变差别基础B支持滤波器频带计算单元412从存储器接收基于B信号的透镜畸变特性的参数B参考信号refR313、以及基于G信号的透镜畸变特性的参数G参考信号refG312的输入，生成B支持滤波器频带控制信号ΔfB332，并且将生成的B支持滤波器频带控制信号ΔfB332输入频带调整和B畸变校正单元423。

图19是图示由R-G畸变差别基础R支持滤波器频带计算单元411和B-G 畸变差别基础B支持滤波器频带计算单元412执行的处理的图。

首先，说明R-G畸变差别基础R支持滤波器频带计算单元411中的处理示例。

R-G畸变差别基础R支持滤波器频带计算单元411从存储器接收基于R 信号的透镜畸变特性的参数R参考信号refR311、以及基于G信号的透镜畸变特性的参数G参考信号refG312，并且计算差别绝对值。

abs(refR-refG)

根据上面的等式，计算R参考信号refR311和G参考信号refG312之间的差别绝对值。

该差别绝对值abs(refR-refG)对应于图19中图示的曲线图的水平轴。

R-G畸变差别基础R支持滤波器频带计算单元411根据图19图示的曲线图，计算对应于计算的差别绝对值abs(refR-refG)的滤波器频带(ΔfR)。

图19图示的曲线图示出差别绝对值abs(refR-refG)和滤波器频带(ΔfR)之间的对应数据，其存储在R-G畸变差别基础R支持滤波器频带计算单元411 中的存储器或诸如图16图示的ROM202的存储单元中。

R-G畸变差别基础R支持滤波器频带计算单元411参照存储在存储器中的差别绝对值abs(refR-refG)和滤波器频带(ΔfR)之间的对应数据，并且计算对应于计算的差别绝对值abs(refR-refG)的滤波器频带(ΔfR)。

R-G畸变差别基础R支持滤波器频带计算单元411将如上生成的滤波器频带控制信号(ΔfR)331输入频带调整和R畸变校正单元421。

设置图19图示的曲线图，使得当G参考信号refG312和R参考信号 refR311之间的差别越大，减小R滤波器频带。在图19图示的示例中，当这些参考信号之间的差别变为10像素时，获取50%的滤波器频带。

例如，在G参考信号refG和R参考信号refR之间的差别是10像素的情况下，R-G畸变差别基础R支持滤波器频带计算单元411生成具有50%值的滤波器频带控制信号(ΔfR)331，并且将其输入频带调整和R畸变校正单元 421。

接下来，说明B-G畸变差别基础B支持滤波器频带计算单元412中的处理示例。

B-G畸变差别基础B支持滤波器频带计算单元412从存储器接收基于B 信号的透镜畸变特性的参数B参考信号refB312、以及基于G信号的透镜畸变特性的参数G参考信号refG312，并且计算差别绝对值。

abs(refB-refG)

根据上面的等式，计算B参考信号refR313和G参考信号refG312之间的差别绝对值。

该差别绝对值abs(refB-refG)对应于图19中图示的曲线图的水平轴。

B-G畸变差别基础B支持滤波器频带计算单元412根据图19图示的曲线图，计算对应于计算的差别绝对值abs(refB-refG)的滤波器频带(ΔfB)。

图19图示的曲线图示出差别绝对值abs(refB-refG)和滤波器频带(ΔfB)之间的对应数据，其存储在B-G畸变差别基础B支持滤波器频带计算单元412 中的存储器或诸如图16图示的ROM202的存储单元中。

B-G畸变差别基础B支持滤波器频带计算单元412参照存储在存储器中的差别绝对值abs(refB-refG)和滤波器频带(ΔfB)之间的对应数据，并且计算对应于计算的差别绝对值abs(refB-refG)的滤波器频带(ΔfB)。

B-G畸变差别基础B支持滤波器频带计算单元412将如上生成的滤波器频带控制信号(ΔfB)332输入频带调整和B畸变校正单元423。

设置图19图示的曲线图，使得当G参考信号refG312和B参考信号 refB312之间的差别越大，减小B滤波器频带。在图19图示的示例中，当这些参考信号之间的差别变为10像素时，获取50%的滤波器频带。

例如，在G参考信号refG和B参考信号refB之间的差别是10像素的情况下，B-G畸变差别基础B支持滤波器频带计算单元412生成具有50%值的滤波器频带控制信号(ΔfB)332，并且将其输入频带调整和B畸变校正单元 423。

接下来，参照图20说明频带调整和R畸变校正单元421和频带调整和B 畸变校正单元423的配置和处理。

在这两个处理单元中，因为仅仅输入参数是不同的，并且执行基本相同的处理，所以说明频带调整和R畸变校正单元421的配置和处理作为代表性示例。

图20图示频带调整和R畸变校正单元421的配置。该配置是添加低通滤波器（LPF）453到上面参照图11说明的R畸变校正单元101的配置的配置。

低通滤波器（LPF）453接收滤波器频带控制信号ΔfR331，对线性内插单元452的生成信号执行频带限制，具体地，执行减小高通信号的频带限制处理，并且生成输出图像信号doutR351。

图21是示出低通滤波器（LPF）453中频带限制的示例的曲线图。

例如，如果输入频带调整和R畸变校正单元421中的频带控制信号是ΔfR=100%，那么整个频率增益设为100%，但是当输入频带控制信号Δf降低到50%、25%等时，执行减小高通增益的处理，并且输出具有减小的高通增益的输出图像信号doutR351。

参照图20图示的频带调整和R畸变校正单元421的配置，说明由频带调整和R畸变校正单元421执行的处理。

在以下，为了说明简单，在以下假定下给出说明，其中基于输入像素的像素值，频带调整和R畸变校正单元421执行计算仅在水平方向偏移的位置的像素值的内插处理。在此，在应用线性内插作为内插方法的假定下给出说明。此外，尽管存在执行水平和垂直方向的二维内插处理或者诸如三次内插的多头内插处理的情况，但是可以通过将在下面描述的一维方向上的处理扩展到二维方向实现这些项目的处理，并且基本处理代表基于以下说明的处理。

在频带调整和R畸变校正单元421中，输入以下各种信号。

（1）对应于图像的R像素值的R输入信号dinR301，该图像对应于要显示的内容

（2）由R-G畸变差别抑制R参考信号生成单元401生成的校正R参考信号ref'R321

（3）由R-G畸变差别基础R支持滤波器频带计算单元411生成的R支持滤波器频带控制信号ΔfR331。

输入这些信号。

由R-G畸变差别抑制R参考信号生成单元401生成的校正R参考信号 ref'R321例如表示通过根据图18图示的曲线图特性校正原始参考信号refR获取的校正参考信号。

校正R参考信号ref'R(k)321代表基于根据由频带调整和R畸变校正单元 421输出的第k输出信号dout(k)选择的原始参考信号refR(k)，用于根据图18 图示的曲线图特性的校正的校正参考信号。

频带调整和R畸变校正单元421的线性内插单元452应用该校正R参考信号ref'R(k)321，并且确定对应于输出信号的参考像素位置。

类似于原始参考信号refR(k)，校正R参考信号ref'R(k)321不限于匹配像素间隔的整数。因此，校正R参考信号ref'R(k)321的整数部分称为“mk”，并且其小数部分称为“sk”。

例如，该示例是仅使用水平方向像素的示例，并且“mk”对应于从水平像素线的左侧的像素顺序设置的像素号1、2、3、4、5等。

在图20中，R输入图像dinR顺序存储在存储器451中。

根据校正R参考信号ref'R(k)=mk+sk中mk的值，从存储器451获取要参考的输入图像的像素值dinR(mk)和dinR(mk+1)，以便计算由频带调整和R 畸变校正单元421输出的第k个输出信号doutR(k)。

通过由校正R参考信号ref'R(k)=mk+sk中小数部分sk的值对输入图像的这些像素值dinR(mk)和dinR(mk+1)执行线性内插，线性内插单元452计算原始输入图像中像素位置（即，由校正R参考信号ref'R(k)=mk+sk指示的像素位置）的像素值，以便设为输出图像信号doutR(k)的像素值。

该处理类似于上面参照图12说明的处理。

通过使用输入图像的这些R像素值dinR(mk)和dinR(mk+1)的内插处理，线性内插单元452计算对应于由校正R参考信号ref'R(k)=mk+sk指示的像素位置（即，图12（A）图示的像素121的像素位置）的像素值X(k)。该计算的像素值输出到低通滤波器（LPF）453。

线性内插单元452计算以下等式中的输出像素值X(k)。

X(k)=(1-sk)×dinR(mk)+(sk)×dinR(mk)

线性内插单元452根据上面的等式计算输出到低通滤波器（LPF）453 的输出像素值X(k)。

低通滤波器（LPF）453基于由R-G畸变差别基础R支持滤波器频带计算单元411生成的R支持滤波器频带控制信号ΔfR331，对从线性内插单元452 输出的像素值X(k)执行频带限制处理，具体地，执行减小高通信号的处理，并且生成和输出输出图像信号doutR(k)351。

如上面说明的，例如基于R支持滤波器频带控制信号ΔfR331，根据图21 中图示的曲线图，在低通滤波器（LPF）453中执行频带限制。例如，如果输入频带调整和R畸变校正单元421中的频带控制信号是ΔfR=100%，那么整个频率增益设为100%，但是当输入频带控制信号Δf降低到50%、25%等时，执行减小高通增益的处理，并且输出具有减小的高通增益的输出图像信号 doutR(k)351。

参照图20，已经说明执行支持R信号的处理的频带调整和R畸变校正单元421中的处理。

执行支持B信号的处理的频带调整和B畸变校正单元423接收以下信号的输入：（1）对应于图像的B像素值的B输入信号dinB303，该图像对应于要显示的内容；（2）由B-G畸变差别抑制B参考信号生成单元402生成的校正B参考信号ref'B322；以及（3）由B-G畸变差别基础B支持滤波器频带计算单元412生成的B支持滤波器频带控制信号ΔfB332，执行与参照图20 说明的处理类似的处理，并且输出输出图像信号doutB(k)353。

[2-3.关于基于校正参考信号的应用以及低通滤波器的应用的效果]

接下来，说明在频带调整和R畸变校正单元421和频带调整和B畸变校正单元423中执行的以下处理的效果。也就是说，对于（1）应用校正参考信号ref'R和ref'B的效果以及（2）应用滤波器频带控制信号ΔfR和ΔfB的频带限制处理的效果给出说明。

图22是图示应用由R-G畸变差别抑制R参考信号生成单元401和B-G 畸变差别抑制B参考信号生成单元402生成的校正参考信号ref'R和ref'B的效果的图。

图22图示以下图。

（1）对其应用校正参考信号的校正图像信号（没有伪光元素=对应于相对于显示面板的输入信号）

图22（1）图示在应用校正参考信号ref'R和ref'B情况下的RB的信号波形，并且进一步图示应用修改之前的原始参考信号refR和refB情况下的信号波形。

此外，下面说明的RGB信号的信号波形是其中输出像素值设为W（白色）的像素信号的示例。

如图22（1）图示的，对于R信号，在应用校正参考信号ref'R情况下， R信号相对于G信号的偏移量设为小于应用原始参考信号refR的情况。

类似地，对于B信号，在应用校正参考信号ref'B情况下，B信号相对于 G信号的偏移量设为小于应用原始参考信号refB的情况。

此外，该图中图示的示例是由图18图示的曲线图计算50%的增益的情况下的示例，并且与应用原始参考信号的情况相比，RB信号相对于G信号的偏移量减小到一半。

图23是图示通过透镜观察的图像的示例的图，其中图像应用对其应用这种校正参考信号的校正图像信号，并且图像输出到显示单元。

图23图示以下图。

（2）对其应用校正参考信号的校正图像信号（存在伪光元素=（对应于显示面板的输出信号））

（3）观察图像信号。

如上参照图13等说明的，通过由扩展显示面板的照射光到目标滤色镜像素的周围像素导致的伪光，观察到未被要求的信号光。

图23（2）图示对应于包括该伪光的观察光的信号光的示例。

该图23（2）是对应于上面说明的图15（b）的图。

关于该图23（2）中图示的信号，与上面说明的图15（b）相比，R信号的输出信号区域偏移到右侧，并且B信号的输出信号区域偏移到左侧。

这由调整应用图22（1）中图示的校正参考信号的偏移量导致。

通过该处理，如图23（3）所示，与上面参照图15（c）说明的观察图像信号相比（即，图示为图23（3）的参考的观察图像信号），观察图像信号具有窄的伪光照明区域，并且较少混合伪光。

此外，在本公开的配置中，在该校正参考信号的应用处理之后，通过应用低通滤波器到R和B信号生成输出信号。

参照图24和图25说明该低通滤波器的应用处理的效果。

图24（1）图示应用低通滤波器（LPF）到RGB信号之后的信号示例， RGB信号由应用参照图22说明的校正参考信号的线性内插处理生成。也就是说，其图示以下信号。

（1）对其应用校正参考信号和LPF的校正图像信号（没有伪光元素=（对应于相对于显示面板的输入信号））

该图中图示的示例是具有50%的滤波器频带控制信号Δf的示例。通过该 LPF应用处理，在R和B信号每个中信号改变变得温和，并且提供温和的信号波形。结果，基于这些R和B信号导致的伪光GR、伪光GB、伪光RB和伪光BR随后变得温和，并且基本消失。此外，也免除由G信号导致的伪光 RG和伪光BG进入温和的R和B光。因为对于B和R信号人类视觉敏感度低，结果，它们被视觉接触识别为RGB相互稍稍分离的程度。

图25是图示通过透镜观察的图像示例的图，其中通过执行应用校正参考信号和滤波器频带控制信号的频带控制生成的校正图像信号输出到显示单元。

图25图示以下图。

（2）对其应用校正参考信号和LPF的校正图像信号（伪光元素存在=（对应于显示面板的输出信号））

（3）观察图像信号

通过应用校正参考信号，伪光出现区域变窄，并且此外通过LPF应用处理，R和B信号每个中信号改变变得温和，并且伪光水平降低。与图15（c）中图示的使用原始参考信号而没有如图25（3）（参考）图示的伪光对策生成的观察图像相比，可能观察到具有更小伪光区域和更低伪光水平的图像。

[3.本公开的配置概述]

上面已经参照具体实施例详细说明了本公开的实施例。然而，清楚的是本领域的技术人员可以进行修改和替换而不背离本公开的范围。也就是说，本公开以示例的形式公开，并且不应限制性地理解。为了确定本公开的主旨，应该参照权利要求。

本领域的技术人员应该理解，取决于设计要求和其他因素，可以出现各种修改、组合、字组合和更替，只要它们在所附权利要求或其等价物的范围内。

此外，本技术还可以配置如下。

（1）一种图像信号处理装置，包括：

多个颜色支持畸变校正单元，其接收校正目标图像的颜色信号，基于透镜畸变特性执行颜色的图像畸变校正，并且生成支持所述颜色的校正图像，

其中所述多个颜色支持畸变校正单元的每个执行接收参考信号、并且设置所述输入图像中由参考信号指示的像素位置的像素值为输出像素值的处理，所述参考信号指示应用于计算输出校正图像的像素值的输入图像中的像素位置，并且

其中所述多个颜色支持畸变校正单元的至少一个执行以下处理：应用设为具有与另一颜色参考信号小差别的校正参考信号，并且生成校正图像，其中所述输入图像中由所述校正参考信号指示的像素位置的像素值设为输出像素值。

（2）如（1）所述的图像信号处理装置，还包括：

畸变差别抑制参考信号生成单元，其计算两个不同颜色的参考信号之间的差别绝对值，应用根据计算的差别绝对值确定的校正量，并且生成支持所述两个不同颜色之一的校正参考信号，

其中，应用校正参考信号的颜色支持畸变校正单元执行应用由所述畸变差别抑制参考信号生成单元生成的校正参考信号的处理。

（3）如（2）所述的图像信号处理装置，其中所述畸变差别抑制参考信号生成单元生成校正参考信号，其中所述两个不同颜色的参考信号之间的差别设置为小。

（4）如（2）或（3）所述的图像信号处理装置，其中所述畸变差别抑制参考信号生成单元生成校正参考信号，其中当所述两个不同颜色的参考信号之间的差别绝对值越大，利用两个不同颜色的参考信号的差别减少量设为越大。

（5）如（1）到（4）的任一所述的图像信号处理装置，其中应用所述校正参考信号的颜色支持畸变校正单元进一步通过对图像信号执行高通减少处理生成校正图像，所述图像信号包括通过应用校正参考信号计算的像素值。

（6）如（5）所述的图像信号处理装置，还包括：

滤波器频带计算单元，其计算所述两个不同颜色的参考信号之间的差别绝对值，并且根据计算的差别绝对值，生成滤波器频带控制信号以执行高通减少处理，

其中应用所述校正参考信号的颜色支持畸变校正单元，通过执行根据由所述滤波器频带计算单元计算的滤波器频带控制信号的高通减少处理，生成校正图像。

（7）如（6）所述的图像信号处理装置，其中所述滤波器频带计算单元生成滤波器频带控制信号，其中当所述两个不同颜色的参考信号之间的差别绝对值越大，高通减少率设为越高。

（8）如（1）到（7）的任一所述的图像信号处理装置，其中通过线性内插处理，所述颜色支持畸变校正单元生成校正图像，其中输入图像中由参考信号或校正参考信号指示的像素位置的像素值设为输出像素值。

（9）如（1）到（8）的任一所述的图像信号处理装置，

其中所述多个颜色支持畸变校正单元包括

R畸变校正单元，其接收校正目标图像的R信号，并且生成和输出支持R信号的校正图像，

G畸变校正单元，其接收校正目标图像的G信号，并且生成和输出支持G信号的校正图像，以及

B畸变校正单元，其接收校正目标图像的B信号，并且生成和输出支持B信号的校正图像。

（10）如（9）所述的图像信号处理装置，其中仅所述R畸变校正单元和所述B畸变校正单元生成校正图像，其中由输入图像中的校正参考信号指示的像素位置的像素值设为输出像素值。

（11）如（9）或（10）所述的图像信号处理装置，其中仅所述R畸变校正单元和所述B畸变校正单元通过对图像信号执行高通减少处理，生成校正图像，所述图像信号包括通过应用校正参考信号计算的像素值。

（12）一种头戴式显示装置，包括：

根据（1）到（11）的任一的执行图像信号处理的图像信号处理单元。

此外，在上面的装置和系统中执行的处理的方法以及运行处理的程序包括在本公开的配置中。

此外，在本说明书中说明的处理序列可以由硬件、软件和组合硬件和软件的配置实施。在由软件实施处理的情况下，可能在并入专用硬件的计算机中的存储器中安装其中编码处理序列的程序，并且运行该程序。还可能在能够执行各种类型的处理的通用计算机中安装程序，并且运行该程序。例如，程序可以预先安装在存储介质中。除了从存储介质安装在计算机中，程序还可以通过诸如局域网（LAN）或因特网的网络接收，并且可以安装在诸如计算机中内建的硬盘等的存储介质中。

注意，在本说明书中描述的各种类型的处理不但可以以如已经描述的时间序列执行，而且可以根据执行该处理的设备的处理能力或根据需要并行或独立地执行。此外，本说明书中的系统不限于逻辑上集合多个设备的配置，多个设备全部包含在同一机壳中。

如上所述，根据本公开实施例的配置，实现了一种配置，其可以抑制基于透镜畸变的每个颜色的图像畸变和由于显示面板的白光散射导致的伪光的颜色偏移。

更具体地，其包括：多个颜色支持畸变校正单元，其接收校正目标图像的颜色信号，基于透镜畸变特性执行颜色的图像畸变校正，并且生成支持所述颜色的校正图像。所述多个颜色支持畸变校正单元的每个接收参考信号，所述参考信号指示应用于计算输出校正图像的每个像素值的输入图像中的像素位置，并且设置所述输入图像中由参考信号指示的像素位置的像素值为输出像素值。所述多个颜色支持畸变校正单元的至少一个应用设为具有与其他颜色参考信号小差别的校正参考信号，设置输入图像中由所述校正参考信号指示的像素位置的像素值设为输出像素值，并且进一步生成和输出对其应用作为高通减少处理的频带控制的校正图像。

通过该配置，实现了一种配置，其可以抑制基于透镜畸变的每个颜色的图像畸变和由于显示面板的白光散射导致的伪光的颜色偏移。

本申请包含涉及于2012年7月3日向日本专利局提交的日本优先权专利申请JP2012-149849中公开的主题，在此通过引用并入其全部内容。

Claims (12)

1.一种图像信号处理装置，包括：

多个颜色支持畸变校正单元，其接收校正目标图像的颜色信号，基于透镜畸变特性执行颜色的图像畸变校正，并且生成支持所述颜色的校正图像，

其中所述多个颜色支持畸变校正单元的每个执行接收参考信号、并且设置输入图像中由参考信号指示的像素位置的像素值为输出像素值的处理，所述参考信号指示输入图像中的像素位置，所述输入图像应用于计算输出校正图像的像素值，

畸变差别抑制参考信号生成单元，其计算两个不同颜色的参考信号之间的差别绝对值，应用根据计算的差别绝对值确定的校正量，并且生成支持所述两个不同颜色之一的校正参考信号，并且

其中所述多个颜色支持畸变校正单元的至少一个执行以下处理：应用校正参考信号，并且生成校正图像，所述校正参考信号设为具有与另一颜色参考信号差别，其中所述输入图像中由所述校正参考信号指示的像素位置的像素值设为输出像素值。

2.如权利要求1所述的图像信号处理装置，

其中，应用校正参考信号的颜色支持畸变校正单元，执行应用由所述畸变差别抑制参考信号生成单元生成的校正参考信号的处理。

3.如权利要求2所述的图像信号处理装置，其中所述畸变差别抑制参考信号生成单元生成校正参考信号，其中当所述两个不同颜色的参考信号之间的差别绝对值越大，利用两个不同颜色的参考信号的差别减少量设为越大。

4.如权利要求1所述的图像信号处理装置，其中应用所述校正参考信号的颜色支持畸变校正单元，进一步通过对图像信号执行高通减少处理生成校正图像，所述图像信号包括通过应用校正参考信号计算的像素值。

5.如权利要求4所述的图像信号处理装置，还包括：

滤波器频带计算单元，其计算两个不同颜色的参考信号之间的差别绝对值，并且根据计算的差别绝对值，生成滤波器频带控制信号以执行高通减少处理，

其中应用所述校正参考信号的颜色支持畸变校正单元，通过执行根据由所述滤波器频带计算单元计算的滤波器频带控制信号的高通减少处理，生成校正图像。

6.如权利要求5所述的图像信号处理装置，其中所述滤波器频带计算单元生成滤波器频带控制信号，其中当所述两个不同颜色的参考信号之间的差别绝对值越大，高通减少率设为越高。

7.如权利要求1所述的图像信号处理装置，其中通过线性内插处理，所述颜色支持畸变校正单元生成校正图像，其中输入图像中由参考信号或校正参考信号指示的像素位置的像素值设为输出像素值。

8.如权利要求1所述的图像信号处理装置，

其中所述多个颜色支持畸变校正单元包括

R畸变校正单元，其接收校正目标图像的R信号，并且生成和输出支持R信号的校正图像，

G畸变校正单元，其接收校正目标图像的G信号，并且生成和输出支持G信号的校正图像，以及

B畸变校正单元，其接收校正目标图像的B信号，并且生成和输出支持B信号的校正图像。

9.如权利要求8所述的图像信号处理装置，其中仅所述R畸变校正单元和所述B畸变校正单元生成校正图像，其中由输入图像中的校正参考信号指示的像素位置的像素值设为输出像素值。

10.如权利要求9所述的图像信号处理装置，其中仅所述R畸变校正单元和所述B畸变校正单元通过对图像信号执行高通减少处理，生成校正图像，所述图像信号包括通过应用校正参考信号计算的像素值。

11.一种头戴式显示装置，包括：

根据权利要求1的执行图像信号处理的图像信号处理装置。

12.一种在图像信号处理装置中执行的图像信号处理方法，所述图像信号处理装置包括多个颜色支持畸变校正单元，所述图像信号处理方法包括：

接收参考信号，并且设置输入图像中由参考信号指示的像素位置的像素值为输出像素值，所述参考信号指示输入图像中的像素位置，所述输入图像应用于计算输出校正图像的像素值；

计算两个不同颜色的参考信号之间的差别绝对值，应用根据计算的差别绝对值确定的校正量，并且生成支持所述两个不同颜色之一的校正参考信号；以及

接收校正目标图像的颜色信号，基于透镜畸变特性执行颜色的图像畸变校正，并且生成支持所述颜色的校正图像，

其中生成支持所述颜色的校正图像包括所述多个颜色支持畸变校正单元的至少一个应用校正参考信号，并且生成校正图像，所述校正参考信号设为具有与另一颜色参考信号差别，其中所述输入图像中由所述校正参考信号指示的像素位置的像素值设为输出像素值。