CN104253985A - 解马赛克方法以及用于解马赛克的影像处理器 - Google Patents

Abstract

一种解马赛克方法，包括下列步骤：设定圈选型态，其中所述圈选型态覆盖目标像素以及至少一个与所述目标像素邻近的周边像素；以所述圈选型态对至少一个样本影像的多个样本像素分别进行取样，以纪录在各次取样中，所述样本影像的所述周边像素与所述目标像素之间在内插方向上的对应关系；以及统计多次取样的结果以训练出内插方向学习模型。

Description

解马赛克方法以及用于解马赛克的影像处理器

技术领域

本发明涉及影像处理技术，更具体地涉及影像解马赛克技术。

背景技术

解马赛克(demosaicking)，又称为色彩重建(color reconstruction)，是一种将色彩滤波后所取得的原始数据(raw data)予以重建成全彩影像(full colorimage)的影像处理技术。在原始数据中，各像素仅具有单一颜色，通常为红色R、绿色G或蓝色B此三原色之一，而在解马赛克之后，各像素即可同时具有红绿蓝三色。

此色彩重建的过程必须通过内插运算。就各个像素而言，其内插方向(direction of interpolation)可以为垂直方向、水平方向或其它各种方向。举例而言，当内插方向为垂直时，可选择某像素上方及下方的像素以进行内插计算；当内插方向为水平时，可选择某像素左侧及右侧的像素以进行内插计算。然而，在某些特殊影像中，错误的内插方向会产生失真的影像。例如，在对具有边缘的影像进行内插计算时，若选择的内插方向与边缘走向不相符合(例如边缘走向垂直，内插方向为水平)，则色彩重建后很可能会出现部分类似拉链般的纹路(zipper artifacts)，导致失真影像的产生。

因此，需要一种能有效降低上述影像失真的解马赛克方法。

发明内容

本发明提供一种解马赛克方法。所述解马赛克方法包括下列步骤：设定圈选型态，其中所述圈选型态覆盖目标像素以及至少一个与所述目标像素邻近的周边像素；以所述圈选型态对至少一个样本影像的多个样本像素分别进行取样，以纪录在各次取样中，所述样本影像的所述周边像素与所述目标像素之间在内插方向上的对应关系；以及统计多次取样的结果以训练出内插方向学习模型。

本发明另提供一种用于解马赛克的影像处理器。所述影像处理器包括：内插方向训练单元，用于设定圈选型态，其中所述圈选型态覆盖目标像素以及至少一个与所述目标像素邻近的周边像素；以所述圈选型态对至少一个样本影像的多个样本像素分别进行取样，以纪录在各次取样中，所述样本影像的所述周边像素与所述目标像素之间在内插方向上的对应关系；以及统计多次取样的训练结果；以及内插方向学习模型，耦接至所述内插方向训练单元，用于储存所述多次取样的训练结果。

附图说明

图1为依据本发明一实施例的解马赛克方法流程图。

图2A为在一实施例中以Bayer滤波器执行色彩滤波110后所取得的影像原始数据示意图。

图2B为依据本发明一简化的实施例在图2A的原始数据加入「圈选型态」的示意图。

图2C为一样本影像的部分像素示意图。

图3为依据本发明一优选的实施例在图2A的原始数据加入正方形「圈选型态」的示意图。

图4为本发明一实施例中用于解马赛克方法的影像处理器。

【符号说明】

100～解马赛克方法；

S110～S140；S1402～S1406～步骤；

P0～P14～像素；

R～红色；

G～绿色；

B～蓝色；

400～影像处理器；

410～内插方向训练单元；

420～内插方向学习模型；

430～内插方向计算单元。

具体实施方式

下文为介绍本发明的最佳实施例。各实施例用于说明本发明的原理，但非用于限制本发明。本发明的范围当以所附权利要求为准。

解马赛克方法

本发明提供一种新的解马赛克方法。图1为依据本发明一实施例的解马赛克方法流程图。在本发明的解马赛克方法100中，主要步骤S120用来选择或计算特定影像中各像素的内插方向。如图1所示，其执行于色彩滤波(colorfiltering)110之后以及内插计算130之前。图2A为在一实施例中以Bayer滤波器执行色彩滤波110后所取得的影像原始数据示意图。由于采用一般Bayer色彩滤波器，此实施例中绿色(G)的像素数量为红色(R)及蓝色(B)的两倍。如现有技术中所述，在此原始数据中各像素仅具有单一颜色，为了重建各像素的RGB值，必须执行步骤S130的内插计算。然而，为了避免一味采用单一内插方向(例如：垂直或水平)所产生的影像失真的弊端，本发明的步骤S120会分别针对所述特定影像中各个特定像素选择最适当的内插方向。

详细地说，本发明的步骤S120通过下述方式执行：「以圈选型态以及内插方向学习模型所提供的数据计算所述特定影像的所述特定像素的内插方向」。图2B为本发明一简化的实施例中在图2A原始数据的部分像素加上「圈选型态」的示意图。如图所示，在此简化的实施例中，所谓的「圈选型态」大体呈现三角型，其覆盖的范围包括欲计算内插方向的「目标像素P4」，以及与所述目标像素相邻的「周边像素P0～P2」。然而，以计算目标像素P4的「红色数值」(R值)而言，在一优选的实施例中，所谓的周边像素可将非为红色的像素P1予以忽略(即，周边像素为P0及P2)。

本发明的主要原理在于：某目标像素与其周边像素在内插方向上具有相当程度的对应关系，而所述对应关系可通过对大量的影像进行训练而获得。其中，经由训练所产生的大量对应关系即可储存于前述的「内插方向学习模型」，以供往后计算特定像素的内插方向之用。换言之，就图2B的实施例而言，当已得知周边像素P0及P2的内插方向时，则通过所述内插方向学习模型即可得知目标像素P4应有的内插方向。因此，本发明尚包括图1所示的建立内插方向学习模型140此一步骤，而此步骤将于下文详述。

本发明建立内插方向学习模型的步骤S140还包括：在步骤S1402中，设定如前述的圈选型态；在步骤S1404中，以所述圈选型态对至少一个样本影像的多个样本像素分别进行取样，以纪录在各次取样中，所述样本影像的所述周边像素与所述目标像素之间在内插方向上的对应关系；以及在步骤S1406中，统计多次取样的结果以训练出一内插方向学习模型。值得注意的是，虽然此处的「圈选型态」目的在「取样」，与前述在步骤S120中的目的-「计算内插方向」有所不同，但两者的「圈选型态」必须具有相同的形状(例如同样为图2B所示的三角形)、覆盖相对应的目标像素及与周边像素位置，始在运算上具有意义。此外，必须注意到，在步骤S1404的「样本影像」中所有像素皆已具有确定的内插方向，故本文中「样本影像」是有别于前述尚待计算内插方向的「特定影像」。本领域技术人员可采用大量且具有代表性的图案做为所述「样本影像」，以利训练出具有统计意义的内插方向学习模型。

图2C为一样本影像的部分像素示意图。在此样本影像中，相对目标像素P4而言，周边像素P0的内插方向为「垂直」(简记为“V”)，而周边像素P2的内插方向为「水平」(简记为“H”)。在此次取样中，发现当周边像素P0及P2的内插方向为(V，H)时，目标像素P4的内插方向为“H”，则此对应关系会被记录于「内插方向学习模型」之中，格式可如下表所示：

而后，以相同的方法对所述样本影像中所有的像素重复上述的取样过程，并在步骤S1406中统计多次取样的结果，以取得各种情况下的条件机率。统计的结果可能如下表所示：

当内插方向学习模型建立完备时，即可通过前述步骤S120计算所述特定影像中各个特定像素的内插方向。举例而言，当特定影像在圈选形态下的周边像素P0与P2具有内插方向(H，V)时，则通过查询内插方向学习模型的数据(如上表所示)即可得知目标像素P4的内插方向为垂直(V)及水平(H)的机率分别为1/4及3/4。而后，在一较简单的实施例中，目标像素P4的内插方向可设定为条件机率较高者，意即，设定为「水平」(H)；或在另一较精确的实施例中，先计算目标像素P4在垂直以及水平内插方向的条件机率，再对两者分别以权值1/4及3/4计算其加权总合，以作为所述目标像素P4最后的内插值。而后，此本发明的步骤S120可重复执行直到所述特定影像的所有像素的内插方向皆已取得为止。值得注意的是，虽然本实施例中仅以两种内插方向(垂直及水平)作说明，然而，在其它实施例中，本领域技术人员可依据本发明的精神订定各种内插方向，例如由右上两点组合的右上斜方向等。

前文已详述本发明在一简单实施例下解马赛克的方法。必须注意到，虽然前述实施例采用三角形的「圈选型态」，然而，此实施例仅为简化说明，在其它实施例中，「圈选型态」的形状不必以此为限。举例而言，本发明的「圈选型态」可以有更小的范围，例如将其周边像素限定为目标像素左上方的单一像素(例如图2B中的像素P0)，只是此做法和取得的内插方向学习模型通常较不具有实用价值。在一优选的实施例中，「圈选型态」可大体呈现正方形。由于此实施例覆盖目标像素周边各个方向邻近的像素，因此，训练出的内插方向学习模型具有相当的实用价值。

图3为依据本发明一优选的实施例在图2A原始数据部分像素加入正方形「圈选型态」的示意图。在此实施例中，目标像素为P4，而其周边像素则为P0、P2、P6及P8(以R值的内插计算而言，可略除G值的像素P1、P3、P5及P7)，而所述等周边像素可以进一步分为排列于所述目标像素P4之前的「前像素」P0、P2，以及排列于所述目标像素P4之后的「后像素」P6及P8。值得注意的是，在此圈选型态下，计算目标像素P4的内插方向时必须将尚未计算出内插方向的「后像素」P6及P8列入考虑。因此，本发明会在计算所述特定像素P4的内插方向前，先暂定所述后像素P6及P8的内插方向。举例而言，暂定所述后像素(例如P6)的内插方向的方法包括：通过比较所述后像素P6在各个可能进行内插的方向上相邻像素之间的数值差异，并将具有数值差异最小的方向暂定为所述后像素的内插方向。详细地说，若像素P6在水平方向与像素P8的R值差为50，而在垂直方向与像素P12的R值差为60时，则可暂定所述后像素P6的内插方向为「水平」。之外，当轮到所述后像素P6及P8被视为「特定像素」，而其内插方向亦已依前述方式计算取得时，则，在一实施例中，可另以新取得的像素P6的内插方向重新计算所述特定像素P4的内插方向，以取代先前计算的值；或者，在另一实施例中，将重新计算得到的像素P4内插方向与先前计算的值取平均。须了解到，此重新计算的步骤不必采用与前文相同的「圈选型态」，并且，由于其实施方式众多，故本文不再赘述其它的实施例。

在其它实施例中，前述的「圈选型态」可进一步扩大或变更为其它形状，例如矩形、梯形等，此皆在本发明欲保护的范围中，本领域技术人员可依据本发明的精神修改成各种取样、建立内插方向学习模型、以及计算像素内插方向的方法。

用于解马赛克的影像处理器

前文已采用多个实施例详述本发明各种解马赛克的方法。除此之外，本发明另提供一种影像处理器以执行前述实施例的解马赛克方法。图4为本发明一实施例中用于解马赛克方法的影像处理器。本发明的影像处理器400具有内插方向训练单元410、内插方向学习模型420，以及内插方向计算单元430。在一实施例中，本发明的影像处理器400还包括执行于内插方向计算之前、用于色彩滤波的色彩滤波单元，以及执行于内插方向计算之后、用于计算色彩内插值的内插计算单元(未图示)。然而，色彩滤波单元与内插计算单元并非本发明主要讨论的目标，故不再赘述。

本发明的内插方向训练单元410，用于执行前述步骤S1402、S1404及S1406，包括：设定圈选型态、以所述圈选型态对至少一个样本影像的多个样本像素分别进行取样，以纪录在各次取样中，所述样本影像的所述周边像素与所述目标像素之间在内插方向上的对应关系、以及统计多次取样的结果。本发明的内插方向学习模型420耦接至所述内插方向训练单元410，可将上述取样的结果予以训练。本发明的内插方向计算单元430耦接至所述内插方向学习模型420，用于执行前述步骤S120，即，以所述圈选型态以及所述内插方向学习模型所提供的数据计算特定影像的特定像素的内插方向。其中，「圈选型态」可如前文所述，为图2B所示的三角形、图3所示的正方形，或其它各种形状，例如梯形、矩形等。

值得注意的是，当一实施例所采用的圈选型态中的所述周边像素包括排列于所述目标像素之后的后像素时(例如图4所示的圈选型态)，则所述内插方向计算单元430还用于在计算所述特定影像的所述特定像素的内插方向前，先暂定所述后像素的内插方向，暂定的方法包括：比较所述后像素在其各个可能进行内插的方向上与相邻像素之间的数值差异，并将具有数值差异最小的方向暂定为所述后像素的内插方向。此外，在一优选实施例中，所述内插方向计算单元430还在所述后像素的内插方向被正式计算取得后，重新计算所述特定像素的内插方向。由于本发明用于解马赛克方法的影像处理器400具有与前述解马赛克方法100执行相同的功能并达到相同的效果，且前文已详述本发明马赛克方法100的各种实施例，故此处不再对本发明的影像处理器400的其它相关实施例进行赘述。

本发明虽以优选实施例揭露如上，然其并非用于限定本发明的范围，任何本领域技术人员，在不脱离本发明的精神和范围内，当可做些许的更动与润饰，因此本发明的保护范围当视所附权利要求限定为准。

Claims (12)

1.一种解马赛克方法，包括下列步骤：

设定圈选型态，其中所述圈选型态覆盖目标像素以及至少一个与所述目标像素邻近的周边像素；

以所述圈选型态对至少一个样本影像的多个样本像素分别进行取样，以纪录在各次取样中，所述样本影像的所述周边像素与所述目标像素之间在内插方向上的对应关系；以及

统计多次取样的结果以训练出内插方向学习模型。

2.根据权利要求1所述的解马赛克方法，还包括下列步骤：

以所述圈选型态以及所述内插方向学习模型所提供的数据计算特定影像的特定像素的内插方向。

3.根据权利要求2所述的解马赛克方法，其中所述圈选型态中的所述周边像素包括：

前像素，其排列于所述目标像素之前；和/或

后像素，其排列于所述目标像素之后。

4.根据权利要求3所述的解马赛克方法，其中，当所述圈选型态中的所述周边像素包括所述后像素时，则在计算所述特定影像的所述特定像素的内插方向前，先暂定所述后像素的内插方向。

5.根据权利要求4所述的解马赛克方法，其中暂定所述后像素的内插方向的步骤包括：

比较所述后像素在其各个可能进行内插的方向上相邻像素之间的数值差异，并将具有数值差异最小的方向暂定为所述后像素的内插方向。

6.根据权利要求5所述的解马赛克方法，还包括：

在计算所述后像素的内插方向后，重新计算所述特定像素的内插方向。

7.一种用于解马赛克的影像处理器，包括：

内插方向训练单元，用于设定圈选型态，其中所述圈选型态覆盖目标像素以及至少一个与所述目标像素邻近的周边像素；以所述圈选型态对至少一个样本影像的多个样本像素分别进行取样，以纪录在各次取样中，所述样本影像的所述周边像素与所述目标像素之间在内插方向上的对应关系；以及统计多次取样的结果；以及

内插方向学习模型，耦接至所述内插方向训练单元，用于储存所述多次取样的训练结果。

8.根据权利要求7所述的影像处理器，还包括：

内插方向计算单元，耦接至所述内插方向学习模型，用于以所述圈选型态以及所述内插方向学习模型所提供的数据计算特定影像的特定像素的内插方向。

9.根据权利要求8所述的影像处理器，其中所述圈选型态中的所述周边像素包括：

前像素，其排列于所述目标像素之前；和/或

后像素，其排列于所述目标像素之后。

10.根据权利要求9所述的影像处理器，其中，当所述圈选型态中的所述周边像素包括所述后像素时，则所述内插方向计算单元还用于在计算所述特定影像的所述特定像素的内插方向前，先暂定所述后像素的内插方向。

11.根据权利要求10所述的影像处理器，其中所述内插方向计算单元比较所述后像素在其各个可能进行内插的方向上相邻像素之间的数值差异，并将具有数值差异最小的方向暂定为所述后像素的内插方向。

12.根据权利要求11所述的影像处理器，其中所述内插方向计算单元在计算所述后像素的内插方向后，重新计算所述特定像素的内插方向。