[go: up one dir, main page]

CN111222519A - 一种层次化彩绘文物线稿提取模型构建、方法及装置 - Google Patents

一种层次化彩绘文物线稿提取模型构建、方法及装置 Download PDF

Info

Publication number
CN111222519A
CN111222519A CN202010049526.4A CN202010049526A CN111222519A CN 111222519 A CN111222519 A CN 111222519A CN 202010049526 A CN202010049526 A CN 202010049526A CN 111222519 A CN111222519 A CN 111222519A
Authority
CN
China
Prior art keywords
image
line
edge
painted
extraction model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010049526.4A
Other languages
English (en)
Other versions
CN111222519B (zh
Inventor
彭进业
王佳欣
王珺
张群喜
刘茂梅
章勇勤
俞凯
祝轩
张二磊
温睿
梁海达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi History Museum Shaanxi Cultural Relics Exchange Center
Northwestern University
Original Assignee
Shaanxi History Museum Shaanxi Cultural Relics Exchange Center
Northwestern University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi History Museum Shaanxi Cultural Relics Exchange Center, Northwestern University filed Critical Shaanxi History Museum Shaanxi Cultural Relics Exchange Center
Priority to CN202010049526.4A priority Critical patent/CN111222519B/zh
Publication of CN111222519A publication Critical patent/CN111222519A/zh
Application granted granted Critical
Publication of CN111222519B publication Critical patent/CN111222519B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种层次化彩绘文物线稿提取模型构建、方法及装置，首先通过提出新的加权损失函数，在BDCN边缘检测神经网络中引入传统FDoG方法，从而得到更加完整的线稿粗提取结果；再通过提出新的多尺度U‑Net网络，在粗提取的基础上抑制病害，得到更为细致、干净的线稿图像。该方法有效结合了BDCN神经网络和传统FDoG方法的优点，在学习明显边缘的同时能够同时学习细节，使得提取的线稿更加完整，甚至补充部分受病害影响断裂的线稿，进一步的，通过多尺度U‑Net网络细化线稿，抑制病害。与现有方法相比，该方法在干净以及复杂背景下均能更有效提取文物线稿图像。

Description

一种层次化彩绘文物线稿提取模型构建、方法及装置
技术领域
本发明涉及彩绘文物线稿提取方法，具体涉及一种层次化彩绘文物线稿提取模型构建、方法及装置。
背景技术
彩绘文物作为历史的物质遗存，其蕴含着不同时代、不同地域的文化艺术、宗教信仰及环境变迁，不仅传承了一国历史的文化精华、丰富了世界文化的多样性，也为人类研究历史提供了宝贵的素材。彩绘文物的线稿反映了彩绘图案的主要结构及内容，是临摹、修复彩绘文物的重要环节。然而，由于年代久远，很多彩绘文物受自然环境、人为因素等影响，产生了不同程度的病害，如起甲、干裂、褪色等，这使得彩绘文物背景变得复杂，对线稿的准确提取提出了挑战。
传统的线稿绘制主要依靠手工，绘制过程十分复杂并且非常耗时。利用计算机和图像处理技术对彩绘文物线稿进行提取具有高效、可复用等优点。线稿提取关键技术涉及边缘提取。目前，边缘提取技术主要涉及两类：传统图像处理算法和基于深度学习的算法。较经典的传统图像处理算法包括Canny算子、FDoG算法等，Canny算子生成的线稿平滑程度较差，且存在抖动现象；FDoG算法提高了线条的连续性，对干净背景的文物图像有较好的提取效果，但对于复杂背景其受噪声影响较大，将提取很多非线稿边缘，准确度大大降低。近年来，基于深度学习的边缘提取技术包括：HED、RCF、BDCN等神经网络，由于可以通过大量样本学习可以引入先验知识，边缘检测的准确度大大提高。但是如果将上述基于神经网络的方法直接应用于文物数据，特别是具有复杂背景的文物数据，其提取的边缘存在模糊、伪影以及细节丢失严重的问题。
发明内容
本发明的目的在于提供一种FDoG与神经网络的层次化彩绘文物线稿提取模型构建及方法，用以解决现有技术中的彩绘文物线稿提取方法存在的复杂病害背景下的文物线稿提取质量低的问题。
为了实现上述任务，本发明采用以下技术方案：
一种层次化彩绘文物线稿提取模型构建方法，所述的方法按照以下步骤执行：
步骤1、采集多幅彩绘文物图像，获得第一样本集；
采用FDoG算法对第一样本集中每一幅彩绘文物图像的线稿图像进行边缘提取，获得FDoG标签集；
获取第一样本集中每一幅彩绘文物图像的线稿图像，获得第一线稿标签集；
步骤2、将所述的第一样本集作为输入，将所述的FDoG标签集以及第一线稿标签集作为参考输出，训练边缘提取网络，获得粗提取模型；
所述的边缘提取网络是采用边缘数据集作为输入，采用边缘标签集作为参考输出，训练BDCN边缘检测网络后获得的；
其中所述的边缘数据集包括多幅自然图像，所述的边缘标签集包括边缘数据集中每幅自然图像对应的边缘标签图像以及边缘数据集中每幅自然图像经过边缘提取后获得的FDoG边缘标签图像；
步骤3、采集多幅彩绘文物图像，获得第二样本集；其中所述第二样本集中的每一幅彩绘文物图像与第一样本集中的彩绘文物图像均不相同；
获取第二样本集中每一幅彩绘文物图像的线稿图像，获得第二线稿标签集；
步骤4、将所述步骤3获得的第二样本集输入至步骤2获得的粗提取模型中，获得粗线稿图像集；
步骤5、将所述的粗线稿图像集作为输入，将所述的第二线稿标签集作为参考输出，训练卷积神经网络，获得细线稿提取模型；
步骤6、获得线稿提取模型，所述的线稿提取模型包括依次连接的步骤2中获得的粗提取模型以及步骤5中获得的细线稿提取模型。
进一步地，所述的步骤5中的卷积神经网络包括依次设置的U-net网络、侧输出层以及融合输出层；
所述的侧输出层包括依次设置的第一卷积层、上采样层以及第一激活函数层；所述的融合输出层包括依次设置的第二卷积层以及第二激活函数层。
进一步地，所述的步骤5中训练卷积神经网络时，采用随机梯度下降算法进行训练，其中损失函数Lfine为：
Figure BDA0002370626730000031
其中ωside表示不同的尺度特征对应的损失函数中的比重，ωfuse表示融合特征在损失函数中的比重；s表示尺度，s＝1,2,…,S，S为正整数，
Figure BDA0002370626730000041
为单通道损失函数，
Figure BDA0002370626730000042
为融合损失函数，
Figure BDA0002370626730000043
表示将粗线稿图像输入至细线稿提取模型后输出的图像，YR表示粗线稿图像对应的线稿标签图像，R表示粗线稿图像。
进一步地，所述的步骤2中采用边缘数据集以及边缘标签集训练BDCN边缘检测网络时，损失函数Lpre为：
Figure BDA0002370626730000044
其中s表示尺度，s＝1,2,…,S，S为正整数，α为目标函数中边缘标签的权重，β为FDoG边缘标签的权重，PN表示将自然图像N输入至BDCN边缘检测网络后的输出图像，
Figure BDA0002370626730000045
表示自然图像N对应的边缘标签图像，
Figure BDA0002370626730000046
表示自然图像N对应的FDoG边缘标签图像。
一种层次化彩绘文物线稿提取方法，将所述的待提取的彩绘文物图像输入至所述的层次化彩绘文物线稿提取模型构建方法获得的线稿提取模型中，获得彩绘文物线稿图像。
一种层次化彩绘文物线稿提取模型构建装置，所述的装置包括第一数据集构建模块、粗提取模型获得模块、第二数据集构建模块、粗线稿提取模块、细提取模型获得模块以及线稿提取模型获得模块；
所述的第一数据集构建模块用于采集多幅彩绘文物图像，获得第一样本集；
采用FDoG算法对第一样本集中每一幅彩绘文物图像的线稿图像进行边缘提取，获得FDoG标签集；
获取第一样本集中每一幅彩绘文物图像的线稿图像，获得第一线稿标签集；
所述的粗提取模型获得模块用于将所述的第一样本集作为输入，将所述的FDoG标签集以及第一线稿标签集作为参考输出，训练边缘提取网络，获得粗提取模型；
所述的边缘提取网络是采用边缘数据集作为输入，采用边缘标签集作为参考输出训练BDCN边缘检测网络后获得；
其中所述的边缘数据集包括多幅自然图像，所述的边缘标签集包括边缘数据集中每幅自然图像对应的边缘标签图像以及边缘数据集中每幅自然图像经过边缘提取后获得的FDoG边缘标签图像；
所述的第二数据集构建模块用于采集多幅彩绘文物图像，获得第二样本集；其中所述第二样本集中的每一幅彩绘文物图像与第一样本集中的彩绘文物图像均不相同；
获取第二样本集中每一幅彩绘文物图像的线稿图像，获得第二线稿标签集；
所述的粗线稿提取模块用于将所述获得的第二样本集输入至粗提取模型中，获得粗线稿图像集；
所述的细提取模型获得模块用于将所述的粗线稿图像集作为输入，将所述的第二线稿标签集作为参考输出，训练卷积神经网络，获得细线稿提取模型；
所述的线稿提取模型获得模块用于获得线稿提取模型，所述的线稿提取模型包括依次连接的粗提取模型以及细线稿提取模型。
进一步地，所述的细提取模型获得模块中的卷积神经网络包括依次设置的U-net网络、侧输出层以及融合输出层；
所述的侧输出层包括依次设置的第一卷积层、上采样层以及第一激活函数层；所述的融合输出层包括依次设置的第二卷积层以及第二激活函数层。
进一步地，所述的细提取模型获得模块中训练卷积神经网络时，采用随机梯度下降算法进行训练，其中损失函数Lfine为：
Figure BDA0002370626730000061
其中ωside表示不同的尺度特征对应的损失函数中的比重，ωfuse表示融合特征在损失函数中的比重；s表示尺度，s＝1,2，…，S，S为正整数，
Figure BDA0002370626730000062
为单通道损失函数，
Figure BDA0002370626730000063
为融合损失函数，
Figure BDA0002370626730000064
表示将粗线稿图像输入至细线稿提取模型后输出的图像，YR表示粗线稿图像对应的线稿标签图像，R表示粗线稿图像。
进一步地，所述的粗提取模型获得模块中采用边缘数据集以及边缘标签集训练BDCN边缘检测网络时，损失函数Lpre为：
Figure BDA0002370626730000065
其中s表示尺度，s＝1,2，…，S，S为正整数，α为目标函数中边缘标签的权重，β为FDoG边缘标签的权重，PN表示将自然图像N输入至BDCN边缘检测网络后的输出图像，
Figure BDA0002370626730000066
表示自然图像N对应的边缘标签图像，
Figure BDA0002370626730000067
表示自然图像N对应的FDoG边缘标签图像。
一种层次化彩绘文物线稿提取装置，用于将所述的待提取的彩绘文物图像输入至层次化彩绘文物线稿提取模型构建装置获得的线稿提取模型中，获得彩绘文物线稿图像。
本发明与现有技术相比具有以下技术效果：
1、本发明提供的FDoG与神经网络的层次化彩绘文物线稿提取模型构建、方法及装置提出了一种线稿粗提取方法，其中设计的新的加权损失函数，将传统FDoG算法引入BDCN边缘检测神经网络，二者联合训练来进行从边缘检测任务到彩绘文物线稿提取任务的迁移学习，充分结合了深层卷积网络提取连贯性边缘特征的优点和传统算法提取细节特征的优点，使得粗提取到的文物线稿信息更完整，甚至能够补充部分受病害影响断裂的线稿；
2、本发明提供的FDoG与神经网络的层次化彩绘文物线稿提取模型构建、方法及装置提出了一种线稿细提取方法，其中设计的新的多尺度U-Net网络将传统U-Net网络解码过程的各层不同尺度的特征上采样到原图大小，利用损失函数对各个尺度的特征进行计算并进行充分的特征融合，以捕捉丰富的病害多尺度特征，从而有效地抑制传统算法无法去除的病害噪声，并能够进一步细化并还原彩绘文物中的线稿；
3、本发明提供的FDoG与神经网络的层次化彩绘文物线稿提取方法及装置将线稿提取分为两步，首先利用BDCN边缘检测网络的可迁移性来解决数据不足的问题，以还原线稿边缘细节的完整信息，补充受病害影响断裂的线条，对线稿进行粗提取。然后将粗提取作为先验知识，在其基础上抑制第一步中由于引入传统算法所无法消除的病害，以及由BDCN模型引起的线条模糊。该两步充分配合，有效结合BDCN边缘检测网络和U-Net网络各自的优点，使得提取的文物线稿不仅连贯完整、清晰干净，且更为全面和准确。
附图说明
图1为本发明的一个实施例中提供的彩绘文物图像；图1(a)为测试的彩绘文物图像；图1(b)为经过FDoG算法提取的线稿图像；图1(c)为提供的真实的线稿图像；
图2为本发明的一个实施例中提供的自然图像；图2(a)示例了训练使用的自然图像；图2(b)为经过FDoG算法提取的线稿图像；图2(c)为原始的边缘标签；
图3为本发明的一个实施例中提供的细线稿提取模型内部结构图；
图4为本发明的一个实施例中提供的消融实验分析中分两步对彩绘文物线稿提取的结果图；图4(a)为测试使用的彩绘文物图；图4(b)为粗提取得到的彩绘文物线稿图；图4(c)为最终细提取得到的彩绘文物线稿图；图4(d)为专家绘制的彩绘文物线稿真实线稿图像；
图5为本发明的一个实施例中提供的消融实验分析中用BDCN和U-Net网络分别单独对彩绘文物线稿的提取结果；图5(a)为测试使用的彩绘文物图；图5(b)为彩绘文物数据仅对BDCN网络训练得到的线稿结果图，图5(c)为彩绘文物数据仅对U-Net网络训练得到的线稿结果图，图5(d)为本发明层次化框架提取的线稿结果图；
图6为本发明的一个实施例中提供的与现有经典的边缘检测算法结果的对比结果图，图6(a)为基于流的高斯差分算法FDoG对线稿的提取结果图；图6(b)为Edge-Boxes边缘检测算法对线稿的提取结果图；图6(c)为RCF网络对线稿的提取结果；图6(d)为BDCN网络对线稿提取的结果图；图6(e)为本发明提供的方法对线稿的提取结果图。
具体实施方式
下面结合附图和实施例对本发明进行详细说明。以便本领域的技术人员更好的理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
以下对本发明涉及的定义或概念内涵做以说明：
BDCN网络：双向级联网络，该网络是基于深度学习的一种卷积神经网络结构，用于边缘检测任务。
FDoG算法：基于流的高斯差分滤波算法，是一种经典的传统边缘检测算子。该算法保留了图像中的显著边缘，弱边缘被引导跟随其邻域内显著边缘的方向一致，以提取线稿中的细节并最大化线条连贯性。
U-net网络：该网络是基于深度学习的一种卷积神经网络结构，包括一个收缩路径来学习深层高级的特征和一个扩展路径来学习位置特征，并将下采样的原始特征拼接到上采样的特征中。最早用于医学图像分割任务，由于其结构的简洁及有效性，现已用于多种任务来实现特征的提取。
实施例一
在本实施例中公开了一种层次化彩绘文物线稿提取模型构建方法，方法按照以下步骤执行：
步骤1、采集多幅彩绘文物图像，获得第一样本集；
采用FDoG算法对第一样本集中每一幅彩绘文物图像的线稿图像进行边缘提取，获得FDoG标签集；
获取第一样本集中每一幅彩绘文物图像的线稿图像，获得第一线稿标签集；
在本步骤中，采集多幅彩绘文物图像的方式可以是由相机等设备进行拍照采集，还可以是从数据库中调用采集。
在本实施例中，获取的彩绘文物图像如图1(a)所示，采用FDoG算法对如图1(a)所示的彩绘文物图像进行边缘提取，获得如图1(b)所示的边缘标签图像；对如图1(a)所示的彩绘文物图像进行手绘线稿提取，获得的线稿图像如图1(c)所示。
步骤2、将第一样本集作为输入，将FDoG标签集以及第一线稿标签集作为参考输出，训练边缘提取网络，获得粗提取模型；
所述的边缘提取网络是采用边缘数据集作为输入，采用边缘标签集作为参考输出，训练BDCN边缘检测网络后获得；
其中所述的边缘数据集包括多幅自然图像，所述的边缘标签集包括边缘数据集中每幅自然图像对应的边缘标签图像以及边缘数据集中每幅自然图像经过边缘提取后获得的FDoG边缘标签图像；
在本步骤中，每幅自然图像对应的边缘标签图像为每幅自然图像的真实边缘图像，这个真实边缘图像可以是手工描绘的；每幅自然图像对应的FDoG边缘标签图像是经过FDoG算法进行边缘提取后获得的，在本步骤中，结合这两部分数据构成每组三幅的图像作为粗提取网络的预训练集。在本步骤中，自然图像不是彩绘文物图像。
在本步骤中，利用现有的BDCN边缘检测网络作为粗提取模型的基础，BDCN边缘检测网络以VGG16为基础结构，每层经过多次扩张卷积及下采样得到不同尺度的特征，最后融合不同深度下的多尺度信息。
在本实施例中，BDCN边缘检测网络是“Bi-Directional Cascade Network forPerceptual Edge Detection”提出的，用于边缘检测任务的一种网络结构。
在本实施例中，为了解决文物数据集不足的问题，获取了多组用于边缘检测的公开数据对粗提取网络进行预训练，获取了BSDS500的公开数据集，每组包含一幅自然图像XN和一幅对应的边缘标签
Figure BDA0002370626730000111
该边缘标签包含了大量的边缘信息但缺乏细节；利用FDoG的传统边缘检测算法制作对应的标签
Figure BDA0002370626730000112
该标签包含了相对丰富的细节信息，同时含有一定的噪声；自然图像数据如图2(a)所示例，其对应的边缘标签如图2(b)所示例，对图2(a)经过FDoG算法得到的边缘标签如图2(c)所示例；将自然图像数据XN输入到BDCN边缘检测网络中进行训练，通过学习得到多尺度融合特征PN，该特征同时具有边缘及细节的信息，训练完成之后获得了边缘提取网络，该网络模型同时学习自然图像风格的边缘和细节信息；
在本步骤中，通过利用FDoG边缘标签图像作为标签，在BDCN预训练好的边缘检测模型上再训练，使得具有强大边缘检测能力的网络功能得以充分利用，并且训练好的边缘提取网络充分结合了深层卷积网络提取边缘性特征的优点和传统算法提取细节特征的优点，使得边缘提取网络的提取结果更加精准；
其中在对BDCN边缘检测网络进行训练时，采用随机梯度下降算法不断优化损失函数，直至收敛。
可选地，步骤2中采用边缘数据集以及边缘标签集训练BDCN边缘检测网络时，损失函数Lpre为：
Figure BDA0002370626730000121
其中s表示尺度，s＝1,2，…，S，S为正整数，α为目标函数中边缘标签的权重，β为FDoG边缘标签的权重，PN表示将自然图像N输入至BDCN边缘检测网络后的输出图像，
Figure BDA0002370626730000122
表示自然图像N对应的边缘标签图像，
Figure BDA0002370626730000123
表示自然图像N对应的FDoG边缘标签图像。
在本实施例中α为目标函数中学习边缘检测标签的权重，β为学习FDoG标签的权重，用来平衡边缘标签和细节标签所占的比重，直接影响网络最终学习到的特征，这里α＝0.9，β＝0.1,s表示尺度；
L函数为交叉熵损失函数，其定义为：
Figure BDA0002370626730000124
其中，
Figure BDA0002370626730000125
定义预测的图，
Figure BDA0002370626730000126
指预测图中的每个归一化的像素，μ＝λ·|Y+|/(|Y+|+|Y-|)，ν＝|Y-|/(|Y+|+|Y-|)用来平衡边缘和非边缘像素，Y+表示正样本，Y-表示负样本，λ控制正负样本的比重。
在本步骤中，利用第一样本集作为输入，FDoG标签集以及第一线稿标签集作为参考输出，训练边缘提取网络，最终获得了粗提取模型，其中采用第一样本集作为输入，FDoG标签集以及第一线稿标签集作为参考输出的目的是使边缘提取网络能够学习得到具有彩绘文物风格特点的线稿特征PR，该特征包含了边缘及细节的信息。
在本实施例中，训练边缘提取网络时还是采用随机梯度下降方法，得到收敛的粗提取模型；类似的，此时的损失函数为：
Figure BDA0002370626730000131
此模型由彩绘文物数据训练得到，能够提取具有彩绘文物风格特点的信息，同时具备大量自然数据训练得到的强大的边缘检测网络性能，以提取到丰富的边缘和细节，并补充部分由于破损而断裂的线条。但由于文物背景的复杂性，传统算法FDoG无法有效抑制病害，所以粗提取的线稿中含有一定病害造成的噪声。
步骤3、采集多幅彩绘文物图像，获得第二样本集；其中所述第二样本集中的每一幅彩绘文物图像与第一样本集中的彩绘文物图像均不相同；
获取第二样本集中每一幅彩绘文物图像的线稿图像，获得第二线稿标签集；
在本步骤中，采用与步骤1获得的彩绘文物图像不同的图像。
获取另外多组彩绘文物数据，每组包含一幅彩绘文物图像XR和一幅专家制作的彩绘文物线稿标签YR，作为粗提取网络的测试集。
步骤4、将所述步骤3获得的第二样本集输入至步骤2获得的粗提取模型中，获得粗线稿图像集；
在本步骤中，利用步骤2得到的模型，对步骤3得到的测试集的彩绘文物数据进行测试，得到多组粗提取线稿图像对，每组包含一幅粗提取线稿图
Figure BDA0002370626730000141
和一幅专家制作的标签图YR。
步骤5、将所述的粗线稿图像集作为输入，将所述的第二线稿标签集作为参考输出，训练卷积神经网络，获得细线稿提取模型；
在本步骤中，将步骤4输出的粗提取线稿图
Figure BDA0002370626730000142
组成的粗线稿图像集作为输入。
在本实施例中，卷积神经网络是以U-Net网络为基础，但与现有技术中的U-Net网络不同的是，将其解码过程的各层特征上采样到原图大小构成不同尺度的特征图，再融合各个尺度特征图构成融合特征图的网络结构。
可选地，步骤5中的卷积神经网络包括依次设置的U-net网络、侧输出层以及融合输出层；
所述的侧输出层包括依次设置的第一卷积层、上采样层以及第一激活函数层；所述的融合输出层包括依次设置的第二卷积层以及第二激活函数层。
在本实施例中，U-net网络的多个上采样层分别与侧输出层连接，侧输出层中由第一卷积层与上采样层连接，上采样层与第一激活函数层连接。该上采样层又同时与U-net输出层通道拼接，拼接后与融合输出层连接，融合输出层中由第二卷积层与第二激活函数层连接。
如图3所示，U-net网络主要由最大池化(下采样)模块、反卷积(上采样)模块以及ReLU非线性激活函数组成。整个网络的过程具体如下：
最大池化模块进行下采样，如图3所示，每一个最大池化模块均包括两个卷积块以及一个最大池化层，每个卷积块包括依次连接的3*3卷积层、归一化层以及激活函数层；
在本实施例中，最大池化模块设置有四个，达到最底层时即第4次最大池化之后，然后再拼接有两个3*3的卷积块。
反卷积(上采样)模块进行上采样，每一个上采样模块均包括两个卷积块以及一个上采样层，每个卷积块包括依次连接的3*3卷积层、归一化层以及激活函数层；
在本实施例中，上采样模块对应的设置有四个。
在本实施例中，最后一个上采样模块后面依次连接有一个输出1*1卷积层以及一个激活函数层。
在本实施例中，如图3所示，第一卷积层分别对U-net网络中第二个单独的3*3卷积块的输出以及前三个上采样模块的输出进行1*1的卷积后，输出四个卷积后的特征，再利用第一上采样层对四个卷积后的特征进行上采样，输出四个上采样后的特征，将四个上采样后的特征输入至第一激活函数层中求得4个单通道损失值；U-net输出层中1*1卷积层后输入到激活函数层，也求得1个单通道损失值；计算此5个单通道损失以获得多尺度U-Net的5个尺度的侧面输出；
另外将四个上采样后的特征与U-net网络中输出1*1卷积层的输出特征拼接，并同时输入至第二卷积层中进行1*1的卷积，得到一个融合特征，将这一个特征输入至第二激活函数层中，求得一个融合损失值，最终获得多尺度的融合输出，所述的融合输出即细提取线稿图。
步骤6、获得线稿提取模型，所述的线稿提取模型包括依次连接的步骤2中获得的粗提取模型以及步骤5中获得的细线稿提取模型。
可选地，步骤5中训练卷积神经网络时，采用随机梯度下降算法进行训练，其中损失函数Lfine为：
Figure BDA0002370626730000161
其中ωside表示不同的尺度特征对应的损失函数中的比重，ωfuse表示融合特征在损失函数中的比重；s表示尺度，s＝1,2，…，S，S为正整数，
Figure BDA0002370626730000162
为单通道损失函数，
Figure BDA0002370626730000163
为融合损失函数，
Figure BDA0002370626730000164
表示将粗线稿图像输入至细线稿提取模型后输出的图像，YR表示粗线稿图像对应的线稿标签图像，R表示粗线稿图像。
在本实施例中，单通道损失函数与融合损失函数均为交叉熵损失函数。
在本实施例中，S＝5，ωfuse＝1.1；
当s＝1时，ωside＝0.8；当s＝2时，ωside＝0.8；当s＝3时，ωside＝0.4；当s＝4时，ωside＝0.4；当s＝5时，ωside＝0.4。
本实施例中提供的彩绘文物线稿提取模型构建方法，首先还原线稿边缘细节的完整信息，补充受病害影响断裂的线条，对线稿进行粗提取。再在粗提取的基础上抑制病害，去除由病害引入的噪声，得到更为细致、干净的线稿。该两步充分配合，有效结合BDCN边缘检测网络和U-Net网络各自的优点，使得提取的文物线稿更为全面和准确。本实施例提出新的加权损失函数，在BDCN边缘检测神经网络中引入传统FDoG方法，将二者联合训练来进行从边缘检测任务到彩绘文物线稿提取任务的迁移学习，充分结合了深层卷积网络提取边缘性特征的优点和传统算法提取细节特征的优点，使得粗提取到的文物线稿信息更完整，甚至能够补充部分受病害影响断裂的线稿；提出了新的多尺度U-Net网络进行线稿的细提取，将U-Net网络解码过程的各层不同尺度的特征上采样到原图大小，并进行合理的特征融合，有效地抑制传统算法无法去除的病害噪声，并能够进一步细化并还原彩绘文物中的线稿。
实施例二
在本实施例中提供了一种层次化彩绘文物线稿提取方法，将待提取的彩绘文物图像输入至实施例一中的层次化彩绘文物线稿提取模型构建方法获得的线稿提取模型中，获得彩绘文物线稿图像。
在本实施例中采用两种类型的彩绘文物线稿图像来验证本发明提供的线稿提取方法的有效性；干净背景的彩绘文物图像，该彩绘文物图像的脱落、裂纹、污点等病害分布较少；复杂背景的彩绘文物图像，该彩绘文物图像受病害影响具有一定程度的裂纹、脱落和噪声。实验中采用的干净背景彩绘文物图像是临摹敦煌壁画图，复杂背景彩绘图像为唐章怀太子墓打马球图，以及唐韦贵妃墓备马图，图像大小分别为480×1264，180×336，640×640，800×736。
为了更好地评估该线稿提取方法的有效性，本发明给出两种实验类型，分别为：针对本发明算法的消融实验和与现有边缘检测算法的对比实验。其中消融实验主要验证了层次化提取过程的有效性，对比实验主要与现有的几种边缘检测算法进行比较，包括传统边缘检测算法Canny、FDoG、Edge-Boxes等，同时也与基于深度学习的边缘检测算法如HED、RCF、BDCN进行了对比实验。
实验中使用pytorch软件包训练网络，在第一步粗提取网络训练中，由于加载了边缘检测的预训练模型，在用自然图像对训练时，大约进行了9000次迭代；用文物图像数据训练时，大约进行了10500次迭代，批量大小设置为10；对于随机梯度下降算法，初始学习率为1e-6，设置权重衰减为0.0002，动量为0.9；第二步细提取网络训练中，大约进行了20000次迭代，批量大小设置为10；对于随机梯度下降算法，初始学习率为1e-4，设置权重衰减为0.0002，动量为0.9。
消融实验分析：
图4为消融实验分析中分两步对彩绘文物线稿提取的结果，图4(a)为测试使用的彩绘文物图；图4(b)为粗提取得到的彩绘文物线稿；图4(c)为最终细提取得到的彩绘文物线稿；图4(d)为专家绘制的彩绘文物线稿真实标签；通过视觉观察粗提取线稿图像和细提取线稿图像，可以看出经过粗提取网络提取的线稿包含了较为完整的细节和边缘信息，同时连接上了部分由于病害破损而断裂的线条，但无法有效抑制病害引入的噪声；经过细提取网络提取到的线稿去除了大部分的噪声，并进一步精细化了线稿。
图5为消融实验分析中用BDCN和U-Net网络分别对彩绘文物线稿的提取结果，图5(a)为测试使用的彩绘文物图；图5(b)为采用彩绘文物数据对，仅对BDCN网络训练得到的线稿结果，图5(c)为采用彩绘文物数据对，仅对U-Net网络训练得到的线稿结果，图5(d)为本发明方法层次化线稿提取的结果；通过对比可以看出，迁移了边缘检测模型的BDCN网络训练的结果对图像边缘信息的提取效果较好，但存在伪影和模糊的现象；U-Net网络的训练结果没有像素模糊和伪影，但由于没有预训练的边缘检测模型，所以丢失信息严重。本发明的方法先利用BDCN网络可迁移的优点，结合FDoG算法提取较为完整的细节边缘信息，再将此结果作为U-Net先验知识进行训练，同时解决了BDCN伪影模糊的问题，也更好地利用了U-Net进行精细线稿的提取，最终的提取结果不但在线稿完整性还是风格还原度都是优于前二者的。
与经典边缘检测算法对比实验分析：
图6是与现有经典的边缘检测算法结果的对比结果，图6(a)为基于流的高斯差分算法FDoG对线稿的提取结果；图6(b)为Edge-Boxes边缘检测算法对线稿的提取结果；图6(c)为RCF网络对线稿的提取结果；图6(d)为BDCN网络对线稿提取的结果；图6(e)为本发明算法对线稿的提取结果；通过视觉观察可以发现，基于FDoG算法的线稿提取包含较多细节，但裂纹、脱落等病害带来的噪声较明显；Edge-Boxes算法的线稿提取结果在噪声去除方面表现较FDoG好一些，但非常不清晰，分辨率较低，细节不够完善；基于RCF和BDCN等边缘检测网络提取的结果在去噪方面和对轮廓的定位方面表现较好，但均存在严重丢失细节和线条较粗及伪影的现象；本发明的算法提取线稿的结果在噪声去除和细节表现方面均优于上述几种算法，同时克服了边缘检测网络提取的线条粗和伪影的问题，提取的线稿图能够较清晰的还原彩绘文物原本的艺术特征。
视觉评价对比可以对提取线稿结果由较直观的认识，同时也用客观评价指标对提取结果进行评估；本发明采用RMSE、SSIM、AP这三种客观评价指标对图像进行全面的评估；其中，RMSE是均方根误差，用来衡量观测值同真值之间的偏差；SSIM是结构相似性指标，通过对比亮度、对比度和结构这三个方面评价图像的结构相似度；AP是平均精度，同时衡量分类结果的准确度和完整性，是像素级分类任务的一种常用客观指标。
表1是本发明算法与几种经典边缘检测算法提取线稿结果的客观指标对比；第一部分是与经典的传统边缘检测算法的对比；第二部分是与近些年基于深度学习的边缘检测算法的对比，其中*表示采用彩绘文物数据对训练的结果；第三部分是线稿细提取网络用传统的U-Net网络与用本发明的多尺度U-Net网络的结果对比。可以看到，本发明的大多数指标均优于其他方法，其中，本发明的AP值远远高于其他方法，即本发明方法无论在线稿提取的完整性还是准确性上均较其他方法有很大的提升，同时RMSE值和SSIM值也普遍高于其他方法，说明本发明方法在与标签的结构相似度上更接近，误差也更小。
综合视觉评价与客观指标评价，本发明提出的算法能很好地提取彩绘文物的线稿，较完整的表达彩绘文物的艺术特征。
表1彩绘文物线稿提取结果的客观指标
Figure BDA0002370626730000211
实施例三
在本实施例中提供了一种层次化彩绘文物线稿提取模型构建装置，装置包括第一数据集构建模块、粗提取模型获得模块、第二数据集构建模块、粗线稿提取模块、细提取模型获得模块以及线稿提取模型获得模块；
第一数据集构建模块用于采集多幅彩绘文物图像，获得第一样本集；
采用FDoG算法对第一样本集中每一幅彩绘文物图像的线稿图像进行边缘提取，获得FDoG标签集；
获取第一样本集中每一幅彩绘文物图像的线稿图像，获得第一线稿标签集；
粗提取模型获得模块用于将第一样本集作为输入，将FDoG标签集以及第一线稿标签集作为参考输出，训练边缘提取网络，获得粗提取模型；
所述的边缘提取网络采用边缘数据集作为输入以及边缘标签集作为参考输出训练BDCN边缘检测网络后获得；
其中所述的边缘数据集包括多幅自然图像，所述的边缘标签集包括边缘数据集中每幅自然图像对应的边缘标签图像以及边缘数据集中每幅自然图像经过边缘提取后获得的FDoG边缘标签图像；
第二数据集构建模块用于采集多幅彩绘文物图像，获得第二样本集；其中所述第二样本集中的每一幅彩绘文物图像与第一样本集中的彩绘文物图像均不相同；
获取第二样本集中每一幅彩绘文物图像的线稿图像，获得第二线稿标签集；
粗线稿提取模块用于将所述获得的第二样本集输入至粗提取模型中，获得粗线稿图像集；
细提取模型获得模块用于将粗线稿图像集作为输入，将第二线稿标签集作为参考输出，训练卷积神经网络，获得细线稿提取模型；
线稿提取模型获得模块用于获得线稿提取模型，线稿提取模型包括依次连接的粗提取模型以及细线稿提取模型。
可选地，细提取模型获得模块中的卷积神经网络包括依次设置的U-net网络、侧输出层以及融合输出层；
所述的侧输出层包括依次设置的第一卷积层、上采样层以及第一激活函数层；所述的融合输出层包括依次设置的第二卷积层以及第二激活函数层。
可选地，细提取模型获得模块中训练卷积神经网络时，采用随机梯度下降算法进行训练，其中损失函数Lfine为：
Figure BDA0002370626730000231
其中ωside表示不同的尺度特征对应的损失函数中的比重，ωfuse表示融合特征在损失函数中的比重；s表示尺度，s＝1,2，…，S，S为正整数，
Figure BDA0002370626730000232
为单通道损失函数，
Figure BDA0002370626730000233
为融合损失函数，
Figure BDA0002370626730000234
表示将粗线稿图像输入至细线稿提取模型后输出的图像，YR表示粗线稿图像对应的线稿标签图像，R表示粗线稿图像。
可选地，粗提取模型获得模块中采用边缘数据集以及边缘标签集训练BDCN边缘检测网络时，损失函数Lpre为：
Figure BDA0002370626730000235
其中s表示尺度，s＝1,2，…，S，S为正整数，α为目标函数中边缘标签的权重，β为FDoG边缘标签的权重，PN表示将自然图像N输入至BDCN边缘检测网络后的输出图像，
Figure BDA0002370626730000236
表示自然图像N对应的边缘标签图像，
Figure BDA0002370626730000237
表示自然图像N对应的FDoG边缘标签图像。
可选地，S＝5，ωfuse＝1.1；
当s＝1时，ωside＝0.8；当s＝2时，ωside＝0.8；当s＝3时，ωside＝0.4；当s＝4时，ωside＝0.4；当s＝5时，ωside＝0.4。
实施例四
在本实施例中提供了一种层次化彩绘文物线稿提取装置，用于将待提取的彩绘文物图像输入至实施例三中层次化彩绘文物线稿提取模型构建装置获得的线稿提取模型中，获得彩绘文物线稿图像。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘，硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

Claims (10)

1.一种层次化彩绘文物线稿提取模型构建方法，其特征在于，所述的方法按照以下步骤执行：
步骤1、采集多幅彩绘文物图像，获得第一样本集；
采用FDoG算法对第一样本集中每一幅彩绘文物图像的线稿图像进行边缘提取，获得FDoG标签集；
获取第一样本集中每一幅彩绘文物图像的线稿图像，获得第一线稿标签集；
步骤2、将所述的第一样本集作为输入，将所述的FDoG标签集以及第一线稿标签集作为参考输出，训练边缘提取网络，获得粗提取模型；
所述的边缘提取网络是采用边缘数据集作为输入，采用边缘标签集作为参考输出，训练BDCN边缘检测网络后获得的；
其中所述的边缘数据集包括多幅自然图像，所述的边缘标签集包括边缘数据集中每幅自然图像对应的边缘标签图像以及边缘数据集中每幅自然图像经过边缘提取后获得的FDoG边缘标签图像；
步骤3、采集多幅彩绘文物图像，获得第二样本集；其中所述第二样本集中的每一幅彩绘文物图像与第一样本集中的彩绘文物图像均不相同；
获取第二样本集中每一幅彩绘文物图像的线稿图像，获得第二线稿标签集；
步骤4、将所述步骤3获得的第二样本集输入至步骤2获得的粗提取模型中，获得粗线稿图像集；
步骤5、将所述的粗线稿图像集作为输入，将所述的第二线稿标签集作为参考输出，训练卷积神经网络，获得细线稿提取模型；
步骤6、获得线稿提取模型，所述的线稿提取模型包括依次连接的步骤2中获得的粗提取模型以及步骤5中获得的细线稿提取模型。
2.如权利要求1所述的层次化彩绘文物线稿提取模型构建方法，其特征在于，所述的步骤5中的卷积神经网络包括依次设置的U-net网络、侧输出层以及融合输出层；
所述的侧输出层包括依次设置的第一卷积层、上采样层以及第一激活函数层；所述的融合输出层包括依次设置的第二卷积层以及第二激活函数层。
3.如权利要求2所述的层次化彩绘文物线稿提取模型构建方法，其特征在于，所述的步骤5中训练卷积神经网络时，采用随机梯度下降算法进行训练，其中损失函数Lfine为：
Figure FDA0002370626720000021
其中ωside表示不同的尺度特征对应的损失函数中的比重，ωfuse表示融合特征在损失函数中的比重；s表示尺度，s＝1,2,…,S，S为正整数，
Figure FDA0002370626720000022
为单通道损失函数，
Figure FDA0002370626720000023
为融合损失函数，
Figure FDA0002370626720000024
表示将粗线稿图像输入至细线稿提取模型后输出的图像，YR表示粗线稿图像对应的线稿标签图像，R表示粗线稿图像。
4.如权利要求3所述的层次化彩绘文物线稿提取模型构建方法，其特征在于，所述的步骤2中采用边缘数据集以及边缘标签集训练BDCN边缘检测网络时，损失函数Lpre为：
Figure FDA0002370626720000031
其中s表示尺度，s＝1,2,…,S，S为正整数，α为目标函数中边缘标签的权重，β为FDoG边缘标签的权重，PN表示将自然图像N输入至BDCN边缘检测网络后的输出图像，
Figure FDA0002370626720000032
表示自然图像N对应的边缘标签图像，
Figure FDA0002370626720000033
表示自然图像N对应的FDoG边缘标签图像。
5.一种层次化彩绘文物线稿提取方法，其特征在于，将所述的待提取的彩绘文物图像输入至权利要求1-4任一项权利要求所述的层次化彩绘文物线稿提取模型构建方法获得的线稿提取模型中，获得彩绘文物线稿图像。
6.一种层次化彩绘文物线稿提取模型构建装置，其特征在于，所述的装置包括第一数据集构建模块、粗提取模型获得模块、第二数据集构建模块、粗线稿提取模块、细提取模型获得模块以及线稿提取模型获得模块；
所述的第一数据集构建模块用于采集多幅彩绘文物图像，获得第一样本集；
采用FDoG算法对第一样本集中每一幅彩绘文物图像的线稿图像进行边缘提取，获得FDoG标签集；
获取第一样本集中每一幅彩绘文物图像的线稿图像，获得第一线稿标签集；
所述的粗提取模型获得模块用于将所述的第一样本集作为输入，将所述的FDoG标签集以及第一线稿标签集作为参考输出，训练边缘提取网络，获得粗提取模型；
所述的边缘提取网络是采用边缘数据集作为输入，采用边缘标签集作为参考输出训练BDCN边缘检测网络后获得；
其中所述的边缘数据集包括多幅自然图像，所述的边缘标签集包括边缘数据集中每幅自然图像对应的边缘标签图像以及边缘数据集中每幅自然图像经过边缘提取后获得的FDoG边缘标签图像；
所述的第二数据集构建模块用于采集多幅彩绘文物图像，获得第二样本集；其中所述第二样本集中的每一幅彩绘文物图像与第一样本集中的彩绘文物图像均不相同；
获取第二样本集中每一幅彩绘文物图像的线稿图像，获得第二线稿标签集；
所述的粗线稿提取模块用于将所述获得的第二样本集输入至粗提取模型中，获得粗线稿图像集；
所述的细提取模型获得模块用于将所述的粗线稿图像集作为输入，将所述的第二线稿标签集作为参考输出，训练卷积神经网络，获得细线稿提取模型；
所述的线稿提取模型获得模块用于获得线稿提取模型，所述的线稿提取模型包括依次连接的粗提取模型以及细线稿提取模型。
7.如权利要求6所述的层次化彩绘文物线稿提取模型构建装置，其特征在于，所述的细提取模型获得模块中的卷积神经网络包括依次设置的U-net网络、侧输出层以及融合输出层；
所述的侧输出层包括依次设置的第一卷积层、上采样层以及第一激活函数层；所述的融合输出层包括依次设置的第二卷积层以及第二激活函数层。
8.如权利要求7所述的层次化彩绘文物线稿提取模型构建装置，其特征在于，所述的细提取模型获得模块中训练卷积神经网络时，采用随机梯度下降算法进行训练，其中损失函数Lfine为：
Figure FDA0002370626720000051
其中ωside表示不同的尺度特征对应的损失函数中的比重，ωfuse表示融合特征在损失函数中的比重；s表示尺度，s＝1,2，…，S，S为正整数，
Figure FDA0002370626720000052
为单通道损失函数，
Figure FDA0002370626720000053
为融合损失函数，
Figure FDA0002370626720000054
表示将粗线稿图像输入至细线稿提取模型后输出的图像，YR表示粗线稿图像对应的线稿标签图像，R表示粗线稿图像。
9.如权利要求8所述的层次化彩绘文物线稿提取模型构建装置，其特征在于，所述的粗提取模型获得模块中采用边缘数据集以及边缘标签集训练BDCN边缘检测网络时，损失函数Lpre为：
Figure FDA0002370626720000055
其中s表示尺度，s＝1,2，…，S，S为正整数，α为目标函数中边缘标签的权重，β为FDoG边缘标签的权重，PN表示将自然图像N输入至BDCN边缘检测网络后的输出图像，
Figure FDA0002370626720000056
表示自然图像N对应的边缘标签图像，
Figure FDA0002370626720000057
表示自然图像N对应的FDoG边缘标签图像。
10.一种层次化彩绘文物线稿提取装置，其特征在于，用于将所述的待提取的彩绘文物图像输入至权利要求6-9任一项权利要求所述的层次化彩绘文物线稿提取模型构建装置获得的线稿提取模型中，获得彩绘文物线稿图像。
CN202010049526.4A 2020-01-16 2020-01-16 一种层次化彩绘文物线稿提取模型构建、方法及装置 Active CN111222519B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010049526.4A CN111222519B (zh) 2020-01-16 2020-01-16 一种层次化彩绘文物线稿提取模型构建、方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010049526.4A CN111222519B (zh) 2020-01-16 2020-01-16 一种层次化彩绘文物线稿提取模型构建、方法及装置

Publications (2)

Publication Number Publication Date
CN111222519A true CN111222519A (zh) 2020-06-02
CN111222519B CN111222519B (zh) 2023-03-24

Family

ID=70827122

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010049526.4A Active CN111222519B (zh) 2020-01-16 2020-01-16 一种层次化彩绘文物线稿提取模型构建、方法及装置

Country Status (1)

Country Link
CN (1) CN111222519B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680706A (zh) * 2020-06-17 2020-09-18 南开大学 一种基于编码和解码结构的双通道输出轮廓检测方法
CN112372855A (zh) * 2020-11-04 2021-02-19 陕西历史博物馆(陕西省文物交流中心) 一种壁画砌体剥离设备
CN113554087A (zh) * 2021-07-20 2021-10-26 清华大学深圳国际研究生院 一种基于生成式对抗网络的考古线图自动生成方法
CN115393470A (zh) * 2022-10-28 2022-11-25 成都航空职业技术学院 一种文物数字线图的绘制方法、绘制系统及绘制装置
CN115409914A (zh) * 2022-11-02 2022-11-29 天津恒达文博科技股份有限公司 文物线描图的生成方法、装置、存储介质及电子设备
CN115841625A (zh) * 2023-02-23 2023-03-24 杭州电子科技大学 一种基于改进U-Net模型的遥感建筑物影像提取方法
CN117649365A (zh) * 2023-11-16 2024-03-05 西南交通大学 基于卷积神经网络和扩散模型的纸本经图数字化修复方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018028255A1 (zh) * 2016-08-11 2018-02-15 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
US10008011B1 (en) * 2014-11-26 2018-06-26 John Balestrieri Methods for creating a simulated watercolor-painted image from a source image
CN108510456A (zh) * 2018-03-27 2018-09-07 华南理工大学 基于感知损失的深度卷积神经网络的草图简化方法
CN108615252A (zh) * 2018-05-03 2018-10-02 苏州大学 基于参考图像的线稿上色模型的训练方法以及装置
CN108830913A (zh) * 2018-05-25 2018-11-16 大连理工大学 基于用户颜色引导的语义级别线稿上色方法
CN109448093A (zh) * 2018-10-25 2019-03-08 广东智媒云图科技股份有限公司 一种风格图像生成方法及装置
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
CN110211192A (zh) * 2019-05-13 2019-09-06 南京邮电大学 一种基于深度学习的三维模型到二维图像的渲染方法
CN110223359A (zh) * 2019-05-27 2019-09-10 浙江大学 一种基于生成对抗网络的双阶段多配色线稿上色模型及其构建方法和应用
CN110378985A (zh) * 2019-07-19 2019-10-25 中国传媒大学 一种基于gan的动漫绘画辅助创作方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10008011B1 (en) * 2014-11-26 2018-06-26 John Balestrieri Methods for creating a simulated watercolor-painted image from a source image
WO2018028255A1 (zh) * 2016-08-11 2018-02-15 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
CN108510456A (zh) * 2018-03-27 2018-09-07 华南理工大学 基于感知损失的深度卷积神经网络的草图简化方法
CN108615252A (zh) * 2018-05-03 2018-10-02 苏州大学 基于参考图像的线稿上色模型的训练方法以及装置
CN108830913A (zh) * 2018-05-25 2018-11-16 大连理工大学 基于用户颜色引导的语义级别线稿上色方法
CN109448093A (zh) * 2018-10-25 2019-03-08 广东智媒云图科技股份有限公司 一种风格图像生成方法及装置
CN110211192A (zh) * 2019-05-13 2019-09-06 南京邮电大学 一种基于深度学习的三维模型到二维图像的渲染方法
CN110223359A (zh) * 2019-05-27 2019-09-10 浙江大学 一种基于生成对抗网络的双阶段多配色线稿上色模型及其构建方法和应用
CN110378985A (zh) * 2019-07-19 2019-10-25 中国传媒大学 一种基于gan的动漫绘画辅助创作方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
卢倩雯等: "基于生成对抗网络的漫画草稿图简化", 《自动化学报》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680706A (zh) * 2020-06-17 2020-09-18 南开大学 一种基于编码和解码结构的双通道输出轮廓检测方法
CN112372855A (zh) * 2020-11-04 2021-02-19 陕西历史博物馆(陕西省文物交流中心) 一种壁画砌体剥离设备
CN113554087A (zh) * 2021-07-20 2021-10-26 清华大学深圳国际研究生院 一种基于生成式对抗网络的考古线图自动生成方法
CN113554087B (zh) * 2021-07-20 2023-11-10 清华大学深圳国际研究生院 一种基于生成式对抗网络的考古线图自动生成方法
CN115393470A (zh) * 2022-10-28 2022-11-25 成都航空职业技术学院 一种文物数字线图的绘制方法、绘制系统及绘制装置
CN115409914A (zh) * 2022-11-02 2022-11-29 天津恒达文博科技股份有限公司 文物线描图的生成方法、装置、存储介质及电子设备
CN115409914B (zh) * 2022-11-02 2023-01-06 天津恒达文博科技股份有限公司 文物线描图的生成方法、装置、存储介质及电子设备
CN115841625A (zh) * 2023-02-23 2023-03-24 杭州电子科技大学 一种基于改进U-Net模型的遥感建筑物影像提取方法
CN117649365A (zh) * 2023-11-16 2024-03-05 西南交通大学 基于卷积神经网络和扩散模型的纸本经图数字化修复方法

Also Published As

Publication number Publication date
CN111222519B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN111222519A (zh) 一种层次化彩绘文物线稿提取模型构建、方法及装置
CN110647875B (zh) 一种血细胞分割、识别模型构造的方法及血细胞识别方法
CN112102229A (zh) 一种基于深度学习的工业ct检测缺陷的智能识别方法
CN110263756A (zh) 一种基于联合多任务学习的人脸超分辨率重建系统
CN109815785A (zh) 一种基于双流卷积神经网络的人脸情绪识别方法
CN114820579A (zh) 一种基于语义分割的图像复合缺陷的检测方法及系统
CN113642574A (zh) 基于特征加权与网络微调的小样本目标检测方法
CN107665492A (zh) 基于深度网络的结直肠全景数字病理图像组织分割方法
CN112488025A (zh) 基于多模态特征融合的双时相遥感影像语义变化检测方法
CN113298736B (zh) 一种基于面部样式的人脸图像修复方法
CN106548169A (zh) 基于深度神经网络的模糊文字增强方法及装置
CN113256494B (zh) 一种文本图像超分辨率方法
CN109360179A (zh) 一种图像融合方法、装置及可读存储介质
CN111507998A (zh) 基于深度级联的多尺度激励机制隧道表面缺陷分割方法
CN114612664A (zh) 一种基于双边分割网络的细胞核分割方法
Conrad et al. Two-stage seamless text erasing on real-world scene images
CN113610024A (zh) 一种多策略的深度学习遥感影像小目标检测方法
CN116664609A (zh) 一种易部署的图像边缘检测方法、装置及其电子设备
CN111612759A (zh) 一种基于深度卷积生成式对抗网络的印刷品缺陷识别方法
CN110796716A (zh) 一种基于多重残差网络和正则化迁移学习的图像着色方法
CN109859199A (zh) 一种sd-oct图像的淡水无核珍珠质量检测的方法
CN115984186A (zh) 基于多分辨率知识提取的精细产品图像异常检测方法
CN109165551B (zh) 一种自适应加权融合显著性结构张量和lbp特征的表情识别方法
CN114820510A (zh) 细胞病理图像质量评价方法
CN109741351A (zh) 一种基于深度学习的类别敏感型边缘检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant