CN111931770B - 图像处理方法、装置、设备及存储介质 - Google Patents
图像处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111931770B CN111931770B CN202010971765.5A CN202010971765A CN111931770B CN 111931770 B CN111931770 B CN 111931770B CN 202010971765 A CN202010971765 A CN 202010971765A CN 111931770 B CN111931770 B CN 111931770B
- Authority
- CN
- China
- Prior art keywords
- sample image
- data
- image data
- decoding operation
- decoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 117
- 238000000034 method Methods 0.000 claims abstract description 90
- 238000012549 training Methods 0.000 claims abstract description 77
- 230000004044 response Effects 0.000 claims abstract description 11
- 238000013139 quantization Methods 0.000 claims description 31
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 230000015654 memory Effects 0.000 claims description 18
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 60
- 238000005516 engineering process Methods 0.000 description 22
- 230000006835 compression Effects 0.000 description 21
- 238000007906 compression Methods 0.000 description 21
- 238000013473 artificial intelligence Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000001133 acceleration Effects 0.000 description 10
- 230000002093 peripheral effect Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 239000000919 ceramic Substances 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Pathology (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Epidemiology (AREA)
- Probability & Statistics with Applications (AREA)
- Primary Health Care (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请公开了图像处理方法、装置、设备及存储介质,属于计算机技术领域。方法包括:获取样本图像压缩数据;对样本图像压缩数据进行预解码,得到预解码的样本图像数据;将预解码的样本图像数据存储到存储空间;响应于执行图像处理模型训练任务,从存储空间读取预解码的样本图像数据;基于预解码的样本图像数据,获取训练图像处理模型所需的解码后的样本图像数据;基于解码后的样本图像数据训练图像处理模型。在上述过程中,预先将预解码的样本图像数据存储到存储空间,能够直接基于读取的预解码的样本图像数据获取解码后的样本图像数据,有利于缩短获取解码后的样本图像数据的耗时,提高图像处理模型训练任务的执行效率。
Description
技术领域
本申请实施例涉及计算机技术领域,特别涉及一种图像处理方法、装置、设备及存储介质。
背景技术
随着计算机技术的发展,图像处理模型训练任务越来越多。在执行图像处理模型训练任务的过程中,需要先获取训练图像处理模型所需的解码后的样本图像数据,然后再基于解码后的样本图像数据训练图像处理模型。
相关技术中,获取训练图像处理模型所需的解码后的样本图像数据的过程为:从存储空间中读取样本图像压缩数据,对样本图像压缩数据进行完全解码,得到解码后的样本图像数据。在此种过程中,获取解码后的样本图像数据的耗时较长,图像处理模型训练任务的执行效率较低。
发明内容
本申请实施例提供了一种图像处理方法、装置、设备及存储介质,可用于提高图像处理模型训练任务的执行效率。
一方面,本申请实施例提供了一种图像处理方法,所述方法包括:
获取样本图像压缩数据;
对所述样本图像压缩数据进行预解码,得到预解码的样本图像数据;
将所述预解码的样本图像数据存储到存储空间;
响应于执行图像处理模型训练任务,从所述存储空间读取所述预解码的样本图像数据;
基于所述预解码的样本图像数据,获取训练所述图像处理模型所需的解码后的样本图像数据;
基于所述解码后的样本图像数据训练所述图像处理模型。
另一方面,提供了一种图像处理装置,所述装置包括:
第一获取模块,用于获取样本图像压缩数据;
预解码模块,用于对所述样本图像压缩数据进行预解码,得到预解码的样本图像数据;
存储模块,用于将所述预解码的样本图像数据存储到存储空间;
读取模块,用于响应于执行图像处理模型训练任务,从所述存储空间读取所述预解码的样本图像数据;
第二获取模块,用于基于所述预解码的样本图像数据,获取训练所述图像处理模型所需的解码后的样本图像数据;
训练模块,用于基于所述解码后的样本图像数据训练所述图像处理模型。
在一种可能实现方式中,所述预解码模块,包括:
解码操作执行单元,用于对所述样本图像压缩数据执行完整解码操作中的第一步解码操作,得到第一解码的样本图像数据;
获取单元,用于基于所述第一解码的样本图像数据,获取所述预解码的样本图像数据。
在一种可能实现方式中,所述解码操作执行单元,用于获取所述样本图像压缩数据对应的编码表和编码树;基于所述编码表和所述编码树,对所述样本图像压缩数据进行图像数据解码,得到直流系数的初始解码数据和交流系数的初始解码数据;基于所述直流系数的初始解码数据和所述交流系数的初始解码数据,获取所述第一解码的样本图像数据。
在一种可能实现方式中,所述解码操作执行单元,还用于对所述直流系数的初始解码数据进行差分解码,得到所述直流系数的第一解码数据;对所述交流系数的初始解码数据进行变动长度解码,得到所述交流系数的第一解码数据;对所述直流系数的第一解码数据和所述交流系数的第一解码数据进行排序处理,得到所述第一解码的样本图像数据。
在一种可能实现方式中,所述获取单元,用于对所述第一解码的样本图像数据执行参考解码操作,将执行所述参考解码操作后得到的样本图像数据作为所述预解码的样本图像数据,所述参考解码操作包括所述完整解码操作中位于所述第一步解码操作之后的前参考数量步解码操作。
在一种可能实现方式中,所述参考解码操作包括反量化操作、反变换操作、块合并操作、升采样操作和第一色彩空间转换操作中的前参考数量步解码操作。
在一种可能实现方式中,所述样本图像压缩数据存储在压缩图像文件中,所述压缩图像文件包括所述样本图像压缩数据对应的参考编码信息和压缩数据标识;所述存储模块,用于将所述压缩图像文件中的样本图像压缩数据替换为所述预解码的样本图像数据,将所述压缩图像文件中的参考编码信息删除,将所述压缩图像文件中的压缩数据标识替换为预解码数据标识,得到更新后的图像文件;将所述更新后的图像文件作为预解码图像文件,将所述预解码图像文件存储到存储空间。
在一种可能实现方式中,所述装置还包括:
设置模块,用于所述预解码图像文件的文件扩展名设置为目标名,所述目标名与所述压缩图像文件的文件扩展名不同。
在一种可能实现方式中,所述第二获取模块,用于对所述预解码的样本图像数据进行再解码,得到训练所述图像处理模型所需的解码后的样本图像数据。
另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条程序代码,所述至少一条程序代码由所述处理器加载并执行,以实现上述任一所述的图像处理方法。
另一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条程序代码,所述至少一条程序代码由处理器加载并执行,以实现上述任一所述的图像处理方法。
另一方面,还提供了一种计算机程序产品或计算机程序,所述计算机程序产品或计算机程序包括计算机指令,所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令,处理器执行所述计算机指令,使得所述计算机设备执行上述任一所述的图像处理方法。
本申请实施例提供的技术方案至少带来如下有益效果:
在本申请实施例中,预先将预解码的样本图像数据存储到存储空间,在需要执行图像处理模型训练任务时,直接根据读取的预解码的样本图像数据,获取训练图像处理模型所需的解码后的样本图像数据。由于预解码的样本图像数据是对样本图像压缩数据进行了预解码后得到的图像数据,所以根据预解码的样本图像数据获取解码后的样本图像数据的耗时较短,有利于提高图像处理模型训练任务的执行效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像处理方法的实施环境的示意图;
图2是本申请实施例提供的一种图像处理方法的流程图;
图3是本申请实施例提供的一种样本图像压缩数据的数据量以及预解码的样本图像数据的数据量占解码后的样本图像数据的数据量的百分比的分析结果的示意图;
图4是本申请实施例提供的一种样本图像压缩数据的数据量百分比以及预解码的样本图像数据的数据量百分比的统计结果的示意图;
图5是本申请实施例提供的一种对样本图像压缩数据执行完整解码操作的过程中不同解码操作耗费的时长占比的试验结果的示意图;
图6是本申请实施例提供的一种图像处理装置的示意图;
图7是本申请实施例提供的一种预解码模块的结构示意图;
图8是本申请实施例提供的一种图像处理装置的示意图;
图9是本申请实施例提供的一种终端的结构示意图;
图10是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请实施例中的方案涉及人工智能技术中的计算机视觉技术。计算机视觉技术(Computer Vision,CV)是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(OpticalCharacter Recognition,光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D(Three Dimensional,三维)技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
本申请实施例提供的方法可应用于云存储领域。云存储是在云计算概念上延伸和发展出来的一个新的概念,分布式云存储系统(以下简称云存储系统)是指通过集群应用、网格技术以及分布存储文件系统等功能,将网络中大量各种不同类型的存储设备(存储设备也称之为存储节点)通过应用软件或应用接口集合起来协同工作,共同对外提供数据存储和业务访问功能的一个存储系统。
目前,云存储系统的存储方法为:创建逻辑卷,在创建逻辑卷时,就为每个逻辑卷分配物理存储空间,该物理存储空间可能是某个存储设备或者某几个存储设备的磁盘组成。客户端在某一逻辑卷上存储数据,也就是将数据存储在文件系统上,文件系统将数据分成许多部分,每一部分是一个对象,对象不仅包含数据而且还包含数据标识等额外的信息,文件系统将每个对象分别写入该逻辑卷的物理存储空间,且文件系统会记录每个对象的存储位置信息,从而当客户端请求访问数据时,文件系统能够根据每个对象的存储位置信息让客户端对数据进行访问。
云存储系统为逻辑卷分配物理存储空间的过程为:按照对存储于逻辑卷的对象的容量估量(该估量往往相对于实际要存储的对象的容量有很大余量)和RAID(RedundantArray of Independent Disk,独立冗余磁盘阵列)的组别,预先将物理存储空间划分成分条,一个逻辑卷可以理解为一个分条,从而为逻辑卷分配了物理存储空间。
本申请实施例提供了一种图像处理方法,请参考图1,其示出了本申请实施例提供的图像处理方法的实施环境的示意图。该实施环境可以包括:终端11和服务器12。
终端11和服务器12均可以实现本申请中的图像处理方法。终端11可以存储样本图像压缩数据,进而直接从本地获取样本图像压缩数据实现图像处理过程。终端11也可以从服务器12获取样本图像压缩数据,然后再基于样本图像压缩数据实现图像处理过程。服务器12也可以基于样本图像压缩数据实现图像处理过程。
在一种可能实现方式中,终端11可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。服务器12可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(ContentDelivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端11以及服务器12可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
本领域技术人员应能理解上述终端11和服务器12仅为举例,其他现有的或今后可能出现的终端或服务器如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
基于上述图1所示的实施环境,本申请实施例提供一种图像处理方法,以该方法应用于终端11为例。如图2所示,本申请实施例提供的方法可以包括如下步骤。
在步骤201中,获取样本图像压缩数据。
样本图像是指用于训练图像处理模型的图像,本申请实施例对样本图像的来源、类型、尺寸等均不加以限定。需要说明的是,样本图像的数量可能为一个或多个,本申请实施例对此不加以限定。当样本图像的数量为多个时,获取各个样本图像的样本图像压缩数据。本申请实施例以样本图像的数量为一个为例进行说明。
样本图像压缩数据是指为了便于存储而对样本图像进行压缩处理后得到的数据。通常情况下,样本图像压缩数据占用的存储空间较小。本申请实施例对得到样本图像压缩数据所利用的压缩标准不加以限定,示例性地,得到样本图像压缩数据所利用的压缩标准为JPEG(Joint Photographic Experts Group,联合图像专家小组)标准。需要说明的是,为节省存储空间,默认状态下,样本图像以样本图像压缩数据的形式进行存储。
在示例性实施例中,样本图像压缩数据存储在压缩图像文件中。压缩图像文件的格式与获取样本图像压缩数据所利用的压缩标准有关,示例性地,当获取样本图像压缩数据所利用的压缩标准为JPEG标准时,压缩图像文件的格式可以为JFIF(JPEG FileInterchange Format,JPEG文件交换格式)。在示例性实施例中,压缩图像文件的文件扩展名为“JPEG”。
示例性地,压缩图像文件包括标记信息和样本图像压缩数据两个部分。标记信息中包括标记段,标记段由标记识别码和标记的具体内容组成。例如,JFIF格式的压缩图像文件中常见的标记识别码和标记识别码表示的意义如表1所示。
表1
标记名 | 标记识别码 | 意义 |
SOI | 0xD8 | 图像开始(Start of Image) |
APP0 | 0xE0 | 应用程序保留标记0(Application) |
APP1-n | 0xE1-0xEF | 应用程序保留标记1-n(Applications) |
DQT | 0xDB | 定义量化表(Define Quantization Table) |
SOF0 | 0xC0 | 帧图像开始(Start of Frame) |
DHT | 0xC4 | 定义哈夫曼表(Define Huffman Table) |
SOS | 0xDA | 扫描开始(Start of Scan) |
EOI | 0xD9 | 图像结束(End of Image) |
在示例性实施例中,上述表1中的APP0(Application 0,应用程序保留标记0)对应的标记段中包括的具体标记名以及具体标记名对应的内容的字节大小和描述如表2所示。
表2
标记名 | 字节大小 | 描述 |
APP0标记 | 2 | FFE0 |
Length(长度) | 2 | 段长度 |
Identifier(标识符) | 5 | 4A 46 49 46 00=“JFIF0”的ASCII代码,空字节终止 |
Version(版本) | 2 | JFIF的版本 |
Units(单位) | 1 | 密度单位,有三个可选数值:0-无单位;1-点数/英寸;2-点数/厘米 |
X density(密度) | 2 | 水平像素密度 |
Y density(密度) | 2 | 垂直像素密度 |
X thumbnail(缩略图) | 1 | 缩略图水平像素数 |
Y thumbnail(缩略图) | 1 | 缩略图垂直像素数 |
RGB(n) | 3*N | 缩略图RGB(Red Green Blue,红绿蓝)位图数据;N= X thumbnail * Y thumbnail |
在示例性实施例中,样本图像压缩数据由多个最小编码单元(Minimum CodedUnit,MCU)对应的压缩数据构成。MCU是指图像中一个正方矩阵像素构成的单元。在样本图像压缩数据中,MCU对应的压缩数据的排列方法是从左到右,从上到下。每个MCU又分为若干个数据单元,数据单元的大小为8*8。对样本图像压缩数据的解码过程是基于各个MCU实现的。
在一种可能实现方式中,样本图像压缩数据可能存储在终端本地,也可能存储在服务器中,本申请实施例对此不加以限定。对应样本图像数据存储在终端本地的情况,终端获取样本图像压缩数据的方式为:终端从本地读取样本图像压缩数据。对应样本图像数据存储在服务器中的情况,终端获取样本图像压缩数据的方式为:终端从服务器中获取样本图像压缩数据。
示例性地,样本图像压缩数据是与样本图像的图像标识对应存储的,根据样本图像的图像标识可以从终端本地或者服务器中获取样本图像压缩数据。样本图像的图像标识用于唯一标识该样本图像,例如,样本图像的图像标识为样本图像的图像名称、样本图像的URL(Uniform Resource Locator,统一资源定位器)等。
在步骤202中,对样本图像压缩数据进行预解码,得到预解码的样本图像数据。
预解码的样本图像数据是指对样本图像压缩数据进行预解码后得到的数据。相比于样本图像压缩数据,预解码的样本图像数据更接近训练图像处理模型所需的解码后的样本图像数据。基于预解码的样本图像数据获取解码后的样本图像数据能够比基于样本图像压缩数据获取解码后的样本图像数据具有更短的耗时。
在一种可能实现方式中,对样本图像压缩数据进行预解码,得到预解码的样本图像数据的过程包括以下步骤2021和步骤2022。
步骤2021:对样本图像压缩数据执行完整解码操作中的第一步解码操作,得到第一解码的样本图像数据。
完整解码操作用于将样本图像压缩数据解码成训练图像处理模型所需的解码后的样本图像数据,解码后的样本图像数据能够较为直观地描述样本图像的图像特征,以便于训练图像处理模型。完整解码操作中包括多步解码操作。完整解码操作中的第一步解码操作是指将样本图像压缩数据进行解码的过程中最先需要执行的解码操作,将对样本图像压缩数据执行完整解码操作中的第一步解码操作后得到的图像数据称为第一解码的样本图像数据。相比于样本图像压缩数据,第一解码的样本图像数据更接近解码后的样本图像数据。
示例性地,对于得到样本图像压缩数据所利用的压缩标准为JPEG标准的情况,第一步解码操作包括以下步骤:1、读取哈夫曼编码表;2、获取哈夫曼编码树;3、对样本图像压缩数据进行哈夫曼(Huffman)解码;4、对直流系数和交流系数进行分类解码。其中,哈夫曼解码为哈夫曼编码的逆过程。哈夫曼编码方法的原理为:对出现概率大的符号分配更短的二进制码,以得到平均码长最短的编码。
在一种可能实现方式中,对样本图像压缩数据执行完整解码操作中的第一步解码操作,得到第一解码的样本图像数据的过程包括以下步骤a至步骤c。
步骤a:获取样本图像压缩数据对应的编码表和编码树。
样本图像压缩数据对应的编码表是指在得到样本图像压缩数据的过程中生成的编码表。编码表的形式与编码方式有关,示例性地,编码方式为哈夫曼编码,编码表为哈夫曼编码表。编码表中包括编码前的原始数据和编码后的编码数据的对应关系。
在示例性实施例中,用于存储样本图像压缩数据的压缩图像文件中包括样本图像压缩数据对应的编码表,此种情况下,获取样本图像压缩数据对应的编码表的方式为:对压缩图像文件进行解析,得到样本图像压缩数据对应的编码表。在示例性实施例中,样本图像压缩数据对应的编码表存储在压缩图像文件中的DHT(Define Huffman Table,定义哈夫曼表)对应的标记段中。此种情况下,通过对压缩图像文件中的DHT标记段进行解析,得到样本图像压缩数据对应的编码表。
在示例性实施例中,以编码表为哈夫曼编码表为例,JFIF格式的压缩图像文件中通常包括四个哈夫曼编码表,分别为亮度(Luminance)通道的直流(Direct Current,DC)系数哈夫曼编码表(简称DC-L哈夫曼编码表)、色度(Chrominance)通道的直流系数哈夫曼编码表(简称DC-C哈夫曼编码表)、亮度通道的交流(Alternating Current,AC)系数哈夫曼编码表(简称AC-L哈夫曼编码表)和色度通道的交流系数哈夫曼编码表(简称AC-C哈夫曼编码表)。在示例性实施例中,DC-L哈夫曼编码表可以和DC-C哈夫曼编码表相同,AC-L哈夫曼编码表可以和AC-C哈夫曼编码表相同。
例如,DC-L哈夫曼编码表和DC-C哈夫曼编码表均如表3所示,AC-L哈夫曼编码表和AC-C哈夫曼编码表均如表4所示,在表3和表4所示的哈夫曼编码表中,码长用于指示哈夫曼编码后的码字的长度,数值用于指示哈夫曼编码前的原始数值,码字用于指示对原始数值进行哈夫曼编码后得到的数据。需要说明的是,表3是直流(DC)系数方面的哈夫曼编码表,直流系数的数值取值范围为0~15。表4是交流(AC)系数方面的哈夫曼编码表,交流系数的数值取值范围为0~255。
表3
码长 | 数值 | 码字 |
3bits | 00-06 | 000-110 |
4bits | 07 | 1110 |
5bits | 08 | 11110 |
6bits | 09 | 111110 |
7bits | 0A | 1111110 |
8bits | 0B | 11111110 |
表4
码长 | 数值 | 码字 |
2bits | 01,02 | 00,01 |
3bits | 03 | 100 |
4bits | 00,04,11 | 1010,1011,1100 |
5bits | 05,12,21 | 11010,11011,11100 |
…… | …… | …… |
12bits | 24,33,62,72 | 111111110100-111111110111 |
15bits | 82 | 111111111000000 |
16bits | 09-FA | 1111111110000010-1111111111111110 |
样本图像压缩数据对应的编码树是指在通过编码的方式得到样本图像压缩数据的过程中利用的编码树。编码树的类型与编码方式有关,示例性地,当编码方式为哈夫曼编码时,编码树为哈夫曼编码树。
在通过编码的方式得到样本图像压缩数据的过程中利用的编码树可以是指在编码过程中实时构建的编码树,也可能是指图像压缩领域的通用编码树,本申请实施例对此不加以限定。在一种可能实现方式中,当利用的编码树为实时构建的编码树时,该实时构建的编码树会存储在压缩图像文件中。当利用的编码树为通用编码树时,压缩图像文件中可能不存储任何与编码树相关的信息,也可能仅存储通用编码树的标识信息,还可能存储该通用编码树,本申请实施例对此不加以限定。
在一种可能实现方式中,获取样本图像压缩数据对应的编码树的过程为:响应于压缩图像文件中存储有编码树,则从压缩图像文件中提取编码树,将从压缩图像文件中提取的编码树作为样本图像压缩数据对应的哈夫曼编码树;响应于压缩图像文件中未存储有编码树,将通用编码树作为样本图像压缩数据对应的编码树。需要说明的是,通用编码树可以存储在终端中,也可以存储在服务器中,本申请实施例对此不加以限定。
步骤b:基于编码表和编码树,对样本图像压缩数据进行图像数据解码,得到直流系数的初始解码数据和交流系数的初始解码数据。
在得到编码表和编码树后,即可根据编码表和编码树对样本图像压缩数据进行图像数据解码,得到直流系数的初始解码数据和交流系数的初始解码数据。示例性地,编码表为哈夫曼编码表,编码树为哈夫曼编码树,则根据编码表和编码树对样本图像压缩数据进行图像数据解码是指:利用哈夫曼编码表和哈夫曼编码树对样本图像压缩数据进行哈夫曼解码。哈夫曼解码为哈夫曼编码的逆过程。
直流(DC)系数和交流(AC)系数是指频域平面上的变换系数。对于8*8的频域平面,位于(0,0)位置的变换系数称为直流系数,其他位置的变换系数称为交流系数。也就是说,对于8*8的频域平面,存在1个直流系数和63个交流系数,直流系数是64个图像采样的平均值,直流系数包含了整个图像能量的主要部分,远离直流系数的高频交流系数大多数为零或趋于零。
在示例性实施例中,直流系数的初始解码数据是指对直流系数的第一解码数据进行差分编码后得到的数据。直流系数的第一解码数据是指对原始的直流系数进行量化操作后得到的数据。原始的直流系数是指在对样本图像进行压缩的过程中,进行FDCT(ForwardDiscrete Cosine Transform,正向离散余弦变换)后得到的系数表中的直流系数。差分编码的原理为:对相邻的两个直流系数的第一解码数据的差值进行编码。在一幅图像中像素之间的灰度或色差信号变化缓慢,相邻的8*8块之间有更强的相关性,所以相邻块的直流系数值很接近,对量化后前后两块之间的直流系数差值进行编码,可以用较少的比特数进行存储。示例性地,差分编码是指DPCM(Differential Pulse Code Modulation,差分脉码调制)编码。
在示例性实施例中,交流系数的初始解码数据是指对交流系数的第一解码数据进行变动长度编码后得到的数据。交流系数的第一解码数据是指对原始的交流系数进行量化操作后得到的数据。原始的交流系数是指在对样本图像进行压缩的过程中,进行FDCT(Forward Discrete Cosine Transform,正向离散余弦变换)后得到的系数表中的交流系数。示例性地,变动长度编码是指RLE(Run-Length Encoding,行程长度编码)。
对于交流系数而言,由于高低频数据分布的特性使得串联数据中有许多零项,在变动长度编码过程中,对一个非零交流系数和它前面所有的零仅做一次编码,而不是对每个交流系数都做一次编码,这样可以大大提高压缩效率。
步骤c:基于直流系数的初始解码数据和交流系数的初始解码数据,获取第一解码的样本图像数据。
在得到直流系数的初始解码数据和交流系数的初始解码数据后,进一步基于直流系数的初始解码数据和交流系数的初始解码数据,获取第一解码的样本图像数据。在一种可能实现方式中,基于直流系数的初始解码数据和交流系数的初始解码数据,获取第一解码的样本图像数据的过程包括以下步骤1至步骤3。
步骤1:对直流系数的初始解码数据进行差分解码,得到直流系数的第一解码数据。
根据步骤c的内容可知,直流系数的初始解码数据是指对直流系数的第一解码数据进行差分编码后得到的数据,所以,通过对直流系数的初始解码数据进行差分解码,即可得到直流系数的第一解码数据。差分解码的过程为差分编码过程的逆过程。
在实际处理过程中,直流系数的初始解码数据只是当前颜色分量单元的实际直流系数值减去前一个颜色分量单元的实际直流系数值。也就是说,当前直流系数要通过前一个颜色分量单元的实际直流系数来校正。该校正过程即为差分解码的过程,在差分解码的过程中,将当前直流系数的初始解码数据和前一个直流系数的第一解码数据的和作为当前直流系数的第一解码数据。需要说明的是,如果当前颜色分量单元是第一个单元,则解码出来的初始解码数据就是直流系数的第一解码数据。
步骤2:对交流系数的初始解码数据进行变动长度解码,得到交流系数的第一解码数据。
根据步骤c的内容可知,交流系数的初始解码数据是指对交流系数的第一解码数据进行变动长度编码后得到的数据,所以,通过对交流系数的初始解码数据进行变动长度解码,即可得到交流系数的第一解码数据。变动长度解码的过程为变动长度编码过程的逆过程。
步骤3:对直流系数的第一解码数据和交流系数的第一解码数据进行排序处理,得到第一解码的样本图像数据。
直流系数的第一解码数据和交流系数的第一解码数据是通过对初始解压缩图像数据进行指定顺序的扫描后得到的数据,示例性地,该指定顺序的扫描是指Zigzag(之字形)扫描。对直流系数的第一解码数据和交流系数的第一解码数据进行排序处理的过程是指对初始解压缩图像数据进行指定顺序的扫描的逆过程。示例性地,当指定顺序的扫描是指Zigzag扫描时,对直流系数的第一解码数据和交流系数的第一解码数据进行排序处理的过程是指对直流系数的第一解码数据和交流系数的第一解码数据进行反Zigzag扫描的过程。通过对直流系数的第一解码数据和交流系数的第一解码数据进行排序处理,即可得到第一解码的样本图像数据。
在示例性实施例中,Zigzag扫描针对的是8*8的数据矩阵,对直流系数的第一解码数据和交流系数的第一解码数据进行反Zigzag扫描后得到多个8*8的数据矩阵。这多个8*8的数据矩阵构成第一解码的样本图像数据。
在示例性实施例中,第一解码的样本图像数据是指在对样本图像进行压缩的过程中,进行FDCT(Forward Discrete Cosine Transform,正向离散余弦变换)后得到的图像数据。
步骤2022:基于第一解码的样本图像数据,获取预解码的样本图像数据。
预解码的样本图像数据是指需要存储在存储空间中的预先解码后的样本图像数据。预解码的样本图像数据包括但不限于以下两种情况。
情况1:预解码的样本图像数据是指对样本图像压缩数据执行完整解码操作中的第一步解码操作后得到的图像数据。
在此种情况1下,基于第一解码的样本图像数据,获取预解码的样本图像数据的实现方式为:将第一解码的样本图像数据作为预解码的样本图像数据。
情况2:预解码的样本图像数据是指对样本图像压缩数据依次执行完整解码操作中的第一步解码操作和参考解码操作后得到的图像数据。
参考解码操作包括完整解码操作中位于第一步解码操作之后的前参考数量步解码操作。
在此种情况2下,基于第一解码的样本图像数据,获取预解码的样本图像数据的实现方式为:对第一解码的样本图像数据执行参考解码操作,将执行参考解码操作后得到的样本图像数据作为预解码的样本图像数据。
参考解码操作包括完整解码操作中位于第一步解码操作之后的前参考数量步解码操作。参考解码操作包括位于第一步解码操作之后的与第一步解码操作连续的参考数量步解码操作。参考数量根据经验设置,也可以根据可用存储空间等实际条件进行灵活调整,本申请实施例对此不加以限定。在示例性实施例中,参考数量不大于完整解码操作中除第一步解码操作外的其他解码操作的步数。参考数量越大,参考解码操作中包括的解码操作的数量越多,执行参考解码操作后得到的预解码的样本图像数据越接近训练图像处理模型所需的解码后的样本图像数据,相应地,存储预解码的样本图像数据所需的存储空间越大。
在一种可能实现方式中,完整解码操作中位于第一步解码操作之后的解码操作依次包括反量化操作、反变换操作、块合并操作、升采样操作和第一色彩空间转换操作这五步解码操作。在此种情况下,参考解码操作包括反量化操作、反变换操作、块合并操作、升采样操作和第一色彩空间转换操作中的前参考数量步解码操作。
示例性地,对于参考解码操作包括反量化操作、反变换操作、块合并操作、升采样操作和第一色彩空间转换操作中的前参考数量步解码操作的情况,参考数量的取值可以为1~5中的任一数值。当参考数量的取值为1时,参考解码操作仅包括反量化操作;当参考数量的取值为2时,参考解码操作包括反量化操作和反变换操作;当参考数量的取值为3时,参考解码操作包括反量化操作、反变换操作和块合并操作;当参考数量的取值为4时,参考解码操作包括反量化操作、反变换操作、块合并操作和升采样操作;当参考数量的取值为5时,参考解码操作包括反量化操作、反变换操作、块合并操作、升采样操作和第一色彩空间转换操作。需要说明的是,当参考数量的取值为5时,第一步解码操作和参考解码操作构成完整解码操作,此种情况下,预解码的样本图像数据即为训练图像处理模型所需的解码后的样本图像数据。
需要说明的是,当参考解码操作中包括多步解码操作时,各步解码操作之间是存在先后顺序的,在对执行第一步解码操作后得到的第一解码的样本图像数据执行参考解码操作的过程中,对第一解码的样本图像数据依次执行参考解码操作中的各步解码操作。示例性地,假设参考解码操作包括反量化操作、反变换操作、块合并操作和升采样操作,则对第一解码的样本图像数据执行参考解码操作是指:对第一解码的样本图像数据依次执行反量化操作、反变换操作、块合并操作和升采样操作。
接下来,对反量化操作、反变换操作、块合并操作、升采样操作和第一色彩空间转换操作依次进行介绍。
反量化操作:反量化操作的过程是指对8*8的颜色分量单元的64个值逐一乘以对应的量化表内位置相同的值。图像内全部的颜色分量单元都要进行反量化操作。不同的颜色分量可以使用相同的量化表,也可以使用不同的量化表,本申请实施例对此不加以限定。示例性地,基于JPEG压缩标准得到的样本图像压缩数据中涉及三个颜色分量,分别为Y(明亮度)颜色分量、Cr(色度)颜色分量和Cb(色度)颜色分量。量化表可以从SOF0(Start ofFrame 0,帧图像开始)对应的标记段中查得。在示例性实施例中,Y颜色分量使用第一量化表,而Cr颜色分量和Cb颜色分量共同使用第二量化表。第一量化表和第二量化表根据经验设置,本申请实施例对此不加以限定。
反变换操作:反变换操作是指IDCT(Inverse Discrete Cosine Transform,反向离散余弦变换)操作。IDCT是指FDCT(Forward Discrete Cosine Transform,正向离散余弦变换)操作的逆变换操作。在得到样本图像压缩数据的过程中,利用FDCT进行了时空域向频率域的变换,所以在解码过程中就必须执行IDCT操作,实现频率域向时空域的转换。需要说明的是,若在执行IDCT操作之前的频率域的矩阵大小为8*8,则执行IDCT操作后得到的时空域的矩阵大小仍然是8*8。
块合并操作:在得到样本图像压缩数据的过程中,将图像数据进行了分块。因此,在解码的过程中,需要将各个块按顺序进行合并。在示例性实施例中,将图像数据按8*8(像素)进行分块,将图像数据切割成8*8的块是因为对于绝大部分图像,8*8块内的64个像素表示的信息是密切相关的,这样通过后续的过程处理过的数据具有更高的压缩度。
升采样操作:在得到样本图像压缩数据的过程中,在将图像数据进行分块之前,执行了下采样操作,因此,需要执行升采样操作才能得到原始的色彩转换后的图像数据。
第一色彩空间转换操作:在得到样本图像压缩数据的过程中,在执行下采样操作之前,先执行了目标色彩空间转换操作,目标色彩空间转换是指将RGB(Red Green Blue,红绿蓝)色彩空间转换为YUV(也称YCbCr,一种颜色编码方法)色彩空间。因此,需要执行第一色彩空间转换操作,才能得到解码后的样本图像数据。第一色彩空间转换操作是指将YUV色彩空间转换为RGB色彩空间。在YUV色彩空间中,“Y”表示明亮度(Luminance),也就是灰阶值;而“U”和“V”表示的则是色度(Chrominance)。
在得到样本图像压缩数据的过程中,需要将原始的图像数据从RGB色彩空间转换到YUV或YCbCr色彩空间。整个JPEG压缩标准定义在YUV色彩空间而非RGB色彩空间里。定义在YUV色彩空间里是利用人类的视觉特性的缘故,Y称为明亮度,而U、V则称为色度,因为人类眼球中感光的细胞与感色的细胞在数目上有相当程度的差别,人眼对亮度的敏感度要远大于对色度的敏感度,因此感受力上的差距,使得能够能对U、V颜色信息做下采样,从而可以更进一步地提高压缩比。
在步骤203中,将预解码的样本图像数据存储到存储空间。
在得到预解码的样本图像数据后,将预解码的样本图像数据存储到存储空间,以便于在需要执行图像处理模型训练任务时,直接从存储空间中读取预解码的样本图像数据。
在一种可能实现方式中,预解码的样本图像数据可以存储在预解码图像文件中,然后通过存储预解码图像文件实现对预解码的样本图像数据的存储。预解码图像文件可以是指对压缩图像文件进行更新后得到的图像文件。压缩图像文件是指用于存储样本图像压缩数据的文件,压缩图像文件包括样本图像压缩数据对应的参考编码信息和压缩数据标识。其中,样本图像压缩数据对应的参考编码信息是指在基于样本图像压缩数据得到预解码的样本图像数据的过程中需要利用的编码信息,例如,参考编码信息包括编码表、编码树等。压缩数据标识用于标识样本图像压缩数据,在示例性实施例中,压缩数据标识为4A 4649 46 00,4A 46 49 46 00是指字母序列JFIF的ASCII(American Standard Code forInformation Interchange,美国信息交换标准代码)码,该压缩数据标识可以记载在APP0对应的标记段中的Identifier(标识符)中。
在一种可能实现方式中,将预解码的样本图像数据存储到存储空间的过程包括以下步骤A和步骤B。
步骤A:将压缩图像文件中的样本图像压缩数据替换为预解码的样本图像数据,将压缩图像文件中的参考编码信息删除,将压缩图像文件中的压缩数据标识替换为预解码数据标识,得到更新后的图像文件。
将压缩图像文件中本身存储的样本图像压缩数据替换为预解码的样本图像数据,以使更新后的图像文件中包含样本图像压缩数据。示例性地,在将压缩图像文件中本身存储的样本图像压缩数据替换为预解码的样本图像数据后,预解码的样本图像数据记录在SOS(Start of Scan,扫描开始)对应的标记段中。
由于预解码的样本图像数据的获取过程已经利用了参考编码信息,在后续的解码操作中无需再利用参考编码信息,所以在已经得到预解码的样本图像数据的情况下,参考编码信息无需再保存,将压缩图像文件中的参考编码信息进行删除,以节省存储空间。示例性地,对于压缩图像文件中的参考编码信息仅包括编码表且编码表记载在DHT对应的标记段中的情况,将DHT对应的标记段的内容置空。
压缩数据标识用于标识样本图像压缩数据,在将压缩图像文件更新为预解码图像文件的过程中,将压缩数据标识替换为预解码数据标识,以利用预解码数据标识快速识别出存储了预解码的样本图像数据的图像文件。在示例性实施例中,预解码数据标识为44 4649 46 00,该预解码数据标识是指字母序列DFIF的ASCII码。
在经过上述三个方面的更新过程后,得到更新后的图像文件。需要说明的是,本申请实施例对执行上述三个方面的更新过程的先后执行顺序不加以限定。
步骤B:将更新后的图像文件作为预解码图像文件,将预解码图像文件存储到存储空间。
在根据步骤A得到更新后的图像文件后,将更新后的图像文件作为第预解码图像文件。此时,预解码图像文件中已经记录了预解码的样本图像数据。在得到预解码图像文件后,将预解码图像文件存储到存储空间,从而达到将预解码的样本图像数据存储到存储空间的目的。
在一种可能实现方式中,在得到预解码图像文件后,将预解码图像文件的文件扩展名设置为目标名,目标名与压缩图像文件的文件扩展名不同。目标名可以根据经验设置,本申请实施例对此不加以限定,只需与压缩图像文件的文件扩展名不同即可。示例性地,对于压缩图像文件的文件扩展名为“JPEG”的情况,目标名可以设置为“DPEG”。预解码图像文件的文件扩展名与压缩图像文件的文件扩展名不同,能够根据图像文件的扩展名快速区分压缩图像文件和预解码图像文件。
在步骤204中,响应于执行图像处理模型训练任务,从存储空间读取预解码的样本图像数据。
图像处理模型是指用于实现图像处理相关任务的模型,本申请实施例对图像处理模型能够实现的图像处理任务不加以限定。示例性地,图像处理模型能够实现的图像处理任务包括图像分类、图像分割、图像特征提取中的至少一个。此外,本申请实施例对图像处理模型的模型结构不加以限定,示例性地,图像处理模型的模型结构为深度学习模型。
当需要执行图像处理模型训练任务时,终端从存储空间读取预解码的样本图像数据,以便于直接基于预解码的样本图像数据,获取训练图像处理模型所需的解码后的样本图像数据。
在一种可能实现方式中,对于预解码的样本图像数据存储在预解码图像文件中的情况,从存储空间读取预解码的样本图像数据的过程为:从存储空间中读取预解码图像文件,然后从预解码图像文件中读取预解码的样本图像数据。
在步骤205中,基于预解码的样本图像数据,获取训练图像处理模型所需的解码后的样本图像数据。
训练图像处理模型所需的解码后的样本图像数据是指对样本图像压缩数据执行完整解码操作后得到的图像数据。由于预解码的样本图像数据是对样本图像压缩数据进行预解码后得到的图像数据,所以,相比于基于样本图像压缩数据获取训练图像处理模型所需的解码后的样本图像数据,直接基于预解码的样本图像数据获取训练图像处理模型所需的解码后的样本图像数据的过程无需执行完整解码操作,获取训练图像处理模型所需的解码后的样本图像数据的耗时较短。
在一种可能实现方式中,根据步骤2022介绍的内容可知,预解码的样本图像数据既可能是指对样本图像压缩数据执行完整解码操作中的第一步解码操作后得到的图像数据,也可能是指对样本图像压缩数据依次执行完整解码操作中的第一步解码操作和参考解码操作后得到的图像数据。
对于预解码的样本图像数据是指对样本图像压缩数据执行完整解码操作中的第一步解码操作后得到的图像数据的情况,基于预解码的样本图像数据,获取训练图像处理模型所需的解码后的样本图像数据的过程为:对预解码的样本图像数据进行再解码,得到训练图像处理模型所需的解码后的样本图像数据。由于预解码的样本图像数据是指对样本图像压缩数据执行完整解码操作中的第一步解码操作后得到的图像数据,所以对预解码的样本图像数据进行再解码的过程为:对预解码的样本图像数据依次执行完整解码操作中位于第一步解码操作之后的各步解码操作。
对于预解码的样本图像数据是指对样本图像压缩数据依次执行完整解码操作中的第一步解码操作和参考解码操作后得到的图像数据的情况,基于预解码的样本图像数据,获取训练图像处理模型所需的解码后的样本图像数据的过程为:响应于完整解码操作中存在除第一步解码操作和参考解码操作外的解码操作,对预解码的样本图像数据进行再解码,得到训练图像处理模型所需的解码后的样本图像数据;响应于完整解码操作中不存在除第一步解码操作和参考解码操作外的解码操作,将预解码的样本数据作为训练图像处理模型所需的解码后的样本图像数据。
若完整解码操作中不存在除第一步解码操作和参考解码操作外的解码操作,则说明得到预解码的样本图像数据的过程已执行了全部的解码操作,此时,直接将预解码的样本图像数据作为训练图像处理模型所需的解码后的样本图像数据。
若完整解码操作中存在除第一步解码操作和参考解码操作外的解码操作,说明得到预解码的样本图像数据的过程未执行全部的解码操作,此时,需要对预解码的样本图像数据进行再解码,才能得到训练图像处理模型所需的解码后的样本图像数据。此种情况下,对预解码的样本图像数据进行再解码的过程为:对预解码的样本图像数据执行目标解码操作,目标解码操作包括完整解码操作中除第一步解码操作和参考解码操作之外的全部解码操作。在完整解码操作固定的情况下,目标解码操作取决于参考解码操作,在参考解码操作的不同情况下,对预解码的样本图像数据执行的目标解码操作也不同。
示例性地,以完整解码操作依次包括第一步解码操作、反量化操作、反变换操作、块合并操作、升采样操作和第一色彩空间转换操作为例。当参考解码操作包括完整解码操作中的反量化操作、反变换操作和块合并操作时,目标解码操作依次包括升采样操作和第一色彩空间转换操作;当参考解码操作包括反量化操作、反变换操作、块合并操作和升采样操作时,目标解码操作仅包括第一色彩空间转换操作。
需要说明的是,目标解码操作中可能包括一步或多步解码操作,这与参考解码操作有关,本申请实施例对此不加以限定。当目标解码操作中包括多步解码操作时,多步解码操作之间具有先后顺序,该先后顺序与各步解码操作在完整解码操作中的排列顺序一致。此种情况下,在对预解码的样本图像数据执行目标解码操作时,按照各步解码操作的先后顺序依次执行各步解码操作。
在步骤206中,基于解码后的样本图像数据训练图像处理模型。
解码后的样本图像数据是指训练图像处理模型所需的图像数据,解码后的样本图像数据能够直观地描述图像的真实特征。在得到解码后的样本图像数据后,基于解码后的样本图像数据训练图像处理模型。
在示例性实施例中,从存储空间读取的预解码的样本图像数据是指图像处理模型训练过程的每个Epoch(时期)的训练过程中需要的样本图像的预解码的样本图像数据。也就是说,在执行每个Epoch的训练前,将存储的预解码的样本图像数据读取出来,基于预解码的样本图像数据获取解码后的样本图像数据,然后基于得到的解码后的样本图像数据进行模型训练。
在示例性实施例中,基于解码后的样本图像数据训练图像处理模型的实现过程为:将解码后的样本图像数据输入待训练的图像处理模型,利用图像处理模型输出的结果和标准结果之间的损失函数反向更新图像处理模型的参数。
在本申请实施例中,能够直接从存储空间中读取预解码的样本图像数据,相比于相关技术中仅能直接读取样本图像压缩数据的情况,本申请实施例可以缩短获取解码后的样本图像数据的过程,进而使图像处理模型的训练任务的执行耗时缩短。也就是说,本申请实施例能够加速执行每个Epoch的训练前的图像数据解码过程,进而使图像处理模型的训练任务的执行总时长缩短。本申请实施例提供的方法可以应用到深度学习训练平台上,比如,机智加速机器学习平台。
在示例性实施例中,以预解码的样本图像数据是指对样本图像压缩数据执行完整解码操作中的第一步解码操作后得到的图像数据为例,本申请实施例分析了预解码的样本图像数据的数据量和样本图像压缩数据的数据量之间的关系。在示例性实施例中,在12组试验中分别统计了样本图像压缩数据、预解码的样本图像数据和解码后的样本图像数据的数据量,统计结果如表5所示。在表5中,数据1表示样本图像压缩数据,数据2表示预解码的样本图像数据,数据3表示解码后的样本图像数据。根据表5可以得知,样本图像压缩数据的数据量小于预解码的样本图像数据的数据量,预解码的样本图像数据的数据量小于解码后的样本图像数据。
表5
基于上述表5的统计结果,进一步分析了样本图像压缩数据的数据量以及预解码的样本图像数据的数据量占解码后的样本图像数据的数据量的百分比,分析结果如图3所示。根据图3可知,样本图像压缩数据的数据量占解码后的样本图像数据的数据量的百分比的均值约为20%,预解码的样本图像数据的数据量占解码后的样本图像数据的数据量的百分比的均值约为38%。
根据图3所示的分析结果进行统计分析,得到了如图4所示的对样本图像压缩数据的数据量百分比以及预解码的样本图像数据的数据量百分比的统计结果。根据图4可以看出,预解码的样本图像数据的数据量约为样本图像压缩数据的数据量的1.8~2.2倍,平均值为1.9倍。也就是说,存储预解码的样本图像数据占用的存储空间平均是存储样本图像压缩数据占用的存储空间的1.9倍。
进一步地,本申请实施例还统计了对样本图像压缩数据执行完整解码操作的过程中不同解码操作耗费的时长占比。本申请实施例分别在ImageNet 1k(图像网络 1千)数据集和Face-ID(面部身份标识)数据集上进行了解压缩试验,试验结果如图5所示。根据图5可知,第一步解码操作是最耗时的解码操作步骤,第一步解码操作耗费的时长约占完整解码操作过程耗费的总时长的60%~75%。对于预解码的样本图像数据是指对样本图像压缩数据执行完整解码操作中的第一步解码操作后得到的图像数据的情况,在预解码的样本图像数据的基础上解码得到解码后的样本图像数据耗费的时长是在样本图像压缩数据的基础上解码得到解码后的样本图像数据耗费的时长的25%~40%。也就是说,在预解码的样本图像数据的基础上解码得到解码后的样本图像数据能够获得2.5~4倍的加速。
综上所述,对于预解码的样本图像数据是指对样本图像压缩数据执行完整解码操作中的第一步解码操作后得到的图像数据的情况,本申请实施例能够在占用平均1.9倍的存储空间的条件下,使图像的解码速度提高2.5~4倍。加速了在训练图像处理模型前的图像解码过程,进而使得执行图像处理模型训练任务的总耗时(得到解码后的样本图像数据的耗时和基于解码后的样本图像数据训练图像处理模型的耗时的总和)缩短。
本申请实施例通过预先完成完整解码操作中较为耗时的第一步解码操作,然后将得到的预解码的样本图像数据存储到存储空间,之后在执行每个Epoch的训练前直接读取预解码的样本图像数据,通过执行后续耗时较短的解码操作,得到解码后的样本图像数据训练图像处理模型。通过这种方式,可以让图像数据解码速度提高2.5~4倍,进而使图像处理模型训练任务的执行耗时缩短。
在本申请实施例中,预先将预解码的样本图像数据存储到存储空间,在需要执行图像处理模型训练任务时,直接根据读取的预解码的样本图像数据,获取训练图像处理模型所需的解码后的样本图像数据。由于预解码的样本图像数据是对样本图像压缩数据进行了预解码后得到的图像数据,所以根据预解码的样本图像数据获取解码后的样本图像数据的耗时较短,有利于提高图像处理模型训练任务的执行效率。
参见图6,本申请实施例提供了一种图像处理装置,该装置包括:
第一获取模块601,用于获取样本图像压缩数据;
预解码模块602,用于对样本图像压缩数据进行预解码,得到预解码的样本图像数据;
存储模块603,用于将预解码的样本图像数据存储到存储空间;
读取模块604,用于响应于执行图像处理模型训练任务,从存储空间读取预解码的样本图像数据;
第二获取模块605,用于基于预解码的样本图像数据,获取训练图像处理模型所需的解码后的样本图像数据;
训练模块606,用于基于解码后的样本图像数据训练图像处理模型。
在一种可能实现方式中,参见图7,预解码模块602,包括:
解码操作执行单元6021,用于对样本图像压缩数据执行完整解码操作中的第一步解码操作,得到第一解码的样本图像数据;
获取单元6022,用于基于第一解码的样本图像数据,获取预解码的样本图像数据。
在一种可能实现方式中,解码操作执行单元6021,用于获取样本图像压缩数据对应的编码表和编码树;基于编码表和编码树,对样本图像压缩数据进行图像数据解码,得到直流系数的初始解码数据和交流系数的初始解码数据;基于直流系数的初始解码数据和交流系数的初始解码数据,获取第一解码的样本图像数据。
在一种可能实现方式中,解码操作执行单元6021,还用于对直流系数的初始解码数据进行差分解码,得到直流系数的第一解码数据;对交流系数的初始解码数据进行变动长度解码,得到交流系数的第一解码数据;对直流系数的第一解码数据和交流系数的第一解码数据进行排序处理,得到第一解码的样本图像数据。
在一种可能实现方式中,获取单元6022,用于对第一解码的样本图像数据执行参考解码操作,将执行参考解码操作后得到的样本图像数据作为预解码的样本图像数据,参考解码操作包括完整解码操作中位于第一步解码操作之后的前参考数量步解码操作。
在一种可能实现方式中,参考解码操作包括反量化操作、反变换操作、块合并操作、升采样操作和第一色彩空间转换操作中的前参考数量步解码操作。
在一种可能实现方式中,样本图像压缩数据存储在压缩图像文件中,压缩图像文件包括样本图像压缩数据对应的参考编码信息和压缩数据标识;存储模块603,用于将压缩图像文件中的样本图像压缩数据替换为预解码的样本图像数据,将压缩图像文件中的参考编码信息删除,将压缩图像文件中的压缩数据标识替换为预解码数据标识,得到更新后的图像文件;将更新后的图像文件作为预解码图像文件,将预解码图像文件存储到存储空间。
在一种可能实现方式中,参见图8,该装置还包括:
设置模块607,用于预解码图像文件的文件扩展名设置为目标名,目标名与压缩图像文件的文件扩展名不同。
在一种可能实现方式中,第二获取模块605,用于对预解码的样本图像数据进行再解码,得到训练图像处理模型所需的解码后的样本图像数据。
在本申请实施例中,预先将预解码的样本图像数据存储到存储空间,在需要执行图像处理模型训练任务时,直接根据读取的预解码的样本图像数据,获取训练图像处理模型所需的解码后的样本图像数据。由于预解码的样本图像数据是对样本图像压缩数据进行了预解码后得到的图像数据,所以根据预解码的样本图像数据获取解码后的样本图像数据的耗时较短,有利于提高图像处理模型训练任务的执行效率。
需要说明的是,上述实施例提供的装置在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置与方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图9是本申请实施例提供的一种终端的结构示意图。该终端可以是:智能手机、平板电脑、笔记本电脑或台式电脑。终端还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端包括有:处理器901和存储器902。
处理器901可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器901可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器901可以集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器901还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器902可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器902还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器902中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器901所执行以实现本申请中方法实施例提供的图像处理方法。
在一些实施例中,终端还可选包括有:外围设备接口903和至少一个外围设备。处理器901、存储器902和外围设备接口903之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口903相连。具体地,外围设备包括:射频电路904、显示屏905、摄像头组件906、音频电路907、定位组件908和电源909中的至少一种。
外围设备接口903可被用于将I/O(Input /Output,输入/输出)相关的至少一个外围设备连接到处理器901和存储器902。在一些实施例中,处理器901、存储器902和外围设备接口903被集成在同一芯片或电路板上;在一些其他实施例中,处理器901、存储器902和外围设备接口903中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路904用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路904通过电磁信号与通信网络以及其他通信设备进行通信。射频电路904将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路904包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路904可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路904还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏905用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏905是触摸显示屏时,显示屏905还具有采集在显示屏905的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器901进行处理。此时,显示屏905还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏905可以为一个,设置在终端的前面板;在另一些实施例中,显示屏905可以为至少两个,分别设置在终端的不同表面或呈折叠设计;在再一些实施例中,显示屏905可以是柔性显示屏,设置在终端的弯曲表面上或折叠面上。甚至,显示屏905还可以设置成非矩形的不规则图形,也即异形屏。显示屏905可以采用LCD(LiquidCrystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件906用于采集图像或视频。可选地,摄像头组件906包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件906还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路907可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器901进行处理,或者输入至射频电路904以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器901或射频电路904的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路907还可以包括耳机插孔。
定位组件908用于定位终端的当前地理位置,以实现导航或LBS(Location BasedService,基于位置的服务)。定位组件908可以是基于美国的GPS(Global PositioningSystem,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源909用于为终端中的各个组件进行供电。电源909可以是交流电、直流电、一次性电池或可充电电池。当电源909包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端还包括有一个或多个传感器910。该一个或多个传感器910包括但不限于:加速度传感器911、陀螺仪传感器912、压力传感器913、指纹传感器914、光学传感器915以及接近传感器916。
加速度传感器911可以检测以终端建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器911可以用于检测重力加速度在三个坐标轴上的分量。处理器901可以根据加速度传感器911采集的重力加速度信号,控制显示屏905以横向视图或纵向视图进行用户界面的显示。加速度传感器911还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器912可以检测终端的机体方向及转动角度,陀螺仪传感器912可以与加速度传感器911协同采集用户对终端的3D动作。处理器901根据陀螺仪传感器912采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器913可以设置在终端的侧边框和/或显示屏905的下层。当压力传感器913设置在终端的侧边框时,可以检测用户对终端的握持信号,由处理器901根据压力传感器913采集的握持信号进行左右手识别或快捷操作。当压力传感器913设置在显示屏905的下层时,由处理器901根据用户对显示屏905的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器914用于采集用户的指纹,由处理器901根据指纹传感器914采集到的指纹识别用户的身份,或者,由指纹传感器914根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器901授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器914可以被设置在终端的正面、背面或侧面。当终端上设置有物理按键或厂商Logo时,指纹传感器914可以与物理按键或厂商Logo集成在一起。
光学传感器915用于采集环境光强度。在一个实施例中,处理器901可以根据光学传感器915采集的环境光强度,控制显示屏905的显示亮度。具体地,当环境光强度较高时,调高显示屏905的显示亮度;当环境光强度较低时,调低显示屏905的显示亮度。在另一个实施例中,处理器901还可以根据光学传感器915采集的环境光强度,动态调整摄像头组件906的拍摄参数。
接近传感器916,也称距离传感器,通常设置在终端的前面板。接近传感器916用于采集用户与终端的正面之间的距离。在一个实施例中,当接近传感器916检测到用户与终端的正面之间的距离逐渐变小时,由处理器901控制显示屏905从亮屏状态切换为息屏状态;当接近传感器916检测到用户与终端的正面之间的距离逐渐变大时,由处理器901控制显示屏905从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图9中示出的结构并不构成对终端的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
图10是本申请实施例提供的一种服务器的结构示意图,该服务器可因配置或性能不同而产生比较大的差异,可以包括一个或多个处理器(Central Processing Units,CPU)1001和一个或多个存储器1002,其中,该一个或多个存储器1002中存储有至少一条程序代码,该至少一条程序代码由该一个或多个处理器1001加载并执行,以实现上述各个方法实施例提供的图像处理方法。当然,该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。
在示例性实施例中,还提供了一种计算机设备,该计算机设备包括处理器和存储器,该存储器中存储有至少一条程序代码。该至少一条程序代码由一个或者一个以上处理器加载并执行,以实现上述任一种图像处理方法。
在示例性实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条程序代码,该至少一条程序代码由计算机设备的处理器加载并执行,以实现上述任一种图像处理方法。
在一种可能实现方式中,上述计算机可读存储介质可以是只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、只读光盘(Compact DiscRead-Only Memory,CD-ROM)、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述任一种图像处理方法。
需要说明的是,本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
应当理解的是,在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
以上所述仅为本申请的示例性实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (11)
1.一种图像处理方法,其特征在于,所述方法包括:
获取样本图像压缩数据;
对所述样本图像压缩数据进行预解码,得到预解码的样本图像数据,所述预解码的样本图像数据是指对所述样本图像压缩数据执行完整解码操作中的第一步解码操作后得到的图像数据,或者,所述预解码的样本图像数据是指对所述样本图像压缩数据依次执行所述完整解码操作中的第一步解码操作和参考解码操作后得到的图像数据,其中,所述参考解码操作包括所述完整解码操作中位于所述第一步解码操作之后的前参考数量步解码操作;
将所述预解码的样本图像数据存储到存储空间;
响应于执行图像处理模型训练任务,从所述存储空间读取所述预解码的样本图像数据;
当所述预解码的样本图像数据是对所述样本图像压缩数据执行完整解码操作中的第一步解码操作后得到的图像数据时,对所述预解码的样本图像数据依次执行所述完整解码操作中位于所述第一步解码操作之后的各步解码操作,得到训练所述图像处理模型所需的解码后的样本图像数据;
当所述预解码的样本图像数据是对所述样本图像压缩数据依次执行所述完整解码操作中的第一步解码操作和参考解码操作后得到的图像数据,且所述完整解码操作中存在除所述第一步解码操作和所述参考解码操作外的目标解码操作时,对所述预解码的样本图像数据执行所述目标解码操作,得到训练所述图像处理模型所需的解码后的样本图像数据;
当所述预解码的样本图像数据是对所述样本图像压缩数据依次执行所述完整解码操作中的第一步解码操作和参考解码操作后得到的图像数据,且所述完整解码操作中不存在除所述第一步解码操作和所述参考解码操作外的目标解码操作时,将所述预解码的样本数据作为训练所述图像处理模型所需的解码后的样本图像数据;
基于所述解码后的样本图像数据训练所述图像处理模型。
2.根据权利要求1所述的方法,其特征在于,所述对所述样本图像压缩数据进行预解码,得到预解码的样本图像数据,包括:
对所述样本图像压缩数据执行完整解码操作中的第一步解码操作,得到第一解码的样本图像数据;
基于所述第一解码的样本图像数据,获取所述预解码的样本图像数据。
3.根据权利要求2所述的方法,其特征在于,所述对所述样本图像压缩数据执行完整解码操作中的第一步解码操作,得到第一解码的样本图像数据,包括:
获取所述样本图像压缩数据对应的编码表和编码树;
基于所述编码表和所述编码树,对所述样本图像压缩数据进行图像数据解码,得到直流系数的初始解码数据和交流系数的初始解码数据;
基于所述直流系数的初始解码数据和所述交流系数的初始解码数据,获取所述第一解码的样本图像数据。
4.根据权利要求3所述的方法,其特征在于,所述基于所述直流系数的初始解码数据和所述交流系数的初始解码数据,获取所述第一解码的样本图像数据,包括:
对所述直流系数的初始解码数据进行差分解码,得到所述直流系数的第一解码数据;
对所述交流系数的初始解码数据进行变动长度解码,得到所述交流系数的第一解码数据;
对所述直流系数的第一解码数据和所述交流系数的第一解码数据进行排序处理,得到所述第一解码的样本图像数据。
5.根据权利要求2所述的方法,其特征在于,所述基于所述第一解码的样本图像数据,获取所述预解码的样本图像数据,包括:
对所述第一解码的样本图像数据执行参考解码操作,将执行所述参考解码操作后得到的样本图像数据作为所述预解码的样本图像数据。
6.根据权利要求5所述的方法,其特征在于,所述参考解码操作包括反量化操作、反变换操作、块合并操作、升采样操作和第一色彩空间转换操作中的前参考数量步解码操作。
7.根据权利要求1-6任一所述的方法,其特征在于,所述样本图像压缩数据存储在压缩图像文件中,所述压缩图像文件包括所述样本图像压缩数据对应的参考编码信息和压缩数据标识;所述将所述预解码的样本图像数据存储到存储空间,包括:
将所述压缩图像文件中的样本图像压缩数据替换为所述预解码的样本图像数据,将所述压缩图像文件中的参考编码信息删除,将所述压缩图像文件中的压缩数据标识替换为预解码数据标识,得到更新后的图像文件;
将所述更新后的图像文件作为预解码图像文件,将所述预解码图像文件存储到存储空间。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:将所述预解码图像文件的文件扩展名设置为目标名,所述目标名与所述压缩图像文件的文件扩展名不同。
9.一种图像处理装置,其特征在于,所述装置包括:
第一获取模块,用于获取样本图像压缩数据;
预解码模块,用于对所述样本图像压缩数据进行预解码,得到预解码的样本图像数据,所述预解码的样本图像数据是指对所述样本图像压缩数据执行完整解码操作中的第一步解码操作后得到的图像数据,或者,所述预解码的样本图像数据是指对所述样本图像压缩数据依次执行所述完整解码操作中的第一步解码操作和参考解码操作后得到的图像数据,其中,所述参考解码操作包括所述完整解码操作中位于所述第一步解码操作之后的前参考数量步解码操作;
存储模块,用于将所述预解码的样本图像数据存储到存储空间;
读取模块,用于响应于执行图像处理模型训练任务,从所述存储空间读取所述预解码的样本图像数据;
第二获取模块,用于当所述预解码的样本图像数据是对所述样本图像压缩数据执行完整解码操作中的第一步解码操作后得到的图像数据时,对所述预解码的样本图像数据依次执行所述完整解码操作中位于所述第一步解码操作之后的各步解码操作,得到训练所述图像处理模型所需的解码后的样本图像数据;当所述预解码的样本图像数据是对所述样本图像压缩数据依次执行所述完整解码操作中的第一步解码操作和参考解码操作后得到的图像数据,且所述完整解码操作中存在除所述第一步解码操作和所述参考解码操作外的目标解码操作时,对所述预解码的样本图像数据执行所述目标解码操作,得到训练所述图像处理模型所需的解码后的样本图像数据;当所述预解码的样本图像数据是对所述样本图像压缩数据依次执行所述完整解码操作中的第一步解码操作和参考解码操作后得到的图像数据,且所述完整解码操作中不存在除所述第一步解码操作和所述参考解码操作外的目标解码操作时,将所述预解码的样本数据作为训练所述图像处理模型所需的解码后的样本图像数据;
训练模块,用于基于所述解码后的样本图像数据训练所述图像处理模型。
10.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条程序代码,所述至少一条程序代码由所述处理器加载并执行,以实现如权利要求1至8任一所述的图像处理方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条程序代码,所述至少一条程序代码由处理器加载并执行,以实现如权利要求1至8任一所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010971765.5A CN111931770B (zh) | 2020-09-16 | 2020-09-16 | 图像处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010971765.5A CN111931770B (zh) | 2020-09-16 | 2020-09-16 | 图像处理方法、装置、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111931770A CN111931770A (zh) | 2020-11-13 |
CN111931770B true CN111931770B (zh) | 2021-02-12 |
Family
ID=73333814
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010971765.5A Active CN111931770B (zh) | 2020-09-16 | 2020-09-16 | 图像处理方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111931770B (zh) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102970544A (zh) * | 2012-12-07 | 2013-03-13 | 豪威科技(上海)有限公司 | Jpeg编码和解码方法及系统 |
CN106851323B (zh) * | 2015-12-07 | 2019-07-19 | 腾讯科技(深圳)有限公司 | 解码方法及解码装置 |
CN107578453B (zh) * | 2017-10-18 | 2019-11-01 | 北京旷视科技有限公司 | 压缩图像处理方法、装置、电子设备及计算机可读介质 |
CN111295884B (zh) * | 2017-11-08 | 2022-08-16 | 松下电器(美国)知识产权公司 | 图像处理装置及图像处理方法 |
US10186052B1 (en) * | 2018-01-19 | 2019-01-22 | Google Llc | Two-pass decoding of images |
CN110139104B (zh) * | 2018-02-09 | 2023-02-28 | 腾讯科技(深圳)有限公司 | 视频解码方法、装置、计算机设备和存储介质 |
WO2020080765A1 (en) * | 2018-10-19 | 2020-04-23 | Samsung Electronics Co., Ltd. | Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image |
CN113808062B (zh) * | 2019-04-28 | 2024-11-22 | 深圳市商汤科技有限公司 | 一种图像处理方法及装置 |
-
2020
- 2020-09-16 CN CN202010971765.5A patent/CN111931770B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111931770A (zh) | 2020-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110136136B (zh) | 场景分割方法、装置、计算机设备及存储介质 | |
CN111598776B (zh) | 图像处理方法、图像处理装置、存储介质与电子设备 | |
CN112040337B (zh) | 视频的水印添加和提取方法、装置、设备及存储介质 | |
CN111932463B (zh) | 图像处理方法、装置、设备及存储介质 | |
CN112950525B (zh) | 图像检测方法、装置及电子设备 | |
CN111325699B (zh) | 图像修复方法和图像修复模型的训练方法 | |
CN113643186B (zh) | 一种图像增强方法及电子设备 | |
CN113395583B (zh) | 水印检测方法、装置、计算机设备及存储介质 | |
CN108763350B (zh) | 文本数据处理方法、装置、存储介质及终端 | |
CN113570510A (zh) | 图像处理方法、装置、设备及存储介质 | |
CN110991457B (zh) | 二维码处理方法、装置、电子设备及存储介质 | |
CN113343895B (zh) | 目标检测方法、目标检测装置、存储介质与电子设备 | |
CN110290426B (zh) | 展示资源的方法、装置、设备及存储介质 | |
CN113706440A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
CN114359225A (zh) | 图像检测方法、装置、计算机设备及存储介质 | |
CN114283299A (zh) | 图像聚类方法、装置、计算机设备及存储介质 | |
CN115205164B (zh) | 图像处理模型的训练方法、视频处理方法、装置及设备 | |
CN113763931A (zh) | 波形特征提取方法、装置、计算机设备及存储介质 | |
CN115115679B (zh) | 一种图像配准方法及相关设备 | |
CN113822955B (zh) | 图像数据处理方法、装置、计算机设备及存储介质 | |
CN110232417B (zh) | 图像识别方法、装置、计算机设备及计算机可读存储介质 | |
CN113627314B (zh) | 人脸图像模糊检测方法、装置、存储介质与电子设备 | |
CN111325220A (zh) | 图像生成方法、装置、设备及存储介质 | |
CN111951168B (zh) | 图像处理方法、图像处理装置、存储介质与电子设备 | |
CN111931770B (zh) | 图像处理方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |