CN116391183A - 基于自主增量学习的人工智能识别秤系统及识别方法 - Google Patents
基于自主增量学习的人工智能识别秤系统及识别方法 Download PDFInfo
- Publication number
- CN116391183A CN116391183A CN202280007114.1A CN202280007114A CN116391183A CN 116391183 A CN116391183 A CN 116391183A CN 202280007114 A CN202280007114 A CN 202280007114A CN 116391183 A CN116391183 A CN 116391183A
- Authority
- CN
- China
- Prior art keywords
- commodity
- identification
- feature vector
- image
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 239000013598 vector Substances 0.000 claims abstract description 115
- 238000005303 weighing Methods 0.000 claims abstract description 57
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 28
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 24
- 230000000007 visual effect Effects 0.000 claims abstract description 15
- 238000004364 calculation method Methods 0.000 claims abstract description 10
- 238000004590 computer program Methods 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 17
- 238000003860 storage Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 238000003709 image segmentation Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims description 3
- 230000004069 differentiation Effects 0.000 claims 4
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 235000012055 fruits and vegetables Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/20—Point-of-sale [POS] network systems
- G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/0036—Checkout procedures
- G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
- G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
- G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/0036—Checkout procedures
- G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
- G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
- G07G1/0072—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the weight of the article of which the code is read, for the verification of the registration
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Accounting & Taxation (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于自主增量学习的人工智能识别秤系统及识别方法,系统包括:打秤系统用于从至少一个候选商品标识中确定目标商品的商品标识;根据目标商品的重量和商品标识生成商品标签;重量传感器用于获得目标商品的重量;视觉传感器用于获得目标商品的图像;识别系统包括识别算法模块,用于识别目标商品的图像;获得图像的特征向量;与特征向量数据库中的特征向量进行相似度计算,获得至少一个特征向量;确定候选商品标识;增量学习模块用于判断是否需要增量学习,若是,对图像进行增强处理后提取特征向量,将特征向量与商标标识合并后存储至特征向量数据库中。本发明能自主对不同商品进行在线增量式学习,置信度高,鲁棒性和适应性强。
Description
技术领域
本发明涉及人工智能技术领域,尤其涉及一种基于自主增量学习的人工智能识别秤系统及识别方法。
背景技术
本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
在线下商品销售领域,主要的结算方式是通过扫描商品条形码进行商品识别,进而执行商品结算。而例如水果、蔬菜之类的没有商品条形码的非标准商品,顾客通常需要将挑选好的商品送至特定的称重台进行称重计量,人工选择商品种类并打印、贴附包含种类、单价、价格信息的对应的条形码标签。这个过程需要大量的人力来进行操作,成本高效率低下,不可避免地增加消费者的排队时间。
随着人工智能的发展,尤其是深度学习的应用,使得通过计算机视觉技术智能的识别各式各样的称重商品,提高称重结算效率成为可能,最近几年出现了一种技术,即AI视觉识别秤,能够智能地识别和称重没有条形码的商品,并能够根据商品识别结果和称重的结果来便捷地进行商品结算。
然而现在常见的AI视觉识别秤在使用过程中要面对的就是,可能会遇到一些新增的、之前没有见过的商品,或者在每次打秤结算时会遇到各种商品的不同形态,如套袋、非套袋、一小包、一大包等各种情况,这些情况出现时,AI视觉识别秤就会出现输出置信度很低的候选结果,或者输出错误的识别结果,甚至直接无法对商品进行识别的问题。此时就需要管理人员进行人工的干预输入,或者需要专门的技术人员或后台服务器对AI识别模型进行重新训练优化。
发明内容
本发明实施例提供一种基于自主增量学习的人工智能识别秤系统,用以能够自主地对不同商品的不同形态、新增的商品、错误识别的商品进行在线增量式地学习,输出的结果置信度较高,鲁棒性和适应性强,该系统包括:打秤系统、重量传感器、视觉传感器和识别系统,其中,
打秤系统,用于接收目标商品的重量,在接收到目标商品的图像后,发送至识别系统;接收目标商品的至少一个候选商品标识,从所述至少一个候选商品标识中确定目标商品的商品标识,并发送至识别系统;根据目标商品的重量和商品标识,生成商品标签;
重量传感器,用于获得目标商品的重量,并发送至打秤系统;
视觉传感器,用于获得目标商品的图像,并传送至打秤系统;
识别系统包括识别算法模块、增量学习模块和数据模块,其中,
识别算法模块,用于识别目标商品的图像,获得所述图像的特征向量;将所述特征向量与特征向量数据库中的特征向量进行相似度计算,获得超过相似度阈值的至少一个特征向量;确定所述至少一个特征向量对应的候选商品标识,并输出至打秤系统;
增量学习模块,用于在接收到目标商品确定的商品标识后,判断是否需要增量学习,若是,对所述图像进行增强处理后提取特征向量,将提取的特征向量与目标商品的商标标识合并后存储至数据模块的特征向量数据库中。
本发明实施例提供一种基于自主增量学习的人工智能识别秤的识别方法,应用于基于自主增量学习的人工智能识别秤系统,用以能够自主地对不同商品的不同形态、新增的商品、错误识别的商品进行在线增量式地学习,输出的结果置信度较高,鲁棒性和适应性强,该方法包括:
识别目标商品的图像,获得所述图像的特征向量;
将所述特征向量与特征向量数据库中的特征向量进行相似度计算,获得超过相似度阈值的至少一个特征向量;
确定所述至少一个特征向量对应的候选商品标识,并输出至打秤系统,其中,打秤系统用于接收用户从所述至少一个候选商品标识中确定目标商品的商品标识;
在接收到目标商品确定的商品标识后,判断是否需要增量学习;
若是,对所述图像进行增强处理后提取特征向量;
将提取的特征向量与目标商品的商标标识合并后存储至数据模块的特征向量数据库中。
本发明实施例中,打秤系统,用于接收目标商品的重量,在接收到目标商品的图像后,发送至识别系统;接收目标商品的至少一个候选商品标识,从所述至少一个候选商品标识中确定目标商品的商品标识,并发送至识别系统;根据目标商品的重量和商品标识,生成商品标签;重量传感器,用于获得目标商品的重量,并发送至打秤系统;视觉传感器,用于获得目标商品的图像,并传送至打秤系统;识别系统,包括:识别算法模块,用于识别目标商品的图像,获得所述图像的特征向量;将所述特征向量与特征向量数据库中的特征向量进行相似度计算,获得超过相似度阈值的至少一个特征向量;确定所述至少一个特征向量对应的候选商品标识,并输出至打秤系统;增量学习模块,用于在接收到目标商品确定的商品标识后,判断是否需要增量学习,若是,对所述图像进行增强处理后提取特征向量,将提取的特征向量与目标商品的商标标识合并后存储至数据模块的特征向量数据库中。与现有技术中相比,同时能够自主地对不同商品的不同形态、新增的商品、错误识别的商品进行在线增量式地学习,在经过一次或者若干次的学习之后,就可以输出置信度较高的正确结果,鲁棒性和适应性强。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1为本发明实施例中基于自主增量学习的人工智能识别秤系统的示意图;
图2为本发明实施例中打秤系统的示意图;
图3为本发明实施例中识别算法模块的示意图;
图4为本发明实施例中基于自主增量学习的人工智能识别秤的识别方法的流程图;
图5为本发明实施例中计算机设备的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白,下面结合附图对本发明实施例做进一步详细说明。在此,本发明的示意性实施例及其说明用于解释本发明,但并不作为对本发明的限定。
图1为本发明实施例中基于自主增量学习的人工智能识别秤系统的示意图,包括:打秤系统10、重量传感器20、视觉传感器30和识别系统40,其中,
打秤系统10,用于接收目标商品的重量,在接收到目标商品的图像后,发送至识别系统;接收目标商品的至少一个候选商品标识,从所述至少一个候选商品标识中确定目标商品的商品标识,并发送至识别系统;根据目标商品的重量和商品标识,生成商品标签;
重量传感器20,用于获得目标商品的重量,并发送至打秤系统;
视觉传感器30,用于获得目标商品的图像,并传送至打秤系统;
识别系统40包括识别算法模块401、增量学习模块402和数据模块403,其中,
识别算法模块401,用于识别目标商品的图像,获得所述图像的特征向量;将所述特征向量与特征向量数据库中的特征向量进行相似度计算,获得超过相似度阈值的至少一个特征向量;确定所述至少一个特征向量对应的候选商品标识,并输出至打秤系统;
增量学习模块402,用于在接收到目标商品确定的商品标识后,判断是否需要增量学习,若是,对所述图像进行增强处理后提取特征向量,将提取的特征向量与目标商品的商标标识合并后存储至数据模块403的特征向量数据库中。
本发明实施例提出的系统,与现有技术中相比,同时能够自主地对不同商品的不同形态、新增的商品、错误识别的商品进行在线增量式地学习,在经过一次或者若干次的学习之后,就可以输出置信度较高的正确结果,鲁棒性和适应性强。
本发明实施例提出的系统中的打秤系统能够实现一些自动化的功能。可先获取目标目标商品的图像,并利用人工智能算法对图像进行识别,然后根据商品识别结果,确定目标商品的商品标识,之后,获取数据库中对应的价格,乘上目标目标商品的重量,即可获得结算价格,生成商品标签。上述的自动化识别与获取相应的价格数据,可以提高商品打秤结算的效率,减少商品结算中所消耗的人力成本。
本发明实施例提出的系统中的识别系统,可以自主在线增量学习,搭配特征向量数据库,能够对商品不同的和未见过的形态、新增的商品、错误识别的商品进行在线增量式地学习。具体的方法是对置信度较低的正确候选结果进行增强学习,对于置信度较高的错误结果进行抑制学习,对于新增的商品也能在线增量进行学习。本发明实施例提出的系统可以自主地、在线地增强识别系统的鲁棒性,避免后续的使用过程中高概率地对同种商品进行错误的识别,能够减少人工智能识别秤使用过程中的人工干预操作,避免使用后台训练服务平台频繁地对识别模型进行离线优化。
在一实施例中,所述商品标识包括商品名和商品码。
具体地,打秤系统,如电子秤平台,运行在windows系统、linux系统或者安卓系统上。图2为本发明实施例中打秤系统的示意图,在一实施例中,打秤系统包括:
配置组件101,用于配置连接的重量传感器、视觉传感器、识别系统、收银系统;
触摸屏102,用于展示目标商品的商品标识和重量;
交互模块103,用于接收目标商品的重量,在接收到目标商品的图像后,发送至识别系统;接收目标商品的至少一个候选商品标识;从所述至少一个候选商品标识中确定目标商品的商品标识,并发送至识别系统;在接收到用户输入的搜索指令后,执行搜索操作;在接收到用户的重新识别指令后,调用识别系统进行目标商品的识别;接收用户确认的商品标识;另外,还可以打印商品标签;
结算模块104,用于根据目标商品的重量和商品标识,生成商品标签;通过连接的收银系统进行目标商品结算。
在本发明实施例中,重量传感器是一个以衡器为核心的硬件设备,可以感知物体的重量和重量的变化,直接连接打秤系统,并可将重量信息传送给打秤系统;
视觉传感器为常见的摄像头硬件,在一实施例中,视觉传感器还用于:获得目标商品的视频流,并通过打秤系统发送至识别系统;识别系统的识别算法模块还用于:从视频流中提取目标商品的图像。
在一实施例中,打秤系统的交互模块还用于:
在接收的目标商品的候选商品标识为空时,接收用户输入的商品标识;
将用户输入的商品标识作为确定的商品标识。
在本发明实施例中,识别系统可安装在基于windows系统、linux系统或者安卓系统的打秤系统上。识别系统基于视觉图像与人工智能技术,包含传统数字图像处理算法和人工智能技术中的深度神经网络模型,可以对目标物体进行识别。
图3为本发明实施例中识别算法模块的示意图,在一实施例中,识别算法模块包括:
目标检测模块4011,用于识别目标商品的图像中的商品区域;
图像分割模块4012,用于从目标商品的图像中分割出商品区域;
实际使用中,可以选择使用目标检测或者图像分割的一种来获得商品区域。
图像识别算法模块4013,用于识别商品区域,获得图像的特征向量;将所述特征向量与特征向量数据库中的特征向量进行相似度计算,获得超过相似度阈值的至少一个特征向量(一般是取排序前几名的特征向量);确定所述至少一个特征向量对应的候选商品标识,并输出至打秤系统。
其中,目标检测模块4011由单阶段或二阶段检测算法实现;图像分割模块4012由实例分割和语义分割算法实现;图像识别算法模块4013包含AI模型权重、算法推理、前处理程序、后处理程序等。
本发明实施例中,数据模块为常见的结构型数据库,存储每个商品的商品码、商品名、用于检索的特征向量。
在一实施例中,增量学习模块具体用于:
在存在如下情况时,确定需要增量学习:
在识别的至少一个特征向量对应的候选商品标识中,目标商品确定的商品标识排序在第一位,且目标商品的置信度低于置信度阈值;
在识别的至少一个特征向量对应的候选商品标识中,目标商品确定的商品标识不在第一位排序;
识别的候选商品标识为空。
在一实施例中,增量学习模块具体用于:
采用如下步骤对所述图像进行增强处理后提取特征向量:
对目标商品的图像进行增强处理,所述增强处理包括旋转、翻转、色彩变换中的至少一种;
调用识别算法模块,对增强处理后的图像进行识别,获得特征向量;
对特征向量中差异化小于差异化阈值的项剔除,获得提取的特征向量。
在一实施例中,增量学习模块具体用于:
将目标商品确定的商品标识被选中次数的第一记录增加1;
若目标商品确定的商品标识不在第一位排序,将第二记录增加1;
根据第一记录和第二记录,计算目标商品的置信度。
具体地,增量学习模块402将提取的特征向量与目标商品的商标标识合并后存储至数据模块403的特征向量数据库中,这样当进行下一次新的识别流程时,重新加载合并后的特征向量数据库;对于下一次新的识别流程的输出候选结果,根据其被选中次数和错误识别次数综合判断,自主处理其输出的置信度:对于被选中次数较高且错误识别次数值较低的候选进行置信度增强,对于被选中次数值较低的且错误识别数值较高的进行置信度抑制。
本发明实施例还提出一种基于自主增量学习的人工智能识别秤的识别方法,应用于前述基于自主增量学习的人工智能识别秤系统,其原理与基于自主增量学习的人工智能识别秤系统类似,这里不再赘述。
图4为本发明实施例中基于自主增量学习的人工智能识别秤的识别方法的流程图,基于自主增量学习的人工智能识别秤的识别方法包括:
步骤401,接收打秤系统发送的目标商品的图像并识别,获得所述图像的特征向量;
步骤402,将所述特征向量与特征向量数据库中的特征向量进行相似度计算,获得超过相似度阈值的至少一个特征向量;
步骤403,确定所述至少一个特征向量对应的候选商品标识,并输出至打秤系统,其中,打秤系统用于接收用户从所述至少一个候选商品标识中确定目标商品的商品标识,并根据目标商品的重量和确定的商品标识,生成商品标签;
步骤404,在接收到打秤系统发送的目标商品确定的商品标识后,判断是否需要增量学习;
步骤405,若是,对所述图像进行增强处理后提取特征向量;
步骤406,将提取的特征向量与目标商品的商标标识合并后存储至数据模块的特征向量数据库中。
在一实施例中,接收打秤系统发送的目标商品的图像并识别,获得所述图像的特征向量,包括:
识别目标商品的图像中的商品区域,或从目标商品的图像中分割出商品区域;
识别商品区域,获得图像的特征向量。
在一实施例中,判断是否需要增量学习,包括:
在存在如下情况时,确定需要增量学习:
在识别的至少一个特征向量对应的候选商品标识中,目标商品确定的商品标识排序在第一位,且目标商品的置信度低于置信度阈值;
在识别的至少一个特征向量对应的候选商品标识中,目标商品确定的商品标识不在第一位排序;
识别的候选商品标识为空。
在一实施例中,对所述图像进行增强处理后提取特征向量,包括:
对目标商品的图像进行增强处理,所述增强处理包括旋转、翻转、色彩变换中的至少一种;
调用识别算法模块,对增强处理后的图像进行识别,获得特征向量;
对特征向量中差异化小于差异化阈值的项剔除,获得提取的特征向量。
在一实施例中,所述方法还包括:
将目标商品确定的商品标识被选中次数的第一记录增加1;
若目标商品确定的商品标识不在第一位排序,将第二记录增加1;
根据第一记录和第二记录,计算目标商品的置信度。
综上所述,本发明实施例提出的系统及识别方法具有如下有益效果:
第一,系统组成结构更清晰简洁,没有其他繁琐的其他组件,加入识别系统之后,可以实现自主增量学习,避免了另外开发和对接的后台模型训练服务平台,提高了智能称重平台日常使用的效率和精度,同时也可以提高智能秤的生产开发效率。
第二,可以有效利用视觉图像信息和人工智能算法对商品进行自动化识别,然后获取相应的价格数据,可以提高商品打秤结算的效率,减少商品结算中所消耗的人力成本。
第三,在进行增量学习算法模块的增量学习之后,系统在进行下一次新的识别流程时,可以重新加载合并后的特征向量数据库,使其在对目标商品进行识别时,输出的候选结果拥有更正确的排序和置信度。对商品不同的和未见过的形态、新增的商品、错误识别的商品进行在线增量式地学习,增强识别系统的鲁棒性,避免同种商品的错误识别,减少AI识别秤使用过程中的人工干预操作,避免使用后台训练服务器频繁地对识别模型进行离线优化支持,减少产品的维护成本。
本发明实施例还提供一种计算机设备,图5为本发明实施例中计算机设备的示意图,所述计算机设备500包括存储器510、处理器520及存储在存储器510上并可在处理器520上运行的计算机程序530,所述处理器520执行所述计算机程序530时实现上述基于自主增量学习的人工智能识别秤的识别方法。
本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述基于自主增量学习的人工智能识别秤的识别方法。
本发明实施例还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现上述基于自主增量学习的人工智能识别秤的识别方法。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (17)
1.一种基于自主增量学习的人工智能识别秤系统,其特征在于,包括:打秤系统、重量传感器、视觉传感器和识别系统,其中,
打秤系统,用于接收目标商品的重量,在接收到目标商品的图像后,发送至识别系统;接收目标商品的至少一个候选商品标识,从所述至少一个候选商品标识中确定目标商品的商品标识,并发送至识别系统;根据目标商品的重量和商品标识,生成商品标签;
重量传感器,用于获得目标商品的重量,并发送至打秤系统;
视觉传感器,用于获得目标商品的图像,并传送至打秤系统;
识别系统包括识别算法模块、增量学习模块和数据模块,其中,
识别算法模块,用于识别目标商品的图像,获得所述图像的特征向量;将所述特征向量与特征向量数据库中的特征向量进行相似度计算,获得超过相似度阈值的至少一个特征向量;确定所述至少一个特征向量对应的候选商品标识,并输出至打秤系统;
增量学习模块,用于在接收到目标商品确定的商品标识后,判断是否需要增量学习,若是,对所述图像进行增强处理后提取特征向量,将提取的特征向量与目标商品的商标标识合并后存储至数据模块的特征向量数据库中。
2.如权利要求1所述的系统,其特征在于,打秤系统包括:
配置组件,用于配置连接的重量传感器、视觉传感器、识别系统、收银系统;
触摸屏,用于展示目标商品的商品标识和重量;
交互模块,用于接收目标商品的重量,在接收到目标商品的图像后,发送至识别系统;接收目标商品的至少一个候选商品标识;从所述至少一个候选商品标识中确定目标商品的商品标识,并发送至识别系统;在接收到用户输入的搜索指令后,执行搜索操作;在接收到用户的重新识别指令后,调用识别系统进行目标商品的识别;接收用户确认的商品标识;
结算模块,用于根据目标商品的重量和商品标识,生成商品标签;通过连接的收银系统进行目标商品结算。
3.如权利要求1所述的系统,其特征在于,打秤系统的交互模块还用于:
在接收的目标商品的候选商品标识为空时,接收用户输入的商品标识;
将用户输入的商品标识作为确定的商品标识。
4.如权利要求1所述的系统,其特征在于,识别算法模块包括:
目标检测模块,用于识别目标商品的图像中的商品区域;
图像分割模块,用于从目标商品的图像中分割出商品区域;
图像识别算法模块,用于识别商品区域,获得图像的特征向量;将所述特征向量与特征向量数据库中的特征向量进行相似度计算,获得超过相似度阈值的至少一个特征向量;确定所述至少一个特征向量对应的候选商品标识,并输出至打秤系统。
5.如权利要求1所述的系统,其特征在于,增量学习模块具体用于:
在存在如下情况时,确定需要增量学习:
在识别的至少一个特征向量对应的候选商品标识中,目标商品确定的商品标识排序在第一位,且目标商品的置信度低于置信度阈值;
在识别的至少一个特征向量对应的候选商品标识中,目标商品确定的商品标识不在第一位排序;
识别的候选商品标识为空。
6.如权利要求1所述的系统,其特征在于,增量学习模块具体用于:
采用如下步骤对所述图像进行增强处理后提取特征向量:
对目标商品的图像进行增强处理,所述增强处理包括旋转、翻转、色彩变换中的至少一种;
调用识别算法模块,对增强处理后的图像进行识别,获得特征向量;
对特征向量中差异化小于差异化阈值的项剔除,获得提取的特征向量。
7.如权利要求1所述的系统,其特征在于,增量学习模块具体用于:
将目标商品确定的商品标识被选中次数的第一记录增加1;
若目标商品确定的商品标识不在第一位排序,将第二记录增加1;
根据第一记录和第二记录,计算目标商品的置信度。
8.如权利要求1所述的系统,其特征在于,视觉传感器还用于:获得目标商品的视频流,并通过打秤系统发送至识别系统;
识别系统的识别算法模块还用于:从视频流中提取目标商品的图像。
9.如权利要求1所述的系统,其特征在于,所述商品标识包括商品名和商品码。
10.一种基于自主增量学习的人工智能识别秤的识别方法,其特征在于,应用于权利要求1至9任一项所述系统,包括:
接收打秤系统发送的目标商品的图像并识别,获得所述图像的特征向量;
将所述特征向量与特征向量数据库中的特征向量进行相似度计算,获得超过相似度阈值的至少一个特征向量;
确定所述至少一个特征向量对应的候选商品标识,并输出至打秤系统,其中,打秤系统用于接收用户从所述至少一个候选商品标识中确定目标商品的商品标识,并根据目标商品的重量和确定的商品标识,生成商品标签;
在接收到打秤系统发送的目标商品确定的商品标识后,判断是否需要增量学习;
若是,对所述图像进行增强处理后提取特征向量;
将提取的特征向量与目标商品的商标标识合并后存储至数据模块的特征向量数据库中。
11.如权利要求10所述的方法,其特征在于,接收打秤系统发送的目标商品的图像并识别,获得所述图像的特征向量,包括:
识别目标商品的图像中的商品区域,或从目标商品的图像中分割出商品区域;
识别商品区域,获得图像的特征向量。
12.如权利要求10所述的方法,其特征在于,判断是否需要增量学习,包括:
在存在如下情况时,确定需要增量学习:
在识别的至少一个特征向量对应的候选商品标识中,目标商品确定的商品标识排序在第一位,且目标商品的置信度低于置信度阈值;
在识别的至少一个特征向量对应的候选商品标识中,目标商品确定的商品标识不在第一位排序;
识别的候选商品标识为空。
13.如权利要求10所述的方法,其特征在于,对所述图像进行增强处理后提取特征向量,包括:
对目标商品的图像进行增强处理,所述增强处理包括旋转、翻转、色彩变换中的至少一种;
调用识别算法模块,对增强处理后的图像进行识别,获得特征向量;
对特征向量中差异化小于差异化阈值的项剔除,获得提取的特征向量。
14.如权利要求10所述的方法,其特征在于,还包括:
将目标商品确定的商品标识被选中次数的第一记录增加1;
若目标商品确定的商品标识不在第一位排序,将第二记录增加1;
根据第一记录和第二记录,计算目标商品的置信度。
15.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求10至14任一项所述方法。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现权利要求10至14任一项所述方法。
17.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现权利要求10至14任一项所述方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2022/132246 WO2024103289A1 (zh) | 2022-11-16 | 2022-11-16 | 基于自主增量学习的人工智能识别秤系统及识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116391183A true CN116391183A (zh) | 2023-07-04 |
Family
ID=86966099
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280007114.1A Pending CN116391183A (zh) | 2022-11-16 | 2022-11-16 | 基于自主增量学习的人工智能识别秤系统及识别方法 |
Country Status (5)
Country | Link |
---|---|
EP (1) | EP4478213A1 (zh) |
JP (1) | JP2024543756A (zh) |
CN (1) | CN116391183A (zh) |
AU (1) | AU2022470820A1 (zh) |
WO (1) | WO2024103289A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118196971A (zh) * | 2024-04-10 | 2024-06-14 | 广州市超赢信息科技有限公司 | 基于称重图像结合的收银数据处理方法及ai收银秤 |
CN119273429A (zh) * | 2024-12-04 | 2025-01-07 | 汉朔科技股份有限公司 | 基于购物车的新商品数据采集方法及装置 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118890125B (zh) * | 2024-09-25 | 2025-01-28 | 浙江由由科技有限公司 | 一种自学习智能秤的数据传输提升方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114120083A (zh) * | 2020-08-12 | 2022-03-01 | 东芝泰格有限公司 | 图像识别装置及存储介质、图像识别方法 |
CN112466068B (zh) * | 2020-11-26 | 2021-07-09 | 融讯伟业(北京)科技有限公司 | 基于计算机视觉技术的智能称重装置与智能称重方法 |
CN113269935B (zh) * | 2021-07-16 | 2021-11-30 | 融讯伟业(北京)科技有限公司 | 一种基于无屏称重装置的视觉称重方法及称重系统 |
CN114078299A (zh) * | 2021-11-15 | 2022-02-22 | 烟台创迹软件有限公司 | 一种商品结算方法、装置、电子设备及介质 |
CN114140696A (zh) * | 2022-01-27 | 2022-03-04 | 深圳市慧为智能科技股份有限公司 | 商品识别系统优化方法、装置、设备及存储介质 |
-
2022
- 2022-11-16 WO PCT/CN2022/132246 patent/WO2024103289A1/zh active Application Filing
- 2022-11-16 AU AU2022470820A patent/AU2022470820A1/en active Pending
- 2022-11-16 JP JP2023554371A patent/JP2024543756A/ja active Pending
- 2022-11-16 EP EP22965475.1A patent/EP4478213A1/en active Pending
- 2022-11-16 CN CN202280007114.1A patent/CN116391183A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118196971A (zh) * | 2024-04-10 | 2024-06-14 | 广州市超赢信息科技有限公司 | 基于称重图像结合的收银数据处理方法及ai收银秤 |
CN119273429A (zh) * | 2024-12-04 | 2025-01-07 | 汉朔科技股份有限公司 | 基于购物车的新商品数据采集方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2024543756A (ja) | 2024-11-26 |
WO2024103289A1 (zh) | 2024-05-23 |
EP4478213A1 (en) | 2024-12-18 |
AU2022470820A1 (en) | 2024-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110569701B (zh) | 计算机执行的车辆定损方法及装置 | |
CN110570389B (zh) | 车辆损伤识别方法及装置 | |
CN116391183A (zh) | 基于自主增量学习的人工智能识别秤系统及识别方法 | |
WO2021072699A1 (en) | Irregular scan detection for retail systems | |
CN114078299A (zh) | 一种商品结算方法、装置、电子设备及介质 | |
CN112906697B (zh) | 商品识别及结算方法、装置、电子设备、存储介质 | |
CN113935774A (zh) | 图像处理方法、装置、电子设备及计算机存储介质 | |
US12340360B2 (en) | Systems and methods for item recognition | |
US20240212351A1 (en) | Recording medium, alert generation method, and information processing apparatus | |
CN118279705B (zh) | 目标识别方法、商品识别方法、设备以及存储介质 | |
WO2023101850A1 (en) | System configuration for learning and recognizing packaging associated with a product | |
CN107833403A (zh) | 商品登记装置及商品登记方法、终端设备 | |
JP2021103349A (ja) | 情報処理システム、情報処理装置及び情報処理方法 | |
CN117275011B (zh) | 一种商品识别与商品价签匹配方法、系统、终端及介质 | |
CN118334672A (zh) | 电子价签识别方法及装置 | |
CN111898417A (zh) | 货柜系统、货品检测装置及方法 | |
US20230222779A1 (en) | Method of data collection for partially identified consumer packaged goods | |
CN114235122A (zh) | 基于ai图像识别的电子秤的称重结算方法及系统 | |
Vaneeta et al. | Real-time object detection for an intelligent retail checkout system | |
CN116343198B (zh) | 一种基于多模型的菜品识别方法及设备 | |
CN114882640B (zh) | 一种基于推货售卖机的推货位置识别系统 | |
US20250054123A1 (en) | Product quantity determination apparatus, product quantity determination method, and non-transitory computer-readable storage medium | |
US20250157016A1 (en) | Product quantity determination apparatus, product quantity determination method, and non-transitory computer-readable medium | |
CN118135459A (zh) | 一种用于自助收银台场景的商品扫码状态判断方法 | |
JP2025043281A (ja) | 情報処理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |