[go: up one dir, main page]

CN116930207B - 展示区与实时区视野同步放大的显示方法 - Google Patents

展示区与实时区视野同步放大的显示方法 Download PDF

Info

Publication number
CN116930207B
CN116930207B CN202310911904.9A CN202310911904A CN116930207B CN 116930207 B CN116930207 B CN 116930207B CN 202310911904 A CN202310911904 A CN 202310911904A CN 116930207 B CN116930207 B CN 116930207B
Authority
CN
China
Prior art keywords
image
defect
real
area
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310911904.9A
Other languages
English (en)
Other versions
CN116930207A (zh
Inventor
朱磊
张弛
刘远刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Gantu Network Technology Co Ltd
Original Assignee
Shanghai Gantu Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Gantu Network Technology Co Ltd filed Critical Shanghai Gantu Network Technology Co Ltd
Priority to CN202310911904.9A priority Critical patent/CN116930207B/zh
Publication of CN116930207A publication Critical patent/CN116930207A/zh
Application granted granted Critical
Publication of CN116930207B publication Critical patent/CN116930207B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0106General arrangement of respective parts
    • G01N2021/0112Apparatus in one mechanical, optical or electronic block
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本申请公开展示区与实时区视野同步放大的显示方法,涉及图像显示领域,响应于接收到对图像展示区中目标缺陷图像的选择操作,对目标缺陷图像进行放大处理,在图像展示区中生成放大图像;响应于对目标缺陷图像的放大操作,将线扫相机移动到PCB板上对应的缺陷所在区进行图像扫描;将扫描获得的实时图像在实时视野区同步显示,和所述图像展示区中的放大图形成对比,并接收复检员对所述目标缺陷图像的筛选标记操作。这种将展示区和实时视野区同步显示的方法可以对缺陷进行匹配校验,消除机器误识别问题,相比于人工对PCB半复检的方式,其复检效率和准确度都相应提高。

Description

展示区与实时区视野同步放大的显示方法
技术领域
本申请实施例涉及AOI图像检测领域,特别涉及一种展示区与实时区视野同步放大的显示方法。
背景技术
PCB又称印刷电路板,是电子元器件进行电气连接的载体,PCB生产过程中不可避免的会产生瑕疵、瑕点和缺陷等。pcs是组成PCB的最小组成颗粒或最小组成单位,该区域中包括若干电子元器件,一个完整的PCB上通常设置有若干Pcs。虽然在生产前期需要经过机器对PCB进行自动扫描和过滤,但后期需要通过人工对机器识别的缺陷进行复检,以筛选符合条件的PCB并进行后续生产工序。
在相关技术中,对于人工复检的操作过程需要人员对机器识别的图像进行一一检查,具体是将缺陷图像进行放大处理,然后和现场PCB板进行匹配校验,以确保检测精度。这种人工复检的方式需要考虑到PCB板尺寸和图像显示精度的问题,复检员需要不断逐个调节相机并观察实际PCB板图像和缺陷凸显,操作效率低下,且复检精度不高。
发明内容
本申请实施例提供一种展示区与实时区视野同步放大的显示方法,解决PCB缺陷复检效率不高的问题。
一方面,本申请提供一种展示区与实时区视野同步放大的显示方法,所述方法包括:
响应于接收到对图像展示区中目标缺陷图像的选择操作,对所述目标缺陷图像进行放大处理,在所述图像展示区中生成放大图像;所述放大图像的图像尺寸和图像分辨率大于所述目标缺陷图像;所述目标缺陷图像是线扫相机在PCB板上扫描并机器识别的pcs缺陷图像,每个所述目标缺陷图像中包含至少一个缺陷点;
响应于对所述目标缺陷图像的放大操作,将线扫相机移动到PCB板上对应的缺陷所在区进行图像扫描;
将扫描获得的实时图像在实时视野区放大显示,和所述图像展示区中的放大图形成对比,并接收复检员对所述目标缺陷图像的筛选标记操作。
可选的,所述图像展示区和所述实时视野区位于同一复检操作界面,且所述图像展示区和所述实时视野区为并排显示或上下排列显示;
所述图像展示区中设置有缺陷图像显示列表,其中列出了机器识别并截取的若干所述缺陷图像;所述实时视野区显示线扫相机传送的扫描图像。
可选的,所述显示列表中还包含pcs编号信息、图片分类信息、缺陷种类信息和识别结果;pcs编号信息用于指示所述缺陷图像对应在PCB板上的pcs,图片分类信息用于指示缺陷在pcs上的位置区域,缺陷种类信息用于指示机器识别的缺陷所属类型,识别结果用于指示目标pcs或PCB板为缺陷物料,用于复检员进行复检确认和物料筛选;
所述显示列表中所有的所述缺陷图像都显示有与其对应的pcs编号信息、图片分类信息、缺陷种类信息和识别结果。
可选的,所述缺陷图像基于pcs编号和图片分类信息建立位置索引标签;当选中所述图像展示区中的所述目标缺陷图像时,线扫相机根据所述目标缺陷图像对应的目标位置索引标签进行定位和图像扫描。
可选的,当选中所述图像展示区中的所述目标缺陷图像时,将所述目标缺陷图像放大至目标分辨率和目标尺寸,并在所述图像展示区中展示;所述放大图像以遮罩层形式覆盖显示在所述图像展示区的最上层。
可选的,所述缺陷图像中的缺陷点/区域位于图像中心位置;线扫相机以所述放大图像的目标分辨率和目标尺寸进行定位和扫描获取所述实时图像,将其在所述实时视野区显示,且缺陷点/区域位于图像中心位置显示。
可选的,复检操作界面中还设置有相机微调区,其中设置有控制线扫相机在各个空间维度上微调的操作控件,用于调节所述实时视野区的图像画面;
当扫描获取的所述实时图像的尺寸大于所述实时视野区的最大显示尺寸时,通过操作控件调节线扫相机的位置,在所述实时视野区展示所述实时图像的边界图像。
另一方面,本申请提供一种展示区与实时区视野同步放大的显示装置,所述装置包括:
图像生成模块,用于响应于接收到对图像展示区中目标缺陷图像的选择操作,对所述目标缺陷图像进行放大处理,在所述图像展示区中生成放大图像;所述放大图像的图像尺寸和图像分辨率大于所述目标缺陷图像;所述目标缺陷图像是线扫相机在PCB板上扫描并机器识别的pcs缺陷图像,每个所述目标缺陷图像中包含至少一个缺陷点;
图像放大模块,用于响应于对所述目标缺陷图像的放大操作,将线扫相机移动到PCB板上对应的缺陷所在区进行图像扫描;
显示操作模块,用于将扫描获得的实时图像在实时视野区放大显示,和所述图像展示区中的放大图形成对比,并接收复检员对所述目标缺陷图像的筛选标记操作。
又一方面,本申请提供一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述方面所述的展示区与实时区视野同步放大的显示方法。
又一方面,本申请提供一种计算机可读存储介质,所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述方面所述的展示区与实时区视野同步放大的显示方法。
本申请实施例提供的技术方案带来的有益效果至少包括:通过在计算机复检界面上设置展示区,以对机器初检识别的缺陷图像进行快速预览显示,而在选中目标缺陷图像时,将其放大显示,同时操控线扫相机针对该目标缺陷图像移动到对应位置扫描实时图像,并在复检界面的实时视野区展示,这种将展示区和实时视野区同步方法显示的方法可以对缺陷进行匹配校验,消除机器误识别问题,相比于人工对PCB半复检的方式,其复检效率和准确度都相应提高。
附图说明
图1是本申请实施例提供的展示区与实时区视野同步放大的显示系统;
图2是本申请实施例提供的展示区与实时区视野同步放大的显示方法的流程图;
图3是复检操作界面显示展示区和实时视野区的界面示意图;
图4是展示区显示放大图像的界面示意图;
图5是展示区和实时视野区同步放大缺陷图像的界面示意图;
图6是将实施例显示方法应用于金手指缺陷检测时在展示区显示缺陷图像的场景示意图;
图7是选中目标缺陷图并生成放大图像遮罩层的场景示意图;
图8是本申请实施例提供的展示区与实时区视野同步放大的显示装置;
图9是本申请一个示例性实施例提供的计算机设备的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本申请提供一种展示区与实时区视野同步放大的显示系统,如图1所示,该系统包括计算机设备、线扫相机和用于复检的PCB板,线扫相机和计算机设备之间建立通信连接,用于传输操作指令和相机扫描的实时图像画面。计算机设备由复检员操控,其界面为复检操作界面,复检操作界面显示有机器初检识别的缺陷图像,该缺陷图像需要复检员二次复检,具体对PCB板上的每个pcs的缺陷进行确认。需要说明的是,在复检操作界面显示的,用于复检员选取的缺陷图片可以是通过线扫相机初次扫描和机器识别后确定的,也可以是前端或其他成产工序中机器识别确定后传输到计算机设备上的。复检员需要对每个缺陷图像的缺陷类型进行校验,以筛选、校正和报废处理等。
图2是本申请实施例提供的展示区与实时区视野同步放大的显示方法的流程图,包括如下步骤:
S201,响应于接收到对图像展示区中目标缺陷图像的选择操作,对目标缺陷图像进行放大处理,在图像展示区中生成放大图像。
参考图3所示,复检操作界面是在计算机界面显示的画面,图像展示区位于该界面的一个区域,图像展示区显示用若干缺陷图像,该缺陷图像是在PCB板上扫描并机器识别的pcs缺陷图像,每个缺陷图像中都包含至少一个识别的缺陷点。缺陷的表现形式有多种,如元器件损坏、遗漏或偏离等,这些影响生产和PCB功能的问题都会被检测出来,以供复检员人工复检。图像展示区展示的缺陷图像数量根据操作者对图像尺寸设定决定,例如在图像展示区固定的情况下,每个缺陷图像的预览尺寸越小,该区域内能够预览展示的缺陷图像数量就越多。在一种可能的实施方式中,在图像展示区内以四宫格或九宫格形式预览展示,如图3列出的复检界面的一种可能展示形式。
为了便于界面观察,以四宫格或九宫格形式预览展示的缺陷图像是缩略图或缩略预览图,当复检员选中其中的目标缺陷图像时,将其放大显示。放大图像的图像尺寸和图像分辨率大于原始的目标缺陷图像,便于观察到缺陷点和缺陷细节,例如从800*800放大为以1600*1600分辨率显示。
S202,响应于对目标缺陷图像的放大操作,将线扫相机移动到PCB板上对应的缺陷所在区进行图像扫描。
复检的目的是为了防止机器的误检行为,所以才需要复检员对实时图像进行匹配校验。对计算机设备来说,当复检员选择将目标缺陷图像放大后,将向线扫相机发送指令,让相机再次移动到PCB板上对应的缺陷所在区进行图像扫描,然后将其在复检操作界面显示,和目标缺陷图像的放大图像形成对比。
S203,将扫描获得的实时图像在实时视野区同步显示,和图像展示区中的放大图形成对比,并接收复检员对目标缺陷图像的筛选标记操作。
筛选标记的目的即对机器初识别的缺陷进行确认,例如确认该缺陷或误检,或者缺陷问题较小,且整体功能影响较小的情况下予以通过,若缺陷问题对整体功能影响较大时进行报废标记等操作。
实时视野区显示的即为当前时刻下相机获取的画面,可以对相机误检情形进行消除,甚至对新生成缺陷进行标记等。在一种可能的实施方式中,可以将在实时视野区显示的实时图像的分辨率设置和放大图像的分辨率统一,这样也便于比对观察。因为线扫相机可以在PCB板的各个维度上移动扫描,可以通过调焦、调焦和角度调节等操作获得和放大图像相匹配的实时图像。
综上所述,本申请实施例通过在计算机复检界面上设置展示区,以对机器初检识别的缺陷图像进行快速预览显示,而在选中目标缺陷图像时,将其放大显示,同时操控线扫相机针对该目标缺陷图像移动到对应位置扫描实时图像,并在复检界面的实时视野区展示,这种将展示区和实时视野区同步显示的方法可以对缺陷进行匹配校验,消除机器误识别问题,相比于人工对PCB半复检的方式,其复检效率和准确度都相应提高。
如图3所示,实时视野区和图像展示区都并排位于同一复检操作界面,或者图像展示区和实时视野区为上下排列显示,图像展示区中设置有缺陷图像显示列表,其中列出了机器识别并截取的若干缺陷图像(四宫格或九宫格等形式)。缺陷图像显示列表根据功能显示详细信息,如在显示列表中显示出pcs编号信息、图片分类信息、缺陷种类信息和识别结果等。
pcs编号信息用于指示缺陷图像对应在PCB板上的pcs序列,因为在PCB冲压和实现过程中需要对pcs编号和定位,所以本次复检直接使用PCB的pcs编号信息,例如识别出pcs005,pcs008编号上检测出缺陷。
图片分类信息用于指示缺陷在pcs上的位置区域,因为每个pcs都规定了区域大小,就类似于一个完整的集成电路板,每个pcs上通常都分布有元器件、芯片、硅板和印刷文字等。缺陷类型可以是冲压时缺少元器件或过多,元器件倾斜或偏离目标位置、硅板裂纹、文字漏印和倾斜等问题。在一种可能的实时方式中,机器识别会自动确认缺陷类型,在列表中对截取的图片进行分类显示,便于复检员辨识。
识别结果用于指示目标pcs或PCB板为缺陷物料,例如识别结果NG表示未通过,通常情况下复检员都是对NG的缺陷图片进行复检,而当复检确认可以通过是将其标记修改为OK,否则复检确认为问题板,用于进行物料筛选。
显示列表中所有的缺陷图像都显示有与其对应的pcs编号信息、图片分类信息、缺陷种类信息和识别结果,方便复检员逐一手动放大图像进行校验。
如图4所示,当复检员选中图像展示区中的目标缺陷图像时,计算机设备会将目标缺陷图像放大至目标分辨率和目标尺寸,并以遮罩层形式覆盖显示在图像展示区的最上层展示。这一操作的目的是方便复检员清楚看清机器识别和截取图像的内容信息,核查识别出否出错。在一种可能的实施方式中,截取的缺陷图像是以缺陷图像的几何中心截取,也就是瑕点/缺陷图处于缺陷图像的中心部位,这样可以最大限度的观察到瑕点周围的正常区域画面。如图4中分辨率在900*900的目标尺寸下,将缺失的元件图像摆放到画面中心。对应的,实时视野区显示的实时图像同样以缺陷点为几何中心显示。
图像展示区显示放大图像的同时,线扫相机修需要立即动作获取并在实时视野区显示PCB板上对应的图像。本申请计算机设备在生成显示列表时,会基于缺陷图像的pcs编号和图片分类信息建立位置索引标签,该位置索引标签用于和线扫相机之间进行交互操作。也就是线扫相机根据传送的位置索引标签进行移动定位和扫描图像。当然,为了确保匹配图像的一致性,还可以在位置索引标签中加入目标尺寸和目标分辨率。线扫相机根据其中的pcs编号移动到目标pcs,然后再根据图片分类信息定位到pcs的具体位置区域,例如文字印刷区、元件区或芯片区等。目标尺寸和目标分辨率用于相机进行焦距和角度等姿态调节,还原和放大图像一致的可视画面。
在一些其他实施例中,也可以选用不同分辨率和不同尺寸的实时画面,只要能够方便复检员进行比对校验即可。还可以在实时视野区设置分辨率调节控件,复检员手动根据画面情况调节实时视野区内的画面放大比例,以满足个性化需求。
为了达到最优可视化效果,复检界面中图像展示区的面积是大于和实时视野区的,因为这样可以在显示列表中尽可能展示更多预览画面,复检员可以直观的根据pcs编号信息了解到同一pcs上识别到多少缺陷,对复检工作有大致的掌握。基于此,在分辨率或图像尺寸与放大图像保持一致时,若放大图像的尺寸较大,且大于实时视野区的最大显示尺寸时,就可能会出现观察不到完整实时图像的情况,设置缺陷像素超出实时视野区的边框,复检员无法直观窥其全貌,这时就需要对实时图像或线扫相机进行微调。
如图5所示,在复检操作界面中还设置有相机微调区,其中设置有控制线扫相机在各个空间维度上微调的操作控件,用于调节实时视野区的图像画面。操作控件可以设置上下左右等操作控件,这些操作控件可以控制线扫相机在对应方向上微小移动,以显示出画面边界信息。
线扫相机在控制好姿态时,拍摄到的画面通常是大于放大图像的尺寸的,只是在显示时对其进行一致化裁剪。而通过计算机控件微调相机过程不可避免会产生一定延迟,且操作繁琐。所以还可以默认将线扫相机扫描的原始图像进行储存,当出现上述尺寸显示不全的问题时,对操作控件的微调就表示对储存的原始图像的移动操作,同样可以针对性显示边界图像,甚至可以观察到位于放大图像外的pcs信息。
图6是将实施例显示方法应用于金手指缺陷检测时在展示区显示缺陷图像的场景示意图,其中列出了pcs005编号的pcs识别到是所有缺陷类型和对应的缺陷图像。同时考虑到一个pcs,或一个PCB板上会检测较多数量的缺陷图像,所以还在展示区的底部设置快速查找显示控件。在一种可能的实施方式中,当复检员确定某一缺陷图像后,“NG”检测正确,则将其确认,确认后的缺陷图像自动核销,后续缺陷图自动刷新排列显示。当“NG”检测有误时,复检员将“NG”修改为“OK”或其他形式,以纠正机器误检。可选的,还可以在显示列表中显示“置信度信息”,用以表示机器缺陷识别检测算法对缺陷类型的识别精度,其数值越大,表示识别缺陷的确信度越高,而复检员则可以通过设置置信度阈值来过滤显示列表,仅对置信度数值较低的缺陷图像进行复检,在满足复检率且不影响pcs功能的情况下提升复检效率。
图7是选中目标缺陷图并生成放大图像遮罩层的场景示意图,该示意图将缺陷图像的信息显示在图像最上层,并设置关闭控件。当复检员匹配完成后点击控件恢复显示列表状态,然后再对其进行标记操作。
图8示出了本申请实施例提供的展示区与实时区视野同步放大的显示装置,所述装置包括:
图像生成模块,用于响应于接收到对图像展示区中目标缺陷图像的选择操作,对所述目标缺陷图像进行放大处理,在所述图像展示区中生成放大图像;所述放大图像的图像尺寸和图像分辨率大于所述目标缺陷图像;所述目标缺陷图像是线扫相机在PCB板上扫描并机器识别的pcs缺陷图像,每个所述目标缺陷图像中包含至少一个缺陷点;
图像放大模块,用于响应于对所述目标缺陷图像的放大操作,将线扫相机移动到PCB板上对应的缺陷所在区进行图像扫描;
显示操作模块,用于将扫描获得的实时图像在实时视野区同步显示,和所述图像展示区中的放大图形成对比,并接收复检员对所述目标缺陷图像的筛选标记操作。
此外,本申请还提供一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述方面所述的展示区与实时区视野同步放大的显示方法。
此外,本申请还提供一种计算机可读存储介质,所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述方面所述的展示区与实时区视野同步放大的显示方法。
本申请实施例提供的展示区与实时区视野同步放大的显示装置,可以应用于如上述实施例中提供的展示区与实时区视野同步放大的显示方法,相关细节参考上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
需要说明的是,本申请实施例中提供的展示区与实时区视野同步放大的显示装置在进行全景和局部预览显示时,仅以上述各功能模块/功能单元的划分进行举例说明,在实际应用中,可以根据需要而将上述功能分配由不同的功能模块/功能单元完成,即将展示区与实时区视野同步放大的显示装置的内部结构划分成不同的功能模块/功能单元,以完成以上描述的全部或者部分功能。另外,上述方法实施例提供的展示区与实时区视野同步放大的显示方法的实施方式与本实施例提供的展示区与实时区视野同步放大的显示装置的实施方式属于同一构思,本实施例提供的展示区与实时区视野同步放大的显示装置的具体实现过程详见上述方法实施例,这里不再赘述。
图9示出了本申请一个示例性实施例提供的计算机设备的结构框图。是桌上型计算机、笔记本电脑、掌上电脑以及云端服务器等计算机设备。该计算机设备可以包括,但不限于,处理器和存储器。其中,处理器和存储器可以通过总线或者其他方式连接。其中,处理器可以为中央处理器(Central Processing Unit,CPU)。处理器还可以为其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、图形处理器(Graphics Processing Unit,GPU)、嵌入式神经网络处理器(Neural-network Processing Unit,NPU)或者其他专用的深度学习协处理器、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。
处理器可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-ProgrammableGate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1701也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central Processing Unit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器可以集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器还可以包括AI(ArtificialIntelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本申请上述实施方式中的方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块,从而执行处理器的各种功能应用以及数据处理,即实现上述方法实施方式中的方法。存储器可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储处理器所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中,存储器可选包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
在一些实施例中,计算机设备还可选包括有:外围设备接口和至少一个外围设备。处理器、存储器和外围设备接口之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口相连。具体地,外围设备包括:射频电路、显示屏、键盘中的至少一种。
外围设备接口可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器和存储器。在一些实施例中,处理器、存储器和外围设备接口被集成在同一芯片或电路板上;在一些其他实施例中,处理器、存储器和外围设备接口中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
显示屏用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏是触摸显示屏时,显示屏还具有采集在显示屏的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器进行处理。此时,显示屏还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏可以为一个,设置在计算机设备的前面板;在另一些实施例中,显示屏可以为至少两个,分别设置在计算机设备的不同表面或呈折叠设计;在另一些实施例中,显示屏可以是柔性显示屏,设置在计算机设备的弯曲表面上或折叠面上。甚至,显示屏还可以设置成非矩形的不规则图形,也即异形屏。显示屏可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
电源用于为计算机设备中的各个组件进行供电。电源可以是交流电、直流电、一次性电池或可充电电池。当电源包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
本领域技术人员可以理解,图9中示出的结构并不构成对计算机设备的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
本申请实施例还公开一种计算机可读存储介质。具体来说,计算机可读存储介质用于存储计算机程序,所述计算机程序被处理器执行时,实现上述方法实施方式中的方法。本领域技术人员可以理解,实现本申请上述实施方式方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施方式的流程。其中,所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)、随机存储记忆体(Random AccessMemory,RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,缩写:HDD)或固态硬盘(Solid-State Drive,SSD)等;所述存储介质还可以包括上述种类的存储器的组合。
本具体实施例仅仅是对本发明的解释,其并不是对本发明的限制,本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改,但只要在本发明的权利要求范围内都受到专利法的保护。

Claims (8)

1.一种展示区与实时区视野同步放大的显示方法,其特征在于,所述方法包括:
响应于接收到对图像展示区中目标缺陷图像的选择操作,将所述目标缺陷图像进行放大处理,在所述图像展示区中生成放大图像;所述放大图像的图像尺寸和图像分辨率大于所述目标缺陷图像;所述目标缺陷图像是线扫相机在PCB板上扫描并机器识别的pcs缺陷图像,每个所述目标缺陷图像中包含至少一个缺陷点;所述图像展示区和实时视野区位于同一复检操作界面,所述图像展示区中设置有缺陷图像显示列表,所述显示列表中列出了机器识别并截取的所有所述缺陷图像和对应的pcs编号信息、图片分类信息、缺陷种类信息和识别结果;所述实时视野区显示线扫相机传送的扫描图像;pcs编号信息用于指示所述缺陷图像对应在PCB板上的pcs,图片分类信息用于指示缺陷在pcs上的位置区域,缺陷种类信息用于指示机器识别的缺陷所属类型,识别结果用于指示目标pcs或PCB板为缺陷物料,用于复检员进行复检确认和物料筛选;
响应于对所述目标缺陷图像的放大操作,将线扫相机移动到PCB板上对应的缺陷所在区进行图像扫描;其中,所述缺陷图像基于pcs编号和图片分类信息建立位置索引标签;当选中所述图像展示区中的所述目标缺陷图像时,线扫相机根据所述目标缺陷图像对应的目标位置索引标签进行定位和图像扫描;
将扫描获得的实时图像在实时视野区同步显示,和所述图像展示区中的放大图形成对比,并接收复检员对所述目标缺陷图像的筛选标记操作。
2.根据权利要求1所述的方法,其特征在于,所述图像展示区和所述实时视野区为并排显示或上下排列显示。
3.根据权利要求1所述的方法,其特征在于,当选中所述图像展示区中的所述目标缺陷图像时,将所述目标缺陷图像放大至目标分辨率和目标尺寸,并在所述图像展示区中展示;所述放大图像以遮罩层形式覆盖显示在所述图像展示区的最上层。
4.根据权利要求3所述的方法,其特征在于,所述缺陷图像中的缺陷点/区域位于图像中心位置;线扫相机以所述放大图像的目标分辨率和目标尺寸进行定位和扫描获取所述实时图像,将其在所述实时视野区显示,且缺陷点/区域位于图像中心位置显示。
5.根据权利要求4所述的方法,其特征在于,复检操作界面中还设置有相机微调区,其中设置有控制线扫相机在各个空间维度上微调的操作控件,用于调节所述实时视野区的图像画面;
当扫描获取的所述实时图像的尺寸大于所述实时视野区的最大显示尺寸时,通过操作控件调节线扫相机的位置,在所述实时视野区展示所述实时图像的边界图像。
6.一种展示区与实时区视野同步放大的显示装置,其特征在于,所述装置包括:
图像生成模块,用于响应于接收到对图像展示区中目标缺陷图像的选择操作,将所述目标缺陷图像进行放大处理,在所述图像展示区中生成放大图像;所述放大图像的图像尺寸和图像分辨率大于所述目标缺陷图像;所述目标缺陷图像是线扫相机在PCB板上扫描并机器识别的pcs缺陷图像,每个所述目标缺陷图像中包含至少一个缺陷点;所述图像展示区和实时视野区位于同一复检操作界面,所述图像展示区中设置有缺陷图像显示列表,所述显示列表中列出了机器识别并截取的所有所述缺陷图像和对应的pcs编号信息、图片分类信息、缺陷种类信息和识别结果;所述实时视野区显示线扫相机传送的扫描图像;pcs编号信息用于指示所述缺陷图像对应在PCB板上的pcs,图片分类信息用于指示缺陷在pcs上的位置区域,缺陷种类信息用于指示机器识别的缺陷所属类型,识别结果用于指示目标pcs或PCB板为缺陷物料,用于复检员进行复检确认和物料筛选;
图像放大模块,用于响应于对所述目标缺陷图像的放大操作,将线扫相机移动到PCB板上对应的缺陷所在区进行图像扫描;其中,所述缺陷图像基于pcs编号和图片分类信息建立位置索引标签;当选中所述图像展示区中的所述目标缺陷图像时,线扫相机根据所述目标缺陷图像对应的目标位置索引标签进行定位和图像扫描;
显示操作模块,用于将扫描获得的实时图像在实时视野区同步显示,和所述图像展示区中的放大图形成对比,并接收复检员对所述目标缺陷图像的筛选标记操作。
7.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至5任一所述的展示区与实时区视野同步放大的显示方法。
8.一种计算机可读存储介质,其特征在于,所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至5任一所述的展示区与实时区视野同步放大的显示方法。
CN202310911904.9A 2023-07-24 2023-07-24 展示区与实时区视野同步放大的显示方法 Active CN116930207B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310911904.9A CN116930207B (zh) 2023-07-24 2023-07-24 展示区与实时区视野同步放大的显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310911904.9A CN116930207B (zh) 2023-07-24 2023-07-24 展示区与实时区视野同步放大的显示方法

Publications (2)

Publication Number Publication Date
CN116930207A CN116930207A (zh) 2023-10-24
CN116930207B true CN116930207B (zh) 2024-04-12

Family

ID=88382284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310911904.9A Active CN116930207B (zh) 2023-07-24 2023-07-24 展示区与实时区视野同步放大的显示方法

Country Status (1)

Country Link
CN (1) CN116930207B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000088563A (ja) * 1998-09-08 2000-03-31 Hitachi Ltd 外観検査方法および外観検査装置
JP2000097871A (ja) * 1998-09-25 2000-04-07 Hitachi Ltd レビュー装置
JP2000338052A (ja) * 1999-05-25 2000-12-08 Dainippon Printing Co Ltd 欠陥表示装置および検査装置
CN101101857A (zh) * 2006-07-03 2008-01-09 奥林巴斯株式会社 缺陷修复装置
JP2010117285A (ja) * 2008-11-14 2010-05-27 Omron Corp 基板の欠陥検査装置
CN113176275A (zh) * 2021-03-19 2021-07-27 哈工大机器人(中山)无人装备与人工智能研究院 一种用于显示面板复检的方法、装置及系统
CN113310997A (zh) * 2021-07-30 2021-08-27 苏州维嘉科技股份有限公司 Pcb板缺陷确认方法、装置、自动光学检测设备及储存介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5292043B2 (ja) * 2008-10-01 2013-09-18 株式会社日立ハイテクノロジーズ 欠陥観察装置及び欠陥観察方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000088563A (ja) * 1998-09-08 2000-03-31 Hitachi Ltd 外観検査方法および外観検査装置
JP2000097871A (ja) * 1998-09-25 2000-04-07 Hitachi Ltd レビュー装置
JP2000338052A (ja) * 1999-05-25 2000-12-08 Dainippon Printing Co Ltd 欠陥表示装置および検査装置
CN101101857A (zh) * 2006-07-03 2008-01-09 奥林巴斯株式会社 缺陷修复装置
JP2010117285A (ja) * 2008-11-14 2010-05-27 Omron Corp 基板の欠陥検査装置
CN113176275A (zh) * 2021-03-19 2021-07-27 哈工大机器人(中山)无人装备与人工智能研究院 一种用于显示面板复检的方法、装置及系统
CN113310997A (zh) * 2021-07-30 2021-08-27 苏州维嘉科技股份有限公司 Pcb板缺陷确认方法、装置、自动光学检测设备及储存介质

Also Published As

Publication number Publication date
CN116930207A (zh) 2023-10-24

Similar Documents

Publication Publication Date Title
US9807263B2 (en) Mobile document capture assistance using augmented reality
US9697431B2 (en) Mobile document capture assist for optimized text recognition
CN112581546B (zh) 摄像头标定方法、装置、计算机设备和存储介质
US10013408B2 (en) Information processing apparatus, information processing method, and computer readable medium
US20140351718A1 (en) Information processing device, information processing method, and computer-readable medium
CN111353458B (zh) 文本框标注方法、装置和存储介质
CN116967615B (zh) 电路板复检打标方法、装置、设备及存储介质
US9767588B2 (en) Method and apparatus for image processing
CN106095178A (zh) 输入设备识别方法和系统、输入指令识别方法和系统
CN116930207B (zh) 展示区与实时区视野同步放大的显示方法
US11748960B1 (en) Printed circuit board (PCB) virtual x-ray visualization
US20110075889A1 (en) Image processing system with ambient sensing capability and image processing method thereof
CN110163192B (zh) 字符识别方法、装置及可读介质
US12112720B2 (en) Display apparatus, display system, display control method, and non-transitory recording medium
JP6184746B2 (ja) 欠陥検出装置、欠陥修正装置および欠陥検出方法
CN113468355B (zh) 显示母板数据管理方法及装置
CN117011258A (zh) 电路板缺陷图像校验显示方法、装置、设备及存储介质
CN116627372B (zh) Pnl物料对齐预览显示方法、装置、设备及存储介质
CN117790349B (zh) Pcs电测不良缺陷显示方法、装置、设备及存储介质
CN117764908B (zh) Ng图像的缺陷信息显示方法、装置、设备及存储介质
JP2021036401A (ja) 表示装置、表示方法、プログラム
US11675496B2 (en) Apparatus, display system, and display control method
CN114363521B (zh) 图像处理方法、装置及电子设备
US20240283888A1 (en) Video processing apparatus, computer-readable recording medium recording video processing program, and video processing method
CN119359647A (zh) 基于多通道扫描的缺陷检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Display method for synchronously enlarging the field of view between the display area and the real-time area

Granted publication date: 20240412

Pledgee: Industrial Bank Co.,Ltd. Shanghai Shangnan Sub branch

Pledgor: Shanghai Gantu Network Technology Co.,Ltd.

Registration number: Y2024310000600

PE01 Entry into force of the registration of the contract for pledge of patent right