[go: up one dir, main page]

CN1292383C - 视觉装置 - Google Patents

视觉装置 Download PDF

Info

Publication number
CN1292383C
CN1292383C CNB998107972A CN99810797A CN1292383C CN 1292383 C CN1292383 C CN 1292383C CN B998107972 A CNB998107972 A CN B998107972A CN 99810797 A CN99810797 A CN 99810797A CN 1292383 C CN1292383 C CN 1292383C
Authority
CN
China
Prior art keywords
aforementioned
image
pixel value
frequency band
band pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB998107972A
Other languages
English (en)
Other versions
CN1317124A (zh
Inventor
味冈义明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ecchandes Inc
Original Assignee
Ecchandes Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ecchandes Inc filed Critical Ecchandes Inc
Publication of CN1317124A publication Critical patent/CN1317124A/zh
Application granted granted Critical
Publication of CN1292383C publication Critical patent/CN1292383C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

视觉装置的根据第2图的方块图,自框图像(1)生成移动物体(2)的边缘信息,计算移动物体(2)的数量。视觉装置的根据第4图的方块图,自框图像(1)生成移动物体(2)及静止物体(3)的边缘信息,计算移动物体(2)及静止物体(3)的总数。视觉装置的根据第12图的方块图,搜索移动物体(2)及静止物体(3),以计算移动物体(2)及静止物体(3)的数量。视觉装置,可使用阵列运算单元(40),来安装使框图像(1)振动的装置,从框图像(1)生成移动物体(1)及静止物体(2)的边缘信息的装置,从框图像(1)的背景分离出移动物体(2)及静止物体(3)的物体领域的装置,检测移动物体(2)及静止物体(3)的位置及大小的装置,将以物体领域(141)切出的分离物体领域(143)规格化为规格领域(144)的装置,以及辨识此规格领域(144)的装置。

Description

视觉装置
发明背景
本发明系关于计算图像中之物体数量之视觉装置及其方法,详言之,系关于计算摄像机或数字相机所拍摄之三原色波长、可视光波长、红外线波长、紫外线波长,及其他所有电磁波中,任意频带所构成的图像中之移动物体或静止物体数量。
背景技术
一直以来,开发有使用摄像机或数字相机将多个物体拍摄于一个画面,使用数字技术计算画面中物体数量的装置。作为其代表例而言,有透过显微镜计算所拍摄之细胞数量的装置。由于将细胞之染色体染成紫色,因此藉切出图像中一定以上大小的紫色区域作为一块,即能计算细胞数量。然而,当细胞之染色有困难或无法染色时,即不易计算细胞数量。此系因一般来说细胞为透明之故,是以为了将整个细胞作成一块,颜色信息并不太有效。当然,若放大细胞图像的话,虽能捕捉细胞核及线粒体(mitochondria)之阴影,但这种情形是例外。因此,多数的情形是利用光之折射、反射所投影出的细胞轮廓来生成边缘信息。只要使用这种边缘信息,理论上,虽能将整个细胞作成一块,但实际上,由于边缘信息几乎皆为不完全者,因此须使用细胞之形状与大小信息来辅助边缘信息。而且,为了自该边缘信息将整个细胞作成一块,必须施以涂黑等计算量较多的图像处理,当然边缘信息中不可有裂缝。再者,若自细胞中仅选出移动的细胞加以切出的话,势必要进行光学流量等之计算,结果,为提高计算数之精度必须要有昂贵的装置,另一方面,若使用便宜的装置的话,计算时间将会变的非常庞大。
然而,除了细胞等部分例外之外,一般的物体皆有颜色。例如,大致说来,蝌蚪背面是深褐色,苹果是红色、黄色、绿色,马是黑色、灰色,乌鸦是黑色。因此,为计算该物体之数量,只要自图像中挑出物体固有的颜色信息即可,但事实上并非这么简单。其一,系由于颜色信息会受到阳光或照明的亮度,以及摄像机性能极大的影响。此外,若在摄影环镜中有类似颜色的物体的话,即不易区别对象物体及其以外之物体。因此,一般系使用形状或大小等信息自背景切割出对象物体后,再计算该物体的数量,为减少计算量,所使用的颜色信息仅限于针对对象物体的程度。假如,视觉装置能捕捉颜色信息的变化作为物体之动态,照明及摄像机的性能虽不至成为太大的问题,但不仅不易从物体的动态正确再现物体的形状,又会产生须涂黑被边缘信息所围住之区域以确定物体领域的问题,活用颜色信息变化的视觉装置之相关研究,仍旧不足。
考虑上述事情,若能使视觉装置根据颜色信息的变化等来捕捉物体的动态以生成边缘信息,自该边缘信息分离出物体以作成一块的话,即能不依赖物体之特征与摄影环境而计算物体的数量。此外,若能使物体本身振动、或使摄像机振动、再不然使所拍摄的图像振动,据以根据颜色信息生成边缘信息的话,即可期待视觉装置即使在物体静止的情况下,亦能计算物体数量。
此处,假设有能计算摄像机所拍摄之物体数量的前述视觉装置。当摄像机所拍摄之物体系静止的话,视觉装置就能经常计算静止物体的数量。但是,当物体在移动时,视觉装置仅能在摄像机拍摄移动物体期间,计算移动物体的数量。若像培养皿中之细胞般,能预先特定静止物体及移动物体之位置的话当然没有问题,但若系计算室内或室外空间走动的人或动物时,或由于无法将整个屋内或屋外空间全部拍入摄像机之画角中,或因为与摄像机之距离使得人或动物在图像中变大或变小,因此若固定摄相机的话,视觉装置的用途就会受到限制。再者,由于视觉装置必须将室内装饰与人或动物加以区别,因此为了辨识物体需要庞大的计算量。
考虑到上述事情,所期待的视觉装置是这样的。若移动式摄像机能自室内或室外空间中搜索出人或动物等特定之物体并仅拍摄该等物体,且视觉装置能调整摄像机之倍率,以使该等物体在图像中成适当之大小,视觉装置即能容易辨识该等物体,亦能计算人或动物等无法预先特定其位置之移动物体的数量。当然,当人或动物等躺着几乎不动时,视觉装置亦能将人或动物与其他静止物体加以区别,以计算人与动物等的数量。
因此,本发明之目的在于,以选择性地选择动态图像中之移动物体或所有物体之任一者所生成的边缘信息为基准,高速地计算移动物体或所有物体的数量。此外,其另一目的在于,自动态图像中计算移动物体及静止物体的数量,以高速地计算动态图像中移动物体及静止物体的比例。本案再一目的在于,藉搜索能以移动式摄像机拍摄之范围内所存在之移动物体及静止物体,高速地计算移动物体及静止物体的数量。
发明概述
按照本发明的第一方面,是一种视觉装置,其特征在于,针对实现使数字图像振动之机构的数据处理装置中配置成格子状之阵列运算单元,具备:
将前述阵列运算单元初始化的机构;
若无应输入之前述数字图像时,即结束处理的机构;
输入前述数字图像之各频带像素值的机构;
使前述数字图像之前述各频带像素值上下左右振动的机构;以及
输出振动图像之各频带像素值的机构。
也就是说,此系为了将前述阵列运算单元所提供的前述数字图像的振动机能,以数字技术来加以实现之算法的组装形态。将前述阵列运算单元配置成格子状,使相邻之前述阵列运算单元相互结合,待设定前述阵列运算单元的各参数的初始值后,将前述数字图像以像素单位适当地加以输入,依序进行从前述数字图像之各频带像素值的振动,到前述振动图像之各频带像素值的输出,反复进行至前述数字图像不再输入为止。据此,能利用一般的处理器,容易地进行前述参数之修正。
按照本发明的第二方面,是一种视觉装置,其特征在于,针对实现自数字图像生成粗边缘信息图像之机构的数据处理装置中配置成格子状之各个阵列运算单元,具备:
将前述阵列运算单元初始化的机构;
若无应输入之前述数字图像时,即结束处理的机构;
输入前述数字图像之各频带像素值的机构;
将前述数字图像之前述各频带像素值加以平滑化,以生成平滑化图像之各频带像素值的机构;
取前述平滑化图像之前述各频带像素值的对数,以生成对数转换图像之各频带像素值的机构;
将前述对数转换图像之前述各频带像素值加以清晰化,以生成清晰化图像之各频带像素值的机构;
自前述清晰化图像之前述各频带像素值,减去1个输入前清晰化图像之各频带像素值,以生成时间差图像之各频带像素值的机构;
将前述清晰化图像之前述各频带像素值转换为1个输入前清晰化图像之各频带像素值的机构;
对前述时间差图像之各频带像素值进行拉普拉斯运算码(Laplacian)的计算,以生成时间差拉普拉斯运算码图像之各频带像素值的机构;
抽出前述时间差拉普拉斯运算码图像之前述各频带像素值的零点,以生成时间差零点图像之各频带像素值的机构;
求出前述时间差零点图像之前述各频带像素值的最大值,以生成最大值的时间差零点图像之前述各频带像素值的机构;
对前述清晰化图像之前述各频带像素值进行拉普拉斯运算码的计算,以生成时间差拉普拉斯运算码图像之各频带像素值的机构;
抽出拉普拉斯运算码图像之前述各频带像素值之前述零点,以生成零点图像之各频带像素值的机构;
求出前述零点图像之前述各频带像素值的最大值,以生成最大值零点图像之频带像素值的机构;
求出前述最大值零点图像之前述频带像素值与前述最大值时间差零点图像之前述频带像素值中较大者,以生成混合零点图像之频带像素值的机构;
去除前述混合零点图像之孔,以生成孔除去混合零点图像之频带像素值的机构;
去除前述孔除去混合零点图像之孤立点及孤立孔,以生成噪声除去混合零点图像之频带像素值的机构;
反转前述噪声除去混合零点图像之前述各频带像素值,以生成粗边缘信息图像之频带像素值的机构;以及
输出前述粗边缘信息图像之前述频带像素值的机构。
也就是说,此系用以将前述阵列运算单元所提供的前述数字图像的振动机能以数字技术来加以实现之演算法的实际形态。将前述阵列运算单元配置成格子状,使相邻之前述阵列运算单元相互结合,待设定前述阵列运算单元的各参数的初始值后,将前述数字图像以像素单位适当地加以输入,依序进行从前述数字图像之平滑化,到前述粗边缘信息图像之各频带像素值的输出,反复进行至前述数字图像不再输入为止。据此,能利用一般的处理器,容易地进行前述参数之修正。又,前述阵列运算单元,未必需要严密进行等待位于附近之前述阵列运算单元所传送来的各种前述图像之附近图像的接收。此系因为无法接收自位于附近之前述阵列运算单元之各种前述图像的前述附近像素时,等待接收之前述阵列运算单元能使用本身的前述频带像素值加以取代的关系。此时,虽然前述阵列运算单元所生成之各种前述图像的像素中可能有若干的噪声,但在本发明中,几乎所有的噪声都被前述各种机构加以吸收。藉使用本身之前述频带像素值加以取代的机构,能同时且简单地实现边缘处理与超时处理。
按照本发明的第三方面,是一种视觉装置,其特征在于,针对实现自粗边缘信息图像生成形成边缘信息图像之机构的数据处理装置中配置成格子状之各个阵列运算单元,具备:
将前述阵列运算单元初始化的机构;
若无应输入之前述数字图像时,即结束处理的机构;
输入前述数字图像之各频带像素值及前述粗边缘信息图像之各频带像素值的机构;
将前述数字图像之各频带像素值及前述粗边缘信息图像之各频带像素值加以分离的机构;
将前述数字图像之前述各频带像素值加以平滑化,以生成平滑化图像之各频带像素值的机构;
取前述平滑化图像之前述各频带像素值的对数,以生成对数转换图像之各频带像素值的机构;
将前述对数转换图像之前述各频带像素值加以清晰化,以生成清晰化图像之各频带像素值的机构;
对前述清晰化图像之前述各频带像素值进行拉普拉斯运算码的计算,以生成拉普拉斯运算码图像之各频带像素值的机构;
抽出前述拉普拉斯运算码图像之前述各频带像素值的零点,以生成零点图像之各频带像素值的机构的机构;
求出前述零点图像之前述各频带像素值的最大值,以生成最大值零点图像之频带像素值的机构;
反转前述最大值零点图像之前述频带像素值,以生成基础边缘信息图像之频带像素值的机构;
为趋近基础边缘信息图像之前述频带像素值,将前述粗边缘信息图像之频带像素值加以整形的机构;
内插前述粗边缘信息图像之前述频带像素值的线宽,以生成形成边缘信息图像之频带像素值的机构;以及
输出前述形成边缘信息图像之前述频带像素值的机构。
也就是说,此系用以将前述阵列运算单元所提供的前述形成边缘信息图像的生成机能以数字技术来加以实现之算法的组装形态。将前述阵列运算单元配置成格子状,使相邻之前述阵列运算单元相互结合,待设定前述阵列运算单元的各参数的初始值后,将前述数字图像及前述粗边缘信息图像以像素单位适当地加以输入,依序进行从前述数字图像与前述粗边缘信息图像之分离,到前述粗边缘信息图像之各频带像素值的输出,反复进行至前述数字图像及前述粗边缘信息图像不再输入为止。据此,能利用一般的处理器,容易地进行前述参数之修正。又,前述阵列运算单元,未必需要严密进行等待位于附近之前述阵列运算单元所传送来的各种前述图像之附近图像的接收。此系因为无法接收自位于附近之前述阵列运算单元之各种前述图像的前述附近像素时,等待接收之前述阵列运算单元能使用本身的前述频带像素值加以取代的关系。此时,虽然前述阵列运算单元所生成之各种前述图像的像素中可能有若干的噪声,但在本发明中,几乎所有的噪声都被前述各种机构加以吸收。藉使用本身之前述频带像素值加以取代的机构,能同时且简单地实现边缘处理与超时处理。
按照本发明的第四方面,是一种视觉装置,其特征在于,针对实现检测物体领域之位置及大小之机构的数据处理装置中配置成格子状之各个阵列运算单元,具备:
将前述阵列运算单元初始化的机构;
若无应输入之前述数字图像时,即结束处理的机构;
输入前述粗边缘信息图像之各频带像素值的机构;
将前述粗边缘信息图像之频带像素值转换为重复信息图像之频带像素值的机构;
将自前述重复信息图像计算的移动量,图像化为移动量图像之频带像素值的机构;
将前述重复信息图像之前述频带像素值,移动至前述移动量图像之前述频带像素值所指示之移动位置的机构;
将前述重复信息图像之前述频带像素值,更新为前述重复信息图像之移动源之前述频带像素值之合计的机构;以及
输出前述重复信息图像之前述频带像素值的机构。
也就是说,此系用以将前述阵列运算单元所提供的前述粗边缘信息图像所指之显示前述物体领域的前述位置及前述大小之前述重复信息图像的生成机能以数字技术来加以实现之算法的组装形态。将前述阵列运算单元配置成格子状,使相邻之前述阵列运算单元相互结合,待设定前述阵列运算单元的各参数的初始值后,将前述粗边缘信息图像以像素单位适当地加以输入,依序进行从变换为前述重复信息图像到前述重复信息图像之各频带像素值的输出,反复进行至前述粗边缘信息图像不再输入为止。据此,能利用一般的处理器,容易地进行前述参数之修正。又,前述阵列运算单元,未必需要严密进行等待位于附近之前述阵列运算单元所传送来的各种前述图像之附近图像的接收。此系因为无法接收来自位于附近之前述阵列运算单元之各种前述图像的前述附近像素时,等待接收之前述阵列运算单元能使用相当于0之像素值加以取代的关系。此时,虽然前述阵列运算单元所生成之各种前述图像的像素中可能有若干的噪声,但在本发明中,几乎所有的噪声都被前述各种机构加以吸收。藉使用相当于0之前述频带像素值加以取代的机构,能同时且简单地实现边缘处理与超时处理。
本发明,可输入形成边缘信息图像以取代前述粗边缘信息图像。为了生成显示前述形成边缘信息图像所指之前述物体领域之前述位置及前述大小的前述重复信息图像,将前述阵列运算单元配置成格子状,使相邻之前述阵列运算单元相互结合,待设定前述阵列运算单元的各参数的初始值后,将前述粗边缘信息图像以像素单位适当地加以输入,依序进行从变换为前述重复信息图像到前述重复信息图像之各频带像素值的输出,反复进行至前述粗边缘信息图像不再输入为止。据此,能利用一般的处理器,容易地进行前述参数之修正。又,前述阵列运算单元,未必需要严密进行等待位于附近之前述阵列运算单元所传送来的各种前述图像之附近图像的接收。此系因为无法接收来自位于附近之前述阵列运算单元之各种前述图像的前述附近像素时,等待接收之前述阵列运算单元能使用相当于0之像素值加以取代的关系。此时,虽然前述阵列运算单元所生成之各种前述图像的像素中可能有若干的噪声,但在本发明中,几乎所有的噪声都被前述各种机构加以吸收。藉使用相当于0之前述频带像素值加以取代的机构,能同时且简单地实现边缘处理与超时处理。
又,本发明可输入前述物体领域图像以取代前述粗边缘信息图像。为了生成显示前述形成边缘信息图像所指之前述物体领域之前述位置及前述大小的前述重复信息图像,将前述阵列运算单元配置成格子状,使相邻之前述阵列运算单元相互结合,待设定前述阵列运算单元的各参数的初始值后,将前述物体领域图像以像素单位适当地加以输入,依序进行从变换为前述重复信息图像到前述重复信息图像之各频带像素值的输出,反复进行至前述勿体领域图像不再输入为止。据此,能利用一般的处理器,容易地进行前述参数之修正。又,前述阵列运算单元,未必需要严密进行等待位于附近之前述阵列运算单元所传送来的各种前述图像之附近图像的接收。此系因为无法接收来自位于附近之前述阵列运算单元之各种前述图像的前述附近像素时,等待接收之前述阵列运算单元能使用相当于0之像素值加以取代的关系。此时,虽然前述阵列运算单元所生成之各种前述图像的像素中可能有若干的噪声,但在本发明中,几乎所有的噪声都被前述各种机构加以吸收。藉使用相当于0之前述频带像素值加以取代的机构,能同时且简单地实现边缘处理与超时处理。
按照本发明的第五方面,是一种视觉装置,其特征在于,针对实现使物体领域规格化之机构的数据处理装置中配置成格子状之各个阵列运算单元,具备:
将前述阵列运算单元初始化的机构;
若无应输入之物体领域图像或数字图像时,即结束处理的机构;
输入前述物体领域图像之频带像素值及前述数字图像之各频带像素值的机构;
将前述物体领域图像之前述频带像素值与前述数字图像之前述各频带像素值加以分离,以生成更新物体领域图像之频带像素值及更新数字图像之各频带像素值的机构;
将自前述更新物体领域图像所计算之移动量,图像化为移动量图像之频带像素值的机构;
随前述移动量图像之前述频带像素所指示之移动位置的重复数,生成能移动图像之频带像素值的机构;
根据前述能移动图像的判定,将前述更新物体领域图像之前述频带像素值移动到前述移动位置的机构;
配合前述更新物体领域图像之前述频带像素值的移动,移动前述更新数字图像之前述各频带像素值的机构;
对前述物体领域中未包含之前述更新物体领域图像的前述频带像素值,以前述物体区域中包含之附近频带像素值之平均值加以内插的机构;
配合前述更新物体领域图像之频带像素值的内插,内插前述更新数字图像之前述各频带像素值的机构;以及
输出内插前述更新数字图像后所生成之规格化图像之各频带像素值的机构。
也就是说,此系用以将前述阵列运算单元所提供的前述规格化图像的生成机能以数字技术来加以实现之算法的组装形态。将前述阵列运算单元配置成格子状,使相邻之前述阵列运算单元相互结合,待设定前述阵列运算单元的各参数的初始值后,将前述物体领域图像及前述数字图像以像素单位适当地加以输入,依序进行前述物体领域图像与前述数字图像的分离到前述规格化图像之各频带像素值的输出,反复进行至前述物体领域图像及前述数字图像不再输入为止。据此,能利用一般的处理器,容易地进行前述参数之修正。又,前述阵列运算单元,未必需要严密进行等待位于附近之前述阵列运算单元所传送来的各种前述图像之附近图像的接收。此系因为无法接收来自位于附近之前述阵列运算单元之各种前述图像的前述附近像素时,等待接收之前述阵列运算单元能使用相当于0之像素值加以取代的关系。此时,虽然前述阵列运算单元所生成之各种前述图像的像素中可能有若干的噪声,但在本发明中,几乎所有的噪声都被前述各种机构加以吸收。藉使用相当于0之前述频带像素值加以取代的机构,能同时且简单地实现边缘处理与超时处理。
按照本发明的第六方面,是一种视觉装置,其特征在于,针对辨识规格化图像之机构中实现图案匹配的数据处理装置中配置成格子状之各个阵列运算单元,具备:
将前述阵列运算单元配置成格子状的机构;
将前述阵列运算单元初始化的机构;
至应输入之模板图像完全没有为止,输入前述模板图像之频带像素值的机构;
若无应输入之前述规格化图像时,即结束处理的机构;
输入前述规格化图像之频带像素值的机构;
计算匹配结果的机构;
更新匹配结果图像的机构;以及
输出前述匹配结果图像之频带像素数的机构。
也就是说,此系在辨识前述图像辨识机构中,为以数字技术来实现前述阵列运算单元所提供之图形匹配之算法的组装形态。将前述阵列运算单元配置成格子状,使相邻之前述阵列运算单元相互结合,待设定前述阵列运算单元的各参数的初始值后,将前述模板(template)图像及前述规格化图像以像素单位适当地加以输入,依序进行自前述匹配结果之计算到前述匹配结果图像之各频带像素值的输出,反复进行至前述规格化图像不再输入为止。据此,能利用一般的处理器,容易地进行前述参数之修正。又,前述阵列运算单元,未必需要严密进行等待位于附近之前述阵列运算单元所传送来的各种前述图像之附近图像的接收。此系因为无法接收自位于附近之前述阵列运算单元之各种前述图像的前述附近像素时,等待接收之前述阵列运算单元能使用本身之前述频带像素值加以取代的关系。此时,虽然前述阵列运算单元所生成之各种前述图像的像素中可能有若干的噪声,但在本发明中,几乎所有的噪声都被前述各种机构加以吸收。藉使用本身之前述频带像素值加以取代的机构,能同时且简单地实现边缘处理与超时处理。
按照本发明的第七方面,是一种视觉装置,其特征在于,针对使用形成边缘信息图像来分离物体领域之机构的数据处理装置中配置成格子状之各个阵列运算单元,具备:
将前述阵列运算单元配置成格子状的机构;
将前述阵列运算单元中的非线形振动单元与位于前述非线形振动单元附近之前述非线形振动单元,以结合值加以连接的机构;
将前述阵列运算单元初始化的机构;
若无应输入之前述形成边缘信息图像时,即结束处理的机构;
输入前述形成边缘信息图像之频带像素值的机构;
计算干扰的机构;
计算前述非线形振动单元附近输入合计的机构;
计算前述非线形振动单元参数的机构;
计算前述非线形振动单元之输出的机构;
计算轮廓参数的机构
计算交界参数的机构;以及
输出包含有以前述非线形振动单元加以分离之前述物体领域之物体领域图像之频带像素值的机构。
也就是说,此系为以数字技术来实现前述阵列运算单元所提供之前述物体领域图像的生成机能之算法的组装形态。将前述阵列运算单元配置成格子状,使相邻之前述阵列运算单元相互结合,待设定前述阵列运算单元的各参数的初始值后,将前述形成边缘信息图像以像素单位适当地加以输入,依序进行自前述干扰的计算到前述物体领域图像之各频带像素值的输出,反复进行至前述形成边缘信息图像不再输入为止。据此,能利用一般的处理器,容易地进行前述参数之修正。又,前述阵列运算单元,未必需要严密进行等待位于附近之前述阵列运算单元所传送来的各种前述图像之附近图像的接收。此系因为无法接收来自位于附近之前述阵列运算单元之各种前述图像的前述附近像素时,等待接收之前述阵列运算单元能使用本身之参数值或像素值加以取代的关系。此时,虽然前述阵列运算单元所生成之各种前述图像的像素中可能有若干的噪声,但在本发明中,几乎所有的噪声都被前述各种机构加以吸收。藉使用本身之前述参数值或前述频带像素值加以取代的机构,能同时且简单地实现边缘处理与超时处理。
附图说明
第1图系自帧图像计算移动物体数之视觉装置的方块图。
第2图系使用物体/背景分离机构,自帧图像计算移动物体数之视觉装置的方块图。
第3图系自帧图像计算所有物体数之视觉装置的方块图。
第4图系使用物体/背景分离机构,自帧图像计算所有物体数之视觉装置的方块图。
第5图系用来求出移动物体与静止物体比例之视觉装置的方块图。
第6图系用来控制移动式摄像机之视觉装置的方块图。
第7图系生成物体规格化图像之视觉装置的方块图。
第8图系输出物体辨识结果之视觉装置的方块图。
第9图系生成环境地图之视觉装置的方块图。
第10图系使用环境地图,控制移动式摄像机之视觉装置的方块图。
第11图系计算任意物体数量之视觉装置的方块图。
第12图系利用几何解析,进行高速化之视觉装置的方块图。
第13图系将阵列运算单元配置成格子状的方块图。
第14图系显示本实施形态之图像存储机构之算法的流程图。
第15图系显示本实施形态之图像振动机构之算法的流程图。
第16图系显示本实施形态之边缘信息生成机构之算法的流程图。
第17图系使用数字图像,将粗边缘信息形成为形成边缘信息时之说明图。
第18图系显示本实施形态之边缘信息形成机构之算法的流程图。
第19图系将自低解像度数字图像所生成之低解像度粗边缘信息形成为形成边缘信息时之说明图。
第20图系将自低解像度数字图像所生成的低解像度粗边缘信息领域切出后,形成为形成边缘信息时的说明图。
第21图系检测边缘信息图像中之物体位置及大小时的说明图。
第22图系显示本实施形态之位置/大小检测机构之算法的流程图。
第23图系检测物体领域图像中之物体位置及大小时的说明图。
第24图系将数字图像之切出领域加以规格化时的说明图。
第25图系显示本实施形态之领域规格化机构之算法的流程图。
第26图系显示本实施形态之规格化图像保持机构之算法的流程图。
第27图系相对规格化图像,自模板图像中进行图形匹配时的说明图。
第28图系显示本实施形态之图像辨识机构中图形匹配之算法的流程图。
第29图系显示三角形之边缘信息分离为三角形内侧领域与外测领域之状态的说明图。
第30图系显示本实施形态之物体/背景分离机构之算法的流程图。
第31图系显示虚线状态之三角形之边缘信息分离为虚线三角形内侧领域与外测领域之状态的说明图。
第32图系显示重叠两个三角形之边缘信息分离为两个三角形领域与背景领域之状态的说明图。
第33图系显示重叠两个圆形虚线状态之边缘信息分离为两个圆形领域与背景领域之状态的说明图。
第34图系阵列运算单元之内部构造的方块图。
第35图系控制器的方块图。
第36图系显示标记解码器之输入输出信号的说明图。
第37图系显示标记编码器之输入输出信号的说明图。
第38图系显示处理器透过控制器,将数据传送至相邻之的阵列运算单元之算法的流程图。
第39图系显示控制器自相邻之阵列运算单元接收数据之算法的流程图。
第40图系显示处理器自上输入暂存器接收数据之算法的流程图。
实施发明的较佳方式
以下,对显示于第1~12图之12个视觉装置的实施形态加以说明。该等实施形态系利用图像取得机构11(参照第1图)、图像存储机构12(参照第1图)、图像振动机构13(参照第3图)、边缘信息生成机构14(参照第1图及第3图)、边缘信息形成机构15(参照第1图)、物体/背景分离机构16(参照第2图)、位置/大小检测机构17(参照第1图及第2图)、像素计数机构18(参照第1图)、像素保持机构19(参照第1图及第5图)等。图像取得机构11,是接收摄像机的摄像信号(帧图像1),将之转换为适当格式与大小的数字图像111;图像存储机构12是将数字图像111存储一定期间;图像振动机构13是使用数字电路,使数字图像111振动;边缘信息生成机构14是根据两种数字图像111,生成移动物体2或静止物体3的粗边缘信息112;边缘信息形成机构15是将粗边缘信息112形成为更明确的形成边缘信息114;物体/背景分离机构16是将形成边缘信息114所区分的区域加以分离;位置/大小检测机构17是检测形成边缘信息114所区分或分离出之各区域的位置及大小;像素计数机构18是自具有适当大小区域的位置,计算出区域数量;像素保持机构19是输出区域数量或区域数量的比例。
如第1图所示,移动物体计数部101将摄像机所拍摄之动态图像的帧图像1,输入图像取得机构11,依照图像存储机构12、边缘信息生成机构14、边缘信息形成机构15、位置/大小检测机构17、像素计数机构18、像素保持机构19的顺序进行输出入,输出映在帧图像1之移动物体2的数量。又,帧图像1亦可是用数字相机连续拍摄的静止图像。
图像取得机构11从摄像机输入动态图像的帧图像1时,若动态图像为类比信号时,系使用一般的画像框获取板对帧图像1进行A/D转换以转换为数字信号,形成数字图像111。此外,特别是若能直接输入CCD摄像元件等之电压,亦可利用A/D转换转换为适当位元数的数字信号。当动态图像为数字信号时,若有被压缩时,即加以展开,若未被压缩,即原封不动地加以输入。利用这种方法,因能切出动态图像中任意的帧图像1,故切出该帧图像1形成数字图像111。由于转换后之数字图像111会根据适当的格式而具有任意的图像尺寸,故图像取得机构11能用像素单位将图像数据转换为能参照的格式,于移动物体计数部101切出所需之图像尺寸,作为数字图像111加以输出。若图像取得机构11能并行输出数字图像111的所有像素的话,自图像取得机构11至图像存储机构12之通信,即能各像素并行进行。
当图像存储机构12从图像取得机构11输入数字图像111时,即配合移动物体计数部101的时间分解能力或各机构的计算能力,将数字图像111存储一定时间。也就是说,由于在此一定时间中,即使输入数字图像111,图像存储机构12也不变更存储图像,因此后续各机构能在不同的时点输入相同的数字图像111。而且,图像存储机构12对数字图像111并不施以图像处理,故对数字图像111的所有像素,系在保持二次元之相位关系下加以存储。若图像存储机构12能并行输出数字图像111之所有像素,自图像存储机构12至边缘信息生成机构14之通信,即能以各像素并行进行。
当边缘信息生成机构14从图像存储机构12输入数字图像111时,藉比较先前所输入之数字图像111,生成移动物体2之粗边缘信息图像113。由于边缘信息生成机构14能仅在各像素的附近处理时生成粗边缘信息图像113,因此适合并行化。若边缘信息生成机构14能并行输出粗边缘信息图像113之所有像素,自边缘信息生成机构14至边缘信息形成机构15之通信,即能各像素并列进行。
当边缘信息形成机构15自边缘信息生成机构14输入粗边缘信息图像113,即参照图像存储机构12所存储的数字图像111,生成比数字图像113更明确且明了的移动物体2之形成边缘信息图像115。由于边缘信息形成机构15能仅在各像素的附近处理生成形成边缘信息图像115,因此适合并列化。若边缘信息形成机构15能并列输出形成边缘信息图像115的所有像素,自边缘信息形成机构15至位置/大小检知机构17之通信,即能各像素并列进行。
当位置/大小检测机构17自边缘信息形成机构15输入形成边缘信息图像115时,即检测形成边缘信息114所指示之移动物体2的领域位置及大小。由于位置/大小检知机构17仅用各像素附近处理,即能生成显示移动物体2之领域位置及大小之检测结果的重复信息图像132,因此适合并列化。若位置/大小检知机构17能并列输出重复信息图像132的所有像素,自位置/大小检知机构17至像素计数机构18之通信,即能各像素并列进行。
当像素计数机构18自位置/大小检知机构17输入重复信息图像132时,即能计算显示适当大小之移动物体2之领域位置的像素数量。该处理,与其使用并列处理,不如使用逐次处理来进行较为方便。因此,重复信息图像132的各像素系存储于线性存储器中。显示移动物体2之领域位置的像素数量,系自像素计数机构18输出至像素数保持机构19。
当像素数量保持机构19自像素计数机构18输入像素数量时,即将像素数量转换为2的补数表现或浮动小数点表现等输出端所需的形式,进行必要期间之输出。也就是说,移动物体计数部101能输出移动物体数量。
前述各机构,若能用独立的硬件组装的话,即能实施并行计算,故移动物体计数部101能具有即时性。因此,适用于计算移动速度快的物体数时,或以短时间处理大量的动态图像时。另外,若几个机构能利用软件组装于一个处理器上的话,则计算速度虽然变慢但却能价廉地加以制造。因此,非常适合即使输出计数结果要花费数分钟以上也无所谓的应用例。
当位置/大小检测机构17使用边缘信息形成机构15所生成的形成边缘信息图像115,检测移动物体2的领域位置及大小时,有可能因移动物体2之密度,使显示移动物体2之领域位置的像素数量与移动物体2之数量不同。主要原因是,形成边缘信息114不一定是正确地抓出移动物体2之边缘,以及位置/大小检测机构17无法从形成边缘信息114辨别移动物体2的形状。因此,若移动物体2的密度较高,就会组合不同移动物体2所生成的形成边缘信息114,有时会与不存在的物体边缘信息混在一起。为了解决这种问题,虽能根据形成边缘信息114来辨别移动物体2之形状,但以往的几何解析方法由于系进行大区域处理,因此计算量变多,若欲提高辨别结果之精密度,计算时间即就会以指数函数变长。因此,利用附近处理,可使用物体/背景分离机构16(参照第2图)作为解决该问题的机构。
当物体/背景分离机构16自边缘信息形成机构15输入形成边缘信息图像115时,即能将物体领域141所包含的像素与背景所包含的像素,分离成不同的组,将分离结果以组单位依序输出。又,当物体领域141即使相邻而能以形成边缘信息114明确加以区别时,物体/背景分离机构16,能将该等物体领域分离成不同的组。因此,组数也达到3以上。由于物体/背景分离机构16能仅以附近处理分离出各像素中之物体领域141与背景,因此适合并列化。若物体/背景分离机构16能并列输出物体领域图像142的所有像素,自物体/背景分离机构16至位置/大小检测机构17之通信,即能各像素并列进行。
因此,如第2图所示,藉使用物体/背景分离机构16,即能仅以附近处理一面补足形成边缘信息114,一面分离移动物体2的领域与其他的背景领域。此时,若移动物体2的领域类似圆形的话,换句话说,若移动物体2的领域中凹凸较少的话,位置/大小检测机构17就能抓出一定大小的领域,以特定位置。因此,若能事前知道移动物体2系类似圆形的话,像素计数机构18即能藉使用物体/背景分离机构16,能计算显示特定大小之移动物体2之领域位置的像素数。也就是说,移动物体计数部101能输出精度更高的移动物体数量。
以上,说明了计算动态图像之二个以上的帧图像1中的移动物体2之数量时,移动物体计数部101是如何动作。接着,说明动态图像之一个帧图像1中的移动物体2与静止物体3的总数,也就是说,计算所有物体数量时之情形。
首先,基本动作与使用前述动态图像之帧图像1计算移动物体2之数量的情形相同。也就是说,用适当的方法将帧图像1中之静止物体3看起来是替换为帧图像1中的移动物体2即可。如此,由于会生成静止物体3之粗边缘信息112,因此移动物体计数部101亦能计算静止物体3的数量。将静止物体3视为移动物体2之最简单的方法,即系使用振动台等使摄像机(数字相机)或静止物体3本身进行微细振动。但是,因该方法必须要有物理性机构,故移动物体计数部101将会变的昂贵或复杂。另一方面,作为不使用物理性机构的机构,有图像振动机构13(参照第3图)。
当图像振动机构13自图像存储机构12输入数字图像111时,静止物体3即在数字图像111中,以图像单位一起或像素单位个别之方式,在3像素前后的范围上下左右地振动。若图像振动机构13能并列输出数字图像111的所有像素,自图像振动机构13至边缘信息生成机构14之通信,即能各像素并列进行。
因此,如第3图所示,图像振动机构13,即使得图像取得机构11所生成之数字图像111中的静止物体3,在3像素前后范围上下左右振动。据此,由于边缘信息生成机构14,就能将静止物体3视为移动物体2,以生成静止物体3的粗边缘信息112,故全物体计数部102,即能计算移动物体2与静止物体3的总数,也就是说,能计算所有物体数量。
再者,与移动物体2及静止物体3无关地,物体/背景分离机构16仅利用形成边缘信息114分离物体领域141与背景领域。因此,若能预先知道移动物体2及静止物体3系类似于圆形的话,则如第4图所示,将边缘信息形成机构15所生成的形成边缘信息图像115输入物体/背景分离机构16,将物体/背景分离机构16所生成的物体领域图像142输入位置/大小检测机构17,据此,位置/大小检测机构17即能计算显示特定大小的移动物体2及静止物体3之领域位置的像素数量。也就是说,全物体计数部102能输出更高精度的所有物体数量。
另外,如上所述,视觉装置使用计算动态图像的帧图像1中的移动物体2之数量的移动物体计数部101,与大致具备相同机构的全物体计数部102,即能计算动态图像1中的移动物体2及静止物体3的总数。因此,考虑使用一个视觉装置,同时计算移动物体2及静止物体3的方法。此时,若能求出移动物体2及静止物体3之数量的话,即能对所有物体容易地计算出移动物体2的比例,或静止物体3的比例。以下,亦对用以求出移动物体2及静止物体3之比例的视觉装置加以说明。
求出移动物体2与所有物体的数量,且求出移动物体2及静止物体3之比例之视觉装置的整体构成,如第5图所示,大致划分为移动物体计数部101与全物体计数部102所组成。移动物体计数部101与全物体计数部102,是由前述各个机构所构成。又,移动物体计数部101与全物体计数部102的图像取得机构11及图像存储机构12,由于系进行完全相同的动作,故在第5图中,系共用图像取得机构11及图像存储机构12。因此,重要的是移动物体计数部101的像素数保持机构19,是从全物体计数部102的像素计数机构18输入所有物体数,全物体计数部102的像素数保持机构19,是从移动物体计数部101的像素计数机构18输入移动物体数,利用比例切换信号等来自外部的信号,计算移动物体2及静止物体3的比例进行切换以变换为浮动小数点表记等。当然,若不需计算移动物体2及静止物体3的比例,或能利用别的装置来实现的话,就不必将此机能加于像素数保持机构19。相反的,当同时求移动物体数及静止物体数时,只要在像素数保持机构19追加对应之机能即可。藉在像素数保持机构19中使用一般处理器,视觉装置即能视用途自由地进行此种变更。
又,如上述之说明般,从本发明第1-3视觉装置(由移动物体计数部101及全物体计数部102所构成),是用来计算摄像机所拍摄之帧图像1中之移动物体2及静止物体3之数量的装置。因此,若移动物体2及静止物体3是包含在帧图像1中的话,该等视觉装置就能计算移动物体2及静止物体3的数量。但是,移动物体2及静止物体3一旦偏离帧图像1的话,该等视觉装置就无法计算移动物体2及静止物体3的数量。因此,以下,就使用移动式摄像机10(参照第6图),一面随时搜索移动物体2及静止物体3,一面计算其数量之本发明第4或5视觉装置加以说明。
首先,移动式摄像机10备有向水平方向及垂直方向移动的机构,藉输入来自外部之控制移动角度的指令,能分别进行镜头之摇动及倾斜。又,移动式摄像机10备有变更拍摄图像倍率的机构,藉输入来自外部之控制倍率的指令,能进行变焦。因此,移动式摄像机10,能根据来自外部的指令,使摄像机进行微细的振动。据此,移动式摄像机10所拍摄之动态图像的帧图像1产生晃动,帧图像1中的物体被拍摄得宛如振动。也就是说,若使用移动式摄像机10的话,即不需使用全物体计数部102的图像振动机构13,仅用移动物体计数部101即能计算所有物体的领域。这种方法虽然因使用移动式摄像机10之物理性机构,而在处理速度与计数精度等方面虽有若干问题,但由于仅用移动物体计数部101即能计算移动物体2与所有物体两者的领域,故适合计算位于无法包含于帧图像1中之宽敞地方的移动物体2及静止物体3。
此处,移动式摄像机10系能将根据摇动镜头、倾斜及变焦等移动指令之所移动之现在位置,视需要加以输出,且亦能视需要将现在是移动中或是停止中等移动式摄像机10的状态加以输出者。此时,若视觉装置能控制移动式摄像机10的摇动镜头、倾斜及变焦的话,该视觉装置即能变更移动式摄像机10的方向及倍率,以使移动式摄像机10能恒以适当的大小拍摄移动物体2及静止物体3。
因此,第6图系显示移动式摄像机10具备有能恒以适当的大小来拍摄移动物体2及静止物体3的基本机构之本发明第4视觉装置。此时,视觉装置系根据机能,使用三种坐标系统,亦即使用摄像机坐标系统、图像坐标系统及环境坐标系统。第一,摄像机坐标系统,如其字义,系移动式摄像机为了用各个最小控制单位控制移动镜头、倾斜及变焦所使用之摄像机内部的三次元球坐标系统。一般说来,摄像机坐标系统的原点,系称为原点(homeposition)之移动式摄像机的固有位置。摄像机坐标系统是能显示移动物体2及静止物体3之物理位置的唯一坐标系统。即使如此,摄像机坐标系统,由于在每种移动式摄像机10中皆不同,故无一般性。因此,视觉装置须对其他的机构隐匿摄像机坐标系统。第二,图像坐标系统系将移动式摄像机10所拍摄之帧图像1的中央作为原点、以像素为单位的二次元坐标系统。此系用来显示移动物体2及静止物体3究竟是位于帧图像1中的那一像素上。因此,图像坐标系统,虽适合区别位于帧图像1中复数物体之微细的位置,但仅藉图像坐标系统是无法显示移动物体2及静止物体3的物理位置。第三,环境坐标系统,是视觉装置用来在内部逻辑上统一显示移动物体2及静止物体3之位置所使用的三次元球坐标系统。环境坐标系统在水平方向及垂直方向使用以弧度(radian)为单位的角度,为了显示物体大小与离物体距离的积,在距离方向系使用以1.0为单位的实数。一般说来,由于物体的大小不会极端地变化,故可将到物体之距离与移动式摄像机10的倍率视为正比。环境坐标系统的原点为任意。亦即,原则上,环境坐标系统是用来显示环境坐标系统上之任意2点的相对坐标。视觉装置利用移动式摄像机10,藉将可摄影环境中的物体投影于环境坐标系统中,即能区别多个物体。
因此,摄像机坐标系统及图像坐标系统必须与各个环境坐标系统相互地进行转换。担负此角色的机构即系摄像机/环境坐标转换机构20、图像/环境坐标转换机构21及运动控制机构23。该等机构系自移动式摄像机10及图像取得机构11的规格,求出摄像机坐标系统及图像坐标系统的各单位,以计算用以转换为环境坐标系统之矩阵。又,亦可藉计算自摄像机坐标系统到环境坐标系统之转换矩阵的逆矩阵,求出自环境坐标系统到摄像机坐标系统的转换矩阵。不过,由于摄像机坐标系统的原点是移动式摄像机10的原点位置,因此自摄像机坐标系统转换而来之环境坐标系统之位置,系环境坐标系统上移动式摄像机10之原点位置的相对位置。另一方面,自环境坐标系统转换而来之摄像机坐标系统的位置,系摄像机坐标系统上自移动式摄像机10现在位置的相对位置。再者,由于图像坐标系统是二次元坐标系统,故仅用图像坐标系统是无法转换为环境坐标系统。因此,图像/环境坐标转换机构21,是使用环境坐标系统所显示之移动式摄像机10的方向及倍率,与帧图像1中移动物体2及静止物体3的领域大小,藉随时计算随时转换矩阵,以自图像坐标系统转换为环境坐标系统。此外,自图像坐标系统转换而来之环境坐标系统的位置,成为自图像中心的相对位置。
因此,本发明第4视觉装置的其他机构,可视为为了恒以适当之大小拍摄移动物体2及静止物体3,用来生成及转换该三个坐标系统所显示之移动物体2及静止物体3位置的机构。因此,以坐标系统摄像机坐标系统、图像坐标系统及环境坐标系统为基础,说明第6图。
首先,图像取得机构11、边缘信息生成机构14及位置/大小检测机构14及大小检测机构17,系与移动物体计数部101及全物体计数部102所构成之本发明第1-3视觉装置中所说明者相同。不过,本发明第1-3视觉装置中,系将生成边缘信息形成机构15所生成之形成边缘信息图像115输入位置/大小检测机构17,至于本发明第4视觉装置中,则系将生成边缘信息生成机构14所生成之粗边缘信息图像113输入位置/大小检测机构17。当然,在这种视觉装置中,虽能藉使用边缘信息形成机构15,将形成边缘信息图像115输入位置/大小检测机构17,但因下述之理由,该视觉装置之性能,即使不使用边缘信息形成机构15亦已足够。第一,该视觉装置中,不需要如本发明第1-3视觉装置般,计算移动物体2及静止物体3的领域数。反而该视觉装置中较重要的是,搜索移动物体2及静止物体3,并将移动式摄像机10的方向与倍率对准于该方向。且,位置/大小检测机构17亦能自粗边缘信息112,求出移动物体2及静止物体3之领域数量的概略大小。第二,边缘信息形成机构15系使用边缘信息生成机构14所生成之粗边缘信息图像113,来生成形成边缘信息图像115。亦即,在边缘信息形成机构15生成形成边缘信息图像115之期间,移动物体2会产生移动。一般说来,由于移动式摄像机10具有物理性机构,因此移动式摄像机10的移动速度不会太快。因此,当该视觉装置使移动式摄像机10移动时,由于移动物体2的移动速度,而有来不及控制移动式摄像机10的可能。由于上述原因,本发明第4视觉装置,未必需要移动物体2及静止物体3之明确且明了的形成边缘信息114。
其次,摄像机/环境坐标转换机构20及图像/环境坐标转换机构21,将用位置/大小检测机构17所生成之重复信息图像132所显示之移动物体2及静止物体3的领域位置,转换为环境坐标系统的位置。此时,若帧图像1中移动物体2及静止物体3之领域位置的总数是2以上的话,环境坐标系统上亦存在两个以上的位置。因此,为了控制移动式摄像机10之移动镜头、倾斜及变焦中任一项以使移动式摄像机10的方向及倍率对准一个物体,必须从环境坐标系统上的位置中选择一个。位置选择机构22根据一定的判断基准,选择环境坐标系统上的一个位置。此处所使用之判断基准主要如下。第一,选择环境坐标系统上物体最近(或最大的)者。此系因物体较远(或较小时)时,边缘信息生成机构14有可能生成噪声,故尽量选择环境坐标系统上之位置有物体之概率较高者。第二,当环境坐标系统上之一定范围内,多个位置集中时,选择其中之一。这有两种可能性。一是边缘信息生成机构14对一个物体生成分散的粗边缘信息112的可能性,另一个是实际上存在多个物体的可能性。第三,环境坐标系统上多数字置系大致相同距离(或大致相同大小)时,选择离原点最近的位置,亦即,选择离移动式摄像机10方向最近的位置。视用途与状况适当组合上述事项,位置选择机构22即能选择环境坐标系统上的一个位置。
又,本发明第4视觉装置,除了以位置选择机构22所选择的位置外,亦能在下述位置求出摇动镜头、倾斜及变焦移动式摄像机10。首先,该视觉装置必须使移动式摄像机10振动。因此,为了使移动式摄像机10振动,振动指令生成机构25,将移动式摄像机10移动之位置指定为环境坐标系统上的位置。振动指令生成机构25所指定之位置,系移动式摄像机10绝对不振动的范围,而由拟似随机数等加以决定。再者,本发明第4视觉装置,系藉输入来自外部之控制指令以求出对移动式摄像机10进行摇动镜头、倾斜及变焦。至于一般的用途,由于系对移动式摄像机10现在面向的方向与倍率,进行移动镜头、倾斜及变焦,故使用控制指令输入机构24暂时存储控制指令后,即算出将移动式摄像机10之现在位置作为原点之环境坐标系统上的位置。又,藉改良控制指令输入机构24,能容易地使移动式摄像机10移动至特定的位置。
因此,为了控制移动式摄像机10的移动镜头、倾斜及变焦,运动控制机构23自前述环境坐标系统上的三个位置中选择一个位置。运动控制机构23自前述环境坐标系统上的三个位置中选择一个位置时,以控制指令输入机构24、位置选择机构22、振动指令生成机构25的顺序,自有输入位置之机构加以选择。所选择的位置从环境坐标系统转换为摄像机坐标系统。之后,利用摄像机指令生成机构26,转换为移动式摄像机10能辨识的指令,以传送至移动式摄像机10。据此,本发明第4视觉装置,即能控制移动式摄像机10的移动镜头、倾斜及变焦。
又,视移动式摄像机10之机种,若不传送特定指令给移动式摄像机10的话,就无法得到移动式摄像机10的状态,亦即,无法得到移动式摄像机10之方向及倍率、与移动式摄像机10是在移动中还是停止中的信息。因此,运动控制机构23自三个位置中选择一个并输出至在摄像机指令生成机构26后,指示摄像机指令生成机构26,以将询问移动式摄像机10是否移动中的信息指令传送给移动式摄像机10,从移动式摄像机10透过摄像机/环境坐标转换机构20,待机到接收该信息为止。若所接收的信息系显示在移动中,即再一次指示摄像机指令生成机构26,以将询问移动式摄像机10是否移动中的信息指令传送给移动式摄像机10。若所接收的信息系显示停止中,即指示摄像机指令生成机构26,以将询问移动式摄像机10现在位置及倍率之指令传送给移动式摄像机10。在此期间,运动控制机构23不选择三个位置。摄像机指令生成机构26根据来自运动控制机构23的指令,将对应的指令传送给移动式摄像机10。摄像机/环境坐标转换机构20原封不动地将移动式摄像机10是否移动中的信息传送给运动控制机构23,另外,将移动式摄像机10的现在位置及倍率,自摄像机坐标系统转换为环境坐标系统的位置。据此,本发明第4视觉装置,即能一面逐次调查移动式摄像机10的状态,一面控制移动式摄像机10的移动镜头、倾斜及变焦。
到现在为止,已就具备有移动式摄像机10为恒以适当的大小拍摄帧图像1中之移动物体2及静止物体3之基本机构的本发明第4视觉装置,进行了说明。然而,并不表示移动物体2及静止物体3是经常存在于移动式摄像机10所拍摄的范围中,且移动物体2不久后即会自移动式摄像机10所拍摄的范围移动到其他的位置。当然,若移动物体2移动,从移动式摄像机10所见之移动物体2的形状及颜色当然变化。因此,以下所说明之本发明第5视觉装置,可视为在本发明第4视觉装置中,增加用来更正确地辨识帧图像1中之移动物体2及静止物体3的形状及颜色的若干机构,与用来更正确地计算移动式摄像机10在一定时间内所拍摄之移动物体2及静止物体3之数量的若干机构,与更正确地使移动式摄像机10移动,以朝向在移动式摄像机10能拍摄之范围内的移动物体2及静止物体3之位置的机构。
第7图之视觉装置,系在本发明第4视觉装置中追加边缘信息形成机构15、物体/背景分离机构16、领域规格化机构27及规格化图像保持机构28,以生成规格化图像145者。边缘信息形成机构15、物体/背景分离机构16,与由移动物体部101及全物体计数部102所构成之本发明第1-3视觉装置的边缘信息形成机构15、物体/背景分离机构16相同者。
当领域规格化机构27分别输入来自物体/背景分离机构16及图像取得机构11之物体领域图像142及数字图像111时,即从数字图像111切出分离物体领域143,一面使分离物体领域143变形,一面配合数字图像111的图像尺寸,尽可能利用内插及放大生成规格化图像145。由于领域规格化机构27仅用各像素之附近处理,即能将分离物体领域143进行规格化,因此适合并列化。若领域规格化机构27能并列输出规格化图像145的全部像素,自领域规格化机构27至规格化图像保持机构28之通信,即能各像素并列进行。
当规格化图像保持机构28自领域规格化机构27输入规格化图像145时,若规格化图像145之输出端要求适当格式之规格化图像145的话,即能将规格化图像145转换为规格化图像145输出端所要求的格式。之后,规格化图像保持机构28在将规格化图像145确实地传送至规格化图像145的输出端前,存储规格化图像145一定期间。规格化图像保持机构28若限定转换格式的话,由于仅藉各像素附近处理即能转换规格化图像145,因此适合并列化。若规格化图像保持机构28能并列输出规格化图像145的全部像素,自规格化图像保持机构28至规格化图像145之输出端的通信,集能各像素并列进行。
因此,藉使用边缘信息形成机构15、物体/背景分离机构16、领域规格化27及规格化图像保持机构28,即使本发明第4视觉装置所拍摄的移动物体2及静止物体3,在帧图像1中的任意位置以任意的大小存在,第7图之视觉装置亦能尽量生成类似之移动物体2及静止物体3的规格化图像145。据此,当规格化图像145之输出端须辨识移动物体2及静止物体3时,规格化图像145的输出端即不需考虑帧图像1中的移动物体2及静止物体3的位置及大小,而能使用适当之辨识方法。
又,第7图之视觉装置中,在边缘信息生成机构14、边缘信息形成机构15、物体/背景分离机构16、领域规格化27及规格化图像保持机构28间,各机构所输入之图像解析度或影像大小并不一定要一致。例如,第7图之视觉装置,于边缘信息生成机构14中输入降低数字图像111之解像度的低解像度数字图像116,另一方面,于边缘信息形成机构15中,输入以适当之方法将边缘信息生成机构14所生成的低解像度粗边缘信息图像117之图像尺寸放大为数字图像111之图像尺寸的粗边缘信息图像113,于物体/背景分离机构16及领域规格化机构27中输入数字图像111,即能减低边缘信息生成机构14的负载。亦即,几乎不需改变边缘信息形成机构15以后所生成之规格化图像145的品质,即能更高速地控制位置/大小检测机构17以后之移动式摄像机10的移动镜头、倾斜及变焦的控制。若进一步进行该方法,于边缘信息形成机构15中,输入边缘信息生成机构14所生成之粗边缘信息图像117的图像中切出存在粗边缘信息112之领域的切出粗边缘信息图像119,于物体/背景分离机构16及领域规格化27中,输入自数字图像111中切出与切出粗边缘信息图像119相同位置领域的数字图像120,即能减低边缘信息形成机构15以后之规格化图像145所生成的负载。此处,若能利用本发明第4视觉装置,使移动式摄像机10在帧图像1之中央以适当的大小拍摄移动物体2及静止物体3的话,即能预先决定对数字图像111的切出粗边缘信息图像119及切出数字图像120的切出领域。据此,第7图之视觉装置,即能利用1台移动式摄像机10,达成与使用广角摄像机与高解像度摄像机的物体搜索装置同样的性能。
第8图之视觉装置,系在第7图之视觉装置中追加图像辨识机构29及辨识机构保持机构30,以生成辨识结果者。
当图像辨识机构29自领域规格化机构输入规格化图像145时,使用适当之图像辨识方法辨识规格化图像145之移动物体2及静止物体3的规格领域144,并输出辨识结果。由于输入图像辨识机构29之规格化图像145,系利用领域规格化机构27使移动物体2及静止物体3变形,因此图像辨识机构29,与其使用行程抽出法、傅立叶转换及哈佛转换等对位置偏离较佳之方法进行几何解析,倒不如进行输入图像与模板图像之比较的图像匹配方法较为合适。作为图像匹配方法,可使用以误差反传播法(back propagation)而能学习模板图像之传播等的中性网路。又,当使用中性网路时,藉使用中性网路的加速器,也能进行并列化及高速化。规格化图像145的辨识结果,系自图像辨识机构29输出到辨识结果保持机构30。
当辨识结果保持机构30自图像辨识机构29输入规格化图像145之辨识结果时,若辨识结果之输出端要求适当格式之信号的话,即将辨识结果转换为辨识结果输出端所要求的格式。之后,辨识结果保持机构30在能确实传送辨识结果至辨识结果输出端前,存储辨识结果一定期间。
因此,藉使用图像辨识机构29及辨识结果保持机构30,第8图之视觉装置能生成移动式摄像机10以适当之大小拍摄之移动物体2及静止物体3的辨识结果。据此,辨识结果之输出端,能利用第8图之视觉装置,作为移动式摄像机10所拍摄之移动物体2及静止物体3的辨识装置。
第9图之视觉装置,系在第8图之视觉装置增加环境理解机构31、计时机构32及环境地图机构保持33,以生成环境地图。
计时机构32系利用定时器电路以1厘米(mm)秒单位输出现在时刻。现在时刻不断地从计时机构32输出至环境理解机构31。
当环境理解机构31自图像辨识机构29输入移动物体2及静止物体3的辨识结果时,即作成由辨识结果、移动式摄像机10在环境坐标系统上的位置及现在时刻所构成的环境数据。又,当环境理解机构31自图像/环境坐标转换机构21,输入帧图像1中全部之移动物体2及静止物体3之领域在环境坐标系统上之位置时,即仅作成移动物体2及静止物体3之领域数量的环境数据,该环境数据系由无效数据所构成的辨识结果、移动式摄像机10在环境坐标系统上的位置加上帧图像1中之一个移动物体2及静止物体3之领域在环境坐标系统上之位置的位置,以及现在时刻所构成。此时,环境地图系较现在时刻一定时间前所作成之环境数据的集合,环境数据中的位置系以将移动式摄像机10之原点作为原点的环境坐标系统来表示。环境理解机构31,系随时间之经过于对环境地图追加及削除环境数据。此外,环境理解机构31,在削除重复之内容的环境数据的同时,当辨识结果是无效数据的环境数据中的位置在辨识结果不是无效数据的其他环境数据中的位置附近时,削除辨识结果为无效数据的环境数据。再者,当辨识结果不是无效数据之环境数据中的位置,系在辨识结果不是无效数据之其他环境数据中的位置附近时,若该等环境数据中的辨识结果一致的话,即削除前者的环境数据,根据环境数据之记录时间与环境数据中位置附近的范围,决定环境地图的精度。环境地图系从环境理解机构31输出到环境地图保持机构33。
当环境地图保持机构33从环境理解机构31输入环境地图时,若环境地图之输出端要求适当格式之信号的话,即将环境地图转换为环境地图之输出端所要求的格式。然后,环境地图保持机构33,在将环境地图确实地传送至环境地图之输出端前,存储环境地图一定时间。
因此,藉使用环境理解机构31、计时机构32及环境地图保持机构33,第9图之视觉装置,能特定移动式摄像机10所拍摄之移动物体2及静止物体3的位置。据此,环境地图之输出端,能利用第9图之视觉装置,作为移动式摄像机10所能拍摄之移动物体2及静止物体3之位置的特定装置。
第10图之视觉装置,系在第9图之视觉装置中增加物体位置推算机构,以将移动式摄像机10控制于物体之推算位置。
当物体位置推算机构34从环境理解机构31输入环境地图时,即选择一个辨识结果为无效数据的环境数据,抽出该环境数据中的位置。从该位置减去利用摄像机/环境坐标转换机构20所计算之移动式摄像机10的环境坐标系统上的现在位置,物体位置推算机构34,即能求出将移动式摄像机10之环境坐标系统上的现在位置作为原点,即使过去已生成粗边缘信息112,但辨识结果尚未出现之移动物体2及静止物体3在环境坐标系统上的相对位置。但是,于移动物体2之情形中,于现在该位置上不一定存在移动物体2。因此,该位置系有可能存在移动物体2及静止物体3之移动物体2及静止物体3的推算位置。另一方面,若环境地图中没有辨识结果为无效数据之环境数据的话,即在移动式摄像机10能移动之范围内生成适当之环境坐标系统上的位置。此时,作为生成适当位置的基准,考率如下项目。第一,利用拟似随机数,生成任意的位置。第二,计算环境地图中之环境数据中的位置密度低的位置。第三,以适当之顺序依序生成移动式摄像机10能移动之范围内的位置。例如,于移动式摄像机10可移动之范围内,从左上端的位置向右依序生成位置,到达右端后向下降一段,之后,向左依序生成位置,到达左端后向下降一段,之后,向右依序生成位置,反复此种动作。视用途与状况组合该等基准,即能有效地推算移动式摄像机10未拍摄之移动物体2及静止物体3的推算位置。物体推算位置系从物体位置推算机构34,输出到运动控制机构23。
此处,运动控制机构23是以本发明第4视觉装置的运动控制机构23为基准,作如下之变更。亦即,为了控制移动式摄像机10的移动镜头、倾斜及变焦,运动控制机构23是用控制指令输入机构24、物体位置推算机构34、位置选择机构22及振动指令生成机构25的顺序,从有输入位置之机构加以选择。但是,运动控制机构23必须不连续选择来自物体位置推算机构34的输入位置。
因此,藉使用物体位置推算机构34,第10图之视觉装置,即能搜索存在于移动式摄像机10能拍摄范围的移动物体2及静止物体3。据此,环境地图之输出端,能利用第10图之视觉装置,作为移动式摄像机10所能拍摄之移动物体2及静止物体3之位置的特定装置。
第11图之视觉装置,系在第10图之视觉装置中增加物体计数机构35及物体数保持机构36,以生成任意物体数。
当物体计数机构35从环境理解机构31输入环境地图时,即能在环境地图中计算具有特定物体意义之辨识结果的环境数据数,以生成任意物体数。环境数据中之辨识结果,可从图像辨识机构29所辨识的物体种类中选择任意数量。任意物体数是从物体计数机构35输出到物体数保持机构36。又,若视用途而有需要时,藉变更物体计数机构35,就能容易指定应从外部计数的物体种类。
当物体数保持机构36从物体数机构35输入任意物体数时,在将任意物体数确实地传送至任意物体数之输出端前,存储任意物体数一定时间。
因此,藉使用物体计数机构35及物体数保持机构36,第11图之视觉装置,能计算存在于移动式摄像机10能拍摄范围内之特定移动物体2及静止物体3的数量。据此,任意物体数输出端,能利用第11图之视觉装置,作为移动式摄像机10所能拍摄之移动物体2及静止物体3之位置的特定装置。
如第12图所示,本发明第5视觉装置,系在第11图之视觉装置中增加几何解析机构37,以正确且高速作成环境地图。
当几何解析机构37从边缘信息形成机构15输入形成边缘信息图像115时,即藉进行行程抽出法、傅立叶转换及哈佛转换等几何解析,推算帧图像1中的移动物体2及静止物体3的形状,以生成几何解析结果。而以往的图像辨识,系从图像本身直接抽出线部分,或使用不影响位置与大小等的各种转换,进行辨识图像中的物体。因此,虽然处理非常单纯,但组合的数量庞大,其结果需要庞大的计算量,在得到所希望的结果前花费长的时间,或只能得到低品质的辨识结果。然而,本发明第5视觉装置,是对帧图像1中之移动物体2及静止物体3的图形辨识,由物体/背景分离机构16、领域规格化机构27及图像辨识机构29加以进行。因此,几何解析机构37使用形成边缘信息图像115,近对物体/背景分离机构16、领域规格化机构27及图像认识机构29所难以应付的移动物体2及静止物体3的轮廓等图形,以用简单的方法大致进行解析,即能以图像辨识机构29省略不必要的图形匹配,以环境理解机构31正确且高速作成环境地图,同时也能减低几何解析机构37本身的负载。几何解析结果是从几何解析机构37,输出到图像辨识机构29及环境理解机构31。因此,图像辨识机构29及环境理解机构31,分别进行如下的动作。
当图像辨识机构29从几何解析机构37输入几何解析结果时,首先,判断是否为图像辨识机构29所辨识之对象的图形。若几何解析结果是对象外图形的话,图像辨识机构29即不动作。若几何解析结果是对象图形的话,图像辨识机构29即使用对象图形用的模板图像,进行图形匹配。例如,为以误差逆传播法进行学习之视感控制器(perceptron)时,对每一对象图形进行视感控制器之学习,以作成学习数据,然后利用几何解析结果,选择学习数据,针对对象图形有效地进行图形匹配。亦即,若几何解析结果是圆形的话,即仅利用人脸与球等圆形物体之学习数据,若几何解析结果是三角形的话,即仅利用铁路标志与类似山等三角形物体之学习数据。如此,不仅能利用小型的视感控制器辨识多数物体之图形,视感控制器本身也能有效地学习。
当环境理解机构31从几何解析机构37输入几何解析结果时,首先,判断是否为图像辨识机构29所辨识之对象的图形。若几何解析结果是对象外图形的话,环境理解机构31即立刻从环境地图中削除环境数据(系位于移动式摄像机10之环境坐标系统上的位置附近,辨识结果为无效数据的环境资金)。据此,能从环境地图中削除不必要的环境数据,即使不输出物体位置推算机构34等不必要的物体推算位置亦可。当几何解析结果是对象图形时,即待机到从图像辨识机构29输入辨识结果。
因此,藉使用几何解析机构37,本发明第5视觉装置,能正确且高速计算存在于移动式摄像机10能拍摄范围内之特定移动物体2及静止物体3的数量。据此,任意物体数的输出端,即能利用本发明第5视觉装置,作为高速计算移动式摄像机10能拍摄之特定移动物体2及静止物体3之数量的装置。
另外,从本发明第1-5视觉装置,所使用的图像存储机构12、图像振动机构13、边缘信息生成机构14、边缘信息形成机构15、物体/背景分离机构16、位置/大小检测机构17、领域规格化机构27、规格化图像保持机构28及图像辨识机构29能使用由阵列运算单元40(Array Operation Unit)所构成的数据处理装置110,进行组装。因此,以下以利用阵列运算单元40之数据处理装置110的实施形态为例,参照图面说明从本发明第6-12视觉装置。
首先,阵列运算单元40,使用输入图像的一个像素与其附近像素,生成输出图像的一个像素。因此,如第13图所示,使阵列运算单元40配合输入图像的大小,使用格子状排列的数据处理装置110,数据处理装置110即能从输入图像生成输出图像。又,第13图中,将阵列运算单元40简写为AOU。其次,阵列运算单元40可利用专用硬件来进行组装,亦可在一般电脑上利用软件来进行组装。亦即,若能从输入图像生成输出图像的话,组装机构不受限制。因此,藉显示阵列运算单元40的算法,能显示数据处理装置110的图像处理。因此,为了显示阵列运算单元40的算法,就图像存储机构12(参照第1图及第6图)、图像振动机构13(参照第3图、第4图及第5图)、边缘信息生成机构14(参照第1图及第6图)、边缘信息形成机构15(参照第1~5图、第7~12图)、物体/背景分离机构16(参照第2、4、5、7~12图)、位置/大小检测机构17(参照第1图及第6图)、领域规格化机构27(参照第7图)、规格化图像保持机构28(参照第7图)及图像辨识机构29(参照第8图)所使用的式,加以说明。
设宽度w、高度h、频带数b的任意2n色调为x、y、w,x、y、w是使用各个位置p(i、j、k)的频带像素值xijk、yijk、wijk,如式1、式2、式3所显示。还有,粗体字是显示向量。另外,n为非负的整数,w、h、b、i、j、k为自然数。
x={xijk|xijk在p(i,j,k)处的值1≤i≤w,1≤j≤h,1≤k≤b}                     (1)
y={yijk|yijk在p(i,j,k)处的值1≤i≤w,1≤j≤h,1≤k≤b}                     (2)
w={wijk|wijk在p(i,j,k)处的值1≤i≤w,1≤j≤h,1≤k≤b}                     (3)
首先,对前述图像的各频带像素值,就有关点处理的函数,说明如下。当将图像x转换为二值图像时,根据式4,将频带像素值加以二值化。
当将图像x转换为频带最大值图像时,根据式5,从i行j列像素的各频带值中,选择最大值。又,由于前述频带最大值图像为单频带图像,故为了方便,将之作为频带数1之前述图像加以处理。因此,函数Bij1(x)的第3附加字为1。
B ij 1 ( x ) = max k { x ijk } - - - - ( 5 )
图像x为二值图像,当反转图像x时,根据式6加以计算。
lijk(x)=1-xijk                                            (6)
图像x的位置p(i、j、k)中的对数转换是根据式7进行。在此式中,e为偏置,系为了使自然对数函数的输出值在有效范围而加以使用,一般说来,e=1即可。利用此对数化即能将频带像素彼此相除变为相减。另外,设图像x为2n色调的数字图像时,与频带数无关的,在存储器上若具有包含2n个要素的一览表的话,即不需每次计算自然对数函数,亦不需具有标准的对数表。
Lijk(x)=ln(ximk+e)                                        (7)
另外,图像的位置p(i、j、k)的q附近位置的集合pijk(q)是以式8来显示。但是,8q是4、8、24、48、80、120、(2r+1)2-1的连续序列,r是自然数。又,当超出图像尺寸的位置包含于集合pijk(q)中时,即以无特别限定的位置p(i、j、k)加以取代。又,除此之外时,即根据指定,易像素值相当于0、且图像所不包含的架空位置加以取代。据此,能自动地进行边缘处理。因此,集合Pijk(q)的要素数Nijk经常为q。
Figure C9981079700383
接下来,就有关对图像的各频带图像值之最大8附近的附近处理的函数及运算子,说明如下。
图像x的位置p(i、j、k)的振动是根据式9来进行。因此,从位置p(i、j、k)的q附近中,藉只选择一个位置的方法,即能决定用图像单位加以振动或用像素单位加以振动。若在图像x的所有位置,以完全相同的方法从q附近中选择一个的话,图像x即以图像单位振动。另一方面,若使用拟似随机数等,随机地从q附近中选择一个的话,图像x即以像素单位振动。
Ξ ijk ( x ) = x imk 只对于p(l,m,k)∈Pijk(q)中的一个     (9)
图像x的位置p(i、j、k)的平滑化是根据式10来进行。但是,int(v)系舍去实数v的小数点以下之意。若图像x的频带像素值是整数值的话,在组装硬件时,藉变更电路以使Nijk=4时对xlmk的总和执行2次右偏移指令,Nijk=8时对xlmk的总和执行3次右偏移指令,即能省略执行相除的电路。
S ijk ( x ) = int ( 1 N ijk Σ p ( l , m , k ) ∈ P ijk ( q ) x imk ) - - - - ( 10 )
虽是拉普拉斯运算码的计算,但这是如式11所示,仅系2阶差分运算子。在8的附近,捕捉噪声的微妙变化零点及零交叉变多,故适合本发明。但,由于Nijk是4或8,因此若组装硬件时,变更电路,以使Nijk=4时对xijk执行2次左偏移指令,Nijk=8时对xijk执行3次左偏移指令,即能省略实数之乘算的电路。
▿ ijk 2 x = Σ p ( l , m , k ) ∈ P ijk ( q ) x imk - N ijk x ijk - - - - ( 11 )
根据利用拉普拉斯运算码所求得的值,就寻找零点的方法而言,以往系寻找从正变化到负的像素,但本发明是根据式12,除了从负到正进行零交叉外的像素外,亦寻找从负到零或从零到正等经由零点、或持续零的像素。本发明,式12所寻找到的零点,并非在有边缘的位置,而是在有噪声的位置,亦即位于没有边缘的位置。又,亦同时根据式12进行实数值的二值化。
就图像x是任意的二值图像而言,当弥补在图像x中空孔的像素时,系根据式13进行计算。此处,f是显示应弥补孔大小的参数,一般说来,f=1即可。又,4附近时,由于无法检测其性质上的对角线,故尽量在8附近较佳。
Figure C9981079700401
就图像x是任意的二值图像而言,当削除图像x中孤立点或孤立孔时,系根据式14进行计算。又,4附近时,由于无法检测其性质上的对角线,故尽量在8附近较佳。
就图像x是任意的二值图像而言,为了检测图像x中线宽为1的像素,系使用4附近像素,根据式15进行计算。
若两个图像x、y是任意的二值图像,图像y系检测图像x中线宽为1之像素的话,为了扩充图像x中线宽为1的像素线宽,系使用4附近像素,根据式16进行计算。
因此,若使用式15的线宽检知与式16的线宽扩充的话,根据式17,即能简单地记述二值图像的线宽内插。
Cijk(x)=Kijk(x,J(x))                                        (17)
其次,就有关对图像之各频带像素值之附近处理的函数及运算子,说明如下。
当有两个图像x、y时,该等图像的最大值图像是根据式18来计算。
当有两个图像x、y时,这些图像的差分是根据式19来计算。
Dijk(x,y)=xijk-yijk                                         (19)
此处,若使用式11的算法与式19之差的话,即能根据式20,简单地记述图像的清晰化。
E ijk ( x ) = D ijk ( x , ▿ ijk 2 x ) - - - - ( 20 )
当有两个图像x、y,图像y是单频带二值图像时,即能根据式21,使用图像y的频带像素值函盖图像x各频带像素值。
Oijk(x,y)=xijkyij1                                          (21)
当有两个图像x、y,图像x与图像y是二值图像时,即能根据式22,以图像x为基准对图像y进行整形。
当有两个图像x、y,图像y是二值图像时,根据式23,在图像x的频带像素值附近中,用图像y所指定图像x的频带像素值的平均值,内插图像y所未指定的图像x的频带像素值。但是,int(v)系舍去实数v的小数点以下之意。
又,本发明中,像素位置与移动量等亦像图像数据般单纯地加以处理。这种处理叫做位置的图像化。以下,就有关图像化的几个函数及运算子,加以说明。
首先,将位置p(l、m、o)的l、m、o各值作为图像数据,将转换为频带像素值的运算子作为#,将转换的频带像素值作为#p(l、m、o)。其次,考虑频带像素值从位置p(i、j、k)移动到位置p(i+l、j+m、k+o)的情形。此时,频带像素值的移动量系以p(l、m、o)加以表示。亦即,可将移动量视为来自某位置的向量。最后,将从频带像素值取出位置的运算子作为#-1。因此,#-1#p(l、m、o)=p(l、m、o)。
此处,根据式24,可在以宽度方向与高度方向所显示的平面内,将移动量p(i、j、k)朝向180度相反方向。
Υ(p(i,j,k))=p(-i,-j,k)                                        (24)
当有图像x,图像x是单频带二值图像时,图像x之位置p(i、j、k)的重心位置移动量是根据式25来计算。又,当计算本来重心时虽须进行除算,但由于计算有关8附近内的移动量时,除算被抵消,故式25省略了除算。
G ij 1 ( x ) = p ( Σ p ( l , m , 1 ) ∈ P ij 1 ( q ) ( l - i ) x im 1 , Σ p ( l , m , 1 ) ∈ P ij 1 ( q ) ( m - j ) x im 1 , 0 ) - - - - ( 25 )
从移动量p(i、j、k),根据式26及27,计算有关至8附近内的移动量,即能使移动量图像图像化。又,式27,仅系利用在使用图像的离散化用式26无法对应时。
Figure C9981079700422
Figure C9981079700423
因此,若使用式25、26及27的话,根据式28及29,能简单地记述有关单频带二值图像x之向重心方向的移动量图像的频带像素值。又,移动量图像的频带数为1。
Δij1(x)=θ(Gij1(x))                                         (28)
Δij1'(x)=θ′(Gij1(x))                                     (29)
另一方面,由于使用式24能求出重心位置的相反位置,故根据式30,能简单地记述有关单频带二值图像x之重心与向相反方向的移动量图像的频带像素值。又,移动量图像的频带数为1。
Rij1(x)=θ(Υ(Gij1(x)))                                        (30)
当有两个图像x、y,图像y是移动量图像时,根据式31,将图像x的频带像素值移动至图像y所指示的移动位置后,能将移动至相同频带像素之频带像素值的总和作为为浓淡图像。
Γijk(x,y)=∑ximk对于p(l,m,1)∈Pij1(q)且#-1ylm1=p(i-l,j-m,0).       (31)
此处,使用式4、28、29及31,根据式32或33,将单频带浓淡图像x移动到附近的重心方向后,即能简单地记述移动至相同频带像素之频带像素值的总和。
Λij1(x)=Γij1(x,Δ(Φ(x)))                                     (32)
Λij1'(x)=Γij1(x,Δ′(Φ(x)))                                 (33)
当有两个图像x、y,图像x为二值图像,图像y为移动量图像时,由于能求出图像x之各频带像素值之移动端的位置,故能找出移动端重复的频带像素值。因此,图像x之各频带像素值的移动端不至重复,且,能显示移动之各频带像素值存在之能移动图像的频带像素值,是根据式34生成。又,能移动图像的频带数为1。
当有三个图像x、y、w,图像x为能移动图像,图像w为移动量图像时,能根据式35,移动图像x的频带像素值。
此处,若使用式30、34及35的话,根据式36,在与二值图像y所计算的重心位置相反方向,能移动图像x的频带像素,简单地记述所得到的图像的频带像素值。
Uijk(x,y)=Tijk(x,H(y,R(y)),R(y))                            (36)
使用式1到式36,能记述组装图像存储机构12(参照图1及图6)、图像振动机构13(参照第3图、第4图及第5图)、边缘信息生成机构14(参照第1图及第6图)、边缘信息形成机构15(参照第1~5图、第7~12图)、物体/背景分离机构16(参照第2、4、5、7~12图)、位置/大小检测机构17(参照第1图及第6图)、领域规格化机构27(参照第7图)、及规格化图像保持机构28(参照第7图)的数据处理装置110的所有阵列运算单元40的算法。以下,使用数据处理装置110中的任意阵列运算单元40的算法,就对应图像振动机构13、边缘信息生成机构14、边缘信息形成机构15、位置/大小检测机构17及领域规格化机构27,从本发明第6-10视觉装置,加以说明。
数据处理装置110所实现的图像存储机构12(参照第1图及第6图)为了存储数字图像111,格子状排列的阵列运算单元40系同步并列地动作。假设格子上i行j列所配置的阵列运算单元40为AOUij,则AOUij的算法如第14图所示。
在步骤1201中,将AOUij配置在格子上的i行j列。无论在逻辑上或物理上,此系为了决定AOUij的附近所需者。
在步骤1202,设定AOUij的附近与变量的初始值。
在步骤1203中,判断依序输入的数字图像111是否已经没有。若无数字图像111的话(步骤1203:YES),即结束计算。若有数字图像111的话(步骤1203:NO),即移到步骤1204。但,当仅对特定的图像尺寸进行组装阵列运算单元40时,即使是无限回路亦可。
在步骤1204中,到数字图像111准备完成止,进行输入等待。
在步骤1205中,输入数字图像111的i行j列像素的频带数部分。因此,AOUij至少需要有存储频带数部分的图像数据的存储器42。
在步骤1206中,为了在输入等待期间能够进行输出,系存储数字图像111的i行j列的像素。
在步骤1207中,输出数字图像111的频带像素值。之后,回到步骤1203。
据此,使用由阵列运算单元40所构成的数据处理装置110,对应图像存储机构12的视觉装置即能存储数字图像111。
利用数据处理装置110所实现的本发明第6图像振动机构13(第3图、第4图及第5图),为了使数字图像111振动,格子状排列的阵列运算单元40系同步并列动作。设格子状排列的阵列运算单元40为AOUij,则AOUij的算法如第15图所示。
在步骤1301中,将AOUij配置在格子上的i行j列。无论在逻辑上或物理上,此系为了决定AOUij的附近所需者。
在步骤1302中,设定AOUij的附近与变量的初始值。
在步骤1303中,判断依序输入的数字图像111是否已经没有。若无数字图像111的话(步骤1303:YES),即结束算法。若有数字图像111的话(步骤1303:NO),即移到步骤1304。但,当仅对特定的图像尺寸进行阵列运算单元40时,即使是无限回路亦可。
在步骤1304中,输入数字图像111的i行j列的像素的频带数部分。因此,AOUij至少需要有存储频带数部分的图像数据的存储器42。
在步骤1305中,根据函数 将图像111的i行j列的图像移动到附近图像的一个像素。
在步骤1306中,输出数字图像111的频带像素值。之后,回到步骤1303。
据此,使用由阵列运算单元40所构成的数据处理装置110,对应图像存储机构13的本发明第6视觉装置,即能使数字图像111振动。
利用数据处理装置110所实现的本发明第7边缘信息生成机构14(参照第1图及第6图),为了从数字图像111生成粗边缘信息图像113,格子状排列的阵列运算单元40系同步并列动作。设格子上i行j列所排列的阵列运算单元40为AOUij,则对应边缘信息生成机构14的AOUij算法如第16图所示。
在步骤1401中,将AOUij配置在格子上的i行j列。无论在逻辑上或物理上,此系为了决定AOUij的附近所需者。
在步骤1402中,设定AOUij的附近与变量的初始值。在附近的设定中,也可个别地决定前述各函数所使用的附近大小q为4或8,也可将全部统一为4或8。本发明的边缘信息生成机构14,为了提高所生成的粗边缘信息112的正确度,藉控制计算时间与数字图像111的频带数等,边缘信息生成机构14可视需要改变适当附近大小来加以处置。
在步骤1403中,判断数字图像111是否已结束。若无数字图像111的话(步骤1403:YES),即结束算法。若有数字图像111的话(步骤1403:NO),亦结束算法。但,当对特定的频带数与图像尺寸,组装阵列运算单元40时,即使是无限回路亦可。
在步骤1404中,输入数字图像111的i行j列像素的频带数部分。这是因为AOUij系一次性的处理数字图像111的i行j列的像素的关系。因此,AOUij至少需要有存储频带数部分的图像数据的存储器42。
在步骤1405中,AOUij利用与附近的阵列运算单元40之通信,对所输入之数字图像111的各频带像素值,根据Sijk(x)进行平滑化。已平滑化的频带像素值被作为平滑化图像的频带像素值加以处理。此处,函数Sijk(x)也可视需要反复数次。一般的彩色图像时,2次即足够。
在步骤1406中,对平滑化的各频带像素值,根据函数Lijk(x)进行对数转换。已进行对数转换的频带像素值被作为对数转换图像的频带像素值加以处理。
在步骤1407中,AOUij利用与附近的阵列运算单元40之通信,对对数转换的各频带像素值,根据Eijk(x)进行清晰化。已清晰化的频带像素值被作为清晰化图像的频带像素值加以处理。
在步骤1408中,对清晰化图像的各频带像素值,根据函数Dij1(x,y),减去输入1前之清晰化图像的各频带像素值。计算差分的频带像素值被作为时间差分图像的频带像素值加以处理。
在步骤1409中,用清晰化图像所对应的各频带像素值,取代输入1前之清晰化图像的各频带像素值。
在步骤1410中,AOUij是利用与附近的阵列运算单元40之通信,对时间差分图像的频带像素值,根据运算子2 ijkx进行拉普拉斯运算码的计算。计算拉普拉斯运算码的频带像素值,被作为时间差分拉普拉斯运算码图像的频带像素值加以处理。
在步骤1411中,AOUij是利用与附近的阵列运算单元40之通信,对时间差分拉普拉斯运算码图像的各频带像素值,根据函数Zijk(x)抽出零点。抽出零点的频带像素值被作为时间差分零点图像的频带像素值加以处理。
在步骤1412中,对时间差分拉普拉斯运算码图像的各频带像素值,根据函数Bij1(x)在各频带像素中检测最大值。经检测的最大值频带像素值,被作为最大值时间差分零点图像的频带像素值加以处理。又,为方便起见,频带数为1。
在步骤1413中,AOUij是利用与附近的阵列运算单元40之通信,对清晰化图像的各频带像素值,根据根据运算子2 ijkx进行拉普拉斯运算码的计算。计算拉普拉斯运算码的频带像素值,被作为时间差分拉普拉斯运算码图像的频带像素值加以处理。
在步骤1414中,AOUij是利用与附近的阵列运算单元40之通信,对拉普拉斯运算码图像的各频带像素值,根据函数Zijk(x)抽出零点。抽出零点的频带像素值被作为时间差分图像的频带像素值加以处理。
在步骤1415中,对拉普拉斯运算码图像的各频带像素值,根据函数Bij1(x)在各频带像素中检测最大值。经检测的最大值频带像素值,被作为最大值时间差分零点图像的频带像素值。又,为方便起见,频带数为1。
在步骤1416中,对拉普拉斯运算码图像的各频带像素值与时间差分拉普拉斯运算码图像的各频带像素值,根据函数Mijk(x,y)在位于各图像相同位置的频带像素值中,检测最大值。经检测的最大频带像素值,被作为混合零点图像的频带像素植。又,为方便起见,频带数为1。
在步骤1417中,AOUij是利用与附近的阵列运算单元40之通信,对混合零点图像的频带像素值,根据函数Fijk(x)除去孔。经除去孔的频带像素值,被作除去混合零点图像的频带像素值。又,为方便起见,频带数为1。此处,函数Fijk(x)可视需要反复数次。一般的彩色图像时,1次即足够。
在步骤1418中,AOUij是利用与附近的阵列运算单元40之通信,对除去孔混合零点图像的频带像素值,根据函数Aijk(x)除去孤立点及孤立孔。经除去孤立点及孤立孔的频带像素值,被作为除去噪声混合零点图像的频带像素值加以处理。又,为方便起见,频带数为1。
在步骤1419中,对除去混合零点图像的频带像素值,根据函数Iijk(x)反转0与1。经反转的频带像素值,被作为粗边缘信息图像113的频带像素值加以处理。
在步骤1402中,输出粗边缘信息图像113的频带像素值。之后,回到步骤1403。
因此,使用由阵列运算单元40所构成的数据处理装置110,对应边缘信息生成机构14的本发明第7视觉装置,能从数字图像111生成粗边缘信息图像113。
如第17图所示,根据数据处理装置110所实现的边缘信息形成机构15(参照第1~5图,7~12图),为了根据粗边缘信息112所构成的本发明第8视觉装置中的粗边缘信息图像113及数字图像111,生成由形成边缘信息114所构成的形成边缘信息图像115,格子状排列的阵列运算单元40是同步并列动作。设格子上i行j列所配置的阵列运算单元40为AOUij,AOUij的算法则如第18图所示。
在步骤1501中,将AOUij配置在i行j列。无论在逻辑上或物理上,此系为了决定AOUij的附近所需者。
在步骤1502中,设定AOUij的附近与变量的初始值。在附近设定时,可个别决定前述各函数所使用的附近大小q为4或8,也可将全部统一为4或8。本发明的边缘信息信息形成机构15,为了提高所形成的形成边缘信息114的正确性,将附近大小q全部设定为8较佳。但,为了形成粗边缘信息112,利用计算时间的限制与所输入的数字图像111的频带数等,边缘信息形成机构15,可视需要适当地变更附近尺寸,以进行处置。
在步骤1503中,判断依序输入的数字图像111或粗边缘信息图像113是否已经没有。若数字图像111或粗边缘信息图像113两者皆无的话(步骤1503:YES),即结束算法。若数字图像111或粗边缘信息图像113两者皆有的话(步骤1503:NO),即移到步骤1504。但,当对特定的频带数与图像尺寸组装阵列运算单元40时,作为无限回路亦可。
在步骤1504中,输入数字图像111及粗边缘信息图像113的i行j列像素的频带数部分。这是因为AOUij为了一次性的处理数字图像111及粗边缘信息图像113的i行j列的像素的关系。因此,AOUij至少需要存储频带数部分的图像数据的存储器42。
在步骤1505中,分离数字图像111的i行j列的像素与粗边缘信息图像113的i行j列的像素。这是因为AOUij将数字图像111的i行j列的像素与粗边缘信息图像113的i行j列的像素,作为分别独立的图像像素加以处理的关系。若数字图像111的i行j列的像素与粗边缘信息图像113的i行j列的像素,在一开始时即以分离状态加以输入的话,即无需进行任何处理。
在步骤1506中,AOUij利用与附近的阵列运算单元40之通信,对所输入的数字图像111的各频带像素值,根据函数Sijk(x)进行平滑化。经平滑化的频带像素值,被作为平滑化图像的频带像素值加以处理。此处,函数Sijk(x)也可视需要反复数次。一般的彩色图像时,2次即足够。
在步骤1507中,对平滑化图像的各频带像素,根据Lijk(x)进行对数转换。经对数转换的频带像素值,被作为对数转换图像的频带像素值加以处理。
在步骤1508中,AOUij是利用与附近的阵列运算单元40之通信,对像素值根据函数Eijk(x)进行清晰化。经清晰化的频带像素值,被作为清晰化图像的频带像素值加以处理。
在步骤1509中,AOUij是利用与附近的阵列运算单元40之通信,对清晰化图像的各频带像素值,根据操作2 ijkx进行拉普拉斯运算码计算。经计算拉普拉斯运算码的频带像素值,被作为拉普拉斯运算码图像的频带像素值加以处理。
在步骤1510中,AOUij是利用与附近的阵列运算单元40之通信,对拉普拉斯运算码图像的各频带像素值,根据函数Zijk(x)抽出零点。经抽出零点的频带像素值,被作为零点图像的频带像素值加以处理。
在步骤1511中,对零点图像的频带像素值,根据函数Bij1(x)在各频带像素值中检测最大值。所检测的最大频带像素值,被作为最大值零点图像的频带像素值加以处理。又,为方便起见,频带数为1。
在步骤1512中,对最大值零点图像的频带像素值,根据函数Iijk(x)反转0与1。经反转的频带像素值,被作为基础边缘信息图像的频带像素值加以处理。
在步骤1513中,所输入的粗边缘信息图像113的频带像素值,最初被作为整形粗边缘信息图像的频带像素值加以处理,AOUij利用与附近的阵列运算单元40之通信,使用基础边缘信息图像的频带像素值,对整形粗边缘信息图像的频带像素值,根据函数Qijk(x,y)进行整形。经整形的频带像素值,再被作为整形粗边缘信息图像的频带像素值加以处理。此处,函数Qijk(x,y)系反复到本来整形粗边缘信息图像的频带像素值不再变化为止。但,根据计算时间的限制、所输入的粗边缘信息图像113的品质、所形成的形成边缘信息图像115所求的品质等,整形处理藉适当的反复次数来结束算法较佳。
在步骤1514中,AOUij是利用与附近的阵列运算单元40之通信,对整形粗边缘信息图像的频带像素值,根据函数Cijk(x)进行线宽内插。经内插的频带像素值,被作为形成边缘信息图像115的频带像素值加以处理。
在步骤1515中,输出形成边缘信息图像115的频带像素值。之后,回到步骤1503。
因此,使用由阵列运算单元40所构成的数据处理装置110,对应边缘信息形成机构15的本发明第8视觉装置,能生成由粗边缘信息图像113所构成的形成边缘信息图像115。
此处,所谓从粗边缘信息图像113到形成边缘信息图像115的形成,可视为从拍摄某情形之低解像度的数字图像111所生成的边缘信息,推算拍摄相同情形之高解像度之数字图像111所生成的边缘信息。此处,对自然数n,如第19图所示,根据降低数字图像111解像度1/n之低解像度数字图像116,使用边缘生成机构14生成低解像度粗边缘信息图像117时,将低解像度粗边缘信息图像117放大n倍,即能生成粗边缘信息图像113。但,为了将数字图像111的解像度设定在1/n,于水平及垂直方向单纯地自数字图像111的连续n个中抽出1个即可。此外,为了将低解像度粗边缘信息图像117放大n倍,于水平及垂直方向单纯地将低解像度粗边缘信息图像117的连续像素间频带像素值为0的像素弥补n-1个即可。此时,若n不太大的话,实现边缘信息形成机构15的数据处理装置110,形成放大低解像度粗边缘信息图像117的粗边缘信息图像113的形成边缘信息图像115,与实现边缘信息形成机构15的数据处理装置110,形成由数字图像111所生成的粗边缘信息图像113的形成边缘信息图像115,大致相同。其理由是因为边缘信息形成机构15,在使用数字图像111于内部生成的边缘信息中使用哪一个边缘信息来做为参考,边缘信息形成机构15仅使用粗边缘信息图像113的关系。因此,当将放大低解像度粗边缘信息图像117的粗边缘信息图像113,输入边缘信息形成机构15时,从低解像度数字图像116实现生成粗边缘信息图像117的边缘信息生成机构13的数据处理装置110,能减低硬件量。
若进一步发展该方法,如第20图所示,在降低数字图像111之解像度的低解像度数字图像116所生成的低解像度粗边缘信息图像117中,能生成切出粗边缘信息112周边的低解像度切出粗边缘信息图像118。若将放大该低解像度切出粗边缘信息图像118的切出粗边缘信息图像119,与在数字图像111中切出相同领域的切出数字图像120,输入实现边缘信息形成机构14的数据处理装置110的话,即能生成切出形成边缘信息图像121。此时,实现边缘信息形成机构14的数据处理装置110,能减低硬件量。
如第21图所示,利用数据处理装置110来实现的本发明第9视觉装置中的位置/大小检测机构17(参照第1图及第6图),为了从将粗边缘信息112作为像素的粗边缘信息图像113,生成将重复信息131作为像素的重复信息图像132,格子状排列的阵列运算单元40系同步并列地动作。设格子上i行j列所配置的阵列运算单元40为AOUij,则AOUij的算法如第22图所示。
在步骤1701中,将AOUij配置在格子上i行j列。此系理论性或物理性,此系为了决定AOUij的附近所需者。
在步骤1702中,设定AOUij的附近与变量的初始值。在附近的设定时,可个别设定前述各函数所使用的附近大小q,亦可将全部统一。本发明的数据处理装置110,为了提高所生成的重复信息图像132的正确性,最好是能将附近大小q全部设定较大的值。但,若因为计算物体的粗边缘信息112的重心所利用计算时间的限制、所输入的粗边缘信息图像113的尺寸等,位置/大小检测机构17可视需要适当地变更附近尺寸,以进行处置。
在步骤1703中,判定依序输入的粗边缘信息图像113是否已经没有。若无粗边缘信息图像113的话(步骤1703:YES),即结束算法。若有粗边缘信息图像113的话(步骤1703:NO),即移到步骤1704。但,当仅对特定的图像尺寸进行组装阵列运算单元40时,作为无限回路亦可。
在步骤1704中,输入粗边缘信息图像113的i行j列的像素1频带部分。因此,AOUij至少需要存储1频带部分的图像数据的存储器42。
在步骤1705中,将粗边缘信息图像113的粗边缘信息112转换为重复信息图像132的重复信息131。重复信息131为相当于1或0的频带像素值。
在步骤1706中,AOUij是利用与附近的阵列运算单元40之通信,对重复信息图像132的各频带像素值,根据函数Δij1(x)计算移动量。已将移动量图像化的频带像素值,被作为移动量图像的频带像素值加以处理。
在步骤1707中,AOUij是利用与附近的阵列运算单元40之通信,根据函数Λij1(x)使重复信息图像132的各频带像素值移动。移动的频带像素值,重新被作为重复信息图像132的频带像素值加以处理。
在步骤1708中,判断显示从步骤1706到步骤1707的反复次数是否已达到指定次数。若移动次数没达到指定次数的话(步骤1708:NO),即回到步骤1706。若移动次数已达到指定次数的话(步骤1708:YES),即移到步骤1709。又,该指定次数是由粗边缘信息图像113的大小与显示粗边缘信息112的物体大小,及附近的大小q所决定。若视利用目的设定适当的参数,即使大致决定指定次数亦无问题,但若指定次数过多,检测位置及大小所需要的时间就会变长。
在步骤1709中,AOUij是利用与附近的阵列运算单元40之通信,对重复信息图像132的各频带像素值,根据函数Δ’Cij1(x)计算移动量。已将移动量图像化的频带像素值,被作为移动量图像的频带像素值加以处理。
在步骤1710中,AOUij是利用与附近的阵列运算单元40之通信,根据函数Λ’Cij1(x)使重复信息图像132的各频带像素值移动。移动的频带像素值,重新被作为重复信息图像132的各频带像素值加以处理。
在步骤1711中,输出重复信息图像132的频带像素值。之后,回到步骤1703。
又,重复信息图像132的各重复信息131,由于系以其位置为中心之周边的粗边缘信息112的总数加以显示,故其结果,意味着以其位置为中心的物体的大小。
据此,使用由阵列运算单元40所构成的数据处理装置110,对应位置/大小检测机构17的本发明第9视觉装置,能从粗边缘信息图像113生成重复信息图像132。当然,本发明第9视觉装置,亦能不使用粗边缘信息图像113,从形成边缘信息图像115生成重复信息图像132。因此,使用由阵列运算单元40所构成的数据处理装置110,对应位置/大小检测机构17的视觉装置,能从形成边缘信息图像115生成重复信息图像132。
在第22图之算法中,若使用显示物体领域141的物体领域图像142取代由粗边缘信息112所构成的粗边缘信息图像113的话,如第23图所示,利用数据处理装置110所实现的位置/大小检测机构17(参照图2及图4),也能从显示物体领域141的物体领域图像142,生成显示重复信息131的重复信息图像132。但,当使用物体领域图像142时,重复信息131的重复信息图像132,系以其位置为中心的物体领域141的像素总数加以显示,故其结果,意味着以其位置为中心的物体的面积。因此,当从重复信息图像132求物体的大小时,要注意使用重复信息131的平方根等。
如第24图所示,利用数据处理装置110所实现的本发明第10视觉装置中的领域规格化机构27(参照第7图),为了生成包含物体领域141的物体领域图像142及从数字图像111包含规格领域144的规格化图像145,格子状排列的阵列运算单元40是同步并列进行动作。设配置在格子上i行j列的阵列运算单元40为AOUij,则AOUij的算法如第25图所示。
在步骤2701中,将AOUij配置在格子上i行j列。此系理论性或物理性,此系为了决定AOUij的附近所需者。
在步骤2702中,设定AOUij的附近与变量的初始值。在附近的设定时,可个别设定前述各函数所使用的附近大小q,亦可将全部统一。本发明的领域规格化机构27,为了提高所生成的规格化图像145的正确性,最好是能将附近大小q全部设定为较大的值。但,为了将分离物体领域143规格化所使用之计算时间的限制、所输入的数字图像111的大小等因素,领域规格化机构27可视需要适当变更附近尺寸,以进行处置。
在步骤2703中,判断依序输入的物体领域图像142或数字图像111是否已经没有。若无物体领域图像142或数字图像111的话(步骤2703:YES),即结束算法。若有物体领域图像142或数字图像111的话(步骤2703:NO),即移到2704。但,当仅对特定的频带数及图像尺寸,组装阵列运算单元40时,设定为无限回路亦可。
在步骤2704中,输入1频带部分物体领域图像142的i行j列的像素,与频带数部分数字图像111的i行j列的像素。这是因为AOUij系一次性的处理物体领域图像142的i行j列的像素与数字图像111的i行j列的像素的关系。因此,AOUij至少需要存储总频带数部分的图像数据的存储器42。
在步骤2705中,分离物体领域图像142的i行j列的像素与数字图像111的i行j列的像素。这是因为AOUij将物体领域图像142的i行j列的像素与数字图像111的i行j列的像素作为各自独立的图像像素来处理的关系。若物体领域图像142的i行j列的像素与数字图像111的i行j列的像素,从一开始就被分离输入的话,无需进行任何处理。物体领域图像142及数字图像111,被分别复制为更新物体领域图像及更新数字图像。
在步骤2706中,AOUij是利用与附近的阵列运算单元40之通信,对更新物体领域图像的各频带像素值,根据函数Rij1(x)计算移动量。已将移动量图像化的频带像素值,被作为移动量图像的频带像素值加以处理。
在步骤2707中,AOUij是利用与附近的阵列运算单元40之通信,可根据函数Hijk(x,y)自更新物体领域图像的各频带像素值中找到能移动的移动端频带像素值。显示是否为能移动之移动端的值,被作为能移动图像的频带像素值加以处理。
在步骤2708中,AOUij是利用与附近的阵列运算单元40之通信,根据函数Uijk(x,y)将更新物体领域图像的各频带像素值移动到能移动端。移动的频带像素值,重新被作为更新物体领域图像的各频带像素值加以处理。
在步骤2709中,AOUij是利用与附近的阵列运算单元40之通信,根据函数Uijk(x,y)将更新数字图像的各频带像素值移动到能移动端。移动的频带像素值,重新被作为更新数字图像的各频带像素值加以处理。
在步骤2710中,判断显示从步骤2706到步骤2709的反复次数的移动次数,是否已达到指定次数。若移动次数未达指定次数的话(步骤2710:NO),即回到步骤2706。若移动次数达到指定次数的话(步骤2710:YES),即移到步骤2711。又,该指定次数是由数字图像111的大小与数字图像111的分离物体领域143的大小,及附近的大小q来决定。若视利用目的设定适当之参数的话,即使大致决定指定次数亦无所谓,但若指定次数过多的话,规格化所需要的时间就会变长。
在步骤2711中,AOUij是利用与附近的阵列运算单元40之通信,对完成移动的更新物体领域图像的各频带像素值,根据函数Vijk(x,y)用附近的平均值进行内插。又,x与y同时成为更新物体领域图像。用平均值弥补的频带像素值,作为被规格化的更新物体领域图像的各频带像素值加以处理。
在步骤2712中,AOUij是利用与附近的阵列运算单元40之通信,对完成移动的更新数字图像的各频带像素值,根据函数Vijk(x,y)用附近的平均值进行内插。据此,将分离物体领域143变换为规格化图像145中之规格化领域144。又,x为更新数字图像,y为更新物体领域图像。用平均值弥补的频带像素值,作为被规格化之更新数字图像的频带像素值加以处理。
在步骤2713中,判断显示从步骤2711到步骤2712的反复次数的内插次数,是否已达到指定次数。若内插次数未达到指定次数的话(步骤2713:NO),即回到步骤2711。若内插次数达到指定次数的话(步骤2713:YES),即移到步骤2714。一般的内插次数只要附近大小q的一半左右次数,即已足够。
在步骤2714中,判断显示从步骤2706到步骤2713的反复次数的持续次数,是否已达到指定次数。若持续次数未达到指定次数的话(步骤2714:NO),即回到步骤2706。若持续次数达到指定次数的话(步骤2714:YES),即移到步骤2715。又,该指定次数是由数字图像111的大小与数字图像111的分离物体领域143的大小,及附近的大小q来决定。若视利用目的设定适当之参数的话,即使大致决定指定次数亦无所谓,但若指定次数过多的话,规格化所需要的时间就会变长。
在步骤2715中,将更新数字图像之频带像素值作为规格化图像145之频带像素值加以输出。之后,回到步骤2703。
因此,使用由阵列运算单元40所构成的数据处理装置110,对应领域规格化机构27的本发明第10视觉装置,能从物体领域图像142及数字图像,生成规格化图像145。
利用数据处理装置110所实现的规格化图像保持机构28(参照第7图),为了存储规格化图像145,格子状排列的阵列运算单元40是同步并列进行动作。设格子上i行j列所配置的阵列运算单元40为AOUij,则AOUij的算法如第26图所示。
在步骤2801中,将AOUij配置在格子上i行j列上。无论在逻辑上或物理上,此系为了决定AOUij的附近所需者。
在步骤2802中,设定AOUij的附近与变量的初始值。
在步骤2803中,判断依序输入的规格化图像145是否已经没有。若无规格化图像145的话(步骤2803:YES),即结束算法。若有规格化图像145的话(步骤2803:NO),即移到步骤2804。但,当仅对特定的图像尺寸组装阵列运算单元40时,作为无限回路亦可。
在步骤2804中,输入规格化图像145的i行j列像素的频带数部分。因此,AOUij至少需要存储频带数部分的图像数据的存储器42。
在步骤2805中,若需要输出端的装置的话,即转换规格化图像145的格式。特别是,当将规格化图像145的频带数设定为1,或当数字图像111的频带数为4以上时将规格化图像145的频带数设定为3,以使类比信号较易生成时非常方便。否则,不需进行任何处理。
在步骤2806中,为了能确实地传送图像数据至处理速度不同的输出端装置,存储规格化图像145的i行j列的像素。
在步骤2807中,输出规格化图像145的频带像素值。之后,回到步骤2803。
据此,使用由阵列运算单元40所构成的数据处理装置,对应规格化图像保持机构28的视觉装置,能输出规格化图像145。
上述已说明了图像存储机构12(参照第1图及第6图)、图像振动机构13(参照第3图、第4图及第5图)、边缘信息生成机构14(参照第1图及第6图)、边缘信息形成机构15(参照第1~5图、第7~12图)、物体/背景分离机构16(不参照第2、4、6、7~12图)、位置/大小检测机构17(参照第1图及第6图)、领域规格化机构27(参照第7图)、及规格化图像保持机构28(参照第7图)的算法。该等机构能全部利用附近处理来实现,故该等机构能使用格子状排列的阵列运算单元40所构成的数据处理装置110。但,若仅用图像辨识机构29(参照第8图)即不易实现。因此,在图像辨识机构29中,为了检讨是否能利用格子状排列的阵列运算单元40所构成的数据处理装置110,系对图像辨识机构29的处理加以详细分类。
图像辨识机构29,系对整个规格化图像145(参照第24图)要求自事先准备的候补中特定出放大之移动物体2或静止物体3,以生成辨识结果。特定移动物体2或静止物体3的最基本方法,是尽量准备多数之移动物体2或静止物体3的模板图像146(参照第27图),藉比较规格化图像145与模板图像146,即能找出最像规格化图像145的模板图像146。然而,图像辨识机构29,若仅从规格化图像145及模板图像146中抽出任意的像素进行比较,则由于不能找出最像规格化图像145的模板图像146,故必须比较规格化图像145及模板图像146的所有像素。因此,图像辨识机构29需要用最小平方法与中性网路等的大区域处理。由于数据处理装置110是适合附近处理的构造,故仅使用数据处理装置110,不易实现图像辨识机构29。
然而,图像辨识机构29,不需要在从规格化图像145到生成辨识结果的整彻过程中进行大区域处理。亦即,从规格化图像145及模板图像146中抽出任意的像素,根据比较的结果生成辨识结果的过程中,图像辨识机构29虽需要大区域处理,但从规格化图像145及模板图像146抽出任意的像素加以比较的过程中,图像辨识机构29未必需要大区域处理。此处,由于从规格化图像145及模板图像146中抽出任意的像素加以比较的过程,系最基本的图形匹配,因此若该图形匹配能利用附近处理加以实现的话,即能以执行多数决定等简单的数值计算之一般处理器,仅实现根据此图形匹配结果生成辨识结果的过程。因此,以下就使用数据处理装置110来实现图形匹配的方法,加以说明。
首先,设规格化图像145为x,n个模板图像146为y1、y2…yh…yn。当使用自然数g时,匹配结果图像147的i行j列的匹配结果δij1,是根据式37比较规格化图像145及模板图像146的i行j列的像素,指出具有最像规格化图像145像素的模板图像146的号码。又,因匹配结果图像147为单频带图像,故为方便起见,以频带数1的图像进行处理。因此,匹配结果δij1的第3添加字为1。
Figure C9981079700581
此处,根据式37所生成的匹配结果δij1在整个匹配结果图像147中,未必统一。当有许多模板图像146时,匹配结果图像147成为马赛克状的可能性很高。因此,数据处理装置110即计算匹配结果δij1与相对该q附近内之匹配结果的直方图,将集中匹配结果δij1的方法显示如下。
当任意的单频带图像x是匹配结果图像147时,若使用自然数g、实数u与v的话,匹配图像172即根据式38及39进行更新。又,匹配结果图像147因为单频带图像,为方便起见,以频带数1的图像进行处理。因此,函数Ψij1(x)的第3添加字为1。
Figure C9981079700583
在匹配结果图像147不再变化为止,数据处理装置110利用反复计算式38及39,即能集中整个匹配结果图像147的匹配结果。此时,藉组合规格化图像145及模板图像146,匹配结果集中如下。若规格化图像145的约一半像素最类似特定的模板图像146的图像的话,则匹配结果图像147的整个匹配结果,集中在特定的模板图像146的号码。然而,若规格化图像145的若干像素块类似一些不同模板图像146的像素块的话,则在匹配结果图像147中,能形成用0围住的若干模板图像146的号码块。再者,若规格化图像145与模板图像146的集合不相关的话,则匹配结果图像147的匹配结果大致为0。因此,利用数据处理装置110来实现的图形匹配,虽不易特定最类似规格化图像145的模板图像146,但能从模板图像146中选择若干类似的模板图像146。因此,根据图形匹配的结果生成辨识结果的过程中,只要使用图形匹配所生成的匹配结果图像147所列举的模板图像146的类似候补中,选择一个最有力的候补即可。
如第27图所示,利用数据处理装置110所实现的本发明第11视觉装置中的图形匹配,为了生成模板图像146中从显示与规格化图像145最类似的图像号码的匹配结果所构成的匹配结果图像147,格子状排列的阵列运算单元40是同步并列进行动作。设格子上i行j列所配置的阵列运算单元40为AOUij,AOUij的算法是如第28图所示。
在步骤2901中,将AOUij配置在格子上的i行j列中。无论在逻辑上或物理上,此系为了决定AOUij的附近所需者。
在步骤2902中,设定AOUij的附近与变量的初始值。在附近设定时,可各别决定前述各函数所使用的附近尺寸q,亦可全部加以统一。本发明的数据处理装置110,为了提高所生成的匹配结果图像147的正确性,最好是能将附近大小q全部设定为较大的值。但若因此更新匹配结果所使用之计算时间的限制、与输入的规格化图像145的尺寸等因素,图形匹配亦可视需要适当变更附近尺寸,以进行处置。
在步骤2903中,判断依序输入的模板图像146是否已经没有。若无模板图像146的话(步骤2903:YES),即移到步骤2905。若有模板图像146的话(步骤2903:NO),即移到步骤2904。
在步骤2904中,输入模板图像146的i行j列像素频带数部分。因此,AOUij的至少需要存储乘上频带数与模板图像146的数部分的图像数据的存储器42。之后,回到步骤2903。
在步骤2905中,判断依序输入的规格化图像145是否已经没有。若无有规格化图像145的话(步骤2905:YES),即结束算法。若有规格化图像145的话(步骤2905:NO),即移到步骤2906。但,当仅对特定的图像尺寸组装阵列运算单元40时,作为无限回路亦可。
在步骤2906中,输入规格化图像145的i行j列像素频带数部分。因此,AOUij的至少需要存储频带数部分的图像数据的存储器42。
在步骤2907中,从规格化图像145与模板图像146,计算匹配结果图像147的匹配结果δij1。匹配结果为显示最近规格化图像145的模板图像146的号码的频带像素值。
在步骤2908中,AOUij是利用与附近的阵列运算单元40之通信,对匹配结果图像147的各频带像素值,根据函数Ψij1(x)更新匹配结果。所更新的频带像素值,再被作为匹配结果图像的频带像素值加以处理。此处,反复函数Ψij1(x)在本来匹配结果图像147的频带像素值不再变化为止,反复进行。但是,若因为计算时间的限制、所输入之规格化图像145的品质、更新之匹配结果图像147所求的品质等,更新处理最好是能以适当的反复次数结束算法。
在步骤2909中,输出匹配结果图像147的频带像素值。之后,回到步骤2905。
因此,使用由阵列运算单元40所构成数据处理装置110,对应图像辨识机构29中的图形匹配的本发明第11视觉装置,能从规格化图像145生成匹配结果图像147。
以上,已就使用由阵列运算单元40所构成数据处理装置110,进行仅由附近处理所构成的图像处理的方法加以说明。以下,使用由阵列运算单元40所构成数据处理装置110,就仅用附近处理,实现物体/背景分离机构16(参照第2图及第7图)的本发明第11视觉装置加以说明。
首先,非线形振动单元一般会引起拉入现象。该拉入现象,是在限制循环(limit cycle)与吸引器(attracter)等的周期动作中,具有不同周期的非线形振动单元相互动作以简单的常数比周期进行振动,而加以限制的现象。此时,若使一个非线形振动单元变化的话,由于其他非线形振动单元的振动也配合变化,故该等非线形振动单元系同步。而且,藉调整非线形振动单元的相互作用,能尽量减小或加大彼此振动的相位差。因此,若操作此相互作用,即能将非线形振动单元的一群分割成具有不同相位的许多组。物体/背景分离机构16即系利用此非线形振动单元的拉入现象,将边缘信息图像中的边缘信息作为交界,分离物体与背景,以生成显示物体领域的物体领域图像。又,此处,举使用范德杆(Vander Pole)作为非线形振动单元之情形加以说明。
首先,在由格子状排列的非线形振动单元所构成的非线形振动单元网路中,假设位于i行j列的非线形振动单元为ωij,位于非线形振动单元为ωij的q附近的非线形振动单元的集合Ωij(q),即能以式40加以显示。但,q是4、8、24、48、80、120、(2r+1)2-1的连续序列,r是自然数。又,当超出网路尺寸的非线形振动单元包含在附近集合Ωij(q)时,即以非线形振动单元ωij加以取代。据此,边缘处理即能自动进行。因此,附近集合Ωij(q)之要素的数量经常为q。又,由此可知,非线形振动单元网路系与单频带图像相同之方式加以处理。为了简单地表现,在非线形振动单元网路中所添加字仅使用宽方向与高方向两者。
其次,非线形振动单元,系与位于qa附近所含的附近集合Ωij(qa)的非线形振动单元之间,利用式41所计算的结合值τijk1进行结合。又,当不使用对数表时,亦可使用式42的近似。另外,μ、υ是适当正的常数。
τ ijk 1 = μ sin c ( ( i - k ) 2 + ( j - l ) 2 v 2 ) 对于ωk1∈Ωij(qa)              (41)
Figure C9981079700613
当非线形振动单元网路之所有非线形振动单元系完全同相位且同步时,只要是以处理器进行计算,非线形振动单元ωij即会在永远在同相位的状态下持续动作。因此,若能赋予干扰ρij的话就能回避这种状态。作为此干扰,虽能使用拟似随机数,但使用如式43般简单的式加以求出即足够。又,ζij是显示边缘信息图像的i行j列的边缘信息的有无。若有边缘信息的话,则为1,若无边缘信息的话,则为0。此外,k是适当之正的常数。
ρij=κζij                                                     (43)
为了使非线形振动单元为ωij与附近集合Ωij(qa)的非线形振动单元ωk1同步,根据式44计算附近输入合计σij
σ ij = Σ ω k 1 ∈ Ω ij ( q a ) τ ijk 1 ( 1 - ζ k 1 ) ξ k 1 ( ψ k 1 - ψ ij ) - - - - ( 44 )
构成范德杆非线形振动单元ωij的两个参数ψij与ψij,系根据式45与式46加以计算。又,γ、ε是适当之正的常数。
dφ ij dt = ψ ij - - - - ( 45 )
dψ ij dt = - γ φ ij - ϵ ( 1 - φ ij 2 ) ψ ij + σ ij + ρ ij - - - - ( 46 )
为了将非线形振动单元分离为物体领域与背景领域,虽须计算所有非线形振动单元的相位偏离,但由于系单纯地分离为物体领域与背景领域二者,故参数ψij用临界值θ以上或小于临界值θ来计算相位偏移。输出分离物体领域与背景领域之结果的输出λij,是利用式47加以求出。又,θ是适当之正的常数。
为分离物体与背景而边缘信息不充分时,必须内插边缘信息。因此,必须在位于非线形振动单元ωij的qb附近的非线形振动单元的集合Ωij(qb)中,求出若干非线形振动单元是否引起相位偏离。因此,根据式48计算轮廓参数ηij
η ij = Σ ω k 1 ∈ Ω ij ( q b ) λ ij λ k 1 + ( λ ij ) 2 - - - - ( 48 )
以此结果为基准,利用式49计算显示边缘信息的内插比例的交界参数ζij。又,α、β、ηmin、ηmax是适当之正的常数。
以上,虽已就作为非线形振动单元之范德杆的情形加以说明,但除此之外以布鲁塞尔机(Brusselator)般之限制循环且稳定的非线形振动单元,或产生洛伦兹吸引器与雷斯拉方程序的吸引器的无秩序振荡器等,能引起拉入现象之任意的非线性形振荡器也能动作。在此情况下,只要将参数ψij与Ψij以非线性形振荡器加以置换追加即可。此时,仅系在适当的参数中加入附近输入合计σij与干扰ρij。但,若系无秩序振荡器时,并不需要干扰ρij
使用式40到式49,可记述能组装物体/背景分离机构16(参照第2图及第7图)之数据处理装置110的所有阵列运算单元40的算法。以下,使用数据处理装置110中的任意阵列运算单元40的算法,就对应物体/背景分离机构16的本发明第12视觉装置,加以说明。
如第29图所示,使用以数据处理装置110所实现的物体/背景分离机构16所形成的三角形的边缘信息151,使分离成三角形的内侧领域152与三角形的外侧领域153,格子状排列的阵列运算单元40是同步并列动作。设格子上i行j列所配置的阵列运算单元40为AOUij,则AOUij的算法如第30图所示。
在步骤1601中,将AOUij配置在格子上的i行j列。
在步骤1602中,根据式41及42,用结合值τijk1连接ωij与ωk1
在步骤1603中,于非线形振动单元的参数φij与Ψij设定适当的值。
在步骤1604中,判断依序输入的形成边缘信息图像115是否已经没有。若无形成边缘信息图像115的话(步骤1604:YES),即结束算法。若有形成边缘信息图像115的话(步骤1604:NO),即移到步骤1605。但,当仅对特定的频带数及图像尺寸组装阵列运算单元40时,作为无限回路亦可。
在步骤1605中,输入形成边缘信息114的ζij
在步骤1606中,从前一刻输入的形成边缘信息114的ζij,根据式43计算干扰ρij
在步骤1607中,自具有附近集合Ωij(qa)中的非线形振动单元ωk1之阵列运算单元40之AOUk1,输入ζk1、ξk1、Ψk1,根据式44计算合计值σij
在步骤1608中,根据式45及46,计算非线形振动单元的参数φij与Ψij。亦即,以尤格库塔(Runge Kutta)法,解该等式所显示的微分方程序。
在步骤1609中,根据式47,计算非线形振动单元的输出λij。此处,若Ψij≥θ的话,则λij=1,除此之外,λij=0。
在步骤16010中,自具有附近集合Ωij(qb)中之非线形振动单元ωk1的阵列运算单元40的AOUk1输入λk1,根据式48计算轮廓参数ηij
在步骤1611中,根据式49计算交界参数ξk1。亦即,用差分法或尤格库塔(Runge Kutta)法,解该等式所显示的微分方程序。
在步骤1612中,判断显示步骤1606到步骤1611的反复次数的分离次数,是否已达到指定次数。若分离次数没有达到指定次数的话(步骤1612:NO),即回到步骤1606。若分离次数达到指定次数的话(步骤1612:YES),即移到步骤1613。
在步骤1613中,输出作为物体领域图像142之频带像素值的非线形振动单元的输出λij。之后,回到步骤1604。
又,为了求步骤1612中之分离次数,能使用如下的方法。在物体/背景分离机构16中,若图像尺寸是一定的话,由于与非线形振动单元的初始状态无关的,在大致所有的形成边缘信息114中经一定时间即结束分离,故预先计算此时间求出步骤1606到步骤1611之反复次数即可。此系因若非线形振动单元的初始状态在一定范围内的话,因拉入现象的影响,非线形振动单元达到同步的时间没有很大差异的关系。
因此,仅计算非线形振动单元,即能使用形成之三角形的边缘信息151分离三角形的内侧领域152与三角形的外侧领域153,是因为利用非线形振动单元之性质的拉入现象的关系。亦即,当用正的结合值来结合两个非线形振动单元时系成为同相位,而用负的结合值结合时则系极力成为大的相位差。使用此性质的话,由于系用附近彼此正的结合值来结合格子状并列的非线形振动单元,因此不直接结合的非线形振动单元彼此为同相位。而且,若用负的结合值来结合位于隔离形成边缘信息114位置的非线形振动单元的话,则边缘信息的两侧极力错开。以此方式进行,即使不结合所有的非线形振动单元,在三角形的边缘信息151的内侧与外侧亦能成为各自不同的相位集合。因此,物体/背景分离机构16,分离成第29图所示之三角形的内侧领域152与三角形的外侧领域153。此时,三角形的内侧领域152与三角形的外侧领域153的相位差超过90度而尽可能的接近180度,分离出三角形与背景领域。
此处,最重要的是,本实施形态,是用能得到形成边缘信息114所示的方法,对结合值进行拟似变更。首先,如式41及42所规定般,将非线形振动单元ωk1用来结合为非线形振动单元ωij的结合值设为τijk1(参照步骤1602)。形成边缘信息ζij与ζk1,在具有边缘时,皆为1,没有边缘时,皆为0。输入形成边缘信息ζij与ζk1后(参照步骤1605),从阵列运算单元40的AOUk1,将形成边缘信息ζk1传送到AOUij,在AOUk1计算τijk1A(1-ζk1)以取代结合值τijk1(参照步骤1607)。对此代用的接合值τijk1A(1-ζk1),交界参数ζij是作为从0到1的倍率作用(参照步骤1607)。
如第31图所示,当形成边缘信息114为虚线状态的三角形的边缘信息154时,必须进行虚线的内插。首先,当使用虚线状态的三角形的边缘信息154使系统动作时(参照步骤1605),在虚线状态的三角形的边缘信息154的内侧与外侧相位差虽约超过90度,但三角形的内侧与外侧的交界部分则不明确,因此,各AOUij计算非线形振动单元的输出λij(参照步骤1609)。当此输出λij为1时,在附近的非线形振动单元中设λk1为1时的非线形振动单元为ωk1,则参数Ψij与Ψk1同时为θ以上。亦即,λij与λk1约为同相位,若θ为正值的话,最差时相位差也不至超过90度。该相位差的最大值是藉θ值来决定,在λij与λk1同时为1的范围下若加大θ的话,该相位差即趋近0度。因此,当使用λij与λk1的话,在附近的非线形振动单元中,显示约略同相位数的轮廓参数ηij是根据式48进行计算(参照步骤1610)。接着,若该轮廓参数ηij在整个附近中,约为一半的话,则根据式49减少结合值的倍率的交界参数ζij,除此以外,则根据式49使之增加(参照步骤1611)。例如,在8附近时,若是3到5之间,根据式49减少交界参数即即可。若反复该过程使之持续动作的话,当得到第31图所示的虚线状态的三角形的边缘信息154时,即分离为虚线三角形的内侧领域155与虚线三角形的外侧领域156。
如第32图所示,当重叠两个三角形时,能得到前方三角形的边缘信息157与后方三角形的边缘信息158。此时,利用前方三角形的内侧领域159与后方三角形的内侧领域160与双重三角形的背景领域161的3个领域的非线性形振荡器之相位的相互偏离,分离成三个领域。又,如第33图所示,两个重叠圆形的边缘信息162即使是虚线,也被分离为前方圆形的内侧领域163与后方圆形的内侧领域164与双重圆的背景领域165的三个领域。
因此,使用由阵列运算单元40所构成的数据处理装置110,以对应物体/背景分离机构16的本发明第12视觉装置,能以形成边缘信息图像115的形成边缘信息114为交界,分离物体领域141与背景。
以上,就本发明第6-12视觉装置,进行了说明。当然,该等视觉装置虽能利用一般电脑进行组装,但当将移动物体2作为计数对象时,必须根据移动物体2的移动速度高速地执行各个前述机构。尤其是当提高帧图像1的图像尺寸或解像度时,以图像本身作为处理对象的图像存储机构12(参照第1图及第6图)、图像振动机构13(参照第3图、第4图及第5图)、边缘信息生成机构14(参照第1图及第6图)、边缘信息形成机构15(参照第1~5图、第7~12图)、物体/背景分离机构16(参照第2、4、5、7~12图)、位置/大小检测机构17(参照第1图及第6图)、领域规格化机构27(参照第7图)、规格化图像保持机构28(参照第7图)及图像辨识机构29(参照第8图),对各宽方向及各高度方向之计算量,即与图像尺寸或解像度成正比增大。因此,本发明第6-12视觉装置,有时可能会因用途之不同,而无法达到预期的性能。
此处,为了使用数字技术组装图像存储机构12、图像振动机构13、边缘信息生成机构14、边缘信息形成机构15、物体/背景分离机构16、位置/大小检测机构17、领域规格化机构27、及规格化图像保持机构28,本发明第13视觉装置中的阵列运算单元40是在数据处理装置110中,如第13图所示般排列为格子状,而且,阵列运算单元40系以仅能与数据处理装置110中的相邻阵列运算单元40相互通信之方式,加以配线。亦即,4附近彼此间系直接配线。因此,与8彼此间配线时比较起来,使用较少的电子零件与配线量,就能同程度高速地动作,且能在将来欲扩充附近尺寸时具有简单地扩充性。
本发明第14视觉装置中的阵列运算单元40,如第34图所示,系由用来计算图样处理之式的处理器(Processor)41、用来存储式中所使用的所有参数、常数、函数及运算子的存储器(Memory)42、以及用来与附近的阵列运算单元40进行通信的控制器(Controler)43所构成,处理器41可利用位址汇流排51所指定的位址(Address),选择存储器42及控制器43的任意存储元件及暂存器。此外,处理器41是透过位址汇流排51连接于存储器42及控制器43以能双向通信,以存取位址汇流排51所指定的任意存储器元件及暂存器的数据(DATA)。当阵列运算单元40输入由一个以上的输入像素所构成的前输入数据群(Front Input Data Set)时,控制器43即将前输入数据群存储在存储器42。又,控制器43将由函数所作成的存储器42中的计算数据传送到相邻的阵列运算单元40,同时将从相邻的阵列运算单元40所接收的计算数据存储在存储器42,若有需要,传送到输入以外的阵列运算单元40。最后,控制器43将输出图像数据作为结果数据(Result Data)加以输出。
如上所述,在阵列运算单元40中搭载控制器43的理由,是由于在阵列运算单元40彼此通信期间处理器41亦能动作,故处理器41在通信的等待时间中也能进行计算而实现高速处理,及即使变化附近的阵列运算单元40的数量也不必变更硬件,以及控制器43进行图像的边缘处理,亦即,能自动进行对图像中之边缘像素的例外处理,故处理器41的程序不必进行边缘处理而极为单纯之故。
处理器41与存储器42能使用一般的数字电路。控制器43的具体电路图是如第35图所示。位址缓冲器(Address Buffer)53是透过位址汇流排(Address Bus)51,从处理器41接收位址(Address),根据位址解码器(AddressDecoder)54,选择各暂存器及其他机能方块。数据缓冲器(Data Buffer)55,经由数据汇流排(Data Bus)52,从处理器41接收数据(Data),透过用位址解码器54所选择的暂存器与内部数据汇流排56进行排他的通信。通信方向藉读取(Read)加以指定。当位址指定标记暂存器(Flag Register)57时,数据被存储在标记暂存器57中,利用标记解码器(Flag Decoder)58进行解码,以复数信号(Signals),传送到相邻的阵列运算单元40。复数信号是利用标记编码器(FlagEncoder)59加以接收,经解析后,存储在状态暂存器(Status Register)60中,又,作为接收(RECIEVER)送回传送源的阵列运算单元40。接收是用复数信号的传送源的标记编码器59来接收,其结果,确认复数信号的传送结束。当用位址选择状态暂存器时,状态暂存器60的内容即透过数据汇流排52以数据传送到处理器41。当标记编码器59接收对应一个以上的输入图像(InputImage)的一个以上的前输入送达(Front Input Sent)时,则由一个以上输入图像所构成的前输入数据群(Front Input Data Set),读入准备有所需之存储容量分的前输入数据暂存器(Front Input Data Register)61。当使用位址来选择前输入数据暂存器61时,前输入数据暂存器61的内容,以数据传送到处理器41。当处理器41完成计算后,根据位址选择结果数据暂存器(Result DataRegister)62,结果数据暂存器62即将输出图像的图像数据作为结果数据(Result Data)加以读取。与此同时,标记编码器59传送结果送达(Result Send)。
当自附近的阵列运算单元40求出计算所需的数据后,即选择输出数据暂存器(Output Data Register)63作为位址,将应传送到附近的阵列运算单元40的数据作为计算数据(Calculation Data),读入输出数据暂存器63。之后,作为计算数据传送至相邻的所有阵列运算单元40。当从上侧的阵列运算单元40接收复数信号(Signals)后,即将计算数据读入上输入数据暂存器(UpperInput Data Register)64。之后,根据位址选择上输入数据暂存器64后,即将上输入数据暂存器64的内容作为计算数据加以传送。从下侧、左侧、右侧的阵列运算单元40接收复数信号时亦相同,下输入数据暂存器65、左输入数据暂存器66、右输入数据暂存器67皆同样地动作。
各种缓冲器、各种暂存器、位址解码器54的各方块是一般的电子电路。具体说来,标记解码器58与标记编码器59具有第36图与第37图所示的输入输出信号。种类(Type)是以5位元显示输出数据暂存器(Output DataRegister)63所读入的内容种类。该位元数系足以区别阵列运算单元40所收发之所有计算数据的值。计数器-X(Count-X)及计数器-Y(Count-Y)系显示各个无4位元编码之整数,显示阵列运算单元40间的传送次数。当阵列运算单元40传送计算数据时,各个计数器为0,当再度传送从左右的阵列运算单元40所传送的计算数据时,是在标记编码器59的计数器-X中加1的值,当再度传送从上下的阵列运算单元40所传送的计算数据时,是在标记编码器59的计数器-Y中加1的值。处理器41是于标记暂存器57的送达标记(SendFlag)中,指定输出数据暂存器63的内容是传送至上下左右中那一任何方向后,当标记解码器58接收指定输出数据暂存器63的位址解码器54的中央解码(Central Decoding)时,标记解码器58即将送达(Send)配合送达标记的指定方向加以输出。送达标记是用4位元显示,当阵列运算单元40的计算数据传送到四方的阵列运算单元40时,处理器41系设定为1111,当将从右侧的阵列运算单元40所传送来的计算数据传送到上下左右侧时,系设定为1101,当从下侧传送到上侧时,设定为1000,当从上侧传送到下侧时,设定为0100。以此方式,由于不仅不至重复传送而能有效地传送,而且传送方向的决定规则变的明确,故藉组合种类、计数器-X及计数器-Y,标记编码器59能判定是从哪一个阵列运算单元40、传送哪一种的计算数据。将计算数据作为结果数据读入结果数据暂存器62中之同时,标记解码器58亦接收结果解码(Result Decoding),传送结果送达(Result Send)。
当标记编码器59从四方之任一方向接收到送达时,即接收接收方向的种类与计数器-X、计数器-Y,更新该部分的状态暂存器60的内容。在此更新的同时,将接收设定为1传送至接收方向。传送源的阵列运算单元40的标记编码器59,是在接收成为1的瞬间进行接收,更新状态暂存器60的接收状态(Receive Status)。因此,各阵列运算单元40中,处理器41仅检查状态暂存器60的接收状态,即能判断有效的计算数据是存储在哪一个输入数据暂存器中。因此,例如,若将计算数据读入上输入数据暂存器64的话,虽然处理器41可藉指定位址从上输入数据暂存器64读入数据,但同时将上解码(Upper Decoding)从位址解码器54传送到标记编码器59,在接收状态中之上部分回到0,将向上侧的接收作为0加以传送。下左右侧之情形时也同样地动作。当标记编码器59即使只接收到一个输入图像用的前输入送达,即将状态暂存器60中对应接收前输入送达的输入图像用的前输入送达状态(FrontInput Send Status)为1。又,当处理器41从输入图像用的前输入数据暂存器61读取数据时,位址解码器54是将前解码(Front Decoding)传送到标记编码器59,将接收的前输入送达所对应的前输入送达状态设定为0。处理器41藉读取状态暂存器60的内容,即判断前输入数据暂存器61中是否存储有最新的输入图像。
处理器41透过控制器43将计算数据传送给四方的阵列运算单元40时的算法显示于第38图。第38图是显示使用处理器41的程序控制,与使用标记解码器58及标记编码器59的硬件逻辑的混合处理。第38图中,步骤71,系处理器41读取状态暂存器60的内容。步骤72,系判断读取的内容中接收状态是否全部为0。若是NO的话,即结束处理,若是YES的话,即移到步骤73。在步骤73中,处理器41决定传送到相邻的阵列运算单元40的数据种类与计数器与传送方向,将其内容写入标记暂存器57。在步骤73中,处理器41是将相邻阵列运算单元40所传送的数据写入输出数据暂存器63中。在步骤75中,将输出数据暂存器63的内容作为计算数据,传送给相邻之阵列运算单元40。在步骤76中,仅在标记暂存器57的送达标记所指定的方向,将送达设定为1加以传送。藉此,处理器41的1次传送便告结束。处理器41,当每一次应传送的数据在存储器42内更新时,即开始该传送算法。
控制器43从上侧的阵列运算单元40接收计算数据时之算法显示于第39图。第39图是显示使用标记解码器58及标记编码器59的硬件逻辑的处理。第39图中,步骤81,系标记编码器59输入送达。在步骤82中,标记编码器59判断送达是否为1。若是NO的话,即结束处理,若是YES的话,即移到步骤83。在步骤83中,上输入数据暂存器64读取从上侧所传送来的计算数据。在步骤84中,标记编码器59将状态暂存器60中上侧用的接收状态设定为1,同时将接收设定为1传送给上侧的阵列运算单元40。上下右侧的情形亦相同。据此,控制器43的1次接收算法便告结束。控制器43随时监视来自上下左右阵列运算单元40的送达,每当接收到该送达时即开始该接收算法。
处理器41从上输入数据暂存器64接收数据时之算法显示于第40图。第40图是显示使用处理器41的程序控制,与使用标记解码器58及标记编码器59的硬件逻辑的混合处理。第40图中,步骤91,处理器41读取状态暂存器60的内容。在步骤92中,判断读入的内容中上侧用的接收状态是否为1。若是NO的话,即结束处理,若是YES的话,即移到步骤93。在步骤93中,处理器41从上输入数据暂存器64读取数据。在步骤94中,标记编码器59将状态暂存器60中上侧用的接收状态设定为0,同时将接收设定为0传送到上侧的阵列运算单元40。下左右侧的情形亦相同。据此,结束处理器41的1次接收算法。处理器41是用一定间隔,监视状态暂存器60的内容,每当上下左右任何的接收状态为1时即开始该接收算法。又,即使处理器41不用一定间隔监视状态暂存器60的内容,亦可利用插入处理进行组装。
又,该阵列运算单元40,主要是根据一个以上的输入图像生成一个输出图像为前提加以说明,但在不同的用途时需变更电路以在计算途中输出计算数据。此时,只要变更程序以仅增加应输出标记解码器58的结果送达的计算数据的数量,将对应结果数据暂存器62所读入的计算数据的结果送达设定为1即可。
以上,说明了本实施形态,但本发明不限于上述实施形态,若是熟习该领域之业者的话,亦能实施各种的样态,在不脱离本发明的技术思想范围内,当然可适当改变本发明的构成,该改变也属于本发明的技术范围。
产业上的可利用性
根据本发明第1或2的视觉装置,当即使使用明度、彩度、色相等亦不易从动态图像中将移动物体单体或其一部分,作为一块的领域切出时,本发明能计算前述移动物体的数量。例如,当计算活的透明变形虫(ameba)时,当然无法对整个变形虫施以着色。又,即使将光源与背景设定为适当的颜色,变形虫亦为相同的色,或因光的折射、反射等使变形虫的中央与边缘成为不同的色,亦不易得到全面涂抹变形虫的图像。大部分的情形中,因光的折射、反射等,在变形虫的轮廓部分出现特异的辉度值。因此,若使用本发明的话,根据这种特异的辉度值生成边缘信息,就能从背景切出整个变形虫,故变形虫之数量的计算较为容易。同样地,也适用于微尘粉等的微生物、白血球与精子等细胞。当然,对于能根据蝌蚪与人脸的颜色信息容易地区别出背景的移动物体,也能适用本发明。由于在移动物体、光源及背景中,不必特别做任何处理,即能计算移动物体数量,故在能拍摄移动物体的现有装置中连接本发明,即能廉价地实现移动物体用的物体计数装置。此外,亦能在判定动态图像中有无移动物体的前处理中亦能加以利用。再者,藉自本发明中直接取出从背景分离出的物体领域输入另外的装置,以辨识移动物体时的前处理中亦能加以利用,进而廉价地实现物体辨识装置。
根据本发明第3视觉装置,当即使使用明度、彩度、色相等亦不易从静止图像或动态图像的帧图像中,将物体单体或其一部分作为一块的领域切出时,本发明能计算前述移动物体的数量。例如在计算透明的珠子(beads)时,当然无法对珠子进行着色。又,即使将光源与背景设定为适当的颜色,珠子亦会成为相同的色,或因光的折射、反射等,使珠子的中央与边缘成为不同的色,皆不易得到全面涂抹珠子的图像。大部分的情形中,因光的折射、反射等在珠子的轮廓部分出现特异的辉度值。因此,当使用本发明时,由于能根据该特异的辉度值生成边缘信息,据以从背景切出整个珠子,故计算珠子的数量较为容易。同样地,也适用于微尘粉等的微生物、白血球与精子等细胞。当然,根据蝌蚪与人脸的颜色信息容易地与背景区别的移动物体,亦能利用本发明。如上述般,由于不需对物体、光源及背景施以任何处理即能计算物体数量,故藉在能拍摄物体的现有装置中连接本发明,即能廉价地实现物体用的物体计数装置。此外,判定静止图像中有无物体的前处理中,亦能加以利用。再者,藉自本发明中直接取出从背景分离出的物体领域输入另外的装置,以辨识移动物体时的前处理中亦能加以利用,进而廉价地实现物体辨识装置。
根据本发明第1或2或3视觉装置,当即使使用明度、彩度、色相等亦不易从动态图像中,切出移动物体及静止物体单体或其一部分作为一块的领域时,本发明能计算前述物体中移动物体数与所有物体之数量。例如,当计算透明的变形虫(ameba)中活的透明变形虫与整个变形虫时,能将一定时间内移动的变形虫视为活的。藉使用动态图像中相隔一定时间的两个帧图像、或相隔一定时间拍摄的两个静止图像,本发明能计算移动的变形虫数与所有的变形虫数。同样的,也适用于微尘粉等的微生物、白血球与精子等细胞。当然,对根据蝌蚪与人脸的颜色信息而能容易地与背景区别的物体,也能利用本发明。如上述般,由于能以一种装置计算移动物体数与所有物体数,故能廉价地实现计算移动物体数与所有物体数的装置。此外,判定静止图像中有无物体的前处理中,亦能加以利用。再者,藉自本发明中直接取出从背景分离出的物体领域输入另外的装置,以辨识移动物体时的前处理中亦能加以利用,进而廉价地实现物体辨识装置。
根据本发明第1或2或3视觉装置,当即使使用明度、彩度、色相等亦不易或无法从动态图像中切出移动物体及静止物体单体、或将其一部分作为一块的领域时,本发明能计算前述物体中移动物体数与所有物体数,计算移动物体数与静止物体数或其比例。例如,当求透明的变形虫的生存率时,能将某一定时间内移动的变形虫视为活的。藉使用动态图像中相隔一定时间的两个帧图像、或相隔一定时间拍摄的两个静止图像,本发明能计算移动的变形虫数与所有的变形虫数,故能简单地求出变形虫的生存率。同样的,也适用于微尘粉等的微生物、白血球与精子等细胞。当然,对根据蝌蚪与人脸的颜色信息而能容易地与背景区别的物体,也能利用本发明。如上述般,由于能用一种装置计算移动物体的数量与静止物体的数量,故能廉价地实现计算移动物体与静止物体之比例的装置。其他,在动态图像中,也能利用在判定有无移动物体或静止物体的前处理。再者,藉自本发明中直接取出从背景分离出的物体领域输入另外的装置,以辨识移动物体或静止物体时的前处理中亦能加以利用,能廉价地实现物体辨识装置。
根据本发明第4或5视觉装置,使用由三原色波长、可视光波长、红外线波长,紫外线波长、及其他所有的电磁波中由任意的频带构成的动态图像,本发明能搜索摄像机能拍摄范围的物体。当物体移动时,能藉检测移动物体的位置及大小,使移动式摄像机的方向对准物体,调整倍率以使图像中的移动物体大小为一定。又,当物体静止时,由于能使移动式摄像机微细地振动据以检测静止物体的位置与大小,故对静止物体亦能与移动物体时相同的控制移动式摄像机。再者,由于亦能从外部控制移动式摄像机,故能与电脑等组合加以利用。因此,本发明能利用如下。例如,除了在走廊等照明较稳定的场所外,在玄关与屋外等噪声较多的地方进行人、车或行李等物体之监视时,本发明能控制移动式摄像机以用适当的倍率拍摄该等物体。另外,在便利商店或超商等动态较少的地方藉集中拍摄顾客,本发明能达到防止偷窃等效果。如上述般,由于能用一个装置对广范围的物体进行监视,故能廉价地实现物体监视装置。除此之外,在判定动态图像中有无特定物体的前处理中亦能加以利用。再者,藉自本发明中直接取出从背景分离出的物体领域加以规格化之图像输入另外的装置,以辨识移动物体或静止物体时的前处理中亦能加以利用,能廉价地实现物体辨识装置。
又,根据本发明第5视觉装置,使用由三原色波长、可视光波长、红外线波长,紫外线波长、及其他所有的电磁波中由任意的频带构成的动态图像,本发明能搜索摄像机能拍摄范围的物体。将该等物体以适当的辨识方法分类为若干种类后,与位置或时刻等之属性同时加以记录。因此,能计算一定时间内位于移动式摄像机能拍摄范围之特定物体的数量,或记录物体移动的轨迹。例如,在卡拉OK包厢与商店街等地方,本发明能计测顾客数量与通行量等。另外,在便利商店、超商及工场等处,能调查顾客的聚集场所或记录作业员的作业步骤。另外,在游乐园场等处,能使用于「不倒翁倒下」的移动物体搜索游戏与或射击游戏等。更进一步的,藉将本发明组装于机器人中,工业用机器人即能搜索制造线中的工件、或侦测人员之接近而使动作停止,是以本发明能实现人型机器人及导盲犬机器人等移动机器人的视觉装置。因此,若在汽车、公共汽车、砂石车等车辆的前后左右安装本发明的话,本发明能发现位于驾驶员死角的物体进而发出警报,亦能预先侦测接近而来之车辆等移动物体,也能取得发生交通事故时的记录。对坐在轮椅的人而言,由于不必转头就能扩大视野,故能预先察知由后方逼近的自行车或汽车,能有效防止事故。此外,若在电车等之车门口设置本发明,本发明也能发现被门夹住或站在门旁的乘客。若车站的月台设置本发明的话,本发明能发现掉落于轨道上的物品,或对站在月台之轨道边的人发出警告。另外,若将本发明设置在救难用机器人的话,救难用机器人即能找出在海岸、海上或河川等处的遇难者,自动地接近以将救生衣或绳索等搬送给遇难者,或将遇难者搬送到安全的地点。该救难用机器人亦能利用于搜索因地震而被埋在瓦砾下的人。如上述般,由于能用一个装置进行物体的搜索、计数与移动轨迹的记录,故能廉价地实现物体搜索装置、物体辨识装置、物体计数装置及物体记录装置等。
根据本发明第6视觉装置,能在并列输入数字图像的各像素,以图像单位或像素单位使数字图像振动后,并列输出数字图像的各像素。由于本发明不使用振动台等物理性机构,故能高速地使数字图像振动。因此,在移动物体系以高速移动之情形中,必须即时生成数字图像中的所有物体的边缘信息时,本发明能达成所需之处理速度。
根据本发明第7视觉装置,能在并列输入数字图像的各图像,以生成数字图像的各像素的粗边缘信息后,并列输出粗边缘信息。所生成的粗边缘信息因受物体的移动方向、移动速度及物体与背景的颜色信息差等的影响,虽未必正确,但由于在有太阳光照射的屋外等噪声较多的环境亦不必特别对数字图像进行修正,而能生成任意形状的移动物体的粗边缘信息,因此本发明能不受使用环境的限制加以使用。又,本发明对红外线、紫外线、甚至于放射线等能与可视光波长、三原色波长同样地加以处理,且越增加频带数越能减少噪声的影响。此时,由于本发明不必变更存储容量以外之数据处理装置的电路,故能容易地增加频带数。因此,对不仅在屋内且能在屋外活动的机器人来说,本发明能高速且便宜地提供移动物体的轮廓、位置及大小。此外,本发明对不限定对象物的视觉辨识装置之前处理而言,亦能有效地动作。
根据本发明第8视觉装置,能在并列输入粗边缘信息及数字图像的各图像,利用数字图像从粗边缘信息生成形成边缘信息后,并列输出形成边缘信息。由于本发明能将以任意方法生成的粗边缘信息形成为更明了且明确之边缘信息,因此能容易地减低生成粗边缘信息之机构所需要的负载。此外,由于本发明不太受粗边缘信息的影响,因能将数字图像设定为低解像度的低解像度数字图像的特定领域所生成的粗边缘信息,形成为更明了且明确之边缘信息。因此,不需增加硬件量与计算量,本发明能对低倍率数字图像中的物体生成高精度的边缘信息。藉本发明,能使过去以广角摄像机与高精细摄像机的物体辨识装置,用一个摄像机实现物体辨识。
根据本发明第9视觉装置,能在并列输入边缘信息,检测用边缘信息所显示的物体的位置及大小后,将物体的位置及大小作为重复信息加以并列输出。本发明,能以需要大量的硬件量与计算量所检测的图像中之多个物体的位置及大小相同程度之品质或之上的品质,一次性的从多个物体的边缘信息中检测出位置及大小。从用摄录影机所拍摄的动态图像的帧图像或用数字相机所拍摄的静止图像中,检测该图像中的复数物体之位置及大小的前处理中亦能利用本发明,以高速且廉价地实现静止图像及动态图像的图形辨识算法。
又,根据本发明第9视觉装置,能在并列输入物体领域图像的各像素,检测用物体领域图像的各像素所显示的物体的位置及大小后,将物体的位置及大小作为重复信息加以并列输出。本发明,能以需要大量的硬件量与计算量所检测的图像中之多个物体的位置及大小相同程度之品质或之上的品质,一次性的从多个物体的边缘信息中检测出位置及大小。尤其是当检测像细胞或精子般具有圆形部分的物体,或像人脸般可视为圆形的物体位置及大小时,由于不需从该等物体领域再度生成边缘信息,故能高速且廉价地实现静止图像及动态图像的图形辨识算法。
根据本发明第10视觉装置,能在并列输入物体领域图像的各像素及数据图像的各像素,以将数字图像中的物体领域规格化后,并列输出规格化图像的各像素。本发明,能以需大量的硬件量与计算量所生成、对位置偏离较弱、多间隙的规格化图像同程度之品质或之上的品质,使用物体领域图像的物体领域以外,将被遮蔽的数字图像的物体领域配合数字图像的尺寸填补间隙,同时进行规格化。对用摄录放机拍摄的动态图像之帧图像或用数字相机拍摄的静止图像中切出的特定物体进行规格化的前处理中亦能加以利用,而能高速且廉价地实现静止图像及动态图像的图形辨识算法等。
根据本发明第11视觉装置,能在并列输入若干模板图像的各像素,并列输入规格化图像的各像素,进行模板图像与图形匹配后,并列输出匹配结果图像的各像素。若对不同位置与大小的相同物体之规格化图像的再现性高的话,本发明能选择仅用附近处理、类似于规格化图像的若干模板图像。是以,由于本发明能将最小平方误差与中性网路等的大区域处理抑制在最小限度,故能高速且廉价地实现静止图像及动态图像的图形辨识算法等。
根据本发明第12视觉装置,能在并列输入形成边缘信息,使用非线形振动单元将物体领域与背景领域分离后,并列输出物体领域图像的各像素。奔发明,针对数字图像,不需预先进行边缘信息的生成以外之任何前处理,不受数字图像中的物体形状、位置、方向的影响,又,即使边缘信息为虚线、或交差亦无所谓,再者,即使数字图像中的物体领域重叠,亦能分离物体领域与背景领域。另外,本发明使用数字技术容易组装硬件,亦能进行适合即时图像处理的高速化。
根据本发明第13或14视觉装置,能使视觉装置高速地动作。特别是由于并行性的关系,即使图像尺寸变大,处理时间亦不变。是以,可利用视觉装置于需要即时性之用途。又,由于只要变更程序,即能用同一晶片实现本发明第6-12视觉装置的多个机构,因此本发明能便宜地制造视觉装置。再者,由于能用同一晶片实现本发明第6-12视觉装置的多个机构,因此能将该晶片容易地组装于移动式摄像机中,而增加方便性。最后,由于本发明全部用像素单位输入、输出信号,故藉重叠多个晶片即能抑制配线量。因此,藉三次元VLSI等技术革新,本发明能容易地提升处理性能。

Claims (7)

1.一种视觉装置,其特征在于,针对实现使数字图像振动的装置的数据处理装置中配置成格子状的各个阵列运算单元,包括:
将前述阵列运算单元初始化的装置;
若无应输入的前述数字图像时,即结束处理的装置;
输入前述数字图像的各频带像素值的装置;
使前述数字图像的前述各频带像素值在3像素前后的范围上下左右振动的装置;以及
输出振动图像的各频带像素值的装置。
2.一种视觉装置,其特征在于,针对实现根据数字图像生成粗边缘信息图像的装置的数据处理装置中配置成格子状的各个阵列运算单元,包括:
将前述阵列运算单元初始化的装置;
若无应输入的前述数字图像时,即结束处理的装置;
输入前述数字图像的各频带像素值的装置;
将前述数字图像的前述各频带像素值加以平滑化,以生成平滑化图像的各频带像素值的装置;
取前述平滑化图像的前述各频带像素值的对数,以生成对数转换图像的各频带像素值的装置;
将前述对数转换图像的前述各频带像素值加以清晰化,以生成清晰化图像的各频带像素值的装置;
自前述清晰化图像的前述各频带像素值,减去1个输入前清晰化图像的各频带像素值,以生成时间差图像的各频带像素值的装置;
将前述清晰化图像的前述各频带像素值转换为1个输入前清晰化图像的各频带像素值的装置;
对前述时间差图像的各频带像素值进行拉普拉斯运算码的计算,以生成时间差拉普拉斯运算码图像的各频带像素值的装置;
抽出前述时间差拉普拉斯运算码图像的前述各频带像素值的零点,以生成时间差零点图像的各频带像素值的装置;
求出前述时间差零点图像的前述各频带像素值的最大值,以生成最大值的时间差零点图像的前述各频带像素值的装置;
对前述清晰化图像的前述各频带像素值进行拉普拉斯运算码的计算,以生成时间差拉普拉斯运算码图像的各频带像素值的装置;
抽出拉普拉斯运算码图像的前述各频带像素值的前述零点,以生成零点图像的各频带像素值的装置;
求出前述零点图像的前述各频带像素值的最大值,以生成最大值零点图像的频带像素值的装置;
求出前述最大值零点图像的前述频带像素值与前述最大值时间差零点图像的前述频带像素值中较大者,以生成混合零点图像的频带像素值的装置;
去除前述混合零点图像的孔,以生成孔除去混合零点图像的频带像素值的装置;
去除前述孔除去混合零点图像的孤立点及孤立孔,以生成噪声除去混合零点图像的频带像素值的装置;
反转前述噪声除去混合零点图像的前述各频带像素值,以生成粗边缘信息图像的频带像素值的装置;以及
输出前述粗边缘信息图像的前述频带像素值的装置。
3.一种视觉装置,其特征在于,针对实现根据粗边缘信息图像生成形成边缘信息图像的装置的数据处理装置中配置成格子状的各个阵列运算单元,包括:
将前述阵列运算单元初始化的装置;
若无应输入的前述数字图像时,即结束处理的装置;
输入前述数字图像的各频带像素值及前述粗边缘信息图像的各频带像素值的装置;
将前述数字图像的各频带像素值及前述粗边缘信息图像的各频带像素值加以分离的装置;
将前述数字图像的前述各频带像素值加以平滑化,以生成平滑化图像的各频带像素值的装置;
取前述平滑化图像的前述各频带像素值的对数,以生成对数转换图像的各频带像素值的装置;
将前述对数转换图像的前述各频带像素值加以清晰化,以生成清晰化图像的各频带像素值的装置;
对前述清晰化图像的前述各频带像素值进行拉普拉斯运算码的计算,以生成拉普拉斯运算码图像的各频带像素值的装置;
抽出前述拉普拉斯运算码图像的前述各频带像素值的零点,以生成零点图像的各频带像素值的装置的装置;
求出前述零点图像的前述各频带像素值的最大值,以生成最大值零点图像的频带像素值的装置;
反转前述最大值零点图像的前述频带像素值,以生成基础边缘信息图像的频带像素值的装置;
为趋近基础边缘信息图像的前述频带像素值,将前述粗边缘信息图像的频带像素值加以整形的装置;
内插前述粗边缘信息图像的前述频带像素值的线宽,以生成形成边缘信息图像的频带像素值的装置;以及
输出前述形成边缘信息图像的前述频带像素值的装置。
4.一种视觉装置,其特征在于,针对实现检测物体领域的位置及大小的装置的数据处理装置中的配置成格子状的各个阵列运算单元,包括:
将前述阵列运算单元初始化的装置;
若无应输入的数字图像时,即结束处理的装置;
输入粗边缘信息图像的各频带像素值的装置;
将前述粗边缘信息图像的频带像素值转换为重复数据图像的频带像素值的装置;
将根据前述重复数据图像计算的移动量,图像化为移动量图像的频带像素值的装置;
将前述重复数据图像的前述频带像素值,移动至前述移动量图像的前述频带像素值所指示的移动位置的装置;
将前述重复数据图像的前述频带像素值,更新为前述重复数据图像的移动源的前述频带像素值的合计的装置;以及
输出前述重复数据图像的前述频带像素值的装置。
5.一种视觉装置,其特征在于,针对实现使物体领域规格化的装置的数据处理装置中配置成格子状的各个阵列运算单元,包括:
将前述阵列运算单元初始化的装置;
若无应输入的物体领域图像或数字图像时,即结束处理的装置;
输入前述物体领域图像的频带像素值及前述数字图像的各频带像素值的装置;
将前述物体领域图像的前述频带像素值与前述数字图像的前述各频带像素值加以分离,以生成更新物体领域图像的频带像素值及更新数字图像的各频带像素值的装置;
将根据前述更新物体领域图像所计算的移动量,图像化为移动量图像的频带像素值的装置;
根据前述移动量图像的前述频带像素所指示的移动位置的重复数,生成能移动图像的频带像素值的装置;
根据前述能移动图像的判定,将前述更新物体领域图像的前述频带像素值移动到前述移动位置的装置;
配合前述更新物体领域图像的前述频带像素值的移动,移动前述更新数字图像的前述各频带像素值的装置;
对前述物体领域中未包含的前述更新物体领域图像的前述频带像素值,以前述物体区域中包含的附近频带像素值的平均值加以内插的装置;
配合前述更新物体领域图像的频带像素值的内插,内插前述更新数字图像的前述各频带像素值的装置;以及
输出内插前述更新数字图像后所生成的规格化图像的各频带像素值的装置。
6.一种视觉装置,其特征在于,针对辨识规格化图像的装置中实现图案匹配的数据处理装置中配置成格子状的各个阵列运算单元,包括:
将前述阵列运算单元配置成格子状的装置;
将前述阵列运算单元初始化的装置;
至应输入的模板图像完全没有为止,输入前述模板图像的频带像素值的装置;
若无应输入的前述规格化图像时,即结束处理的装置;
输入前述规格化图像的频带像素值的装置;
计算匹配结果的装置;
更新匹配结果图像的装置;以及
输出前述匹配结果图像的频带像素数的装置。
7.一种视觉装置,其特征在于,针对使用形成边缘信息图像来分离物体领域
的装置的数据处理装置中配置成格子状的各个阵列运算单元,包括:
将前述阵列运算单元配置成格子状的装置;
将前述阵列运算单元中的非线形振动单元与位于前述非线形振动单元附近的前述非线形振动单元,以结合值加以连接的装置;
将前述阵列运算单元初始化的装置;
若无应输入的前述形成边缘信息图像时,即结束处理的装置;
输入前述形成边缘信息图像的频带像素值的装置;
计算干扰的装置;
计算前述非线形振动单元附近输入合计的装置;
计算前述非线形振动单元参数的装置;
计算前述非线形振动单元的输出的装置;
计算轮廓参数的装置
计算交界参数的装置;以及
输出包含有以前述非线形振动单元加以分离的前述物体领域的物体领域图像的频带像素值的装置。
CNB998107972A 1998-09-10 1999-09-10 视觉装置 Expired - Fee Related CN1292383C (zh)

Applications Claiming Priority (18)

Application Number Priority Date Filing Date Title
JP25732798 1998-09-10
JP257327/98 1998-09-10
JP257327/1998 1998-09-10
JP14563899 1999-05-25
JP145638/1999 1999-05-25
JP145638/99 1999-05-25
JP209738/1999 1999-07-23
JP209738/99 1999-07-23
JP20973899 1999-07-23
JP250990/1999 1999-09-06
JP25099099 1999-09-06
JP250990/99 1999-09-06
JP25098699 1999-09-06
JP250986/99 1999-09-06
JP250986/1999 1999-09-06
JP25363499 1999-09-07
JP253634/99 1999-09-07
JP253634/1999 1999-09-07

Publications (2)

Publication Number Publication Date
CN1317124A CN1317124A (zh) 2001-10-10
CN1292383C true CN1292383C (zh) 2006-12-27

Family

ID=27553000

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB998107972A Expired - Fee Related CN1292383C (zh) 1998-09-10 1999-09-10 视觉装置

Country Status (9)

Country Link
US (1) US6856696B1 (zh)
EP (1) EP1113388B1 (zh)
JP (1) JP4324327B2 (zh)
KR (1) KR100402361B1 (zh)
CN (1) CN1292383C (zh)
AU (1) AU763178B2 (zh)
DE (1) DE69935437T2 (zh)
IL (1) IL141589A (zh)
WO (1) WO2000016259A1 (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002073538A1 (fr) * 2001-03-13 2002-09-19 Ecchandes Inc. Dispositif visuel, compteur asservi et capteur d'images
CN100385460C (zh) * 2001-03-13 2008-04-30 伊强德斯股份有限公司 联动式计数器及联动装置
GB0118020D0 (en) * 2001-07-24 2001-09-19 Memco Ltd Door or access control system
US7028175B2 (en) * 2003-04-09 2006-04-11 Microsoft Corporation System and method for computer hardware identification
US7756322B2 (en) * 2003-08-18 2010-07-13 Honda Motor Co., Ltd. Picture taking mobile robot
US7756301B2 (en) * 2005-01-26 2010-07-13 Honeywell International Inc. Iris recognition system and method
JP4428067B2 (ja) * 2004-01-28 2010-03-10 ソニー株式会社 画像照合装置、プログラム、および画像照合方法
JP2006098803A (ja) * 2004-09-29 2006-04-13 Toshiba Corp 動画処理方法、動画処理装置および動画処理プログラム
US7359552B2 (en) * 2004-12-15 2008-04-15 Mitsubishi Electric Research Laboratories, Inc. Foreground detection using intrinsic images
US7796780B2 (en) * 2005-06-24 2010-09-14 Objectvideo, Inc. Target detection and tracking from overhead video streams
US7801330B2 (en) * 2005-06-24 2010-09-21 Objectvideo, Inc. Target detection and tracking from video streams
JP4696991B2 (ja) * 2006-03-22 2011-06-08 日産自動車株式会社 動き検出方法および動き検出装置
NL2002462C2 (nl) * 2009-01-29 2010-07-30 Nedap Nv Werkwijze voor het detecteren, in het bijzonder tellen van dieren.
US8150902B2 (en) * 2009-06-19 2012-04-03 Singular Computing Llc Processing with compact arithmetic processing element
KR101105034B1 (ko) * 2010-02-09 2012-01-16 주식회사 팬택 촬영 기능을 보유한 단말기
JP5321497B2 (ja) * 2010-02-22 2013-10-23 株式会社デンソー 白線認識装置
US8774550B2 (en) 2010-06-04 2014-07-08 Panasonic Corporation Picture processing device, picture processing method, integrated circuit, and program
US8730396B2 (en) * 2010-06-23 2014-05-20 MindTree Limited Capturing events of interest by spatio-temporal video analysis
US10281915B2 (en) 2011-01-05 2019-05-07 Sphero, Inc. Multi-purposed self-propelled device
US9429940B2 (en) 2011-01-05 2016-08-30 Sphero, Inc. Self propelled device with magnetic coupling
US9090214B2 (en) 2011-01-05 2015-07-28 Orbotix, Inc. Magnetically coupled accessory for a self-propelled device
US9218316B2 (en) 2011-01-05 2015-12-22 Sphero, Inc. Remotely controlling a self-propelled device in a virtualized environment
US9114838B2 (en) 2011-01-05 2015-08-25 Sphero, Inc. Self-propelled device for interpreting input from a controller device
US9292758B2 (en) 2012-05-14 2016-03-22 Sphero, Inc. Augmentation of elements in data content
US9827487B2 (en) 2012-05-14 2017-11-28 Sphero, Inc. Interactive augmented reality using a self-propelled device
JP2015524951A (ja) 2012-05-14 2015-08-27 オルボティックス, インコーポレイテッドOrbotix, Inc. 画像内で丸い物体を検出することによるコンピューティングデバイスの操作
US10056791B2 (en) 2012-07-13 2018-08-21 Sphero, Inc. Self-optimizing power transfer
TW201425871A (zh) * 2012-12-21 2014-07-01 Zong Jing Investment Inc 測距方法及電腦程式產品
US10115033B2 (en) * 2013-07-30 2018-10-30 Kodak Alaris Inc. System and method for creating navigable views
US9829882B2 (en) 2013-12-20 2017-11-28 Sphero, Inc. Self-propelled device with center of mass drive system
JP6562823B2 (ja) * 2015-12-01 2019-08-21 シャープ株式会社 画像読取装置
CN106131537B (zh) * 2016-08-17 2018-11-20 重庆转购科技有限公司 一种3d智能拍摄系统和方法
US10504007B2 (en) * 2017-10-27 2019-12-10 Facebook, Inc. Determination of population density using convoluted neural networks
CN107895344B (zh) * 2017-10-31 2021-05-11 深圳市森国科科技股份有限公司 视频拼接装置及方法
JP7089179B2 (ja) 2018-08-30 2022-06-22 富士通株式会社 画像認識装置、画像認識方法および画像認識プログラム
CN109598328B (zh) * 2018-11-21 2023-09-12 山东农业大学 一种散布式千粒计数方法、系统、装置及终端
KR102426726B1 (ko) * 2019-11-19 2022-07-29 한국기계연구원 비접촉식 위치 정보 획득 방법 및 장치
CN112200027B (zh) * 2020-09-27 2022-07-15 卡斯柯信号有限公司 一种基于机器视觉的自身移动状态识别方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61206079A (ja) * 1985-03-09 1986-09-12 Fujitsu Ltd 変形画像表示方式
US5163133A (en) * 1987-02-17 1992-11-10 Sam Technology, Inc. Parallel processing system having a broadcast, result, and instruction bus for transmitting, receiving and controlling the computation of data
JPH0668769B2 (ja) * 1987-09-24 1994-08-31 新技術事業団 パターン認識装置
JP2863290B2 (ja) * 1990-09-19 1999-03-03 株式会社リコー エッジ抽出装置
JP3038051B2 (ja) * 1991-06-28 2000-05-08 日本放送協会 動画像領域抽出装置
JPH05252437A (ja) * 1991-07-24 1993-09-28 C S K Sogo Kenkyusho:Kk 画像処理方法および装置
JPH05324954A (ja) * 1991-11-28 1993-12-10 Nec Corp 駐車台数計数装置
US5519793A (en) * 1992-11-05 1996-05-21 The United States Of America As Represented By The Secretary Of The Interior Apparatus and method for computer vision measurements
US5687249A (en) * 1993-09-06 1997-11-11 Nippon Telephone And Telegraph Method and apparatus for extracting features of moving objects
JP2981382B2 (ja) * 1993-11-25 1999-11-22 松下電工株式会社 パターンマッチング方法
JP3247228B2 (ja) 1993-12-17 2002-01-15 東京瓦斯株式会社 流体の画像処理解析装置
US6400831B2 (en) * 1998-04-02 2002-06-04 Microsoft Corporation Semantic video object segmentation and tracking

Also Published As

Publication number Publication date
US6856696B1 (en) 2005-02-15
DE69935437T2 (de) 2007-11-15
IL141589A0 (en) 2002-03-10
IL141589A (en) 2005-11-20
EP1113388A4 (en) 2005-04-06
CN1317124A (zh) 2001-10-10
AU5650099A (en) 2000-04-03
JP4324327B2 (ja) 2009-09-02
EP1113388B1 (en) 2007-03-07
DE69935437D1 (de) 2007-04-19
KR100402361B1 (ko) 2003-10-17
WO2000016259A1 (fr) 2000-03-23
AU763178B2 (en) 2003-07-17
KR20010085779A (ko) 2001-09-07
EP1113388A1 (en) 2001-07-04

Similar Documents

Publication Publication Date Title
CN1292383C (zh) 视觉装置
CN1213592C (zh) 采用自适应二值化的图象处理方法和设备
CN1301491C (zh) 视觉装置、联动式计数器及图象检测器
CN1324526C (zh) 视频信号的自适应缩放
CN1194318C (zh) 物体区域信息记述方法和物体区域信息生成装置
CN1190963C (zh) 数据处理装置和方法,学习装置和方法
CN1156745C (zh) 日历
CN1131495C (zh) 特征信息赋予方法及装置
CN100345165C (zh) 基于图像的超现实主义三维脸部建模的方法和设备
CN1306243C (zh) 物体的计测方法及物体的计测装置
CN1723161A (zh) 物品管理系统、物品管理服务器和物品管理方法
CN1415103A (zh) 多分辨率标签定位器
CN1684491A (zh) 图像处理装置、图像投影装置、图像处理方法和程序
CN1754188A (zh) 图像处理装置和方法、记录介质及程序
CN1202065A (zh) 图像检测方法、图像检测装置、图像处理方法、图像处理装置以及媒体
CN1658241A (zh) 信号处理方法与设备以及记录介质
CN101064777A (zh) 命令系统及设备、成像设备及方法、命令处理方法及程序
CN1516073A (zh) 彩色图象处理装置及图案抽取装置
CN1526116A (zh) 改进图象质量的方法和系统
CN1731418A (zh) 复杂背景图像中鲁棒的眼睛精确定位方法
CN85107228A (zh) 套准分色软片的方法和装置
CN1701213A (zh) 立体摄像机支持装置、立体摄像机支持方法、校准检测装置、校准校正装置以及立体摄像机系统
CN1812569A (zh) 基于全方位视觉传感器的智能安保装置
CN1813267A (zh) 信号处理设备和信号处理方法、以及程序和记录介质
CN1170232C (zh) 基于pci和视觉总线的可重构机器视觉系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20061227

Termination date: 20110910