CN103921274A - 识别程序评价装置及识别程序评价方法 - Google Patents

Abstract

本发明提供一种识别程序评价装置，可抑制对识别工件的识别程序进行评价时的用户的负担增大。该PC1（识别程序评价装置）具备：模型编辑工具（111），生成多个工件（200a）的散装状态的虚拟场景数据，该虚拟场景数据包含多个工件（200a）各自的位置数据；识别工具（112a），使用识别程序来识别虚拟场景数据中的工件（200a），该识别程序包含可设定的参数，用于对工件（200a）的识别进行调整，并且对比工件（200a）的位置数据以及工件（200a）的识别结果，从而评价识别程序的识别性能；及结果显示工具（112b），使基于识别工具（112a）的识别程序的识别性能的评价结果得到显示。

Description

识别程序评价装置及识别程序评价方法

技术领域

本发明涉及一种评价识别程序的识别程序评价装置及识别程序评价方法。

背景技术

以往，已知有一种进行工件识别的识别装置（例如参照专利文献1）。在上述专利文献1的识别装置中，通过组合多个脚本而生成识别工件的算法（识别程序）。而且，构成为使用该算法来识别散装的多个工件。另外，可以认为在上述专利文献1中，通过用户目视辨认并对比实际处于散装状态的工件和识别结果，从而进行算法的识别性能的评价。

专利文献1：日本国特开2011-22133号公报

但是，由于可以认为上述专利文献1所记载的识别装置通过用户目视辨认并对比实际处于散装状态的工件和识别结果，从而进行算法的识别性能的评价，因此对识别工件的算法进行评价时的用户的负担变大。因此，希望减轻对识别工件的算法进行评价时的用户的负担。

发明内容

本发明是为了解决如上课题而进行的，本发明的一个目的在于提供一种识别程序评价装置及识别程序评价方法，可减轻对识别工件的识别程序进行评价时的用户的负担。

为了达成上述目的，第1方案的识别程序评价装置具备：虚拟数据取得工具，生成或取得多个工件的散装状态的虚拟场景数据，该虚拟场景数据包含多个工件各自的位置数据；虚拟识别工具，使用识别程序来识别虚拟场景数据中的工件，该识别程序包含可设定的参数，用于对工件的识别进行调整；识别评价工具，对比工件的位置数据以及基于虚拟识别工具的工件的识别结果，从而评价识别程序的识别性能；及结果显示工具，使基于识别评价工具的识别程序的识别性能的评价结果得到显示。

在该第1方案的识别程序评价装置中，如上所述，通过虚拟识别工具识别由虚拟数据取得工具生成或取得的多个工件的散装状态的虚拟场景数据中的工件，从而通过识别评价工具对比工件的位置数据以及基于虚拟识别工具的工件的识别结果，并评价识别程序的识别性能。由此，由于可以自动对比从多个工件的位置数据取得的虚拟场景数据中的工件的正确的位置及姿态和由虚拟识别工具识别的识别结果，因此与用户目视辨认并对比实际处于散装状态的工件和识别结果，并评价识别程序的识别性能时不同，可以减轻对识别工件的识别程序进行评价时的用户的负担。

为了达成上述目的，第2方案的识别程序评价方法具备：生成或取得多个工件的散装状态的虚拟场景数据的工序，该虚拟场景数据包含多个工件各自的位置数据；使用识别程序来识别虚拟场景数据中的工件的工序，该识别程序包含可设定的参数，用于对工件的识别进行调整；对比工件的位置数据以及工件的识别结果，从而评价识别程序的识别性能的工序；及使识别程序的识别性能的评价结果得到显示的工序。

在该第2方案的识别程序评价方法中，如上所述，在对由生成或取得虚拟场景数据的工序生成或取得的多个工件的散装状态的虚拟场景数据中的工件进行识别从而评价识别程序的识别性能的工序中，对比工件的位置数据以及工件的识别结果，从而评价识别程序的识别性能。由此，由于可以自动对比从多个工件的位置数据取得的虚拟场景数据中的工件的正确的位置及姿态和识别结果，因此可以提供一种识别程序评价方法，与用户目视辨认并对比实际处于散装状态的工件和识别结果，并评价识别程序的识别性能时不同，可减轻对识别工件的识别程序进行评价时的用户的负担。

通过如上构成，可以抑制对识别工件的识别程序进行评价时的用户的负担增大。

附图说明

图1是表示第1实施方式的机器人系统的构成的框图。

图2是表示第1实施方式的机器人系统的立体图。

图3是表示第1实施方式的工件的立体图。

图4是表示第1实施方式的使工件散装的状态的场景数据的一个例子的图。

图5是用于说明第1实施方式的识别程序的参数的图。

图6是表示第1实施方式的PC的结果显示的第1例的图。

图7是表示第1实施方式的PC的结果显示的第2例的图。

图8是表示第1实施方式的PC的结果显示的第3例的图。

图9是用于说明第1实施方式的由PC显示的结果中的干涉的图。

图10是用于说明第1实施方式的由PC的控制部进行的识别程序评价处理的流程图。

图11是表示第2实施方式的PC的结果显示的一个例子的图。

图12是用于说明第2实施方式的由PC的控制部进行的参数估计处理的流程图。

符号说明

1-PC（识别程序评价装置）；111-模型编辑工具（虚拟数据取得工具）；112a-识别工具（虚拟识别工具、识别评价工具）；112b-结果显示工具；200、200a-工件。

具体实施方式

以下，根据附图说明实施方式。

（第1实施方式）

参照图1～图9，对第1实施方式的机器人系统100的构成进行说明。

如图1所示，机器人系统100具备PC（个人计算机）1、机器人2、机器人控制器3及传感器单元4。PC1包括控制部11、存储部12、显示部13及操作部14。另外，控制部11在硬件上由CPU等构成，而作为功能上（软件上）的构成，包括模型编辑工具111、虚拟评价工具112、脚本工具113及参数编辑工具114。模型编辑工具111具有样本图像制作工具111a和字典数据制作工具111b。虚拟评价工具112具有识别工具112a和结果显示工具112b。另外，PC1是“识别程序评价装置”的一个例子，模型编辑工具111是“虚拟数据取得工具”的一个例子。另外，识别工具112a是“虚拟识别工具”及“识别评价工具”的一个例子。

PC1是为了评价识别程序的识别性能而设置的，该识别程序识别工件200以用于通过机器人2抓持散装的工件200（参照图2）。具体而言，识别工件200的识别程序构成为通过传感器单元4而被执行，识别散装的工件200的位置及姿态。

如图2所示，机器人2构成为通过安装于前端的手部21一个个抓持散装在储料器5内部的多个工件200，并使其移动至输送用托盘6。另外，机器人2根据通过传感器单元4执行识别程序而识别工件200的识别结果，运算机器人2进行抓持动作的位置，发送给机器人控制器3。机器人控制器3构成为如下进行动作，根据预先储存的机器人2的动作信息（示教数据）和基于工件200的识别结果的抓持动作的位置信息而生成针对机器人2的动作指令，通过机器人2抓持工件200。

传感器单元4构成为通过包括相机等的计测单元（未图示）拍摄散装在储料器5内部的多个工件200，取得三维图像（距离图像），其具有所拍摄的各像素和对应于各像素的距离信息。另外，传感器单元4构成为根据所取得的距离图像，通过识别程序识别工件200的三维位置及姿态。用于进行图像处理、Blob分析等的功能分别作为脚本（命令）而包含于识别程序。另外，在排列多个脚本的同时，通过设定成为各脚本的执行条件的参数，从而调整适合于工件200形状的识别程序（算法）。也就是说，识别程序为了精度良好地识别工件200，需要依据工件200的形状等的条件来调整脚本的顺序、参数等。

在此，在第1实施方式中，模型编辑工具111（控制部111）构成为，生成包括多个工件200各自的位置数据的多个工件200的散装状态的虚拟场景数据。具体而言，如图4所示，模型编辑工具111构成为使用1个工件200a（参照图3）的三维数据，生成散装有多个工件200a的状态的虚拟场景数据。

也就是说，模型编辑工具111（控制部111）构成为，通过样本图像制作工具111a读取1个工件200a的三维CAD数据（样本图像），同时散装1个工件200a并生成虚拟场景数据。此时，模型编辑工具111构成为，通过字典数据制作工具111b取得工件200a的位置及姿态作为被散装的多个工件200a各自的位置数据。详细而言，字典数据制作工具111b构成为按每个工件200a取得工件200a的三维坐标（X坐标、Y坐标及Z坐标）和三维姿态（旋转要素RX、RY及RZ）。另外，字典数据制作工具111b构成为将多个工件200a的位置数据作为字典数据而储存在存储部12中。

另外，模型编辑工具111（控制部11）构成为生成多个虚拟场景数据。也就是说，模型编辑工具111构成为生成多种模式的虚拟场景数据。

另外，在第1实施方式中，虚拟评价工具112（控制部11）构成为，使用用于识别工件200a的识别程序来识别虚拟场景数据中的工件200a，并评价工件200a的识别结果。具体而言，虚拟评价工具112的识别工具112a构成为，使用包含参数（参照图5）的识别程序来识别虚拟场景数据中的工件200a，该参数能够为了调整工件200a的识别而进行设定。

另外，识别工具112a（控制部11）构成为对比工件200a的位置数据（字典数据）以及工件200a的识别结果，从而评价识别程序的识别性能。具体而言，识别工具112a构成为使用由用户设定了参数的识别程序，识别多个虚拟场景数据（参照图4）中的各个工件200a。另外，识别工具112a构成为对比工件200a的位置数据以及工件200a的多个虚拟场景数据中的识别结果，从而评价识别程序的识别性能。另外，识别工具112a构成为求出评价识别程序的识别性能的评价值。

例如，识别工具112a（控制部11）构成为，作为评价值求出成功率、再现率等。另外，成功率由成功率（%）=（在所检测的工件200a中成功检测出的工件200a的个数）/（从全部场景数据检测出的工件200a的合计个数）×100的式子表示。也就是说，成功率表示工件200a的检测结果的准确性及可靠性。因而，在要求工件200a的检测结果的准确性及可靠性的生产线等中，作为评价指标使用成功率则很有效。

另外，再现率由再现率（%）=（成功检测出的工件200a的个数）/（在全部场景数据中成为识别对象的工件200a的个数）×100的式子表示。也就是说，再现率表示可以检测出多么多存在于场景数据中的工件200a这样的检测能力的高低。因而，想要在1次扫描（拍摄）中检测出更多的工件200a时（想要通过减少扫描次数来缩短生产节拍时间时），或者为了在后处理中进行挑选而想要在主处理中检测出尽量多的候补时等，作为评价指标使用再现率则很有效。

另外，识别工具112a（控制部11）构成为，使用不同的多个评价基准来评价识别程序的识别性能。例如，如图6所示，识别工具112a构成为，作为评价基准使用成功率、再现率、健壮性、干涉及精度等来评价识别程序的识别性能。

另外，如图7及图8所示，健壮性是根据散乱率及缺损率来评价是否适合于存在其它物体的混入、工件200a彼此重叠或姿态变化所引起的缺损（遮蔽）的散装状态的场景数据的识别。而且，健壮性评价识别处理的基本的性能。散乱率由散乱率（%）=100-（场景数据中的某一工件200a的个数）/（场景数据中的全部计测个数）×100表示。另外，缺损率由缺损率（%）=100-（场景数据中的某一工件200a的表面积）/（工件200a的三维模型的表面积）×100表示。

例如，在图7所示的例子的情况下，即使是缺损率较低的53%左右的工件200a、散乱率较低的44%左右的工件200a也存在未检测出的情况。此时，不能说健壮性良好，识别性能有可能不稳定。即，可以说健壮性不好。另一方面，在图8所示的例子的情况下，缺损率为80%以下、散乱率为80%以下的工件200a全部被检测出来。此时，在散装中如果其它物体的混入少（散乱率低）且数据缺损少（缺损率低），则能够切实地识别工件200a，可以说健壮性良好。

另外，干涉是评价是否已检测出实际上机器人2能够抓持的工件200a。也就是说，根据由干涉率（%）=（干涉区域个数）/（抓持区域个数）×100表示的干涉率，将所检测出的工件200a的平均或最大的干涉率最低的工件评价为已检测出的容易抓持的工件200a。抓持区域个数表示机器人2抓持工件200a时的抓持区域（参照图9）的个数。另外，干涉区域个数表示比抓持区域内的机器人2抓持的位置更靠上方存在其它工件200a等而发生干涉的位置的个数。另外，抓持区域包含于工件200a的位置数据中。

另外，精度是将工件200a的识别结果的位置（Xd、Yd、Zd）及姿态（RXd、RYd、RZd）与字典数据中的工件200a的位置数据（预先储存的标准数据）的位置（Xc、Yc、Zc）及姿态（RXc、RYc、RZc）的误差（差或偏差）作为精度来进行评价。也就是说，通过作为评价基准的精度对是否已更正确地识别工件200a的位置、姿态进行评价。因而，在组装工序等要求更正确的抓持时等，作为评价指标使用精度则很有效。

结果显示工具112b（控制部11）构成为使识别工具112a进行的识别程序的识别性能的评价结果显示于显示部13。例如，如图6所示，结果显示工具112b使成功率、再现率、健壮性、干涉及精度的评价结果得到显示。此时，结果显示工具112b以百分率表示成功率及再现率来进行显示。另外，结果显示工具112b以“◎”“○”“△”等表示健壮性、干涉及精度来进行显示。另外，如图7及图8所示，结果显示工具112b使按各工件200a的检测出、未检测出表示散乱率和缺损率的图形得到显示。

脚本工具113（控制部11）构成为根据用户对操作部14的操作来设定识别程序的脚本（处理）（参照图5）设定。参数编辑工具114（控制部11）构成为根据用户对操作部14的操作来设定每个识别程序的脚本（处理）的参数（参照图5）设定。

如图2所示，机器人2由垂直多关节机器人构成。另外，机器人2构成为具有6个自由度。机器人控制器3构成为控制机器人2的整体动作。

下面，参照图10，对PC1的控制部11进行的识别程序评价处理进行说明。

通过用户的操作而输入识别对象的工件200a的三维CAD数据后，在步骤S1中，控制部11读取而取得识别对象的工件200a（参照图3）的单体（1个）的三维CAD数据。控制部11在步骤S2中，根据工件200a的三维CAD数据制作N个散装的场景数据（参照图4）。

控制部11在步骤S3中，计算出针对所制作的N个场景数据中存在的全部识别对象的工件200a的位置数据（预先储存的标准位置及姿态）和状态（散乱率及缺损率）。另外，控制部11将所计算出的位置数据及状态作为字典数据储存在存储部12中。

控制部11在步骤S4中，受理评价对象的识别程序的指定。具体而言，控制部11通过用户的操作来受理识别程序的脚本（处理）以及脚本的参数设定。控制部11在步骤S5中使i=1。控制部11在步骤S6中，针对第i个场景数据执行识别程序，识别工件200a并取得识别结果。

控制部11在步骤S7中，判断i是否小于N。也就是说，判断针对全部N个场景数据，识别程序的执行是否已结束。如果i<N（未针对全部N个场景数据执行识别程序的情况），则控制部11在步骤S8中，使i=i+1，返回步骤S6。如果i=N（针对全部N个场景数据，识别程序的执行已结束的情况），则控制部11在步骤S9中，统计（评价）所取得的识别结果，并显示于显示部13（参照图6～图8）。其后，结束识别程序评价处理。

在第1实施方式中，如上所述，通过识别工具112a识别由模型编辑工具111生成的多个工件200a的散装状态的虚拟场景数据中的工件200a，并对比工件200a的位置数据以及工件200a的识别结果，从而评价识别程序的识别性能。由此，由于可以自动对比从多个工件200a的位置数据取得的虚拟场景数据中的工件200a的正确的位置及姿态和由识别工具112a识别的识别结果，因此与用户目视辨认并对比实际处于散装状态的工件200a和识别结果，并评价识别程序的识别性能时不同，可以减轻对识别工件200a的识别程序进行评价时的用户的负担。另外，由于即使不使用实际的工件200，也能够虚拟地生成场景数据，因此不使用实际设备（机器人2、机器人控制器3及传感器单元4）便能够仅使用PC1来进行模拟从而评价识别程序。由此，由于可以预先通过PC1来调整识别程序，因此可以缩短使用实际设备（机器人2、机器人控制器3及传感器单元4）的识别程序的调整时间。

另外，在第1实施方式中，如上所述，使识别工具112a（控制部11）构成为求出评价识别程序的识别性能的评价值（成功率及再现率），使结果显示工具112b（控制部11）构成为使评价值（成功率及再现率）得到显示。由此，识别程序的识别性能作为评价值（成功率及再现率）而被显示给用户，因此，用户可以根据评价值容易地调整识别程序的参数。

另外，在第1实施方式中，如上所述，使识别工具112a（控制部11）构成为使用不同的多个评价基准来评价识别程序的识别性能，使结果显示工具112b（控制部11）构成为使利用了不同的多个评价基准的评价结果得到显示。由此，可以根据与识别工件200a的用途（机器人系统100的用途）相应的评价基准的评价结果，调整识别程序的参数。

另外，在第1实施方式中，如上所述，使模型编辑工具111（控制部11）构成为，使用1个工件200a的三维数据，生成多个工件200a的散装状态的虚拟场景数据。由此，由于可以容易地生成与想要识别的工件200a的散装的个数、形状等对应的虚拟场景数据，因此可以更加精度良好地评价识别程序。

另外，在第1实施方式中，如上所述，使模型编辑工具111（控制部11）构成为生成多个虚拟场景数据，使识别工具112a（控制部11）构成为使用识别程序来识别多个虚拟场景数据的工件200a，并且构成为对比工件200a的位置数据以及工件200a的多个虚拟场景数据中的识别结果，从而评价识别程序的识别性能。由此，由于可以使用被散装的工件200a的多种模式的虚拟场景数据来评价识别程序，因此可以更加提高识别程序的评价精度。

（第2实施方式）

下面，参照图5、图11及图12，对第2实施方式的机器人系统100的构成进行说明。在该第2实施方式中，与不使识别程序的参数变化来进行识别程序评价的构成的上述第1实施方式不同，对使识别程序的参数变化来进行识别程序评价的构成进行说明。

在此，在第2实施方式中，识别工具112a（控制部11）构成为在使识别程序的参数变化的同时，识别虚拟场景数据中的工件200a。具体而言，如图5所示，识别工具112a构成为在使识别程序的参数在由用户设定的下限值和上限值之间变化的同时，识别虚拟场景数据中的工件200a。例如，在图5所示的例子的情况下，使“代入”处理（脚本）的参数（X、Y、Z、RX、RY、RZ）分别在下限值和上限值之间按步距变化，并通过识别程序来识别工件200a。

另外，识别工具112a（控制部11）构成为在使识别程序的多个参数（例如X、Y、Z、RX、RY、RZ）变化的同时，识别虚拟场景数据中的工件200a。也就是说，识别工具112a构成为在使识别程序的参数变化的同时，估计识别性能变高的参数组合。另外，识别工具112a构成为对比工件200a的位置数据以及工件200a的识别结果，从而按参数来评价识别程序的识别性能（参照图11）。

如图11所示，结果显示工具112b（控制部11）构成为按照使多个参数变化的组合（参数集P1、P2…），使识别程序的识别性能的评价结果显示于显示部13。另外，结果显示工具112b构成为以“◎”表示多个参数集中评价基准（成功率、再现率、健壮性、干涉及精度）良好的项目（例如识别性能最高的项目）。

下面，参照图12，对PC1的控制部11进行的参数估计处理进行说明。

通过用户的操作而输入识别对象的工件200a的三维CAD数据后，在步骤S11中，控制部11读取而取得识别对象的工件200a的单体（1个）的三维CAD数据。控制部11在步骤S12中，根据工件200a的三维CAD数据制作Ns个散装的场景数据。

控制部11在步骤S13中，计算出针对所制作的Ns个场景数据中存在的全部识别对象的工件200a的位置数据（预先储存的标准位置及姿态）和状态（散乱率及缺损率）。另外，控制部11将所计算出的位置数据及状态作为字典数据储存在存储部12中。

控制部11在步骤S14中，受理评价对象的识别程序的指定。具体而言，控制部11通过用户的操作来受理识别程序的脚本（处理）以及脚本的参数设定。控制部11在步骤S15中，通过用户的操作来受理成为估计对象的识别程序的参数的指定（选择）和估计范围（上限值、下限值及步距）的设定。

控制部11在步骤S16中，根据所指定的参数和估计范围生成全部（Np个）参数组合（参数集P1～PNp）。控制部11在步骤S17中，使j=1，在步骤S18中，使k=1。控制部11在步骤S19中，针对第k个场景数据以第j个参数集Pj执行识别程序，识别工件200a并取得识别结果。

控制部11在步骤S20中，判断k是否小于Ns。也就是说，判断针对全部Ns个场景数据，识别程序的执行是否已结束。如果k<Ns（未针对全部Ns个场景数据执行识别程序的情况），则控制部11在步骤S21中，使k=k+1，返回步骤S19。如果k=Ns（针对全部Ns个场景数据，识别程序的执行已结束的情况），则控制部11进入步骤S22。

控制部11在步骤S22中，判断j是否小于Np。也就是说，判断针对全部Np个参数组合（参数集），识别程序的执行是否已结束。如果j<Np（未针对全部Np个参数集执行识别程序的情况），则控制部11在步骤S23中，使j=j+1，返回步骤S18。如果j=Np（针对全部Np个参数集，识别程序的执行已结束的情况），则控制部11在步骤S24中，统计（评价）所取得的识别结果，并显示于显示部13（参照图11）。其后，结束识别程序评价处理。

另外，第2实施方式的其它构成与上述第1实施方式一样。

在第2实施方式中，如上所述，使识别工具112a（控制部11）构成为，在使识别程序的参数变化的同时，识别虚拟场景数据中的工件200a，同时构成为对比工件200a的位置数据以及工件200a的识别结果，从而按参数来评价识别程序的识别性能。由此，由于通过识别工具112a使识别程序的参数变化，并按各个参数来评价识别程序，因此与用户手动改变参数时相比，可以减轻用户的负担。

另外，在第2实施方式中，如上所示，使识别工具112a（控制部11）构成为，在使识别程序的参数在由用户设定的下限值和上限值之间变化的同时，识别虚拟场景数据中的工件200a。由此，在按各个参数来识别虚拟场景数据中的工件200a并评价识别程序时，由于使参数在由用户设定的下限值和上限值之间变化并评价识别程序，因此与使参数在全部范围内变化时相比，可以缩短处理时间。

另外，在第2实施方式中，如上所述，使识别工具112a（控制部11）构成为，在使识别程序的多个参数变化的同时，识别虚拟场景数据中的工件200a，使结果显示工具112b（控制部11）构成为，按照使多个参数变化的组合，使识别程序的识别性能的评价结果得到显示。由此，由于按参数组合将识别程序的评价结果显示给用户，因此根据每个参数组合的评价结果来选择识别程序的参数组合，可以容易地调整识别程序。

另外，第2实施方式的其它效果与上述第1实施方式一样。

另外，应该认为本次公开的实施方式的所有方面均为例示而并不进行限定。本发明的范围不是由上述实施方式的说明而是由权利要求书示出，还包括在与权利要求书相等的意思及范围内的所有变更。

例如，虽然在上述第1及第2实施方式中，示出了PC（识别程序评价装置）根据1个工件的数据生成工件的散装状态的虚拟场景数据的例子，但是例如也可以是PC取得预先生成的工件的散装状态的虚拟场景数据。

另外，虽然在上述第1及第2实施方式中，示出了机器人的机器人手臂具有6个自由度的例子，但是例如机器人手臂也可以具有除6个自由度以外的自由度（5个自由度、7个自由度等）。

另外，虽然在上述第1及第2实施方式中，示出了PC（识别程序评价装置）评价对用于通过机器人抓持散装工件的工件位置进行识别的识别程序的构成，但是例如也可以是评价除用于通过机器人抓持工件的识别程序以外的识别程序的构成。例如，也可以评价对作业后的工件状态进行识别的识别程序。

另外，虽然在上述第1及第2实施方式中，示出了使用多个评价基准来进行评价的构成的例子，但是例如也可以使用1个评价基准来进行评价。另外，也可以使用除成功率、再现性、健壮性、干涉及精度以外的评价基准来进行评价。

另外，虽然在上述第1及第2实施方式中，为了便于说明，利用沿处理流程按顺序进行处理的流程驱动型流程说明了控制部的处理，但是例如也可以通过以事件单位执行处理的事件驱动型（event driven type）的处理来进行控制部的处理动作。此时，既可以用完全的事件驱动型来进行，也可以组合进行事件驱动及流程驱动。

Claims (9)

1.一种识别程序评价装置，其特征在于，具备：

虚拟数据取得工具，生成或取得多个工件的散装状态的虚拟场景数据，该虚拟场景数据包含所述多个工件各自的位置数据；

虚拟识别工具，使用识别程序来识别所述虚拟场景数据中的所述工件，该识别程序包含可设定的参数，用于对所述工件的识别进行调整；

识别评价工具，对比所述工件的位置数据以及基于所述虚拟识别工具的所述工件的识别结果，从而评价所述识别程序的识别性能；

及结果显示工具，使基于所述识别评价工具的所述识别程序的识别性能的评价结果得到显示。

2.根据权利要求1所述的识别程序评价装置，其特征在于，

所述识别评价工具构成为求出评价所述识别程序的识别性能的评价值，

所述结果显示工具构成为使所述评价值得到显示。

3.根据权利要求1或2所述的识别程序评价装置，其特征在于，

所述识别评价工具构成为使用不同的多个评价基准来评价所述识别程序的识别性能，

所述结果显示工具构成为使利用了所述不同的多个评价基准的评价结果得到显示。

4.根据权利要求1至3中任意一项所述识别程序评价装置，其特征在于，

所述虚拟识别工具构成为在使所述识别程序的所述参数变化的同时，识别所述虚拟场景数据中的所述工件，

所述识别评价工具构成为，对比所述工件的位置数据以及基于所述虚拟识别工具的所述工件的识别结果，并按所述参数来评价所述识别程序的识别性能。

5.根据权利要求4所述的识别程序评价装置，其特征在于，

所述虚拟识别工具构成为在使所述识别程序的参数在由用户设定的下限值和上限值之间变化的同时，识别所述虚拟场景数据中的所述工件。

6.根据权利要求4或5所述的识别程序评价装置，其特征在于，

所述虚拟识别工具构成为在使所述识别程序的多个所述参数变化的同时，识别所述虚拟场景数据中的所述工件，

所述结果显示工具构成为按照使所述多个参数变化的组合，使所述识别程序的识别性能的评价结果得到显示。

7.根据权利要求1至6中任意一项所述识别程序评价装置，其特征在于，

所述虚拟数据取得工具构成为使用1个所述工件的三维数据，生成所述多个工件的散装状态的虚拟场景数据。

8.根据权利要求1至7中任意一项所述识别程序评价装置，其特征在于，

所述虚拟数据取得工具构成为生成或取得多个所述虚拟场景数据，

所述虚拟识别工具构成为使用所述识别程序，识别所述多个虚拟场景数据的所述工件，

所述识别评价工具构成为，对比所述工件的位置数据以及基于所述虚拟识别工具的所述工件的所述多个虚拟场景数据中的识别结果，从而评价所述识别程序的识别性能。

9.一种识别程序评价方法，其特征在于，具备：

生成或取得多个工件的散装状态的虚拟场景数据的工序，该虚拟场景数据包含所述多个工件各自的位置数据；

使用识别程序来识别所述虚拟场景数据中的所述工件的工序，该识别程序包含可设定的参数，用于对所述工件的识别进行调整；

对比所述工件的位置数据以及所述工件的识别结果，从而评价所述识别程序的识别性能的工序；

及使所述识别程序的识别性能的评价结果得到显示的工序。