[go: up one dir, main page]

JP5829306B2 - レンジセンサの配置位置評価装置 - Google Patents

レンジセンサの配置位置評価装置 Download PDF

Info

Publication number
JP5829306B2
JP5829306B2 JP2014098802A JP2014098802A JP5829306B2 JP 5829306 B2 JP5829306 B2 JP 5829306B2 JP 2014098802 A JP2014098802 A JP 2014098802A JP 2014098802 A JP2014098802 A JP 2014098802A JP 5829306 B2 JP5829306 B2 JP 5829306B2
Authority
JP
Japan
Prior art keywords
model
sensor
arrangement position
unit
intersection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014098802A
Other languages
English (en)
Other versions
JP2015215259A (ja
Inventor
達也 近江
達也 近江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FANUC Corp
Original Assignee
FANUC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FANUC Corp filed Critical FANUC Corp
Priority to JP2014098802A priority Critical patent/JP5829306B2/ja
Priority to US14/699,495 priority patent/US9470515B2/en
Priority to DE102015106936.9A priority patent/DE102015106936B4/de
Priority to CN201510236723.6A priority patent/CN105091760B/zh
Publication of JP2015215259A publication Critical patent/JP2015215259A/ja
Application granted granted Critical
Publication of JP5829306B2 publication Critical patent/JP5829306B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666Avoiding collision or forbidden zones
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1669Programme controls characterised by programming, planning systems for manipulators characterised by special application, e.g. multi-arm co-operation, assembly, grasping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40053Pick 3-D object from pile of objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Manipulator (AREA)

Description

本発明は、レンジセンサの配置位置をシミュレーションにより評価するレンジセンサの配置位置評価装置に関する。
レンジセンサ(測域センサ)は、三次元空間における物品の広範囲の位置情報を取得する際に用いられる。このレンジセンサを用いて、三次元空間にバラ積みされた物品の位置情報を取得し、その位置情報に基づいて物品の位置および姿勢を認識し、認識した物品をロボットにより取り出すようにした装置が知られている(例えば特許文献1参照)。特許文献1には、2台のカメラと1台のプロジェクタとによりレンジセンサを構成する点が記載されている。
特開2013−101045号公報
しかしながら、三次元空間においてレンジセンサが配置される位置は、従来、作業者の経験等に基づいて決定されており、レンジセンサを最適な位置に配置することが困難である。
本発明の一態様は、一対のカメラと縞状のパターン光を投影するプロジェクタとを有するレンジセンサの配置位置を、シミュレーションにより評価するレンジセンサの配置位置評価装置であって、三次元の仮想空間内の所定領域に、バラ積みされた複数の物品に対応する物品モデルを配置する物品配置部と、レンジセンサに対応するセンサモデルであって、一対のカメラに対応する一対のカメラモデルとプロジェクタに対応するプロジェクタモデルとを含むセンサモデルを、所定領域を計測範囲に含むように仮想空間内に配置するセンサ配置部と、一対のカメラモデルに対向する所定領域内における仮想平面を等間隔に分割した複数の分割線と、一対のカメラモデルから各々の分割線に向けて延ばしたカメラ視線とを含む、複数の第1平面を生成する第1平面群生成部と、プロジェクタモデルから仮想平面に縞状のパターン光を投影したと仮定したときの、パターン光の境界面により複数の第2平面を生成する第2平面群生成部と、複数の第1平面と複数の第2平面とが交差する複数の交線を算出する交線算出部と、複数の交線と一対のカメラモデルに面する物品モデルの表面との交点の個数をカウントする交点個数算出部と、交点個数算出部によりカウントされた交点の個数に基づいてセンサモデルの配置位置を評価する配置位置評価部と、を備えることを特徴とする。
本発明によれば、レンジセンサに対応するセンサモデルとバラ積みされた物品に対応する物品モデルとを用いて、シミュレーションにより、レンジセンサの計測点に対応する物品モデル表面の交点の個数をカウントするので、レンジセンサの最適な配置位置を求めることができる。
本発明の第1の実施形態に係るレンジセンサの配置評価装置で用いられるシミュレーションモデルを示す図。 本発明の第1の実施形態に係るレンジセンサの配置位置評価装置の構成を示すブロック図。 図2の物品配置部における処理を説明する図。 センサモデルの配置の一例を示す図。 図2の第1平面群生成部における処理を説明する図。 図2の第2平面群生成部における処理を説明する図。 図2の交線算出部における処理を説明する図。 図2の交点個数算出部における処理を説明する図。 図2の交点個数算出部における処理を説明する図。 図2の交点個数算出部における処理を説明する図。 図2の演算部で実行される処理の一例を示すフローチャート。 本発明の第2の実施形態に係るレンジセンサの配置位置評価装置の構成を示すブロック図。 本発明の第2の実施形態におけるレンジセンサの配置範囲を示す図。 図12の演算部で実行される処理の一例を示すフローチャート。
−第1の実施形態−
以下、図1〜図11を参照して本発明の第1の実施形態について説明する。第1の実施形態に係るレンジセンサの配置位置評価装置は、三次元空間におけるレンジセンサが配置される位置の適否をシミュレーションにより評価するものである。レンジセンサは、バラ積みされた物品をロボットにより取り出す場合において、物品の位置情報を取得するために用いられる。
図1は、配置位置評価装置によるシミュレーションの対象となるシミュレーションモデルの全体構成を概略的に示す図である。図1に示すように、シミュレーションモデルは、ロボット10をモデル化したロボットモデル1と、物品20(ワーク)をモデル化した物品モデル2と、収容部30をモデル化した収容部モデル3と、レンジセンサ40をモデル化したセンサモデル4とを含む。これらシミュレーションモデル1〜4は、直交3軸(XYZ軸)の座標系を有する仮想空間内で形状が定義される。すなわち、シミュレーションモデル1〜4は仮想空間内の三次元モデルであり、仮想空間内の所定位置に所定姿勢で配置される。
ロボット10は、多関節型ロボットであり、アーム先端部に物品を把持可能な把持部10aを有する。収容部30は、例えば上面が開放したコンテナであり、XY平面上に延設された低壁部30aと、低壁部の周縁部からZ軸方向に沿って上方に延設された側壁部30bとを有する。物品20は、収容部30内にバラ積みされて収容されており、互いに同一の直方体形状を呈する。
レンジセンサ40は、2台のカメラ41と1台のプロジェクタ42とを有する測距センサであり、これらカメラ41およびプロジェクタ42は、それぞれカメラモデル5およびプロジェクタモデル6としてモデル化されている。カメラ41は、CCDセンサやCMOSセンサ等の撮像素子を有するデジタルビデオカメラあるいはデジタルスチルカメラであり、収容部30の上方に配置され、物品20の表面を撮像する。プロジェクタ42は、収容部30の上方に配置され、2台のカメラ41の視野内に縞状のパターン光を投影する。このパターン光に基づいて物品20の表面に複数の計測点を設定し、2台のカメラ41により計測点の3次元位置情報、すなわちX座標、Y座標およびZ座標を取得する。
図2は、本発明の第1の実施形態に係る配置位置評価装置100の構成を示すブロック図である。図2に示すように、配置位置評価装置100は、入力部101と、出力部102と、演算部10とを有する。入力部101は、シミュレーションに要する各種指令を入力するものであり、キーボード等により構成される。出力部102は、シミュレーション結果を表示するものであり、ディスプレイ等により構成される。演算部10は、CPU,ROM,RAM,その他の周辺回路などを有する演算処理装置を含むコンピュータにより構成され、機能的構成として、物品配置部11と、センサ配置部12と、障害物配置部13と、第1平面群生成部14と、第2平面群生成部15と、交線算出部16と、交点個数算出部17と、配置位置評価部18とを有する。
物品配置部11は、収容部モデル3内に、バラ積み状態で複数の物品モデル2を配置する。図3は、物品配置部11における処理を説明する図である。まず、入力部101を介してユーザが作成した所定形状の1つまたは複数の3次元の物品モデル2を、図3(a)に示すように、仮想空間内に重力を無視して配置する。次いで、図3(b)に示すように、物品モデル2に重力を付加し、収容部モデル3内に落下させる。この際、物品モデル2と収容部モデル3との干渉点(図3(b)の点a)および物品モデル2と他の物品モデル2との干渉点(図3(b)の点b)において、物品モデル2の位置を規制することで、物品モデル2のバラ積み状態における位置および姿勢が決定される。
センサ配置部12は、収容部モデル3の上方にセンサモデル4(カメラモデル5およびプロジェクタモデル6)を配置する。センサモデル4の計測範囲は、バラ積みされた物品モデル2に対するセンサモデル4の位置に応じて変化する。この計測範囲は、収容部モデル3の全域を含むことが好ましく、これを必要計測範囲と呼ぶ。本実施形態では、2台のカメラモデル5の視野内およびプロジェクタモデル6の投影範囲内に、必要計測範囲が収まるように、センサモデル4を配置する。すなわち、収容部モデル3の全域が計測範囲に含まれるようにセンサモデル4を配置する。これにより、収容部モデル3内に配置された全ての物品モデル2の位置計測が可能となる。
図4は、センサモデル4の配置の一例を示す図である。とくに図4(a)は斜視図を、図4(b)は平面図を示している。図4では、プロジェクタモデル6が収容部モデル3の中央部上方に配置され、プロジェクタモデル6の両側に一対のカメラモデル5が互いに対称に、かつ、プロジェクタモデル6と一対のカメラモデル5とがX軸と平行な直線上に配置されている。図4(a)に示すように、収容部モデル3の全域を含むようにXY平面と平行な仮想平面7を定義すると、仮想平面7上におけるプロジェクタモデル6の投影範囲は、収容部モデル3内のXY領域の全域を含んでおり、かつ、カメラモデル5の視野範囲と一致している。なお、2台のカメラモデル5の視野内およびプロジェクタモデル6の投影範囲内に、必要計測範囲が含まれるのであれば、視野範囲と投影範囲とは一致しなくてもよく、それらの一部が重なったのでもよい。仮想平面7は、例えば、収容部モデル3内に配置された最上部の物品モデル2の上面近傍に設定される(図8参照)。収容部モデル3の底面または底面から所定高さに、XY平面に平行に仮想平面7を設定してもよい。
障害物配置部13は、レンジセンサ40による位置計測の妨げとなる障害物をモデル化した障害物モデルを配置する。すなわち、レンジセンサ4とレンジセンサ4に面した物品20との間に障害物があると、レンジセンサ4による位置計測ができない。この点を考慮して、障害物モデルを配置する。図1では、ロボットモデル1および収容部モデル3が障害物モデルに相当する。
第1平面群生成部14は、カメラモデル5の配置位置に基づいて、視野範囲を等間隔に分割する複数の第1平面を生成する。図5は、第1平面群生成部14における処理を説明する図である。図5に示すように、まず、一対のカメラモデル5に対向する仮想平面7を、一対のカメラモデル5の焦点を接続した直線32と平行に、所定間隔ΔYで等間隔に分割し、X軸と平行な複数の分割線33を設定する。このとき、直線32と各分割線33とによって得られた複数の平面を、それぞれ第1平面31と定義し、複数の第1平面31を第1平面群と呼ぶ。各第1平面31は、一対のカメラモデル5から各分割線33に向けて延ばしたカメラ視線を含む。
第2平面群生成部15は、プロジェクタモデル6の配置位置に基づいて、第2平面34を生成する。図6は、第2平面群生成部15における処理を説明する図である。図6に示すように、第2平面34は、プロジェクタモデル6から仮想平面7に縞状のパターン光を投影したと仮定したときの、パターン光の境界面に沿って生成される。生成される複数の第2平面34を第2平面群と呼ぶ。パターン光は、仮想平面7上に、X軸に沿って交互に、所定幅の明暗のパターンを生じさせる。明暗のパターンは、第2平面34と仮想平面7とが交差する境界線35によって規定され、境界線34の間隔ΔXは、第1平面31の分割線33の間隔ΔYと同一ないしほぼ同一である。
交線算出部16は、複数の第1平面31と複数の第2平面34とが交差する複数の交線を算出する。図7は、交線算出部16における処理を説明する図であり、とくに図7(a)は、第1平面31と第2平面34との斜視図を、図7(b)は、平面図を示している。図7(a)に示すように、第1平面31と第2平面34とは直交ないしほぼ直交しており、第1平面31と第2平面34とが交差する交線36は、プロジェクタモデル6の光投影部から延びている。図7(b)に示すように、仮想平面7上において、第1平面31の端部の分割線33と第2平面34の端部の境界線35とは格子状に交差し、分割線33と境界線35との交点37を、交線36が通過する。
交点個数算出部17は、交線36と物品モデル2の表面2aとが交差する交点の個数をカウントする。交点は、レンジセンサ40による物品表面の計測点に相当し、交点の個数が多いほど多くの計測点が得られる。図8〜図10は、交点個数算出部17における処理を説明する図である。交点個数算出部17は、まず、図8に示すように、レンジセンサ4に面した物品モデル2の表面2aと交線36との交点(計測点)38を求める。図8では、交線36が仮想平面7を通過して延びており、交点38は仮想平面7の下方に位置する。
ここで、「レンジセンサ4に面した」とは、図9に示すように、交点38と各カメラモデル5の焦点とをそれぞれ直線で結んだ線分39上に、他の物品モデル2や収容部モデル3、ロボットモデル1が存在しない場合をいう。すなわち、線分39上に他の物品モデル2等が存在すると、カメラモデル5から交点38に至るカメラ視線が遮られ、カメラ41は交点38の位置を認識できない。したがって、この場合には、物品モデル2の表面2aはセンサモデル4に面しておらず、交点個数算出部17は、その交点38をカウントしない。換言すると、有効な交点38は、カメラモデル5から出発したカメラ視線(線分39)が最初に通過する物品モデル2の表面2aにのみ存在する。交点個数算出部17は、このようにして求められた複数の交点38の三次元座標(XYZ座標)をそれぞれ算出する。
次いで、交点個数算出部17は、図10(a)に示すように物品モデル2の形状および姿勢に基づいて、交点38における物品モデル2の表面2aに垂直かつ表面2aから外側(センサモデル4側)に向けた法線ベクトル45を算出する。さらに図10(b)に示すように、法線ベクトル45と各線分39とのなす角θ1,θ2が予め定めた角度θaよりも大きいか否かを判定する。θaは、有効な交点か否かを判断するための閾値であり、90°より小さい値(例えば40°〜50°)に設定される。すなわち、角度θ1,θ2が大きすぎると、カメラ41は物品表面の位置を精度よく認識できない。したがって、角度θ1,θ2の少なくとも一方がθaより大きい場合には、物品モデル2の表面2aがセンサモデル4に面していたとしも、交点個数算出部17は、その表面2a上の交点38を有効な交点38に含めず、その交点38をカウントしない。
配置位置評価部18は、交点個数算出部17でカウントされた交点38の個数に基づき、センサモデル4の配置位置の妥当性を評価する。例えば、カウントされた交点38の個数が、予め定めた所定数以上である場合、レンジセンサ40によって物品表面の多くの三次元点を計測できるため、センサモデル4の配置位置が妥当であると判断する。配置位置評価部18は、その判断結果を出力部102に出力する。これにより、作業者は、レンジセンサ40の最適な配置位置を決定できる。なお、配置位置評価部18は、交点個数算出部17により算出された交点38の三次元座標を併せて出力部102に出力してもよい。これによりユーザは、レンジセンサ40によって得られる物品表面の位置情報を、予めシミュレーションに予測することができる。
図11は、本発明の第1の実施形態に係る配置位置評価装置100の演算部10で実行される処理の一例を示すフローチャートである。このフローチャートに示す処理は、例えば入力部101を介してシミュレーション開始指令が入力されると開始される。
ステップS1では、物品配置部11、センサ配置部12および障害物配置部13での処理により、三次元仮想空間にシミュレーションモデル(ロボットモデル1、物品モデル2、収容部モデル3、センサモデル4)を配置する。ステップS2では、第1平面群生成部14での処理により、図5に示すようにカメラモデル5の配置位置に基づいて複数の第1平面31(第1平面群)を生成する。ステップS3では、第2平面群生成部15での処理により、図6に示すようにプロジェクタモデル6の配置位置に基づいて複数の第2平面34(第2平面群)を生成する。ステップS4では、交線算出部16での処理により、図7に示すように複数の第1平面31と複数の第2平面34とが交差する複数の交線36を算出する。
ステップS5では、交点個数算出部17での処理により、図8に示すように、交線36とセンサモデル4に面した物品モデル2の表面2aとの交点38の個数をカウントするとともに、交点38の三次元座標を算出する。この場合、図10に示すように、カメラモデル5と交点38とを結ぶ線分(カメラ視線)39と、物品モデル2の表面2aに対する法線ベクトル45とのなす角度θ1,θ2を算出し、角度θ1,θ2が所定角度θaより大きい場合には、その交点38をカウントしない。ステップS6では、配置位置評価部18での処理により、カウントされた交点38の個数に基づき、センサモデル4の配置位置の妥当性を評価して、処理を終了する。
本発明の第1の実施形態によれば以下のような作用効果を奏することができる。
(1)レンジセンサの配置位置評価装置100は、三次元の仮想空間内の所定領域(収容部モデル3内)に物品モデル2を配置する物品配置部11と、一対のカメラモデル5とプロジェクタモデル6とを含むセンサモデル4を、所定領域を計測範囲に含むように仮想空間内に配置するセンサ配置部12と、一対のカメラモデル5に対向する所定領域内における仮想平面7を等間隔に分割した複数の分割線33と、一対のカメラモデル5の焦点同士を接続した直線32とを含む複数の第1平面31を生成する第1平面群生成部14と、プロジェクタモデル6から仮想平面7に縞状のパターン光を投影したと仮定したときの、パターン光の境界面により複数の第2平面34を生成する第2平面群生成部15と、複数の第1平面31と複数の第2平面34との複数の交線36を算出する交線算出部16と、複数の交線36と一対のカメラモデル5に面する物品モデル2の表面2aとの交点38の個数をカウントする交点個数算出部17とを備える。交点38の個数は、レンジセンサ40の計測点の数に対応しており、これによりレンジセンサ40の最適な配置位置を求めることができる。
(2)交点個数算出部17は、物品モデル2の表面2a上における交点38と一対のカメラモデル5とを接続する直線39と、物品モデル2の表面2aに対する交点38からの法線ベクトル45とのなす角θ1,θ2が、所定角度θa以下である交点38を、有効な交点であるとしてカウントする。したがって、レンジセンサ40が精度よく計測できない物品表面上の位置は、交点38の個数に含まれず、レンジセンサ40の配置位置の妥当性をシミュレーションにより良好に評価することができる。
(3)配置位置評価装置100は、収容部モデル3を含む障害物モデルを配置する障害物配置部13をさらに有し、交点個数算出部17は、カメラモデル5と交点38との間に障害物モデルが存在しない交点38の個数をカウントするので、カメラモデル5から交点38へのカメラ視線が収容部モデル3によって遮られる場合には、その交点38はカウントされず、レンジセンサ40の配置位置の妥当性をシミュレーションにより精度よく評価することができる。
(4)配置位置評価装置100は、交点個数算出部17によりカウントされた交点38の個数に基づいてレンジセンサ40の配置位置を評価する配置位置評価部18をさらに備える。この場合、レンジセンサ40の配置位置の評価をユーザの判断によらずに行うため、レンジセンサ40の最適な配置位置を容易に求めることができる。
この場合、配置位置評価部18は、各々の配置パターンに対してカウントした交点38の個数を合計し、その合計値に基づいてレンジセンサ40の配置位置を評価すればよい。例えば、合計値が大きいほど、レンジセンサ40の配置が適切であると評価する。このように物品モデル2の複数の配置パターンに対しそれぞれ交点38の個数を求め、交点38の個数の合計値に基づいてレンジセンサ40の配置位置を評価することで、バラ積みされた物品20に対するレンジセンサ40の配置位置を良好に評価することができる。
−第2の実施形態−
図12〜図14を参照して本発明の第2の実施形態について説明する。第2の実施形態では、レンジセンサ40の最適な配置位置を自動的に求める。図12は、本発明の第2の実施形態に係る配置位置評価装置100の構成を示すブロック図である。なお、図2と同一の箇所には同一の符号を付し、以下では図2との相違点を主に説明する。
図12に示すように、演算部10は、上述した物品配置部11と、センサ配置部12と、障害物配置部13と、第1平面群生成部14と、第2平面群生成部15と、交線算出部16と、交点個数算出部17と、配置位置評価部18とに加え、レンジセンサ40の配置可能範囲(配置範囲AR)を指定するセンサ配置範囲指定部19を有する。
図13は、レンジセンサ40の配置範囲ARを示す図である。配置範囲ARは、物品20の表面位置を計測可能なレンジセンサ40の配置範囲であり、例えば受容部30の上方の三次元空間に、入力部101の操作によりユーザが指定することができる。センサ配置部12は、指定された配置範囲AR内において、センサモデル4の配置位置を変更する。例えば、図13に示す基準位置から、図13の矢印方向にセンサモデル4の全体あるいは一部(カメラモデル5、プロジェクタモデル6)を所定量ずつ移動して、あるいはセンサモデル4の傾斜角度を所定量ずつ変化させることで、センサモデル4の配置位置を変更する。
図14は、第2の実施形態に係る配置位置評価装置100の演算部10で実行される処理の一例を示すフローチャートである。なお、図11と同一の処理を行う部分には同一の符号を付し、以下では図11との相違点を主に説明する。ステップS11では、センサ配置範囲指定部19での処理により、センサモデル4の配置範囲ARを指定する。ステップS12では、センサ配置部12での処理により、指定された配置範囲AR内で、センサモデル4の位置または姿勢、すなわちセンサモデル4の配置を変更する。
ステップS5では、この変更後のセンサモデル4の位置または姿勢に基づいて交点38の個数をカウントする。その後、ステップS13で、配置範囲AR内におけるセンサモデル4の全ての配置可能位置に、センサモデル4が既に配置されたか否か、すなわち、センサモデル4の配置可能位置が全て選択されたか否かを判定する。ステップS13が否定されるとステップS12に戻り、未だ選択されていないセンサモデル4の位置または姿勢に、センサモデル4の配置を変更する。ステップS13が肯定されるとステップS14に進み、配置位置評価部18での処理により、交点38の個数が最大であるセンサモデル4の配置位置を選択し、出力部102に出力する。これにより、レンジセンサ4の最適な配置位置を求めることができる。
このように第2の実施形態では、センサ配置部12が、複数の配置パターンでセンサモデル4を配置し、交点個数算出部17が、各々の配置パターンに対しそれぞれ交点38の個数をカウントし、配置位置評価部18が、交点38の個数が最も多いセンサモデル4の配置パターンを出力する。これにより、レンジセンサ40の最適な配置位置を自動的に求めることができ、レンジセンサ40による物品表面の最適な位置計測が可能となる。また、配置位置評価装置100は、センサモデル4の配置範囲ARを指定するセンサ配置範囲指定部19をさらに備え、センサ配置部12は、センサ配置範囲指定部19で指定された配置範囲内で、センサモデル4の配置パターンを変更するので、センサモデル4の配置パターンの変更を容易かつ最適に行うことができる。
なお、上記第1および第2の実施形態では、物品配置部11での処理により、三次元仮想空間に物品モデル2をバラ積みして配置するようにしたが、物品20をバラ積みして配置する場合には、物品20の位置および姿勢に規則性はなく、様々な配置パターンが考えられる。そこで、物品配置部11が複数の配置パターンで物品モデル2を配置し、交点個数算出部17が、各々の配置パターンに対しそれぞれ交点の個数をカウントするようにしてもよい。複数の配置パターンで物品モデル2を配置する場合、ユーザが入力部101の操作により図3(a)の物品モデル2の位置および姿勢を変更すればよい。物品配置部11が所定の規則に従い、図3(a)の物品モデル2の配置パターンを自動的に変更してもよい。
上記実施形態では、配置位置評価部18が、交点個数算出部17によりカウントされた交点38の個数に基づいてセンサモデル4の配置位置が妥当であるか否かを判断し、その判断結果を出力部102に出力するようにした。すなわち、配置位置評価部18がセンサモデル4の配置位置を評価するようにしたが、配置位置評価部18を省略し、交点個数算出部17によってカウントされた交点38の個数をそのまま出力部102に出力するようにしてもよい。
以上の説明はあくまで一例であり、本発明の特徴を損なわない限り、上述した実施形態および変形例により本発明が限定されるものではない。上記実施形態および変形例の構成要素には、発明の同一性を維持しつつ置換可能かつ置換自明なものが含まれる。すなわち、本発明の技術的思想の範囲内で考えられる他の形態についても、本発明の範囲内に含まれる。また、上記実施形態と変形例の1つまたは複数を任意に組み合わせることも可能である。
2 物品モデル
4 センサモデル
5 カメラモデル
6 プロジェクタモデル
11 物品配置部
12 センサ配置部
13 障害物配置部
14 第1平面群生成部
15 第2平面群生成部
16 交線算出部
17 交点個数算出部
18 配置位置評価部
100 配置位置評価装置

Claims (6)

  1. 一対のカメラと縞状のパターン光を投影するプロジェクタとを有するレンジセンサの配置位置を、シミュレーションにより評価するレンジセンサの配置位置評価装置であって、
    三次元の仮想空間内の所定領域に、バラ積みされた複数の物品に対応する物品モデルを配置する物品配置部と、
    前記レンジセンサに対応するセンサモデルであって、前記一対のカメラに対応する一対のカメラモデルと前記プロジェクタに対応するプロジェクタモデルとを含むセンサモデルを、前記所定領域を計測範囲に含むように前記仮想空間内に配置するセンサ配置部と、
    前記一対のカメラモデルに対向する前記所定領域内における仮想平面を等間隔に分割した複数の分割線と、前記一対のカメラモデルから各々の前記分割線に向けて延ばしたカメラ視線とを含む、複数の第1平面を生成する第1平面群生成部と、
    前記プロジェクタモデルから前記仮想平面に前記縞状のパターン光を投影したと仮定したときの、該パターン光の境界面により複数の第2平面を生成する第2平面群生成部と、
    前記複数の第1平面と前記複数の第2平面とが交差する複数の交線を算出する交線算出部と、
    前記複数の交線と前記一対のカメラモデルに面する前記物品モデルの表面との交点の個数をカウントする交点個数算出部と、
    前記交点個数算出部によりカウントされた前記交点の個数に基づいて前記センサモデルの配置位置を評価する配置位置評価部と、を備えることを特徴とするレンジセンサの配置位置評価装置。
  2. 請求項1に記載のレンジセンサの配置位置評価装置において、
    前記交点個数算出部は、前記物品モデルの表面上における前記交点と前記一対のカメラモデルとを接続する直線と、前記交点を通る前記物品モデルの表面に対する法線とのなす角が、所定角度以下である交点の個数をカウントすることを特徴とするレンジセンサの配置位置評価装置。
  3. 請求項1または2に記載のレンジセンサの配置位置評価装置において、
    前記物品を収容する収容部に対応する収容部モデルを含む、障害物モデルを配置する障害物配置部をさらに有し、
    前記交点個数算出部は、前記カメラモデルと前記交点との間に前記障害物モデルが存在しない交点の個数をカウントすることを特徴とするレンジセンサの配置位置評価装置。
  4. 請求項1に記載のレンジセンサの配置位置評価装置において、
    前記物品配置部は、複数の配置パターンで前記物品モデルを配置し、
    前記交点個数算出部は、各々の配置パターンに対しそれぞれ前記交点の個数をカウントし、
    前記配置位置評価部は、各々の配置パターンに対しカウントした前記交点の個数を合計した合計値に基づき前記センサモデルの配置位置を評価することを特徴とするレンジセンサの配置位置評価装置。
  5. 請求項1または4に記載のレンジセンサの配置位置評価装置において、
    前記センサ配置部は、複数の配置パターンで前記センサモデルを配置し、
    前記交点個数算出部は、各々の配置パターンに対しそれぞれ前記交点の個数をカウントし、
    前記配置位置評価部は、前記交点の個数が最も多い前記センサモデルの配置パターンを出力することを特徴とするレンジセンサの配置位置評価装置。
  6. 請求項5に記載のレンジセンサの配置位置評価装置において、
    前記センサモデルの配置範囲を指定するセンサ配置範囲指定部をさらに備え、
    前記センサ配置部は、前記センサ配置範囲指定部で指定された配置範囲内で、前記センサモデルの配置パターンを変更することを特徴とするレンジセンサの配置位置評価装置。
JP2014098802A 2014-05-12 2014-05-12 レンジセンサの配置位置評価装置 Active JP5829306B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014098802A JP5829306B2 (ja) 2014-05-12 2014-05-12 レンジセンサの配置位置評価装置
US14/699,495 US9470515B2 (en) 2014-05-12 2015-04-29 Arrangement evaluation apparatus for evaluating arrangement position of range sensor
DE102015106936.9A DE102015106936B4 (de) 2014-05-12 2015-05-05 Anordnungsevaluierungsvorrichtung zur Evaluierung einer Anordungsposition eines Bereichssensors
CN201510236723.6A CN105091760B (zh) 2014-05-12 2015-05-11 距离传感器的配置评价装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014098802A JP5829306B2 (ja) 2014-05-12 2014-05-12 レンジセンサの配置位置評価装置

Publications (2)

Publication Number Publication Date
JP2015215259A JP2015215259A (ja) 2015-12-03
JP5829306B2 true JP5829306B2 (ja) 2015-12-09

Family

ID=54336725

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014098802A Active JP5829306B2 (ja) 2014-05-12 2014-05-12 レンジセンサの配置位置評価装置

Country Status (4)

Country Link
US (1) US9470515B2 (ja)
JP (1) JP5829306B2 (ja)
CN (1) CN105091760B (ja)
DE (1) DE102015106936B4 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015106936B4 (de) * 2014-05-12 2020-12-17 Fanuc Corporation Anordnungsevaluierungsvorrichtung zur Evaluierung einer Anordungsposition eines Bereichssensors

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3032364B1 (fr) * 2015-02-11 2017-01-27 Solystic Installation pour la separation et l'individualisation d'objets postaux heterogenes avec un systeme de vision a sources laser
US10488192B2 (en) 2015-05-10 2019-11-26 Magik Eye Inc. Distance sensor projecting parallel patterns
EP3260999B1 (de) * 2016-06-24 2021-08-04 Sick Ag System zum simulieren von sensoren
DE102016011718B4 (de) 2016-09-30 2022-12-15 Michael Pauly Verfahren und Vorrichtung zum Bestimmen einer statischen Größe eines Objekts
CN110178156B (zh) 2016-12-07 2023-11-14 魔眼公司 包括可调节焦距成像传感器的距离传感器
JP6846950B2 (ja) 2017-03-03 2021-03-24 株式会社キーエンス ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP2018144155A (ja) * 2017-03-03 2018-09-20 株式会社キーエンス ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP2018144157A (ja) * 2017-03-03 2018-09-20 株式会社キーエンス ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP6785687B2 (ja) * 2017-03-03 2020-11-18 株式会社キーエンス ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP6846949B2 (ja) 2017-03-03 2021-03-24 株式会社キーエンス ロボットシミュレーション装置、ロボットシミュレーション方法、ロボットシミュレーションプログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
CN106909149B (zh) * 2017-03-14 2020-09-22 深圳蓝因机器人科技有限公司 一种深度摄像头避障的方法及装置
CN110892713B (zh) * 2017-07-14 2022-04-15 索尼公司 信息处理装置、信息处理方法和程序
WO2019070806A1 (en) 2017-10-08 2019-04-11 Magik Eye Inc. CALIBRATION OF A SENSOR SYSTEM COMPRISING MULTIPLE MOBILE SENSORS
WO2019070867A2 (en) 2017-10-08 2019-04-11 Magik Eye Inc. DISTANCE MEASUREMENT USING A LONGITUDINAL GRID PATTERN
US10679076B2 (en) * 2017-10-22 2020-06-09 Magik Eye Inc. Adjusting the projection system of a distance sensor to optimize a beam layout
JP6693981B2 (ja) * 2018-02-19 2020-05-13 ファナック株式会社 ロボットの動作をシミュレーションするシミュレーション装置
CN112166345A (zh) 2018-03-20 2021-01-01 魔眼公司 使用变化密度的投影图案进行距离测量
CN114827573A (zh) 2018-03-20 2022-07-29 魔眼公司 调整相机曝光以用于三维深度感测和二维成像
EP3803266A4 (en) 2018-06-06 2022-03-09 Magik Eye Inc. DISTANCE MEASUREMENT USING HIGH DENSITY PROJECTION PATTERNS
WO2020033169A1 (en) 2018-08-07 2020-02-13 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
US10369701B1 (en) 2018-10-30 2019-08-06 Mujin, Inc. Automated package registration systems, devices, and methods
KR20240042157A (ko) 2018-10-30 2024-04-01 무진 아이엔씨 자동화된 패키지 등록 시스템, 디바이스 및 방법
CN113272624B (zh) 2019-01-20 2024-11-26 魔眼公司 包括具有多个通带的带通滤波器的三维传感器
US11474209B2 (en) 2019-03-25 2022-10-18 Magik Eye Inc. Distance measurement using high density projection patterns
EP3970362A4 (en) 2019-05-12 2023-06-21 Magik Eye Inc. MAPPING THREE-DIMENSIONAL DEPTH MAP DATA TO TWO-DIMENSIONAL IMAGERY
JP7376268B2 (ja) * 2019-07-22 2023-11-08 ファナック株式会社 三次元データ生成装置及びロボット制御システム
JP7346133B2 (ja) * 2019-07-29 2023-09-19 株式会社キーエンス ロボット設定装置及びロボット設定方法
WO2021113135A1 (en) 2019-12-01 2021-06-10 Magik Eye Inc. Enhancing triangulation-based three-dimensional distance measurements with time of flight information
US11580662B2 (en) 2019-12-29 2023-02-14 Magik Eye Inc. Associating three-dimensional coordinates with two-dimensional feature points
JP2023510738A (ja) 2020-01-05 2023-03-15 マジック アイ インコーポレイテッド 3次元カメラの座標系を2次元カメラの入射位置に移動させる方法
CN111324945B (zh) 2020-01-20 2023-09-26 阿波罗智能技术(北京)有限公司 传感器方案确定方法、装置、设备及存储介质
JP7467268B2 (ja) 2020-07-30 2024-04-15 グローリー株式会社 計数装置、計数システム、計数方法、およびプログラム
US20240193849A1 (en) * 2022-12-13 2024-06-13 Schlumberger Technology Corporation Quantification of sensor coverage using synthetic modeling and uses of the quantification

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2692603B2 (ja) 1994-07-13 1997-12-17 村田機械株式会社 三次元計測方法
DE19800441C2 (de) 1997-01-20 2002-10-31 Domotec Systemtechnik Gmbh Vorrichtung zum Ermitteln des Auftreffpunktes von Wurfpfeilen auf einer Zielscheibe
JP3930482B2 (ja) * 2004-01-19 2007-06-13 ファナック株式会社 3次元視覚センサ
WO2006013635A1 (ja) * 2004-08-03 2006-02-09 Techno Dream 21 Co., Ltd. 3次元形状計測方法及びその装置
JP4153528B2 (ja) 2006-03-10 2008-09-24 ファナック株式会社 ロボットシミュレーションのための装置、プログラム、記録媒体及び方法
JP4238256B2 (ja) 2006-06-06 2009-03-18 ファナック株式会社 ロボットシミュレーション装置
US7313464B1 (en) * 2006-09-05 2007-12-25 Adept Technology Inc. Bin-picking system for randomly positioned objects
JP4784555B2 (ja) 2007-05-25 2011-10-05 トヨタ自動車株式会社 形状評価方法、形状評価装置および三次元検査装置
JP5496033B2 (ja) 2010-09-17 2014-05-21 三菱重工業株式会社 欠陥寸法測定装置、欠陥寸法測定方法、及びプログラム
US9182221B2 (en) 2011-06-13 2015-11-10 Canon Kabushiki Kaisha Information processing apparatus and information processing method
JP2013101045A (ja) * 2011-11-08 2013-05-23 Fanuc Ltd 物品の3次元位置姿勢の認識装置及び認識方法
JP6092530B2 (ja) * 2012-06-18 2017-03-08 キヤノン株式会社 画像処理装置、画像処理方法
JP5469216B2 (ja) 2012-07-31 2014-04-16 ファナック株式会社 バラ積みされた物品をロボットで取出す装置
JP6021533B2 (ja) * 2012-09-03 2016-11-09 キヤノン株式会社 情報処理システム、装置、方法及びプログラム
JP5829306B2 (ja) * 2014-05-12 2015-12-09 ファナック株式会社 レンジセンサの配置位置評価装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015106936B4 (de) * 2014-05-12 2020-12-17 Fanuc Corporation Anordnungsevaluierungsvorrichtung zur Evaluierung einer Anordungsposition eines Bereichssensors

Also Published As

Publication number Publication date
CN105091760A (zh) 2015-11-25
US9470515B2 (en) 2016-10-18
CN105091760B (zh) 2017-01-18
US20150323321A1 (en) 2015-11-12
DE102015106936B4 (de) 2020-12-17
DE102015106936A1 (de) 2015-11-12
JP2015215259A (ja) 2015-12-03

Similar Documents

Publication Publication Date Title
JP5829306B2 (ja) レンジセンサの配置位置評価装置
CN104908038B (zh) 对工件的取出工序进行仿真的机器人仿真装置
US9679385B2 (en) Three-dimensional measurement apparatus and robot system
US11015930B2 (en) Method for 2D picture based conglomeration in 3D surveying
JP6632208B2 (ja) 情報処理装置、情報処理方法、プログラム
US11446822B2 (en) Simulation device that simulates operation of robot
US9916512B2 (en) Information processing apparatus, processing system, object moving system, and object moving method
JP6662836B2 (ja) 収容領域又は治具にワークを配置するワーク配置システム
JP6193195B2 (ja) 移動支援装置、方法及びプログラム
JP5858773B2 (ja) 3次元計測方法、3次元計測プログラム及びロボット装置
JP2018144144A (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
JP7439410B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2017033429A (ja) 3次元物体検査装置
JP2017201276A (ja) 情報処理装置、情報処理方法、プログラム、システム、および物品製造方法
JP2020013548A (ja) 画像処理装置、画像処理方法、システム、物品の製造方法
JP2012220271A (ja) 姿勢認識装置、姿勢認識方法、プログラム及び記録媒体
JP6713619B2 (ja) 身体向推定装置および身体向推定プログラム
JP5857803B2 (ja) 産業用機械の干渉判定装置、干渉判定方法、コンピュータプログラムおよび記録媒体
JP7099052B2 (ja) シミュレーション装置、シミュレーション方法およびプログラム
JP6282157B2 (ja) 形状認識装置
JP2020091126A (ja) 計測装置、システム、表示方法及びプログラム
WO2022181500A1 (ja) 視覚センサの出力から得られる3次元位置情報を用いるシミュレーション装置
JP2021091056A (ja) 測定装置
WO2022249295A1 (ja) ロボットシミュレーション装置
JP7509534B2 (ja) 画像処理装置、ロボットシステム、及び画像処理方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150929

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151021

R150 Certificate of patent or registration of utility model

Ref document number: 5829306

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150