[go: up one dir, main page]

JP2019188530A - ロボットのシミュレーション装置 - Google Patents

ロボットのシミュレーション装置 Download PDF

Info

Publication number
JP2019188530A
JP2019188530A JP2018084152A JP2018084152A JP2019188530A JP 2019188530 A JP2019188530 A JP 2019188530A JP 2018084152 A JP2018084152 A JP 2018084152A JP 2018084152 A JP2018084152 A JP 2018084152A JP 2019188530 A JP2019188530 A JP 2019188530A
Authority
JP
Japan
Prior art keywords
robot
unit
simulation
model
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018084152A
Other languages
English (en)
Other versions
JP6810093B2 (ja
Inventor
寛之 後平
Hiroyuki Gohira
寛之 後平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Priority to JP2018084152A priority Critical patent/JP6810093B2/ja
Priority to US16/377,252 priority patent/US11220002B2/en
Priority to DE102019002898.8A priority patent/DE102019002898B4/de
Priority to CN201910329069.1A priority patent/CN110394780B/zh
Publication of JP2019188530A publication Critical patent/JP2019188530A/ja
Application granted granted Critical
Publication of JP6810093B2 publication Critical patent/JP6810093B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0009—Constructional details, e.g. manipulator supports, bases
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40323—Modeling robot environment for sensor based robot system
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/50—Machine tool, machine tool null till machine tool work handling
    • G05B2219/50391—Robot
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)

Abstract

【課題】操作者が、ロボットシステムの状況をより直感的に把握できるようなシミュレーションを行うことができる装置を提供する。【解決手段】ロボット３０、ワークＷおよび周辺装置１１を含むロボットシステムの三次元モデルを、三次元空間に存在する擬似立体物として表示する画像表示部１０１と、前記画像表示部によって表示された前記ロボットシステムの三次元モデルをシミュレーション動作させるシミュレーション実行部１４１と、を具備するロボットのシミュレーション装置である。【選択図】図１

Description

本発明は、ロボットのシミュレーションを実行するシミュレーション装置に関する。
ロボット、ワーク、及び周辺機器を三次元で表現したロボットモデル、ワークモデル、及び周辺機器モデルを含むロボットシステムモデルを画面に配置してシミュレーションを行い、動作プログラムを作成する、いわゆるオフラインプログラミングが知られている（例えば、特許文献１及び特許文献２参照）。
特開平９−２１２２２８号公報 特表２０１７−５１９６４４号公報
上述のような、従来のオフラインプログラミングでは、操作者はロボットが配置された生産ラインとは離れた場所で動作プログラムを生成できるという利点を有する反面、ロボットシステムモデルはシミュレーションを実行するコンピュータの画面内に表示されるものであり、操作者は二次元面である画面越しでしかロボットシステムの状況を確認することができない。そのため、従来のオフラインプログラミングでは、操作者は、遠近感をつかみ難いなど、ロボットシステムの状況を直感的に把握しづらいという課題を有している。操作者が、ロボットシステムの状況をより直感的に把握できるようなシミュレーションを行うことのできるシミュレーション装置が求められている。
本開示の一態様は、ロボット、ワークおよび周辺装置を含むロボットシステムの三次元モデルを、三次元空間に存在する擬似立体物として表示する画像表示部と、前記画像表示部によって表示された前記ロボットシステムの三次元モデルをシミュレーション動作させるシミュレーション実行部と、を具備するロボットのシミュレーション装置である。
上記態様によれば、ロボットシステムの状況を操作者が直感的に把握できる状態で、シミュレーションを行うことができる。
添付図面に示される本発明の典型的な実施形態の詳細な説明から、本発明のこれらの目的、特徴および利点ならびに他の目的、特徴および利点がさらに明確になるであろう。
、一実施形態にかかるロボットシミュレーションシステム全体を表す構成図である。 シミュレーション装置のハードウェア構成を表す図である。 シミュレーション装置においてシミュレーションを実行することによって実現される機能を表す機能ブロック図である。 ロボットのシミュレーション動作を表すフローチャートである。 ロボットシステムに接続してシミュレーションを行う動作を表すフローチャートである。 ロボットシステムの稼働中の位置をロボトシステムのモデルの動作に反映した状態を示す図である。 ロボットシステムのモデルに教示点を重ねて表示した表示画面の例を示す図である。 図７の表示画面において、教示点の変更の操作を行う状態を示す図である。 ロボットシステムのモデルと共に設定情報を表示した表示画面の例を示す図である。 ロボットシステムのモデルと共に稼働状態に関する情報を表示した表示画面の例を示す図である。 表示装置としてプロジェクタを用いた場合のロボットシミュレーションシステム全体を表す構成図である。 シミュレーション装置に複数組のロボットシステムが接続された構成例を示す図である。
次に、本開示の実施形態について図面を参照して説明する。参照する図面において、同様の構成部分または機能部分には同様の参照符号が付けられている。理解を容易にするために、これらの図面は縮尺を適宜変更している。また、図面に示される形態は本発明を実施するための一つの例であり、本発明は図示された形態に限定されるものではない。
図１は、一実施形態にかかるロボットシミュレーションシステム１００全体を表す構成図である。図１に示されるように、ロボットシミュレーションシステム１００は、拡張現実画像表示機能を用いてロボットシステムの三次元モデルを実空間の映像に重ねて擬似立体物として表示して動作させる機能を有するシミュレーションシステム（シミュレーション装置９０及びヘッドマウントディスプレイ８０）に対して、ロボット３０を制御するロボット制御装置５０がネットワーク６０を介して通信可能に接続された構成となっている。具体的には、ロボットシミュレーションシステム１００は、シミユレーション装置９０と、シミュレーション装置９０に接続されたヘッドマウントディスプレイ８０と、シミュレーション装置９０にネットワーク６０を介して接続されたロボット制御装置５０と、ロボット制御装置５０に接続されたロボット３０とを具備する。典型的には、ロボット３０、ワークＷ、周辺装置１１及びロボット制御装置５０は、生産ラインに配置され、シミュレーション装置９０及びヘッドマウントディスプレイ８０は、生産ラインから離れた場所に配置される。
ロボット３０は、例えば、垂直多関節ロボットであり、アームの先端には、エンドエフェクタの一例としてのハンド３９が取り付けられている。ロボット３０は、ハンド３９によりワークＷを把持し搬送することができる。ロボット３０の周囲には、周辺装置１１（例えば、ワークを搬送する台車）とワークＷが配置されている。
ロボット制御装置５０は、ロボット制御装置５０内にロードされた動作プログラムに従ってロボット３０の各関節軸を駆動するサーボモータ（図視せず）に対して制御指令を出力することによって、ロボット３０の動作を制御する。また、ロボット制御装置５０は、シミュレーション装置９０との間でネットワーク６０を介して情報のやり取りを行う。
ヘッドマウントディスプレイ８０には、実空間を撮影するカメラ８１と、カメラ８１で撮影された実空間の映像にシミュレーション装置９０から提供されるロボットシステムのモデルや各種情報を重ねる処理を行う拡張現実画像処理部８２と、拡張現実画像処理部８２により生成された三次元画像を表示する表示部８３とを有する（図２参照）。表示部８３は、一例として両眼視差画像により立体的な表示を行う。図１には、ヘッドマウントディスプレイ８０の表示部８３に表示されている画像の例が破線の枠線内に示されている。図１の例では、ヘッドマウントディスプレイ８０には、ロボット３０、ワークＷ、及び周辺装置１１のモデルである、ロボットモデル３０Ｍ、ワークモデルＷＭ、及び周辺装置モデル１１Ｍが実空間の映像に重ねて表示されている。操作者は、例えば、シミュレーション装置９０の操作部９０を操作して、ロボットシステムのモデルの画像を生成する場合の視点の位置を移動させることもできる。なお、ヘッドマウントディスプレイ８０は、他のタイプの拡張現実対応ディスプレイに置き換えても良い。
図２に示すように、シミュレーション装置９０は、ＣＰＵ９１、ＲＯＭ９２，ＲＡＭ９３、記憶装置９４、操作部９５、ネットワークインタフェース９６、各種外部機器と接続するための外部機器インタフェース９７、表示部９８等を有する一般的なコンピュータにより構成することができる。記憶装置９４内には、シミュレーションを実行する為のシミュレーションプログラム、ロボットモデル３０Ｍ、ワークモデルＷＭ、及び周辺装置モデル１１Ｍの三次元モデルデータ等が格納されている。シミュレーション装置９０は外部機器インタフェース９７を介してヘッドマウントディスプレイ８０と接続され、また、ネットワークインタフェース９６を介してロボット制御装置５０と接続される。シミュレーション装置９０と、ヘッドマウントディスプレイ８０との接続は、有線式でも良いし無線式でもよい。また、シミュレーション装置９０と、ロボット制御装置５０との接続も有線式でも無線式でもよい。
図３は、シミュレーション装置９０とヘッドマウントディスプレイ８０とが協働して動作することによって実現される、シミュレーションに関する各種機能の機能ブロック図を表している。なお、シミュレーションプログラムは、コンピュータにより読み取り可能な各種記憶媒体（ＲＯＭ、ＲＡＭ、フラッシュメモリ、ＨＤＤ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）に格納することができる。
ロボットシステムモデル表示部１０１は、ロボットモデル３０Ｍ、ワークモデルＷＭ、及び周辺装置モデル１１Ｍを、ヘッドマウントディスプレイ８０の表示部８３に表示されている実空間の映像内に、ロボットシステムの実際の配置関係と同じ配置関係で、立体的に重畳表示する。例えば、操作者がシミュレーション装置９０の操作部９５を介してロボットシステムの実際の配置情報を入力することで、或いは、シミュレーション装置９０が外部装置からロボットシステムの実際の配置情報を取得することで、ロボットシステムモデル表示部１０１は、ロボットシステムのモデルを、実空間の映像内において、ロボットシステムの実際の配置関係に対応する位置に重畳表示させることができる。これにより、ヘッドマウントディスプレイ８０を装着した操作者の視界には、あたかも操作者のいる空間に、生産ラインにあるロボットシステムが配置されているかのように各モデルが表示されることになる。
シミュレーション実行部１４１は、ロボットシステムモデル表示部１０１によって表示されているロボットシステムのモデルを模擬動作させてシミュレーション動作を実行する。本明細書において、シミュレーション動作とは、動作プログラムや操作者による教示点の指示入力にしたがって、モデルを模擬的に動作させることを言う。例えば、操作者は、シミュレーション装置９０にロボットの所望の動作（教示点）を入力し、シミュレーション動作を実行してその動きを確認することができる。このようなシミュレーション動作を実行して、ロボット３０に所望の動作を実行させる動作プログラムが作成される。このとき、操作者は、ヘッドマウントディスプレイ８０を装着して操作者のいる実空間の映像に重ねて立体的に表示されているロボットシステムのモデルをみながら、教示点の入力やロボット３０等の動きの確認を行うことができる。すなわち、操作者は、実際のロボットシステムの状態（例えば、ロボット３０と周辺装置１１やワークＷとの距離）を直感的に把握できる状態で、教示点の入力等や動作確認を行うことができるので、的確な動作プログラムの作成を行うことが可能となる。
上述のようなシミュレーション動作における教示点の入力等の入力操作は、操作者が、シミュレーション装置９０の操作部９５（例えば、キーボード、マウス、その他のポインティングデバイス）を操作して行っても良い。或いは、シミュレーション装置９０には、外部機器として、当技術分野で知られた、操作者の手の動きを追跡するためのセンサ（カメラ、操作者の手に装着するセンサ等）が接続されていてもよい。操作者の手の動きを検出するセンサとしてのカメラは、ヘッドマウントディスプレイ８０に設けられていても良い。このようにシミュレーション装置９０が、操作者の手の動きを追跡する機能を装備することで、操作者は、教示点の入力等をジェスチャで指示することが可能になる。以下で説明する各種の操作入力（タッチ操作、ドラッグ操作等）は、操作者の手の動きを追跡する機能により実現されても良い。
ロボットシステム接続部１０２は、シミュレーション装置９０とロボット制御装置５０間の通信を開設する。これにより、シミュレーションプログラム側（シミュレーション装置９０）とロボットシステム側（ロボット制御装置５０）との間で情報のやり取りを行うことが可能になる。
ロボットシステムモデル動作部１０３は、ロボット制御装置５０から、ロボットシステムを構成するロボット３０、ワークＷ及び周辺装置１１の稼働中の位置を取得し、ロボットシステムモデルを構成するロボットモデル３０Ｍ、ワークモデルＷＭ、及び周辺装置モデル１１Ｍを、稼働中の位置に対応する位置に移動させる。また、シミュレーション装置９０は、ロボット３０のハンド３９の状態を示す信号を受信することにより、ロボット３０がハンド３９によりワークＷを把持した際には、ロボットモデル３０Ｍのハンドの部分がワークモデルＷＭを把持した状態にする。これらの移動処理は、ロボットシステム側の動きにリアルタイムに追従するように行っても良い。図６には、ロボットシステム側においてロボット３０がワークＷを把持したことにより、ヘッドマウントディスプレイ８０に表示されている画像内においてロボットモデル３０ＭがワークＷＭを把持した状態になった様子が示されている。
動作プログラム取得部１１１は、ロボット制御装置５０から、ネットワーク６０を介して、ロボット３０の動作プログラムを取得する。
動作プログラム表示部１１２は、取得した動作プログラムを用いて、ロボット３０の動作プログラムに関する情報を、ヘッドマウントディスプレイ８０に表示されている実空間の映像に重ねて表示する。図７は、ヘッドマウントディスプレイ８０に表示された動作プログラムに関する情報の例を示している。図７の表示例では、実空間の映像に、動作プログラム内に含まれている教示点のノード２０１〜２０４、及び教示点間を結ぶ経路２１０をグラフィックに表す三次元の画像が重ねて表示されている。さらに、図７の表示例では、教示点のリストを表す三次元のパネル２２０が表示されている。この画面において、操作者が、例えば、手を動かしてパネル２２０内の所望の教示点をタッチ操作して選択するか、或いは、教示点のノード２０２を手でタッチ操作すると、選択された教示点の三次元の位置を示すパネル２３０が実空間の映像に重ねて表示される。なお、図７の例では、教示点２０２（パネル２２０内では教示点Ｐ２）が選択されている。なお、以下の説明においても、各種操作パネルや操作メニュー等の表示物は、三次元の画像として表示されるものとする。
動作プログラム変更部１１３は、操作者による教示点の変更操作を受け付ける。教示点を変更する操作の一例として、操作者は、実空間の映像に重ねて表示されている教示点のノードを手でドラッグ操作して移動させても良い。図８には、操作者が教示点のノード２０２をドラッグ操作して移動させた状態が示されている。教示点を変更する操作の他の例として、操作者が教示点の三次元の位置を表すパネル２３０内の位置情報のいずれかを手でタッチ操作すると、実空間上にテンキー２４０が表示され、操作者がテンキー２４０を操作して、タッチした位置情報の数値を入力できる構成であっても良い。図８の例では、教示点の三次元の位置を表すパネル２３０内のＺ座標がタッチ操作により選択されることによって、テンキー２４０が表示された状態が示されている。
動作プログラム反映部１１４は、動作プログラム変更部１１３によって変更された動作プログラムと実行指令とを、ネットワーク６０を介してロボット制御装置５０に送信することによってロボットシステム側に反映する。変更された動作プログラムを受信したロボット制御装置５０は、以後、ロボット３０を、変更された動作プログラムによって制御する。以上の構成によれば、図４のシミュレーションにより作成した動作プログラムでロボット３０を実際に動作させた場合において、一例として外的要因によりロボット３０の実際の動作が所望の動作と異なっていたような場合（例えば、ロボット３０に装備された安全監視装置がヒトを検知して作動して、ロボット３０の動作速度を低減したような場合）に、操作者は、ロボット３０の状態を感覚的に的確に把握しながら、動作プログラムの変更を行うことができる。
設定取得部１２１は、ネットワーク６０を介してロボットシステム側からロボットシステムの設定を取得する。設定表示部１２２は、設定取得部１２１が取得した設定情報を、ヘッドマウントディスプレイ８０に表示されている実空間の映像に重ねて表示する。設定情報は、例えば、位置レジスタ（ロボットの位置を指定するレジスタ）、数値レジスタ（プログラムの動作上使用される各種レジスタ）である。図９は、実空間の映像に重ねて表示された設定情報の例を示している。図９の例では、“ＰＯＳＲＥＧ”が位置レジスタを表し、“ＮＵＭＲＥＧ”が数値レジスタを表している。また、図９には、設定情報のメニューを表す設定メニューパネル２５１が表示されている。
設定変更部１２３は、設定情報を変更する操作を受け付ける。図９には、設定情報の変更操作の例も示されている。図９の例では、設定変更部１２３は、設定メニューパネル２５１上で操作者が位置レジスタ（“ＰＯＳＲＥＧ”）を選択すると、位置レジスタのリストを表すサブメニュー２５２を表示する。サブメニュー２５２上で、位置レジスタＰＲ３が選択されると、設定変更部１２３は、位置レジスタＰＲ３の設定情報を表すパネル２６０を実空間の映像に重ねて表示する。また、設定変更部１２３は、操作者がパネル２６０内の位置情報をタッチ操作して選択するとテンキー２４０を実空間の映像に重ねて表示させ、選択された位置情報の数値の入力を受け付ける。図９の例では、パネル２６０内のＺ座標がタッチ操作により選択されることによって、テンキー２４０が表示された状態が示されている。
設定反映部１２４は、設定変更部１２３によって変更された設定情報と変更指令を、ネットワーク６０を介してロボット制御装置５０に送信することによってロボットシステム側に反映する。変更された設定情報を受信したロボット制御装置５０は、変更された設定内容に従って設定を変更する。
稼働状態取得部１３１は、ネットワーク６０を介してロボット制御装置５０からロボットシステムの稼働状態を取得する。稼働状態は、例えば、アラームの情報、生産状況、例えばロボットに設置されたカメラによる検出結果、減速機の状態等である。稼働状態表示部１３２は、稼働状態に関する情報を、ヘッドマウントディスプレイ８０に表示されている実空間の映像に重ねて表示する。図１０には、実空間の映像に重ねて表示された稼働状態の例が示されている。図１０の例では、稼働状態のメニューを表すメニューパネル２７１が表示されている。操作者がメニューパネル２７１内の項目の一つをタッチ操作で選択すると、稼働状態表示部１３２は、選択された項目の詳細を表すパネル２７２を実空間の映像に重ねて表示する。図１０の例では、メニューパネル２７１から、アラーム（“ＡＬＡＲＭ”）が選択され、アラームのログを表す情報がパネル２７２内に表示されている。
モデル縮尺変更部１３３は、ロボットシステムのモデルの表示の縮尺を変更する機能を提供する。例えば、モデル縮尺変更部１３３は、操作者によるロボットシミュレーション装置９０に対する操作入力を受け付けて、或いは、実空間内に表示した操作メニューに対するジェスチャ操作を受け付けて、モデルの縮尺を変更しても良い。
図４は、ロボット３０の動作プログラムを作成する為のシミュレーションプログラムの動作を表すフローチャートである。図４のシミュレーション動作は、シミュレーション装置９０のＣＰＵ９１による制御の下で実行される。はじめに、ロボットシステムモデル表示部１０１の機能により、ロボットモデル３０Ｍ、ワークモデルＷＭ、及び周辺装置１１Ｍの三次元モデルが、ヘッドマウントディスプレイ８０の表示部８３に表示されている実空間の映像に重ねて表示される（ステップＳ１１）。次に、シミュレーション実行部１４１の機能により、ロボットシステムのモデルのシミュレーション動作が実行される（ステップＳ１２）。具体的には、ここでは、操作者は、ロボット３０に所望の動きを行わせるための教示点の入力等を行い、ロボットシステムのモデルを模擬動作させてシミュレーションを実行する。この場合、上述した通り、操作者は、ヘッドマウントディスプレイ８０に表示されたロボットシステムのモデルの状態を直感的に把握できる状況で操作入力することができる。このようにして、ロボット３０に所望の動きを行わせる動作プログラムが作成されると、動作プログラムはロボット制御装置５０に送信される（ステップＳ１３）。この動作プログラムを受け取ったロボット制御装置５０は、この動作プログラムを実行してロボット３０を制御する。
図５は、シミュレーション装置９０がロボットシステムの実際の動きを確認して動作プログラムを変更することを可能とするシミュレーション動作を表すフローチャートである。図５のシミュレーション動作は、シミュレーション装置９０のＣＰＵ９１による制御の下で実行される。シミュレーション装置９０が操作されシミュレーション動作が開始されると、はじめに、ロボットシステムモデル表示部１０１によって、ロボットモデル３０Ｍ、ワークモデルＷＭ、及び周辺装置モデル１１Ｍを含むロボットシステムモデルが、これらの実際の配置に即してヘッドマウントディスプレイ８０に表示されている実空間の映像に重ねて表示される（ステップＳ１０１）。次に、ロボットシステム接続部１０２によりシミュレーションシステム側がロボットシステム側に接続される（ステップＳ２０２）。
次に、ロボットシステムモデル動作部１０３は、ロボット制御装置５０から取得したロボットシステムの稼働中の位置情報を用いて、ロボットシステムの動作に追従させて、ロボットシステムモデルを動作させる（ステップＳ１０３）。この場合、操作者は、立体的に表示されているロボットシステムのモデルが操作者のいる実空間で実際に動作しているような画像をみることができるので、ロボットシステムの状態を直感的に把握できることになる。
次に、動作プログラム取得部１１１により、ロボットシステムの動作プログラムが取得される（ステップＳ１０４）。そして、動作プログラム表示部１１２により、一例として図７に示したように、動作プログラムの教示点が実空間の映像に重ねて表示される（ステップＳ１０５）。この状態で、動作プログラム変更部１１３は、図８で示したように、教示点の位置の変更等の操作を受け付ける（ステップＳ１０６）。ステップＳ１０６では、変更された教示点にしたがってロボットモデル３０Ｍを模擬動作させて動きを確認しても良い。教示点の変更がなされると、動作プログラム反映部１１４により、変更した動作プログラムがロボット制御装置５０に送信されることにより、変更した動作プログラムがロボットシステムに反映される（ステップＳ１０７）。上記構成によれば、実空間の映像に重ねて表示されたロボットシステムのモデルと共に教示点が立体的に表示されるので、操作者は、教示点の位置を直感的に把握することができ、必要な変更を的確に行うことができる。
次に、設定取得部１２１により、ロボットシステムの設定情報が取得される（ステップＳ１０８）。取得された設定情報は、設定表示部１２２により実空間の映像に重ねて表示される（ステップ１０９）。次に、設定変更部１２３は、操作者からの設定の変更を受け付ける（ステップＳ１１０）。設定が変更されると、設定反映部１２４によって変更された設定情報がロボット制御装置５０に送信されて反映される（ステップＳ１１１）。上記構成によれば、実空間の映像に重ねて表示されたロボットシステムのモデルと共に設定情報が表示されるので、操作者は、ロボットシステムの状態を直感的に把握可能な状況で、必要な変更を的確に行うことができる。
次に、稼働状態取得部１３１により、ロボットシステムの稼働状態が取得される（ステップＳ１１２）。稼働状態が取得されると、図１０に例示したように、稼働状態表示部１３２により、ロボットシステムの稼働状態がヘッドマウントディスプレイ８０に表示されている実空間の映像に重ねて表示される（ステップＳ１１３）。このように実空間内に表示されたロボットシステムのモデルと共に稼働状態を表示することで、操作者が直感的にロボットシステムの状態を直感的に把握できるというメリットをよりいっそう高めることができる。
以上、典型的な実施形態を用いて本発明を説明したが、当業者であれば、本発明の範囲から逸脱することなしに、上述の各実施形態に変更及び種々の他の変更、省略、追加を行うことができるのを理解できるであろう。
上述の実施形態では、ロボットシステムのモデルは、ヘッドマウントディスプレイ８０の表示部８３において、実空間の映像に重ねて疑似立体物として表示されているが、本発明はこのような例に限られない。ロボットシステムのモデルは、ヘッドマウントディスプレイの表示部において、仮想空間に存在する疑似立体物として表示されても良い。
例えば、上述のヘッドマウントディスプレイ８０は、カメラ８１の位置及び姿勢をセンサ（ジャイロセンサ、加速度センサ等）により推定するカメラ位置姿勢推定機能（検出部）を備えていても良い。このような、カメラ位置姿勢推定機能を用いることで、ロボットシステムのモデルの画像を生成する視点の位置を、操作者の頭部の動きに追従して変更することが可能になる。例えば、操作者が操作者のいる場所内で歩いて移動すると、ロボットシステムのモデルが操作者に近づくように画像を生成したり、操作者が頭部を動かしてロボットシステムのモデルの所望の部位を覗き込むことができるような画像を生成することもできる。
周辺装置１１が例えばワーク搬送等の動作を行う装置であり、ロボット制御装置５０がそのような周辺装置の動作状態を表す情報をシミュレーション装置９０に提供できる場合には、シミュレーション装置９０はそのような情報を、ロボットシステムのモデルを動かす画像を生成する際に用いても良い。
ロボットシステムのモデルを三次元空間に存在する疑似立体物として表示する手法は上述の実施形態における手法以外にも各種手法が有り得る。図１１は、図１の構成においてヘッドマウントディスプレイ８０に代えてプロジェクタ２８０を用いた場合のロボットシミュレーションシステム１００Ａの構成例を示している。図１１の構成例では、シミュレーション装置９０Ａは、ロボットシステムの三次元モデルをプロジェクタ２８０により、操作者からみた実空間に三次元立体像として表示させる。一例として、プロジェクタ２８０は、操作者がいる場所の所定の位置に、ホログラムによる三次元立体映像を表示しても良い。このような三次元立体像は、物体からの光（物体光）に参照光を重ねることにより生じる干渉縞を記録したフィルム等の媒体（ホログラム）に、参照光を照射することによって得られる、物体の立体像である。プロジェクタ２８０としては、ホログラムを投影する機能を有する、当分野で知られた方式を採用した装置を用いることができる。シミュレーション装置９０Ａは、上述の実施形態で説明したシミュレーション装置９０と同様の機能を持つものとする。このような構成の場合にも、操作者は、ロボットシステムのモデルの状態（ロボット３０とワークＷや周辺装置１１との距離感など）を直感的に把握できる状態で、教示点の入力を行ったり、シミュレーション動作を実行することができる。
図１２は、ロボットシミュレーション装置９０Ｂに、ネットワーク６０を介して複数のロボットシステムが接続される場合のロボットシミュレーションシステム１００Ｂの構成例を示している。図１２の構成の場合、ロボットシミュレーション装置９０Ｂは、複数のロボットシステムのそれぞれについて、ロボットシステムのモデルを実空間の映像に重ねて表示し、それぞれのロボットシステムについて図３や図４で示したシミュレーションを行うことができる。図１２の例では、シミュレーション装置９０Ｂは、２組のロボットシステム（ロボット制御装置５０ａ、ロボット３０ａ、ワークＷａ、周辺装置１１ａからなるシステム、及び、ロボット制御装置５０ｂ、ロボット３０ｂ、ワークＷｂ、周辺装置１１ｂからなるシステム）に接続されている。また、ヘッドマウントディスプレイ８０の表示部８３には、２組のロボットシステムのモデル（ロボット３０ａＭ、ワークＷａＭ、及び周辺装置１１ａＭのロボットシステムのモデル、及び、ロボット３０ｂＭ、ワークＷｂＭ、及び周辺装置１１ｂＭのロボットシステムのモデル）が実空間の映像に重ねて表示されている（図１２の破線の枠線内を参照）。図１２の構成においても、シミュレーション装置９０Ｂは、上述の実施形態で説明したシミュレーション装置９０と同様の機能を持つものとする。図１２の構成の場合には、操作者のいる場所で、複数のロボットシステムの状態を直感的に把握できる状態で、それぞれのロボットシステムのシミュレーション動作を実行できる。
また、本開示の課題を解決するために、以下のような各種の態様とその効果を提供することができる。なお、以下の態様の説明文における括弧内の番号は本開示の図面の参照符号に対応する。
例えば、本開示の第一態様は、ロボット（３０）、ワーク（Ｗ）および周辺装置（１１）を含むロボットシステムの三次元モデルを、三次元空間に存在する擬似立体物として表示する画像表示部（１０１）と、前記画像表示部（１０１）によって表示された前記ロボットシステムの三次元モデルをシミュレーション動作させるシミュレーション実行部（１４１）と、を具備するロボットのシミュレーション装置である。
上記第一態様によれば、ロボットシステムの状況を操作者が直感的に把握できる状態で、シミュレーション動作を行うことができる。
また、本開示の第二態様は、上記第一態様のロボットのシミュレーション装置（９０）であって、前記画像表示部（１０１）は、操作者の頭部の位置および姿勢を検出する検出部（８０）を備え、前記画像表示部（１０１）は、前記三次元モデルを表示するための視点の位置を、検出された前記操作者の頭部の位置および姿勢に応じて変化させる。
また、本開示の第三態様は、上記第一態様のロボットのシミュレーション装置（９０）であって、前記画像表示部（１０１）によって表示される前記ロボットシステムの三次元モデルの疑似立体物は、前記ロボットシステムの三次元モデルを表すホログラムを用いて再生された立体像である。
また、本開示の第四態様は、上記第一態様から第三態様のいずれかのロボットのシミュレーション装置（９０）であって、前記ロボット（３０）を制御するロボット制御装置（５０）とネットワーク（６０）を介して接続する為のネットワーク接続部（１０２）と、前記ロボット制御装置（５０）から前記ロボットの動作中の位置姿勢データを取得し、取得した前記位置姿勢データを用いて前記画像表示部（１０１）によって表示されている前記ロボットの三次元モデルを動作させるモデル動作部（１０３）と、を更に備える。
また、本開示の第五態様は、上記第四態様のロボットのシミュレーション装置（９０）であって、前記ロボット制御装置（５０）から前記ロボットの動作プログラムを取得する動作プログラム取得部（１１１）と、取得した前記動作プログラムに含まれる教示点の三次元位置に基づいて、該教示点を示す画像を、前記三次元空間における前記教示点の前記三次元位置に対応する位置に表示する動作プログラム表示部（１１２）と、を更に備える。
また、本開示の第六態様は、上記第五態様のロボットのシミュレーション装置（９０）であって、画像として表示されている前記教示点に対する変更操作を受け付ける動作プログラム変更部（１１３）と、変更された前記教示点の位置にしたがって前記動作プログラムを更新し、更新された前記動作プログラムと共に該更新された動作プログラムの実行指令を前記ロボット制御装置に送信する動作プログラム反映部（１１４）と、を更に備える。
また、本開示の第七態様は、上記第四態様から第六態様のいずれかのロボットのシミュレーション装置（９０）であって、前記ロボット制御装置から前記ロボットシステムの設定情報を取得する設定取得部と、取得した前記設定情報を、文字情報として前記三次元空間に表示する設定表示部と、を更に備える。
また、本開示の第八態様は、上記第七態様のロボットのシミュレーション装置（９０）であって、表示されている前記設定情報に対する変更操作を受け付ける設定変更部（１２３）と、変更された前記設定情報と共に、前記設定情報の変更指令を前記ロボット制御装置（５０）に送信する設定反映部（１２４）と、を更に備える。
また、本開示の第九態様は、上記第四態様から第八態様のいずれかのロボットのシミュレーション装置（９０）であって、前記ロボット制御装置（５０）から、前記ロボットシステムの稼働状態に関する情報を取得する稼働状態取得部（１３１）と、取得した前記稼働状態に関する情報を、文字情報として前記三次元空間に表示する稼働状態表示部（１３２）と、を更に備える。
また、本開示の第十態様は、上記第四態様のロボットのシミュレーション装置（９０）であって、前記ロボットシステムおよび前記ロボット制御装置（５０ａ，５０ｂ）からなるシステムは複数存在し、前記ネットワーク接続部（１０２）は、前記複数のロボット制御装置（５０ａ，５０ｂ）と前記ネットワーク（６０）を介して接続され、前記画像表示部（１０１）は、それぞれの前記ロボットシステムの三次元モデルを、前記三次元空間に存在する前記擬似立体物として表示し、前記シミュレーション実行部（１４１）は、それぞれの前記ロボットシステムの三次元モデルについて前記シミュレーション動作を実行し、前記モデル動作部（１０３）は、それぞれの前記ロボット制御装置（５０ａ，５０ｂ）から該ロボット制御装置に接続された前記ロボットの動作中の位置姿勢データを取得し、取得した前記位置姿勢データを用いてそれぞれの前記ロボットの三次元モデルを動作させる。
また、本開示の第十一態様は、上記第一態様から第十態様のいずれかロボットのシミュレーション装置（９０）であって、前記ロボットシステムの三次元モデルの表示の縮尺を変更するモデル縮尺変更部（１３３）を更に備える。
１１ 周辺装置
１１Ｍ 周辺装置モデル
３０ ロボット
３０Ｍ ロボットモデル
５０ ロボット制御装置
６０ ネットワーク
８０ ヘッドマウントディスプレイ
８１ カメラ
８２ 拡張現実画像処理部
８３ 表示部
９０ シミュレーション装置
９１ ＣＰＵ
９２ ＲＯＭ
９３ ＲＡＭ
９４ 記憶装置９４
９５ 操作部９５
９６ ネットワークインタフェース
９７ 外部機器インタフェース
９８ 表示部
１００ ロボットシミュレーションシステム
１０１ ロボットシステムモデル表示部
１０２ ロボットシステム接続部
１０３ ロボットシステムモデル動作部
１１１ 動作プログラム取得部
１１２ 動作プログラム表示部
１１３ 動作プログラム変更部
１１４ 動作プログラム反映部
１２１ 設定取得部
１２２ 設定表示部
１２３ 設定変更部
１２４ 設定反映部
１３１ 稼働状態取得部
１３２ 稼働状態表示部
１３３ モデル縮尺変更部
１４１ シミュレーション実行部
Ｗ ワーク
ＷＭ ワークモデル

Claims (11)

  1. ロボット、ワークおよび周辺装置を含むロボットシステムの三次元モデルを、三次元空間に存在する擬似立体物として表示する画像表示部と、
    前記画像表示部によって表示された前記ロボットシステムの三次元モデルをシミュレーション動作させるシミュレーション実行部と、
    を具備するロボットのシミュレーション装置。
  2. 前記画像表示部は、操作者の頭部の位置および姿勢を検出する検出部を備え、前記三次元モデルを表示するための視点の位置を、検出された前記操作者の頭部の位置および姿勢に応じて変化させる、
    請求項１に記載のロボットのシミュレーション装置。
  3. 前記画像表示部によって表示される前記ロボットシステムの三次元モデルの疑似立体物は、前記ロボットシステムの三次元モデルを表すホログラムを用いて再生された立体像である、請求項１に記載のロボットのシミュレーション装置。
  4. 前記ロボットを制御するロボット制御装置とネットワークを介して接続する為のネットワーク接続部と、
    前記ロボット制御装置から前記ロボットの動作中の位置姿勢データを取得し、取得した前記位置姿勢データを用いて前記画像表示部によって表示されている前記ロボットの三次元モデルを動作させるモデル動作部と、を更に備える、
    請求項１から３のいずれか一項に記載のロボットのシミュレーション装置。
  5. 前記ロボット制御装置から前記ロボットの動作プログラムを取得する動作プログラム取得部と、
    取得した前記動作プログラムに含まれる教示点の三次元位置に基づいて、該教示点を示す画像を、前記三次元空間における前記教示点の前記三次元位置に対応する位置に表示する動作プログラム表示部と、を更に備える、
    請求項４に記載のロボットのシミュレーション装置。
  6. 画像として表示されている前記教示点に対する変更操作を受け付ける動作プログラム変更部と、
    変更された前記教示点の位置にしたがって前記動作プログラムを更新し、更新された前記動作プログラムと共に該更新された動作プログラムの実行指令を前記ロボット制御装置に送信する動作プログラム反映部と、を更に備える、
    請求項５に記載のロボットのシミュレーション装置。
  7. 前記ロボット制御装置から前記ロボットシステムの設定情報を取得する設定取得部と、
    取得した前記設定情報を、文字情報として前記三次元空間に表示する設定表示部と、を更に備える、
    請求項４から６のいずれか一項に記載のロボットのシミュレーション装置。
  8. 表示されている前記設定情報に対する変更操作を受け付ける設定変更部と、
    変更された前記設定情報と共に、前記設定情報の変更指令を前記ロボット制御装置に送信する設定反映部と、を更に備える、
    請求項７に記載のロボットのシミュレーション装置。
  9. 前記ロボット制御装置から、前記ロボットシステムの稼働状態に関する情報を取得する稼働状態取得部と、
    取得した前記稼働状態に関する情報を、文字情報として前記三次元空間に表示する稼働状態表示部と、を更に備える、
    請求項４から８のいずれか一項に記載のロボットのシミュレーション装置。
  10. 前記ロボットシステムおよび前記ロボット制御装置からなるシステムは複数存在し、
    前記ネットワーク接続部は、前記複数のロボット制御装置と前記ネットワークを介して接続され、
    前記画像表示部は、それぞれの前記ロボットシステムの三次元モデルを、前記三次元空間に存在する前記擬似立体物として表示し、
    前記シミュレーション実行部は、それぞれの前記ロボットシステムの三次元モデルについて前記シミュレーション動作を実行し、
    前記モデル動作部は、それぞれの前記ロボット制御装置から該ロボット制御装置に接続された前記ロボットの動作中の位置姿勢データを取得し、取得した前記位置姿勢データを用いてそれぞれの前記ロボットの三次元モデルを動作させる、
    請求項４に記載のロボットのシミュレーション装置。
  11. 前記ロボットシステムの三次元モデルの表示の縮尺を変更するモデル縮尺変更部を更に備える、請求項１から１０のいずれか一項に記載のロボットのシミュレーション装置。
JP2018084152A 2018-04-25 2018-04-25 ロボットのシミュレーション装置 Active JP6810093B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018084152A JP6810093B2 (ja) 2018-04-25 2018-04-25 ロボットのシミュレーション装置
US16/377,252 US11220002B2 (en) 2018-04-25 2019-04-08 Robot simulation device
DE102019002898.8A DE102019002898B4 (de) 2018-04-25 2019-04-18 Robotersimulationsvorrichtung
CN201910329069.1A CN110394780B (zh) 2018-04-25 2019-04-23 机器人的仿真装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018084152A JP6810093B2 (ja) 2018-04-25 2018-04-25 ロボットのシミュレーション装置

Publications (2)

Publication Number Publication Date
JP2019188530A true JP2019188530A (ja) 2019-10-31
JP6810093B2 JP6810093B2 (ja) 2021-01-06

Family

ID=68276393

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018084152A Active JP6810093B2 (ja) 2018-04-25 2018-04-25 ロボットのシミュレーション装置

Country Status (4)

Country Link
US (1) US11220002B2 (ja)
JP (1) JP6810093B2 (ja)
CN (1) CN110394780B (ja)
DE (1) DE102019002898B4 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021094624A (ja) * 2019-12-16 2021-06-24 株式会社デンソーウェーブ ロボットのプログラム作成支援装置
WO2021149563A1 (ja) * 2020-01-20 2021-07-29 ファナック株式会社 ロボットシミュレーション装置
WO2021200470A1 (ja) * 2020-03-30 2021-10-07 ファナック株式会社 オフラインシミュレーションシステム
KR20220128655A (ko) * 2020-01-30 2022-09-21 레이던 컴퍼니 제조 또는 산업 환경에서 협동 로봇과의 상호작용을 위한 가상/증강 현실 사용 시스템 및 방법
JP2023017441A (ja) * 2021-07-26 2023-02-07 株式会社ダイヘン 画像処理装置
JP2023551681A (ja) * 2020-12-02 2023-12-12 リアルタイム ロボティクス， インコーポレーテッド ロボット動作計画及び制御においてクリアランス決定を使用するシステム、方法、及びユーザーインターフェース
US12194639B2 (en) 2020-03-18 2025-01-14 Realtime Robotics, Inc. Digital representations of robot operational environment, useful in motion planning for robots
JP7645145B2 (ja) 2021-07-26 2025-03-13 株式会社ダイヘン 教示データ修正装置
WO2025057702A1 (ja) * 2023-09-14 2025-03-20 川崎重工業株式会社 教示支援装置、教示支援方法及び教示支援プログラム
WO2025115859A1 (ja) * 2023-11-28 2025-06-05 京セラ株式会社 情報処理装置、情報処理システム及びプログラム
US12358140B2 (en) 2019-06-24 2025-07-15 Realtime Robotics, Inc. Motion planning for multiple robots in shared workspace

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11351472B2 (en) 2016-01-19 2022-06-07 Disney Enterprises, Inc. Systems and methods for using a gyroscope to change the resistance of moving a virtual weapon
US11663783B2 (en) 2016-02-10 2023-05-30 Disney Enterprises, Inc. Systems and methods for using augmented reality with the internet of things
JP7087316B2 (ja) * 2017-09-27 2022-06-21 オムロン株式会社 情報処理装置、情報処理方法およびプログラム
JP6693981B2 (ja) * 2018-02-19 2020-05-13 ファナック株式会社 ロボットの動作をシミュレーションするシミュレーション装置
US10974132B2 (en) 2018-10-02 2021-04-13 Disney Enterprises, Inc. Systems and methods to provide a shared interactive experience across multiple presentation devices based on detection of one or more extraterrestrial bodies
JP7251224B2 (ja) * 2019-03-11 2023-04-04 セイコーエプソン株式会社 制御装置およびロボットシステム
US11014008B2 (en) 2019-03-27 2021-05-25 Disney Enterprises, Inc. Systems and methods for game profile development based on virtual and/or real activities
US10916061B2 (en) * 2019-04-24 2021-02-09 Disney Enterprises, Inc. Systems and methods to synchronize real-world motion of physical objects with presentation of virtual content
JP7396872B2 (ja) 2019-11-22 2023-12-12 ファナック株式会社 拡張現実を用いたシミュレーション装置及びロボットシステム
JP7260001B2 (ja) 2020-01-16 2023-04-18 オムロン株式会社 プログラム生成装置、プログラム生成方法、及び生成プログラム
US20210237116A1 (en) * 2020-02-03 2021-08-05 Ross-Hime Designs, Inc. Robotic marking system
DE102020201375B3 (de) * 2020-02-05 2021-06-24 Magna Steyr Fahrzeugtechnik Ag & Co Kg Verfahren zur Überprüfung eines Sicherheitsbereichs eines Roboters
CN111390908B (zh) * 2020-03-26 2022-05-17 哈尔滨工业大学 一种基于网页的机械臂虚拟拖动方法
CN113874806B (zh) * 2020-04-24 2025-06-06 深圳市大疆创新科技有限公司 轨迹生成方法、遥控终端、可移动平台、系统及计算机可读存储介质
JP7691813B2 (ja) * 2020-06-26 2025-06-12 川崎重工業株式会社 ロボットの教示装置、ロボットの教示プログラム及びロボットの教示方法
JP6833145B1 (ja) * 2020-07-30 2021-02-24 三菱電機株式会社 数値制御装置および数値制御システム
EP4052865A1 (en) * 2021-03-05 2022-09-07 Canon Kabushiki Kaisha Information processing apparatus, robot system, information processing method, program, and recording medium
CN114081624B (zh) * 2021-11-10 2023-06-27 武汉联影智融医疗科技有限公司 一种手术机器人虚拟仿真系统
US12070857B2 (en) * 2022-03-21 2024-08-27 Intrinsic Innovation Llc Robot programming
JP2023173848A (ja) * 2022-05-26 2023-12-07 株式会社デンソーウェーブ ロボット制御システム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0976063A (ja) * 1995-09-16 1997-03-25 Sanshiyuuzen Kogyo Kk 溶接装置
JP2004243516A (ja) * 2003-02-11 2004-09-02 Kuka Roboter Gmbh コンピュータによって生成された情報を現実環境の画像へとフェードインするための方法、およびコンピュータによって生成された情報を現実環境の画像に視覚化するための装置
US20160257000A1 (en) * 2015-03-04 2016-09-08 The Johns Hopkins University Robot control, training and collaboration in an immersive virtual reality environment
JP2017100204A (ja) * 2015-11-30 2017-06-08 株式会社デンソーウェーブ ロボット操作システム
JP2017100206A (ja) * 2015-11-30 2017-06-08 株式会社デンソーウェーブ ロボット安全システム
JP2017100234A (ja) * 2015-12-01 2017-06-08 株式会社デンソーウェーブ ティーチング結果表示システム
US20170372139A1 (en) * 2016-06-27 2017-12-28 Autodesk, Inc. Augmented reality robotic system visualization

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2792842B2 (ja) 1996-02-07 1998-09-03 川崎重工業株式会社 ロボット作業教示方法および装置
JPH11249725A (ja) * 1998-02-26 1999-09-17 Fanuc Ltd ロボット制御装置
US20030187751A1 (en) * 2001-10-31 2003-10-02 Mike Watson Interactive electronic reference systems and methods
GB0130986D0 (en) * 2001-12-27 2002-02-13 Prophet Control Systems Ltd Programming robots with offline design
KR100526741B1 (ko) * 2003-03-26 2005-11-08 김시학 와이어의 장력을 이용한 위치 추적 및 반력시스템과 이를이용한 최소 절개용 수술시스템
US20060265664A1 (en) * 2005-05-17 2006-11-23 Hitachi, Ltd. System, method and computer program product for user interface operations for ad-hoc sensor node tracking
JP4757115B2 (ja) * 2006-06-28 2011-08-24 キヤノン株式会社 画像処理装置、画像処理方法
US8442804B2 (en) * 2007-10-25 2013-05-14 The Boeing Company Method and apparatus for composite part data extraction
US20100251114A1 (en) * 2009-03-31 2010-09-30 Hospira, Inc. Digital interface for a medical device
CN104871215B (zh) * 2013-01-18 2018-01-23 鹰图公司 关联点云图像与管线图并且应用有关其的尺寸
JP5897624B2 (ja) * 2014-03-12 2016-03-30 ファナック株式会社 ワークの取出工程をシミュレーションするロボットシミュレーション装置
US9579799B2 (en) 2014-04-30 2017-02-28 Coleman P. Parker Robotic control system using virtual reality input
JP6350037B2 (ja) 2014-06-30 2018-07-04 株式会社安川電機 ロボットシミュレータおよびロボットシミュレータのファイル生成方法
US9746913B2 (en) * 2014-10-31 2017-08-29 The United States Of America As Represented By The Secretary Of The Navy Secured mobile maintenance and operator system including wearable augmented reality interface, voice command interface, and visual recognition systems and related methods
JP6676286B2 (ja) * 2015-05-12 2020-04-08 キヤノン株式会社 情報処理方法、および情報処理装置
EP3342555A4 (en) * 2015-08-25 2019-10-02 Kawasaki Jukogyo Kabushiki Kaisha REMOTE CONTROL MANIPULATOR SYSTEM AND OPERATING METHOD THEREFOR
JP6915543B2 (ja) 2015-10-30 2021-08-04 株式会社安川電機 ロボット教示装置、コンピュータプログラム及びロボット教示方法
JP6114361B1 (ja) * 2015-11-02 2017-04-12 ファナック株式会社 オフラインのロボットプログラミング装置
US10685147B2 (en) * 2016-02-29 2020-06-16 The Boeing Company Non-conformance mapping and visualization
US20180288557A1 (en) * 2017-03-29 2018-10-04 Samsung Electronics Co., Ltd. Use of earcons for roi identification in 360-degree video
JP7091609B2 (ja) * 2017-04-14 2022-06-28 セイコーエプソン株式会社 シミュレーション装置、ロボット制御装置およびロボット
US10417827B2 (en) * 2017-05-04 2019-09-17 Microsoft Technology Licensing, Llc Syndication of direct and indirect interactions in a computer-mediated reality environment
JP7146402B2 (ja) * 2018-01-18 2022-10-04 キヤノン株式会社 情報処理装置、および情報処理方法
JP6857145B2 (ja) * 2018-03-09 2021-04-14 株式会社日立製作所 軌道計画装置、軌道計画方法、及び生産システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0976063A (ja) * 1995-09-16 1997-03-25 Sanshiyuuzen Kogyo Kk 溶接装置
JP2004243516A (ja) * 2003-02-11 2004-09-02 Kuka Roboter Gmbh コンピュータによって生成された情報を現実環境の画像へとフェードインするための方法、およびコンピュータによって生成された情報を現実環境の画像に視覚化するための装置
US20160257000A1 (en) * 2015-03-04 2016-09-08 The Johns Hopkins University Robot control, training and collaboration in an immersive virtual reality environment
JP2017100204A (ja) * 2015-11-30 2017-06-08 株式会社デンソーウェーブ ロボット操作システム
JP2017100206A (ja) * 2015-11-30 2017-06-08 株式会社デンソーウェーブ ロボット安全システム
JP2017100234A (ja) * 2015-12-01 2017-06-08 株式会社デンソーウェーブ ティーチング結果表示システム
US20170372139A1 (en) * 2016-06-27 2017-12-28 Autodesk, Inc. Augmented reality robotic system visualization

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12358140B2 (en) 2019-06-24 2025-07-15 Realtime Robotics, Inc. Motion planning for multiple robots in shared workspace
JP2021094624A (ja) * 2019-12-16 2021-06-24 株式会社デンソーウェーブ ロボットのプログラム作成支援装置
JP7436797B2 (ja) 2019-12-16 2024-02-22 株式会社デンソーウェーブ ロボットのプログラム作成支援装置
JP7364696B2 (ja) 2020-01-20 2023-10-18 ファナック株式会社 ロボットシミュレーション装置
WO2021149563A1 (ja) * 2020-01-20 2021-07-29 ファナック株式会社 ロボットシミュレーション装置
JPWO2021149563A1 (ja) * 2020-01-20 2021-07-29
US12172322B2 (en) 2020-01-20 2024-12-24 Fanuc Corporation Robot simulation device
KR20220128655A (ko) * 2020-01-30 2022-09-21 레이던 컴퍼니 제조 또는 산업 환경에서 협동 로봇과의 상호작용을 위한 가상/증강 현실 사용 시스템 및 방법
KR102770010B1 (ko) * 2020-01-30 2025-02-21 레이던 컴퍼니 제조 또는 산업 환경에서 협동 로봇과의 상호작용을 위한 가상/증강 현실 사용 시스템 및 방법
JP7471428B2 (ja) 2020-01-30 2024-04-19 レイセオン カンパニー 製造又は産業環境における協調ロボットとの相互作用のために仮想／拡張現実を使用するためのシステム、方法及びコンピュータ読み取り可能媒体
JP2023511617A (ja) * 2020-01-30 2023-03-20 レイセオン カンパニー 製造又は産業環境における協調ロボットとの相互作用のために仮想／拡張現実を使用するためのシステム及び方法
US12194639B2 (en) 2020-03-18 2025-01-14 Realtime Robotics, Inc. Digital representations of robot operational environment, useful in motion planning for robots
JP7381718B2 (ja) 2020-03-30 2023-11-15 ファナック株式会社 オフラインシミュレーションシステム
WO2021200470A1 (ja) * 2020-03-30 2021-10-07 ファナック株式会社 オフラインシミュレーションシステム
US12090669B2 (en) 2020-03-30 2024-09-17 Fanuc Corporation Off-line simulation system
JPWO2021200470A1 (ja) * 2020-03-30 2021-10-07
JP7591317B2 (ja) 2020-12-02 2024-11-28 リアルタイム ロボティクス， インコーポレーテッド ロボット動作計画及び制御においてクリアランス決定を使用するシステム、方法、及びユーザーインターフェース
JP2023551681A (ja) * 2020-12-02 2023-12-12 リアルタイム ロボティクス， インコーポレーテッド ロボット動作計画及び制御においてクリアランス決定を使用するシステム、方法、及びユーザーインターフェース
JP2023017441A (ja) * 2021-07-26 2023-02-07 株式会社ダイヘン 画像処理装置
JP7645145B2 (ja) 2021-07-26 2025-03-13 株式会社ダイヘン 教示データ修正装置
JP7663448B2 (ja) 2021-07-26 2025-04-16 株式会社ダイヘン 画像処理装置
WO2025057702A1 (ja) * 2023-09-14 2025-03-20 川崎重工業株式会社 教示支援装置、教示支援方法及び教示支援プログラム
WO2025115859A1 (ja) * 2023-11-28 2025-06-05 京セラ株式会社 情報処理装置、情報処理システム及びプログラム

Also Published As

Publication number Publication date
CN110394780A (zh) 2019-11-01
US11220002B2 (en) 2022-01-11
DE102019002898A1 (de) 2019-11-07
US20190329405A1 (en) 2019-10-31
CN110394780B (zh) 2023-06-27
JP6810093B2 (ja) 2021-01-06
DE102019002898B4 (de) 2022-11-03

Similar Documents

Publication Publication Date Title
JP6810093B2 (ja) ロボットのシミュレーション装置
US11724388B2 (en) Robot controller and display device using augmented reality and mixed reality
JP6863927B2 (ja) ロボットのシミュレーション装置
JP6343353B2 (ja) ロボットの動作プログラム生成方法及びロボットの動作プログラム生成装置
JP6193554B2 (ja) ３次元表示部を備えたロボット教示装置
Pan et al. Augmented reality-based robot teleoperation system using RGB-D imaging and attitude teaching device
US9984178B2 (en) Robot simulator, robot teaching apparatus and robot teaching method
US9311608B2 (en) Teaching system and teaching method
JP5246672B2 (ja) ロボットシステム
JP6723738B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20150151431A1 (en) Robot simulator, robot teaching device, and robot teaching method
JP2019519387A (ja) 拡張現実ロボットシステムの可視化
KR20160002329A (ko) 로봇 시뮬레이터 및 로봇 시뮬레이터의 파일 생성 방법
JP7396872B2 (ja) 拡張現実を用いたシミュレーション装置及びロボットシステム
JP6598191B2 (ja) 画像表示システムおよび画像表示方法
WO2015186508A1 (ja) 作業ロボットの教示データ生成装置及び教示データ生成方法
JP6469159B2 (ja) 接触センサによるワーク位置検出プログラム生成機能を備えたオフラインプログラミング装置及び方法
US20240100688A1 (en) Information processing apparatus, information processing method, robot system, manufacturing method for article using robot system, program, and recording medium
WO2021246416A1 (ja) プログラミング装置
WO2022255206A1 (ja) 情報処理装置、情報処理方法、及び、コンピュータプログラム
JP2023017440A (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190911

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20191217

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201210

R150 Certificate of patent or registration of utility model

Ref document number: 6810093

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150