JP6207764B2 - 作業支援システム、作業支援装置及び作業支援方法 - Google Patents
作業支援システム、作業支援装置及び作業支援方法 Download PDFInfo
- Publication number
- JP6207764B2 JP6207764B2 JP2016561131A JP2016561131A JP6207764B2 JP 6207764 B2 JP6207764 B2 JP 6207764B2 JP 2016561131 A JP2016561131 A JP 2016561131A JP 2016561131 A JP2016561131 A JP 2016561131A JP 6207764 B2 JP6207764 B2 JP 6207764B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- work
- projection
- work support
- support information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 15
- 238000003384 imaging method Methods 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 10
- 238000007689 inspection Methods 0.000 claims description 5
- 238000009434 installation Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011248 coating agent Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/31—From computer integrated manufacturing till monitoring
- G05B2219/31048—Project on workpiece, image of finished workpiece, info or a spot
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Factory Administration (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Automatic Assembly (AREA)
- Image Analysis (AREA)
- Projection Apparatus (AREA)
Description
また、製品に対して組立作業等の作業を行う作業者に対し、モニタに作業内容を表示する装置が知られている(例えば特許文献1参照)。そして、作業者は、モニタに表示された作業内容に沿って組立作業を行い、作業が完了した後に作業完了スイッチを押す。これにより、装置側では、作業内容に沿った組立作業が正常に完了したと判断し、次の作業内容の表示に移行する。
なお、特許文献2には、製品にレーザを照射することで、部品の設置位置を直接示す装置が示されている。しかしながら、特許文献2に開示された装置では、製品の設置位置が固定であることが前提となっているため、作業を行う製品の設置位置がその都度違う場合には対応できない。
実施の形態1.
図1はこの発明の実施の形態1に係る作業支援システムの構成を示す図である。
作業支援システムは、図1に示すように、撮影装置1、投影機(プロジェクタ)2及び作業支援装置3から構成されている。
なお、作業者が行う作業としては、例えば、製品にネジを締付けたりコネクタを挿入したりする組立作業、製品にステッカー等を貼り付ける貼付作業、製品にコーティング剤を塗布する塗布作業、製品に設けられた複数のスイッチのうち指定されたスイッチのみを切替える切替作業や、これらの作業が正しく行われたかを検査する検査作業等が挙げられる。
なお、撮影装置1及び投影機2は汎用品でよい。また、撮影装置1における撮影領域の座標と、投影機2における投影領域の座標は、作業支援装置3にてそれぞれ変換可能に構成されている。また、作業支援装置3にてキャリブレーション値を指定しておくことで、任意に撮影装置1及び投影機2を変更可能である。
位置特定部34は、特徴画像登録部31に登録された情報に基づいて、画像取得部33により取得された撮影画像と特徴画像とを照合して当該製品の検出を行い、当該撮影画像の照合された各箇所の位置関係から、当該撮影画像における当該製品の位置を特定するものである。
投影画像出力部37は、投影画像生成部36により生成された投影画像を投影機2に出力するものである。
なお、特徴画像登録部31では、予め、上記製品毎に3箇所以上の特徴画像を、その位置関係とともに登録している(特徴画像登録ステップ)。この特徴画像としては、製品の全体画像のうち、一意となる形状で、光の反射の少ない画像を用いる。また、特徴画像の大きさは、位置特定部34での照合処理速度を考慮して設定する。
また、位置特定部34では、各特徴画像と撮影画像の照合を行い、各特徴画像の位置関係と、撮影画像上の照合された各箇所の位置関係とから、製品の位置(設置された角度)を特定する。そのため、特徴画像は少なくとも3箇所以上必要である。例えば図4では、製品自体を撮影した全体画像401のうち、四隅の画像402a〜402dを切出して特徴画像としている。
なお図6の例では、コネクタを挿入する箇所を指し示すように矢印を製品に投影した場合を示している。図7の例では、コネクタを挿入する箇所を囲むように丸を製品に投影した場合を示している。図8の例では、複数の作業工程について、作業箇所を囲む丸と、作業工程順を示す数字と、その作業内容を示す文字列を製品に投影した場合を示している。
実施の形態2では、タブレット端末4を用いて、作業者が作業支援情報に従って作業を完了したかを確認するとともに、この確認に応じて次の作業支援情報の投影に移行する構成について示す。
図9はこの発明の実施の形態2に係る作業支援システムの構成を示す図であり、図10はこの発明の実施の形態2に係る作業支援装置3の構成を示す図である。図9に示す実施の形態2に係る作業支援システムは、図1に示す実施の形態1に係る作業支援システムにタブレット端末4を追加したものである。また、図10に示す実施の形態2に係る作業支援装置3は、図2に示す実施の形態1に係る作業支援装置3に表示画像生成部38、表示画像出力部39及び作業完了検出部40を追加したものである。その他の構成は同様であり、同一の符号を付して異なる部分についてのみ説明を行う。
表示画像出力部39は、投影画像出力部37と連動して、表示画像生成部38により生成された表示画像をタブレット端末4に出力するものである。
なお、表示画像生成部38、表示画像出力部39及び作業完了検出部40は、ソフトウェアに基づくCPUを用いたプログラム処理によって実行される。
Claims (8)
- 作業者が製品に対して作業を行う作業領域を撮影する撮影装置、前記作業を支援する作業支援情報が含まれた投影画像を入力して前記作業領域に投影する投影機、前記撮影装置により撮影された撮影画像に基づいて前記投影画像を生成し、当該投影画像を前記投影機に出力する作業支援装置を備えた作業支援システムにおいて、
前記作業支援装置は、
前記製品を認識可能な当該製品のうちの3箇所以上の特徴画像を当該各箇所の位置関係とともに登録する特徴画像登録部と、
前記製品に対する前記作業支援情報の表示位置を登録する支援情報登録部と、
前記撮影装置により撮影された撮影画像を取得する画像取得部と、
前記特徴画像登録部に登録された情報に基づいて、前記画像取得部により取得された撮影画像と前記特徴画像とを照合し、当該撮影画像の照合された各箇所の位置関係から、当該撮影画像における前記製品の位置を特定する位置特定部と、
前記位置特定部により特定された前記製品の位置及び前記支援情報登録部に登録された前記作業支援情報の表示位置から、当該作業支援情報の投影位置を算出する投影位置算出部と、
前記投影位置算出部により算出された投影位置に前記作業支援情報を配置した投影画像を生成する投影画像生成部と、
前記投影画像生成部により生成された投影画像を前記投影機に出力する投影画像出力部とを備えた
ことを特徴とする作業支援システム。 - 前記作業支援情報は複数あり、
前記支援情報登録部は、前記作業支援情報に対応する情報を登録し、
前記作業支援情報に対応する表示画像を入力して表示する、前記作業者が操作するタブレット端末を備え、
前記作業支援装置は、
前記支援情報登録部の登録情報に基づいて、前記表示画像を生成する表示画像生成部と、
前記投影画像出力部と連動して、前記表示画像生成部により生成された表示画像を前記タブレット端末に出力する表示画像出力部と、
前記タブレット端末による前記表示画像の表示後、前記作業者によるタップ操作から当該作業支援情報に対応する作業の完了を検出する作業完了検出部とを備え、
前記投影位置算出部は、前記作業完了検出部により前記作業支援情報に対応する作業の完了が検出された場合に、次の前記作業支援情報の投影位置を算出する
ことを特徴とする請求項1記載の作業支援システム。 - 前記支援情報登録部は、前記作業支援情報に対応する情報として、前記製品の全体画像、及び前記作業支援情報に対応する当該全体画像上の作業箇所を登録し、
前記表示画像生成部は、前記表示画像として、前記製品の全体画像、及び当該全体画像上の作業箇所へのマークを含む画像を生成し、
前記作業完了検出部は、前記作業者によるタップ位置と、前記支援情報登録部に登録された前記全体画像上の作業箇所とを照合することで、該当する前記作業支援情報に対する作業の完了を検出する
ことを特徴とする請求項2記載の作業支援システム。 - 前記位置特定部は、前記撮影画像のうち予め指定された部分と前記特徴画像との照合を行う
ことを特徴とする請求項1記載の作業支援システム。 - 前記投影位置算出部は、作業工程順に前記作業支援情報の投影位置を算出する
ことを特徴とする請求項2記載の作業支援システム。 - 前記作業支援情報は、検査作業を支援する情報であり、
前記投影位置算出部は、作業工程順とは異なる順に前記作業支援情報の投影位置を算出する
ことを特徴とする請求項2記載の作業支援システム。 - 作業者が製品に対して作業を行う作業領域を撮影する撮影装置により撮影された撮影画像に基づいて前記作業を支援する作業支援情報が含まれた投影画像を生成し、前記撮影画像を入力して前記作業領域に投影する投影機に当該投影画像を出力する作業支援装置において、
前記製品を認識可能な当該製品のうちの3箇所以上の特徴画像を当該各箇所の位置関係とともに登録する特徴画像登録部と、
前記製品に対する前記作業支援情報の表示位置を登録する支援情報登録部と、
前記撮影装置により撮影された撮影画像を取得する画像取得部と、
前記特徴画像登録部に登録された情報に基づいて、前記画像取得部により取得された撮影画像と前記特徴画像とを照合し、当該撮影画像の照合された各箇所の位置関係から、当該撮影画像における前記製品の位置を特定する位置特定部と、
前記位置特定部により特定された前記製品の位置及び前記支援情報登録部に登録された前記作業支援情報の表示位置から、当該作業支援情報の投影位置を算出する投影位置算出部と、
前記投影位置算出部により算出された投影位置に前記作業支援情報を配置した投影画像を生成する投影画像生成部と、
前記投影画像生成部により生成された投影画像を前記投影機に出力する投影画像出力部と
を備えたことを特徴とする作業支援装置。 - 作業者が製品に対して作業を行う作業領域を撮影する撮影装置、前記作業を支援する作業支援情報が含まれた投影画像を入力して前記作業領域に投影する投影機、前記撮影装置により撮影された撮影画像に基づいて前記投影画像を生成し、当該投影画像を前記投影機に出力する作業支援装置を備えた作業支援システムの作業支援方法において、
前記作業支援装置は、
特徴画像登録部が、前記製品を認識可能な当該製品のうちの3箇所以上の特徴画像を当該各箇所の位置関係とともに登録する特徴画像登録ステップと、
支援情報登録部が、前記製品に対する前記作業支援情報の表示位置を登録する支援情報登録ステップと、
画像取得部が、前記撮影装置により撮影された撮影画像を取得する画像取得ステップと、
位置特定部が、前記特徴画像登録部に登録された情報に基づいて、前記画像取得部により取得された撮影画像と前記特徴画像とを照合し、当該撮影画像の照合された各箇所の位置関係から、当該撮影画像における前記製品の位置を特定する位置特定ステップと、
投影位置算出部が、前記位置特定部により特定された前記製品の位置及び前記支援情報登録部に登録された前記作業支援情報の表示位置から、当該作業支援情報の投影位置を算出する投影位置算出ステップと、
投影画像生成部が、前記投影位置算出部により算出された投影位置に前記作業支援情報を配置した投影画像を生成する投影画像生成ステップと、
投影画像出力部が、前記投影画像生成部により生成された投影画像を前記投影機に出力する投影画像出力ステップとを有する
ことを特徴とする作業支援方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2014/081196 WO2016084151A1 (ja) | 2014-11-26 | 2014-11-26 | 作業支援システム、作業支援装置及び作業支援方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016084151A1 JPWO2016084151A1 (ja) | 2017-04-27 |
JP6207764B2 true JP6207764B2 (ja) | 2017-10-04 |
Family
ID=56073775
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016561131A Active JP6207764B2 (ja) | 2014-11-26 | 2014-11-26 | 作業支援システム、作業支援装置及び作業支援方法 |
Country Status (5)
Country | Link |
---|---|
EP (1) | EP3226090B1 (ja) |
JP (1) | JP6207764B2 (ja) |
CN (1) | CN107003658B (ja) |
MX (1) | MX366907B (ja) |
WO (1) | WO2016084151A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6831772B2 (ja) * | 2017-12-22 | 2021-02-17 | 株式会社Subaru | 画像投影装置 |
JP7191659B2 (ja) * | 2018-08-22 | 2022-12-19 | 三菱重工業株式会社 | 部材取付支援システム及び部材取付支援方法 |
JP7038642B2 (ja) * | 2018-11-20 | 2022-03-18 | 株式会社日立製作所 | 作業習熟支援装置、及び作業習熟支援システム |
JP7034340B2 (ja) * | 2019-01-29 | 2022-03-11 | 三菱電機エンジニアリング株式会社 | 作業支援システム |
JP7248516B2 (ja) * | 2019-06-20 | 2023-03-29 | 株式会社日立製作所 | 作業支援装置、作業支援方法、および作業支援プログラム |
EP4007269B1 (en) * | 2019-08-28 | 2024-10-02 | Panasonic Intellectual Property Management Co., Ltd. | Projection system and projection method |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4006577B2 (ja) * | 2002-03-13 | 2007-11-14 | オムロン株式会社 | 監視装置 |
JP2004184095A (ja) * | 2002-11-29 | 2004-07-02 | Mitsubishi Heavy Ind Ltd | 検査支援装置 |
US7377650B2 (en) * | 2003-02-03 | 2008-05-27 | Siemens Aktiengesellschaft | Projection of synthetic information |
JP2005322055A (ja) * | 2004-05-10 | 2005-11-17 | Nippon Telegr & Teleph Corp <Ntt> | 作業支援用情報提示装置、作業支援用情報提示方法及び作業支援用情報を提示するためのプログラム |
CN101710486B (zh) * | 2009-11-15 | 2012-03-14 | 苏州佳世达电通有限公司 | 自动对准系统及方法、显示装置测试系统及方法 |
JP5588196B2 (ja) * | 2010-02-25 | 2014-09-10 | キヤノン株式会社 | 認識装置及びその制御方法、コンピュータプログラム |
CN102375316A (zh) * | 2010-08-27 | 2012-03-14 | 鸿富锦精密工业(深圳)有限公司 | 投影仪及其自动对焦方法 |
JP5124671B2 (ja) * | 2011-06-07 | 2013-01-23 | 株式会社小松製作所 | 作業車両の周辺監視装置 |
JP2013250479A (ja) * | 2012-06-01 | 2013-12-12 | Ricoh Co Ltd | 情報表示装置、プログラムおよび情報記録媒体 |
US9644942B2 (en) * | 2012-11-29 | 2017-05-09 | Mitsubishi Hitachi Power Systems, Ltd. | Method and apparatus for laser projection, and machining method |
CN103076014B (zh) * | 2012-12-30 | 2015-10-21 | 湖南农业大学 | 一种作业机械自动导航三标识定位装置及方法 |
-
2014
- 2014-11-26 JP JP2016561131A patent/JP6207764B2/ja active Active
- 2014-11-26 MX MX2017005535A patent/MX366907B/es active IP Right Grant
- 2014-11-26 CN CN201480083559.3A patent/CN107003658B/zh active Active
- 2014-11-26 WO PCT/JP2014/081196 patent/WO2016084151A1/ja active Application Filing
- 2014-11-26 EP EP14906671.4A patent/EP3226090B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP3226090B1 (en) | 2019-10-16 |
CN107003658B (zh) | 2019-04-05 |
MX366907B (es) | 2019-07-30 |
MX2017005535A (es) | 2017-06-20 |
EP3226090A4 (en) | 2018-07-25 |
EP3226090A1 (en) | 2017-10-04 |
JPWO2016084151A1 (ja) | 2017-04-27 |
CN107003658A (zh) | 2017-08-01 |
WO2016084151A1 (ja) | 2016-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6207764B2 (ja) | 作業支援システム、作業支援装置及び作業支援方法 | |
US9535538B2 (en) | System, information processing apparatus, and information processing method | |
JP2007079028A (ja) | 投射型画像表示装置およびマルチプロジェクションシステム | |
JP6340958B2 (ja) | プロジェクタ装置、インタラクティブシステム、およびインタラクティブ制御方法 | |
US7377650B2 (en) | Projection of synthetic information | |
KR20130020337A (ko) | 사용자 인터랙션 장치 및 방법 | |
JP5598033B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US20170118451A1 (en) | Information processing apparatus, image projection system, and computer program product | |
JP6079695B2 (ja) | 画像表示撮影システム、撮影装置、表示装置、画像の表示および撮影の方法、およびコンピュータープログラム | |
JP2019215811A (ja) | 投影システム、画像処理装置および投影方法 | |
JP2017068849A (ja) | 物品の組立て状況情報表示装置 | |
JP2006189712A (ja) | 情報提示装置、情報提示方法及びプログラム | |
JP6567225B2 (ja) | 撮影補助装置および撮影補助方法 | |
CN106095178A (zh) | 输入设备识别方法和系统、输入指令识别方法和系统 | |
JP6198990B2 (ja) | 作業指示システム | |
JP5276577B2 (ja) | 前面投影型の電子黒板システム及びキャリブレーション開始方法 | |
JP2014092715A (ja) | 電子機器、情報処理方法及びプログラム | |
JP6357843B2 (ja) | アプリケーション検査システム、アプリケーション検査装置及びアプリケーション検査プログラム | |
JP6459613B2 (ja) | プリント配線板作業支援方法及びプリント配線板作業支援システム | |
JP2013254324A5 (ja) | ||
JP2017009762A (ja) | 投影装置、投影装置の制御方法 | |
JP6617061B2 (ja) | 作業支援プログラム、作業支援方法、情報処理装置、及び作業支援システム | |
JP2016092325A (ja) | 組立作業支援システム、組立作業支援方法、及び組立作業支援プログラム | |
JP2010117465A (ja) | 情報処理装置、情報処理システム及びプログラム | |
JP2007206618A (ja) | 情報呈示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161012 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170808 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170905 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6207764 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |