[go: up one dir, main page]

JP6367102B2 - 監視システム - Google Patents

監視システム Download PDF

Info

Publication number
JP6367102B2
JP6367102B2 JP2014249003A JP2014249003A JP6367102B2 JP 6367102 B2 JP6367102 B2 JP 6367102B2 JP 2014249003 A JP2014249003 A JP 2014249003A JP 2014249003 A JP2014249003 A JP 2014249003A JP 6367102 B2 JP6367102 B2 JP 6367102B2
Authority
JP
Japan
Prior art keywords
image
privacy
camera
display
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014249003A
Other languages
English (en)
Other versions
JP2016111603A (ja
Inventor
山▲崎▼ 健太郎
健太郎 山▲崎▼
剛 田頭
剛 田頭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keyence Corp
Original Assignee
Keyence Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Keyence Corp filed Critical Keyence Corp
Priority to JP2014249003A priority Critical patent/JP6367102B2/ja
Priority to US14/942,019 priority patent/US9973701B2/en
Publication of JP2016111603A publication Critical patent/JP2016111603A/ja
Application granted granted Critical
Publication of JP6367102B2 publication Critical patent/JP6367102B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06Safety devices
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01VGEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00Prospecting or detecting by optical means
    • G01V8/10Detecting, e.g. by using light barriers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01VGEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00Prospecting or detecting by optical means
    • G01V8/10Detecting, e.g. by using light barriers
    • G01V8/20Detecting, e.g. by using light barriers using multiple transmitters or receivers
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geophysics (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Electromagnetism (AREA)
  • Image Processing (AREA)

Description

本発明は、監視システムに係り、さらに詳しくは、監視エリア内の侵入物を検知し、外部機器の動作を停止させるための停止信号を生成する監視システムに関する。
エリア監視センサは、監視エリア内に侵入した侵入物、例えば、人を光学的に検知し、工作機械などの外部機器の動作を停止させるための停止信号を生成する安全装置である(例えば、特許文献1及び2)。例えば、エリア監視センサは、検出光を生成する投光部と、回転軸を中心として検出光を周方向に走査させる走査部と、対象物によって反射された検出光を受光し、検出信号を生成する受光部とを備える。侵入物の検知は、検出信号に基づいて対象物までの距離を求め、対象物までの距離と検出光の走査角とから対象物の2次元位置を特定することによって行われる。
監視エリアを指定するエリア設定情報やエリア監視のための動作条件を指定する動作設定情報は、パーソナルコンピュータなどの端末装置を用いて作成される。端末装置は、ユーザ操作に基づいて、エリア設定情報及び動作設定情報からなる設定データを生成し、エリア監視センサへ送信する。エリア監視センサは、端末装置から受信した設定データに基づいて、侵入検知を行う。
特開2009−296087号公報 特開2009−294734号公報
上述した様な監視システムにおいて、監視エリア内の侵入物を検知して停止信号を生成するセンサ本体に監視エリアを撮影するカメラを設け、センサ本体が監視エリアに対して適切に設置されているか否かを確認するのに用いることが考えられる。しかしながら、この種の安全装置は、多数の作業者がいる工場などの建屋内に設置されることが少なくない。このため、作業者がカメラの画角内に入り易く、作業者が被写体として撮影画像に映り込んでしまうという問題がある。この様な撮影画像を表示した場合、作業者個人を特定することができてしまう虞がある。
本発明は、上記事情に鑑みてなされたものであり、センサ本体の設置状況を容易に確認することができるとともに、作業者が映り込んだカメラ画像を表示する場合であっても、作業者個人が特定されるのを抑制することができる監視システムを提供することを目的とする。
また、本発明は、作業者個人が特定されるのを抑制しつつ、設置状況の確認を容易化することができる監視システムを提供することを目的とする。
第1の本発明による監視システムは、監視エリア内の侵入物を検知し、外部機器の動作を停止させるための停止信号を生成する侵入検知手段と、上記監視エリアを撮影するカメラと、上記カメラにより撮影されたカメラ画像に基づいて、表示用の詳細確認画像を生成する詳細確認画像生成手段と、上記カメラ画像に基づいて、上記詳細確認画像よりも画質を低下させたプライバシー画像を生成するプライバシー画像生成手段と、上記詳細確認画像及び上記プライバシー画像のいずれか一方を表示画像として選択する表示画像選択手段と、上記表示画像選択手段により選択された表示画像を表示する画像表示手段とを備えて構成される。
この様な構成によれば、詳細確認画像を表示画像として選択することにより、センサ本体が監視エリアに対して適切に設置されているか否かといった設置状況を容易に確認することができる。また、詳細確認画像よりも画質を低下させたプライバシー画像を表示画像として選択することにより、作業者が被写体としてカメラ画像に映り込んでいたとしても、作業者個人が特定されるのを抑制することができる。
第2の本発明による監視システムは、上記構成に加え、検出光を生成する投光手段と、対象物によって反射された上記検出光を受光し、検出信号を生成する受光手段と、回転軸を中心として、上記回転軸と交差するスキャン面に沿って上記検出光を周方向に走査させる走査手段と、上記検出信号に基づいて、対象物までの距離を求める測距手段とを備え、上記侵入検知手段が、上記対象物までの距離及び上記検出光の走査角に基づいて、上記監視エリア内の侵入物を検知し、上記カメラが、上記スキャン面よりも上記回転軸方向の上側に配置され、上記プライバシー画像生成手段が、上記対象物までの距離及び上記検出光の走査角に基づいて、上記スキャン面における対象物の位置からなる境界線を特定し、上記プライバシー画像における上記境界線を含む帯状の領域を重点監視領域として、上記重点監視領域の画質を上記詳細確認画像と一致させるように構成される。
この様な構成によれば、検出光のスキャン面とカメラの撮影方向との間に回転軸方向の視差が生じるので、スキャン面を俯瞰するカメラ画像を得ることができる。このため、詳細確認画像又はプライバシー画像を表示した際に、スキャン面上の境界線について遠近感を得易くすることができる。また、プライバシー画像にスキャン面上の境界線を含む帯状の重点監視領域を形成し、重点監視領域の画質を詳細確認画像と一致させるので、作業者個人が特定されるのを抑制しつつ、設置状況の確認を容易化することができる。
第3の本発明による監視システムは、上記構成に加え、上記監視エリア内の侵入物が検知された際に撮影された上記カメラ画像を侵入物の位置を示す位置情報とともに検知履歴として記憶する検知履歴記憶手段を備え、上記プライバシー画像生成手段が、上記検知履歴として記憶されたカメラ画像に基づいて、上記プライバシー画像を生成し、上記画像表示手段が、上記検知履歴として記憶された位置情報に基づいて、侵入物の位置を上記プライバシー画像上に表示するように構成される。
この様な構成によれば、検知履歴として記憶されたカメラ画像から得られるプライバシー画像には、侵入物の位置が表示されるので、監視エリア内に侵入した侵入物を容易に確認することができる。このため、停止信号が生成された原因を詳細に知ることができる。また、その様なプライバシー画像は詳細確認画像よりも画質が低いので、プライバシー画像の表示によって作業者個人が特定されるのを抑制することができる。
第4の本発明による監視システムは、上記構成に加え、上記画像表示手段が、上記侵入検知手段、上記カメラ及び上記検知履歴記憶手段を有するセンサ本体とは別個に設けられ、2以上の上記センサ本体に共通の表示装置からなるように構成される。この様な構成によれば、複数のセンサ本体によって撮影されたカメラ画像からなる検知履歴を画像表示手段とともにまとめて保持する場合に比べて、画像表示手段側の記憶容量が増大するのを抑制することができる。
第5の本発明による監視システムは、上記構成に加え、上記プライバシー画像生成手段が、共通のカメラ画像に基づいて、画質が互いに異なる2以上の上記プライバシー画像を生成し、上記表示画像選択手段が、ユーザ操作に基づいて、上記プライバシー画像のいずれか一つを表示画像として選択するように構成される。この様な構成によれば、プライバシー画像の画質を必要に応じて切り替えることができる。
第6の本発明による監視システムは、上記構成に加え、ユーザが指定した認証情報を受け付ける操作入力手段と、上記認証情報を管理者により予め指定された登録情報と照合し、ユーザ認証を行うユーザ認証手段とを備え、上記表示画像選択手段が、ユーザ認証に成功した場合に、ユーザ操作に基づいて、上記詳細確認画像又は上記プライバシー画像のいずれかを表示画像として選択し、ユーザ認証に失敗した場合に、上記プライバシー画像を表示画像として選択するように構成される。
この様な構成によれば、詳細確認画像の閲覧がユーザ認証に成功したユーザに制限されるので、詳細確認画像の表示によって作業者の行動が多くのユーザに知られるのを抑制することができる。
本発明による監視システムでは、センサ本体の設置状況を容易に確認することができるとともに、作業者が映り込んだカメラ画像を表示する場合であっても、作業者個人が特定されるのを抑制することができる。また、プライバシー画像にスキャン面上の境界線を含む帯状の重点監視領域を形成し、重点監視領域の画質を詳細確認画像と一致させるので、作業者個人が特定されるのを抑制しつつ、設置状況の確認を容易化することができる。
本発明の実施の形態による監視システム1の一構成例を示したシステム図である。 図1のエリア監視センサ10が設置された生産システムの一構成例を示した斜視図である。 図1のエリア監視センサ10の構成例を示した図である。 図3のエリア監視センサ10の動作の一例を示した図であり、画像表示部111に表示される運転画面31、モニター画面32及び設定画面33が示されている。 図3のエリア監視センサ10の動作の一例を模式的に示した説明図であり、撮影方向5及び走査範囲6と対象物Bとの位置関係が示されている。 図3のエリア監視センサ10の動作の一例を示した図であり、モニター画面32に表示される詳細確認画像41が示されている。 図3のエリア監視センサ10の動作の一例を示した図であり、モニター画面32に表示されるプライバシー画像42が示されている。 図3のエリア監視センサ10の動作の一例を示した図であり、プライバシー画像42の他の例が示されている。 図3のセンサ本体120内の機能構成の一例を示したブロック図である。
まず、本発明が前提とする監視システムの概略構成について、図1〜図4を用いて以下に説明する。
<監視システム1>
図1は、本発明の実施の形態による監視システム1の一構成例を示したシステム図である。この監視システム1は、監視エリア内の侵入物を光学的に検知し、外部機器の動作を停止させるための停止信号を生成するエリア監視センサ10と、監視エリアや走査条件などを設定するためのPC(パーソナルコンピュータ)20とにより構成される。
エリア監視センサ10は、光走査型のセーフティセンサであり、インターフェース部110及びセンサ本体120により構成される。インターフェース部110は、ユーザ操作を受け付け、動作状態などを表示する入出力ユニットである。センサ本体120は、検出光を投光し、対象物によって反射された検出光を受光して対象物までの距離を求める計測ユニットである。
PC20は、画面表示部21、キーボード22及びマウス23を備えた端末装置であり、監視エリアをエリア監視センサ10に設定するためのアプリケーションプログラムがインストールされている。エリア監視センサ10とPC20とは、通信ケーブル2を介して接続される。
<生産システム>
図2は、図1のエリア監視センサ10が設置された生産システムの一構成例を示した斜視図である。この生産システムは、防護柵A2で仕切られた領域内に搬送装置や作業ロボットA1が配置され、作業ロボットA1の作業エリアなど、機械設備周辺のエリアが監視エリア3として設定され、監視エリア3内の侵入物がエリア監視センサ10によって検知される。
エリア監視センサ10は、検出光を走査させることによって監視エリア3を監視し、機械設備の制御盤を操作するオペレータA3などの侵入物を検知して、外部機器の動作を停止させるための停止信号を生成する。監視エリア3は、エリア監視センサ10が設置される設置面内の領域、例えば、水平な床面内の領域により構成される。侵入物の検知は、対象物によって反射された検出光を受光して対象物までの距離を求め、対象物までの距離と検出光の走査角とから対象物の2次元位置を特定することによって行われる。
停止信号は、監視エリア3の周辺で稼働する作業ロボットA1を停止させる制御信号として用いられる。例えば、エリア監視センサ10は、OSSD(Output Signal Switching Device)を有し、監視エリア3内に侵入物が存在していない状態では、OSSDがオン状態になり、動作許可信号が出力される。一方、監視エリア3内に侵入物が存在している状態では、OSSDがオフ状態になり、動作不許可信号が停止信号として出力される。
<エリア監視センサ10>
図3は、図1のエリア監視センサ10の構成例を示した図であり、インターフェース部110をセンサ本体120から分離させることができる分離型のセーフティセンサが示されている。図中の(a)には、エリア監視センサ10を前方から見た場合が示され、(b)には、インターフェース部110が示されている。
このエリア監視センサ10は、各種情報を表示し、ユーザ操作を受け付けるインターフェース部110と、検出光を生成し、水平なスキャン面4に沿って検出光を走査させるセンサ本体120とにより構成される。インターフェース部110は、センサ本体120の上面に配置されている。
検出光には、例えば、波長が赤外領域のレーザー光が用いられる。検出光は、一定周期で繰返し走査される。センサ本体120には、監視エリア3を撮影するためのカメラ121及び122と、動作状態を表示するためのインジケータ123及び124とが配設されている。また、センサ本体120のスキャナ部125には、走査用のミラーを保護するための保護カバー126が取り付けられている。検出光は、上記ミラーの回転軸を中心として周方向に走査される。スキャン面4は、上記回転軸と直交する。
カメラ121及び122と、インジケータ123及び124とは、スキャナ部125よりも上側に配置されている。つまり、カメラ121及び122は、スキャン面4よりも上記回転軸方向の上側に配置される。この様に構成することにより、スキャン面4とカメラ121及び122の撮影方向との間に回転軸方向の視差が生じるので、スキャン面4を俯瞰するカメラ画像を得ることができる。
カメラ121及び122は、いずれも水平方向に向けて配置され、互いに向きを異ならせた撮像装置であり、水平面内においてインジケータ123及び124を挟んでセンサ本体120の左側及び右側にそれぞれ配置されている。ここでは、カメラ121を左側カメラと呼び、カメラ122を右側カメラと呼ぶ。インジケータ123は、侵入物の検出の有無を表示する表示灯である。例えば、インジケータ123には、OSSDの出力状態などが表示される。インジケータ124は、エラー状態を表示する表示灯である。
インターフェース部110には、画像表示部111、ケーブル接続口112、操作入力部113及びインジケータ部114が配設されている。画像表示部111は、侵入物の検知結果、監視状況、カメラ121又は122により撮影されたカメラ画像、入力情報などを画面表示する表示装置である。例えば、画像表示部111には、LCD(液晶ディスプレイ)が用いられる。
ケーブル接続口112は、PC20又は外部機器に接続し、通信を行うための入出力端子部であり、通信ケーブルが着脱可能に接続される。操作入力部113は、監視エリア3を設定する際の数値入力、メニュー項目の選択、動作モードの切替、カメラ画像の切替などに用いる2以上の操作ボタンにより構成される。インジケータ部114は、動作状態を表示するための2以上の表示灯により構成され、OSSDの出力状態などが表示される。
インターフェース部110は、センサ本体120と通信を行い、センサ本体120から離間した位置にあっても、監視エリア3を設定し、或いは、侵入物の検知結果や監視状況を確認することができる。また、インターフェース部110には、2以上のセンサ本体120を接続することができ、これらのセンサ本体120に監視エリア3を設定し、或いは、これらのセンサ本体120からカメラ画像を取得して表示することができる。つまり、インターフェース部110は、2以上のセンサ本体120に共通の表示装置である。
図4は、図3のエリア監視センサ10の動作の一例を示した図であり、画像表示部111に表示される運転画面31、モニター画面32及び設定画面33が示されている。このエリア監視センサ10は、ユーザ操作に基づいて、運転モード、モニターモード及び設定モード間で動作モードを切り替える。
運転モードは、監視エリア3内の侵入物を検知して停止信号を出力する動作モードであり、運転画面31が画像表示部111に表示される。この運転画面31には、運転中であることを示すメッセージが表示されている。
モニターモードは、入出力状態、エリア監視状況及び検知履歴を表示する動作モードであり、モニター画面32が画像表示部111に表示される。このモニター画面32には、入出力状態、エリア監視状況又は検知履歴のいずれかを選択するためのメニュー項目が表示されている。
メニュー項目「1.入出力状態」を選択すれば、OSSDの出力状態、EDM(外部機器モニタリング)の入力状態などをモニターすることができる。メニュー項目「2.エリア監視状況」を選択すれば、監視エリアの形状、サイズ、対象物までの距離、検出光の走査範囲などをモニターすることができる。メニュー項目「3.検知履歴」を選択すれば、OSSDがオフ状態に移行する際に取得されたカメラ画像、侵入物の位置、検知時刻などを検知履歴として表示することができる。
設定モードは、監視エリア3を指定するためのパラメータや外部入力の設定を行う動作モードであり、設定画面33が画像表示部111に表示される。この設定画面33には、パラメータ設定、外部入力設定又はその他の設定のいずれかを選択するためのメニュー項目が表示されている。
メニュー項目「1.パラメータ設定」を選択すれば、監視エリア3を指定するための入力画面を表示することができる。メニュー項目「2.外部入力設定」を選択すれば、EDM用の入力画面を表示することができる。メニュー項目「3.その他の設定」を選択すれば、分解能や応答時間を設定することができる。
次に、本発明による監視システムの特徴部分の構成について、図5〜図9を用いて以下に説明する。
<監視エリア3>
図5は、図3のエリア監視センサ10の動作の一例を模式的に示した説明図であり、カメラ122の撮影方向5及び検出光の走査範囲6と対象物Bとの位置関係が示されている。エリア監視センサ10は、水平な床面などに設置される。監視エリア3は、水平面上に座標軸を定めることによって指定される。
例えば、エリア監視センサ10を中心とし、エリア監視センサ10の前後方向をY軸、Y軸と直交する左右方向をX軸とする直交座標が定められ、監視エリア3は、座標軸ごとの座標成分を用いて指定される。この例では、エリア監視センサ10を頂点の一つとする五角形状の領域が監視エリア3として指定されている。
検出光は、エリア監視センサ10を中心とする径方向の外側に向けて出射され、水平面に沿って周方向に走査される。エリア監視センサ10では、180°を超える走査範囲6を監視することができる。
対象物Bは、機械設備や建屋の壁である。対象物Bによって反射された検出光を受光することにより、エリア監視センサ10から対象物Bまでの距離が求められる。例えば、対象物Bまでの距離は、検出光のTOF(Time Of Flight:飛行時間)を計測することによって求められる。
カメラ122は、エリア監視センサ10の上方から見て、Y軸よりも右側の領域に撮影方向5が向けられている。カメラ122により撮影されたカメラ画像を画像表示部111に表示することにより、監視エリア3と対象物Bとの位置関係を確認することができる。なお、カメラ121は、エリア監視センサ10の上方から見て、Y軸よりも左側の領域に撮影方向5が向けられている。
<詳細確認画像41>
図6は、図3のエリア監視センサ10の動作の一例を示した図であり、モニター画面32に表示される詳細確認画像41が示されている。この図には、カメラ122により撮影されたカメラ画像から得られる詳細確認画像41が示されている。
詳細確認画像41は、カメラ121又は122により撮影されたカメラ画像を縮小することによって得られる表示用画像である。この詳細確認画像41には、スキャン面4における対象物Bの位置を示す測距線7と、監視エリア3を示す枠線8とが重畳されている。
測距線7は、スキャン面4の境界線を示す図形である。この測距線7は、対象物Bまでの距離と検出光の走査角とに基づいて、対象物Bの3次元空間内における位置を特定し、その3次元位置とカメラ121又は122の画角との位置関係に基づいて、対象物Bの詳細確認画像41における2次元位置を特定することにより、表示される。
例えば、測距線7は、多数のドットにより構成され、対象物Bまでの距離に応じて、ドットの大きさ及び配列ピッチが異なる。この例では、距離が遠いほど、ドットを小さくし、かつ、配列ピッチを拡げている。この様に構成することにより、詳細確認画像41を表示した際に、スキャン面4上の測距線7について遠近感を得易くすることができる。
なお、測距線7を構成するドットにより検知位置を正確に表示することができる。この場合、検知の走査角が周期ごとに変化しないように構成することにより、ドットの配列ピッチを固定することができる。また、測距線7を多数のドットに代えて実線により表示するような構成であっても良い。或いは、実線とドットとを組み合わせて測距線7を表示しても良い。
枠線8は、スキャン面4における監視エリア3の位置を示す図形である。枠線8は、監視エリア3の3次元空間内における位置を特定し、その3次元位置とカメラ121又は122の画角との位置関係に基づいて、監視エリア3の詳細確認画像41における2次元位置を特定することにより、表示される。
この様な枠線8を測距線7とともに詳細確認画像41上に表示することにより、監視エリア3と測距線7との位置関係を確認することができるので、所望のエリアが監視エリア3として適切に設定されているか否かを容易に識別することができる。
エリア監視センサ10は、多数の作業者Cがいる工場などの建屋内に設置される。このため、作業者Cがカメラ121又は122の画角内に入り易く、作業者Cが被写体としてカメラ画像に映り込んでしまう場合がある。図示した詳細確認画像41には、監視エリア3付近にいる作業者Cが映り込んでいる。この様な撮影画像を表示した場合、作業者個人を特定することができてしまう虞がある。
そこで、本実施の形態によるエリア監視装置1では、カメラ121又は122により撮影されたカメラ画像に基づいて、詳細確認画像41よりも画質を低下させたプライバシー画像を生成し、プライバシー画像を表示画像として選択することにより、作業者個人が特定されるのを抑制することができる。
<プライバシー画像42>
図7は、図3のエリア監視センサ10の動作の一例を示した図であり、モニター画面32に表示されるプライバシー画像42が示されている。この図には、カメラ122により撮影されたカメラ画像から得られるプライバシー画像42が示されている。
プライバシー画像42は、作業者個人を識別し難くした表示用画像であり、カメラ121又は122により撮影されたカメラ画像に基づいて、生成される。例えば、プライバシー画像42は、カメラ121又は122により撮影されたカメラ画像に対するフィルタ処理、或いは、詳細確認画像41に対するフィルタ処理によって作製される。
プライバシー画像42を得るためのフィルタ処理には、各種の画像フィルタを採用することができる。例えば、画像領域を多数の処理ブロックに分割し、処理ブロック内の各画素について、画素値を代表値に置き換えることにより、物理的解像度を低下させて画像をぼかすモザイク処理がカメラ画像に対して行われる。
処理ブロックの形状やサイズと、処理ブロックの配置態様は、任意に指定することができる。代表値は、処理ブロックを代表する画素値であり、処理ブロック内の画素に関する画素値の平均値、中央値又は最頻値により定められる。この例では、その様なモザイク処理が画像領域の全体に施されている。
詳細確認画像41を表示画像として選択することにより、センサ本体120が監視エリア3に対して適切に設置されているか否かといった設置状況を容易に確認することができる。一方、詳細確認画像41よりも画質を低下させたプライバシー画像42を表示画像として選択することにより、作業者Cが被写体としてカメラ画像に映り込んでいたとしても、作業者個人が特定されるのを抑制することができる。
なお、プライバシー画像42を得るためのフィルタ処理には、上述したモザイク処理の他に、ピクセルデータの階調数を下げる圧縮処理、例えば、二値化処理を用いても良い。また、カメラ画像に対し、輝度変化に基づいてエッジ抽出を行い、特徴点を解析することによって作業者Cの顔を検知し、顔部分又は作業者全体をマスクするような画像処理によって、プライバシー画像42を得るような構成であっても良い。また、カメラ画像からエッジを抽出し、エッジを示す輪郭線からなる線画によってプライバシー画像42を構成しても良い。
図8は、図3のエリア監視センサ10の動作の一例を示した図であり、プライバシー画像42の他の例が示されている。このプライバシー画像42では、スキャン面4上の対象物の位置を示す測距線7を含む帯状の領域が重点監視領域43として指定され、重点監視領域43の画質を詳細確認画像41と一致させている。つまり、このプライバシー画像42では、重点監視領域43について、その画質が重点監視領域43以外の領域に比べて高くなっている。
例えば、重点監視領域43は、測距線7に沿って概ね等幅で延びる領域であり、作業者Cがいない状態で撮影されたカメラ画像に基づいて定められる。この例では、測距線7から上方に一定距離だけ離間した境界線と、測距線7から下方に一定距離だけ離間した境界線とで挟まれた領域によって重点監視領域43が形成されている。
この様に構成することにより、作業者個人がプライバシー画像42の表示によって特定されるのを抑制しつつ、設置状況の確認を容易化することができる。なお、重点監視領域43は、上下方向の幅が測距線7の変動幅をカバーする矩形領域であっても良い。また、重点監視領域43以外の領域をマスクすることによって、プライバシー画像42を構成しても良い。
<センサ本体120>
図9は、図3のセンサ本体120内の機能構成の一例を示したブロック図である。このセンサ本体120は、投光制御部131、投光部132、走査部133、ロータリーエンコーダ134、受光部141、測距部142、侵入検知部143、設定データ記憶部144、カメラ画像記憶部151、画像縮小部152、プライバシー画像生成部153、表示画像選択部154、検知履歴生成部155、検知履歴記憶部156及びユーザ認証部157により構成される。
投光部132は、検出光を生成し、走査部133に向けて出射する光源装置である。走査部133は、回転軸を中心として、回転軸と交差するスキャン面4に沿って検出光を周方向に走査させるスキャナであり、投光部132から入射される検出光を対象物Bに向けて反射するミラー(図示せず)により構成される。
受光部141は、対象物Bによって反射された検出光を受光し、検出信号を生成する。ロータリーエンコーダ134は、走査部133のミラーの回転角を検出し、回転パルス信号を生成する回転検出装置である。投光制御部131は、ロータリーエンコーダ134の回転パルス信号に基づいて、投光部132を制御し、検出光の投光タイミングを調整する。例えば、ミラーが360°/1000だけ回転するごとに、検出光が出射される。
測距部142は、受光部141からの検出信号に基づいて、対象物Bまでの距離を求める距離算出部である。具体的には、検出信号をロータリーエンコーダ134の回転パルス信号と比較し、検出光を投光したときから受光されるまでの遅延時間を特定することにより、対象物Bまでの距離が算出される。投受光の遅延時間は、検出光が出射されるごとに計測される。
侵入検知部143は、対象物Bまでの距離及び検出光の走査角に基づいて、監視エリア3内の侵入物を検知し、外部機器の動作を停止させるための停止信号を生成する。検出光の走査角は、ロータリーエンコーダ134の回転パルス信号に基づいて、特定される。また、対象物Bが監視エリア3内に存在するか否かは、対象物Bまでの距離と検出光の走査角とから対象物Bの2次元位置を特定することによって判別される。停止信号は、センサ本体120から直接に出力され、或いは、インターフェース部110を介して出力される。
設定データ記憶部144には、監視エリア3の2次元位置を示す位置情報が設定データとして保持される。カメラ121及び122は、監視エリア3を撮影し、静止画像又は動画像からなるカメラ画像を生成する。
カメラ画像記憶部151は、カメラ121及び122により生成されたカメラ画像を順次に記憶するとともに、撮影時刻の古いカメラ画像が定期的に消去される記憶装置である。例えば、カメラ画像記憶部151は、リングバッファにより構成され、記憶領域がカメラ画像で満たされれば、撮影時刻が古いカメラ画像から順に新たに撮影されたカメラ画像によって上書きされる。
検知履歴生成部155は、監視エリア3内の侵入物が検知された際に撮影されたカメラ画像をカメラ画像記憶部151から読み出し、当該カメラ画像と、侵入検知部143による検知情報と、測距部142からの距離情報とに基づいて、検知履歴を生成する。検知履歴記憶部156には、監視エリア3内の侵入物が検知された時刻を挟んで撮影された一定の時間長の動画像からなるカメラ画像と、侵入物の位置を示す位置情報とが検知履歴として記憶される。
画像縮小部152は、カメラ画像記憶部151又は検知履歴記憶部156から読み出したカメラ画像を縮小することにより、詳細確認画像41を生成する詳細確認画像生成部である。プライバシー画像生成部153は、カメラ画像記憶部151又は検知履歴記憶部156から読み出したカメラ画像に基づいて、詳細確認画像41よりも画質を低下させたプライバシー画像42を生成する。
表示画像選択部154は、詳細確認画像41及びプライバシー画像42のいずれか一方を表示画像として選択する。画像表示部111又はPC20には、表示画像選択部154により選択された表示画像が表示される。
詳細確認画像41及びプライバシー画像42には、スキャン面3における対象物Bの位置を示す測距線7と、監視エリア3を示す枠線8とが表示される。また、詳細確認画像41及びプライバシー画像42の表示倍率又は縮尺は、カメラ画像を縮小して表示画像を作製する際の縮小率を調整することにより、変更することができる。
検知履歴として記憶されたカメラ画像から得られる詳細確認画像41及びプライバシー画像42には、侵入物の位置が図形又はシンボルによって表示される。例えば、侵入物の位置が測距線7によって表示される。この様に構成することにより、監視エリア3内に侵入した侵入物を表示画像によって容易に確認することができる。このため、停止信号が生成された原因を詳細に知ることができる。また、その様なプライバシー画像42は詳細確認画像41よりも画質が低いので、プライバシー画像42の表示によって作業者個人が特定されるのを抑制することができる。
プライバシー画像生成部153は、共通のカメラ画像に基づいて、画質が互いに異なる2以上のプライバシー画像42を生成する。表示画像選択部154は、ユーザ操作に基づいて、プライバシー画像42のいずれか一つを表示画像として選択する。この様に構成することにより、プライバシー画像42の画質を必要に応じて切り替えることができる。
操作入力部113は、ユーザが指定した認証情報を受け付ける。例えば、複数の文字からなるパスワードが認証情報として入力される。ユーザ認証部157は、その様な認証情報が操作入力部113により受け付けられれば、認証情報を管理者により予め指定された登録情報と照合し、ユーザ認証を行う。
表示画像選択部154は、ユーザ認証に成功した場合に、ユーザ操作に基づいて、詳細確認画像41又はプライバシー画像42のいずれかを表示画像として選択する。一方、表示画像選択部154は、ユーザ認証に失敗した場合に、プライバシー画像42を表示画像として選択する。つまり、ユーザ認証に成功したユーザだけが、詳細確認画像41及びプライバシー画像42の両方を閲覧することができ、ユーザ認証に失敗したユーザは、プライバシー画像42しか閲覧することができない。
この様に構成することにより、詳細確認画像41の閲覧がユーザ認証に成功したユーザに制限されるので、詳細確認画像41の表示によって作業者Cの行動が多くのユーザに知られるのを抑制することができる。
本実施の形態によれば、センサ本体120の設置状況を容易に確認することができるとともに、作業者Cが映り込んだカメラ画像を表示する場合であっても、作業者個人が特定されるのを抑制することができる。また、プライバシー画像42にスキャン面4上の境界線を含む帯状の重点監視領域43を形成し、重点監視領域43の画質を詳細確認画像41と一致させるので、作業者個人が特定されるのを抑制しつつ、設置状況の確認を容易化することができる。
なお、本実施の形態では、侵入物が検知された時刻を挟んで撮影された一定の時間長の動画像からなるカメラ画像が検知履歴として記憶される場合の例について説明したが、本発明は、検知履歴として記憶するカメラ画像をこれに限定するものではない。例えば、侵入物が検知された直後に撮影されたカメラ画像、又は、侵入物が検知される直前に撮影されたカメラ画像を含む1又は2以上の静止画像からなるカメラ画像を検知履歴として記憶するような構成であっても良い。
また、本実施の形態では、侵入検知部143、設定データ記憶部144、画像縮小部152、プライバシー画像生成部153、表示画像選択部154及びユーザ認証部157がセンサ本体120に設けられる場合の例について説明したが、本発明は、センサ本体120やインターフェース部110の構成をこれに限定するものではない。例えば、インターフェース部110又はPC20が、侵入検知部143、設定データ記憶部144、画像縮小部152、プライバシー画像生成部153、表示画像選択部154又はユーザ認証部157の機能を有するような構成であっても良い。
また、本実施の形態では、エリア監視センサ10が光走査型のセーフティセンサである場合の例について説明したが、本発明は、エリア監視センサ10の構成をこれに限定するものではない。例えば、複数の発光素子が直線状に配置された投光器と、複数の受光素子が直線状に配置された受光器とを備え、投光器及び受光器を互いに対向させて配置し、投光器及び受光器によって挟まれた領域を監視するエリア監視センサにも本発明は適用することができる。
1 監視システム
10 エリア監視センサ
110 インターフェース部
111 画像表示部
112 ケーブル接続口
113 操作入力部
114 インジケータ部
120 センサ本体
121,122 カメラ
123,124 インジケータ
125 スキャナ部
126 保護カバー
20 PC
31 運転画面
32 モニター画面
33 設定画面
41 詳細確認画像
42 プライバシー画像
43 重点監視領域
131 投光制御部
132 投光部
133 走査部
134 ロータリーエンコーダ
141 受光部
142 測距部
143 侵入検知部
144 設定データ記憶部
151 カメラ画像記憶部
152 画像縮小部
153 プライバシー画像生成部
154 表示画像選択部
155 検知履歴生成部
156 検知履歴記憶部
157 ユーザ認証部
2 通信ケーブル
3 監視エリア
4 スキャン面
5 撮影方向
6 走査範囲
7 測距線
8 枠線
A1 作業ロボット
A2 防護柵
A3 オペレータ
B 対象物
C 作業者

Claims (6)

  1. 監視エリア内の侵入物を検知し、外部機器の動作を停止させるための停止信号を生成する侵入検知手段と、
    上記監視エリアを撮影するカメラと、
    上記カメラにより撮影されたカメラ画像に基づいて、表示用の詳細確認画像を生成する詳細確認画像生成手段と、
    上記カメラ画像に基づいて、上記詳細確認画像よりも画質を低下させたプライバシー画像を生成するプライバシー画像生成手段と、
    上記詳細確認画像及び上記プライバシー画像のいずれか一方を表示画像として選択する表示画像選択手段と、
    上記表示画像選択手段により選択された表示画像を表示する画像表示手段とを備えたことを特徴とする監視システム。
  2. 検出光を生成する投光手段と、
    対象物によって反射された上記検出光を受光し、検出信号を生成する受光手段と、
    回転軸を中心とし、上記回転軸と交差するスキャン面に沿って上記検出光を周方向に走査させる走査手段と、
    上記検出信号に基づいて、対象物までの距離を求める測距手段とを備え、
    上記侵入検知手段は、上記対象物までの距離及び上記検出光の走査角に基づいて、上記監視エリア内の侵入物を検知し、
    上記カメラは、上記スキャン面よりも上記回転軸方向の上側に配置され、
    上記プライバシー画像生成手段は、上記対象物までの距離及び上記検出光の走査角に基づいて、上記スキャン面における対象物の位置からなる境界線を特定し、上記プライバシー画像における上記境界線を含む帯状の領域を重点監視領域として、上記重点監視領域の画質を上記詳細確認画像と一致させることを特徴とする請求項1に記載の監視システム。
  3. 上記監視エリア内の侵入物が検知された際に撮影された上記カメラ画像を侵入物の位置を示す位置情報とともに検知履歴として記憶する検知履歴記憶手段を備え、
    上記プライバシー画像生成手段は、上記検知履歴として記憶されたカメラ画像に基づいて、上記プライバシー画像を生成し、
    上記画像表示手段は、上記検知履歴として記憶された位置情報に基づいて、侵入物の位置を上記プライバシー画像上に表示することを特徴とする請求項1又は2に記載の監視システム。
  4. 上記画像表示手段が、上記侵入検知手段、上記カメラ及び上記検知履歴記憶手段を有するセンサ本体とは別個に設けられ、2以上の上記センサ本体に共通の表示装置からなることを特徴とする請求項3に記載の監視システム。
  5. 上記プライバシー画像生成手段は、共通のカメラ画像に基づいて、画質が互いに異なる2以上の上記プライバシー画像を生成し、
    上記表示画像選択手段は、ユーザ操作に基づいて、上記プライバシー画像のいずれか一つを表示画像として選択することを特徴とする請求項1〜4のいずれかに記載の監視システム。
  6. ユーザが指定した認証情報を受け付ける操作入力手段と、
    上記認証情報を管理者により予め指定された登録情報と照合し、ユーザ認証を行うユーザ認証手段とを備え、
    上記表示画像選択手段は、ユーザ認証に成功した場合に、ユーザ操作に基づいて、上記詳細確認画像又は上記プライバシー画像のいずれかを表示画像として選択し、ユーザ認証に失敗した場合に、上記プライバシー画像を表示画像として選択することを特徴とする請求項1〜5のいずれかに記載の監視システム。
JP2014249003A 2014-12-09 2014-12-09 監視システム Active JP6367102B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014249003A JP6367102B2 (ja) 2014-12-09 2014-12-09 監視システム
US14/942,019 US9973701B2 (en) 2014-12-09 2015-11-16 Monitoring system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014249003A JP6367102B2 (ja) 2014-12-09 2014-12-09 監視システム

Publications (2)

Publication Number Publication Date
JP2016111603A JP2016111603A (ja) 2016-06-20
JP6367102B2 true JP6367102B2 (ja) 2018-08-01

Family

ID=56094788

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014249003A Active JP6367102B2 (ja) 2014-12-09 2014-12-09 監視システム

Country Status (2)

Country Link
US (1) US9973701B2 (ja)
JP (1) JP6367102B2 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6474593B2 (ja) 2014-12-01 2019-02-27 株式会社キーエンス エリア監視センサ
DE102015216659A1 (de) * 2015-09-01 2017-03-02 Siemens Aktiengesellschaft Vorrichtung zur Anbindung an einen Roboter
JP6673717B2 (ja) 2016-02-22 2020-03-25 株式会社キーエンス 光学安全システム
JP6637331B2 (ja) 2016-02-22 2020-01-29 株式会社キーエンス 安全スキャナ及び光学安全システム
JP2017150857A (ja) 2016-02-22 2017-08-31 株式会社キーエンス 安全スキャナ
JP6736307B2 (ja) 2016-02-22 2020-08-05 株式会社キーエンス 安全スキャナ、光学安全システム及び安全スキャナ用の設定支援装置
JP6851137B2 (ja) 2016-02-22 2021-03-31 株式会社キーエンス 安全スキャナ
JP6611660B2 (ja) * 2016-04-13 2019-11-27 富士フイルム株式会社 画像位置合わせ装置および方法並びにプログラム
US10679504B2 (en) 2016-11-21 2020-06-09 Datalogic Ip Tech S.R.L. Applications of a plurality of safety laser scanners combined with a camera or mobile computer
USD871412S1 (en) * 2016-11-21 2019-12-31 Datalogic Ip Tech S.R.L. Optical scanner
JP7047394B2 (ja) * 2018-01-18 2022-04-05 セイコーエプソン株式会社 頭部装着型表示装置、表示システム、及び、頭部装着型表示装置の制御方法
EP3564900B1 (en) * 2018-05-03 2020-04-01 Axis AB Method, device and system for a degree of blurring to be applied to image data in a privacy area of an image
US20190349517A1 (en) * 2018-05-10 2019-11-14 Hanwha Techwin Co., Ltd. Video capturing system and network system to support privacy mode
JP7449679B2 (ja) 2019-11-19 2024-03-14 株式会社キーエンス 安全コントローラおよび履歴表示装置
JP7466296B2 (ja) 2019-11-19 2024-04-12 株式会社キーエンス 安全コントローラ
CN113642358B (zh) * 2020-04-27 2023-10-10 华为技术有限公司 肤色检测方法、装置、终端和存储介质
CN112328995B (zh) * 2020-07-08 2023-04-14 德能森智能科技(成都)有限公司 一种基于tof图像传感器验证的社会管理系统

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003057360A (ja) 2001-08-09 2003-02-26 Keyence Corp 多光軸光電式安全装置
JP3854512B2 (ja) 2002-01-25 2006-12-06 株式会社キーエンス 多光軸光電式安全装置用の表示モニタ
JP2004032459A (ja) * 2002-06-27 2004-01-29 Hitachi Ltd 監視システム、およびこれに用いるコントローラと監視端末
JP2004104314A (ja) * 2002-09-06 2004-04-02 Hitachi Kokusai Electric Inc ネットワーク監視システム
JP2006129178A (ja) * 2004-10-29 2006-05-18 Victor Co Of Japan Ltd 映像監視システム及びそれに用いる撮像装置
JP5137054B2 (ja) 2007-01-25 2013-02-06 株式会社キーエンス 多光軸光電センサ
JP5377837B2 (ja) 2007-05-31 2013-12-25 株式会社キーエンス 光電センサ
JP4979518B2 (ja) 2007-09-05 2012-07-18 株式会社キーエンス 侵入検知装置
JP5156475B2 (ja) 2008-05-14 2013-03-06 株式会社キーエンス 光走査型光電スイッチ
JP5202097B2 (ja) 2008-05-14 2013-06-05 株式会社キーエンス 光走査型光電スイッチ
JP5036624B2 (ja) 2008-05-20 2012-09-26 株式会社キーエンス 監視エリア設定装置
JP5096235B2 (ja) * 2008-06-03 2012-12-12 株式会社キーエンス エリア監視センサ
JP5086899B2 (ja) * 2008-06-03 2012-11-28 株式会社キーエンス エリア監視センサ
US8576282B2 (en) * 2008-12-12 2013-11-05 Honeywell International Inc. Security system with operator-side privacy zones
JP2010175488A (ja) 2009-01-31 2010-08-12 Keyence Corp 光走査型光電スイッチ
JP5473044B2 (ja) 2009-01-31 2014-04-16 株式会社キーエンス 安全光電スイッチ
US8415609B2 (en) 2009-01-31 2013-04-09 Keyence Corporation Safety photoelectric switch
JP5465563B2 (ja) 2010-03-19 2014-04-09 株式会社キーエンス 多光軸光電センサ
JP2014216828A (ja) * 2013-04-25 2014-11-17 株式会社テスコムジャパン 監視カメラ
JP6474593B2 (ja) 2014-12-01 2019-02-27 株式会社キーエンス エリア監視センサ

Also Published As

Publication number Publication date
US20160163171A1 (en) 2016-06-09
US9973701B2 (en) 2018-05-15
JP2016111603A (ja) 2016-06-20

Similar Documents

Publication Publication Date Title
JP6367102B2 (ja) 監視システム
JP6736307B2 (ja) 安全スキャナ、光学安全システム及び安全スキャナ用の設定支援装置
US9939518B2 (en) Safety scanner
JP6474593B2 (ja) エリア監視センサ
JP6637331B2 (ja) 安全スキャナ及び光学安全システム
US20160005286A1 (en) Perimeter-monitoring device for working machine
US10436901B2 (en) Optoelectronic sensor and method for detecting objects
JP6673717B2 (ja) 光学安全システム
JP2019071578A (ja) 物体検知装置、物体検知システムおよび物体検知方法
KR102257846B1 (ko) 입체 모델 생성 장치 및 그 영상 표시 방법
JP6518601B2 (ja) 光学安全センサ用の設定支援装置、設定支援プログラム、光学安全システム及び光学安全センサ
JP6648923B2 (ja) 制御装置、制御方法及びプログラム
WO2020111053A1 (ja) 監視装置、監視システム、監視方法、監視プログラム
JP6454524B2 (ja) エリア監視センサ
JP6689095B2 (ja) 光学安全システム、安全スキャナ用の設定支援装置及び設定支援プログラム
JP6987902B2 (ja) 制御装置、制御方法及びプログラム
JP2020088840A (ja) 監視装置、監視システム、監視方法、監視プログラム
JP6367100B2 (ja) エリア監視センサ
JP6355543B2 (ja) 監視システム
JP6632757B1 (ja) 環境異常検知装置
JP7077379B2 (ja) 安全スキャナ
JP6454530B2 (ja) 監視システム、エリア監視センサ及び設定データ作成装置
CN113108919A (zh) 人体温度检测方法、装置和存储介质
JP2017025503A (ja) 建設機器操作アシスト表示システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170831

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180416

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180704

R150 Certificate of patent or registration of utility model

Ref document number: 6367102

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250