[go: up one dir, main page]

JP6845306B2 - 監視システム及び監視方法 - Google Patents

監視システム及び監視方法 Download PDF

Info

Publication number
JP6845306B2
JP6845306B2 JP2019509121A JP2019509121A JP6845306B2 JP 6845306 B2 JP6845306 B2 JP 6845306B2 JP 2019509121 A JP2019509121 A JP 2019509121A JP 2019509121 A JP2019509121 A JP 2019509121A JP 6845306 B2 JP6845306 B2 JP 6845306B2
Authority
JP
Japan
Prior art keywords
surveillance camera
camera
image
vehicle door
surveillance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019509121A
Other languages
English (en)
Other versions
JPWO2018180310A1 (ja
Inventor
加奈 大木
加奈 大木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Kokusai Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc filed Critical Hitachi Kokusai Electric Inc
Publication of JPWO2018180310A1 publication Critical patent/JPWO2018180310A1/ja
Application granted granted Critical
Publication of JP6845306B2 publication Critical patent/JP6845306B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L23/00Control, warning or like safety means along the route or between vehicles or trains
    • B61L23/04Control, warning or like safety means along the route or between vehicles or trains for monitoring the mechanical state of the route
    • B61L23/041Obstacle detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L15/00Indicators provided on the vehicle or train for signalling purposes
    • B61L15/0063Multiple on-board control systems, e.g. "2 out of 3"-systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B61RAILWAYS
    • B61LGUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L15/00Indicators provided on the vehicle or train for signalling purposes
    • B61L15/0081On-board diagnosis or maintenance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Electric Propulsion And Braking For Vehicles (AREA)

Description

本発明は、監視システム及び監視方法に係り、例えば、鉄道の車両のドアの監視システム及び監視方法に関する。
近年、鉄道監視システムでは車両内外やホームの監視に加えて、ホームに停車し車両ドアを開閉する際に、車両ドアに異常がないかどうか(人や異物の挟み込み等)確認を行う、車両ドアの監視が求められる。列車のドアの監視装置について各種の技術が提案されている(例えば、特許文献1参照)。
図19に、従来の車両ドア監視システム200の例を示す。ここでは1両の車両240について示している。図20は、第1〜第4監視カメラ211〜214が取得した映像を割り当てるモニタ画面250の例を示す。
第1〜第4車両ドア221〜224のそれぞれに対応した第1〜第4監視カメラ211〜214がドア付近に取り付けられ監視が行われる。車内の車掌室や駅のホーム、鉄道社の管理室等で運用者が監視するモニタに対し、第1〜第4監視カメラ211〜214の映像を割り当て表示することで、第1〜第4車両ドア221〜224の異常有無を監視する。ここでは、2×2の4つの領域に分けられた分割領域A210〜分割領域D240に、第1〜第4監視カメラ211〜214の映像がそれぞれ割り当てられて表示される。
特許第05340123号公報
ところで、図19及び図20で示した監視システム200では、例えば、第1監視カメラ211が故障した場合、故障している第1監視カメラ211の取替作業などメンテナンスが必要となり、故障からメンテナンスまでの間、第1監視カメラ211の映像を映すモニタの画面(図20では、分割領域A210)には映像が表示されない。そのため車両ドアA221をリアルタイムで監視することが出来ず、運用に支障が出る。
特に車両に取り付けられたカメラである場合、日中の運行中の復旧作業は難しく、監視できない時間がより長くなることが考えられる。また、車両ドアを監視カメラで監視する理由の一つとして乗務員の負担軽減が挙げられる。例えば、ワンマン運転を行う場合は、乗務員が1人であるため、車両の外に出た上での車両ドアの目視確認は、乗務員にとって大きな負担となる。そのため車両外に監視カメラを取り付け、その映像を車掌室内で目視確認を行う運用形態が採用される。この時に車両ドアを監視するカメラが故障すると、乗務員は都度車両の外に出て車両ドアを目視確認する必要があるため、負担となる作業が増えることとなる。すなわち、リアルタイム性を求められる監視において、監視カメラが故障した際も監視出来ない時間を極力削減し、ダウンタイムの殆ど無い監視を実現する技術が求められていた。また、別の観点では、監視カメラの故障によって発生する乗務員の目視確認の負担を削減し、多様な運用形態に比較的容易に対応でき確実な監視を実現する技術が求められていた。
本発明は、このような状況に鑑みなされたもので、上記課題を解決することを目的とする。
本発明の監視システムは、共に列車の第1の車両ドアと第2の車両ドアを撮像する、第1のカメラと第2のカメラと、第1及び第2のカメラの映像を取得するとともに、第1及び第2のカメラの状態を監視する制御部と、を有する。この監視システムの制御部は、第1のカメラの状態が正常であり、かつ第2のカメラの状態が正常である場合、第1のカメラの映像から第1の車両ドアの領域をトリミングし、第2のカメラの映像から第2の車両ドアの領域をトリミングし、第1のカメラの状態が異常であり、かつ第2のカメラの状態が正常である場合、第2のカメラの映像から第1の車両ドアの領域をトリミングし、第2のカメラの映像から第2の車両ドアの領域をトリミングする。
本発明の監視方法は、列車の第1の車両ドアと第2の車両ドアを共に、第1のカメラと第2のカメラで監視する方法である。この監視方法は、第1及び第2のカメラの状態を監視する状態監視工程と、第1のカメラの状態が正常であり、かつ第2のカメラの状態が正常である場合、第1のカメラの映像から第1の車両ドアの領域をトリミングし、第2のカメラの映像から第2の車両ドアの領域をトリミングする、正常時の映像取得工程と、第1のカメラの状態が異常であり、かつ第2のカメラの状態が正常である場合、第2のカメラの映像から第1の車両ドアの領域をトリミングし、第2のカメラの映像から第2の車両ドアの領域をトリミングする、異常時の映像取得工程と、を有する。
本発明によると、リアルタイム性を求められる監視において、監視カメラが故障した際も監視出来ない時間を極力削減し、ダウンタイムの殆ど無い監視を実現する技術を提供できる。また、別の観点では、監視カメラの故障によって発生する乗務員の目視確認の負担を削減し、多様な運用形態に比較的容易に対応でき確実な監視を実現する技術を提供できる。
第1の実施形態に係る、列車内から乗降口付近を監視する監視カメラシステムの配置例の概要を模式的に示す図である。 第1の実施形態に係る、監視カメラシステムを構成する各機器の接続を中心として説明するための図である。 第1の実施形態に係る、駅のホームに停車中の電車の車両を表した図である。 第1の実施形態に係る、第1〜第4監視カメラの映像のモニタへの表示例を示した図である。 第1の実施形態に係る、第1〜第4監視カメラの映像のモニタへの表示を監視方向を統一させた例を示した図である。 第1の実施形態に係る、第1監視カメラが故障したときの運用形態の概要を示した図である。 第1の実施形態に係る、第1監視カメラが故障時の第2監視カメラによる画像取得例を示した図である。 第1の実施形態に係る、図7に対応したモニタへの表示例を示した図である。 第1の実施形態に係る、第1監視カメラが故障時の第2監視カメラによる画像取得の処理のフローチャートである。 第1の実施形態に係る、第1監視カメラが故障時の第2監視カメラによる画像取得の処理のシーケンス図である。 第2の実施形態に係る、駅のホームに停車中の電車の車両を表した図である。 第2の実施形態に係る、第1監視カメラが故障時の第2監視カメラによる画像取得の処理のフローチャートである。 第2の実施形態に係る、第1監視カメラが故障時の第2監視カメラによる画像取得の処理のシーケンス図である。 第3の実施形態に係る、第1監視カメラが異常時の第2監視カメラによる画像取得の処理のフローチャートである。 第3の実施形態に係る、第1監視カメラが異常時の第2監視カメラによる画像取得の処理のシーケンス図である。 第4の実施形態に係る、第1監視カメラが故障時の第2監視カメラによる画像取得の処理のフローチャートである。 第4の実施形態に係る、第1監視カメラが故障時の第2監視カメラによる画像取得の処理のシーケンス図である。 実施形態に係る、車両ドアが奇数有る場合の監視カメラシステムの配置例の概要を模式的に示す図である。 背景技術に係る、車両ドア監視システムの例を示す図である。 背景技術に係る、モニタへの表示例を示した図である。
次に、本発明を実施するための形態(以下、単に「実施形態」という)を、図面を参照して具体的に説明する。本実施形態の概要は次の通りである。(1)監視カメラの画角を大きく取得することで車両ドアを2つ以上監視可能とし、監視カメラが非正常状態(故障等の異常状態やメンテナンスのための停止状態)となった際は他の正常状態の監視カメラでの監視が続行できることとする。(2)監視カメラの映像を割り当てるモニタについて、監視カメラが故障し映像が表示されていない箇所に対し、故障した監視カメラの替わりに監視を行う監視カメラの映像を割り当てることで、正常運用(通常運用)時と変わらない操作性とする。
これらによって、次の効果が得られる。(1)車両ドアを監視する監視カメラが故障し映像がモニタ上に表示されない際、その映像表示位置へ故障した監視カメラの替わりに監視を行う監視カメラの映像を割り当て、正常運用時と変わらない映像表示とすることで、可用性と監視の容易性が向上する。(2)車両ドアを監視する監視カメラが故障した際、監視カメラを復旧するまでのロスタイム無しに監視を続けることが可能となり、作業効率、可用性が向上する。(3)車両ドアを監視する監視カメラが故障した際、乗務員は車両の外に出て目視による車両ドアの確認を行う必要が無くなり、作業効率、乗務員の負担軽減、監視の容易性が向上する。
<第1実施形態> 図1は、1編成の列車に搭載した鉄道向け監視カメラシステム100であり、列車内から乗降口(扉)付近を監視する監視カメラシステム100の配置例の概要を模式的に示す。図2は、監視カメラシステム100の構成の一実施例を説明するためのブロック図である。なお、図1は監視カメラシステム100の列車への搭載及び配置を中心として、図2は監視カメラシステム100を構成する各機器の接続を中心として説明するための図である。図2の破線の枠は、図1の第1〜第4車両1〜4を示しており、監視カメラシステム100を構成する全ての機器は、例えば有線接続であればネットワークケーブルで接続されている。
図1の列車は、先頭の第1車両1、中間の第2車両2及び第3車両3、最後尾の第4車両4の4両編成であって、鉄道向けの監視カメラシステム100が列車内の車両に搭載されている。このとき列車の進行方向は、第1車両1を先頭車両として進む方向として説明する。
各車両(第1〜第4車両1〜4)は、片側4ドア(両側で8ドア)の車両である。各車両の一方の側(例えば進行方向の左側)において、進行方向側から第1車両ドア71、第2車両ドア72、第3車両ドア73及び第4車両ドア74を備える。他方の側(例えば進行方向の右側)にも、進行方向側から第1車両ドア71、第2車両ドア72、第3車両ドア73及び第4車両ドア74を備える。
乗客は、駅のホームに合わせて開く左側若しくは右側のどちらか片側の扉から、または両側の扉から、車両への乗り降りを行う。
第1〜第4車両ドア71〜74のそれぞれに対して、それぞれ第1〜第4監視カメラ11〜14が、乗降監視のために取り付けられている。第1〜第4監視カメラ11〜14は、例えば、IPカメラである。また、図1では、車両の左右にある乗降用の扉の、左側の扉とその左側の扉に関わる監視カメラだけを図示し、反対側(右側)の扉及びその扉に関わる監視カメラを図示していない。監視カメラ以外の他の構成は、左右の扉に関係なく共通である。
先頭の第1車両1には、監視用のモニタPC40が設けられており、また、最後尾の第4車両4にも、監視用のモニタPC142が設けられている。モニタPC140、142は、それぞれ複数で構成されてもよい。
運転手は、全ての第1〜第4監視カメラ11〜14が撮像した映像を、モニタPC140、142によって確認することができる。表示される映像は、例えば、1つの車両の監視カメラについて複数に分割された表示領域で示し、順次別の車両の監視カメラの映像に切り替わるように表示されてもよい。
モニタリングシステム100は、図1または図2に示すように、第1〜第4車両1〜4を連結した列車に設置される。監視カメラシステム100は、第1〜第4監視カメラ11〜14、モニタPC140、142、L2−SW(レイヤ2スイッチ)144〜147、サーバ50、録画装置51、上位サーバ52で構成されている。なお、図示しない電源供給ケーブルが、各機器に第1〜第4車両1〜4の電源供給部(図示しない)から電源を供給する。
先頭の第1車両1には、サーバ(制御装置)50と録画装置51、上位サーバ52、第1〜第4監視カメラ11〜14(11a〜14a及び11b〜14b)、モニタPC140〜141、及びL2−SW144が設置されている。
サーバ50、録画装置51、モニタPC140〜141、及び第1〜第4監視カメラ11〜14は、それぞれL2−SW144に接続され、上位サーバ52は、サーバ50に接続されている。また、L2−SW144は、後の第2車両2に設置されたL2−SW145と接続されている。
最後尾の第4車両4には、第1〜第4監視カメラ11〜14(11a〜14a及び11b〜14b)、モニタPC142、及びL2−SW147が設置されている。第1〜第4監視カメラ11〜14、及びモニタPC142は、それぞれL2−SW147に接続されている。また、L2−SW147は、前の第3車両3に設置されたL2−SW146と接続されている。
なお、上位サーバ52は、例えば、列車の運行を管理する装置であり、例えば、TMS(Train Management System)である。上位サーバ52は、列車運行中には、列車の運行情報をサーバ50に所定の周期で出力している。列車の運行情報は、少なくとも、列車の速度情報、乗降扉開閉情報(乗降用の扉が開いているか、閉じているかの情報)、次に停車する駅若しくは現在停車中の駅のホームにおける乗降口の情報(例えば、左側の扉が乗降口であるか、右側の扉が乗降口であるかの情報)、車両数である。
中間の第2車両2には、第1〜第4監視カメラ11〜14(11a〜14a及び11b〜14b)、及びL2−SW145が設置されている。L2−SW145は、前の第1車両1に設置されたL2−SW144、及び後の第3車両3に設置されたL2−SW146とそれぞれネットワークケーブルで接続されている。また第3車両3は、第2車両2と同様に、第1〜第4監視カメラ11〜14(11a〜14a及び11b〜14b)、及びL2−SW146が設置されており、L2−SW146は、前の第2車両2に設置されたL2−SW145、及び後の第4車両4に設置されたL2−SW147とそれぞれネットワークケーブルで接続されている。
このように、先頭の第1車両1と中間の第2車両2、中間の第2車両2と第3車両3同士、中間の第3車両3と最後尾の第4車両4は、それぞれ隣り合う車両に搭載されたL2−SW同士をネットワークケーブル等で接続することで、列車内で1つのネットワークを構築している。
なお、ネットワークケーブルは、例えば、車両床下を経由してツナギ箱(図示しない)へ接続され、車両間についてはそれぞれの隣り合う車両のツナギ箱間をジャンパ線(図示しない)によって接続する。
図1、図2の監視カメラシステム100では、先頭の第1車両1に運転手が搭乗し、列車の運行(運転や、乗降口の開閉等)の操作を1人で行うことができる。
全ての第1〜第4監視カメラ11〜14(11a〜14a及び11b〜14b)は、予め定められた視野内をそれぞれ所定の撮像フレームレートで撮像する。そして、第1〜第4監視カメラ11〜14は、撮像した映像(ライブ映像)をH.264/MPEG4/JPEG等の形式で圧縮し、L2−SWとネットワークケーブルを経由して、録画装置51及びモニタPC140、142に送信する。
録画装置51は、入力された映像を、撮像した監視カメラ及び撮像時刻と関連付けて常時記録している。モニタPC140、142は、全ての第1〜第4監視カメラ11〜14のライブ映像及び録画映像をサーバ50の指示により、伸張及び切り出し等の映像処理を施して画面に表示する。
なお、録画映像は、主に事故や犯罪の発生等の有事の際に、解析資料や証拠映像として使用される。また、サーバ50やモニタPC140、142や第1〜第4監視カメラ11〜14(11a〜14a及び11b〜14b)や録画装置51の主な設定は、操作者が、予めシステム運用開始時に設定する。
また、第1〜第4監視カメラ11〜14(11a〜14a及び11b〜14b)は、録画装置51及びモニタPC140、142に、所定の送信フレームレートで映像を送信する。または、第1〜第4監視カメラ11〜14(11a〜14a及び11b〜14b)は、モニタPC140、142からL2−SWを介して送信される送信要求に応じて、録画装置51及びモニタPC140、142に所定の送信フレームレートで映像を送信する。
なお、第1〜第4監視カメラ11〜14(11a〜14a及び11b〜14b)の映像を、監視カメラが自動的に所定のフレームレートで送信するか、モニタPC140、142からの送信要求に応じて送信するかは、予め操作者が、予めシステム運用開始時に設定することが可能であるし、また、運転手がサーバ50を操作して切り替えることが可能である。
また、サーバ50は、第1〜第4監視カメラ11〜14(11a〜14a及び11b〜14b)の画角や撮影方向を制御することができる。なお、監視カメラの画角や撮影方向を制御とは、監視カメラ自体にそれらを変更する機能がある場合には、サーバ50から監視カメラへ変更の指示が出力される。
また、変更する機能が無い場合には、撮影した映像から実際に表示する領域を抽出する際に、その抽出エリアを制御する。また、サーバ50は、第1〜第4監視カメラ11〜14の故障発生等の状態を監視し、故障が発生した場合に、後述する処理により一定条件下で、列車監視を継続する。
つづいて、第1〜第4監視カメラ11〜14の運用形態の詳細を、図3〜図10を参照して説明する。ここでは、一つの車両40に着目して説明する。
図3は駅のホーム99に停車中の電車の車両40を表したものである。
車両外に取り付けられた第1〜第4監視カメラ11〜14はそれぞれ第1〜第4車両ドア71〜74を監視している。このとき、第1監視カメラ11と第2監視カメラ12、第3監視カメラ13と第4監視カメラ14はそれぞれ対となる組合せとして設定されている。
具体的には、ある監視カメラが故障した場合に、対の監視カメラが、故障した監視カメラの監視領域も撮影しモニタ80に表示する。例えば、第1監視カメラ11が故障した場合には、第2監視カメラ12が、第1車両ドア71と第2車両ドア72の両方のエリアを撮影する。
より具体的には、第1監視カメラ11は、第1車両ドア71の前方側上方に取り付けられ、後方下側を撮像方向に設定されている。第2監視カメラ12は、第2車両ドア72の後方側上方に取り付けられ、前方下側を撮像方向に設定されている。第3監視カメラ13は、第3車両ドア73の前方側上方に取り付けられ、後方下側を撮像方向に設定されている。第4監視カメラ14は、第4車両ドア74の後方側上方に取り付けられ、前方下側を撮像方向に設定されている。
このとき第1車両ドア71を監視する第1監視カメラ11と、第2車両ドア72を監視する第2監視カメラ12と、第3車両ドア73を監視する第3監視カメラ13と、第4車両ドア74を監視する第4監視カメラ14の映像を4分割表示のモニタ80に割り付けた表示例を図4に示す。
なお、運転手等の乗務員が監視し易いように、第2監視カメラ12、第4監視カメラ14の映像を反転し、監視方向を全てのカメラで統一して、図5のように表示させてもよい。映像の反転を行うか行わないかは運用形態に合わせて選択可能に構成される。
第1監視カメラ11〜14はそれぞれ第1〜第4車両ドア71〜74とその周辺の映像を取得し、モニタ80(図1等のモニタPC140、142や図示しない管理室のモニタ)上に表示する。なお、サーバ50は、周期的に第1監視カメラ11〜14の状態監視を行っている。
ここでは、対に設定されている第1監視カメラ11と第2監視カメラ12に着目し、上記の運用形態で監視を行っている際に第1監視カメラ11が故障した場合の処理例について具体的に説明する。図6〜図10を参照して説明する。
図6は、第1監視カメラ11が故障したときの運用形態の概要を示している。図7は、第1監視カメラ11が故障時の第2監視カメラ12による画像取得例を示している。図8は、そのときのモニタ80への表示例を示している。図9は、フローチャートである。図10は、サーバ50と第1監視カメラ11、第2監視カメラ12、及びモニタ80の分割領域A81、分割領域B82の動作等のシーケンス図である。
監視システムが起動すると、サーバ50は、第1〜第4監視カメラ11〜14の状態監視を実行し、モニタ80への監視映像の表示を継続する(S10〜S36)。
サーバ50は、第1監視カメラ11の状態が正常であるか否かを判断する(S12)。すなわち、サーバ50は、第1監視カメラ11の故障の有無を検知する。
第1監視カメラ11が正常であれば(S12のY)、サーバ50は、前回判断時の状態が正常であったか否かを判断する(S14)。すなわち、サーバ50は、サーバ50内で管理する第1監視カメラ11の状態フラグが「異常」から「正常」に変化したか、それとも「正常」の状態が継続しているかを判断する。
前回の状態フラグが「異常」であれば(S14のN)、サーバ50は、第1監視カメラ11が故障から復旧したものと判断し、第1監視カメラ11の状態フラグを「正常」に更新し(S16)、画角拡大状態となっている第2監視カメラ12に対して画角縮小の指示コマンド、すなわち正常運用の画角サイズに戻る指示コマンドを送信する(S18)。画角縮小の指示を受けた第1監視カメラ11は、正常運用中に取得している画角サイズへ戻すよう画角調整を行う。
前回の状態フラグが「正常」である場合(S14のY)、または、上記の第2監視カメラ12への画角縮小の指示コマンド送信後(S18)、サーバ50は第2監視カメラ12から取得した映像を反転処理し(S20)、正常運用中の表示処理として、第1監視カメラ11及び第2監視カメラ12の映像をモニタ80へ表示するよう指示する(S22)。
その後、第1監視カメラ11及び第2監視カメラ12を表示するモニタ80の分割表示画面の表示更新を行う。分割領域A81へ第1監視カメラ11の映像、分割領域B82へ監視カメラBの映像を表示する。表示が終了すると、サーバ50は、監視システムを終了するか否かを判断し(S24)、終了する場合は(S24のY)、当該フローの処理(S10〜S36)を終了させる。終了しない場合(S24のN)は、第1監視カメラ11の状態監視(S12)へ戻る。
一方、第1監視カメラ11の状態が正常であるかの判断処理において、第1監視カメラ11の故障を検知すると(S12のN)、サーバ50は、非正常時撮像取得工程(S26〜S34)を実行する。すなわち、サーバ50は、第1監視カメラ11の状態フラグを「異常」に更新し(S26)、第1監視カメラ11の対となる第2監視カメラ12に対し、画角拡大の指示コマンドを送信する(S28)。
画角拡大の指示を受けた第2監視カメラ12は、正常運用中に取得している画角サイズより広く取得するよう画角調整を行う。
この時の運用形態では、図6に示すように、第2監視カメラ12の監視範囲30xが、第1車両ドア71と第2車両ドア72の両方を含めた広範囲の領域に調整されている。
これにより第2監視カメラ12は、第1車両ドア71及び第2車両ドア72の両方の監視を行うことが出来る映像を取得する。
サーバ50は、第2監視カメラ12から取得した第1車両ドア71及び第2車両ドア72を含む映像から、第1車両ドア71及び第2車両ドア72の領域を抽出する表示サイズトリミング処理を行い、正常運用時の監視領域サイズにトリミングし所望のエリアを抽出する(S30)。
図7の例では、太い実線範囲Xが本来の第1監視カメラ11の監視領域であり、破線範囲Yが第2監視カメラ12の監視領域となる。すなわち、第2監視カメラ12が撮影した映像から、所定の範囲がトリミングされ、トリミングされた映像が第1車両ドア71及び第2車両ドア72の監視領域の映像として用いられる。
さらに、サーバ50は、正常運用時の映像表示の向きと同じになるように、第2監視カメラ12からトリミングした第1車両ドア71及び第2車両ドア72の映像を反転し(S32)、反転後の映像を表示するように指示する(S34)。
その後、第1監視カメラ11及び第2監視カメラ12を表示するモニタ80の分割表示画面の表示更新を行う。第1監視カメラ11が故障している間は、第1監視カメラ11、第2監視カメラ12の映像表示を行う分割表示画面の両方へ、第2監視カメラ12の映像を表示する。表示する第2監視カメラ12の映像は、各監視カメラの正常運用時の監視領域サイズにトリミングし反転する。
図8に、図7で示した監視領域の表示例、すなわちモニタ80の映像表示状態を示す。分割領域A81には、本来であれば、第1監視カメラ11の映像が表示される。しかし、第1監視カメラ11が故障している場合は、第1監視カメラ11ではなく第2監視カメラ12の映像、より具体的には、図7に示すように、広角撮影された第2監視カメラ12の映像から第1車両ドア71を含む所定の領域(実線範囲X)をトリミングした映像が分割領域A81に表示される。また、分割領域B82には、第2監視カメラ12の映像が表示されるが、通常値とは異なり広角撮影された映像から第2車両ドア72を含む所定の領域(破線範囲Y)をトリミングした映像が表示される。
なお、第2監視カメラ12の広角設定と基に戻す設定の動作が十分に速く行える場合は、第2車両ドア72を撮影する領域については、第1監視カメラ11が故障していない場合と同様の映像を用いて、第1車両ドア71の映像を取得する場合にのみ、第2監視カメラ12を広角設定し所定の領域を抽出するようにしてもよい。
表示が終了すると、サーバ50は、監視システムを終了するか否かを判断し(S24)、終了する場合は(S24のY)、当該フローの処理(S10〜S36)を終了させる。終了しない場合(S24のN)は、第1監視カメラ11の状態監視(S12)へ戻る。
以上、本実施形態によると、車両ドア(第1車両ドア71〜第4車両ドア74)を監視する監視カメラ(第1監視カメラ11〜第4監視カメラ14)のいずれかが故障し、故障した監視カメラの映像がモニタ80上に表示されない際、その映像表示位置へ故障した監視カメラの替わりに監視を行う監視カメラの映像を割り当て、正常運用時と変わらない映像表示とすることができ、可用性と監視の容易性を向上させることができる。
また、監視カメラが故障した際、監視カメラを復旧するまでのロスタイム無しに監視を続けることが可能となり、作業効率、可用性を向上させることができる。さらに、監視カメラが故障した際、乗務員は車両の外に出て目視による車両ドアの確認を行う必要が無くなり、作業効率、乗務員の負担軽減、監視の容易性を向上させることができる。
<第2実施形態> 第2の実施形態を図11〜図13を参照して説明する。図11は、本実施形態の運用形態の概要を示す。図12は、サーバ50の動作を示すフローチャートである。図13は、サーバ50、第1監視カメラ11、第2監視カメラ12、モニタ80(分割領域A81、分割領域B82)のシーケンス図である。なお、監視カメラシステム100の構成は、第1の実施形態と同様であり、主に処理動作について説明する。
本実施形態では、第1監視カメラ11が故障した際に、第2監視カメラ12の画角を広げるのではなく、予め全てのカメラにおいて、対の組み合わせとなるカメラが撮影する車両ドアを含めて監視するように、広い画角(監視範囲30A)で撮影する。すなわち、正常運用時も第1監視カメラ11は、第1車両ドア71と第2車両ドア72の両方を撮影する。第2監視カメラ12も、第1車両ドア71と第2車両ドア72の両方を撮影する。
第1監視カメラ11が故障した場合は、第2監視カメラ12の監視映像から、第2車両ドア72の領域をトリミングするとともに、第1車両ドア71の領域をトリミング、反転することで、第1監視カメラ11の監視範囲を補完する。
図12のフローチャート及び図13のシーケンス図を参照してより具体的に説明する。
監視システムが起動すると、サーバ50は、第1〜第4監視カメラ11〜14の状態監視を実行し、モニタ80への監視映像の表示を継続する(S110〜S134)。
まず、サーバ50は、第1監視カメラ11の状態が正常であるか否かを判断する(S112)。第1監視カメラ11が正常であれば(S112のY)、サーバ50は、前回判断時の状態(状態フラグ)が正常であったか否かを判断する(S114)。
前回の状態フラグが「異常」であれば(S114のN)、サーバ50は、第1監視カメラ11が故障から復旧したものと判断し、第1監視カメラ11の状態フラグを「正常」に更新する(S116)。前回の状態フラグが「正常」の場合(S114のY)及び第1監視カメラ11の状態フラグを「正常」に更新した後、サーバ50は、第1車両ドア71の監視領域として第1監視カメラ11の映像をまた第2車両ドア72の監視領域として第2監視カメラ12の映像をトリミングし(S118)、第2監視カメラ12のトリミングした映像については反転させる(S120)。
その後、サーバ50は、第1監視カメラ11及び第2監視カメラ12の映像をモニタ80へ表示するよう指示する(S122)。
その後、第1監視カメラ11及び第2監視カメラ12を表示するモニタ80の分割表示画面の表示更新を行う。分割領域A81へ第1監視カメラ11の映像、分割領域B82へ監視カメラBの映像を表示する。表示が終了すると、サーバ50は、監視システムを終了するか否かを判断し(S124)、終了する場合は(S124のY)、当該フローの処理(S110〜S134)を終了させる。終了しない場合(S124のN)は、第1監視カメラ11の状態監視(S112)へ戻る。
一方、第1監視カメラ11の状態が正常であるかの判断処理において、第1監視カメラ11の故障を検知すると(S112のN)、サーバ50は、第1監視カメラ11の状態フラグを「異常」に更新し(S126)、第1車両ドア71と第2車両ドア72の二つの管理領域の映像を第2監視カメラ12の映像からトリミングし(S128)、トリミングの二つの映像をそれぞれ反転させ(130)、第1監視カメラ11が故障している間は、第1監視カメラ11、第2監視カメラ12の映像表示を行う分割表示画面の両方へ、第2監視カメラ12の映像を表示させる(S132)。
表示が終了すると、サーバ50は、監視システムを終了するか否かを判断し(S124)、終了する場合は(S124のY)、当該フローの処理(S110〜S134)を終了させる。終了しない場合(S124のN)は、第1監視カメラ11の状態監視(S112)へ戻る。
以上、本実施形態によると、第1の実施形態と同様の効果を得ることができる。また、第1監視カメラ11〜第4監視カメラ14に、画角調整の機械的な機構が備わっていない場合でも、対応することができるため、安価なカメラでも適用することができ、コストを低減できる。また、そのような機構の故障を考慮する必要が無く、長期の無故障運用が可能となる。
<第3の実施形態> 本実施形態では、監視カメラシステム100内の車掌室や管理室にいる監視者から確認しにくい場合、システムソフトウェアの操作画面上に操作ボタンを用意するか操作器により、第1〜第14監視カメラ11〜14が故障しなくても、対となるカメラによる映像処理を行う。例えば、第1監視カメラ11のレンズ汚れなどの要因で映像が不鮮明の場合に、第2監視カメラ12の映像が使用される。この処理は前述の状態監視により自動で切り替える手法と併用してもよい。
図14はサーバ50の動作を示すフローチャートである。図15は、サーバ50、第1監視カメラ11、第2監視カメラ12、モニタ80(分割領域A81、分割領域B82)のシーケンス図である。これらの図を参照して、第1車両ドア71の監視映像を第1監視カメラ11の映像から第2監視カメラ12の映像への切替操作又は切替戻し操作について説明する。
操作ボタンや操作器へ操作が行われると(S210)、サーバ50は操作内容がカメラの切替操作であるか切替戻し操作であるかを判断する(S212)。切替戻し操作である場合(S212のN)、サーバ50は第2監視カメラ12に対して画角縮小の指示コマンドを送信する(S214)。これにより、サーバ50は、正常運用による第1監視カメラ11の第1車両ドア71の映像及び第2監視カメラ12の第2車両ドア72の映像を取得する。
サーバ50は、第2監視カメラ12の映像については反転処理を施し(S216)、第1監視カメラ11及び第2監視カメラ12の映像の表示指示を行う(S218)。この処理により、モニタ80の分割領域A81に第1監視カメラ11の映像が、分割領域B82に第2監視カメラ12の映像が表示される。
一方、S212の処理で、切替操作である場合(S212のY)、サーバ50は第2監視カメラ12に対して画角拡大の指示コマンドを送信する(S222)。第2監視カメラ12は、その指示に応じ、画角を拡大する。
第2監視カメラ12から画角拡大指示への応答があると、サーバ50は、第2監視カメラ12の映像から、第1車両ドア71及び第2車両ドア72のそれぞれの領域について所定の表示サイズにトリミングを行い(S224)、さらにトリミング後の二つの映像を反転処理し(S226)、それらの映像表示をするようにモニタ80へ指示する(S228)。この処理により、モニタ80の分割領域A81に第2監視カメラ12による第1車両ドア71が、分割領域B82に第2監視カメラ12の第2車両ドア72の映像が表示される。
モニタ80への表示指示が終了後(S218、S228)、監視システムを終了する場合は(S220のY)、サーバ50は監視を終了し、監視システムを終了しない場合(S220のN)、操作ボタンや操作器へ操作の検知へ戻る(S210)。
<第4の実施形態> 本実施形態では、第1〜第4監視カメラ11〜14の撮像範囲上に予めマーカを設置し閾値を持たせておく。レンズの汚れや傷等によって、マーカの識別状態が閾値を下回った場合は映像の監視が困難であると判断して、対となる監視カメラのうち一方の監視カメラの利用を停止し、他方の監視カメラの映像を用いる。
例えば、第1監視カメラ11の撮像範囲上において閾値を上回り回復した場合は、映像の監視が可能であると判断して第1監視カメラ11の映像へ切替えて戻す。この処理について、図16のフローチャート及び図17のシーケンス図を用いて説明する。
監視システムが起動すると、サーバ50は、第1〜第4監視カメラ11〜14の状態監視を実行し、モニタ80への監視映像の表示を継続する(S310〜S336)。
サーバ50は、撮像範囲上に予め設けられたマーカを識別し、所定の閾値と比較し、映像が監視に適した正常な状態であるか否かを判断する(S312)。第1監視カメラ11が正常であれば(S312のY)、サーバ50は、前回判断時の状態が正常であったか否かを判断する(S314)。
前回の状態フラグが「異常」であれば(S314のN)、サーバ50は、第1監視カメラ11が異常から復旧したものと判断し、第1監視カメラ11の状態フラグを「正常」に更新し(S316)、画角拡大状態となっている第2監視カメラ12に対して画角縮小の指示コマンド、すなわち正常運用の画角サイズに戻る指示コマンドを送信する(S318)。画角縮小の指示を受けた第1監視カメラ11は、正常運用中に取得している画角サイズへ戻すよう画角調整を行う。
前回の状態フラグが「正常」である場合(S314のY)、または、上記の第2監視カメラ12への画角縮小の指示コマンド送信後(S318)、サーバ50は第2監視カメラ12から取得した映像を反転処理し(S320)、正常運用中の表示処理として、第1監視カメラ11及び第2監視カメラ12の映像をモニタ80へ表示するよう指示する(S322)。
その後、第1監視カメラ11及び第2監視カメラ12を表示するモニタ80の分割表示画面の表示更新を行う。分割領域A81へ第1監視カメラ11の映像、分割領域B82へ監視カメラBの映像を表示する。
表示が終了すると、サーバ50は、監視システムを終了するか否かを判断し(S324)、終了する場合は(S324のY)、当該フローの処理(S310〜S336)を終了させる。終了しない場合(S324のN)は、第1監視カメラ11の状態監視(S312)へ戻る。
一方、第1監視カメラ11の状態が正常であるかの判断処理において、第1監視カメラ11の異常、すなわちマーカの識別状態の異常を検知すると(S312のN)、サーバ50は、第1監視カメラ11の状態フラグを「異常」に更新し(S326)、第1監視カメラ11の対となる第2監視カメラ12に対し、画角拡大の指示コマンドを送信する(S328)。
画角拡大の指示を受けた第2監視カメラ12は、正常運用中に取得している画角サイズより広く取得するよう画角調整を行う。その結果、上述の図6で説明したように、第2監視カメラ12の映像は、第1車両ドア71と第2車両ドア72の両方を含めた広範囲の領域を含む。これにより第2監視カメラ12は、第1車両ドア71及び第2車両ドア72の両方の監視を行うことが出来る映像を取得する。
サーバ50は、第2監視カメラ12から取得した第1車両ドア71及び第2車両ドア72を含む映像から、第1車両ドア71及び第2車両ドア72の領域を抽出する表示サイズトリミング処理を行い、正常運用時の監視領域サイズにトリミングする(S330)。
さらに、サーバ50は、正常運用時の映像表示の向きと同じになるように、第2監視カメラ12からトリミングした第1車両ドア71及び第2車両ドア72の映像を反転し(S332)、反転後の映像を表示するように指示する(S334)。
その後、第1監視カメラ11及び第2監視カメラ12を表示するモニタ80の分割表示画面の表示更新を行う。第1監視カメラ11が故障している間は、第1監視カメラ11、第2監視カメラ12の映像表示を行う分割表示画面の両方へ、第2監視カメラ12の映像を表示する。表示する第2監視カメラ12の映像は、各監視カメラの正常運用時の監視領域サイズにトリミングし反転する。
表示が終了すると、サーバ50は、監視システムを終了するか否かを判断し(S324)、終了する場合は(S324のY)、当該フローの処理(S310〜S336)を終了させる。終了しない場合(S324のN)は、第1監視カメラ11の状態監視(S312)へ戻る。
<第5の実施形態> 本実施形態では、1車両(車両40)が3ドア構成など、車両ドアの数が奇数の場合も実現可能である。図18は、このときの構成図を示す。第1監視カメラ11は予め画角を広く設定した監視範囲30Bとする。このとき、第1監視カメラ11は、第1車両ドア71及び第2車両ドア72を監視する。
また、第3監視カメラ13は通常の監視範囲30Cで第3車両ドア73を監視する。第2車両ドア72の監視は第3監視カメラ13が行ってもよいし、第1監視カメラ11及び第2監視カメラ12の両方で行ってもよい。
例えば第1監視カメラ11が故障した場合は、第2監視カメラ12の画角を広くし第1車両ドア71〜第3車両ドア73の映像を取得する。また、第3監視カメラ13が故障した場合は第1監視カメラ11の画角を更に広くし第1車両ドア71〜第3車両ドア73の映像を取得する。画角及びトリミング枚数が4ドア構成の際と異なるが、各処理のフローチャート及びシーケンスは、上述した図9、10、12〜17と同様の処理で実施可能である。
以上、本発明を実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
例えば、車両ドアを車両外に取り付けた監視カメラにより監視する運用形態で実現されるが、車両ドアを車両内より監視するもしくは車両内部を監視する運用形態で実施してもよい。また、映像のトリミングと反転のタイミングは、入れ替えてもよく、処理効率の観点から適宜処理順が設定されうる。
1〜4 第1〜第4車両11〜14、11a〜14a、11b〜14b 第1〜第4監視カメラ30、30A〜30C 監視範囲40 車両50 サーバ51 録画装置52 上位サーバ60 乗客71〜74 第1〜第4車両ドア80 モニタ81〜84 分割領域A〜D99 ホーム100 監視カメラシステム140、142 モニタPC144〜147 L2−SW

Claims (3)

  1. 共に列車の第1の車両ドアと第2の車両ドアを撮像する、第1のカメラと第2のカメラと、前記第1及び前記第2のカメラの映像を取得するとともに、前記第1及び前記第2のカメラの状態を監視する制御部と、を備えた監視システムであって、
    前記制御部は、
    前記第1のカメラの状態が正常であり、かつ前記第2のカメラの状態が正常である場合、前記第1のカメラの映像から前記第1の車両ドアの領域をトリミングし、前記第2のカメラの映像から前記第2の車両ドアの領域をトリミングし、
    前記第1のカメラの状態が異常であり、かつ前記第2のカメラの状態が正常である場合、前記第2のカメラの映像から前記第1の車両ドアの領域をトリミングし、前記第2のカメラの映像から前記第2の車両ドアの領域をトリミングすることを特徴とする監視システム。
  2. 前記制御部は、
    前記第1のカメラの状態が正常であり、かつ前記第2のカメラの状態が正常である場合、前記第2のカメラの映像からトリミングした前記第2の車両ドアの映像を反転し、
    前記第1のカメラの状態が異常であり、かつ前記第2のカメラの状態が正常である場合、前記第2のカメラの映像からトリミングした前記第1の車両ドアの映像と前記第2の車両ドアの映像を反転する
    ことを特徴とする請求項1に記載の監視システム。
  3. 列車の第1の車両ドアと第2の車両ドアを共に、第1のカメラと第2のカメラで監視する監視方法であって、
    前記第1及び前記第2のカメラの状態を監視する状態監視工程と、
    前記第1のカメラの状態が正常であり、かつ前記第2のカメラの状態が正常である場合、前記第1のカメラの映像から前記第1の車両ドアの領域をトリミングし、前記第2のカメラの映像から前記第2の車両ドアの領域をトリミングする、正常時の映像取得工程と、
    前記第1のカメラの状態が異常であり、かつ前記第2のカメラの状態が正常である場合、前記第2のカメラの映像から前記第1の車両ドアの領域をトリミングし、前記第2のカメラの映像から前記第2の車両ドアの領域をトリミングする、異常時の映像取得工程と、
    を備えることを特徴とする監視方法。
JP2019509121A 2017-03-28 2018-03-07 監視システム及び監視方法 Active JP6845306B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017062942 2017-03-28
JP2017062942 2017-03-28
PCT/JP2018/008790 WO2018180310A1 (ja) 2017-03-28 2018-03-07 監視システム及び監視方法

Publications (2)

Publication Number Publication Date
JPWO2018180310A1 JPWO2018180310A1 (ja) 2019-11-14
JP6845306B2 true JP6845306B2 (ja) 2021-03-17

Family

ID=63675330

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019509121A Active JP6845306B2 (ja) 2017-03-28 2018-03-07 監視システム及び監視方法

Country Status (4)

Country Link
US (1) US20210124934A1 (ja)
EP (1) EP3606056B1 (ja)
JP (1) JP6845306B2 (ja)
WO (1) WO2018180310A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL3752405T3 (pl) * 2018-04-11 2024-01-22 Siemens Mobility GmbH Układ do monitorowania zewnętrznych obszarów pojazdu szynowego
JP7082687B2 (ja) * 2018-12-27 2022-06-08 株式会社日立国際電気 列車監視システム
SE543788C2 (en) * 2019-04-04 2021-07-20 Icomera Ab System and method for door error detection
WO2021191998A1 (ja) * 2020-03-24 2021-09-30 株式会社日立国際電気 監視システム及びカメラ
GB2617005A (en) * 2020-12-22 2023-09-27 Hitachi Int Electric Inc Monitoring system and monitoring method
WO2022180657A1 (ja) * 2021-02-24 2022-09-01 株式会社日立国際電気 列車監視システム及び列車監視方法
CN113298057B (zh) * 2021-07-27 2021-10-01 浙江力嘉电子科技有限公司 非现场执法系统异常检测方法及装置、电子设备、存储介质
CN116980562B (zh) * 2023-07-11 2024-05-24 武汉盈信通科技有限公司 一种通信设备远程控制系统及方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4618558B2 (ja) * 2006-03-02 2011-01-26 日本ビクター株式会社 映像撮像制御システム
JP2009111677A (ja) * 2007-10-30 2009-05-21 Victor Co Of Japan Ltd 映像撮像制御システム
JP2012249117A (ja) * 2011-05-30 2012-12-13 Hitachi Ltd 監視カメラシステム
WO2015145736A1 (ja) * 2014-03-28 2015-10-01 株式会社日立国際電気 モニタリングシステム及びモニタリング方法
EP2950285B1 (en) * 2014-05-26 2016-10-05 Axis AB Automatic configuration of a replacement camera

Also Published As

Publication number Publication date
EP3606056A1 (en) 2020-02-05
US20210124934A1 (en) 2021-04-29
EP3606056A4 (en) 2020-09-23
EP3606056B1 (en) 2022-12-28
JPWO2018180310A1 (ja) 2019-11-14
WO2018180310A1 (ja) 2018-10-04

Similar Documents

Publication Publication Date Title
JP6845306B2 (ja) 監視システム及び監視方法
JP6456358B2 (ja) モニタリングシステム及びモニタリング方法
JP6758203B2 (ja) 監視システム及び監視方法
EP1128676B1 (en) Intruding object monitoring method and intruding object monitoring system
JP7290199B2 (ja) 遠隔監視制御装置、システム、方法、及びプログラム
KR102187021B1 (ko) 전방 저속 차량 알림 시스템
JP6902109B2 (ja) 表示装置、撮像表示システム、および、列車
JPWO2019026159A1 (ja) 映像表示システム及び映像表示方法
JP7166753B2 (ja) 監視システム及び監視方法
JP6955584B2 (ja) ドア映像表示システムおよびモニタ
EP3647153B1 (en) Train coupling support system
JP2016092814A (ja) 360度全景ドライブレコーダー
JP2021002835A (ja) 監視システム及び監視方法
JP6952929B2 (ja) 列車監視システム
KR20090076424A (ko) 열차 출입문 모니터링 시스템 및 방법
JP2014240312A (ja) エレベータの監視システム
CN117459708A (zh) 一种无人驾驶矿车的车载影像系统及故障检测控制方法
KR101155184B1 (ko) 복수의 촬영수단간 협업을 이용한 영상추적 시스템
KR102644146B1 (ko) 차량의 운행정보를 반영한 영상 관제 기능을 갖는 avm 시스템 및 그 방법
KR102644145B1 (ko) 차량의 운행정보를 반영한 차량용 실시간 avm 시스템 및 그 방법
WO2020137113A1 (ja) 列車監視システム
JP6934986B2 (ja) 映像表示システム及び映像表示方法
KR20250043070A (ko) 철도 공사 차량의 운행 안전 보조 시스템
WO2024195154A1 (ja) 画像システム及び撮像装置
JP2024150867A (ja) 遠隔監視システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190724

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200911

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210225

R150 Certificate of patent or registration of utility model

Ref document number: 6845306

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350