JP7170411B2 - 情報処理装置および方法およびコンピュータプログラム、並びに監視システム - Google Patents

Description

本発明は、情報処理装置および方法およびコンピュータプログラム、並びに監視システムに関するものである。

近年、映像から危険もしくは異常な状態を検出する手法が、さまざまな用途で広く利用されている。たとえば、病棟や介護施設に設置されたカメラの映像から患者や入居者の危険な状態を検出したり、工場に設置されたカメラの映像から、作業の誤りを検出したりする用途がその代表例である。

人物や物体、状況などの状態のうち、検出システムが検出の対象とする状態のことを、本明細書では対象状態と呼ぶ。映像に基づく検出は、対象状態に対応した特定の処理方法によって実行される。たとえば「物体が移動している状態」が対象状態である場合は、物体検出や動きベクトル推定などの処理を行い、設定された閾値を上回る場合に検出する、などの処理方法が実行される。このような、映像に基づく検出にかかる一連の処理方法やパラメータなどの条件を定義したものを、本明細書では検出ルールと呼ぶ。

検出ルールは、対象状態に対応して定義される。しかしながら、適切な対象状態は人物や物体、状況などによって変化する場合がある。たとえば、関係者のみが侵入可能な施設では部外者の侵入は対象状態だが、関係者の侵入は対象状態ではない。このような場合、対象の人物や状況などに応じて検出ルールを変化させる必要が生じる。

特許文献１では、人物ごとに設定された対象状態を検出する手法が開示されている。この手法では、映像から人物および人物の状況を推定する。次に、推定された状況と該人物に設定された対象状態を比較し、一致する場合に検出を行う。これによって、人物ごとに対象状態が異なる場合でも、適切な検出を行うことができる。

特許文献２では、人物や乗り物の行動権限レベルを取得し、行動権限レベルにおいて設定された対象状態を検出する手法が開示されている。この手法でも、人物や乗り物によって対象状態が異なる場合の検出を行うことができる。

特許第５８４５５０６号公報 国際公開第２００７／１３８８１１号公報

特許文献１の手法では、人物ごとに設定された対象状態を映像から検出する。しかしながら、対象状態を設定することについては記載も示唆もない。それ故、人物に対応した対象状態が自明ではない場合や多様な場合など、対象状態を設定すること自体が困難な場合には適用困難となる。

特許文献２の手法では、行動権限レベルごとに設定された対象状態を映像から検出する。しかしながら、特許文献１と同様に対象状態を設定するものではないので、同様の問題を有する。

本発明では、対象物の状態の設定が困難な場合であっても、簡単に対象状態の注視すべき動作を設定でき、その動作を監視可能とする技術を提供しようとするものである。

この課題を解決するため、例えば本発明の情報処理装置は以下の構成を備える。すなわち、
人物或いは機械の作業の段階を示す情報を入力する入力手段と、
該入力手段で入力した前記人物或いは機械の作業の段階を示す情報に基づき、前記人物或いは機械の検出すべき動作を定義するルール情報を取得する取得手段と、
映像内の前記人物或いは機械の、前記取得手段で取得したルール情報が示す検出すべき動作を検出する検出手段とを有する。

本発明によれば、対象物の状態の設定が困難な場合であっても、簡単に対象状態の注視すべき動作を設定でき、その動作が監視可能となる。

第１の実施形態における見守りシステムの構成図。 第１の実施形態における状態ルール設定部のGUIの一例を示す図。 第１の実施形態におけるデータ入力部のGUIの一例を示す図。 第１の実施形態における検出ルール設定部のGUIの一例を示す図。 第１の実施形態における検出結果提示部のGUIの一例を示す図。 第１の実施形態における検出ルール設定フローの一例を示す図。 第１の実施形態における検出フローの一例を示すフロー図。 第２の実施形態における見守りシステムの構成図。 第２の実施形態における検出設定修正部のGUIの一例を示す図。 第３の実施形態における見守りシステムの構成の一例を示す図。 第４の実施形態における作業指示データの一例を示す図。 第４の実施形態における作業指示データの一例を示す図。 第４の実施形態における作業管理システムの構成の一例を示す図。 第１の実施形態における動作概要を説明するための図。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。なお、以下に説明する各実施形態は、見守りシステムに適用した例を説明する。本実施形態における見守りシステムは、病院の患者の危険もしくは異常な状態を対象状態とし、対象状態の検出ルールを自動設定する。さらに、検出ルールに基づいてカメラの映像から対象状態の患者を自動検出する。

病院では、患者の危険もしくは異常な状態を発見し速やかに対処することで、状態の悪化を防いだり、未然に防止したりする需要が存在する。しかしながら、患者一人ひとりの状態を高頻度に確認することは作業コストが高く難しい。このような場合に、カメラと連携し、患者の危険もしくは異常な状態を対象状態とする検出システムを導入することで、少ない作業コストで異常な状態を発見することが期待できる。

ただし、危険もしくは異常な状態は患者ごとに異なる場合がある。たとえば、歩行である。一般的な患者にとって歩行は正常な状態だが、絶対安静が必要な患者にとっての歩行は異常な状態である。このような患者ごとの違いに対応するためには、患者ごとに検出システムの検出ルールを変化させる必要がある。

しかし、その一方で、患者ごとに検出ルールを手動設定する場合、検出ルールの設定にかかる作業コストが患者の数に比例して高くなるという課題がある。また、患者の状態は症状や治療状況の進行とともに変化するため、検出ルールも対応して再設定が必要となる場合がある。そのため、より小さい作業コストで検出ルールを設定できることが求められる。

本実施形態における見守りシステムは、後述する患者の診療データに基づいて、患者に対応した対象状態および検出ルールを自動設定し、自動設定された検出ルールに基づいて対象状態を検出することを特徴とする。

ここで、診療データとは患者ごとに対応する、氏名や顔画像などの個人情報と、症状や看護指示など一つ以上の診療情報を含むカルテなどのデータである。診療データは特定の形式に限定されない。たとえば、紙などの物理媒体の文書であってもよいし、電子化されていてもよい。

診療情報の一例としては、病名、症状、患部の位置、手術の記録、看護指示の情報などある。診療情報の形式は特定の形式に限定されない。たとえば、任意もしくは特定のテキストであってもよいし、カテゴリや値で表現される属性であってもよい。さらに、特定の特徴空間で表現される特徴量もしくは分布であってもよい。

本実施形態における見守りシステムの利用方法の一例としては、たとえば病棟で入院患者の対象状態を検出するものや、病院と患者の家庭でシステムを連携させ、病院の診察結果に対応する対象状態を家庭内で検出するものなどが考えられる。

［第１の実施形態］
図１は第１の実施形態における見守りシステムの構成の一例を示す構成図である。このシステムは、同図のように、検出ルール記憶装置1、端末装置10、検出設定装置20、映像配信装置30、検出装置40を有する。なお、これらの装置間は、ネットワークを介して接続されていてもよい。このネットワークには、たとえば固定電話回線網や携帯電話回線網、インターネットなどが適用できる。また、通信形態は有線、無線を問わない。また、これらの装置はいずれかの装置に内包されるものであってもよい。

検出ルール記憶装置1は、検出ルールを記憶する記憶装置である。検出ルール記憶装置1には、ハードディスクドライブ(HDD)やソリッドステートドライブ(SSD)、SDメモリーカードなどの記憶装置が適用できる。なお、検出ルール記憶装置1は複数存在し、検出ルールを分散して記憶していてもよい。

本実施形態における検出ルールは、対象状態を検出するための処理方法および処理のパラメータを含む定義である。ここで、検出ルールが定義する処理方法には、１つ以上の処理モジュールと、処理モジュールの実行順序および入出力の情報、検出判定の条件を含む。

なお、本実施形態における検出ルールは、対象の患者を検出するための処理を含むことを特徴とする。本実施形態では、対象の患者を検出する処理およびパラメータの定義を特に人物検出ルールと呼び、対象状態を検出する処理およびパラメータの定義を状態検出ルールと呼ぶ。検出時は、まず人物検出ルールによって映像中の患者を検出し、次に検出された患者に対応する状態検出ルールが実行される。

人物検出ルールの処理方法は特定の方法に限定されない。たとえば、顔画像を照合する方法でもよいし、センサと組み合わせて、患者が身に着けたIDタグを読み取る方法でもよい。顔画像を照合する場合の一例としては、(1)顔検出処理によって、映像中の顔領域を検出し、(2)検出された顔領域の画像から局所特徴量を抽出し、 (3)事前に登録された患者の特徴量と類似度が閾値以上であった場合、検出するといった処理方法が考えられる。またこの場合、患者の特徴量や類似度の閾値などがパラメータとして考えられる。

状態検出ルールの処理方法も、特定の方法に限定されない。たとえば、処理モジュールとして姿勢推定と動きベクトル推定がある場合に、(1)映像の各フレームから姿勢を推定し、(2)推定された姿勢から手足の座標を抽出し、(3)手足の座標について前後のフレームから動きベクトルを推定し、(4)閾値以上の動きが推定された場合に検出する、といった処理方法が考えられる。またこの場合、動きベクトルを推定する際の探索範囲の大きさや、検出判定の閾値などがパラメータとして考えられる。

また、患者が特定の部位（例えば右手）を動かしているか、杖を用いて歩行しているか等の患者の行動と状態の推定を、ＣＮＮ（convolutional Neural Network）を用いて行っても良い。

なお、検出ルールは映像中の単一フレームに対応するものであってもよいし、複数のフレームに対応するものであってもよい。さらに、検出ルール記憶装置1は、検出ルールに対応する患者の個人情報や対象状態を検出ルールと紐づけて記憶してもよい。

端末装置10は、システムの使用者が利用するコンピュータ装置であり、情報提示部11と操作検出部12とを備えている。端末装置10には、たとえばパーソナルコンピュータ(PC)に代表される情報処理装置であり、タブレットPC、スマートフォン、フィーチャーフォン、スマートスピーカーなどが適用できる。なお、端末装置10は複数存在していてもよく、その場合に互いに通信し、情報を共有していてもよい。

情報提示部11は、画像表示パネルやスピーカーなどの出力デバイスを備えており、検出設定装置20から入力した情報を提示する。情報の提示手段は特定の方法に限定されない。たとえば、画面表示パネル上に各種のユーザーインターフェース(UI)を表示してもよいし、情報を音声化してスピーカーから再生してもよい。なお、前記UIはコマンドUI(CUI)でもよいし、グラフィカルUI(GUI)でもよい。

操作検出部12は、コントローラ、キーボード、マウス、タッチパネル、マイクなどの入力デバイスを備え、システムの使用者の操作を検出するとともに、検出した操作を示す操作情報を検出設定装置20に出力する。操作検出部12の入力デバイスは、情報提示部11の出力デバイスと一部または全体が共有もしくは結合されていてもよいし、分離していてもよい。

検出設定装置20は、外部装置から入力された診療データに基づいて、対象となる人物の人物検出ルールおよび状態検出ルールを設定し、検出ルール記憶装置1に出力する装置である。外部装置が記憶する診療データは、個々の患者を同定する患者ＩＤ、その患者のカルテ（もしくは診療情報）をはじめ、その患者の顔を識別するための情報が含まれるものとする。なお、患者の同定に、ＩＤタグを利用する場合、そのＩＤタグと患者ＩＤとの対応関係を示すテーブルが外部記憶装置に記憶される。

検出設定装置20は、状態ルール記憶部26、状態ルール設定部21、データ入力部22、内容解析部23、対象状態設定部24、検出ルール設定部25を備える。検出設定装置20は、例えばパーソナルコンピュータ等の情報処理装置で構成し、各処理部はCPUが実行する制御プログラムやアプリケーションプログラムで実現して構わない。

状態ルール記憶部26は、状態ルール設定部21から入力された後述の状態ルールを記憶し、対象状態設定部24に出力する。ここで、状態ルールとは後述する根拠情報に基づいて、危険もしくは異常となる状態を対象状態として出力するための処理方法および処理のパラメータを含む定義である。

本実施形態では、対象状態は特定の形式に限定されない。たとえば「右腕を動かしている」などのテキストであってもよいし、「対象: 右腕, 動き量: 10以上」など項目と値や範囲の1つ以上の組み合わせで表現されるものであってもよい。また、動き量や腕の角度などの項目に対応した1つ以上の座標軸を持つ空間上の点や集合、範囲、分布、条件式などで表現されるものであってもよい。さらに、対象状態の候補となる集合から選択されるものであってもよい。

本実施形態における根拠情報とは、対象状態を決定するための根拠となる情報である。根拠情報は特定の形式に限定されない。たとえば、任意もしくは特定のテキストであってもよいし、属性を示すカテゴリや値であってもよい。さらに、画像や音声などであってもよいし、これらの組み合わせであってもよい。

なお、本実施形態における見守りシステムでは、診療情報を根拠情報として用い、以後は根拠情報が診療情報だった場合について説明する。ただし、実施形態における根拠情報は診療情報に限定されるものではない。

状態ルールの形式は特定の形式に限定しない。たとえば、状態ルールの形式の一例として、診療情報ごとに状態の危険度が定義され、診療情報および危険度の閾値が入力されると、診療情報のもとで閾値以上の危険度である状態を出力するものがある。この場合、たとえば診療情報が「右足を骨折」の場合、「松葉杖なしで歩行」は危険度“80”、「松葉杖ありで歩行」は危険度“30”などと定義され、危険度の閾値に“50”が指定されたときは「松葉杖なしで歩行」を対象状態として出力するものなどが考えられる。

状態ルールの形式の他の一例としては、診療情報から人物の損傷部位や損傷の程度の情報が抽出できる場合に、損傷部位への負荷が許容範囲を超える状態を対象状態として出力するものが考えられる。この場合、状態ルールでは損傷部位と損傷の程度に基づく、許容される負荷の範囲があらかじめ定義される。処理としては、たとえば「右足を骨折」などの診療情報から損傷部位が「右足」、損傷の程度が「骨折」であることを、対応するキーワードに基づいて抽出する。その後、各状態について損傷部位への負荷を算出し、あらかじめ定義された許容範囲を超える場合に対象状態として出力するものなどが考えられる。なお、各状態における負荷の算出は、あらかじめ定義されたものを参照してもよいし、物理シミュレーションによって計算してもよい。

状態ルールの形式の他の一例としては、診療情報から抽出した制限・禁止事項に関する情報を抽出し、制限・禁止事項に違反する状態を対象状態として出力するものが考えられる。この場合、たとえば「就寝時はうつ伏せにならないこと」といった診療情報から、「ならない」などの禁止を示すキーワードがあった場合、対応する「就寝時にうつ伏せになる状態」を対象状態として設定するものなどがある。

状態ルールの形式の他の一例としては、対象状態が特定の座標軸を持つ空間上で表現される場合、診療情報に対応する「あるべき状態」との空間的距離に基づいて生成される異常度に基づいて対象状態を出力するものが考えられる。この場合、診療情報に対応する「あるべき状態」は、あらかじめ定義されていてもよいし、キーワードに基づいて生成してもよい。たとえば、状態を示す空間の座標軸が人体の各部位の動き量に対応する場合、「右腕を安静に保つこと」という診療情報からは「右腕」と「安静」というキーワードが抽出され、対応する「あるべき状態」として右腕の動き量に対応する座標軸の値が安静とみなせる一定の閾値以下となる範囲が生成される。「あるべき状態」が決定すれば、空間的距離が一定の閾値以上となる範囲を対象状態として出力する。なお、安静とみなすことができる動きの大きさの範囲など、各種閾値のパラメータも状態ルールであらかじめ定義されるものとする。

さらに、状態ルールは複数の診療情報に基づいて対象状態を出力してもよい。たとえば、閾値を定数ではなく、年齢に対応する分布で定義することで、「80歳」など年齢に関する診療情報と、「激しい運動は禁止」など運動制限に関する診療情報を組み合わせ、80歳の場合に激しい運動とみなされる運動強度に対応する状態を対象状態として出力してもよい。

また、「階段から転落」など診療情報に依存しない対象状態については、常に出力してもよい。

状態ルール設定部21は、状態ルールを設定（又は作成）し、状態ルール記憶部26に出力する。この状態ルール記憶部26は、複数の状態ルールを記憶可能である。状態ルールを設定する方法は特定の方法に限定しない。たとえば、設定のためのGUIを提供することで、医療者などシステムの使用者が手動で定義してもよいし、医療用のエキスパートシステムを利用して定義してもよい。また、診療情報と患者の状態の組で構成される学習データに基づいて、Deep Learningなどの機械学習手法を用いることで定義してもよい。

なお、状態ルール設定部21では、診療データを入力する前に状態ルールを設定し、診療データごとに個別設定はしない。ただし、診療データの入力後に状態ルールを設定することを制限はしない。

状態ルール設定部21がGUIを提供する場合の一例を図２に示す。図２は、各状態の危険度と閾値に基づいて、診療情報ごとに対象状態を決定する状態ルールを設定するGUIを表している。参照符号U21-1は登録された診療情報のリストである。リストの各行は各診療情報に対応し、左端のチェック欄をクリックすることで、設定対象の診療情報を選択することができる。参照符号U21-2は診療情報を登録する入力欄である。テキストフィールドに診療情報のテキストを入力した状態で、右の追加ボタンをクリックすることで、診療情報を追加登録することができる。参照符号U21-3は、登録された状態と危険度のリストである。リストの各行は各状態に対応し、右端の危険度入力欄には各状態の危険度を数値で入力することができる。なお、危険度は参照符号U21-1で選択されている診療情報ごとに独立して設定する。参照符号U21-4は、状態を登録する入力欄である。ここでは参照符号21-2と同様にして、状態を追加登録できる。参照符号U21-5は、危険度の閾値を入力する欄である。ここに数値を入力すると、対象状態となる危険度の閾値が設定される。

図２に示すGUIを用いて、システムの使用者が状態ルールを設定する具体例を示す。ここでは、状態ルールは診療情報と危険度の閾値に基づいて対象状態を出力するものとする。まず、システムの使用者は、GUI上で「右足を骨折」、「左足を骨折」などの診療情報をテキスト形式で入力・登録する。次に、「松葉杖なしで歩行」、「右足を衝突させる」、「左足を衝突させる」などの状態を診療情報と同様に登録する。その後、診療情報ごとに、各状態の危険度を“0”以上の値で入力する。なお、各状態の危険度は初期値として“0”が入力されていてもよい。さらに、検出対象の危険度の閾値を入力する。以上により、入力された診療情報ごとに危険度の閾値以上の状態を対象状態として出力する状態ルールが設定される。

ただし、状態ルール設定部21のGUIは図２の例に限定されるものではなく、任意のGUIを用いてよい。たとえば、人体を示す画像を表示し、患部に対応する部分に症状を示すアイコンを重畳表示させることで診療情報を表現してもよい。また、対象状態が空間上で表現される場合、空間の各座標軸に対応するスライダーコンポーネントを備え、スライダーコンポーネントの操作により対象状態を定義してもよい。

データ入力部22は、検出設定装置20の入力となる診療データを外部装置から取得し、内容解析部23に出力する。診療データは電子カルテシステムなどのデータベースやCSVなど所定の形式のファイルから取得してもよいし、診療データを入力するGUIを提供することで取得してもよい。GUIを提供する場合、システムの使用者は端末装置10を用いて内容を入力および確認してもよい。また、診療データを外部装置から受信するのではなく、診療データが記載された紙などの物理的な媒体をスキャナーやカメラなどの入力デバイスを用いて画像化し、光学文字認識(OCR: Optical Character Recognition/Reader)などの認識手法を用いて取得してもよい。なお、データ入力部22が取得した診療データは、任意の記憶手段によって記憶されてもよい。

データ入力部22が電子カルテの入力GUIを提供する場合の一例を図３に示す。図３は患者の個人情報や看護指示を入力可能な電子カルテGUIを表している。参照符号U1-1は患者の氏名を入力するテキストフィールドである。参照符号U1-2とU1-3はそれぞれ患者の性別と年齢を入力するプルダウンメニューである。参照符号U1-4は看護師への指示のテキストを入力するテキストエリアである。参照符号U1-5は電子カルテGUIの入力完了を示すOKボタンと入力破棄を示すキャンセルボタンである。参照符号U1-6は、実施形態におけるシステムにて、一人の患者を特定するための患者ＩＤである（同姓同名の可能性があるため）。

ただし、データ入力部22のGUIは図３の例に限定するものではなく、任意のGUIを用いてよい。たとえば、患者の顔画像や症状、治療の記録を入力するコンポーネントを含んでいてもよい。また、外部の診療情報システムとの接続を選択するGUIであってもよい。また、GUI以外の異なるUIを用いてもよい。

なお、データ入力部22は診療データの部分または全体の定型パターンを設定するGUIを備え、定型パターンから1つまたは複数を選択することで、診療データを入力することを可能とするものであってもよい。

内容解析部23は、データ入力部22から入力された診療データを解析し、抽出された診療情報を対象状態設定部24に、患者の個人情報を検出ルール設定部25に出力する。診療データを解析する方法としては、潜在意味解析(LSA: Latent Semantic Analysis)などのテキスト認識や画像認識など、認識手法を用いた方法でもよいし、既定のキーワードに対応する単語を検索し抽出する方法でもよい。

また、あらかじめ診療データ中の略語や表記ゆれなどの表現を統一した表現に正規化したり、記号を言語に変換したりしてもよい。たとえば診療情報中に「右腕の手術直後のため、右腕を安静に保つほか、食後にA薬を飲むこと」という記述のテキストがあった場合、抽出される診療情報の例としては「右腕の手術直後」、「右腕を安静」、「食後にA薬を飲む」などが考えられる。

内容解析部23が行う処理の具体的な一例を示す。ここでは、図２に示すGUIなどによって、診療情報の候補が「右足を骨折」、「自力で寝返りができない」などテキスト形式であらかじめ定義されているものとする。このとき、内容解析部23は、各診療情報に潜在意味解析手法を適用し、診療情報ごとの潜在意味を抽出する。次に、診療データを「階段から転落し、右足を骨折」など文ごとに分解した上で、潜在意味解析手法を適用し、診療データの各文について潜在意味を抽出する。その後、診療情報と診療データの各潜在意味の類似度を算出し、診療データの潜在意味との類似度が近い診療情報を、診療データに対応する診療情報として抽出する。たとえば、診療データとして「階段から転落し、右足を骨折」が与えられた場合は、類似度が高い「右足を骨折」などの診療情報が抽出される。

対象状態設定部24は、内容解析部23から診療情報を受信した場合に、その診療情報に合致する状態ルールを状態ルール記憶部26から自動的に検索し、合致した状態ルールを、検出ルール設定部25に出力する。対象状態を設定する方法としては、各状態ルールで定義された処理方法に診療情報を入力することで、出力された状態を対象状態として設定する。また、診療情報が複数存在する場合、各診療情報に対応して出力された各状態を対象状態として設定してもよい。なお、状態が出力されなかった場合は、対象状態を設定しなくともよい。

たとえば、状態ルールが診療情報と危険度の閾値を入力すると、診療情報のもとで危険度が閾値以上となる状態を出力するものであった場合、対象状態設定部24は、状態ルールに診療情報と危険度の閾値を入力する。危険度の閾値は、システムの使用者が入力可能なGUIを提供することで設定してもよいし、あらかじめ定義された既定値を用いてもよい。一人の患者に対して、診療情報が複数存在する場合は、各診療情報について状態ルールを適用し、複数の対象状態を設定する。

なお、対象状態設定部24は、設定された対象状態を表示し、対象状態として使用するかどうかを選択可能なGUIを提供し、システムの使用者が認めた対象状態のみを出力してもよい。さらに、状態ルールが複数存在する場合、適用する状態ルールを選択可能なGUIを提供し、システムの使用者が任意に選択してもよい。たとえば、終末期医療用の状態ルールや外科病棟用の状態ルールなど、状態ルールの集合である状態ルールセットが複数存在し、各状態ルールセットの概要を表示するとともに、システムの使用者が選択可能なGUIを提供してもよい。また、診療情報に基づいて複数の状態ルールから適用する状態ルールを選択してもよい。

検出ルール設定部25は、内容解析部23から入力された患者の個人情報と対象状態設定部24から入力された対象状態に基づいて検出ルールを設定し、検出ルール記憶装置1に出力する。本実施形態における検出ルールは、人物検出ルールと状態検出ルールを含むことを特徴とし、検出ルール設定部25では個人情報に対応する人物検出ルールと、対象状態に対応する状態検出ルールを設定する。

本実施形態における人物検出ルールは、患者の個人情報に基づいて設定される。ただし、人物検出ルールの処理方法は特定の形式に限定しない。たとえば、あらかじめ用意した患者の顔画像と映像中の顔領域を比較・照合するものでもよいし、センサ連携することで患者が身に着けたIDタグを検出するものでもよい。また、人物検出ルールの処理方法は患者ごとに個別に設定されてもよいし、共通して設定されてもよい。

たとえば、人物検出ルールの処理方法が顔画像による照合を行うもので、全患者で共通している場合、検出ルール設定部25は患者の個人情報から顔画像を抽出し、照合に用いる顔の特徴を示すパラメータを設定することで、人物検出ルールを設定する。なお、顔の特徴を示すパラメータとしては、たとえばSIFT特徴量などが利用できる。この場合、映像から抽出した特徴量とあらかじめ抽出した特徴量の類似度に基づいて検出処理を行う。

本実施形態における状態検出ルールの設定方法は、特定の方法に限定しない。たとえば、対象状態が入力される度に適当な状態検出ルールを推定するものであってもよい。また、各対象状態に対応する状態検出ルールを事前に設定し、入力された対象状態に対応するものを参照するものであってもよい。また、状態検出ルールはシステムが自動設定するものであってもよいし、システムの使用者が手動で設定するものであってもよい。さらに、これらの組み合わせであってもよい。

状態検出ルールの設定方法の一例として、たとえば対象状態が「部位: 右腕, 動き量: 10以上」など1つ以上の属性の組み合わせによって表現される場合、各属性に対応した処理を設定することで、状態検出ルールを設定する方法がある。この例の場合、対象状態は人体の部位と動き量の属性で定義されており、たとえば部位属性に対応する処理として姿勢推定処理を、動き量属性に対応する処理として動きベクトル推定処理がそれぞれ自動設定できる。このように状態検出ルールが設定されると、右腕部分の動き量が10以上であった場合に検出を行うといった検出処理が実行できる。

その他、たとえば対象状態が特定の特徴量によって表現される場合、状態検出ルールは対応する特徴量を抽出する処理および、抽出された特徴量と対象状態の類似度を比較する処理を設定することで、状態検出ルールを自動設定することができる。

状態検出ルールを手動設定する方法の一例としては、対象状態ごとに対応する状態検出ルールをGUIで設定する方法がある。この場合に、検出ルール設定部25が提供するGUIの一例を図４に示す。図４は、システムの提供者が各対象状態に対応する状態検出ルールを設定するGUIを表している。参照符号U25-1とU25-2は対象状態を示す表で、各行が各対象状態に対応している。参照符号U25-1は、状態検出ルールを設定する対象を選択するチェックボックスの列である。参照符号U25-1では、1つもしくは複数の対象状態を選択することが可能で、複数選択の場合は選択された各対象状態については共通する状態検出ルールが設定される。U25-2は対象状態を示すテキストを表示する列である。参照符号U25-3からU25-6は、状態検出ルールを設定するためのプルダウンメニューおよびテキストフィールドである。参照符号U25-3からU25-6はそれぞれが状態検出ルールの処理およびパラメータに対応しており、順番に実行される。ただし、各処理がそれぞれ独立である場合は、順不同もしくは並列に実行されてもよい。なお、各処理のパラメータは選択された処理に応じて変化する。パラメータU25-3は人体部位の座標推定処理を表している。また、対象部位のパラメータとして右腕を設定している。パラメータU25-4は、動きベクトル推定処理を表している。ここでは対象座標のパラメータとしてパラメータU25-3の処理結果、すなわち右腕の推定座標を設定している。パラメータU25-5は、入力値が閾値以上であった場合に条件分岐を行う処理を表している。入力値のパラメータにはパラメータU25-4の出力、すなわち右腕部分の動きベクトルが、閾値のパラメータには“20”が設定されている。パラメータU25-6は、パラメータU25-5で定義された条件が満たされた場合にのみ実行され、検出処理を行うことを表している。これらの処理はプルダウンメニューおよびテキストフィールドから処理やパラメータを選択することで変更が可能である。ただし、状態検出ルールを設定するためのGUIは図４の例に限定するものではなく、任意のGUIを用いてよい。たとえば、対象状態を画像もしくは映像によって可視化し、表示するするコンポーネントを含んでもよい。また、処理ステップを追加もしくは削除するためのボタンコンポーネントを含んでもよい。

図４に示すGUIを用いて、対象状態の状態検出ルールを設定する具体例を示す。ここでは、状態検出ルールは対象状態ごとに独立して設定され、任意の数の処理ステップが順番に実行されるものとする。システムの使用者は、まずGUI上で状態検出ルールを設定する対象状態を選択する。次に、状態検出ルールが実行する各処理を処理ステップごとに設定する。処理ステップで実行可能な処理の候補はあらかじめシステム上で定義され、システムの使用者は処理の候補を選択し、パラメータを入力する。たとえば、「松葉杖なしで歩行」という対象状態については、次に示すような状態検出ルールを設定する。この状態検出ルールでは、行動認識によって歩行が検出され、物体検出によって松葉杖が検出されなかったときに対象状態を検出する処理およびパラメータが定義されている。
(1) 処理[行動認識]、パラメータ[(対象行動)歩行]
(2) 処理[物体検出]、パラメータ[(対象物体)松葉杖]
(3) 処理[条件分岐]、パラメータ[(条件)処理1が検出成功、かつ、処理2が検出失敗]
(3-1) 処理[検出通知]
ここで、条件分岐の処理は条件を満たした場合にのみ次の処理ステップを実行し、満たさなかった場合に処理を中断する処理を示している。また、検出通知の処理は対象状態を検出したことをシステムに出力する処理である。なお、各処理は異なるパラメータを持ち、システムの使用者が処理を選択すると、GUI上で対応するパラメータの入力欄が表示される。

なお、検出ルール設定部25によって対象状態に対応する状態検出ルールが設定できない場合は、検出ルールの設定に失敗したことを端末装置10の情報提示部11などに表示することで、システムの使用者に通知してもよい。

映像配信装置30は、映像を取得し、取得した映像を検出装置40に出力する装置である。映像配信装置30と検出装置40との通信はネットワークを介して接続されているものとするが、その通信形態は有線、無線を問わない。映像配信装置30は、ネットワークカメラやウェブカメラ、ウェアラブルカメラなどの撮像装置を備え、設置された環境の映像を取得および出力してもよいし、HDDやSSDなどの記憶装置を備え、記憶された映像を出力してもよい。また、映像配信装置30は、映像を取得する際に映像が撮影された場所や画角など、撮影環境の情報を取得し、映像と紐づけて出力してもよい。また、映像配信装置30は複数存在し、複数の映像を検出装置40に出力してもよい。

検出装置40は、検出ルールに基づいて、患者に対応した対象状態を検出し、検出結果を通知する装置である。検出装置40は、図1に記載の映像取得部41、検出判定部42、検出結果提示部43を備える。

映像取得部41は、映像配信装置30から映像を取得し、検出判定部42に出力する。検出判定部42は、映像取得部41から入力された映像と検出ルール記憶装置1から参照した検出ルールに基づいて、検出処理を行い、検出結果を検出結果提示部43に出力する。

検出判定部42は、まず人物検出ルールの処理を実行し、映像中に登録された患者が含まれることを検出する。登録された患者が検出されると、その患者に対応した状態検出ルールの処理を実行する。その後、検出結果として検出された対象状態を検出結果提示部43に出力する。ただし、登録された患者や対象状態が検出されなかった場合は、何も検出されなかったという情報を検出結果として出力する。

検出結果提示部43は、検出判定部42から入力された検出結果を可視化するGUIを提供し、端末装置10の情報提示部11に表示することで検出結果をシステムの使用者に提示する。また、表示する内容としては、検出の有無だけではなく、対象状態に関する情報や、システムの使用者が行うべき行動の指示など、関連する複数の情報を提示してもよい。また、検出結果を音声化し、スピーカーなどによって検出結果を提示してもよい。また、検出結果提示部43は、検出結果の提示方法および内容についての設定を行うGUIをさらに備え、システムの使用者が提示方法と内容を設定可能にしてもよい。

検出結果提示部43が提供するGUIの一例を図５に示す。図５は、検出時の映像上に検出結果の情報を重畳表示するGUIを表している。参照符号U43-1は、検出時の映像もしくは画像を表示するウインドウである。ウインドウU43-1が撮像した映像を表示する場合、再生や一時停止など映像をコントロールするためのボタンをさらに備え、表示してもよい。参照符号U43-2は、検出結果に対応する映像もしくは画像中の部分を示す枠である。ウインドウU43-1が映像を表示している場合、映像の変化に伴って枠U43-2も変形および移動する。参照符号U43-3は検出結果の詳細を表示するポップアップコンポーネントである。ポップアップコンポーネントU43-3が表示する内容としては、たとえば診療データ中の検出結果に対応する部分や、対象状態、検出ルールなどがある。

なお、図１では、検出装置20、検出ルール記憶装置1、及び検出装置40は個別の装置として示しているが、これらを１つの装置で実現しても構わない。また、その装置は端末装置10を包含しても構わない。

[第１の実施形態]
図６は本第１の実施形態における検出ルール設定フローの一例を表すフロー図である。以下、同図を参照して、本第１の実施形態における検出ルール設定フローについて説明する。
1. 状態ルール設定部21が状態ルールを設定する。この処理は、図６における処理ステップS101に対応する。
2. データ入力部22が患者の診療データを入力する。この処理は、図６における処理ステップS102に対応する。
3. 内容解析部23が診療データの内容を解析し、個人情報と診療情報を抽出する。この処理は、図６における処理ステップS103に対応する。
4. 対象状態設定部24が状態ルールと診療情報に基づく対象状態を設定する。この処理は、図６における処理ステップS104に対応する。
5. 検出ルール設定部25は、検出ルール記憶装置1が個人情報に対応する人物検出ルールを記憶していない場合、人物検出ルールを設定する。この処理は、図６における処理ステップS105、S106に対応する。
6. 検出ルール設定部25は、検出ルール記憶装置1が対象状態に対応する状態検出ルールを記憶していない場合、状態検出ルールを新規設定する。この処理は、図６における処理ステップS107、S108に対応する。
7. 検出ルール記憶装置1は、患者に対応した人体検出ルールおよび状態検出ルールを記憶する。この処理は、図６における処理ステップS109に対応する。

以上の処理により、患者の診療データに対応する検出ルールを設定することができる。ただし、本実施形態における処理フローは上記に限定されない。たとえば、診療データを入力する前に状態検出ルールの候補をあらかじめ設定してもよい。

図７は本実施形態における検出フローの一例を表すフロー図である。以下、同図を参照して処理フローを説明する。
1. 映像取得部41が、映像配信装置30から映像を取得する。この処理は、図７における処理ステップS201に対応する。
2. 検出判定部42が、検出ルール記憶装置1から検出ルールを取得する。この処理は、図７における処理ステップS202に対応する。
3. 検出判定部42が、人物検出ルールに基づいて、映像から患者を検出し、患者を同定（識別）する。この処理は、図７における処理ステップS203に対応する。
4. 患者が検出されなかった場合は処理を終了する。この処理は、図７における処理ステップS204に対応する。
5. 検出判定部42が、患者に対応した状態検出ルールに基づいて、映像中の患者の対象状態を検出する。この処理は、図７における処理ステップS205に対応する。
6. 検出結果提示部43が、システムの使用者に検出結果を提示する。この処理は、図７における処理ステップS2016に対応する。

以上説明したように、本第１の実施形態により、診療データに基づく検出ルールを設定し、映像から対象状態を検出することができる。ただし、ここで説明した検出ルールの設定方法および検出方法はあくまで一例であり、この例に限定されるものではない。

上記本第１の実施形態の動作をより分かりやすくするため、図１４を参照して再度説明する。尚、図１４は、図１に対応するものであるが、説明を簡潔にするため、幾つかの構成を省略している点に注意されたい。

状態ルール記憶部26には、物体の状態（右足骨折などの病名等）及び当該状態に起因する注視すべき物体の動作（松葉杖無しでの歩行等）を定義するルール情報が複数記憶されている（図２）。

今、内容解析部23が、新規に監視対象物体の状態を示す情報（患者ID：P00123の診療データ）を受信したとする。内容解析部23は、その情報を解析し、その結果（患者IDや病名）を検出する。対象状態設定部24は、この解析結果を示す受信し、状態ルール記憶部26に登録されている多数の状態ルールの中から、解析して得た状態に一致するルール情報を取得する。検出ルール設定部25は、対象状態設定部24からの情報に基づき、監視対象物（ここでは患者ID:P00123）の注視すべき動作を定義する情報を検出ルール記憶装置1の検出ルールデータベース1aに登録する。

今、映像取得部41が、或る映像配信装置30から対象物体（院内を歩行している人物）の映像を受信したとする。なお、この段階で、映像内に写っている対象物（人物）は患者であるか否かは問わない。検出判定部42は、その対象物体から特徴情報を抽出し、検出ルール記憶部1内の監視対象物体データベース（患者データベース）1bに登録されている特徴情報と比較することで、映像中の対象物体が監視対象物体（登録された患者の一人）であるかである否かを判定する。そして、映像中の対象物体が非監視対象物体である場合には、これ以上の処理は行わない。また、映像中の対象物体が監視対象物体であることが判明した場合、検出判定部42は、これ以降に入力する映像の対象物体が監視対象物体であるとし、その動作の監視（追跡）を開始する。そして、この監視処理中、検出判定部42は、検出ルールデータベース1aの該当する監視対象物体の注視すべき状態（患者ＩＤ：P00123の患者が松葉杖無しで歩行する、或いは、右足の物体への衝突する等）となったか否か判定し、その判定結果を検出結果提示部43に供給する。検出結果提示部43は、この情報に基づき、監視対象物体が注視すべき動作を行った場合（患者ＩＤ：P00123の患者が松葉杖成し歩行、或いは、右足の物体への衝突のいずれかを検出した場合）、異常として判定し、システムの使用者に検出結果を提示する。

以上の結果、監視対象物体の状態を示す情報を受信した場合、その対象物体に対して特別な操作や設定を行わずとも、該当する状態に対する注視すべき動作を示すルール情報が自動的に決定できる。そして、監視対象ごとに、その監視対象に固有の注視すべき動作があったか否かを監視することができる。

[第２の実施形態]
第１の実施形態では、患者に対応した検出ルールを設定する院内見守りシステムについて説明した。第２の実施形態では、第１の実施形態における院内見守りシステムに処理を追加することで、診療データの更新に合わせて検出ルールを自動更新する場合について説明する。また、自動設定された対象状態や、検出ルールをシステムの使用者が修正する場合についても説明する。

病院では、患者の治療状況や症状の変化によって、検出すべき対象状態が変化する場合がある。たとえば、絶対安静が必要な患者は院内を出歩く状態が対象状態となるが、回復により院内出歩きが許可された場合は検出する必要がなくなる。このようなときに、診療データの更新に合わせて検出ルールが自動更新されれば、検出ルールを明示的に再設定する必要がなくなるため、作業工数を削減することができる。

本第２の実施形態における見守りシステムは、第１の実施形態における見守りシステムと共通する構成を含む。そのため、本第２の実施形態では第１の実施形態との差異部分について説明する。

図８は、本第２の実施形態における見守りシステムの構成の一例を示す構成図である。同図に示すように、第２の実施形態における見守りシステムは、検出ルール記憶装置1、端末装置10、検出設定装置20a、映像配信装置30、検出装置40を有する。なお、これらの装置間は、ネットワークを介して接続されていてもよい。このネットワークには、たとえば固定電話回線網や携帯電話回線網、インターネットなどが適用できる。また、これらの装置はいずれかの装置に内包されるものであってもよい。

検出設定装置20aは、第１の実施形態における検出設定装置20と同様に、外部から入力された診療データに基づいて、対象状態および検出ルールを設定し、検出ルール記憶装置1に出力する装置である。検出設定装置20aは、第１の実施形態における検出設定装置20と同様に状態ルール記憶部26、状態ルール設定部21、データ入力部22、内容解析部23、対象状態設定部24、検出ルール設定部25を備えるほか、図８に示すように、検出ルール更新部27、検出設定修正部28を備えることを特徴とする。

検出設定修正部28は、検出設定装置20aの各構成が設定した内容をシステムの使用者が確認および修正するためのGUIを提供し、検出ルール記憶装置1が記憶する検出ルールを修正された検出ルールに置き換える。検出設定装置20aが修正する対象としては、内容解析部23が抽出した診療情報や、対象状態設定部24が設定する対象状態、検出ルール設定部25が設定する検出ルールがある。検出設定修正部28は、これらすべてを修正可能がGUIを提供してもよいし、どれか一部を修正するGUIを提供してもよい。

検出設定修正部28が提供するGUIの一例としては、たとえば図９に示すようなGUIを使用することができる。図９では、対象状態や検出ルールを表示し、システムの使用者が修正することが可能なGUIを示している。参照符号U26-1からU26-4は、対象状態を表示および選択することが可能な項目で、各行が各対象状態に対応する。項目U26-1は検出ルールの設定に用いた診療情報を示す。項目U26-2は対象状態を選択するチェックボックスの列である。項目U26-3は対象状態を表示する領域である。この領域U26-3には、対象状態ごとの期間も表示されており、対応する期間の対象状態が検出の対象となる。なお、対象状態の期間は後述する検出ルール更新部27に基づいて設定される。対象状態の期間をダブルクリックなどによって選択すると、編集状態になり、期間を修正することができる。ボタンU26-4は、各対象状態を削除するために用意されている。このボタンU26-4がクリックされると対象状態および対応する検出ルールが削除される。参照符号U26-5は、検出ルールによって検出される対象の例を示す画像や映像を表示する。たとえば、人体を示す画像および動きなどの状態を示すアイコンである。このアイコンを重畳表示することで、アイコンの位置に該当する部位の状態を示してもよい。また、検出される状態を示すアニメーションを再生してもよい。参照符号U26-6とU26-7は、選択された対象状態に対応する検出ルールのパラメータを調整するためのスライダーやテキストフィールドである。検出ルールが含むパラメータの種類によって、ここで設定可能なパラメータの種類は変化する。また、検出ルールのパラメータが修正されると、スライダーU26-5が示す検出される状態も同期して変化する。スライダーU26-6は、検出される動きの大きさの閾値を設定するスライダーである。テキストフィールドU26-7には検出の頻度が設定される。このテキストフィールドにより、検出処理を実行する時間の間隔を設定することができる。

なお、検出設定修正部28は、システムの使用者による検出設定の変更が行われた場合に、検出設定装置20aの各構成のふるまいを修正してもよい。たとえば、「右腕を安静に保つ」という診療情報に対応する「右腕が動いている」という対象状態が削除された場合、対応する状態ルールを修正することで、同じ対象状態が以後設定されないように変更してもよい。また、検出ルールのパラメータが修正された場合、以後、同じ対象状態については修正したパラメータの検出ルールを設定するように変更してもよい。

検出ルール更新部27は、データ入力部22から入力された診療データや内容解析部23から入力された診療情報などに基づいて、検出ルールを更新(再設定)する。検出ルールの更新を行うタイミング(以後、更新タイミングと呼ぶ)は、次に示す方法のうち、一部もしくはすべてによって決定する。

更新タイミングを決定する方法の1つとして、診療データの更新が検出されたときに、更新を行う方法がある。この場合、検出ルールは最新の診療データに基づいて設定されるため、診療情報の変化に速やかに対応することができる。

診療データの更新を検出する方法は特定の方法に限定しない。たとえば、過去の診療データを記憶し、最新の診療データとの差分が存在する場合に更新を検出してもよいし、診療データの更新日時を記憶し、記憶された日時よりも最新の更新日時が新しい場合に更新を検出してもよい。また、内容解析部23に診療データを入力し、出力された診療情報が変化した場合のみ更新を検出してもよい。

更新タイミングを決定する他の方法その他の方法として、診療情報から開始日時や終了日時など期間の情報を抽出し、更新タイミングを期間の開始と終了に合わせる方法がある。たとえば、「2日間、絶対安静」という診療情報が入力された場合、診療情報が入力された日時から2日後に、「絶対安静」以外の診療情報を用いて検出ルールを更新する。

また、明示的な期間が指定されない場合でも、症状や治療方法に関する診療情報から、期間を推定してもよい。症状や診療方法に対応する期間は、あらかじめ手動で設定してもよいし、症状の一般的な治療期間に関するデータベースを参照することで推定してもよい。たとえば、「インフルエンザに感染」という診療情報があり、「インフルエンザの治療期間は約1週間」という設定を手動で行っていた場合、1週間が経過したタイミングで「インフルエンザに感染」以外の診療情報に基づいて検出ルールを更新する。

検出ルール更新部27が診療データの更新を検出した場合、更新された診療情報を内容解析部23に出力し、内容解析部23は診療情報の変化があった場合に、変化した診療情報を対象状態設定部24に出力する。対象状態設定部24は、変化した診療情報によって対象状態を設定し、診療情報が変化する前と比較して対象状態が変化した場合、もしくは対象状態が一定以上変化した場合に、対象状態を検出ルール設定部25に出力する。検出ルール設定部25は、検出ルールを再設定し、検出ルール記憶装置1に出力する。検出ルール記憶装置1は、過去の検出ルールと再設定した検出ルールを置き換えて記憶する。

診療情報の更新に伴い、検出ルールが再設定された場合、検出ルール更新部27は再設定によって変化した検出ルールをGUIなどによってシステムの使用者に提示してもよい。さらに、検出ルールの再設定に関する可否をシステムの使用者に確認し、承認された場合のみ検出ルールを置き換えてもよい。

以上により、診療データが更新されたことを検出し、検出ルールを再設定することができる。また、システムの使用者が検出ルールを確認し、修正することができる。ただし、本実施形態で示した例はあくまで一例であり、限定されるものではない。

[第３の実施形態]
第３の実施形態では、第１の実施形態における見守りシステムに処理を追加することで、映像の撮影環境に合わせて検出ルールを調整する場合について説明する。

複数のカメラの映像を扱う検出システムでは、それぞれの映像の撮影条件が異なる場合がある。ここで、撮影条件とはカメラの位置姿勢やフレームレートなどカメラのパラメータや、照明など環境の条件を含む各種の条件である。このようなとき、同じ対象状態を検出したい場合であっても、映像ごとに検出ルールを変化させることが望まれる場合がある。

たとえば、動きベクトル推定を行い、動き量の大きさに基づいて検出を行う検出ルールが設定されていたとする。この場合、映像のフレームレートが変化すると、推定される動きベクトルの量も変化してしまうため、適切な検出を行うことが難しくなる。

本第３の実施形態における見守りシステムは、映像の撮影条件に対応して検出ルールを変化させることで、映像ごとに適した検出処理を行うことを特徴とする。

本第３の実施形態における見守りシステムは、第１の実施形態における見守りシステムと共通する構成を含む。そのため、本第３の実施形態では第１の実施形態との差異部分について説明する。図１０は第３の実施形態における見守りシステムの構成の一例を示す構成図である。第３の実施形態における作業管理システムは、図示の如く、検出ルール記憶装置1、端末装置10、検出設定装置20、映像配信装置30b、検出装置40bを有する。なお、これらの装置間は、ネットワークを介して接続されていてもよい。このネットワークには、たとえば固定電話回線網や携帯電話回線網、インターネットなどが適用できる。また、これらの装置はいずれかの装置に内包されるものであってもよい。

映像配信装置30bは、第１の実施形態における映像配信装置30と同様に映像を取得し、取得した映像を検出装置40bに出力する装置である。映像配信装置30bは、第１の実施形態の映像配信装置30の機能に加えて、撮影条件取得部31を備える。この撮影条件取得部31は、映像配信装置30bが配信する各映像について、撮影条件を取得し、検出装置40bの映像取得部41bに出力する。

撮影条件を取得する方法は、特定の方法に限定しない。たとえば、映像配信装置30bがカメラデバイスを備え、カメラデバイスから映像を取得する場合、カメラデバイスにアクセスすることで、フレームレートや解像度などの撮影パラメータを取得する方法がある。また、映像配信装置30bが映像ファイルデータを取得する場合、映像ファイルデータに含まれる属性の情報から、撮影条件に関する属性を取得する方法がある。また、撮影条件取得部31は、映像ごとの撮影条件を入力するためのGUIを提供し、システムの使用者が直接撮影条件を入力することで、撮影条件を取得してもよい。

検出装置40bは、第１の実施形態における検出装置40と同様、検出ルールに基づいて、対象状態を検出し、検出結果を通知する装置である。検出装置40bは、図10に記載の検出結果提示部43を備えるほか、さらに映像取得部41b、検出判定部42bを備える。

映像取得部41bは、第１の実施形態における映像取得部41と同様、映像配信装置30から映像および撮影条件を取得し、検出判定部42に出力する。

検出判定部42bは、映像取得部41bから入力された映像と撮影条件、検出ルール記憶装置1から参照した検出ルールに基づいて、検出処理を行い、検出結果を検出結果提示部43に出力する。検出判定部42bは、撮影条件に対応して検出ルールを変化させることを特徴とする。ただし、検出ルールを変化させる方法は、特定の方法に限定しない。

検出判定部42bが検出ルールを変化させる方法の一例として、検出ルール中の特定の処理の入出力を、撮影条件に対応して変化させる方法がある。たとえば、検出ルールが「動きベクトル推定処理」を実行する場合、出力する動きベクトル量をフレームレートで除算する方法がある。動きベクトル推定処理は、動きベクトルの推定量がフレームレートに反比例する特性がある。したがって、フレームレートで除算することにより、動きベクトル量をフレームレートに対して正規化することができる。この他にも、たとえば映像の解像度を一定のサイズに変換する処理を追加するなどしてもよい。

以上により、映像ごとに撮影条件が異なる場合であっても、検出ルールを自動的に変化させることで、適切な検出処理を実行することができる。つまり、不特定多数の、撮影条件の異なる映像配信装置からの映像を、１つの検出ルールによる検出処理を行うことが可能になる。

[第４の実施形態]
第４の実施形態を説明する。本第４の実施形態では、工場内の作業に対応して自動設定された検出ルールに基づいて、カメラの映像から作業員や機械の危険もしくは異常な状態を検出する場合を例に説明する。

工場では、作業員や機械の危険もしくは異常な状態を発見し、速やかに対処することで、事故や不良品などの発生を防止する需要が存在する。しかしながら、作業の様子を高頻度に確認することは作業コストが高く難しい。このような場合に、カメラと連携した検出システムを導入し、作業員や機械の危険もしくは異常な状態を対象状態として設定することで、自動検出されることが期待できる。

工場内の危険もしくは異常な状態は、第１の実施形態で説明した見守りシステムと同様の構成および処理によって検出することが可能である。ただし、本実施形態における作業管理システムは、第１の実施形態における見守りシステムとは下記の点が異なる。

まず、検出ルールを設定するために、診療データではなく後述する作業指示データを用いる。次に、検出ルールは患者ごとに設定するのではなく、作業員が行う作業ごとに設定する。さらに、状態ルールは後述の作業指示データに基づいて自動的に追加可能とする。

本第４の実施形態における作業指示データとは、作業方法に関する指示の情報である作業指示情報を含む作業標準書やヒヤリハット報告書などのデータである。作業指示情報の一例としては、「ローラー組み付け」など作業のカテゴリや、作業の順序、「組み付け位置はスケールで計測すること」など各作業の注意事項、各作業において必要な資格の情報などがある。なお、作業指示データや作業指示情報は、第１の実施形態における診療データ、診療情報と同様に、特定の形式に限定されず、任意の形式であってよい。

作業指示データの一例を図１１に示す。図１１は、筒に袋を装着し粉末を投入する作業標準書の一例を表している。フィールドWS-1は、作業の順序を示す情報が格納される。フィールドWS-2は、「箱を筒の下に置く」、「粉末を注入する」などの具体的な作業内容を示す情報が格納される。フィールドWS-3は、「事前に静電気除去すること」など各作業における注意点など備考の情報が格納される。このフィールドWS-3には、作業によっては記述されない場合もある。

作業指示データの他の一例を図１２に示す。図１２は、粉末投入作業中に発生したヒヤリハットの報告書の一例を表している。参照符号HR-1はヒヤリハットの発生日時、参照符号HR-2はヒヤリハット発生時に行っていた作業、参照符号HR-3はヒヤリハットの内容である。参照符号HR-4はヒヤリハットが発生した原因、参照符号HR-5はヒヤリハットの発生を防止するための対策案がそれぞれ記述されている。また、参照符号HR-6はヒヤリハットが発生した現場の写真で、矢印はヒヤリハットが発生した原因となった箇所を示している。

第１の実施形態における見守りシステムでは、状態ルールを事前に設定しておくことで、診療データに対応した対象状態を設定する場合について説明した。しかしながら、作業と対象状態の関係は必ずしも明らかではないため、網羅的な状態ルールをあらかじめ設定しておくことは難しい場合がある。本第４の実施形態における作業管理システムでは、作業指示データから、作業に対応する対象状態を抽出し、状態ルールを追加することを特徴とする。

本第４の実施形態における作業管理システムは、第１の実施形態における見守りシステムと共通する構成を含む。そのため、第４の実施形態では第１の実施形態との差異部分について説明する。

図１３は本第４の実施形態における作業管理システムの構成の一例を示す構成図である。同図に示すように、第４の実施形態における作業管理システムは、検出ルール記憶装置1、端末装置10、検出設定装置20c、映像配信装置30、検出装置40を有する。なお、これらの装置間は、ネットワークを介して接続されていてもよい。このネットワークには、たとえば固定電話回線網や携帯電話回線網、インターネットなどが適用できる。また、これらの装置はいずれかの装置に内包されるものであってもよい。

検出設定装置20cは、第１の実施形態における検出設定装置20と同様、作業指示データに基づいて、作業指示情報に対応した対象状態および検出ルールを設定し、検出ルール記憶装置1に出力装置である。検出設定装置20cは、状態ルール記憶部26c、対象状態設定部24を備え、さらに状態ルール設定部21c、データ入力部22c、内容解析部23c、検出ルール設定部25cを備える。
状態ルール設定部21cは、第１の実施形態における状態ルール設定部21と同様に、作業指示情報から対象状態を出力する状態ルールを設定し、状態ルール記憶部26に出力する。状態ルール設定部21cは、作業指示情報が対象状態の情報を含む場合、状態ルールを自動設定することを特徴とする。たとえば、作業指示データが図１２に示すようなヒヤリハット報告書で、作業指示情報に「袋に粉末を注入」という作業カテゴリと、「袋を固定するレバーが下りていない」などヒヤリハットの原因が含まれていたとする。この場合、ヒヤリハットの原因の状態を対象状態と定義することで、状態ルールを自動設定することができる。たとえば、「袋に粉末を注入」作業カテゴリが入力されたとき、「袋を固定するレバーが下りていない」対象状態を出力する状態ルールを自動設定できる。

データ入力部22cは、第１の実施形態におけるデータ入力部22と同様に、検出設定装置20cの入力となる作業指示データを取得し、内容解析部23cに出力する。ただし、データ入力部22cは異なる複数の形式の作業指示データを取得可能なものとする。さらに、データ入力部22cは入力された作業指示データのカテゴリを推定もしくは取得し、内容解析部22cに出力する。作業指示データのカテゴリとしては、たとえば作業指示データ、ヒヤリハット報告書などがある。作業指示データのカテゴリは、作業指示データ中の対応するキーワードを抽出することで推定してもよいし、データ入力部22cがカテゴリを入力するGUIもしくは物理キーなどを提供することで、システムの使用者が入力してもよい。

内容解析部23cは、第１の実施形態における内容解析部23と同様に、作業指示データの内容を解析し、作業指示情報を抽出し、対象状態設定部24および検出ルール設定部25cに出力する。内容解析部23cは、入力された作業指示データのカテゴリに基づいて、抽出する作業情報を変化させる。たとえば、作業指示データが作業標準書であった場合、内容解析部23bは作業のカテゴリおよび作業順序、作業中の注意事項などを作業指示情報として抽出する。また、作業指示データがヒヤリハットの報告書であった場合、内容解析部23cは作業のカテゴリおよびヒヤリハットの原因のカテゴリを作業指示情報として抽出する。

内容解析部23cが作業情報を抽出する方法は特定の方法に限定されない。たとえば、図１１に示すような形式の作業指示データが入力された場合、内容解析部23cは、作業指示データ中の作業リストから、「箱から袋を取り出す」など各作業を示すテキストを抽出し、作業カテゴリに変換する。処理の一例としては、作業カテゴリの候補を示すテキストと、入力された作業のテキストに潜在意味解析手法を適用し、潜在意味の類似度に基づいて選択する方法がある。なお、作業カテゴリは、第１の実施形態の状態ルール設定部21が提供する図２に示すGUIと同等のGUIを用いてあらかじめ定義されたものを用いる。次に、作業順序の情報を変換した各作業カテゴリに対して付与する。これにより、作業カテゴリと順序の情報を作業指示情報として抽出する。なお、作業情報を抽出する方法は、ここで示した例に限定されるものではなく、異なる方法によって作業情報を抽出してもよい。

検出ルール設定部25cは、内容解析部23cから入力された作業指示情報と、対象状態設定部24から入力された対象状態に基づいて、検出ルールを設定し、検出ルール記憶装置1に出力する。本実施形態における検出ルールは、映像中の作業を検出する処理方法およびパラメータである作業検出ルールと、作業の映像から対象状態を検出する状態検出ルールを含むことを特徴とする。検出時は、作業検出ルールによって作業を検出し、検出された作業に対応する状態検出ルールを実行する。

作業検出ルールの処理方法は特定の方法に限定されない。たとえば、映像に行動認識手法を適用することで、作業を検出してもよいし、作業指示情報から取得した作業スケジュールの情報と、時刻の情報に基づいて作業を検出してもよい。また、状態検出ルールについては、第１の実施形態における状態検出ルールと同様に設定するものとする。

以上により、作業指示データに基づいて映像から作業中の対象状態を検出することができる。また、作業指示データに基づいて、状態ルールを自動設定することができる。

[その他の実施形態]
ここまで説明した各実施形態は、店舗の監視システムにも応用可能である。たとえば、近隣の複数の店舗間で万引き被害の情報を共有するデータベースが存在したとする。この場合、本実施形態に係る監視システムは、データベースから万引き被害の情報を取得し、万引き犯の見た目や行動の特徴から、類似する人物を検出する検出ルールを設定する。これにより、近隣の店舗で同一の万引き犯が万引きを行おうとすることを未然に検出することが期待できる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはCPUやMPUなど）がプログラムを読み出して実行する処理である。

本発明の産業上の利用可能性として、本発明は、病院や介護施設などの見守りや、監視システム、工場の生産効率化など、検出ルールに基づいて映像から検出を行う分野に利用することができる。

１…検出ルール記憶部、１０…端末装置、１１…情報指示部、１２…操作検出部、２０…検出設定装置、２１…状態ルール設定部、２２…データ入力部、２３…内容解析部、２４…対象状態設定部、２５…検出ルール設定部、３０…映像配信装置、４０…検出装置、４１…映像取得部、４２…検出判定部、４３…検出結果提示部

Claims (19)

1. 人物或いは機械の作業の段階を示す情報を入力する入力手段と、
   該入力手段で入力した前記人物或いは機械の作業の段階を示す情報に基づき、前記人物或いは機械の検出すべき動作を定義するルール情報を取得する取得手段と、
   映像内の前記人物或いは機械の、前記取得手段で取得したルール情報が示す検出すべき動作を検出する検出手段と、
   を有することを特徴とする情報処理装置。
2. 前記人物或いは機械が前記取得手段で取得したルール情報が示す検出すべき動作となった場合に、当該検出すべき動作となったことを示す情報を予め設定された端末に向けて出力する出力手段を更に備えることを特徴とする請求項１に記載の情報処理装置。
3. 対象物体の状態を示す情報を入力する入力手段と、
   該入力手段で入力した前記対象物体の状態を示す情報に基づき、前記対象物体の検出すべき動作を定義するルール情報を取得する取得手段と、
   映像内の前記対象物体の、前記取得手段で取得したルール情報が示す検出すべき動作を検出する検出手段と、
   前記対象物体を撮影する環境に基づいて前記ルール情報を修正する修正手段と、
   を有することを特徴とする情報処理装置。
4. 前記修正手段は所定期間経過後に前記ルール情報を修正することを特徴とする請求項３に記載の情報処理装置。
5. 対象物体の状態を示す情報を入力する入力手段と、
   該入力手段で入力した前記対象物体の状態を示す情報に基づき、前記対象物体の検出すべき動作を定義するテキスト形式で記述されるルール情報を取得する取得手段と、
   映像内の前記対象物体の、前記取得手段で取得したルール情報が示す検出すべき動作を検出する検出手段と、
   有することを特徴とする情報処理装置。
6. 前記ルール情報を設定する設定手段を有することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 人物の健康状態を示す情報を入力する入力手段と、
   該入力手段で入力した前記人物の健康状態を示す情報に基づき、前記人物の検出すべき動作を定義するルール情報を取得する取得手段と、
   映像内の前記人物の、前記取得手段で取得したルール情報が示す検出すべき動作を検出する検出手段と、
   患者を同定するための情報を格納する患者データベースとを有し、
   前記検出手段は、
   前記映像内の人物の像から求めた特徴情報と前記患者データベースとに基づく、前記映像内の人物が患者であるとの判定結果に応じて、前記映像内の人物の、前記取得手段で取得したルール情報が示す検出すべき動作の検出を行う
   ことを特徴とする情報処理装置。
8. 前記ルール情報は、危険度の閾値を含み、当該閾値以上の危険度の動作を検出すべき動作と定義することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 前記健康状態は病名を含むことを特徴とする請求項７に記載の情報処理装置。
10. 前記入力手段は、診療データの解析に基づいて、前記人物の健康状態を示す情報を入力することを特徴とする請求項７に記載の情報処理装置。
11. 人物或いは機械の作業の段階を示す情報を入力する入力工程と、
    該入力工程で入力した前記人物或いは機械の作業の段階を示す情報に基づき、前記人物或いは機械の検出すべき動作を定義するルール情報を取得する取得工程と、
    映像内の前記人物或いは機械の、前記取得工程で取得したルール情報が示す検出すべき動作を検出する検出工程と、
    を有することを特徴とする情報処理装置の制御方法。
12. 対象物体の状態を示す情報を入力する入力工程と、
    該入力工程で入力した前記対象物体の状態を示す情報に基づき、前記対象物体の検出すべき動作を定義するルール情報を取得する取得工程と、
    映像内の前記対象物体の、前記取得工程で取得した取得したルール情報が示す検出すべき動作を検出する検出工程と、
    前記対象物体を撮影する環境に基づいて前記ルール情報を修正する修正工程と
    を有することを特徴とする情報処理装置の制御方法。
13. 対象物体の状態を示す情報を入力する入力工程と、
    該入力工程で入力した前記対象物体の状態を示す情報に基づき、前記対象物体の検出すべき動作を定義するテキスト形式で記述されるルール情報を取得する取得工程と、
    映像内の前記対象物体の、前記取得工程で取得したルール情報が示す検出すべき動作を検出する検出工程と
    を有することを特徴とする情報処理装置の制御方法。
14. 人物の健康状態を示す情報を入力する入力工程と、
    該入力工程で入力した前記人物の健康状態を示す情報に基づき、前記人物の検出すべき動作を定義するルール情報を取得する取得工程と、
    映像内の前記人物の、前記取得工程で取得したルール情報が示す検出すべき動作を検出する検出工程とを有し、
    前記検出工程では、
    前記映像内の人物の像から求めた特徴情報と、患者を同定するための情報を格納する患者データベースとに基づく、前記映像内の人物が患者であるとの判定結果に応じて、前記映像内の人物の、取得したルール情報が示す検出すべき動作の検出を行う
    ことを特徴とする情報処理装置の制御方法。
15. コンピュータに、請求項１乃至１０の何れか１項に記載の情報処理装置として機能させるためのプログラム。
16. 監視システムであって、
    対象物体を撮像するための、少なくとも１つの撮像装置と、
    情報処理装置とを有し、
    前記情報処理装置は、
    前記撮像装置が撮像した映像を受信するための通信手段と、
    人物或いは機械の作業の段階を示す情報とを入力する入力手段と、
    該入力手段で入力した前記人物或いは機械の作業の段階を示す情報に基づき、前記人物或いは機械の検出すべき動作を定義するルール情報を取得する取得手段と、
    前記映像内の前記人物或いは機械の、前記取得手段で取得したルール情報が示す検出すべき動作を検出する検出手段とを有する
    ことを特徴とする監視システム。
17. 監視システムであって、
    対象物体を撮像するための、少なくとも１つの撮像装置と、
    情報処理装置とを有し、
    前記情報処理装置は、
    前記撮像装置が撮像した映像を受信するための通信手段と、
    対象物体の状態を示す情報とを入力する入力手段と、
    該入力手段で入力した前記対象物体の状態を示す情報に基づき、前記対象物体の検出すべき動作を定義するルール情報を取得する取得手段と、
    前記映像内の前記対象物体の、前記取得手段で取得したルール情報が示す検出すべき動作を検出する検出手段と、
    前記対象物体を撮影する環境に基づいて前記ルール情報を修正する修正手段とを有する
    ことを特徴とする監視システム。
18. 監視システムであって、
    対象物体を撮像するための、少なくとも１つの撮像装置と、
    情報処理装置とを有し、
    前記情報処理装置は、
    前記撮像装置が撮像した映像を受信するための通信手段と、
    対象物体の状態を示す情報とを入力する入力手段と、
    該入力手段で入力した前記対象物体の状態を示す情報に基づき、前記対象物体の検出すべき動作を定義するテキスト形式で記述されるルール情報を取得する取得手段と、
    前記映像内の前記対象物体の、前記取得手段で取得したルール情報が示す検出すべき動作を検出する検出手段とを有する
    ことを特徴とする監視システム。
19. 監視システムであって、
    人物を撮像するための、少なくとも１つの撮像装置と、
    情報処理装置とを有し、
    前記情報処理装置は、
    前記撮像装置が撮像した映像を受信するための通信手段と、
    人物の健康状態を示す情報とを入力する入力手段と、
    該入力手段で入力した前記人物の健康状態を示す情報に基づき、前記人物の検出すべき動作を定義するルール情報を取得する取得手段と、
    前記映像内の前記人物の、前記取得手段で取得したルール情報が示す検出すべき動作を検出する検出手段と、
    患者を同定するための情報を格納する患者データベースとを有し、
    前記検出手段は、
    前記映像内の人物の像から求めた特徴情報と前記患者データベースとに基づく、前記映像内の人物が患者であるとの判定結果に応じて、前記映像内の人物の、前記取得手段で取得したルール情報が示す検出すべき動作の検出を行う
    ことを特徴とする監視システム。

Images