JP2025008330A - 情報処理装置、情報処理方法、及び情報処理プログラム - Google Patents

Abstract

【課題】ユーザの端末画面に表示されたデータについて、作業者による不正撮影を精度よく検知して防止することができる情報処理装置、情報処理方法、及び情報処理プログラムを提供する。
【解決手段】情報処理装置１０は、ユーザ端末２０のカメラ２１を介して撮影された、ユーザ端末の画面前方の画像を取得するカメラ情報取得部１３と、取得された画像内に人物が写る場合に、ユーザの顔情報に基づいて当該人物の顔認証を行う顔認証部１４と、撮像デバイスのレンズ情報を保存しておき、当該レンズ情報を用いて画像内に撮像デバイスのレンズ外形が抽出されるか否かを判別するレンズ抽出部１５と、顔認証が成功した人物の近傍にレンズ外形が抽出されたときに不正を検出する不正判定部１６と、不正が検知された場合に、ユーザ端末の画面上のデータを制御する表示制御部１７と、を備える。
【選択図】図１

Description

本発明の実施形態は、情報処理装置、情報処理方法、及び情報処理プログラムに関する。

会社の拠点から離れた遠隔地から会社の業務を行う、いわゆるテレワークと呼ばれる勤務形態が定着しつつある。テレワークでは、ネットワークを介してどこからでも業務が可能となるため、社員の自宅等、業務の実施場所を柔軟に選択することができるメリットがある。

しかし、自宅等で業務を行うテレワークでは、社員が会社の拠点に集合して業務を実施する従来の働き方と比較して、社員それぞれの業務の状況を常時把握することが難しく、社員が業務実施に関する社内ポリシーに違反するような行動をした場合に検知することは難しい。特に、作業中の端末画面が不正に撮影された場合であっても、その不正を検知することは困難である。

従来では、テレワーク実施中に、業務の作業者とは異なる第三者が、カメラに写りこんだ場合にインシデントとして検出する技術が開示されている。

特開２０１５－２２２５５５号公報

しかしながら、業務の作業者とは異なる第三者が、カメラに写りこんだ場合にインシデントとして検知する方法では、不審な第三者の行為を予め検知することはできるものの、テレワークを実施する作業者が、自身のスマートフォン、タブレット等の携帯端末を用いて業務端末の画面を不正に撮影した場合には、当該業務端末の正当な利用者であるため、不正を検知することは難しく、業務の情報等が漏えいしてしまうおそれがある。

本発明はこのような事情を考慮してなされたもので、ユーザの端末画面に表示されたデータについて、作業者による不正撮影を精度よく検知して防止することができる情報処理装置、情報処理方法、及び情報処理プログラムを提供することを目的とする。

本発明の実施形態に係る情報処理装置は、ユーザ端末のカメラを介して撮影された、前記ユーザ端末の画面前方の画像を取得するカメラ情報取得部と、取得された画像内に人物が写る場合に、ユーザの顔情報に基づいて当該人物の顔認証を行う顔認証部と、撮像デバイスのレンズ情報を保存しておき、当該レンズ情報を用いて前記画像内に前記撮像デバイスのレンズ外形が抽出されるか否かを判別するレンズ抽出部と、顔認証が成功した人物の近傍にレンズ外形が抽出されたときに不正を検出する不正判定部と、不正が検知された場合に、前記ユーザ端末の画面上のデータを制御する表示制御部と、を備えることを特徴とする。

本発明の実施形態により、ユーザの端末画面に表示されたデータについて、作業者による不正撮影を精度よく検知して防止することができる情報処理装置、情報処理方法、及び情報処理プログラムが提供される。

本実施形態に係る情報処理装置の構成の一例を示す構成図。 本実施形態に係る、不正撮影の検知方法を示す模式図。 （Ａ）ユーザ端末のカメラで撮影された画像の判定の一例を示す説明図、（Ｂ）ユーザ端末のカメラで撮影された画像の判定の他の例を示す説明図であり、作業者による不正撮影と判断される場合の説明図。 本実施形態に係る情報処理方法の一例を示すフローチャート。

以下、本発明の実施形態を添付図面に基づいて説明する。
図１は、本実施形態に係る情報処理装置１０の構成の一例を示す図である。
情報処理装置１０は、ユーザ端末２０のカメラ２１により撮影された画像内の人物の顔認証を行い、顔認証が成功した人物の近傍に撮像デバイスのレンズ外形が抽出されるかを判別し、不正を検知した場合に、ユーザ端末２０の画面上のデータを制御するサーバである。データとは、情報処理装置１０で保存される各種のデータを意味しており、ファイル、画像データ、動画データ等を意味する。データは、ユーザ端末２０内のアプリケーションにより実行、表示される。また、撮像デバイスとは、写真や映像を撮影するための光学的な装置、当該装置を内蔵する端末を意味しており、カメラ（デジタルカメラを含む）、カメラが内蔵されたスマートフォン、タブレットなどの携帯端末も含まれる。

ユーザ端末２０は、企業や団体等に属する社員が業務で使用するＰＣ、スマホ、タブレット端末などの端末を示しており、情報処理装置１０とネットワークを介して通信可能な端末である。また、ユーザ端末２０は、ユーザの頭部に装着されて駆動するヘッドセット端末であってもよい。

ユーザ端末２０は、カメラ２１を備えている。カメラ２１は、ユーザ端末２０と常時通信可能であり、当該端末の表示画面（ディスプレイ）の前方を撮影する撮像部である。カメラ２１は、ユーザ端末２０の表示画面に内蔵されてもよいし、ユーザ端末２０の表示画面の側面に配置されて、ユーザ端末２０の本体に外部から接続されるものでもよい。ユーザ端末２０が、ヘッドセット端末である場合には、当該端末を装着するユーザの周囲、特にユーザの背後を撮影するカメラを備える。

カメラ２１により撮影される画像には、静止画像、動画等が含まれる。取得された画像データは、情報処理装置１０に送信される。

なお、図１では、ユーザ端末２０（２０ａ，２０ｂ，２０ｃ）、各ユーザ端末２０が備えるカメラ２１（２１ａ，２１ｂ，２１ｃ）を３つで記載しているが、この構成に限定されるものは無く、さらに複数のユーザ端末２０、カメラ２１が接続されてもよい。

本実施形態に係る情報処理装置１０の具体的な構成について説明する。
情報処理装置１０は、データ送受信部１１と、ユーザ情報登録部１２と、カメラ情報取得部１３と、顔認証部１４と、レンズ抽出部１５と、不正判定部１６と、表示制御部１７と、を備えている。

なお、情報処理装置１０を構成する各ユニットの機能は、所定のプログラムコードを、プロセッサを用いて実行することによって実現してもよく、このようなソフトウェア処理に限らず、例えば、ＡＳＩＣ等を用いたハードウェア処理で実現してもよいし、ソフトウェア処理とハードウェア処理とを組み合わせて実現してもよい。また、情報処理装置１０を構成する各ユニットは、別々のサーバで実現されてもよく、例えばユーザ端末２０からアクセスされるデータは、情報処理装置１０の本体とは別のサーバで保存されてもよい。

データ送受信部１１は、ユーザ端末２０からのアクセス要求に応じてファイル、動画データ等のデータを送信し、ユーザ端末２０のカメラ２１により撮影された画像データ等を受信する。

ユーザ情報登録部１２は、ユーザ端末２０のユーザを認証するための認証情報を登録している。ユーザそれぞれを識別するためのユーザＩＤに対応付けて、ログインＩＤ、パスワード等を登録している。また、ユーザＩＤに対応付けて、顔認証に用いるユーザの顔情報を登録している。ユーザ端末２０は、情報処理装置１０に接続してデータにアクセスする際に、登録された認証情報に基づいて認証されてもよい。

また、データのそれぞれに対応付けてアクセス権限を有するユーザを設定してもよい。なお、複数のユーザをグループとして設定して、データのアクセス権限をグループ単位で設定してもよい。

カメラ情報取得部１３は、ユーザ端末２０のカメラ２１で撮影される画像を取得する。カメラ情報取得部１３は、ユーザ端末２０のデータへのアクセスが開始したときに、ユーザ端末２０のカメラ２１の撮影を開始させ、ユーザ端末２０のアクセスが終了するまでカメラ２１の撮影を継続させる。カメラ情報取得部１３は、カメラ２１で撮影される画像を随時取得する。

顔認証部１４は、カメラ２１により取得された画像内において人物の顔を抽出して、抽出した顔と認証用のユーザの顔情報と照合して、顔認証を行う。画像内に複数人の人物が抽出される場合、それぞれの人物に対してユーザの顔情報に基づき顔認証を行う。画像内において顔認証が成功する人物は、データへのアクセス権限を有するユーザとなる一方で、顔認証が成功しない人物は、アクセス権限を有しないユーザとなる。顔認証部１４は、画像内に顔認証が成功した人物が存在する場合に、当該人物を含む画像をレンズ抽出部１５に送信する。顔認証が成功した人物が存在する場合に、データへのアクセスを不許可にしてもよい。

なお、顔認証の方法については、ユーザに対応付けて予め登録したユーザの顔情報を用いて実行してもよいし、ユーザ端末２０に保存されている認証用の顔情報を用いて実行してもよい。

また、データを複数人で閲覧する場合には、当該データを閲覧する複数のユーザを予め登録しておき、カメラ２１で撮影された画像に対して登録ユーザそれぞれの顔情報に基づいて顔認証を実行してもよい。

レンズ抽出部１５は、撮像デバイスのレンズ情報を保存しておき、当該レンズ情報を用いて画像内に前記撮像デバイスのレンズ外形が抽出されるか否かを判別する。撮像デバイスのレンズ情報とは、画像内から撮像デバイスのレンズを識別するための情報であり、撮像デバイスに実装されるレンズの形状（直径の１ｃｍの円形等）、色彩等の情報を意味する。レンズ情報には、矩形の撮像デバイス（例えばスマートフォンやタブレット）におけるレンズの数や配置等の情報を含んでもよい。この場合は、撮像デバイスの外形（縦横の大きさ等）を設定しておき、その外形内でのレンズの配置、レンズの数等の情報を設定する。

レンズ抽出部１５は、カメラ２１で撮影された画像について、レンズ情報に基づいて当該画像内にレンズ外形が抽出されるかを判別する。また、レンズ抽出部１５は、撮像デバイスのレンズ外形を撮影した複数の画像を機械学習により学習し、生成した画像判定モデルによりカメラ２１で撮影された画像内にレンズ外形が抽出されるかを判別してもよい。また、レンズ抽出部１５は、レンズ情報に保存されたレンズの形状に一致する物体が画像内に存在する場合に、当該物体内に反射光の画像が存在するとき、画像内に撮像デバイスのレンズ外形が存在すると判定してもよい。

また、レンズ抽出部１５は、画像内において撮像デバイスのレンズ外形が存在する場合、撮影された画像内のレンズ外形の向きを判別してもよい。レンズの向きとは、レンズの前面の方向（レンズの前面の法線の向き）を意味している。そして、レンズ抽出部１５は、レンズの前面の方向が、ユーザ端末２０の表示画面の方向に向いているかを判別する。

なお、レンズ抽出部１５は、一定時間内（例えば１０秒以内）に、レンズの前面の方向が、ユーザ端末２０の表示画面の方向に一回以上向いた場合には、ユーザ端末２０の表示画面の方向に向いていると判断してもよい。

不正判定部１６は、顔認証が成功した人物の近傍（例えば３０ｃｍ以内の距離）に撮像デバイスのレンズ外形が抽出されたときに不正を検出する。データへのアクセス権限を有する人物が、保有している撮像デバイスをユーザ端末２０の画面に向けられていると判定し、不正撮影のおそれがあると判断する。

また、不正判定部１６は、顔認証が成功した人物の近傍に撮像デバイスのレンズ外形が抽出され、レンズの前面の方向が、ユーザ端末２０の表示画面の方向に向いている場合に不正を検出してもよい。

また、不正判定部１６は、不正判定部１６は、顔認証が成功した人物の近傍に撮像デバイスのレンズ外形が抽出されたとき、当該人物が所定時間以上（例えば１分間以上）同じ位置に存在する場合に不正を検出してもよい。

表示制御部１７と、不正撮影のおそれがあると判断した場合、ユーザ端末２０において表示されているデータがアクセス不可となるように制御する。具体的には、不正が検知された場合に、ユーザ端末２０のユーザが操作を実行しているデータについて、当該データを実行するアプリケーションを非表示にする。非表示の方法として、データを実行するアプリケーションを閲覧できないように、操作中のアプリケーション全体を黒色の画像でカバーする等の方法がある。また、画面最前面のアプリケーションのみを非表示にしてもよい。なお、不正が検知されなくなったときは、アプリケーションの非表示状態を解除して、データを閲覧可能にする。

また、ユーザ端末２０の表示画面にデータが表されている場合に、警告画面に切り替えるように制御してもよい。

なお、表示制御部１７は、不正撮影と判断した場合に、ユーザ端末２０の表示画面の複製や拡張を停止させるように制御してもよい。

これにより、ユーザ端末２０のユーザが端末画面上でデータを表示して作業しているときに、当該ユーザにより端末画面を撮影するような不正行為のおそれがある場合に、データを即時に閲覧不可の状態にすることができ、不正行為を未然に防止することができる。

図２は、本実施形態に係る、不正撮影の検知方法を示す模式図である（適宜、図１参照）。ここでは、ユーザ端末２０のユーザＡが、情報処理装置１０に接続してデータを所定のアプリケーションにより閲覧している場合について検討する。

カメラ情報取得部１３は、データの閲覧が開始されたときに、カメラ２１からユーザ端末２０の表示画面の前方の画像を取得する。カメラ画像には、ユーザＡなどが撮影される。このとき、撮影されたカメラ画像に対して、ユーザＡの顔情報を用いて顔認証を行う。画像内のユーザＡについて顔認証は成功する。

そして、レンズ情報を用いて、画像内に顔認証が成功したユーザＡの近傍に撮像デバイス５０のレンズ外形が抽出されるかを判定する。ユーザＡの近傍に撮像デバイス５０のレンズ外形が抽出されるため、ユーザＡによる不正撮影のおそれがあると判断する。

そして、不正撮影と判断した場合に、ユーザ端末２０において表示されているデータを閲覧不可となるように、当該データを実行するアプリケーションを非表示にする。

図３（Ａ）、（Ｂ）は、ユーザ端末２０のカメラ２１で撮影された画像の判定の一例を示す説明図である。ここでは、ユーザ端末２０のユーザＡがデータを閲覧しているとする。

図３（Ａ）の例では、ユーザ端末２０のユーザＡは顔認証が成功する一方で、当該ユーザＡの近傍において撮像デバイスのレンズ外形が抽出されないため、不正撮影と判断されない。

図３（Ｂ）は、ユーザ端末２０のユーザＡは顔認証が成功し、ユーザＡの近傍においてスマートフォンの外形が抽出されるため、ユーザＡによる不正撮影のおそれがあると判断される。ユーザ端末２０上で表示されているデータは、閲覧不可となるように制御される。

このように、ユーザ端末２０の画面を不正に撮影しようとする作業者の行為を精度よく判定することができ、不正撮影を未然に防止することができる。

続いて、本実施形態に係る情報処理装置１０の動作について説明する。

図４は、本実施形態に係る情報処理方法の一例を示すフローチャートである（適宜、図１参照）。

データ送受信部１１は、ユーザ端末２０の要求を受けて、作業データをユーザ端末２０に送信する。ユーザ端末２０は、作業データを表示する（Ｓ１０）。

カメラ情報取得部１３は、ユーザ端末２０による作業データへのアクセス時に、当該端末のカメラ２１で撮影された画像を取得する（Ｓ１１）。

顔認証部１４は、取得された画像内の人物に対して、ユーザ端末２０のユーザの顔情報に基づいて顔認証が成功するかを判定する（Ｓ１２）。画像内の人物の顔認証が成功しない場合には、作業データの表示を非表示にする（Ｓ１２：ＮＯ、Ｓ１４）。

レンズ抽出部１５は画像内において顔認証が成功した人物が存在する場合に、当該人物の近傍にスマートフォンのレンズ外形が抽出されるか判定する（Ｓ１２：ＹＥＳ，Ｓ１３）。この人物の近傍にレンズ外形が抽出されない場合、作業データの表示を継続する（Ｓ１３：ＮＯ）。

不正判定部１６は、顔認証が成功した人物の近傍にレンズ外形が抽出された場合、不正として判断する。表示制御部１７は、不正と判断されたとき、作業データの表示を非表示にする（Ｓ１３：ＹＥＳ，Ｓ１４）。

以上述べた実施形態の情報処理装置によれば、ユーザ端末のカメラにより撮影された画像内の人物の顔認証を行い、顔認証が成功した人物の近傍に撮像デバイスのレンズ外形が抽出されるかを判別し、作業者による不正を検知した場合に、ユーザ端末２０において実行中のアプリケーションの表示を制御する。これにより、ユーザ端末２０で作業を実施するユーザによる不正撮影があった場合に、作業中のアプリケーション表示を非表示にして、不正行為を未然に防止することができる。

なお、情報処理装置１０で実行されるプログラムは、ＲＯＭ等の記憶回路に予め組み込んで提供される。もしくは、このプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、ＣＤ－Ｒ、メモリカード、ＤＶＤ、フレキシブルディスク等のコンピュータで読み取り可能な記憶媒体に記憶されて提供するようにしてもよい。また、情報処理装置１０で実行されるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせて提供するようにしてもよい。

また、カメラ情報取得部１３、顔認証部１４、レンズ抽出部１５、不正判定部１６の各ユニットをユーザ端末２０に実装させて、ユーザ端末２０に表示されるデータの制御を実行してもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０…情報処理装置、１１…データ送受信部、１２…ユーザ情報登録部、１３…カメラ情報取得部、１４…顔認証部、１５…レンズ抽出部、１６…不正判定部、１７…表示制御部、２０（２０ａ，２０ｂ，２０ｃ）…ユーザ端末、２１（２１ａ，２１ｂ，２１ｃ）…カメラ、５０…撮像デバイス（スマートフォン）。

本発明の実施形態に係る情報処理装置は、ユーザ端末のカメラを介して撮影された、前記ユーザ端末の画面前方の画像を取得するカメラ情報取得部と、取得された画像内に人物が写る場合に、ユーザの顔情報に基づいて当該人物の顔認証を行う顔認証部と、撮像デバイスのレンズ情報を保存しておき、当該レンズ情報を用いて前記画像内に前記撮像デバイスのレンズ外形が抽出されるか否かを判別するレンズ抽出部と、顔認証が成功した人物の近傍にレンズ外形が抽出されたときに不正を検出する不正判定部と、不正が検知された場合に、前記ユーザ端末の画面上のデータを非表示にする表示制御部と、を備えて、前記表示制御部は、不正が検知された場合に、前記ユーザ端末において操作実行中の前記データについて、当該データを実行するアプリケーションを非表示にすることを特徴とする。

Claims (4)

1. ユーザ端末のカメラを介して撮影された、前記ユーザ端末の画面前方の画像を取得するカメラ情報取得部と、
   取得された画像内に人物が写る場合に、ユーザの顔情報に基づいて当該人物の顔認証を行う顔認証部と、
   撮像デバイスのレンズ情報を保存しておき、当該レンズ情報を用いて前記画像内に前記撮像デバイスのレンズ外形が抽出されるか否かを判別するレンズ抽出部と、
   顔認証が成功した人物の近傍にレンズ外形が抽出されたときに不正を検出する不正判定部と、
   不正が検知された場合に、前記ユーザ端末の画面上のデータを制御する表示制御部と、
   を備えることを特徴とする情報処理装置。
2. 前記表示制御部は、不正が検知された場合に、前記ユーザ端末において操作実行中の前記データのアプリケーションを非表示にする、
   ことを特徴とする請求項１に記載の情報処理装置。
3. ユーザ端末のカメラを介して撮影された、前記ユーザ端末の画面前方の画像を取得するステップと、
   取得された画像内に人物が写る場合に、ユーザの顔情報に基づいて当該人物の顔認証を行うステップと、
   撮像デバイスのレンズ情報を保存しておき、当該レンズ情報を用いて前記画像内に前記撮像デバイスのレンズ外形が抽出されるか否かを判別するステップと、
   顔認証が成功した人物の近傍にレンズ外形が抽出されたときに不正を検出するステップと、
   不正が検知された場合に、前記ユーザ端末の画面上のデータを制御するステップと、
   を含むことを特徴とする情報処理方法。
4. コンピュータを、
   ユーザ端末のカメラを介して撮影された、前記ユーザ端末の画面前方の画像を取得する機能、
   取得された画像内に人物が写る場合に、ユーザの顔情報に基づいて当該人物の顔認証を行う機能、
   撮像デバイスのレンズ情報を保存しておき、当該レンズ情報を用いて前記画像内に前記撮像デバイスのレンズ外形が抽出されるか否かを判別する機能、
   顔認証が成功した人物の近傍にレンズ外形が抽出されたときに不正を検出する機能、
   不正が検知された場合に、前記ユーザ端末の画面上のデータを制御する機能、
   として機能させることを特徴とする情報処理プログラム。

Images