JP4069149B1

JP4069149B1 - Terminal monitoring device and program for terminal monitoring device

Info

Publication number: JP4069149B1
Application number: JP2007024474A
Authority: JP
Inventors: 稔和仁; 直樹本永
Original assignee: Ｓｋｙ株式会社
Priority date: 2007-02-02
Filing date: 2007-02-02
Publication date: 2008-04-02
Anticipated expiration: 2027-02-02
Also published as: JP2008193332A

Abstract

【課題】ネットワークに接続された端末の操作を録画再生すると共に、その操作の確認を容易とする端末監視装置とそのような端末監視装置のためのプログラムを提供する。
【解決手段】ネットワークに接続された端末１における操作を監視する端末監視装置は、端末１からキャプチャされた操作画面情報を格納するキャプチャ画像格納部２３と、端末１からの操作ログ情報を格納する操作ログ情報格納部２４と、操作ログ情報に含まれている操作イベントの操作評価値を算定する操作イベント評価部２７と、操作評価値に基づいて明示が必要であると判定された要明示操作イベントを明示する強調イメージを生成する操作イベント特殊画像化部３３と、要明示操作イベントの発生時点に対応する操作画面情報をキャプチャ画像格納部２３から抽出して、抽出した操作画面情報に強調イメージを合成して監視画面として再生する監視画像再生部３２とを備える。
【選択図】図２The present invention provides a terminal monitoring apparatus and a program for such a terminal monitoring apparatus that record and reproduce the operation of a terminal connected to a network and facilitate confirmation of the operation.
A terminal monitoring apparatus that monitors operations on a terminal connected to a network stores a captured image storage unit that stores operation screen information captured from the terminal and operation log information from the terminal. An operation log information storage unit 24, an operation event evaluation unit 27 that calculates an operation evaluation value of an operation event included in the operation log information, and an explicit operation that is determined to be explicit based on the operation evaluation value An operation event special imaging unit 33 that generates an emphasized image that clearly indicates an event, and operation screen information corresponding to the time when the explicit operation event is generated are extracted from the captured image storage unit 23, and the extracted operation screen information is emphasized in the extracted operation screen information. And a monitoring image reproducing unit 32 that reproduces the above as a monitoring screen.
[Selection] Figure 2

Description

本発明は、ネットワークに接続された端末の操作を監視する端末監視装置とそのような端末監視装置のためのプログラムに関する。 The present invention relates to a terminal monitoring device that monitors the operation of a terminal connected to a network, and a program for such a terminal monitoring device.

近年、企業等において文書ファイル等はコンピュータを利用して作製される状況が非常に多くなっている。一方で、イントラネットやローカルエリアネットワーク等のネットワークを介して文書ファイル等の送受信を行う環境も広まっている。このような環境の中、不正な目的を持ってネットワークを介して重要な文書ファイル等に対して書き換えや削除を行うケースが少なくない。このような不正操作を監視するために、ユーザの操作履歴を操作履歴ファイルに記録して保護することにより、全ての操作内容を把握し、常に監視用端末からネットワーク内で操作を行っているユーザの操作内容をリアルタイムに監視する保護方法が知られている（例えば、特許文献１）。この特許文献１に係る保護方法は、ネットワーク内のユーザの操作内容をリアルタイムに監視し不正操作があった事が、後に判明した場合においても操作履歴ファイルを解析することにより不正操作の追跡を可能とし、ネットワーク内のセキュリティを確保している。 In recent years, document files and the like have been produced using computers in companies and the like. On the other hand, an environment for transmitting and receiving document files via a network such as an intranet or a local area network is also widespread. In such an environment, there are many cases in which important document files and the like are rewritten or deleted through a network for an unauthorized purpose. In order to monitor such unauthorized operations, the user's operation history is recorded and protected in the operation history file, so that all operation details are grasped, and users who are constantly operating in the network from the monitoring terminal There is known a protection method for monitoring the operation content in real time (for example, Patent Document 1). The protection method according to Patent Document 1 can monitor the operation contents of the user in the network in real time and track the unauthorized operation by analyzing the operation history file even when it is later discovered that the unauthorized operation has occurred. And ensure security within the network.

また、監視対象コンピュータシステムの操作履歴ログを監視することにより、不正入力や不正操作をリアルタイムで監視することができる不正操作監視装置も知られている（例えば、特許文献２）。この特許文献２に係る不正操作監視装置では、コンピュータシステムの操作ログ情報を常に監視することにより、不正操作が行われた際にリアルタイムで発見することが可能となる。しかしながら、これらの特許文献１や特許文献２に係る技術では、単にリアルタイム映像の再生、或いは、録画した画像の再生であるため、例えば、ネットワークやコンピュータシステムの監視者が視覚的に不正操作を把握することが難しく、どこに着目すればよいかがわかりづらいといった問題があった。 There is also known an unauthorized operation monitoring apparatus capable of monitoring unauthorized input and unauthorized operation in real time by monitoring an operation history log of a monitored computer system (for example, Patent Document 2). In the unauthorized operation monitoring apparatus according to Patent Document 2, it is possible to detect in real time when an unauthorized operation is performed by constantly monitoring the operation log information of the computer system. However, since the techniques according to Patent Document 1 and Patent Document 2 are simply playing back a real-time video or playing back a recorded image, for example, a network or computer system monitor visually grasps an unauthorized operation. There was a problem that it was difficult to do and it was difficult to know where to focus.

特開２０００−３５４０３６号公報（第２―５頁）JP 2000-354036 A (page 2-5) 特開２００２−２５８９７２号公報（段落番号００１８、００１９等）JP 2002-258972 A (paragraph numbers 0018, 0019, etc.)

本発明の目的は、上記問題に鑑みネットワークに接続された端末の操作を録画再生すると共に、その操作の確認を容易とすることが可能な端末監視装置とそのような端末監視装置のためのプログラムを提供することである。 In view of the above problems, an object of the present invention is to record and reproduce an operation of a terminal connected to a network, and to facilitate confirmation of the operation, and a program for such a terminal monitoring apparatus Is to provide.

上記目的を達成するための本発明に係る、端末監視装置の特徴は、ネットワークに接続された端末における操作を監視し、前記端末からキャプチャされた操作画面情報を格納するキャプチャ画像格納部と、前記端末からの操作ログ情報を格納する操作ログ情報格納部と、前記操作ログ情報に含まれている前記端末で行われた操作に基づく操作イベントの操作評価値を算定する操作イベント評価部と、前記操作評価値に基づいて明示が必要であると判定された要明示操作イベントを明示する強調イメージを生成する操作イベント特殊画像化部と、前記要明示操作イベントが実行されている前記操作画面情報が前記キャプチャ画像格納部から抽出された時に、当該操作画面情報に表示されているポインティングデバイスのカーソルの座標位置の変化に基づいて前記強調イメージを合成して監視画面として再生する監視画像再生部と、を備える点にある。 A feature of the terminal monitoring device according to the present invention for achieving the above object is to monitor an operation in a terminal connected to a network and store an operation screen information captured from the terminal; An operation log information storage unit for storing operation log information from the terminal; an operation event evaluation unit for calculating an operation evaluation value of an operation event based on an operation performed on the terminal included in the operation log information; and operation event special imaging unit which explicitly generates an demonstrates enhancement images determined to be essential expressly operation event to be necessary based on the operation evaluation value, the operation screen information, wherein the main explicit operation event is running when extracted from the captured image storage unit, variations of the coordinates of the cursor of the pointing device that is displayed on the operation screen information In that it comprises a monitoring image reproduction unit for reproducing a monitor screen by synthesizing the emphasis image on the basis of.

このような構成とすれば、ネットワークに接続された端末の操作画面に基づいてキャプチャされたキャプチャ画像と、ファイル操作等に基づいて記録される操作ログ情報とにより操作イベントの操作評価値を容易に算定することができる。この算定により操作イベントが要明示操作イベントであると算定された場合には、その操作を強調する強調イメージをキャプチャ画像に合成することにより、端末におけるユーザの操作を監視することが容易となる。 With such a configuration, the operation evaluation value of the operation event can be easily obtained by the captured image captured based on the operation screen of the terminal connected to the network and the operation log information recorded based on the file operation or the like. Can be calculated. When it is calculated by this calculation that the operation event is an explicit operation event, it is easy to monitor the user's operation on the terminal by synthesizing an enhanced image that emphasizes the operation with the captured image.

また、前記端末監視装置は、前記操作イベント評価部が、操作イベント画面位置算定部が算定する画面位置情報に基づいて前記操作評価値を算定する構成とすると好適である。このような構成とすれば、操作イベント画面位置算定部がポインティングデバイスのカーソルの画面位置情報に基づいてカーソルがアイコン上にあるのか否かを容易に判定することができる。したがって、この判定結果に基づいてカーソルがアイコン上にある場合に操作評価値が高いと算定するようにすれば、ダブルクリック等のポインティングデバイスの操作を行う前に着目することができるため、容易に監視することができる。 In the terminal monitoring device, it is preferable that the operation event evaluation unit calculates the operation evaluation value based on screen position information calculated by the operation event screen position calculation unit. With this configuration, the operation event screen position calculation unit can easily determine whether or not the cursor is on the icon based on the screen position information of the cursor of the pointing device . Therefore, if it is calculated that the operation evaluation value is high when the cursor is on the icon based on this determination result, it is possible to focus on the pointing device before operating the pointing device such as a double click. Can be monitored.

また、前記端末監視装置は、前記監視画像再生部が、キーボードによる操作に基づいてキーボードイメージ生成部が生成するキーボードイメージを前記強調イメージとして合成して再生する構成とすると好適である。このような構成とすれば、ポインティングデバイスの操作だけでなくキーボードによるショートカットキー操作に対しても要明示操作イベントであるか否かを判定し、要明示操作イベントであれば強調イメージを表示することができるため、キャプチャ画像からは判別し難いキーボードによる操作も監視することが可能となる。 In the terminal monitoring apparatus, it is preferable that the monitoring image reproduction unit is configured to synthesize and reproduce the keyboard image generated by the keyboard image generation unit based on an operation with a keyboard as the emphasized image. With such a configuration, it is determined whether it is an explicit operation event for a keyboard shortcut key operation as well as a pointing device operation, and if it is an explicit operation event, a highlighted image is displayed. Therefore, it is possible to monitor a keyboard operation that is difficult to distinguish from the captured image.

また、前記端末監視装置は、前記操作イベント特殊画像化部が、前記要明示操作イベントが発生する少なくとも所定時間前に前記強調イメージを生成すると共に、前記要明示操作イベントが実行されるタイミングに合わせて前記強調イメージの大きさを変更する構成とすると好適である。また、前記操作イベント特殊画像化部が、前記強調イメージとして前記要明示操作イベントを説明する表示を生成するようにしても良いし、前記操作イベント特殊画像化部が、前記カーソルの移動速度に応じて前記強調イメージの大きさを変更するようにしても良い。更には、前記強調イメージが、前記要明示操作イベントの発生時点の所定時間後まで明示されるように構成することも好適である。このように強調イメージを状況に応じて変更して表示する構成とすると、視覚的にわかりやすくすることができるため、監視を容易とすることができる。 Further, the terminal monitoring unit, the operation event special imaging unit, wherein with main explicit operation event generating the enhancement image at least before the predetermined time occurs, the timing when the main explicit operation event is executed It is preferable that the size of the emphasized image is changed. Further, the operation event special imaging unit, the may be generated display that illustrates a relevant explicit operation event as the highlight image, the operation event special imaging unit, according to the moving speed of the cursor The size of the emphasized image may be changed. Furthermore, it is preferable that the emphasized image is clearly displayed until a predetermined time after the occurrence of the explicit operation event. Thus, when it is set as the structure which changes and displays an emphasized image according to a condition, since it can make it easy to understand visually, monitoring can be made easy.

また、前記端末監視装置は、前記監視画像再生部が、前記キャプチャ画像格納部から抽出した前記操作画面情報に前記強調イメージを合成した領域を監視画面として再生すると共に、前記合成した領域以外の領域は画像処理して再生する構成とすれば好適である。このような構成とすれば、操作を監視すると共に、監視対象とならない領域のキャプチャ画像はモザイク処理やマスク処理等の画像処理を行って再生することによりユーザのプライバシーも確保することができる。 In the terminal monitoring device, the monitoring image reproduction unit reproduces, as a monitoring screen, an area in which the enhanced image is combined with the operation screen information extracted from the captured image storage unit, and an area other than the combined area It is preferable to adopt a configuration in which image processing and reproduction are performed. With such a configuration, the user's privacy can be ensured by monitoring the operation and reproducing the captured image of the area not to be monitored by performing image processing such as mosaic processing or mask processing.

更に、本発明では、ネットワークに接続された端末における操作を監視する端末監視装置のためのコンピュータプログラムも権利範囲としており、そのコンピュータプログラムは、前記端末からキャプチャされた操作画面情報を格納するキャプチャ画像格納機能と、前記端末からの操作ログ情報を格納する操作ログ情報格納機能と、前記操作ログ情報に含まれている前記端末で行われた操作に基づく操作イベントの操作評価値を算定する操作イベント評価機能と、前記操作評価値に基づいて明示が必要である判定された要明示操作イベントを明示する強調イメージを生成する操作イベント特殊画像化機能と、前記要明示操作イベントが実行されている前記操作画面情報がキャプチャ画像格納機能から抽出された時に、当該操作画面情報に表示されているポインティングデバイスのカーソルの座標位置の変化に基づいて前記強調イメージを合成して監視画面として再生する監視画像再生機能と、をコンピュータに実現させることが可能である。 Furthermore, in the present invention, a computer program for a terminal monitoring device that monitors operations at a terminal connected to a network is also included in the scope of rights, and the computer program captures operation screen information captured from the terminal. A storage function; an operation log information storage function for storing operation log information from the terminal; and an operation event for calculating an operation evaluation value of an operation event based on an operation performed on the terminal included in the operation log information An evaluation function, an operation event special imaging function that generates an emphasized image that clearly indicates a required explicit operation event determined to be explicit based on the operation evaluation value, and the explicit operation event is executed when the operation screen information is extracted from the captured image storage function, displayed on the operation screen information A monitoring image playback function for reproducing a monitor screen by synthesizing the emphasis image on the basis of a change in the coordinate position of the cursor of the pointing device being, it is possible to realize the computer.

〔本発明の第一実施形態〕
以下、本発明に係る端末監視装置の一例として、図１のように構成されたコンピュータネットワークシステムを用いて説明する。図１は、このコンピュータネットワークシステムを模式的に示した構成図であり、ユーザにより各種ファイルの作成、閲覧、複写、修正、削除、印刷等の操作が行われる端末１と、この端末１において行われたファイル操作の操作状況を監視する端末監視サーバ２とからなる。端末１を使用するユーザのユーザ識別情報と、端末１のモニタに表示される操作画面に基づく操作画面情報と、ファイル操作に基づいて記録される操作ログ情報とが、各端末１から端末監視サーバ２に送信される。したがって、各端末１におけるファイル操作やモニタに表示される操作画面が端末監視サーバ２に録画されている状態にあると考えてよい。 [First embodiment of the present invention]
Hereinafter, an example of a terminal monitoring apparatus according to the present invention will be described using a computer network system configured as shown in FIG. FIG. 1 is a block diagram schematically showing this computer network system. A terminal 1 on which various types of files are created, viewed, copied, modified, deleted, printed, and the like by a user is displayed. And a terminal monitoring server 2 for monitoring the operation status of the file operation. User identification information of a user who uses the terminal 1, operation screen information based on the operation screen displayed on the monitor of the terminal 1, and operation log information recorded based on the file operation are transmitted from each terminal 1 to the terminal monitoring server. 2 is transmitted. Therefore, it may be considered that the file operation in each terminal 1 and the operation screen displayed on the monitor are recorded in the terminal monitoring server 2.

図２は、端末１と端末監視サーバ２の機能ブロックを示す図である。端末１は、ネットワークに接続された汎用パソコンで構成されるが、図２においては、本発明に特に関係する機能のみを示すこととする。ユーザは、端末１を利用するためにユーザ名とパスワードを入力することによりログインする必要がある。このログインは、端末１を利用可能とすると共に、コンピュータネットワークへのログインも可能とする。このログイン処理を通じて得られたユーザ名は、ユーザ識別情報生成部１２において、そのままで或いは必要に応じてユーザコード等に変換され、端末１を識別するための端末ＩＤとともに端末監視サーバ２に送るユーザ識別情報に組み込まれる。 FIG. 2 is a diagram illustrating functional blocks of the terminal 1 and the terminal monitoring server 2. The terminal 1 is composed of a general-purpose personal computer connected to a network, but FIG. 2 shows only functions particularly related to the present invention. In order to use the terminal 1, the user needs to log in by inputting a user name and a password. This login makes it possible to use the terminal 1 and to log in to the computer network. The user name obtained through this login process is converted into a user code or the like as it is or as needed in the user identification information generation unit 12 and sent to the terminal monitoring server 2 together with the terminal ID for identifying the terminal 1 Embedded in identification information.

ユーザが何らかのファイル操作を行う際には、まず操作対象となるファイルを指定し、指定されたファイルに対して処理命令を行う。この処理命令にしたがって、図示しない端末１の演算処理部は閲覧命令、複写命令、修正命令、削除命令、印刷命令等の命令に応じたデータ処理を指定されたファイルに対して実行する。その際のユーザによる操作状況は、端末１が備えるモニタ（図示しない）に表示される操作画面を操作画面情報として画像キャプチャ部１３によりキャプチャされると共に、その操作ログに基づいて操作ログ情報が操作ログ情報生成部１４により生成される。この操作ログ情報にはユーザによるファイル操作の情報だけでなく、端末１が入力デバイスとして備えるマウスやキーボード３６等の操作情報も含まれ、マウスカーソルＣｕの座標位置等に関する情報も含まれる。なお、マウスカーソルＣｕの移動速度は、このマウスカーソルＣｕの座標位置から算出可能である。 When a user performs any file operation, a file to be operated is first specified, and a processing command is issued for the specified file. In accordance with this processing command, the arithmetic processing unit of the terminal 1 (not shown) executes data processing according to commands such as a browse command, a copy command, a correction command, a delete command, a print command, etc., on the designated file. The operation status by the user at that time is captured by the image capture unit 13 using an operation screen displayed on a monitor (not shown) included in the terminal 1 as operation screen information, and the operation log information is operated based on the operation log. Generated by the log information generator 14. The operation log information includes not only information on file operations by the user but also operation information on the mouse and keyboard 36 provided as an input device in the terminal 1, and information on the coordinate position of the mouse cursor Cu and the like. The moving speed of the mouse cursor Cu can be calculated from the coordinate position of the mouse cursor Cu.

ユーザ識別情報生成部１２によって生成されたユーザ識別情報、画像キャプチャ部１３によってキャプチャされた操作画面情報、操作ログ情報生成部１４によって生成された操作ログ情報は、ネットワークインタフェース１１を通じて、ネットワークで接続された端末監視サーバ２に送られる。なお、これらのユーザ識別情報と操作画面情報と操作ログ情報とは端末監視サーバ２に対して個別に送っても良いし、一体化して端末ファイル情報として送っても良い。 The user identification information generated by the user identification information generation unit 12, the operation screen information captured by the image capture unit 13, and the operation log information generated by the operation log information generation unit 14 are connected via a network interface 11 via a network. Sent to the terminal monitoring server 2. The user identification information, operation screen information, and operation log information may be sent individually to the terminal monitoring server 2 or may be sent together as terminal file information.

端末監視サーバ２は、端末１から送られるこれらの情報を端末監視サーバ２が備えるネットワークインタフェース２１を介して取得する。ユーザ識別情報はユーザ識別情報格納部２２に格納され、操作画面情報はキャプチャ画像としてキャプチャ画像格納部２３に格納される。また、操作ログ情報は操作ログ情報格納部２４に格納される。これらの各情報は、各端末１の起動から終了するまでの間、端末監視サーバ２に送られてくることから、端末監視サーバ２では各端末１におけるファイル操作やモニタに表示される操作画面が録画される状態となる。したがって、この録画された内容を確認することにより、端末１の操作状況を把握することが可能となる。 The terminal monitoring server 2 acquires these pieces of information sent from the terminal 1 via the network interface 21 provided in the terminal monitoring server 2. The user identification information is stored in the user identification information storage unit 22, and the operation screen information is stored in the capture image storage unit 23 as a captured image. The operation log information is stored in the operation log information storage unit 24. Since each of these pieces of information is sent to the terminal monitoring server 2 from the start to the end of each terminal 1, the terminal monitoring server 2 has a file operation on each terminal 1 and an operation screen displayed on the monitor. The recording is ready. Therefore, it is possible to grasp the operation status of the terminal 1 by checking the recorded contents.

操作イベント抽出部２５は、操作ログ情報格納部２４に格納された操作ログ情報からユーザによるファイル操作やマウス操作やキーボード操作等に基づく操作イベントの抽出を行う。操作イベント抽出部２５により抽出された操作イベントに基づいて、その操作イベントが行われた画面位置を操作イベント画面位置算定部２６が算定する。この算定された画面位置によりマウスによるダブルクリック操作やドラッグ操作等が行われた位置を認識することが可能となり、また、キーボード操作によるファイル操作等が行われた位置の認識も可能となる。 The operation event extraction unit 25 extracts operation events based on file operations, mouse operations, keyboard operations, and the like by the user from the operation log information stored in the operation log information storage unit 24. Based on the operation event extracted by the operation event extraction unit 25, the operation event screen position calculation unit 26 calculates the screen position where the operation event is performed. Based on the calculated screen position, it is possible to recognize a position where a double-click operation or a drag operation is performed with a mouse, and it is also possible to recognize a position where a file operation is performed by a keyboard operation.

操作イベント評価部２７は操作イベントの操作評価値の算定を行う。この操作評価値の算定は、操作評価値テーブル格納部２８に格納される操作評価値テーブル２８ａに基づいて算定される（詳細は後述）。操作イベント特殊画像化部３３は、操作評価値に基づいて明示が必要であると判定された要明示操作イベントがあったことを端末監視サーバ２における監視者に対して明示するための強調イメージの生成を行う。 The operation event evaluation unit 27 calculates an operation evaluation value of the operation event. The calculation of the operation evaluation value is calculated based on the operation evaluation value table 28a stored in the operation evaluation value table storage unit 28 (details will be described later). The operation event special imaging unit 33 generates an emphasized image for clearly indicating to the monitor in the terminal monitoring server 2 that there is an explicit operation event that is determined to be explicit based on the operation evaluation value. Generate.

キャプチャ画像抽出部２９は要明示操作イベントの発生時点に対応する端末１での操作画面情報をキャプチャ画像格納部２３から抽出する。ここで、操作画面情報として抽出されたキャプチャ画像と操作ログ情報から抽出された操作イベントの時間的概念を考えると、キャプチャ画像は所定の時間間隔を持って録画されているが、操作イベントは操作イベント毎の断片的な記録でしかないために夫々を抽出しただけでは両者の時間的概念が必ずしも一致するとは限らない。したがって、操作イベント評価部２７により操作評価値に基づいて明示が必要であると判定された操作イベントのタイムスタンプと、キャプチャ画像のタイムスタンプとが一致するように同期をとる必要がある。この同期をとるために同期部３０が備えられている。監視画像再生部３２は、キャプチャ画像抽出部２９が操作イベントと同期するようにして抽出したキャプチャ画像に操作イベント特殊画像化部３３が生成する強調イメージを合成し、ＶＲＡＭ（Video Random Access Memory）３４を介してモニタ３５に監視画面として再生する。この強調イメージに関しては、後述することとする。 The capture image extraction unit 29 extracts operation screen information on the terminal 1 corresponding to the occurrence time of the explicit operation event from the capture image storage unit 23. Here, considering the temporal concept of the capture image extracted as the operation screen information and the operation event extracted from the operation log information, the capture image is recorded with a predetermined time interval. Since they are only fragmentary records for each event, just extracting each of them does not necessarily mean that the temporal concepts of the two coincide. Therefore, it is necessary to synchronize so that the time stamp of the operation event determined by the operation event evaluation unit 27 based on the operation evaluation value is the same as the time stamp of the captured image. In order to achieve this synchronization, a synchronization unit 30 is provided. The monitoring image reproduction unit 32 synthesizes the enhanced image generated by the operation event special imaging unit 33 with the captured image extracted so that the capture image extraction unit 29 is synchronized with the operation event, and a VRAM (Video Random Access Memory) 34. Is reproduced on the monitor 35 as a monitoring screen. This enhanced image will be described later.

また、端末１のキーボード操作により操作イベントが発生した場合には、キーボードイメージ生成部３１が生成するキーボードイメージ３７と操作イベント特殊画像化部３３により生成される強調イメージとキャプチャ画像とが監視画像再生部３２により合成され、ＶＲＡＭ３４を介してモニタ３５に出力される。このようにすると、操作画面情報からは判別し難いキーボード３６によるファイル操作等も端末監視サーバ２において監視することが容易となる。 When an operation event occurs due to the keyboard operation of the terminal 1, the keyboard image 37 generated by the keyboard image generation unit 31, the emphasized image generated by the operation event special imaging unit 33, and the captured image are reproduced as monitoring images. The signals are synthesized by the unit 32 and output to the monitor 35 via the VRAM 34. This makes it easy for the terminal monitoring server 2 to monitor file operations and the like using the keyboard 36 that are difficult to distinguish from the operation screen information.

次に、操作評価値テーブル格納部２８に格納される操作評価値テーブル２８ａについて説明する。操作評価値テーブル２８ａは、操作イベント抽出部２５により抽出された操作イベントに対して、その操作イベントがどれくらいの操作評価値であるかを算定するための操作イベントと操作評価値との関係を示すテーブルである。この操作評価値テーブル２８ａの一例を図３に示す。図３に示す例では１０段階表示で操作評価値が大きくなるにつれて強調イメージの明示の必要性が高くなるように付与されている。図３に示されるように「ファイルの削除」や「ファイルの名称変更」等のように必要性が高い操作と考えられる操作イベントには「８」や「７」のような高い操作評価値が付与され、「プログラムの起動」や「プログラムの終了」や「ファイルの作成」等のように必要性が低い操作と考えられる操作イベントには「３」や「２」や「１」のように低い操作評価値が付与される。また、「ファイルのコピー」や「ファイルの移動」や「印刷」等の操作イベントには中程度の操作評価値が付与されている。 Next, the operation evaluation value table 28a stored in the operation evaluation value table storage unit 28 will be described. The operation evaluation value table 28a shows the relationship between the operation event and the operation evaluation value for calculating how much operation evaluation value the operation event is for the operation event extracted by the operation event extracting unit 25. It is a table. An example of the operation evaluation value table 28a is shown in FIG. In the example shown in FIG. 3, it is given so that the necessity of clearly indicating the emphasized image becomes higher as the operation evaluation value becomes larger in 10-step display. As shown in FIG. 3, a high operation evaluation value such as “8” or “7” is given to an operation event that is considered to be a highly necessary operation such as “file deletion” or “file name change”. For operation events that are considered to be less necessary operations such as “program start”, “program end”, “file creation”, etc., such as “3”, “2”, and “1” A low operation evaluation value is given. Further, a medium operation evaluation value is assigned to operation events such as “file copy”, “file move”, and “print”.

操作イベント抽出部２５により抽出された操作イベントが、操作評価値テーブル２８ａに示される所定の操作評価値以上の操作イベントであれば、操作イベント評価部２７は、この操作イベントは強調イメージの明示が必要であると判定する。この判定に基づいて、操作イベント特殊画像化部３３により強調イメージが生成される。この操作評価値は、単なる一例でありコンピュータネットワークシステムの管理者により任意に設定することは当然に可能であるし、状況に応じて変更することも当然に可能である。また、図３に示された操作イベント以外の操作イベントに関して操作評価値を定めることも当然に可能である。 If the operation event extracted by the operation event extraction unit 25 is an operation event equal to or greater than a predetermined operation evaluation value shown in the operation evaluation value table 28a, the operation event evaluation unit 27 indicates that the operation event has an enhanced image clearly indicated. Determine that it is necessary. Based on this determination, the operation event special imaging unit 33 generates an enhanced image. This operation evaluation value is merely an example, and can be arbitrarily set by an administrator of the computer network system, and can be changed according to circumstances. In addition, it is naturally possible to determine an operation evaluation value for an operation event other than the operation event shown in FIG.

次に、端末監視サーバ２が備えるモニタ３５に映される監視画面について説明する。ここで、説明に使用する監視画面は端末１の操作状況を端末監視サーバ２により録画再生される画像となる。図４は、ユーザがデスクトップ上のアイコンをダブルクリックしてプログラムを起動する場合における強調イメージの合成の一例を示す監視画面である。キャプチャ画像格納部２３に格納されているキャプチャ画像がキャプチャ画像抽出部２９を介して監視画像再生部３２に送られることにより端末１での操作状況が再生され、所定の操作イベントが行われる所定時間前からマウスカーソルＣｕを検出し、マウスカーソルＣｕを中心とするサークル状のマーキングＭを表示する。このマーキングＭは操作イベント特殊画像化部３３により生成され、マウスカーソルＣｕの移動と共に移動する（図４（ａ）参照）。 Next, the monitoring screen displayed on the monitor 35 provided in the terminal monitoring server 2 will be described. Here, the monitoring screen used for the description is an image in which the operation status of the terminal 1 is recorded and reproduced by the terminal monitoring server 2. FIG. 4 is a monitoring screen showing an example of emphasizing image synthesis when the user starts the program by double-clicking an icon on the desktop. The capture image stored in the capture image storage unit 23 is sent to the monitoring image reproduction unit 32 via the capture image extraction unit 29, whereby the operation status on the terminal 1 is reproduced and a predetermined operation event is performed. The mouse cursor Cu is detected from the front, and a circle-shaped marking M centering on the mouse cursor Cu is displayed. The marking M is generated by the operation event special imaging unit 33 and moves with the movement of the mouse cursor Cu (see FIG. 4A).

また、監視画面の下部には、監視画面の巻き戻しを行う巻き戻しボタン５２と、処理を停止させる停止ボタン５３と、再生を行う再生ボタン５４と、早送りを行う早送りボタン５５と、が配設される。また、その横には監視画面を録画再生する端末１の切り替えを行う対象端末切り替えメニュー５６と、録画日時を表示する録画日時表示部５７とが配設され、その上部には録画再生の進行状況を示す再生位置表示バー５１も配設される。端末監視サーバ２における監視者は、これらのボタンを操作して各端末１の録画された操作画面を再生することにより監視することが可能となる。 Also, at the bottom of the monitoring screen, a rewind button 52 for rewinding the monitoring screen, a stop button 53 for stopping the processing, a playback button 54 for performing playback, and a fast forward button 55 for performing fast forward are provided. Is done. A target terminal switching menu 56 for switching the terminal 1 for recording / reproducing the monitoring screen and a recording date / time display unit 57 for displaying the recording date / time are arranged next to the monitoring screen, and the progress of the recording / reproducing is displayed on the upper part. A playback position display bar 51 is also provided. The monitor in the terminal monitoring server 2 can monitor by operating these buttons and reproducing the recorded operation screen of each terminal 1.

マウスカーソルＣｕがデスクトップのアイコン（ｉｃｏｎ）の上に移動すると、操作イベントが行われる直前であることを強調するために、図４（ｂ）のようにマーキングＭの大きさを変更する。そして、ダブルクリックによるプログラム起動の操作が行われると、図４（ｃ）のように録画再生中の監視画面上に「プログラム起動」の文字を吹き出し表示することにより操作イベントを強調表示する。この吹き出し表示も操作イベント特殊画像化部３３により生成され、監視画像再生部３２に送られることによりキャプチャ画像と合成される。このようにキャプチャ画像と強調イメージとを合成して表示することにより、端末監視サーバ２で操作を視覚的に把握することが可能となる。 When the mouse cursor Cu moves over the icon (icon) on the desktop, the size of the marking M is changed as shown in FIG. 4B in order to emphasize that it is immediately before the operation event is performed. When a program activation operation is performed by double-clicking, the operation event is highlighted by displaying a word “program activation” in a balloon on the monitoring screen during recording and reproduction as shown in FIG. This balloon display is also generated by the operation event special imaging unit 33 and sent to the monitoring image reproduction unit 32 to be combined with the capture image. Thus, by synthesizing and displaying the captured image and the emphasized image, the terminal monitoring server 2 can visually grasp the operation.

上記では、操作イベントが行われる所定時間前からマウスカーソルＣｕをマーキングすることにより操作を視覚的に把握することが可能であると説明した。マウスカーソルＣｕの動く速さに応じてマーキングＭの大きさを変化させることにより視覚的に認識させることも可能である。例えば、マウスカーソルＣｕの動きが速いときには、ダブルクリック等の操作を行う可能性が低いと考えられるため図５（ａ）のようにマーキングＭの大きさを小さくし、マウスカーソルＣｕの動きが遅いときや停止したときには、マウスカーソルＣｕ周辺のアイコン等を選択したり、ドラッグアンドドロップ等をしたりする可能性があることからマウスカーソルＣｕ周辺に着目する必要があるためにマーキングＭの大きさを図５（ｂ）のように大きくすることも可能である。このようにマウスカーソルＣｕの動く速さに合わせてマーキングＭの大きさを変えることにより、操作が行われる所定時間前から着目することが可能となる。 In the above description, it has been described that the operation can be visually grasped by marking the mouse cursor Cu from a predetermined time before the operation event is performed. It is also possible to visually recognize the marking M by changing the size of the marking M according to the moving speed of the mouse cursor Cu. For example, when the movement of the mouse cursor Cu is fast, it is considered that the possibility of performing an operation such as a double click is low. Therefore, the size of the marking M is reduced as shown in FIG. When it stops or stops, there is a possibility of selecting an icon or the like around the mouse cursor Cu, dragging and dropping, etc. Therefore, it is necessary to pay attention to the area around the mouse cursor Cu. It is also possible to enlarge it as shown in FIG. In this way, by changing the size of the marking M in accordance with the moving speed of the mouse cursor Cu, it becomes possible to focus on the predetermined time before the operation is performed.

更に、端末監視サーバ２で操作を把握しやすくするために、ダブルクリック等の操作イベントの発生時にマーキングＭの表示を変更する構成とすることも好適である。例えば、図６（ａ）のようにマウスカーソルＣｕのマーキングＭを２重円に変更したり、図６（ｂ）のようにマウスカーソルＣｕのマーキングＭを四角に変更したり、図６（ｃ）のようにマーキングＭを破線に変更したりすることも可能である。また、図示はしないが、マーキングＭの線幅や色を変更したり、点滅させたりすることも当然に可能である。更には、操作評価値テーブル２８ａに示された操作評価値に応じて段階的にマーキングＭを変更することも好適である。このように操作イベントの発生や、操作評価値に応じてマーキングＭを変更することにより、着目すべき箇所を周辺に対して拡張したり、操作評価値が高い旨を示唆したりすることが可能となる。 Furthermore, in order to make it easy to grasp the operation by the terminal monitoring server 2, it is also preferable to change the display of the marking M when an operation event such as a double click occurs. For example, the marking M of the mouse cursor Cu is changed to a double circle as shown in FIG. 6A, the marking M of the mouse cursor Cu is changed to a square as shown in FIG. It is also possible to change the marking M to a broken line as in FIG. In addition, although not shown, it is naturally possible to change the line width and color of the marking M or to make it blink. Furthermore, it is also preferable to change the marking M stepwise in accordance with the operation evaluation value shown in the operation evaluation value table 28a. In this way, by generating an operation event and changing the marking M according to the operation evaluation value, it is possible to extend a point of interest to the surroundings or suggest that the operation evaluation value is high It becomes.

端末１にはキーボード３６が備えられており、キーボード３６のショートカットキーによるファイル操作も可能である。例えば、アプリケーションの多くは「コントロール」キーと「Ｘ」キーとを同時に押すことにより削除コマンドとして動作するように設定されている。また、単に「ＤＥＬＥＴＥ」キーを押すことによって削除することも可能である。このようなキーボード３６による操作は、キャプチャ画像から判別することは容易ではない。このような場合には、操作ログに記録されたキーボード操作をキーボードイメージ生成部３１が生成するキーボードイメージ３７に強調イメージを合成することにより着目することが可能となる。例えば、図７に示されるように「コントロール（ＣＴＲＬ）」キーと「Ｘ」キーとにより削除が行われる際には、モニタ３５にキャプチャ画像と共にキーボードイメージ３７を表示し、例えば「ＣＴＲＬ」キーと「Ｘ」キーとを塗りつぶす等の強調イメージを表示する。そして、実際に所定のキーが押された場合には、「削除」の文字と押されたキーの表示を吹き出し表示することにより、キーボード３６による操作を容易に認識することが可能となる。 The terminal 1 is provided with a keyboard 36, and file operations can be performed using shortcut keys of the keyboard 36. For example, many applications are set to operate as a delete command by simultaneously pressing a “control” key and an “X” key. It is also possible to delete by simply pressing the “DELETE” key. Such an operation with the keyboard 36 is not easy to distinguish from the captured image. In such a case, it is possible to focus on the keyboard operation recorded in the operation log by combining the emphasized image with the keyboard image 37 generated by the keyboard image generation unit 31. For example, as shown in FIG. 7, when deletion is performed using the “control (CTRL)” key and the “X” key, a keyboard image 37 is displayed together with the captured image on the monitor 35. For example, the “CTRL” key Display an emphasis image such as painting the “X” key. When a predetermined key is actually pressed, the operation of the keyboard 36 can be easily recognized by displaying the characters “delete” and the pressed key in a balloon.

〔本発明の第二実施形態〕
第一実施形態として、キャプチャ画像と強調イメージとの合成画像がモニタ３５に表示されるとして説明した。本発明に係る別実施形態として、強調イメージとして使用されるマーキングＭ内の領域を監視画面としてモニタ３５に表示し、マーキングＭの外側の領域はモザイク処理やマスク処理等の画像処理を行う構成とすることも好適である。モザイク処理を行った場合の例を図８に示す。このような構成とすることにより、操作を監視すると共に、ユーザのプライバシーを確保することも可能となる。 [Second embodiment of the present invention]
As a first embodiment has been described as a composite image of the sensitized image capture and image is displayed on the monitor 35. As another embodiment according to the present invention, an area in the marking M used as an emphasized image is displayed on the monitor 35 as a monitoring screen, and an area outside the marking M is subjected to image processing such as mosaic processing and mask processing. It is also suitable to do. An example in the case of performing mosaic processing is shown in FIG. With such a configuration, the operation can be monitored and the privacy of the user can be ensured.

〔その他の実施形態〕
上記の各実施形態では、各端末１の操作画面情報を常時、端末監視サーバ２に送られるとして説明したが、これに限らない。例えば、所定の時間間隔で送ることにより監視することも当然に可能である。このような構成とすれば、端末監視サーバ２のハードディスク等が圧迫されることを防止することが可能となる。 [Other Embodiments]
In each of the above-described embodiments, the operation screen information of each terminal 1 has been described as being constantly sent to the terminal monitoring server 2, but the present invention is not limited to this. For example, it is naturally possible to monitor by sending at a predetermined time interval. With such a configuration, it is possible to prevent the hard disk or the like of the terminal monitoring server 2 from being pressed.

上記の各実施形態では、監視画面において対象とする端末１の名称のみを表示して説明したが、これに限らない。例えば、各端末１から送られるユーザ識別情報を監視画面に表示するように構成することも、当然に可能である。このような構成とすれば、録画再生中の端末１を使用しているユーザの特定が容易となる。 In each of the above embodiments, only the name of the target terminal 1 is displayed on the monitoring screen. However, the present invention is not limited to this. For example, it is naturally possible to configure so that the user identification information sent from each terminal 1 is displayed on the monitoring screen. With such a configuration, it becomes easy to identify the user who is using the terminal 1 during recording and reproduction.

上記の各実施形態では、デスクトップ上のアイコンをダブルクリックすることにより録画再生中の監視画面上に「プログラム起動」の文字を吹き出し表示するとして説明したが、これに限らない。文字の吹き出し表示を行うことなく、マウスカーソルＣｕのマーキングＭの大きさを変更するのみの構成とすることも当然に可能である。 In each of the above-described embodiments, it has been described that the characters “program activation” are displayed in a balloon on the monitoring screen during recording and reproduction by double-clicking an icon on the desktop. However, the present invention is not limited thereto. Of course, it is possible to adopt a configuration in which the size of the marking M of the mouse cursor Cu is only changed without performing the character balloon display.

上記の各実施形態では、監視画面において１台の端末１に関して表示されるとして説明したが、これに限らない。例えば、複数台の端末１を端末監視２に並べて表示し、同時に再生することも当然に可能である。 In each of the above embodiments, it has been described that the terminal 1 is displayed on the monitoring screen. However, the present invention is not limited to this. For example, it is naturally possible to display a plurality of terminals 1 side by side on the terminal monitor 2 and reproduce them simultaneously.

上記の第二実施形態として、画像強調イメージとして使用されるマーキングＭ内の領域を監視画面としてモニタ３５に表示し、マーキングＭの外側の領域はモザイク処理やマスク処理等の画像処理を行うとして説明したが、これに限らない。例えば、マーキングＭの外側の領域は完全に表示しないようにすることも当然に可能であるし、使用している色数を減らしたり、解像度を落としたりすることも可能である。このような構成とすれば、画像ファイルの容量を抑えることによりＶＲＡＭ３４のメモリ消費も抑えることができるため、描画速度の低下を防止することが可能となる。 As the second embodiment, an area in the marking M used as an image enhancement image is displayed on the monitor 35 as a monitoring screen, and the area outside the marking M is described as being subjected to image processing such as mosaic processing and mask processing. However, it is not limited to this. For example, it is naturally possible not to display the area outside the marking M completely, and it is also possible to reduce the number of colors used or reduce the resolution. With such a configuration, it is possible to suppress the memory consumption of the VRAM 34 by suppressing the capacity of the image file, and thus it is possible to prevent the drawing speed from being lowered.

上記実施形態において、強調イメージが、要明示操作イベントの発生時点の所定時間前から、或いは発生時点から所定時間後までのいずれか一方、又は双方に明示されるように構成すると好適である。このように構成すると、録画再生中に監視すべき操作を見落とすことがなくなり、監視が容易となる。 In the above-described embodiment, it is preferable that the emphasized image is clearly displayed either before or after the predetermined time before the occurrence of the explicit operation event, or after the predetermined time after the occurrence. With this configuration, the operation to be monitored is not overlooked during recording and reproduction, and monitoring is facilitated.

上記の各実施形態では、ファイル操作に関する操作の監視について説明したが、これに限らない。例えば、アプリケーション上での操作やアプリケーションの起動そのものを監視することも本発明に係る端末監視装置の権利範囲であることは当然である。 In each of the above embodiments, monitoring of operations related to file operations has been described, but the present invention is not limited to this. For example, it is natural that monitoring the operation on the application and the activation of the application itself is also within the scope of the right of the terminal monitoring apparatus according to the present invention.

上記の各実施形態では、端末監視サーバ２が単独のコンピュータにより構築されているとして説明したが、これに限らない。端末監視サーバ２の機能を区分けして、複数のコンピュータに分散させても良く、例えば、端末監視サーバ２におけるキャプチャ画像格納部２３をファイルサーバのようなデータ格納専用機に振り分け、このデータ格納専用機から操作画面情報や操作ログ情報を読み出して種々の処理を施し監視モニタに表示させる独立した監視端末を配置させても良い。この監視端末とデータ格納専用機をネットワークで接続することで、いつでもどこからでも端末を監視することができる。 In each of the above embodiments, the terminal monitoring server 2 has been described as being constructed by a single computer, but the present invention is not limited to this. The functions of the terminal monitoring server 2 may be divided and distributed to a plurality of computers. For example, the captured image storage unit 23 in the terminal monitoring server 2 is distributed to a dedicated data storage machine such as a file server, and this data storage dedicated An independent monitoring terminal that reads out the operation screen information and operation log information from the machine, performs various processes, and displays the information on the monitoring monitor may be arranged. By connecting this monitoring terminal and a dedicated data storage device via a network, the terminal can be monitored anytime and anywhere.

なお、本仕様書で用いられているキャプチャ画像とは、操作画面をキャプチャして得られた静止画ファイルやその静止画ファイルの集合体、及び連続した静止画を動画化して得られた動画ファイルや動画ファイルの集合体を総称している。従って、端末１から端末監視サーバ２に送信されるキャプチャ画像は静止画であっても動画であっても良い。動画の形式で端末１から端末監視サーバ２に送信される場合は、端末１のフォーマッタ部に静止画を動画化する機能が備えられることになる。また、端末１の操作画面（キャプチャ画面）をモニタ３５で表示する際も、静止画の連続表示（スライドショーのようなスタイル）でも良いし、動画表示でも良く、必要に応じて適切な静止画−動画化プログラムや動画−静止画化プログラムが実装される。更に、キャプチャ画像格納部２３に格納される際のキャプチャ画像の形式も種々のものを選択することができる。例えば、静止画の場合にはＪＰＥＧやＧＩＦ等が、動画の場合にはＭＰＥＧやＡＶＩ等が用いられる。 The captured image used in this specification is a still image file obtained by capturing the operation screen, a collection of the still image files, and a moving image file obtained by converting continuous still images into movies. And a collection of video files. Therefore, the captured image transmitted from the terminal 1 to the terminal monitoring server 2 may be a still image or a moving image. When transmitted from the terminal 1 to the terminal monitoring server 2 in the moving image format, the formatter unit of the terminal 1 is provided with a function of converting a still image into a moving image. Further, when the operation screen (capture screen) of the terminal 1 is displayed on the monitor 35, a continuous display of still images (style like a slide show) or a moving image display may be used. A moving image program or a moving image-still image program is implemented. Further, various capture image formats can be selected when stored in the capture image storage unit 23. For example, JPEG or GIF is used for still images, and MPEG or AVI is used for moving images.

コンピュータネットワークシステムを模式的に示した構成図Configuration diagram schematically showing a computer network system 端末と端末監視サーバの機能ブロックを示す図The figure which shows the functional block of the terminal and the terminal monitoring server 操作評価値テーブルの一例を示す図The figure which shows an example of an operation evaluation value table キャプチャ画像と強調イメージとを合成した場合の一例を示す図The figure which shows an example at the time of combining a capture image and an emphasis image マウスカーソルの動く速さに合わせてマーキングの大きさを変えた一例を示す図The figure which shows an example which changed the size of marking according to the moving speed of the mouse cursor マーキングの表示を変更した場合の一例を示す図The figure which shows an example when the display of marking is changed キーボードイメージに強調イメージを合成する場合の一例を示す図The figure which shows an example when a highlight image is combined with a keyboard image マーキングの外側領域をモザイク表示した場合の例を示す図The figure which shows the example at the time of mosaic displaying the outside area of marking

Explanation of symbols

１：端末
２：端末監視サーバ
１２：ユーザ識別情報生成部
１３：画像キャプチャ部
１４：操作ログ情報生成部
２２：ユーザ識別情報格納部
２３：キャプチャ画像格納部
２４：操作ログ情報格納部
２５：操作イベント抽出部
２６：操作イベント画面位置算定部
２７：操作イベント評価部
２８：操作評価値テーブル格納部
２８ａ：操作評価値テーブル
２９：キャプチャ画像抽出部
３０：同期部
３１：キーボードイメージ生成部
３２：監視画像再生部
３３：操作イベント特殊画像化部
３４：ＶＲＡＭ
３５：モニタ
３６：キーボード
３７：キーボードイメージ 1: Terminal 2: Terminal monitoring server 12: User identification information generation unit 13: Image capture unit 14: Operation log information generation unit 22: User identification information storage unit 23: Captured image storage unit 24: Operation log information storage unit 25: Operation Event extraction unit 26: operation event screen position calculation unit 27: operation event evaluation unit 28: operation evaluation value table storage unit 28a: operation evaluation value table 29: capture image extraction unit 30: synchronization unit 31: keyboard image generation unit 32: monitoring Image playback unit 33: Operation event special imaging unit 34: VRAM
35: Monitor 36: Keyboard 37: Keyboard image

Claims

In a terminal monitoring device that monitors operations on terminals connected to the network,
Performed in the captured image storage unit storing operation screen information captured from the terminal, the operation log information storage unit storing operation log information from the terminal, and the terminal included in the operation log information an operation event evaluation unit for calculating the operation evaluation value of the operation event based on the operation, the operation event special image to generate a manifest enhancement images principal explicit operation event explicitly is determined to be needed based on the operation evaluation value a unit, wherein when said operation screen information relevant explicit operation event is running is extracted from the captured image storage unit, based on a change in the coordinate position of the cursor of the pointing device that is displayed on the operation screen information And a monitoring image reproducing unit that combines the emphasized images and reproduces them as a monitoring screen.

The terminal monitoring apparatus according to claim 1, wherein the operation event evaluation unit calculates the operation evaluation value based on screen position information calculated by an operation event screen position calculation unit.

The emphasized image is generated when it is calculated that the cursor is on an icon on the operation screen based on screen position information calculated by the operation event screen position calculation unit. The terminal monitoring apparatus described.

The said monitoring image reproduction part synthesize | combines and reproduce | regenerates the keyboard image which a keyboard image generation part produces | generates as said emphasis image based on operation with a keyboard, The reproduction | regeneration as described in any one of Claim 1 to 3 characterized by the above-mentioned. Terminal monitoring device.

The operation event special imaging unit generates the emphasized image at least a predetermined time before the explicit operation event occurs, and sets the size of the emphasized image in accordance with a timing at which the explicit operation event is executed. terminal apparatus according to any one of claims 1, characterized in that the change 4.

The operation event special imaging unit, a terminal monitoring apparatus according to any one of claims 1 to 5, characterized in that to generate a display illustrating the main explicit operation event as the highlight image.

The operation event special imaging unit, the terminal apparatus according to any one of claims 1 to 6, characterized in that to change the size of the highlight image according to the moving speed of the cursor.

The enhancement image, terminal monitoring apparatus according to any one of claims 1 to 7, characterized in that manifested until after a predetermined time instant of occurrence of the main explicit operation event.

The monitoring image reproduction unit reproduces an area obtained by synthesizing the enhanced image with the operation screen information extracted from the captured image storage unit as a monitoring screen, and reproduces an area other than the synthesized area by performing image processing. The terminal monitoring device according to any one of claims 1 to 8 , wherein

In a program for a terminal monitoring device that monitors operations in a terminal connected to a network,
A capture image storage function for storing operation screen information captured from the terminal in a capture image storage unit, an operation log information storage function for storing operation log information from the terminal in an operation log information storage unit, and the operation log information An operation event evaluation function that calculates an operation evaluation value of an operation event based on an operation performed on the terminal included in the terminal, and an explicit operation event that is determined to be explicit based on the operation evaluation value and operation event special imaging function to produce an enhanced image for the when the operation screen information relevant explicit operation event is running is extracted from the captured image storage unit, pointing displayed on the operation screen information audit to play as a monitoring screen by synthesizing the emphasis image on the basis of a change in the coordinate position of the device of the cursor Program for the terminal monitoring apparatus for realizing the image reproduction function and, to a computer.