JP3062166B2

JP3062166B2 - 画像記録装置

Info

Publication number: JP3062166B2
Application number: JP34478798A
Authority: JP
Inventors: 俊文林; 敏和川村; 健中條; 旬池田; 義浩菊池
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1998-12-04
Filing date: 1998-12-04
Publication date: 2000-07-10
Anticipated expiration: 2018-12-04
Also published as: JP2000175198A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像を符号化して
記録する画像記録装置に関する。

【０００２】

【従来の技術】例えば、発電施設や公共施設等では保安
のために施設の状況をカメラで撮影し、その撮影した画
像を画像記録装置に伝送して記録するようにしている。
画像記録装置では、通常とは異なる動きをする物体（人
物）が発見されたときは、その動きを記録し、またその
物体（人物）を特定するために高精細の映像を記録する
ようにしている。

【０００３】一般に、動画像をMPEG-1方式を用いて記録
すると、約１Mbpsのデータストリームとなり、１時間当
たり約４５０MByteの記憶媒体が必要となる。また、MPE
G-1の画素数は３６０×２４０程度であり物体（人物）
を特定するための十分な解像度があるわけではない。従
って、物体（人物）を特性できる十分な解像度を得るた
めにMPEG-2方式を採用することも考えられる。

【０００４】

【発明が解決しようとする課題】しかし、このMPEG-2は
より高い解像度を持つが、記憶媒体および現場から画像
を伝送するための伝送装置は、より大容量となり高価な
ものが必要となる。そこで、物体（人物）の動きを記録
するためには程々の解像度で動画を記録し、必要に応じ
て高精細の静止画像を記録する方式が考えられる。例え
ば、画像を４分割してそれぞれを静止画として符号化し
て伝送することで高精細画像を得る。

【０００５】しかし、実際には、符号化側と復号化側と
には遅延時間が存在するため、得られた高精細画像は、
高精細画像を必要とした場面よりも多少後のものになっ
てしまう。また、静止画を伝送している間は、動画像の
伝送が停止するので、高精細な静止画像を伝送するタイ
ミングを適切に判定し、無意味な静止画像の伝送と記録
を抑制することが必要である。

【０００６】本発明の目的は、監視に必要とする静止画
像を適切に記録することができる画像記録装置を提供す
ることである。

【０００７】

【課題を解決するための手段】請求項１の発明に係わる
画像記録装置は、画像を符号化し伝送して記録する画像
記録装置において、動画像を撮影するカメラ部と、前記
カメラ部からの動画像をブロック化して符号化すると共
に前記カメラ部からの動画像を一時的に記録し特定の画
像を静止画像としてブロック化して符号化する符号化手
段と、前記符号化手段で符号化された符号化データ伝送
する伝送手段と、前記伝送手段からの動画像符号化デー
タおよび静止画像符号化データを復号化する復号化手段
と、前記復号化手段で復号化されたブロック内の画像が
静止状態か動状態かを判定し動状態であるときは雑音除
去処理および移動物体包含処理により移動物体を検出す
る移動物体検出手段と、前記移動物体検出手段によって
検出された移動物体を含む領域の座標が予め定められた
条件を満たしたとき前記符号化手段に静止画像の符号化
を要求するための要求信号を送信する静止画像符号化タ
イミング判定手段と、前記動画像符号化データおよび前
記静止画像符号化データを記録する記録手段とを備えた
ことを特徴とする。

【０００８】請求項１の発明に係わる画像記録装置で
は、カメラ部で撮影され符号化手段で符号化された動画
像を伝送手段を介して復号化手段に送信する。復号化手
段で復号された動画像の中から、移動物体検出手段によ
る雑音除去処理および移動物体包含処理により移動物体
が検出されると、静止画像符号化タイミング判定手段
は、移動物体の座標が予め定められた条件を満たしたと
きに、伝送手段を介して符号化手段に静止画像の符号化
の要求信号を出力する。符号化手段はその要求信号に応
じて静止画像符号化データを作成し記録手段に送信す
る。これにより、無駄な静止画像の送信が抑制される。

【０００９】請求項２の発明に係わる画像記録装置は、
請求項１の発明において、前記静止画像符号化タイミン
グ判定手段は、前記移動物体検出手段によって検出され
た移動物体を含む領域の座標の履歴を記録する座標履歴
記憶手段と、前記座標履歴記憶手段に記録された移動物
体を含む領域の座標履歴の変化に基づいて静止画像符号
化のタイミングを判定する座標判定手段とを備えたこと
を特徴とする。

【００１０】請求項２の発明に係わる画像記録装置は、
請求項１の作用に加え、静止画像符号化タイミング判定
手段は、移動物体の座標の履歴から静止画像符号化の要
求信号の発生のタイミングを判定する。

【００１１】請求項３の発明に係わる画像記録装置は、
請求項１または請求項２の発明において、前記符号化手
段は、前記カメラ部から入力した符号化前の動画像に第
１のタイムコードを付加する第１のタイムコード付加部
と、第１のタイムコードを付加した動画像を一時的に記
録する入力画像バッファと、前記カメラ部からの動画像
をブロック化して符号化する動画像符号化部と、前記動
画像符号化部の出力する動画像符号化データに第２のタ
イムコードを付加する第２のタイムコード付加部と、前
記第１のタイムコードと第２のタイムコードとの対応関
係を記憶し前記静止画像符号化タイミング判定手段から
第２のタイムコードに基づく静止画像符号化の要求信号
を受信したときその第２のタイムコードに対応する第１
のタイムコードを出力するタイムコード対応記憶手段
と、前記タイムコード対応記憶手段からの第１のタイム
コードに基づいて前記入力画像バッファから動画像デー
タの一部を取り出し静止画像としてブロック化して符号
化する静止画像符号化部とを備えたことを特徴とする。

【００１２】請求項３の発明に係わる画像記録装置で
は、請求項１または請求項２の発明の作用に加え、動画
像を一時的に記憶する入力画像バッファに動画像を記憶
する際に第１のタイムコードを付加し、動画像符号化部
で符号化された動画像にだＩ２のタイムコードを付加す
る。そして、タイムコード対応記憶手段によって上記の
二つのタイムコードの対応を関連付けておき、静止画像
符号化タイミング判定手段が判定した時刻に適正に対応
する動画像を入力画像バッファより取り出し正しく静止
画像を符号化する。

【００１３】請求項４の発明に係わる画像記録装置は、
請求項１乃至請求項３のいずれか１項の発明において、
前記静止画像符号化タイミング判定手段に、移動物体を
含む領域の判定条件を入力するためのマンマシンインタ
フェース手段を設けたことを特徴とする。

【００１４】請求項４の発明に係わる画像記録装置で
は、請求項１乃至請求項３のいずれか１項の発明の作用
に加え、マンマシンインタフェース手段から、静止画像
符号化タイミング判定手段に対し移動物体を含む領域の
判定条件を入力する。

【００１５】請求項５の発明に係わる画像記録装置は、
請求項４の発明において、前記マンマシンインタフェー
ス手段は、前記復号化手段が復号化した動画像を画面上
に表示する表示手段と、前記表示手段の画面上で領域を
指定して移動物体を含む領域の判定条件を入力するため
のポインティング手段とを備えたことを特徴とする。

【００１６】請求項５の発明に係わる画像記録装置で
は、請求項４の発明の作用に加え、復号化手段が復号化
した動画像を表示手段に表示する。そして、ポインティ
ング手段によって、その画面上で静止画像符号化タイミ
ング判定手段の判定条件となる映像中の領域を指定し、
指定された領域のマークを動画像に重ねて表示する。こ
のマークの部分が静止画像符号化タイミング判定手段の
判定条件となる。

【００１７】請求項６の発明に係わる画像記録装置は、
請求項５の発明において、前記表示手段は、前記復号化
手段が復号化した動画像に前記移動物体検出手段が検出
した移動物体を包含する領域のマークを重ねて画面上に
表示し、前記ポインティング手段により前記マークが指
定されたとき、前記静止画符号化タイミング判定手段
は、前記静止画像符号化の要求信号を出力するようにし
たことを特徴とする。

【００１８】請求項６の発明に係わる画像記録装置で
は、請求項５の発明の作用に加え、復号化手段が復号化
した動画像に移動物体検出手段が検出した移動物体を包
含する領域のマークを重ねて画面上に表示し、移動物体
検出手段により表示された移動物体を包含する領域のマ
ークを画面上で指定することで、静止画像符号化タイミ
ング判定手段の判定条件となる座標データを入力する。

【００１９】請求項７の発明に係わる画像記録装置は、
請求項１の発明において、前記記録手段は、前記静止画
像符号化タイミング判定手段から静止画像符号化の要求
信号を入力したときは、前記符号化手段からの静止画像
符号化データおよびその前後の動画像符号化データをま
とめて記録するようにしたことを特徴とする。

【００２０】請求項７の発明に係わる画像記録装置で
は、請求項１の発明の作用に加え、記録手段は、一時的
に動画像を記録しておき、静止画像符号化タイミング判
定手段からの静止画像符号化を要求する要求信号を入力
すると、要求信号を入力した前後の符号化された動画像
データを取り出して静止画像データと共に記録する。

【００２１】請求項８の発明に係わる画像記録装置は、
請求項１乃至請求項７のいずれか１項の発明において、
前記移動物体検出手段は、復号化手段で復号化された動
画像データに代えて、前記符号化手段からの動画像デー
タを用いて移動物体を検出するようにしたことを特徴と
する。

【００２２】請求項８の発明に係わる画像記録装置で
は、請求項１乃至請求項７のいずれか１項の発明の作用
に加え、移動物体検出手段は、復号化手段からではな
く、符号化手段からの動画像データを用いて移動物体を
検出する。

【００２３】請求項９の発明に係わる画像記録装置は、
画像を符号化し伝送して記録する画像記録装置におい
て、動画像を撮影するカメラ部と、前記カメラ部からの
動画像をタイムコードを付加して一時的に入力画像バッ
ファに記憶し前記カメラ部からの動画像を符号化すると
共に前記入力画像バッファからの特定の画像を静止画と
して符号化する符号化手段と、前記符号化手段で符号化
された静止画像符号化データを記録する記録手段と、前
記符号化手段で符号化された動画像符号化データを伝送
する伝送手段と、前記伝送手段を通して送られてきた前
記符号化手段からの符号化された動画像符号化データを
復号化する復号化手段と、前記復号化手段が復号化した
動画像を表示する表示手段と、前記伝送手段を介して前
記符号化手段に対しタイムコードを指定した静止画像の
符号化を要求し前記記録手段に記録させるための要求信
号を送信する操作入力手段とを備えたこと特徴とする。

【００２４】請求項９の発明に係わる画像記録装置で
は、記録手段はカメラ部および符号化手段と一体化さ
れ、離れた場所でユーザーは表示手段を見て静止画像と
して記録するタイミングを判断する。記録手段の入力画
像バッファには、カメラ部からの動画像がタイムコード
を付加して一時的に記録される。そして、操作入力手段
からタイムコードを含んだ静止画像符号化の要求信号が
符号化手段に送られると、この要求信号によって符号化
手段はタイムコードに対応した静止画像を符号化し記録
手段に記録する。

【００２５】

【００２６】

【００２７】

【００２８】

【００２９】

【発明の実施の形態】以下、本発明の実施の形態を説明
する。図１は本発明の第１の実施の形態に係わる画像記
録装置の構成図である。

【００３０】図１において、カメラ部１０１によって撮
られた入力映像信号は、符号化手段１０２で符号化され
伝送手段１０３に送られる。カメラ部１０１は、高精細
な静止画像を撮影可能なものを用いる。符号化手段１０
２は、カメラ部１０１からの動画像をブロック化して符
号化して伝送手段１０３に伝送する。また、カメラ部１
０１からの動画像を一時的に記録し、静止画像符号化タ
イミング判定手段Ｈ１０２からの静止画像符号化の要求
信号があったとき、その要求のあった動画像を特定し
て、その特定の画像を静止画像としてブロック化して符
号化し伝送手段１０３に伝送する。伝送手段１０３は、
例えば、LAN、赤外線通信手段、電話回線、無線電話回
線であり、伝送能力は数１０Kbpsから数Mbps程度のもの
である。この伝送能力は、動画像データをそのまま送信
した場合の解像度には限界があるが、移動物体が存在す
ることは確認できる。

【００３１】伝送手段１０３からの動画像符号化データ
および静止画像符号化データは、記録手段Ｈ１０３に記
録され、また、動画像符号化データは復号化手段１０４
に入力される。

【００３２】復号化手段１０４では、伝送手段１０３か
ら送られてきた符号化データを復号し再生画像信号を作
成する。移動物体検出手段Ｈ１０１では、復号化手段１
０４から送られてくる動画像データを基に動画像の中の
移動物体を含む領域を検出する。すなわち、移動物体検
出手段Ｈ１０１では、復号化手段１０４で復号化された
ブロック内の画像が静止状態か動状態かを判定し、その
判定結果から移動物体を検出する。

【００３３】静止画符号化タイミング判定手段Ｈ１０２
では、移動物体検出手段Ｈ１０１によって検出された移
動物体の領域が予め定められた大きさを越えたとき、伝
送手段１０３を通して符号化手段１０２に対して静止画
像符号化を要求する要求信号を送信する。符号化手段１
０２は、その要求信号に応じて静止画像符号化データを
作成し、伝送手段１０３を介して記録手段Ｈ１０３に送
信する。これにより、無駄な静止画像の送信を抑制する
ようにしている。

【００３４】図２は、符号化手段１０２の構成の一例を
示すブロック図である。カメラ部１０１から送られてき
た入力映像信号は、まずA/D部２０１でアナログ信号か
らデジタル信号に変換される。デジタル化された映像信
号は、そのフレームを符号化するかどうかを決めるスイ
ッチ２０２を通過した後、Format変換部２０３に入力さ
れる。Format変換部２０３では、RGB信号をYCbCr信号に
変換し、画像サイズ変換部２０４と入力画像バッファ２
０６とに入力する。

【００３５】画像サイズ変換部２０４は、入力映像信号
にローパスフィルタをかけた後、ダウンサンプリングし
てを画像サイズを縮小し、動画像符号化部２０５に入力
する。動画像符号化部２０５では、入力映像信号を動画
像として符号化し、タイムコードを付けて符号化データ
を多重化部２１０に入力する。

【００３６】一方、符号化制御部２０９は、静止画像符
号化を要求する要求信号を静止画像符号化タイミング判
定手段Ｈ１０２から受信したときに、スイッチ２０７を
オンにして、入力画像バッファ２０６の中から、再送要
求信号のタイムコードと一致するフレームを選択し、静
止画像符号化部２０８で符号化し、その符号化データ
は、多重化部２１０で動画像符号化部２０５からの符号
化データと多重化する。

【００３７】多重化部２１０で多重化された符号化デー
タは、出力バッファ２１１を介して伝送路１０３に送ら
れる。符号化制御部２０９は、また、出力バッファ２１
０のバッファ量と動画像符号化部２０５および静止画像
符号化部２０８の符号化結果を用いて符号化パラメータ
を決めて符号量の制御を行う。

【００３８】図３は、符号化手段１０２の動画像符号化
部２０５の構成の一例を示すブロック図である。図３に
おいて、画像サイズ変換部２０４からの動画像信号は、
動画像符号化部２０５のブロック化部３０１に入力さ
れ、ここでマクロブロックに分割される。マクロブロッ
クに分割された動画像信号は、減算器３０２に入力さ
れ、予測画像信号との差分がとられて予測残差信号が生
成される。

【００３９】この予測残差信号とブロック化部３０１か
らの動画像信号とのうちのいずれか一方を、モード選択
スイッチ３０３によって選択し、DCT（離散コサイン変
換）部３０４により離散コサイン変換される。DCT部３
０４で得られたDCT係数データは、量子化部３０５で量
子化される。量子化部３０５で量子化された信号は２分
岐され、一方は可変長符号化部３１３で可変長符号化さ
れる。

【００４０】一方、量子化部３０５で量子化され２分岐
された信号の他方は、逆量子化部３０６及びIDCT（逆離
散コサイン変換）部３０７により量子化部３０５および
DCT部３０４の処理と逆の処理を順次受けた後、加算器
３０８でスイッチ３１１を介して入力される信号と加算
されることにより、局部復号信号が生成される。この局
部復号信号は、フレームメモリ３０９に蓄えられ、動き
補償部３１０に入力される。動き補償部３１０では、予
測画像信号が生成されるとともに、モード選択部３１２
に必要な情報を送る。

【００４１】モード選択部３１２では、マクロブロック
単位に動き補償部３１０からの予測情報に基づいて、フ
レーム間符号化を行うマクロブロックとフレーム内符号
化を行うマクロブロックを選択する。フレーム内符号化
（イントラ符号化）を行う場合は、モード選択スイッチ
情報MをAとし、スイッチ情報SをAとする。フレーム間符
号化（インター符号化）を行う場合は、モード選択スイ
ッチ情報MをBとし、スイッチ情報SをBとする。モード選
択スイッチ３０３ではモード選択スイッチ情報Mに基づ
きスイッチを切り換え、また、スイッチ３１１ではスイ
ッチ情報Sに基づきスイッチを切り換える。

【００４２】ここで、モードとして、イントラモード
（INTRA）、インターモード（INTER）、非符号化モード
（NOT_CODED）があり、各マクロブロック毎に対応づけ
られ、INTRAのマクロブロックはフレーム内符号化され
る画像領域、INTERのマクロブロックはフレーム間符号
化される画像領域、NOT_CODEDのマクロブロックは、符
号化不要の画像領域である。

【００４３】図４は、符号化手段１０２の静止画像符号
化部２０８の構成の一例を示すブロック図である。静止
画像符号化部２０８は、静止画像符号化タイミング判定
手段Ｈ１０２からの静止画像符号化の要求信号があった
とき符号化制御部２０９により起動される。静止画像符
号化部２０８は起動がかけられると、動画像信号をブロ
ック化部４０１に取り込み、このブロック化部４０１で
動画像信号をマクロブロックに分割する。

【００４４】マクロブロックに分割された動画像信号
は、DCT（離散コサイン変換）部４０２により離散コサ
イン変換される。DCT部４０２で得られたDCT係数データ
は、量子化部４０３で量子化される。量子化された信号
は、可変長符号化部４０４で可変長符号化され多重化部
２１０に送られる。多重化部２１０では動画像符号化部
２０５からの符号化データと多重化し、多重化部２１０
で多重化された符号化データは、出力バッファ２１１を
介して伝送路１０３に送られる。

【００４５】次に、図５は復号化手段１０４の構成の一
例を示すブロック図である。伝送手段１０３から送られ
てきた符号化データは、まず入力バッファ５０１に一度
蓄えられ、多重化分離部５０２により動画像符号化デー
タと静止画像符号化データとを分離し、それぞれを動画
像復号化部５０３と静止画像復号化部５０４とに送る。
動画像復号化部５０３では、動画像符号化データを復号
し再生画像信号を作成する。一方、静止画像復号化部５
０４では、静止画像データを復号し再生画像信号を作成
する。

【００４６】図６は、復号化手段１０４の動画像復号化
部５０３および移動物体検出手段Ｈ１０１の構成の一例
を示すブロック図である。復号化手段１０４の多重化分
離部５０２で分離された動画像符号化データは、動画像
復号化部５０３の可変長復号化部６０１に入力される。
この可変長復号化部６０１では、多重化分離部５０２に
よって分離された動画像符号化データを各シンタクスの
情報の可変長符号の復号を行う。

【００４７】可変長復号化部６０１において、マクロブ
ロックのモードがINTRAならば、モード切替スイッチ６
０７をオフに選択する。可変長復号化部６０１で復号化
された量子化DCT係数情報は、逆量子化部６０２で逆量
子化され、IDCT部６０３で逆離散コサイン変換処理を行
うことにより、再生画像信号を生成させる。この再生画
像信号は、フレームメモリ６０５に参照画像として蓄積
される。

【００４８】一方、可変長復号化部６０１において、マ
クロブロックのモードがINTERまたはNOT_CODEDと判定さ
れたときは、モード切替スイッチ６０７をオンに選択す
る。可変長復号化部６０１で復号化された量子化DCT係
数情報は、逆量子化部６０２で逆量子化され、IDCT部６
０３で逆離散コサイン変換処理を行い、加算器６０４に
出力する。また、可変長復号化部６０１で復号化された
動きベクトル情報に基づいて、動き補償部６０６におい
て参照画像を動き補償し、加算器６０４で足しあわせて
再生画像信号を生成する。この再生画像信号は、フレー
ムメモリ６０５に参照画像として蓄積される。

【００４９】一方、移動物体検出手段Ｈ１０１において
は、INTRAマクロブロックの時の再生画像信号と１フレ
ーム前のフレームメモリの画像信号との差分絶対値和
（SAD）を減算器Ｈ１１２で求め、マクロブロック静動
判定部H１１１では、可変長復号化部６０１において復
号された、モード情報、動きベクトル情報、DCT係数情
報、および減算器H１１２で求めた差分絶対値和（SAD）
から、フレーム内のマクロブロック毎の静動判定を行
う。移動物体判定部Ｈ１１３で移動物体の判定を行う。

【００５０】図７は、移動物体検出手段Ｈ１０１の動作
を示す流れ図である。移動物体検出手段Ｈ１０１では、
図７に示すように、１フレーム毎にマクロブロック静動
判定を行い（Ｓ１０１）、その後に移動物体の判定を行
う（S１０２）。の２つの処理をそれぞれ、マクロブロ
ック静動判定部H１１１、移動物体判定部H１１２で行
う。

【００５１】図８は、図７のマクロブロック静動判定
（Ｓ１０１）の具体的な流れ図である。ここで、ｉとｊ
は、フレーム内の垂直方向と水平方向のマクロブロック
のアドレスをそれぞれ表し、V_NMBとH_NMBはフレーム内
の垂直方向と水平方向のマクロブロック数を表してい
る。２次元配列M[ｉ][ｊ]は、各マクロブロックが動マ
クロブロックか否かの情報を蓄える配列で、TRUEならば
動マクロブロック、FALSEならば静止マクロブロックを
表す。また、LOOP1およびLOOP2はその間で処理を繰り返
し行うことを示している。例えば、LOOP1の場合には、
ｉが０〜V_NMB-1を満たすまでステップＳ２０１〜ステ
ップＳ２０９を繰り返し行うことを示している。また、
LOOP2の場合には、ｊが０〜H_NMB-1を満たすまでステッ
プＳ２０２〜ステップＳ２０８を繰り返し行うことを示
している。

【００５２】まず、マクロブロック毎に可変長復号化部
６０１からのモード情報MODEの判定を行う（Ｓ２０
３）。もし、MODEがINTRAならば、そのマクロブロック
の再生画像信号と１フレーム前のフレームメモリとの差
分絶対値和（SAD）を計算し、閾値T0と比較を行う（Ｓ
２０４）。もし、差分絶対値和（SAD）が閾値T0よりも
大きい場合には、そのマクロブロックは動マクロブロッ
クであると判定し、 M[ｉ][ｊ]にTRUEが代入される（Ｓ
２０６）。差分絶対値和（SAD）が閾値T0以下の場合に
は、そのマクロブロックは静止マクロブロックであると
判定し、 M[ｉ][ｊ]にFALSEが代入される（Ｓ２０
７）。

【００５４】ステップＳ２０３の判定で、MODEがNOT_CO
DEDならば、そのマクロブロックは静止マクロブロック
と判定し、 M[ｉ][ｊ]にFALSEが代入される（Ｓ２０
７）。

【００５５】次に、移動物体検出手段Ｈ１０１の移動物
体判定部Ｈ１１３では、マクロブロック静動判定部Ｈ１
１１のマクロブロック毎の静動判定情報から、移動物体
の判定を行う。図９は、図７におけるステップＳ１０２
での移動物体判定処理の処理内容を示す流れ図である。

【００５６】図９に示すように、移動物体判定処理は、
雑音除去処理（Ｓ３０１）と移動物体包含処理（Ｓ３０
２）との２つから成り立っている。雑音除去処理（Ｓ３
０１）では、背景画像の小物体の揺らぎや画像取り込み
時の雑音によって動マクロブロックと誤検出されてしま
う防止するために、動マクロブロックと判定されたもの
であっても、その周囲の８マクロブロックが全て静止し
ている場合には、その動マクロブロックを取り除くよう
にしている。

【００５７】移動物体包含処理（Ｓ３０２）は、雑音を
取り除いた後の静動判定結果から、隣接して動マクロブ
ロックが存在する領域を包含する最小の長方形を検出す
る処理を行う。この処理で、移動物体を包含する長方形
を見つけることができる。

【００５８】図１０は、図９の雑音除去処理（Ｓ３０
１）の具体的な処理内容の流れ図である。図８の場合と
同様に、ｉとｊはフレーム内の垂直方向と水平方向のマ
クロブロックのアドレスをそれぞれ表し、V_NMBとH_NMB
はフレーム内の垂直方向と水平方向のマクロブロック数
を表している。２次元配列M[ｉ][ｊ]は、各マクロブロ
ックが動マクロブロックか否かの情報を蓄える配列で、
TRUEならば動マクロブロック、FALSEならば静止マクロ
ブロックを表す。また、LOOP1およびLOOP2はその間で処
理を繰り返し行うことを示している。例えば、LOOP1の
場合には、ｉが０〜V_NMB-1を満たすまでステップＳ４
０１〜ステップＳ４０８を繰り返し行うことを示してい
る。また、LOOP2の場合には、ｊが０〜H_NMB-1を満たす
までステップＳ４０２〜ステップＳ４０７を繰り返し行
うことを示している。

【００５９】まず、マクロブロック毎の静動判定結果を
みる（Ｓ４０３）。もし、２次元配列M[ｉ][ｊ]の値がF
ALSE、つまり静止マクロブロックならば、そのマクロブ
ロックでは何も行わず、次のマクロブロックにいく。一
方、２次元配列M[ｉ][ｊ]の値がTURE、つまり動マクロ
ブロックならば、そのマクロブロックの周囲の８マクロ
ブロックの静動判定結果をチェックし（Ｓ４０５）、全
てFALSEつまり静止マクロブロックならば、そのマクロ
ブロックは雑音であると判定し、静止マクロブロックに
書き換える（Ｓ４０６）。もし、周囲の８マクロブロッ
クのうち一つでもTUREがあれば雑音とは判定せず、次の
マクロブロックに移る。なお、画面の外側については、
静止マクロブロックとして仮定している。

【００６０】図１１は、図９の移動物体包含処理（Ｓ３
０２）の具体的な処理内容の流れ図である。ここで、ｎ
は、移動物体の数を示すカウンタであり、Ｓ１〜Ｓ４
は、移動物体を包含する長方形を探索する範囲を示すパ
ラメータで、Ｓ１、Ｓ２は、垂直方向のアドレスの始点
と終点であり、Ｓ３、Ｓ４は、水平方向のアドレスの始
点と終点である。まず、探索範囲としてフレーム全体を
指定するように初期化を行う（Ｓ５０１）。次に、指定
された探索範囲で移動物体を包含する最小の長方形を探
索する関数Rectangularを呼び出す（Ｓ５０２）。

【００６１】図１２乃至図１５は、関数Rectangularの
処理の内容の流れ図を示している。関数Rectangular
は、探索範囲であるＳ１〜Ｓ４と移動物体の数ｎと各マ
クロブロックの静動判定結果の格納された２次元配列M
[ｉ][ｊ]を入力とし、探索結果の長方形のアドレスを格
納した１次元配列B1〜B4と移動物体の数ｎとを出力とす
る。

【００６２】ここで、１次元配列HVは、垂直方向の動マ
クロブロックの数のヒストグラムを作成するための作業
配列であり、１次元配列HHは、水平方向の動マクロブロ
ックの数のヒストグラムを作成するための作業配列であ
る。また、変数VFLAGは、水平方向のヒストグラムの値
が０でない状態の時にTRUEとなり、値が０の時にFALSE
となるように変更されるフラグであり、変数HFLAGは、
垂直方向のヒストグラムの値が０でない状態の時にTRUE
となり、値が０の時にFALSEとなるように変更されるフ
ラグである。また、LOOP1〜LOOP6はその間で処理を繰り
返し行うことを示している。

【００６３】図１２において、垂直方向の動マクロブロ
ックの数のヒストグラムを作成するための作業配列HV
[ｉ]の探索範囲であるＳ１〜Ｓ２の範囲を値０で初期化
する（Ｓ６０１）。次のLOOP1（Ｓ６０２〜Ｓ６０７）
とLOOP2（Ｓ６０３〜Ｓ６０６）の２重ループでは、探
索範囲での垂直方向の動マクロブロックの数のヒストグ
ラムを作成している。つまり、マクロブロック毎の静動
判定結果M[ｉ][ｊ]の値を比較し（Ｓ６０４）、その値
がTURE（動マクロブロック）ならば、HV[ｉ]をプラス１
し（Ｓ６０５）、FALSEの場合は何もしない。

【００６４】次に、その垂直方向のヒストグラムの中か
ら、０でない連続した部分を探索する。まず、フラグVF
LAGをFALSEにセットする（Ｓ６０８）。そして、図１３
に示すように、探索範囲Ｓ１からＳ２の順序で、ヒスト
グラムHV[ｉ]が０でなく、VFLAGがFALSEであるか否かを
チェックする（Ｓ６１０）。この条件に当てはまるの
は、ヒストグラムが０でない連続した部分の始点の部分
である。従って、探索している長方形の垂直方向の始点
の候補となるので、１次元配列B1[ｎ]にアドレスｉを格
納し、VFLAGをTUREにセットする（S６１１）。

【００６５】次に、ヒストグラムHV[ｉ]が０あるいは、
探索範囲の終点で、VFLAGがTUREであるか否かをチェッ
クする（Ｓ６１２）。この条件に当てはまるのは、ヒス
トグラムが０でない連続した部分の終点の部分である。
従って、探索している長方形の垂直方向の終点の候補と
なるので、もし、ヒストグラムHV[ｉ]が０の場合は、１
次元配列B2[ｎ]にアドレスｉ−１を格納し（Ｓ６１
４）、そうでない場合は、１次元配列B2[ｎ]にアドレス
ｉを格納する（Ｓ６１５）。そして、VFLAGを再びFALSE
にセットする（Ｓ６１６）。

【００６６】図１４は、図１３の流れ図の続きである。
今度は、水平方向の動マクロブロックの数のヒストグラ
ムを作成するための作業配列HV[ｊ]の探索範囲であるＳ
３〜Ｓ４の範囲を値０で初期化する（Ｓ６１７）。次の
LOOP4とLOOP5の２重ループでは、探索範囲での水平方向
の動マクロブロックの数のヒストグラムを作成してい
る。つまり、マクロブロック毎の静動判定結果M[ｋ]
[ｊ]の値を比較し（Ｓ６２０）、その値がTURE（動マク
ロブロック）ならば、HH[ｊ]をプラス１し（Ｓ６２
１）、FALSEの場合は何もしない。そして、その水平方
向のヒストグラムの中から、０でない連続した部分を探
索する。まず、フラグHFLAGをFALSEにセットする（Ｓ６
２４）。

【００６７】次に、探索範囲Ｓ３〜Ｓ４の順序で、ヒス
トグラムHH[ｊ]が０でなく、HFLAGがFALSEであるか否か
をチェックする。（Ｓ６２６）この条件に当てはまるの
は、ヒストグラムが０でない連続した部分の始点の部分
である。従って、探索している長方形の水平方向の始点
の候補となるので、１次元配列B3[ｎ]にアドレスｊを格
納し、HFLAGをTUREにセットする（Ｓ６２７）。

【００６８】次に、図１５に示すように、ヒストグラム
HH[ｊ]が０あるいは探索範囲の終点で、HFLAGがTUREで
あるか否かをチェックする（Ｓ６２８）。この条件に当
てはまるのは、ヒストグラムが０でない連続した部分の
終点の部分である。従って、探索している長方形の水平
方向の終点の候補となるので、もし、ヒストグラムHH
[ｊ]が０の場合は、１次元配列B4[ｎ]にアドレスｊ−１
を格納し（Ｓ６３０）、そうでない場合は、１次元配列
B4[ｎ]にアドレスｊを格納する（Ｓ６３１）。そして、
HFLAGを再びFALSEにセットする（Ｓ６３２）。

【００６９】ここで、１通りの垂直方向と水平方向のヒ
ストグラムによる探索が終了したが、探索した結果B1
[ｎ]〜B4[ｎ]が探索範囲Ｓ１〜Ｓ４と一致するか否かを
チェックして（Ｓ６３３）、一致する場合は、もうこれ
以上探索する範囲がないので、最小の長方形が求まって
いると判定できる（Ｓ６３４）。そして、移動物体の数
ｎをプラス１して（Ｓ６３５）、次の移動物体の探索に
移る。

【００７０】探索した結果B1[ｎ]〜B4[ｎ]が探索範囲Ｓ
１〜Ｓ４と一致しない場合、探索した結果の範囲にまだ
複数の移動物体が存在するので、探索した結果B1[ｎ]〜
B４[ｎ]をＳ１〜Ｓ４に移し替えて（S６３７）、再び、
関数Rectangularを呼び出す（Ｓ６３７）。このように
して、関数Rectangularは、探索結果の長方形のアドレ
スを格納した１次元配列B1〜B4と移動物体の数ｎとを静
止画像符号化タイミング手段Ｈ１０２に出力する。

【００７１】一方、図１６は、復号化手段１０４の静止
画像復号化部５０４の構成の一例を示すブロック図であ
る。復号化手段１０４の多重化分離部５０２によって分
離された静止画像符号化データは、静止画像復号化部５
０４の可変長復号化部７０１に入力される。この可変長
復号化部７０１では、多重化分離部５０２からの静止画
像符号化データを各シンタクスの情報の可変長符号の復
号を行う。可変長復号化部７０１で復号化された量子化
DCT係数情報は、逆量子化部７０２で逆量子化され、IDC
T部７０３で逆離散コサイン変換処理を行う。これによ
り、再生画像信号を生成させる。

【００７２】次に、図１７は、静止画像符号化タイミン
グ判定手段Ｈ１０２の処理内容の一例を示す流れ図であ
る。Ｓ１、Ｓ２、Ｓ３、Ｓ４は移動物体検出手段Ｈ１０
２によって検出された移動物体を包含する長方形の座標
を表す。長方形の幅|Ｓ２−Ｓ１|が予め定められた値L1
を越え、かつ高さ|Ｓ４−Ｓ３|が予め定められた値L2を
越えたかどうかを判定し(Ｓ８０１)、越えた場合は静止
画像符号化を要求する要求信号を伝送手段１０３を介し
て符号化手段１０２の符号化制御部２０９に送信する
(Ｓ８０２)。

【００７３】符号化手段１０２の符号化制御部２０９
は、静止画像符号化を要求する要求信号を静止画像符号
化タイミング判定手段Ｈ１０２から受信すると、入力画
像バッファ２０６の中から要求信号のタイムコードと一
致するフレームを選択し静止画像符号化部２０８で符号
化し、多重化部２１０で多重化して出力バッファ２１１
および伝送路１０３を介して静止画像符号化データを送
信することになる。送信されてきた静止画像符号化デー
タは、記録手段Ｈ１０３に記憶されると共に必要に応じ
て復号化手段１０４で複合化される。

【００７４】次に、記録手段Ｈ１０３は、伝送手段１０
３から送られてくる動画像符号化データおよび静止画像
符号化データを記録するもので、記録手段Ｈ１０３に記
録された符号化データは、復号化手段１０４を用いて自
由に復号化され、画像として見ることができるようにな
っている。この記録手段Ｈ１０３は、例えば、ハードデ
ィスク装置、光記録装置、磁気テープ装置、フラッシュ
メモリ等の永続的記憶手段で構成される。

【００７５】以上の説明では、静止画像符号化タイミン
グ判定手段Ｈ１０２は、移動物体を包含する長方形の幅
が予め定められた値L1を越え、かつ高さが予め定められ
た値L2を越えた場合に静止画像符号化を要求する要求信
号を出力するようにしているが、移動物体があるしきい
値以上の速度で動いているべき状況において、移動速度
がしきい値を下回ったとき静止画像符号化の要求信号を
出力するようにしても良い。

【００７６】図１８は、その場合の静止画像符号化タイ
ミング判定手段Ｈ１０２のブロック図である。静止画像
符号化タイミング判定手段Ｈ１０２は、移動物体検出手
段Ｈ１０１によって検出された移動物体を含む領域の座
標の履歴を記録する座標履歴記憶手段９０１と、座標履
歴記憶手段９０１に記録された移動物体を含む領域の座
標履歴の変化に基づいて静止画像符号化のタイミングを
判定する座標判定手段９０２とを備えている。

【００７７】座標履歴記憶手段９０１は移動物体検出手
段Ｈ１０１から送られてくる移動物体を含む領域の座標
を記憶する。移動物体検出手段Ｈ１０１から送られてく
る移動物体を含む領域の座標は、Ｓ１、Ｓ２、Ｓ３、Ｓ
４の４つの数値で表され、１フレーム毎に複数の領域が
検出される。そこで、座標履歴記憶手段９０１は、Ｓ
１、Ｓ２、Ｓ３、Ｓ４を、それぞれ配列S1[ｋ][ｌ]、S2
[ｋ][ｌ]、S3[ｋ][ｌ]、S4[ｋ][ｌ]に記憶する。

【００７８】ここで、ｋは１フレームに含まれる移動物
体を含む領域の数、ｌは履歴の番号であり、ｌ=０が現
在のフレーム、ｌ=１が一つ前のフレームを表す。座標
判定手段９０２は、S1[ｋ][ｌ]、S2[ｋ][ｌ]、S3[ｋ]
[ｌ]、S4[ｋ][ｌ]を利用して、静止画像符号化要求のタ
イミングを判定する。

【００７９】図１９に、座標判定手段９０２の処理内容
の流れ図を示す。座標判定手段９０２は、LOOP1は、移
動物体を含む領域の数ｋ（ｋ＝１〜ｎ）について順次処
理を進める（Ｓ９０１、Ｓ９０４）。ｋ番目の移動物体
を含む領域の中心座標を表すための配列を用い、現在の
フレームにおける中心座標CV[ｋ][０]、CH[ｋ][０]、お
よび一つ前のフレームにおける中心座標CV[ｋ][１]、CH
[ｋ][１]を計算する(Ｓ９０２)。CV[ｋ][１]は垂直方向
の座標、CH[ｋ][１]は水平方向の座標である。

【００８０】次に、現在のフレームの座標値と一つ前の
フレームの座標値の差の絶対値を計算し、垂直方向の変
化が予め定められた値DVより小さく、かつ水平方向の変
化が予め定められた値DHより小さいとき(Ｓ９０３)、静
止画像符号化を要求する要求信号を静止画像符号化手段
Ｈ１０２に送信し(Ｓ９０５)、ループを抜けて処理を終
了する。

【００８１】このように、移動物体があるしきい値以上
の速度で動いているべき状況において、移動速度がしき
い値を下回ったとき静止画像として符号化する。静止画
像符号化の要求信号を、移動物体の単純な座標だけでな
く移動物体の動きを条件に出力するようにしているの
で、移動物体を適正に把握することができる。

【００８２】また、以上の説明では、符号化手段１０２
の動画像符号化部２０５で動画像符号化データにタイム
コードを付加するようにしているが、Format変換部２０
３においてもタイムコードを付加するようにしても良
い。

【００８３】すなわち、図２０はその場合の符号化手段
１０２の構成を示すブロック図であり、図２に示した符
号化手段１０２に対し、Format変換部２０３でタイムコ
ードを付加するための第１のタイムコード付加部２１
４、動画像符号化部２０５でタームコードを付加するた
めの第２のタイムコード付加部２１２、およびタイムコ
ード対応記憶手段２１３を追加して設けている。

【００８４】第１のタイムコード付加部２１４および第
２のタイムコード付加部２１２は、図示省略の時計から
時刻を得て、それぞれFormat変換部２０３、動画像符号
化部２０５の出力するデータにタイムコードを付加す
る。Format変換部２３でタイムコードが付加された出力
データは二つに分かれ、一方は入力画像バッファ２１２
に記録され、他方は、画像サイズ変換部２０４へ送られ
る。

【００８５】同一のフレームに対して第１のタイムコー
ド付加部２１４によって付加されるタイムコード（第１
の時刻）と第２のタイムコード付加部２１４によって付
加されるタイムコード（第２の時刻）とが存在すること
になり、第１の時刻は入力画像バッファ２１２に記憶さ
れた時刻を表し、第２の時刻は動画像符号化部２０５で
動画像符号化データが作成され送信された時刻を表す。

【００８６】動画像符号化部２０５は、動画像符号化デ
ータに付加した第１の時刻と、入力したデータに付加さ
れている第２の時刻とを、タイムコード対応記憶手段２
１３に送る。タイムコード対応記憶手段２１３は、動画
像符号化部２０５から送られてきた二つのタイムコード
の対応関係を対応表にして記憶する。

【００８７】また、動画像符号化部２０５の出力する符
号化された動画像符号化データには、第２のタイムコー
ド付加部２１２によって付加されたタイムコードが含ま
れ、伝送手段１０３を介して復号化手段１０４および記
憶手段Ｈ１０３に送信されることになる。したがって、
静止画像符号化タイミング判定手段Ｈ１０２から送られ
てくる静止画像符号化の要求信号には、第２の時刻が含
まれる。

【００８８】タイムコード対応記憶手段２１３は、静止
画像符号化タイミング判定手段Ｈ１０２から静止画像符
号化の要求信号が送られてくると、その要求信号に含ま
れる第２の時刻を参照し、その第２の時刻を対応表に基
づき第１の時刻に変換する。そして、第１の時刻に基づ
く静止画像符号化の要求信号として符号化制御部２０９
に送る。これにより、入力画像バッファ２１２に記録さ
れている画像データは、第１のタイムコードが付加され
た時間的にずれのない時刻のフレームを静止画像として
符号化する。

【００８９】このように、画像サイズ変換部２０４に送
られたデータは、動画像符号化部２０５にて符号化処理
のために時間を要するため、入力バッファ２０６に付加
された第１の時刻と動画像符号化データに付加された第
２の時刻とがずれたものとなるが、このずれを補償でき
るので、適正な静止画像を符号化できる。

【００９０】次に、本発明の第２の実施の形態を説明す
る。図２１は本発明の第２の実施の形態に係わる画像記
録装置の構成図である。この第２の実施の形態は、図１
に示した第１の実施の形態に対し、静止画像符号化タイ
ミング判定手段Ｈ１０２に、移動物体を含む領域の判定
条件を入力するためのマンマシンインタフェース手段Ｈ
１０４を追加して設けたものである。

【００９１】図２１において、マンマシンインタフェー
ス手段Ｈ１０４が追加して設けられている。このマンマ
シンインタフェース手段Ｈ１０４は、復号化手段１０４
で復号化された動画像符号化データを表示すると共に、
その表示画面上で移動物体を含む領域の判定条件を入力
できるようになっており、入力された判定条件は静止画
像符号化タイミング判定手段Ｈ１０２に出力されるよう
になっている。

【００９２】図２２は、マンマシンインタフェース手段
Ｈ１０４の説明図である。マンマシンインタフェース手
段Ｈ１０４は、復号化手段１０４が復号化した動画像を
画面上に表示する表示手段Ｈ１０４−１と、表示手段Ｈ
１０４−１の画面上で領域を指定して移動物体を含む領
域の判定条件を入力するためのポインティング手段Ｈ１
０４−２とを備えている。

【００９３】表示手段Ｈ１０４−１はディスプレイを有
し動画像を表示する。ポインティング手段Ｈ１０４−２
は、例えばマウスであり、マウスのドラッグ操作により
ディスプレイ上の長方形の領域を指定するために使用さ
れる。ポインティング手段Ｈ１０４−２によって指定さ
れた領域は、図２３に示すように表示手段Ｈ１０４−１
に動画像に重ねて表示される。図２３の表示画面に示す
ように、点線で描かれている長方形Ｈ１０４−３は、画
面上に重ねて表示されたポインティング手段Ｈ１０４−
２によって指定された領域である。

【００９４】マンマシンインタフェース手段Ｈ１０４に
よって指定された長方形の領域Ｈ１０４−３は、数値Ｒ
１、Ｒ２、Ｒ３、Ｒ４として表わされ、静止画像符号化
タイミング判定手段Ｈ１０２に送られる。ここで、Ｒ
１、Ｒ２は垂直方向のアドレスの始点と終点であり、Ｒ
３、Ｒ４は水平方向のアドレスの始点と終点である。長
方形領域を表す数値Ｒ１、Ｒ２、Ｒ３、Ｒ４を受け取っ
た静止画像符号化タイミング判定手段Ｈ１０２は、これ
らの数値を記憶し、例えば、図１７の処理Ｓ８０１の判
定条件を以下の様に変更し静止画像符号化タイミングの
条件とする。

【００９５】 (R1<S1) and (S2<R2) and (R3<S3) and (S4<R4) …（１）上記（１）式の判定条件は、移動物体を包含するＳ１、
Ｓ２、Ｓ３、Ｓ４で表される領域が、上記のＲ１、Ｒ
２、Ｒ３、Ｒ４で表される領域に完全に入ったことを示
す。二つの領域が一部重なったことを条件とする場合
は、（１）式に代えて次の（２）式を用いる。

【００９６】 {max(S1,R1)<min(S2,R2)}and {max(S3,R3)<min(S4,R4)} …（２）また、二つの領域が重なった部分の面積がある一定の値
Ａ０以上となることを条件とする場合は、上記の重なり
を判定した後、次の（３）式を用いる。

【００９７】 {min(S2,R2)- max(S1,R1)}*{min(S4、R4)- max(S3、R3)}>A0 …（３）このように、第２の実施の形態では、復号化手段１０４
が復号化した動画像に対しポインティング手段Ｈ１０４
−２によって領域を指定し、その指定された領域を動画
像の画面上に重ねて表示する。これにより、画面上で静
止画像符号化タイミング判定手段Ｈ１０２の判定条件と
なる映像中の領域を指定する。静止画像を符号化するた
めの判定条件を動画像の画面上で指定できるので、直観
的に容易にその判定条件を設定することができる。

【００９８】次に、本発明の第３の実施の形態を説明す
る。図２４は本発明の第３の実施の形態に係わる画像記
録装置の構成図である。この第３の実施の形態は、図２
１に示した第２の実施の形態に対し、移動物体検出手段
Ｈ１０１が検出した移動物体を包含する長方形の領域を
マンマシンインタフェース手段Ｈ１０４に送信するよう
にしたものである。

【００９９】図２５は、図２４のマンマシンインタフェ
ース手段Ｈ１０４の説明図であり、表示手段Ｈ１０４−
１は、復号化手段１０４が復号化した動画像に移動物体
検出手段Ｈ１０１が検出した移動物体を包含する領域の
マークを重ねて画面上に表示するようになっている。

【０１００】図２６は、その表示画面の例であり、点線
で描かれている長方形Ｈ１０４−４、Ｈ１０４−５は、
画面上に重ねて表示された移動物体検出手段Ｈ１０１に
よって検出された移動物体を包含する領域のマークを示
す。ポインティング手段Ｈ１０４−２によって表示され
る画面上のポインタＨ１０４−６を、表示されている領
域のマーク上に移動して、マークを指定する操作を行う
と、長方形の領域は、数値Ｒ１、Ｒ２、Ｒ３、Ｒ４とし
て表わされ、静止画像符号化タイミング判定手段Ｈ１０
２に送られる。

【０１０１】長方形領域を表す数値、Ｒ１、Ｒ２、Ｒ
３、ｒ４を受け取った静止画像符号化タイミング判定手
段Ｈ１０２は、これらの数値を記憶し、図１７の処理Ｓ
８０１の判定条件を変更し、静止画像符号化タイミング
の条件とする。

【０１０２】このように、復号化手段１０４が復号化し
た動画像に移動物体検出手段Ｈ１０１が検出した移動物
体を包含する領域のマークを重ねて画面上に表示し、画
面上で移動物体を包含する領域のマークを指定すること
で、静止画像符号化タイミング判定手段Ｈ１０２の判定
条件となる座標データを入力する。従って、静止画像を
符号化するための判定条件を、試験的な移動物体を撮影
し、それを基に直観的に設定することができる。

【０１０３】次に、本発明の第４の実施の形態を説明す
る。図２７は本発明の第４の実施の形態に係わる画像記
録装置の構成図である。この第４の実施の形態は、記録
手段Ｈ１０３は、静止画像符号化タイミング判定手段Ｈ
１０２からの静止画像符号化を要求する要求信号を受信
したときは、その静止画像の前後の符号化された動画像
データを記録するようにしたものである。

【０１０４】図２７において、記録手段Ｈ１０３は静止
画像符号化タイミング判定手段Ｈ１０２からの静止画像
符号化を要求する要求信号を受信すると、その要求信号
を受信した前後の符号化された動画像データを記録す
る。

【０１０５】図２８は、記録手段Ｈ１０３の構成図であ
る。一次記憶制御部Ｈ１０３−１は、伝送手段１０３か
ら入力される画像符号化データを制御するもので、静止
画像バッファＨ１０３−２や動画像フレームバッファＨ
１０３−３に供給する画像符号化データを制御する。

【０１０６】静止画像バッファＨ１０３−２は静止画像
を一時的に記憶するもので、新たな静止画像が送られて
くると、以前の静止画像は上書きされる。また、動画像
フレームバッファＨ１０３−３は、N個（Nは１０から１
００程度）のフレームバッファから構成され、各フレー
ムバッファは、INTRAモードで符号化されたフレームか
ら次のINTRAモードで符号化されたフレームまでを記録
する。フレームバッファポインタＨ１０３−４は、動画
像データを書き込むべきフレームバッファの番号を記憶
する。なお、静止画像バッファＨ１０３−２、動画像フ
レームバッファＨ１０３−３としては半導体メモリが使
用できる。

【０１０７】また、二次記憶制御部Ｈ１０３−５は、静
止画像符号化の要求信号を受けたとき、静止画像バッフ
ァＨ１０３−２および動画像フレームバッファＨ１０３
−３に記録されている画像データを二次記憶手段Ｈ１０
３−６にコピーするものである。二次記憶手段Ｈ１０３
−６としては、例えばハードディスク装置、光記録装
置、磁気テープ装置、フラッシュメモリ等の永続的記憶
手段が用いられる。

【０１０８】図２９に一次記憶制御部Ｈ１０３−１の処
理内容を示す流れ図を示す。符号化された画像符号化デ
ータを入力すると(Ｓ１３０１)、静止画像であるか動画
像であるかを判定する(Ｓ１３０３)。静止画像である場
合は、静止画像バッファＨ１０３−２に書き込み(Ｓ１
３０３)、動画像の場合はINTRAモードであるか否か判定
する(Ｓ１３０４)。INTRAモードでなければ、フレーム
バッファポインタＨ１０３−４の示すフレームバッファ
に書き込む (Ｓ１３０５)。

【０１０９】一方、INTRAモードであれば、一旦フレー
ムバッファポインタＨ１０３−４の示すフレームバッフ
ァに書き込み(Ｓ１３０６)、フレームバッファポインタ
Ｈ１０３−４を更新した後(Ｓ１３０７)、更新されたフ
レームバッファポインタＨ１０３−４の示すフレームバ
ッファに書き込む(Ｓ１３０６)。フレームバッファポイ
ンタＨ１０３−４の更新は、１からフレームバッファの
数Nまで一つづつカウントアップし、Nに達したら０に戻
ると言う方式による。この方式により、過去N-1個（現
在記録中のバッファは除く）のフレームバッファに記録
された画像を参照することができる。

【０１１０】図３０は、二次記憶制御部Ｈ１０３−５の
処理内容を示す流れ図である。静止画像符号化の要求信
号を入力した後(Ｓ１３１０)した後、適当な時間スリー
プする(Ｓ１３１１)。スリープの時間は静止画像が符号
化されて送られてくるまでの時間、あるいは静止画像符
号化の要求信号の入力タイミングの後の動画像の記録し
ておきたい時間によって決まり、通常数秒から数十秒で
ある。

【０１１１】次に、静止画像バッファＨ１０３−２のデ
ータを二次記憶手段Ｈ１０３−６にコピーし(Ｓ１３１
２)、続いて動画像フレームバッファＨ１０３−３のデ
ータを二次記憶手段Ｈ１０３−６にコピーする(Ｓ１３
１３)。動画像フレームバッファＨ１０３−３のコピー
では、フレームバッファポインタＨ１０３−４のフレー
ム番号の次のフレーム（最も過去に記録された）からフ
レームの番号をカウントアップしてコピーする。

【０１１２】このように、記録手段Ｈ１０３は、静止画
像符号化タイミング判定手段Ｈ１０２から静止画像符号
化の要求信号を入力したときは、符号化手段１０２から
の静止画像符号化データおよびその前後の動画像符号化
データをまとめて記録する。従って、移動物体が検出さ
れたとき、その静止画像だけでなく前後の動画像も記録
されるので、移動物体の確認の信頼性が向上する。ま
た、移動物体が検出されないときは、動画像は動画像が
記録されないので、記録手段Ｈ１０３の容量を節約でき
るだけでなく、記録結果をサーベイするとき不要な動画
像を見なくても良い。

【０１１３】ここで、以上の第１の実施の形態乃至第４
の実施の形態においては、移動物体検出手段Ｈ１０１
は、復号化手段１０４で復号化された動画像データを入
力して移動物体を検出するようにしているが、復号化手
段１０４で復号化された動画像データに代えて、符号化
手段１０２の動画像符号化部２０５からの動画像データ
を用いて移動物体を検出するようにしても良い。

【０１１４】図３１は、その場合の符号化手段１０２の
動画像符号化部２０５および移動物体検出手段Ｈ１０１
のブロック構成図である。図３１において、移動物体検
出手段Ｈ１０１のマクロブロック静動判定部Ｈ１１１、
移動物体判定部Ｈ１１３の機能は、図６に示した第１の
実施の形態の場合と同様である。移動物体検出手段Ｈ１
０１は、符号化手段１０２の動画符号化部２０５の可変
長符号化部３１３から動画像データを入力し、移動物体
検出手段Ｈ１０１のマクロブロック静動判定部Ｈ１１１
でマクロブロックの静動を判定する。

【０１１５】そして、動マクロブロックと判定された場
合に、移動物体判定部Ｈ１１３で移動物体を判定するこ
とになる。そして、移動物体判定部Ｈ１１３の検出した
移動物体を包含する領域を表すデータは、静止画像符号
化タイミング判定手段Ｈ１０２に送られ、静止画像符号
化タイミング判定手段Ｈ１０２からの静止画像符号化の
要求信号は符号化手段１０２に送られる。

【０１１６】このように、移動物体検出手段Ｈ１０１は
復号化手段１０４からではなく、符号化手段１０２から
の情報を用いて移動物体を検出するように構成するの
で、移動物体検出手段Ｈ１０１をカメラ部１０１の近傍
に設置することが可能となる。すなわち、カメラ部１０
１、符号化手段１０２、移動物体検出手段Ｈ１０１、静
止画像符号化タイミング判定手段Ｈ１０２を一体化でき
る。また、動画像データを復号化手段１０４が復号に要
する時間を省略して、移動物体検出手段Ｈ１０１に信号
が入るため、時間遅れが少なくなり、入力画像バッファ
２０６の容量を小さくできる。

【０１１７】次に、本発明の第５の実施の形態を説明す
る。図３２は本発明の第５の実施の形態に係わる画像記
録装置の構成図である。この第５の実施の形態は、記録
手段Ｈ１０３はカメラ部１０１および符号化手段１０２
と一体化され、離れた場所でユーザーは表示手段Ｈ１０
５を見て静止画像として記録するタイミングを判断し、
操作入力手段Ｈ１０６を通じて静止画像符号化の要求を
送り、この要求によって記録手段Ｈ１０３は静止画像を
符号化し記録するようにしたものである。

【０１１８】図３２において、カメラ部１０１からの動
画像は符号化手段１０２に入力される。符号化手段１０
２は、カメラ部１０１からの動画像を一時的に記録する
と共に符号化して伝送手段１０３を介して復号化手段１
０４に送信する。復号化手段１０４では伝送手段１０３
を通して送られてきた動画像符号化データを復号化し、
その復号化した動画像を表示手段Ｈ１０５に表示する。
表示手段Ｈ１０５は、ビデオメモリーおよび液晶ディス
プレィからなる。

【０１１９】そして、操作入力手段Ｈ１０６は、表示手
段Ｈ１０５の映像を見たユーザーの操作を静止画像を符
号化するタイミングとして入力し、伝送手段１０３を経
由して符号化手段１０２に静止画像符号化を要求する要
求信号を送信する。符号化手段１０２に対し、この静止
画像の符号化を要求があると、符号化手段１０２は、そ
の要求した画像を静止画像として符号化する。記録手段
Ｈ１０３は符号化手段１０２で符号化された静止画像符
号化データを記録する。

【０１２０】この場合の符号化手段１０２の構成を図３
３に示す。符号化手段１０２の符号化制御部２０９は、
操作入力手段Ｈ１０６より静止画像符号化の要求信号を
受信すると、スイッチ２０７をオンにして、入力画像バ
ッファ２０６の中から、要求信号に含まれるタイムコー
ドと一致するフレームを選択し、静止画像符号化部２０
８で符号化する。符号化された静止画像データは、記録
手段Ｈ１０３に送られて記録される。

【０１２１】以上の説明では、符号化手段１０２は、静
止画像の符号化を行う際に、一時的に入力画像バッファ
２０６に記録したカメラ部１０１からの動画像を用いる
ようにしたが、操作入力手段Ｈ１０６から静止画像符号
化の要求信号を受信したときのカメラ部１０１からの直
接の画像データを静止画像として符号化するようにして
も良い。

【０１２２】図３４は、その場合の符号化手段１０２の
構成図である。図３３の場合と異なり、符号化手段１０
２は、直接カメラ部１０１からの画像データをFormat変
換部２０３を通して受信し符号化する。つまり、入力画
像バッファ２０６を有しない。これにより、コストを低
く抑えることができる。

【０１２３】また、図３５に示すように、カメラ部１０
１として撮影方向および倍率を調整できるものを用い、
操作入力手段Ｈ１０６によって撮影方向および倍率を制
御できるようにすることも可能である。操作入力手段Ｈ
１０６は、例えば、ジョイスティックやキーパッドを使
って操作信号を入力する。

【０１２４】このように、この第５の実施の形態によれ
ば、カメラ部１０１、符号化手段１０２、記録手段Ｈ１
０３を一体化したコンパクトな構成とすることができ、
そのコンパクト化した部分を操作入力手段Ｈ１０６で遠
隔操作することができる。また、カメラ部１０１、符号
化手段１０２、記録手段Ｈ１０３を一体化した構造は一
般的なディジタルカメラの構造に類似しているため、こ
れらと共通の部品を用いてコストを引き下げることが期
待できる。また、カメラ部１０１として撮影方向および
倍率を調整できるものを用いた場合には、カメラ部１０
１の撮影範囲や倍率を遠隔で制御できるので撮影の利便
性が増すことになる。

【０１２５】

【発明の効果】以上述べたように、本発明によれば、カ
メラ部の撮影範囲を動く物体（人物）の動画像だけでな
く、予め定めた条件によって高精細の静止画として記録
できる。これにより対象物あるいは人物をより正確に特
定することができる。また、動画像および静止画像とも
符号化されたデータとして記録するため、復号化された
データを記録する場合に比べ、記録メディアの容量を数
十から数百分の一に節約することができる。

【０１２６】また、静止画像を符号化するタイミング
を、移動物体の動きを条件に決定でき、さらに、静止画
像として符号化される対象画像の時間的なズレをなくす
ことができる。また、移動物体が検出されたとき、その
静止画像だけでなく前後の動画像も記録するので、静止
画像の確認の信頼性が向上する。

【０１２７】さらにまた、カメラ部、符号化手段、移動
物体検出手段、静止画像符号化タイミング判定手段を一
体化でき、一体化したコンパクトな構成とした部分を遠
隔で操作することができる。また、カメラ部、符号化手
段、記録手段を一体化した構造は一般的なディジタルカ
メラの構造に類似しているため、これらと共通の部品を
用いてコストを引き下げることが期待できる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態に係わる画像記録装
置の構成図。

【図２】本発明の第１の実施の形態に係わる画像記録装
置の符号化手段の構成を示すブロック図。

【図３】本発明の第１の実施の形態における符号化手段
の動画像符号化部の構成を示すブロック図。

【図４】本発明の第１の実施の形態における符号化手段
の静止画像符号化部の構成を示すブロック図。

【図５】本発明の第１の実施の形態に係わる画像記録装
置の復号化手段の構成を示すブロック図。

【図６】本発明の第１の実施の形態における復号化手段
の動画像復号化部および移動物体検出手段の構成の一例
を示すブロック図。

【図７】本発明の第１の実施の形態に係わる画像記録装
置の移動物体検出手段の動作を示す流れ図。

【図８】図７におけるステップＳ１０１でのマクロブロ
ック静動判定処理の処理内容を示す流れ図。

【図９】図７におけるステップＳ１０２での移動物体判
定処理の処理内容を示す流れ図。

【図１０】図９におけるステップＳ３０１での雑音除去
処理の処理内容を示す流れ図。

【図１１】図９におけるステップＳ３０２での移動物体
包含処理の処理内容を示す流れ図。

【図１２】図１１におけるステップＳ５０２での関数Re
ctangular処理の動作（その１）を示す流れ図。

【図１３】図１１におけるステップＳ５０２での関数Re
ctangular処理の動作（その２）を示す流れ図。

【図１４】図１１におけるステップＳ５０２での関数Re
ctangular処理の動作（その３）を示す流れ図。

【図１５】図１１におけるステップＳ５０２での関数Re
ctangular処理の動作（その４）を示す流れ図。

【図１６】本発明の第１の実施の形態における復号化手
段の静止画像復号化部の構成の一例を示すブロック図。

【図１７】本発明の第１の実施の形態における静止画像
符号化タイミング判定手段の処理内容を示す流れ図。

【図１８】本発明の第１の実施の形態における静止画像
符号化タイミング判定手段の他の一例を示すブロック
図。

【図１９】図１８における座標判定手段の処理内容を示
す流れ図。

【図２０】本発明の第１の実施の形態における符号化手
段の他の一例の構成を示すブロック図。

【図２１】本発明の第２の実施の形態に係わる画像記録
装置の構成図。

【図２２】本発明の第２の実施の形態におけるマンマシ
ンインタフェース手段の構成を示すブロック図。

【図２３】本発明の第２の実施の形態におけるマンマシ
ンインタフェース手段の表示画面の一例の説明図。

【図２４】本発明の第３の実施の形態に係わる画像記録
装置の構成図。

【図２５】本発明の第３の実施の形態におけるマンマシ
ンインタフェース手段の構成を示すブロック図。

【図２６】本発明の第３の実施の形態におけるマンマシ
ンインタフェース手段の表示画面の一例の説明図。

【図２７】本発明の第４の実施の形態に係わる画像記録
装置の構成図。

【図２８】本発明の第４の実施の形態における記録手段
の構成を示すブロック図。

【図２９】本発明の第４の実施の形態における記録手段
の一次記憶制御部の処理内容を示す流れ図。

【図３０】本発明の第４の実施の形態における記録手段
の二次記憶制御部の処理内容を示す流れ図。

【図３１】本発明の第１の実施の形態乃至第４の実施の
形態における移動物体検出手段Ｈ１０１が復号化手段か
らの動画像データに代えて、符号化手段からの動画像デ
ータを用いて移動物体を検出する場合のブロック構成
図。

【図３２】本発明の第５の実施の形態のに係わる画像記
録装置の構成を示すブロック図。

【図３３】本発明の第５の実施の形態における符号化手
段の構成を示すブロック図。

【図３４】本発明の第５の実施の形態における符号化手
段の他の一例の構成を示すブロック図。

【図３５】本発明の第５の実施の形態におけるカメラ部
として撮影方向および倍率を調整できるものを用いた場
合の構成を示すブロック図。

【符号の説明】

１０１カメラ部１０２符号化手段１０３伝送手段１０４復号化手段Ｈ１０１移動物体検出手段Ｈ１０２静止画像符号化タイミング判定手段Ｈ１０３記録手段２０１ A/D部２０２スイッチ２０３ Format変換部２０４画像サイズ変換部２０５動画像符号化部２０６入力画像バッファ２０７スイッチ２０８静止画像符号化部２０９符号化制御部２１０多重化部２１１出力バッファ２１２第２のタイムコード付加部２１３タイムコード対応記憶手段２１４第１のタイムコード付加部３０１ブロック化部３０２減算器３０３モード選択スイッチ３０４ DCT部３０５量子化部３０６逆量子化部３０７ IDCT部３０８加算器３１０動き補償部３１１スイッチ３１２モード選択部３１３可変長符号化部４０１ブロック化部４０２ DCT部４０３量子化部４０４可変長符号化部５０１入力バッファ５０２多重化分離部５０３動画像復号化部５０４静止画像復号化部６０１可変長復号化部６０２逆量子化部６０３ IDCT部６０４加算器６０５フレームメモリ６０６動き補償部６０７スイッチＨ１１１マクロブロック静動判定部Ｈ１１２減算器Ｈ１１３移動物体判定部７０１可変長復号化部７０２逆量子化部７０３ IDCT部９０１座標履歴記憶手段９０２座標判定手段Ｈ１０４マンマシンインタフェース手段Ｈ１０４−１表示手段Ｈ１０４−２ポインティング手段Ｈ１０４−３領域のマークＨ１０４−４領域のマークＨ１０４−５領域のマークＨ１０４−６ポインタＨ１０３−１一次記憶制御部Ｈ１０３−２静止画像バッファＨ１０３−３動画像フレームバッファＨ１０３−４フレームバッファポインタＨ１０３−５二次記憶制御部Ｈ１０３−６二次記憶手段Ｈ１０６操作入力手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者池田旬神奈川県横浜市磯子区新杉田町８番地株式会社東芝横浜事業所内 (72)発明者菊池義浩神奈川県川崎市幸区小向東芝町１番地株式会社東芝研究開発センター内 (56)参考文献特開平10−42275（ＪＰ，Ａ) 特開平５−56393（ＪＰ，Ａ) 特開平10−66054（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/91 - 5/956 H04N 7/18 H04N 7/24

Claims

(57)【特許請求の範囲】

【請求項１】画像を符号化し伝送して記録する画像記
録装置において、動画像を撮影するカメラ部と、前記カ
メラ部からの動画像をブロック化して符号化すると共に
前記カメラ部からの動画像を一時的に記録し特定の画像
を静止画像としてブロック化して符号化する符号化手段
と、前記符号化手段で符号化された符号化データ伝送す
る伝送手段と、前記伝送手段からの動画像符号化データ
および静止画像符号化データを復号化する復号化手段
と、前記復号化手段で復号化されたブロック内の画像が
静止状態か動状態かを判定し動状態であるときは雑音除
去処理および移動物体包含処理により移動物体を検出す
る移動物体検出手段と、前記移動物体検出手段によって
検出された移動物体を含む領域の座標が予め定められた
条件を満たしたとき前記符号化手段に静止画像の符号化
を要求するための要求信号を送信する静止画像符号化タ
イミング判定手段と、前記動画像符号化データおよび前
記静止画像符号化データを記録する記録手段とを備えた
ことを特徴とする画像記録装置。
【請求項２】前記静止画像符号化タイミング判定手段
は、前記移動物体検出手段によって検出された移動物体
を含む領域の座標の履歴を記録する座標履歴記憶手段
と、前記座標履歴記憶手段に記録された移動物体を含む
領域の座標履歴の変化に基づいて静止画像符号化のタイ
ミングを判定する座標判定手段とを備えたことを特徴と
する請求項１に記載の画像記録装置。
【請求項３】前記符号化手段は、前記カメラ部から入
力した符号化前の動画像に第１のタイムコードを付加す
る第１のタイムコード付加部と、第１のタイムコードを
付加した動画像を一時的に記録する入力画像バッファ
と、前記カメラ部からの動画像をブロック化して符号化
する動画像符号化部と、前記動画像符号化部の出力する
動画像符号化データに第２のタイムコードを付加する第
２のタイムコード付加部と、前記第１のタイムコードと
第２のタイムコードとの対応関係を記憶し前記静止画像
符号化タイミング判定手段から第２のタイムコードに基
づく静止画像符号化の要求信号を受信したときその第２
のタイムコードに対応する第１のタイムコードを出力す
るタイムコード対応記憶手段と、前記タイムコード対応
記憶手段からの第１のタイムコードに基づいて前記入力
画像バッファから動画像データの一部を取り出し静止画
像としてブロック化して符号化する静止画像符号化部と
を備えたことを特徴とする請求項１または請求項２に記
載の画像記録装置。
【請求項４】前記静止画像符号化タイミング判定手段
に、移動物体を含む領域の判定条件を入力するためのマ
ンマシンインタフェース手段を設けたことを特徴とする
請求項１乃至請求項３のいずれか１項に記載の画像記録
装置。
【請求項５】前記マンマシンインタフェース手段は、
前記復号化手段が復号化した動画像を画面上に表示する
表示手段と、前記表示手段の画面上で領域を指定して移
動物体を含む領域の判定条件を入力するためのポインテ
ィング手段とを備えたことを特徴とする請求項４に記載
の画像記録装置。
【請求項６】前記表示手段は、前記復号化手段が復号
化した動画像に前記移動物体検出手段が検出した移動物
体を包含する領域のマークを重ねて画面上に表示し、前
記ポインティング手段により前記マークが指定されたと
き、前記静止画符号化タイミング判定手段は、前記静止
画像符号化の要求信号を出力するようにしたことを特徴
とする請求項５に記載の画像記録装置。
【請求項７】前記記録手段は、前記静止画像符号化タ
イミング判定手段から静止画像符号化の要求信号を入力
したときは、前記符号化手段からの静止画像符号化デー
タおよびその前後の動画像符号化データをまとめて記録
するようにしたことを特徴とする請求項１に記載の画像
記録装置。
【請求項８】前記移動物体検出手段は、復号化手段で
復号化された動画像データに代えて、前記符号化手段か
らの動画像データを用いて移動物体を検出するようにし
たことを特徴とする請求項１乃至請求項７のいずれか１
項に記載の画像記録装置。
【請求項９】画像を符号化し伝送して記録する画像記
録装置において、動画像を撮影するカメラ部と、前記カ
メラ部からの動画像をタイムコードを付加して一時的に
入力画像バッファに記憶し前記カメラ部からの動画像を
符号化すると共に前記入力画像バッファからの特定の画
像を静止画として符号化する符号化手段と、前記符号化
手段で符号化された静止画像符号化データを記録する記
録手段と、前記符号化手段で符号化された動画像符号化
データを伝送する伝送手段と、前記伝送手段を通して送
られてきた前記符号化手段からの符号化された動画像符
号化データを復号化する復号化手段と、前記復号化手段
が復号化した動画像を表示する表示手段と、前記伝送手
段を介して前記符号化手段に対しタイムコードを指定し
た静止画像の符号化を要求し前記記録手段に記録させる
ための要求信号を送信する操作入力手段とを備えたこと
特徴とする画像記録装置。