JP2002344852A - 情報信号処理装置および情報信号処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 放送番組などの映像信号または音声信号か
ら、またはそれらの信号を圧縮処理など所定の加工処理
が施された信号から所定の特性信号を逐次検出して、分
類し、その分類時点または分類区間の相対的位置関係を
逐次、分類毎に表示色または表示位置などを変化させる
などを行い、所定の表示を行う。 【解決手段】 所定の情報信号から所定の特性信号を検
出する特性信号検出手段と、特性信号検出手段からの信
号に応じて情報信号を所定時点または所定区間毎に所定
の基準時点から自動的に所定の分類処理を逐次行う分類
処理手段と、分類処理手段により分類された所定時点ま
たは所定区間を分類処理が行われると共に基準時点を基
準として分類された所定の表示を逐次行うか、または分
類時点または分類区間の相対的位置関係を所定の表示に
より逐次表示する表示手段と、を備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術差分野】本発明は、情報信号処理装
置および情報信号処理方法に関し、詳しくは放送番組な
どの映像信号、音声信号を光ディスク、ハードディス
ク、半導体メモリーなどの記録媒体に記録する記録装置
において、その映像信号、音声信号を自動的に所定の分
類やインデキシング処理を行う場合に、例えば、ユーザ
ーが所望の区間をダイジェスト再生など特殊再生を行う
際に容易にその部分を把握できるようにするため、その
分類処理、インデキシング処理を行った時点や区間を表
示する情報信号処理装置および情報信号処理方法に関す
るものである。

【０００２】

【従来の技術】ＭＰＥＧなどの画像圧縮技術が広く民生
用記録再生装置に利用され、また比較的長時間記録可能
でアクセス性の良いＨＤＤ（ハードディスク）や光磁気
ディスクが比較的低価格で普及し、放送番組などが手軽
に長時間記録できるようになっている。

【０００３】このように長時間記録した放送番組などを
再生して楽しもうとすると、限られた時間の中では効率
良く再生する必要があり、従来技術では例えば、２倍速
再生などの通常再生速度よりも高速動作を行い短時間で
再生することが考えられる。

【０００４】より効果的な短時間再生を行なうことを目
的として、映像の変化やカメラパン、または音声認識な
ど技術を用いて、要約を行なっても映像シーンの内容が
把握できる意味のあると思われる部分を検出して再生す
る技術が知られている。

【０００５】また、記録時に自動的に分類し、識別情報
を付加して記録し再生時に検索や頭出しを行なう技術も
知られている。

【０００６】例えば、公知技術文献としては以下に示す
ようなものがある。 （ａ）Michael A.Smith and T.Kanade,"Video Skimming
and Characterizationthrough the Combination of Im
age and Language Understanding Techniques",IEEE CV
PR,（ p775-p781）、(ｂ)特表平10−507554「探索でき
るディジタルビデオライブラリを作成する方法および装
置ならびにそのようなライブラリを利用するシステムお
よび方法」、（ｃ）特開平７−45050「自動分類記録装
置」、（ｄ）特開平７−29007「映像特徴処理方法」、
（ｅ）特開平11−328422「画像識別装置」、（ｆ）特開
2000−261754「ダイジェスト作成装置、ダイジェスト作
成方法およびその方法の各工程をコンピュータに実行さ
せるためのプログラムを記録したコンピュータ読み取り
可能な記録媒体」。

【０００７】また、音声信号から音楽区間を検出する技
術としては例えば、（ｇ）南憲一他：「音情報を用いた
映像インデクシングとその応用」（電子情報通信学会論
文誌）（D-2 Vol.J81-D-2 No.3 pp.529-537 1998年
3月）、（ｈ）南憲一他：「音情報を用いたビデオ・ブ
ラウジング・インターフェイス」（テレビジョン学会技
術報告（Vol.19 No.7 pp.1-6 1995年）、などに記
載されている。

【０００８】

【発明が解決しようとする課題】しかしながら、２倍速
再生など高速再生を行なう場合は自分が見たいと思う映
像シーン以外の区間も再生されることになり、ダイジェ
スト再生など短時間再生を行なう場合は効率があまり良
いとは言えず、また、記録した映像の内容の概要を、効
率良く、すぐに知りたいと思っても、ダイジェスト再生
などの特殊再生動作を行う必要があり、記録媒体に記録
した内容の映像シーンを効率良く、効果的にすぐ把握で
きるとは言い難いという問題がある。

【０００９】又、上記の文献（ａ）、（ｂ）などは特徴
的な映像区間と音声区間を選択し、合成して得られた部
分をつなぎ合わせて要約再生する技術が開示されている
が、このような技術では、例えば、所定の記録媒体に記
録した後に、特徴的な映像区間や音声区間を選択する特
別な処理を行なうことが一般的で、そのため記録終了の
後に、ダイジェスト再生や要約再生を行なうための信号
処理時間を待たなければならないという問題もある。

【００１０】更に、上記文献（ｃ）に開示の技術は、記
録時にシーンチェンジなどの単位毎に分類コードと名前
を付けて記録することが記載されているが、適切な分類
が行なわれるか不明であり、また記録方法や記録時間に
よっては多くのコードと名前情報を持つ必要がある問題
が考えられる。

【００１１】また、上記文献（ｄ）にはカラー映像信号
からヒストグラム処理によりショットを分類する技術が
開示されているが、分類した後の分類情報データの設定
方法や信号処理技術については詳しい技術的開示がなさ
れていない。

【００１２】更に、上記文献（ｅ）には、あらかじめ複
数の特徴抽出したデータを画像パターンデータとして保
持した画像パターンデータベースと入力画像の類似度を
算出し分類する技術が開示されているが、あらかじめデ
ータを持つ必要があり、そのため構成がやや複雑になる
と考えられる。

【００１３】また、上記文献（ｆ）には、あらかじめ事
象定義毎に設定された数値を数値情報として記憶した記
憶手段を備え、入力映像の事象に基づいて数値映像情報
を生成しダイジェスト映像を作成する技術が開示されて
いるが、事象毎に設定された数値情報を記憶した記憶手
段を設ける必要があり、そのため構成がやや複雑になる
ことが考えられる。

【００１４】さらに、入力音声信号が音楽であるか、音
楽でないかの判定に関する技術は、上記（ｇ）、（ｈ）
などのようにスペクトルピーク周波数の継続性などを判
定することで行えることが知られるが、上記文献、また
はその他の文献にも、逐次、入力する信号の属性を判定
し、ダイジェスト再生動作を効率的にまた効果的に行う
ための、分類表示に関する技術は開示されていない。

【００１５】以上のような観点から、本発明は放送番組
などの情報信号を記録しながら、逐次その情報信号の分
類処理を行うと共に、同時にその分類処理の様子および
再生時点など逐次その様子を表示し、ユーザーがダイジ
ェスト再生、画像シーン検索などの特殊再生動作を効果
的に効率的に行え、比較的簡単な構成で安価に実現する
技術を提案するものである。

【００１６】

【課題を解決するための手段】本発明の情報信号処理装
置は、（１）所定の情報信号から所定の特性信号を検出
する特性信号検出手段と、（２）上記特性信号検出手段
からの信号に応じて上記情報信号を所定時点または所定
区間毎に所定の基準時点から自動的に所定の分類処理を
逐次行う分類処理手段と、（３）上記分類処理手段によ
り分類された所定時点または所定区間を上記分類処理が
行われると共に上記基準時点を基準として所定の表示を
逐次行うか、または分類時点または分類区間の相対的位
置関係を所定の表示により逐次表示する表示手段と、が
備えられている。

【００１７】また、本発明の方法は、（１）所定の情報
信号から所定の特性信号を検出し、（２）上記特性信号
検出に応じて上記情報信号を所定時点または所定区間毎
に所定の基準時点から自動的に所定の分類処理を逐次行
い、（３）上記分類処理により分類された所定時点また
は所定区間を上記分類処理が行われると共に上記基準時
点を基準として所定の表示を逐次行うか、または分類時
点または分類区間の相対的位置関係を所定の表示により
逐次表示するものである。

【００１８】このように、画像信号の場合には、複数領
域に分割し、その各々の分割領域における輝度信号また
は色差信号などをベクトルの成分とする特性ベクトルを
生成し、特性信号とする。

【００１９】音声信号の場合には、所定区間毎に音声区
間を検出し、その区間毎にＦＦＴ解析などの周波数解析
処理を行い、そのスペクトルピーク周波数を検出し、各
所定区間でのスペクトルピークの継続性データを特性信
号とする。

【００２０】上記画像信号や音声信号などの情報信号を
記録する場合には記録開始時点などを所定の基準時点と
して、検出した所定の特性信号から、上記情報信号を所
定時点または所定区間毎に、自動的に逐次、映像信号の
場合は類似画像毎の分類処理や、音声信号の場合は楽音
信号と非楽音信号のように所定の属性の分類処理など所
定の分類処理を行う。

【００２１】上記分類処理処理により分類された所定時
点または所定区間を上記分類処理が行われると共に上記
基準時点を基準として、例えば分類区間毎に表示色を変
化させるなど所定の表示を逐次行うか、または分類時点
または分類区間の相対的な時間やフレーム数などの位置
関係を表示する。

【００２２】

【発明の実施の形態】次に、本願発明に係る情報信号処
理方法及び情報信号処理装置の実施の形態について、図
面を参照して説明する。

【００２３】先ず、情報信号処理方法および情報信号処
理装置の概要について説明すると、放送番組などの映像
信号または音声信号から、またはそれらの信号を圧縮処
理など所定の加工処理が施された信号から所定の特性信
号を逐次検出する。

【００２４】上記特性信号に応じて、上記映像信号の所
定時点または所定区間または上記音声信号の所定区間を
ユーザーが任意に設定可能な基準時点を基準として逐
次、分類処理して行く。

【００２５】所定時点または所定区間を上記分類処理が
行われると共に上記基準時点を基準として、または分類
時点または分類区間の相対的位置関係を逐次、分類毎に
表示色または表示位置などを変化させるなどを行い、所
定の表示を行う。

【００２６】次に、本発明の実施例について、図面を用
いて以下の順序で説明する。 （１）類似画像シーンの分類処理方法の概念 （２）分類画像シーンのモニター映像の一例 （３）画像分類信号処理および識別情報信号生成法の概
念 （４）放送番組における識別情報データ値の特性例 （５）表示動作実施例 （６）画像分類処理系ブロック構成例 （７）本発明を適用した記録再生装置ブロック構成例 （８）動作フローチャートの一例

【００２７】（１）類似画像シーンの分類処理方法の概
念 図１は本発明の画像シーン分類処理法を説明するための
概念図である。図１（１）は画像系列ａ１、ａ２、ａ
３、ａ４、ａ５ −−−−であり、例えば画像ａ１、ａ
２、ａ７、ａ８、ａ１５、ａ１６は各々類似している画
像と仮定する。

【００２８】例えば、図１（１）の画像系列を簡単のた
め放送番組におけるニュース映像とすると、一般的にニ
ュース番組ではアナウンサーやニュースキャスターの映
像シーンの後にニュース映像が続く確率が高く、上記で
述べた、類似画像ａ１、ａ２、ａ７、ａ８、ａ１５、ａ
１６はアナウンサーやニュースキャスターの登場シーン
と想定できる。

【００２９】ここで、図１（１）の画像系列を入力画像
として記録媒体に記録すると同時に記録する画像シーン
を類似画像毎に分類することを考える。

【００３０】図１（２）は、記録する画像シーンを類似
画像毎に分類したことを示す概念図であり、各々Ａ、
Ｂ、Ｃ、Ｄ毎に画像が類似画像として分類されているこ
とを示している。

【００３１】例えば、図１（２）Ａの分類では、ａ１、
ａ２、ａ７、ａ８、ａ１５、ａ１６、−−−− などの
画像が分類されており、これらの画像は上記で述べたア
ナウンサーやニュースキャスターの登場シーンである。

【００３２】同様にＢの分類はニュース番組におけるニ
ュース映像の類似シーンａ３、ａ４、ａ１１、−−−な
どが分類されていることを示しており、Ｃの画像分類は
類似シーンａ５、ａ６、ａ１３、−−−−−などの画像
が分類されていることを示し、Ｄの分類は類似画像シー
ンａ９、ａ１０、ａ１９−−−−−などの画像が分類さ
れていることを示している。

【００３３】分類の時間的な基準は、記録やは再生動作
開始時を基準にしたり、例えば放送番組のプログラム毎
に、そのような時間の基点を設定しても良い。

【００３４】（２）分類画像シーンのモニター映像の一
例 図２は、上記で説明した図１（２）の分類をモニターで
表示した場合の概念図であり、類似画像の系列が水平方
向に整理されていることが分かる。

【００３５】以上のような分類整理を、放送番組などを
記録媒体に記録する際に、ほぼ実時間で処理を行い、そ
の分類処理に応じた識別情報信号を、記録媒体に記録す
ることで、再生時に放送番組の再生と共にその識別情報
信号を検出することで、すぐに画像分類の表示を行うこ
とができ、それにより記録した内容が効果的にまた効率
良く短時間に把握することができる。

【００３６】これにより、ユーザーは分類整理された画
像を見て、見たいと思う画像シーンの系列を選択し、そ
の系列の画像シーンを含む所定の時間区間を再生するこ
とで記録した放送番組を、従来以上に効果的に、効率良
く、短時間でダイジェスト再生することができる。

【００３７】（３）画像分類信号処理および識別情報信
号生成法の概念 図３は、画像分類信号処理および識別情報信号生成の信
号処理方法の説明図であり、ここには、画像データから
検出された特性データを記憶するメモリー系と、それに
対応した識別情報信号を記憶するメモリー系の２つがあ
る。

【００３８】各々のメモリー系は物理的に別々のメモリ
ー系でも良く、また一つのメモリー系の記憶領域を各々
の所定データが記憶できるように分割して使用するよう
にしても良い。

【００３９】また、これらメモリー系は所定の制御信号
に応じて所定の記憶領域に記憶した所定のデータが逐次
所定の記憶領域に移動動作を行うメモリー系または、リ
ングバッファーメモリー系と同様の動作を行うメモリー
系とする。

【００４０】ここで、上記特性データは、入力画像デー
タを所定のＡ／Ｄ変換処理したベースバンド画像データ
または、その画像データをＭＰＥＧ２やウェーブレット
変換など所定の帯域圧縮処理を施した信号から検出する
ことができる。

【００４１】例えば、図４に示すように、１画面を６４
分割して、それぞれの分割領域における輝度信号や色差
信号の平均データ、または圧縮処理された画像データで
例えば、ＭＰＥＧ２のデータである場合は各々の分割領
域におけるＤＣＴ係数の平均データを用いることができ
る。

【００４２】また、ウェーブレット変換データである場
合は、各々の分割領域におけるウェーブレット変換係数
の平均データや、ウェーブレット変換係数から求めた各
々の分割領域における画像の所定しきい値以上のエッジ
数を特性データとして考えることもできる。

【００４３】ここでは、簡単のため、図３に示すよう
に、特性データメモリー系はdinおよび d1〜d16、識別
データメモリー系は、einおよびe1〜e16を設定するもの
として説明するが、各々のメモリー系のメモリー容量は
さらに大きく設定して良く、例えば、１分から３０分間
における画像シーンの特性データ、識別情報データが記
憶できるように設定する。

【００４４】ここで、記憶する特性データは記録する放
送番組に応じた毎フレーム毎の特性データとする必要は
なく、例えば、シーンチェンジ検出を行い、シーンチェ
ンジ毎の特性データとしたり、また所定フレーム毎、例
えば１０フレーム間隔毎の特性データとすることも考え
られる。

【００４５】画像信号がＭＰＥＧで圧縮処理されている
場合は、Ｉピクチャーにおける画像データやＭＰＥＧデ
ータストリームにおける所定データとするなど、所定ピ
クチャー毎に処理することも考えられる。

【００４６】このようにＭＰＥＧデータストリームでＩ
ピクチャーなど特定のピクチャー毎に処理を行なう場合
は、ＭＰＥＧデータストリームの所定の識別データを検
出することで、所定の処理を行なうことができる。

【００４７】識別情報データは記憶する特性データに対
応するものを記憶するので、上記の特性データの記憶容
量に応じて、識別情報データ記憶容量も変化する。

【００４８】このように、毎フレーム毎の画像データの
特性データを連続して記憶することなく、シーンチェン
ジ毎や所定フレーム間隔毎に応じて記憶することで、メ
モリーの記憶容量を削減することができる。

【００４９】入力した画像データの特性データは逐次、
メモリー系の所定記憶領域 din に記憶され、dinの特性
データはすでに記憶されているd0〜d16のデータと所定
の演算処理が行われる。

【００５０】ここで、所定の演算処理として、上記で述
べた画面における各々の分割領域におけるデータを成分
とする特性ベクトルを考え、ユークリッド距離または、
その他のベクトル距離演算を考えることができる。

【００５１】例えば、dinに記憶された上記で述べた図
４のような分割画面に対応するベクトル成分を、aｉ(ｉ
= 0〜63)、特性データメモリー系のｎ記憶領域における
ベクトル成分をｂni(i = 0〜63)、とすると、ベクトル
距離 L は、次の式（１.１）、（１.２）で表すことが
できる。

【００５２】

【数１】

【００５３】または、

【００５４】

【数２】

【００５５】などのように演算することができる。

【００５６】ここで、図３の例では、d7におけるベクト
ル距離が最小Lminで、所定のしきい値Lth 以内であると
仮定すると次の式（１.３）を満足する。

【００５７】

【数３】

【００５８】d7に対応する記憶領域はe7で、このe7に記
憶されている識別情報信号をdinの識別情報信号に割り
当てるものとする。

【００５９】上記のように特性データの所定演算が終了
して、識別情報信号の割り当てが決まったら、dinの特
性データは、特性データメモリー系の記憶領域 d0に記
憶領域を移動する。

【００６０】d1 に記憶されていた特性データは、d2 の
領域に移動し、di に 記憶されていた特性データは、di
+1 の領域に順次移動する。

【００６１】同様に、割り当てが決まった識別情報信号
はeinに記憶されていたが、e0の記憶領域に移動し、e1
の記憶領域の識別情報信号はe2に移動し、eiの識別情報
信号は、ei+1に順次移動する。

【００６２】ここで、上記で説明した特性データの所定
演算において、演算値Lminが所定しきい値の範囲にない
場合、すなわち、

【００６３】

【数４】

【００６４】の場合は、e0〜e16 に記憶されている以外
の識別情報信号を割り当てるものとする。

【００６５】通常は、簡単のため、識別情報データメモ
リー系に記憶されているe0〜e16のデータの中から最大
値を検出し、その最大値を１インクリメントしそれが所
定最大値を超えない場合は、そのデータ値を新しい識別
情報データ値とし、１インクリメントすることで所定最
大値を超える場合は、０を新しい識別情報データ値とし
て割り当てる。

【００６６】その後の処理で、同じように所定最大値を
超える場合は、新しく０を設定した値から順次１インク
リメントしたデータ値を新しい識別データ値として割り
当てる。

【００６７】このように所定最大値を超えた場合に、新
しく０設定したデータ値から１ずつインクリメントする
ことは、時系列的に考えれば、ここで設けたメモリー系
の記憶容量よりも前の、古いデータを上書き、または捨
てて新しいデータを順位割り当てることを意味してい
る。

【００６８】これは、放送番組などを処理対象とする場
合に、あまり時間的に前の類似画像を検出して分類して
も、見ている人の画像に対する記憶や印象が薄れて、分
類処理してダイジェスト再生やスキミング動作、あるい
は記録した内容の把握を目的とした動作に対して、あま
り優位性が認められないであろうという仮定と、メモリ
ー容量を大きくするより、ある程度の所定メモリー容量
でシステムのコストを抑え所定の動作が行える方がユー
ザーに対して優位性が認められるであろうという仮定に
基づいている。

【００６９】例えば、e0〜e16の記憶領域にはすでに、0
000H 〜000FH（16進）の識別データが記憶されていて、
上記式（1.3) の条件の場合は、d7の特性データには、0
010Hの識別データを割り当てるものとする。

【００７０】次の演算処理を行なう映像シーンでの識別
データを割り当てが、所定しきい値より大きく、式(1.
4)の条件の場合は、上記で述べたように、e0〜e16にお
ける最大値は、000FH と仮定しているので、１インクリ
メントした、0010H を割り当てるように処理を行う。

【００７１】ここで、識別データの割り当てがFFFFHで
いっぱいになった場合は、0000Hに戻るものとする。

【００７２】そして、前記したように、この0000Hから
順次、１インクリメントするように識別情報データ値を
割り当てるように動作を行う。

【００７３】このように割り当てられた einの識別デー
タを、記録する画像シーンのデータと共に所定記録媒体
に記録し、再生時に検出を行うことで、同じ識別データ
の映像シーンは、複雑な信号処理や長い処理時間を待つ
ことなく、すぐに類似画像であると判定できる。

【００７４】上記の例では識別データを 0000Hのように
２バイトで説明したが、これに限ることなく、さらに多
くの識別データを設定できるようにしても良い。

【００７５】特性データ記憶領域および識別情報データ
記憶領域の容量が少なく、設定する識別データのバイト
数が小さいと、類似画像でないにもかかわらず、同じ識
別データが割り当てられる確率が高くなるので、類似画
像検出の頻度を考慮してメモリー容量および識別データ
のバイト数を設定する必要がある。

【００７６】（識別情報データ折り返り処理の説明）図
５は、識別情報データが順次増加し、最大値を超える場
合の処理法を説明するための概念図である。

【００７７】上記で説明したように、上記(1.4)式に示
すように所定しきい値の範囲にない場合は、識別情報デ
ータメモリー系に記憶されているデータの最大値を検出
し、１インクリメントして割り当てることになるが、図
５区間Ａｎに示すｂ点のようにFFFFHと識別情報データ
がいっぱいになった場合は、区間Ａｎでない区間Ａｎ＋
１における最大値のｄ点を検出して１インクリメントす
る必要がある。

【００７８】そのため、例えば、図５に示すように、区
間Ａｎと区間Ａｎ＋１のように区間を識別する識別信号
Ｐを設定し、識別データ値がいっぱいになり、データ値
をリセットする毎に識別信号Ｐが変化することを考え
る。

【００７９】図５の例では、簡単のため、Ｐの設定値と
して、０、１が交互に変化するようにしてあり、識別デ
ータ値がいっぱいになりFFFFHのを超えて、設定すべき
識別情報データ値を折り返す必要がある場合は、その折
り返す前の区間の識別情報データの最大値は、動作初期
区間Ａ０の場合を除き、FFFFHになるので、前記した条
件式（1.4）の場合で類似画像検出が行なえず、識別情
報信号を新たに設定する場合も問題なく所定の信号処理
を行なうことができる。

【００８０】（メモリー記憶容量の一例）ここで、識別
データのメモリー容量を考えてみる。放送番組などの映
像シーンを記録することを考えた場合に、特別な場合を
除き、頻繁にシーンチェンジが起きる確率はあまり高く
ないと想定できるので、例えば、３０フレーム毎秒の画
像を１０フレーム毎に特性データを記憶し、所定の演算
を行うと仮定する。

【００８１】また、類似画像が出現する時間間隔は、長
い時間がたった後に出現する確率はあまり大きくないと
仮定し、３０分間位の間で類似画像検出を行うことを考
える。

【００８２】例えば、１０フレーム毎にシーンチェンジ
が起こり、新しい識別データを割り当てると仮定する
し、３０分では、 30（分）× 60（秒）× 10（フレーム／秒）= 18000 なので、前記した２バイトの識別データでも十分対応で
きることが分かり、識別データ折り返りのための識別デ
ータ区間を２つ設定すると仮定すると、識別情報データ
メモリー系の記憶容量は、高々、 18000 × 2（バイト）× 2（区間） ＝ 70.3（KByte） となる。

【００８３】また、特性データの記憶容量は、例えば、
前記したように６４次のベクトル成分を考え、１成分１
バイトとすると、３０分では、 18000 × １（バイト）× 64（成分）= 1.1（MByte) となる。

【００８４】上記で計算したメモリー容量は、画像分類
演算の間隔をさらに広げれば、もっと少ないメモリー容
量で対応できることが分かる。

【００８５】（４）放送番組における識別情報データ値
の特性例 図６は、ある放送番組を本発明の処理により画像分類し
た場合の時系列的なフレーム番号に対する割り当てられ
た識別情報データ値の特性である。

【００８６】図６において、（ａ）または（ｂ）のよう
に同じ識別情報データの場合は、それに対応するフレー
ム番号の映像シーンは類似画像として分類される。

【００８７】そして、類似画像が検出されない場合は、
図６に示す通り時間が経過すると共に識別情報データ値
が増加するようになる

【００８８】また図７は、図６の識別情報データに対す
る出現頻度の特性で、（ｂ）の700が一番出現頻度（割
り当て頻度）が大きく、（ａ）の０が２番目に大きいこ
とがわかる。

【００８９】（５）表示動作実施例 図８〜図１２は、前記で説明したような放送番組の映像
シーンの自動分類による識別データと本発明による表示
動作の関係の一例を示すものである。

【００９０】図８（１）は自動画像分類の特性例で分類
識別データ分類開始時間との関係を示している。ここ
で、分類開始時間は、放送番組を記録媒体に記録する場
合などの記録開始時刻などとすることができるが、ユー
ザーが任意に設定しても構わない。

【００９１】（表示動作例１ （図８（２） ）表示動作
例１は、例えば、所定時間として９０分のニュース番組
などの放送番組を記録しながら、画像シーンを自動分類
して行き、所定時間の記録が終了したら、分類処理の結
果を所定の表示系により表示するものである。

【００９２】図８（２）は表示動作例１（例１）で、記
録装置本体などに備えられた、液晶表示系や有機ＥＬデ
ィスプレイなどの所定の表示系により、上記で説明し
た、画像分類識別データ推移と、後で述べる音楽検出処
理による音声信号分類、および、時間関係を、そのまま
表示したものである。

【００９３】この表示動作例では分類、時間、および再
生位置の各表示が行えるようになっており、分類の表示
は図８（１）の自動分類特性の概要が所定の表示系によ
り表示される。

【００９４】ここで、放送番組としてニュース番組など
のアナウンサーやニュースキャスターの登場シーンがあ
るような、比較的カメラの撮影シーンが固定されるよう
な場合には類似画像シーンが複数現れ、自動分類される
画像シーンの中で容易に分類シーンの出現頻度の高いシ
ーンを検出することができる。

【００９５】そこで、例えば、図８（２）の表示動作例
において、ａ１、ａ２、ａ３、ａ４、ａ５、ａ６、の各
部分は、そのような類似画像シーンで分類頻度が大きい
部分とし、その部分を例えば、赤色で表示し、それ以外
を例えば青色で表示するなど、分類頻度に応じて所定部
分の表示色を変化させることも考えられる。

【００９６】また、音声分類では音楽区間を赤色表示
で、音楽区間ではない区間を青色表示などで表示するよ
うにしても良く、また音声分類表示は行なわず、上記の
画像分類表示だけでも良く、また場合によっては音声信
号の分類表示だけでも良い。

【００９７】ここで図８（２）の表示例において、音声
分類ではｂ１〜ｂ６の区間は音楽検出区間であることを
示している。

【００９８】（表示動作例２ （図９） ）図９（例１）
〜（例３）は表示動作例２であり、前記したように放送
番組を記録しながら自動的に画像シーンの分類を行い、
同時に自動分類の過程を逐次表示して行くものである。

【００９９】図９（例１）は自動分類動作開始から約１
８分経過時点の表示動作例であり、（例２）は自動分類
動作開始から約４８分経過時点の動作表示例であり、
（例３）は自動分類開始から約８７分経過時点の動作表
示例である。

【０１００】図９の各表示例から分かるように、自動分
類が行われるに従って、所定の表示系に自動分類開始か
らその時点までの分類の様子が逐次表示される。

【０１０１】ここで、自動分類の過程で、類似シーンが
所定区間継続する場合は、例えば、図９（例１）のａ１
部分のように、同一の分類が水平方向に継続して表示さ
れることになるが、このような場合には、他の部分のよ
うにあまり類似分類されていない部分と区別してユーザ
ーが容易に見て分かるように、表示色を変えて表示する
ようにしても良い。

【０１０２】例えば、あまり類似分類されず、所定区間
同一の分類が継続しない場合は、緑色で表示し、図９
（例１）ａ１区間のように所定区間同一分類が継続する
場合には、その部分を赤色で表示するなどしても良い。

【０１０３】上記の説明では、画像の類似シーン毎の分
類について説明したが、前記したように音声信号が音楽
信号であるか、音楽信号でないかなど、音声信号の属性
で分類するようにしても良い。

【０１０４】例えば、音楽信号区間は赤色表示で、音楽
信号区間でない場合は青色表示など区別して所定の表示
系により表示することで、例えば、歌謡番組をダイジェ
スト再生する場合には、音楽区間を容易に把握できるの
で、ユーザーは、効率的で効果的な操作を行うことがで
きる。

【０１０５】（表示動作例３ （図１０））さらに、上
記の類似画像シーンの分類と、音声区間の分類表示を同
時に行なっても良く、その場合の表示例を図１０に表示
動作例３として示す。

【０１０６】この表示例では、音声分類も（例１）〜
（例3）に示すように、逐次分類されるに従って、ｂ１
〜ｂ７の音楽検出区間の表示が行われる。

【０１０７】（表示動作例４ （図１１） ）この表示
動作例は、前記した表示動作例１と同じように、放送番
組を所定時間記録した後に、画像シーンの分類結果を表
示するものであるが、分類結果を分類頻度に応じて表示
色を変化させて、水平方向に所定の表示を行うものであ
る。

【０１０８】図８（１）の自動分類特性において、ａ〜
ｆは類似画像シーンが所定区間検出されて同一の分類が
所定区間継続していることを示している。

【０１０９】このように類似画像シーンが所定区間検出
され、同一の分類が所定区間継続する場合は、この部分
の表示色を他の部分の表示色と変えて表示する。

【０１１０】例えば、同一の分類が所定区間継続する区
間は赤色表示とし、それ以外の同一分類が所定区間継続
しない部分を青色表示などのように表示しても良く、ま
た所定区間、同一分類が継続しない部分は、表示色を徐
々に変化させ、分類が徐々に変化している様子が分かる
ように表示しても良い。

【０１１１】音声分類の表示については、前記した図８
（２）の場合と同様であり、画像シーン分類と音声分類
表示を両方とも表示しても良く、画像シーン分類だけの
表示または、音声分類表示だけでも良い。

【０１１２】（表示動作例５）図１２は表示動作例５
で、この表示動作例では前記した表示動作例２と同じよ
うに、放送番組などを記録しながら画像シーンの自動分
類を行い、その自動分類の分類過程を逐次表示して行く
ものである。

【０１１３】図１２（例１）〜（例５）は自動分類処理
開始から各々、約１８分、約３８分、約４８分、約６８
分、約８８分経過した時点の表示動作例である。

【０１１４】前記の表示動作例２（例１）〜（例３）で
説明した動作と同様に、所定区間同一分類が継続する場
合は、同一分類が継続しない部分と区別して表示色を変
えて表示するようにしても良く、また、同一分類が継続
しない部分は分類が徐々に変化して行くように、表示色
を徐々に変化させて表示するようにしても良い。

【０１１５】（表示動作例６）図１３は表示動作例６
で、上記表示動作例５（図１２）において、音声分類表
示も行なった場合であり分類処理が逐次行われ、ａ１〜
ａ６の類似画像シーンの分類、およびｂ１〜ｂ６の音楽
区間の分類が逐次表示されることが分かる。

【０１１６】（６）画像分類処理系ブロック構成例 図１４は、前記した画像分類処理法による本発明の画像
分類処理系のブロック構成例であり、画像データの特性
を検出する特性データ検出系２０と、検出された画像デ
ータを記憶する特性データメモリー系２１と、記憶され
ている特性データと逐次検出される特性データとでベク
トル距離演算をする演算処理系２２と、所定領域の各々
のデータを生成する識別情報データ生成系２３と、この
所定領域の各々のデータを記憶する識別情報データメモ
リー系２４と、システムコントローラ系１７とからな
る。

【０１１７】このような構成において、先ず、特性デー
タ検出系２０には、Ａ／Ｄ変換された所定の画像データ
または、所定の帯域処理が施されたＭＰＥＧ２などの画
像データが入力し、所定の特性データが検出される。

【０１１８】特性データ検出系２０からの信号は特性デ
ータメモリー系２１に入力し、所定の記憶領域に記憶さ
れる。

【０１１９】演算処理系２２では、特性データメモリー
系２１に記憶されているデータと、逐次、検出される特
性データとがベクトル距離演算など所定の演算処理がな
され、その演算結果はシステムコントローラー系１７に
入力する。

【０１２０】またシステムコントローラー系１７は、特
性データメモリー系２１および識別情報データメモリー
系２４に記憶されている所定領域の各々のデータを順
次、前記で説明したように、所定の記憶領域に移動する
ように制御する。

【０１２１】これにより、逐次検出される特性データ
は、新しく特性データメモリー系２１に記憶されること
になる。

【０１２２】システムコントローラー系１７では演算処
理系２２からの信号を受け取り、所定しきい値の範囲に
あるか判定し、所定しきい値の範囲にある場合は、上記
所定演算最小値が得られた特性データメモリー系２１の
データに対応した、特性情報データメモリー系２４に記
憶された識別情報データを読み出し、演算処理を行った
画像シーンの識別データとして割り当て出力する。

【０１２３】また、演算処理系２２からの演算値が所定
しきい値の範囲にない場合は、識別情報データメモリー
系２４に記憶されている識別データ値の最大値を検出
し、そのデータ値を１インクリメントし、それが所定最
大値を超えない場合は、新しい識別情報データ値とし、
１インクリメントすることで所定最大値を超える場合
は、０を新しい識別情報データとし、以後の処理で同様
にしきい値を超える場合は、この０から順次１ずつイン
クリメントしたデータを新しい識別情報データとして割
り当て出力する。

【０１２４】（７）本発明を適用した記録再生装置ブロ
ック構成例 （記録処理系の説明）図１５は本発明を適用した情報信
号記録再生装置のブロック構成例であり、音声信号をＡ
／Ｄ変換する音声Ａ／Ｄ変換処理系１と、Ａ／Ｄ変換さ
れた音声信号をエンコードする音声エンコーダー処理系
２と、映像信号をＡ／Ｄ変換する映像Ａ／Ｄ変換処理系
３と、Ａ／Ｄ変換された映像信号をエンコードする映像
エンコーダー処理系４と、画像の分類をする画像分類処
理系５と、音声及び映像及び分類された画像を多重化す
る多重化処理系６と、多重化したデータの記録を処理す
る記録処理系７と、実際に記録する媒体である記録媒体
系８と、再生を制御する再生制御系９と、再生処理系１
０と、再生データを分離する再生データ分離処理系１１
と、音声信号をデコードする音声信号デコード処理系１
２と、音声信号をＤ／Ａ変換する音声Ｄ／Ａ処理系１３
と、映像信号をデコードする映像デコード処理系１４
と、映像信号をＤ／Ａ変換する映像Ｄ／Ａ処理系１５
と、再生データ分離処理系１１により分離された信号か
ら識別信号を検出する識別信号検出系１６と、システム
コントローラー系１７と、ユーザの入力を許容するユー
ザー入力Ｉ／Ｆ系１８と、画像シーンを分類して表示及
び再生表示する画像シーン分類表示および再生位置表示
系１９と、音声信号を分類する音声信号分類処理系２０
と、からなる。

【０１２５】このような構成において、先ず始めに、記
録処理系について説明する。

【０１２６】入力した音声信号は音声信号Ａ／Ｄ変換処
理系１において所定のＡ／Ｄ変換処理がなされ、音声エ
ンコーダー処理系２でＭＰＥＧオーディオなど所定の帯
域圧縮処理が行われ多重化処理系６に入力する。

【０１２７】映像信号は映像Ａ／Ｄ変換処理系３で所定
のＡ／Ｄ変換処理が行われ、映像エンコーダ処理系４で
はＭＰＥＧ２など所定の帯域圧縮処理が行われ多重化処
理系６に入力する。

【０１２８】画像分類処理系５は前記で説明したような
ブロック構成で、映像Ａ／Ｄ変換処理系３からの信号ま
たは映像エンコーダー処理系４からの信号が入力し、記
録する放送番組などの映像シーンを、記録時に自動的に
所定の分類整理、識別処理を行い、所定の識別情報信号
を生成して多重化処理系に入力する。

【０１２９】音声信号については、音声信号Ａ／Ｄ変換
処理系１または音声エンコーダー処理系２からの所定区
間毎の信号が、音声信号分類処理系２０に入力し、スペ
クトルピークの継続性を検出し、音楽信号であるかどう
かの判定を行う。

【０１３０】（音声信号分類処理系ブロック構成例）図
１６は音声信号分類処理系２０のブロック構成の一例で
あり、音声信号の所定区間を検出する所定信号区間検出
系２１と、ＦＥＴ処理するＦＥＴ信号処理系２２と、ピ
ークの周波数を検出するピーク周波数検出系２３と、ピ
ーク周波数の継続性を判定するピーク周波数継続性判定
系２４とからなる。

【０１３１】このような構成において、先ず、音声信号
は、所定信号区間検出系２１に入力し、例えば、０．５
秒位から５秒位の間の所定区間を切り出され、ＦＦＴ信
号処理系２２に入力する。

【０１３２】音声信号を上記のような所定区間切り出す
のは、人が音声信号を聞いて、その音声信号が音楽であ
るかどうか判定するには、あまり短い時間ではその音声
信号が音楽であるか人の声であるかなどの音声信号の属
性を判定できないからである。

【０１３３】ＦＦＴ信号処理された信号は、ピーク周波
数検出系２３に入力し、スペクトルピーク周波数を検出
し、ピーク周波数継続性判定系２４において所定区間に
わたりピーク周波数が継続しているかにより、音声信号
が音楽信号であるか、そうではないかの判定がなされ
る。

【０１３４】この音声信号の判定結果はシステムコント
ローラー１７を介すか、直接、画像シーン分類表示およ
び再生位置表示系１９に入力し音声信号の分類状態を所
定の方法により表示する。

【０１３５】上記による画像シーンの分類処理または音
声信号の分類処理による識別情報信号はシステムコント
ローラー系１７を介して生成するようにしても良く、こ
の場合はシステムコントローラー系の制御により、また
はシステムコントローラー系１７において生成された所
定の識別情報信号が多重化処理系６に入力する。

【０１３６】画像分類処理系５からの識別情報は、画像
シーン分類表示および再生位置表示系１９に入力し、前
記した分類の様子を逐次表示する。

【０１３７】多重化処理系６では、入力した各々の信号
を所定の多重化処理を行い、記録処理系７において誤り
訂正符号付加やインターリーブ処理など所定の記録処理
を施し、所定の記録媒体８に記録する。

【０１３８】（再生処理系の説明）次に再生処理系につ
いて説明する。所定の記録媒体８から再生された情報信
号は、再生処理系１０でデインターリーブ処理など所定
の処理が行われた後、再生データ分離処理系１１に入力
して、記録時に多重化処理された所定の信号を各々分離
処理する。

【０１３９】分離処理された音声信号は音声デコード処
理系１２に入力し、記録時に所定の圧縮処理された音声
データをデコード処理され、その後 デコード処理され
た音声データは、次の音声Ｄ／Ａ処理系１３に入力し所
定のＤ／Ａ変換処理が行われて音声出力する。

【０１４０】分離処理された映像信号は映像デコード処
理系１４に入力し、記録時に所定の圧縮処理が行われた
映像データをデコード処理し、デコード処理された映像
データは次の映像Ｄ／Ａ変換処理系１５に入力し所定の
Ｄ／Ａ変換が行われた後、映像出力する。

【０１４１】また、分離処理処理された所定の識別情報
信号は、識別信号検出系１６に入力し、ダイジェスト再
生やスキミング再生処理に必要な識別情報データを検出
し、システムコントローラー系１７７に入力する。

【０１４２】あらかじめ記録された、所定のプログラム
区間、所定の番組区間、または所定の時間区間などの分
類表示を行なう場合は、記録時に分類処理され記録され
た所定の識別情報信号を検出し、システムコントローラ
ー系１７に入力し、システムコントローラー系１７から
の制御信号により画像シーン分類表示および再生位置表
示系１９において、前記で説明した表示動作例のような
所定の表示が行われる。

【０１４３】ダイジェスト再生やスキミング再生など所
定の特殊再生動作を行いたい場合は、ユーザーはユーザ
ー入力インターフェース（Ｉ／Ｆ）系１８を介して、シ
ステムコントローラー系１７にコマンド入力を行う。

【０１４４】システムコントローラー系１７はユーザー
からのコマンド情報を受け取り、再生再生制御系９を制
御し、分類処理された画像系列の中からユーザーが所望
する画像系列の再生が行われるように、記録媒体系８か
らの再生を制御する。

【０１４５】また識別信号検出系１６から検出された、
所定のタイムスタンプ信号などは、システムコントロー
ラ１７に入力し、それらの信号から再生時点を検出し、
画像シーン分類表示系および再生位置表示系により再生
位置を表示する。

【０１４６】（８）本発明の動作フローチャートの一例 図１７は本発明による画像分類表示処理の動作フローチ
ャートの一例である。Ｓ０ からスタートし、Ｓ１にお
いて表示色Ｃの初期設定を行う。例えば、自動画像分類
において、同じ分類が所定区間継続しない場合、すなわ
ち同じ識別情報信号が所定区間にわたり継続しない場合
は、この初期設定値Ｃに表示色から、徐々に表示色が変
化して分類状況が所定の表示系により表示される。

【０１４７】Ｓ２では、前記したように、識別情報デー
タ値がいっぱいのＦＦＦＦＨになって設定データを折り
返した場合のメモリー区間識別のために、識別Ｐを設け
ておき、その初期設定Ｐ＝０を行い、Ｓ３で、画像情報
データを入力して、Ｓ４で所定の特性データを検出す
る。

【０１４８】Ｓ５において、上記検出した特性データか
ら特性ベクトルを生成して、後のベクトル距離演算のた
め、Ｓ６において特性データ用の所定のバッファメモリ
ー領域に一時的に記憶する。

【０１４９】Ｓ７は後で説明する特性データ演算処理ル
ーチンで、上記Ｓ６のバッファメモリーに記憶されてい
る特性ベクトルのデータを読み出し、これを基準ベクト
ルとして特性データメモリー系に記憶されているデータ
と所定の演算を行う。

【０１５０】Ｓ７で所定の演算処理が行われ、所定の識
別情報信号が、Ｓ８において演算を行った基準ベクトル
に対応する画像シーンに割り当てられて、Ｓ９でその識
別情報信号は、識別情報信号用のバッファメモリー領域
に、一時的に記憶される。

【０１５１】Ｓ１０では、上記画像シーンの分類結果に
従って、その分類の結果を所定の表示系に表示する処理
を行い、Ｓ１１でその表示を継続して表示するために所
定の表示データをレジスターなどにメモリーしておく。

【０１５２】（表示色処理動作フローチャートの一例）
ここで、上記で説明したＳ１０の表示処理の動作につい
て説明する。図１８は、本発明による表示色処理の動作
フローチャートの一例で、上記における図１７における
Ｓ９からの処理は図１８におけるＢ１に移行し，識別情
報信号の継続性を判定する。

【０１５３】Ｂ１において、同一の識別情報信号が所定
区間にわたり継続していると判定される場合は、Ｂ２に
移行し類似画像シーンが継続していることが直ぐ分かる
ように予め設定した所定の表示色に設定し所定の類似分
類の様子を表示する。

【０１５４】Ｂ１において同一の識別信号が所定区間に
わたり継続していないと判定される場合は、Ｂ４に移行
し表示色をΔＣだけ可変して、Ｂ５で表示色を設定し、
Ｂ３において所定の表示系により、所定画像シーンの分
類の様子を表示する。

【０１５５】このように、表示色をΔＣだけ可変して表
示することで分類画像シーンが継続していない様子が、
表示色のなだらかな変化として容易に把握することがで
きる。

【０１５６】その後、Ｓ１２では、所定の圧縮処理を施
された音声データ、画像データと所定の多重化処理が行
われ、Ｓ１３において所定の記録媒体に記録されるよう
に、所定の記録処理が施される。

【０１５７】Ｓ１４では、動作を停止するかどうかの判
定がなされ、停止する場合はＳ１５において、動作を終
了し、動作を継続する場合は、Ｓ１６に移行し、特性デ
ータ用バッファーメモリー領域に記憶されているデータ
と特性データメモリー系に記憶されている各データは所
定のメモリー記憶領域に順次移動する。

【０１５８】同様に、識別情報データ用バッファーメモ
リー領域に記憶されていたデータと識別情報データメモ
リー系に記憶されているデータも各データが所定のメモ
リー記憶領域に移動する。

【０１５９】Ｓ１６で特性データおよび識別情報データ
が所定のメモリー記憶領域移動を行った後、Ｓ３ に戻
り上記で述べた動作を繰り返す。

【０１６０】（特性データ演算処理のフローチャートＳ
７）次に、Ｓ７における特性データ演算処理のフローチ
ャートについて説明する。図１９は、その動作フローチ
ャートの一例であり、Ｔ１で特性データメモリー系のメ
モリー領域番号と対応した演算回数の初期設定ｉ＝０を
行う。

【０１６１】Ｔ２は、識別情報信号の識別値の初期設定
ｎ＝０ を行い、Ｔ３ では特性データメモリー系の、
すべての領域におけるデータと所定の演算処理が終了し
たかどうかの判定が行われる。

【０１６２】Ｔ３でＮＯの場合はまだ、特性データメモ
リー系すべてのデータと演算処理が終了していないの
で、これ以降の所定のベクトル距離演算ループに移行す
る。

【０１６３】Ｔ４では、特性データメモリー系から、メ
モリー領域ｉの所定の特性データベクトルを読み出し、
Ｔ５において所定の演算処理を行い、その演算値（ベク
トル距離演算値）をＧｉとする。

【０１６４】Ｔ６において、演算値の最小値を求める処
理を行うための初期値設定値を行うため、一番最初 ｉ
＝０の演算値であるかどうかが判定され、Ｔ７で最小値
を求めるための初期設定Gmin= G0を行う。

【０１６５】Ｔ６で、一番最初の演算ではないと判定さ
れる場合は、Ｔ９に移行し、演算値Giが、前の演算値Gm
inより小さいかの判定が行われ、ＹＥＳの場合はＴ１０
においてGminを今の演算値Giで置き換えると共に、Ｔ１
１で識別情報信号値ｎを置き換えて ｎ＝ｉ として、Ｔ
８に移行する。

【０１６６】Ｔ６において、ＮＯの場合には、演算値は
置き換えず、次のデータ演算を行うため、Ｔ８に移行し
特性データメモリー系のデータ読み出し領域を移動し、
ｉを１インクリメントしてＴ３に戻り処理を繰り返す。

【０１６７】Ｔ３において、特性データメモリー系すべ
ての所定領域との演算が終了したと判定された場合は、
演算の結果の最小演算値が求まっているので、 Ｔ１２
でそれが所定の設定しきい値Ｇth以内かどうかの比較処
理が行われる。

【０１６８】Ｔ１３において、所定しきい値以内と判定
される場合は、上記で説明した演算処理ループで求まっ
た識別情報値ｎが、演算処理を行った映像シーンに対応
する識別情報値となり、前記した Ｓ７の処理に移行
し、識別情報値として割り当てられる。

【０１６９】Ｔ１３ においてＮＯの場合は所定しきい
値以内でないので、Ｔ１４ に移行し、識別情報データ
メモリー系に記憶されているデータ値の最大値nmaxを算
出し、Ｔ１５で、算出された最大値 nmax を１インクリ
メントした値を新しい識別情報データ値ｎとする。

【０１７０】Ｔ１６では、新しく設定された識別情報デ
ータ値ｎが、所定値の範囲である、ＦＦＦＦＨに収まっ
ているかの判定がなされ、ＹＥＳの場合は、前記したＳ
７に移行して、演算処理を行った映像シーンに対応する
識別情報値となり、識別情報値として割り当てられる。

【０１７１】Ｔ１６でＮＯの場合は、割り当てようとす
る識別情報データの値が、許容値を超えるので、Ｔ１７
において一度ゼロクリアして識別情報値として割り当て
ることになり、Ｔ１８でこのゼロクリアして設定したメ
モリー区間の識別データＰを、識別情報データ値の最大
値がＦＦＦＦＨとなったメモリー区間のＰが１の場合は
０を、０の場合は１となるように反転して設定する。

【０１７２】（識別情報データメモリー系記憶データの
最大値算出処理Ｔ１４）次に、上記で述べた、Ｔ１４の
識別情報データメモリー系に記憶されている、データの
最大値を算出する処理フローチャートについて説明す
る。

【０１７３】図２０において、Ａ１で、識別データＰの
処理回数初期設定ｊｐ＝１ とし、最大値算出の初期値
として、Ａ２においてｊ＝０における識別情報データ値
ｎ０を設定する。

【０１７４】Ａ３で、処理回数が、識別情報データメモ
リー系の記憶領域の個数を超えないかどうかの判定がな
され、ＹＥＳの場合はＡ４に移行して、今までの処理に
おける最大値ｎｍａｘと比較し、大きか小さいかの判定
処理を行う。

【０１７５】Ａ４でＹＥＳと判定された場合は、Ａ５で
ｎｍａｘをｎｊｐに置き換え、Ａ６で処理回数を１イン
クリメントし、Ａ３に戻り、処理を繰り返す。

【０１７６】Ａ３でＮＯと判定された場合は、識別デー
タｐでの識別情報データメモリー系の記憶領域すべてを
比較し最大値が算出されたので、Ａ７において検出され
た最大値ｎｍａｘが、許容されている最大のＦＦＦＦＨ
と等しいかの判定がなされ、ＮＯの場合は、算出最大値
として処理を終了し、前記した、Ｔ１５に移行する。

【０１７７】Ａ７でＹＥＳの場合は、Ａ８に移行し、識
別データＰを反転し、異なるメモリー区間における最大
値検出するため、Ａ１に戻り、最大値検出の処理をもう
一度行なう。

【０１７８】

【発明の効果】本発明により放送番組などを記録する際
に、自動的に画像シーンの分類が行われる様子が逐次、
表示されるのでユーザーはその放送番組における、何処
の時点の場所に、どの程度の区間の類似画像シーンがあ
るかを逐次知ることができ、ダイジェスト再生など特殊
再生動作を行う際に所望の再生をどの程度の時間で行う
ことができかをすぐに知ることができると共に、所望の
ダイジェスト再生区間をすぐに指定することができる。

【０１７９】また、ダイジェスト再生を行う再生時点も
所定の表示方法により表示されるので分類処理された画
像シーンのどの部分を再生しているのかを、ユーザーは
容易に把握することができる。

【０１８０】以上のことにより、本発明を適用した記録
再生装置は、ユーザーがダイジェスト再生などの特殊再
生動作を行う場合に、効率的で効果的なシステムで操作
性が優れた装置を実現することができる。

【図面の簡単な説明】

【図１】本願発明の情報信号処理方法に係る画像シーン
分類処理法の説明図である。

【図２】同分類画像シーンのモニター映像の概念図の一
例である。

【図３】同画像分類処理および識別情報信号生成の様子
を示した説明図である。

【図４】同画面分割による特性データ（特性ベクトル）
生成のようすを示した説明図である。

【図５】同識別情報データ値折り返り処理方法を示した
説明図である。

【図６】同識別情報データ値の時系列特性の一例であ
る。

【図７】同識別情報データ値の頻度特性の一例である。

【図８】自動分類特性と本発明の表示動作例１である。

【図９】本発明による表示動作例２である。

【図１０】本発明による表示動作例３である。

【図１１】本発明による表示動作例４である。

【図１２】本発明による表示動作例５である。

【図１３】本発明による表示動作例６である。

【図１４】画像分類処理系ブロック構成例である。

【図１５】本発明の実施例ブロック構成例（記録再生装
置）である。

【図１６】音声信号分類処理系ブロック構成例である。

【図１７】画像分類表示処理の全体動作フローチャート
の一例である。

【図１８】表示色処理フローチャートの一例である。

【図１９】特性データ算出処理フローチャートの一例で
ある。

【図２０】識別情報データ最大値算出処理動作フローチ
ャートの一例である。

【符号の説明】

１：音声Ａ／Ｄ変換処理系、２：音声エンコーダー処理
系、３：映像Ａ／Ｄ変換処理系、４：映像エンコーダー
処理系、５：映像分類処理系、６：多重化処理系、７：
記録処理系、８：記録媒体系、９：再生制御系、１０：
再生処理系、１１：再生データ分離処理系、１２：音声
デコード処理系、１３：音声Ｄ／Ａ処理系、１４：映像
デコード処理系、１５：映像Ｄ／Ａ処理系、１６：識別
信号検出系、１７：システムコントローラー系、１８：
ユーザー入力Ｉ／Ｆ系、１９：画像シーン分類表示およ
び再生位置表示系、２０：特性データ検出系、２１：特
性データメモリー系、２２：演算処理系、２３：識別情
報データ生成系、２４：識別情報データメモリー系

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成１３年６月４日（２００１．６．４）

【手続補正１】

【補正対象書類名】図面

【補正対象項目名】図４

【補正方法】変更

【補正内容】

【図４】

フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ１１Ｂ 27/34 Ｇ１０Ｌ 3/00 ５５１Ｇ Ｈ０４Ｎ 5/92 ５３１Ｎ

Claims (12)

【特許請求の範囲】
1. 【請求項１】所定の情報信号から所定の特性信号を検出
   する特性信号検出手段と、 上記特性信号検出手段からの信号に応じて上記情報信号
   を所定時点または所定区間毎に所定の基準時点から自動
   的に所定の分類処理を逐次行う分類処理手段と、 上記分類処理手段により分類された所定時点または所定
   区間を上記分類処理が行われると共に上記基準時点を基
   準として分類された所定の表示を逐次行うか、または分
   類時点または分類区間の相対的位置関係を所定の表示に
   より逐次表示する表示手段と、を備えたことを特徴とす
   る情報信号処理装置。
2. 【請求項２】上記情報信号は画像信号及び／又は音声信
   号とする請求項１に記載の情報信号処理装置。
3. 【請求項３】上記特性信号は、情報信号が画像信号の場
   合には、その情報信号またはその情報信号を所定の圧縮
   処理が施された信号の所定時点における一画面を複数の
   領域に分割し、各領域における輝度信号または色差信号
   から生成される所定の信号を成分とするベクトルである
   ことを特徴とする請求項１に記載の情報信号処理装置。
4. 【請求項４】上記特性信号は、情報信号が音声信号の場
   合には、その情報信号またはその情報信号を所定の圧縮
   処理が施された信号の所定区間における周波数解析信号
   であることを特徴とする請求項１に記載の情報信号処理
   装置。
5. 【請求項５】上記分類は、上記情報信号が画像信号の場
   合には類似画像毎の分類処理とし、上記情報信号が音声
   信号の場合には、音声信号の属性毎の分類処理とするこ
   とを特徴とする請求項１に記載の情報信号処理装置。
6. 【請求項６】上記表示は上記分類数に応じて所定の表示
   色または表示位置により表示することを特徴とする請求
   項１に記載の情報信号処理装置。
7. 【請求項７】所定の情報信号から所定の特性信号を検出
   し、 上記特性信号検出に応じて上記情報信号を所定時点また
   は所定区間毎に所定の基準時点から自動的に逐次、所定
   の分類処理を行い、 上記分類処理により分類された所定時点または所定区間
   を上記分類処理が行われると共に上記基準時点を基準と
   して所定の表示を逐次行うか、または分類時点または分
   類区間の相対的位置関係を所定の表示により逐次表示す
   ることを特徴とする情報信号処理方法。
8. 【請求項８】上記情報信号は画像信号及び／又は音声信
   号とする請求項７に記載の情報信号処理方法。
9. 【請求項９】上記特性信号は、情報信号が画像信号の場
   合には、その情報信号またはその情報信号を所定の圧縮
   処理が施された信号の所定時点における一画面を複数の
   領域に分割し、各領域における輝度信号または色差信号
   から生成される所定の信号を成分とするベクトルである
   ことを特徴とする請求項７に記載の情報信号処理方法。
10. 【請求項１０】上記特性信号は、情報信号が音声信号の
    場合には、その情報信号またはその情報信号を所定の圧
    縮処理が施された信号の所定区間における周波数解析信
    号であることを特徴とする請求項７に記載の情報信号処
    理方法。
11. 【請求項１１】上記分類は、上記情報信号が画像信号の
    場合には類似画像毎の分類処理とし、上記情報信号が音
    声信号の場合には、音声信号の属性毎の分類処理とする
    ことを特徴とする請求項７に記載の情報信号処理方法。
12. 【請求項１２】上記表示は上記分類数に応じて所定の表
    示色または表示位置により表示することを特徴とする請
    求項７に記載の情報信号処理方法。