JP4046994B2

JP4046994B2 - Information processing apparatus and information processing method

Info

Publication number: JP4046994B2
Application number: JP2001373124A
Authority: JP
Inventors: 敦水留; 彰男斉藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2001-12-06
Filing date: 2001-12-06
Publication date: 2008-02-13
Anticipated expiration: 2021-12-06
Also published as: JP2003174598A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像データや音声データ等の情報を表示装置又は音声出力装置に出力する為の技術に関するものである。
【０００２】
【従来の技術】
現在、家庭には様々なメディアから、情報の配信がなされている。たとえば、放送波として、地上波、衛星、ＣＡＴＶ（ケーブルＴＶ）からのＴＶやラジオ、データ放送が提供されており、他方では、通信回線を通じて、インターネット、電子メールなどの画像、音声、情報サービス等が提供されている。
【０００３】
加えて近年、ＣＳ（通信衛星）放送やＣＡＴＶ（ケーブルＴＶ）等において、テレビジョン信号をデジタル化して伝送する、いわゆるデジタル放送システムが普及してきており、これらのシステムにおいては、デジタル圧縮・伝送技術の採用により、数１００にも及ぶチャンネルを確保することも可能な為、従来にも増してきわめて多くのテレビ／ラジオ（音楽）番組を受信することが可能となってきている。（また、ＡＶ機器のデジタル化が進み、ＤＶＤ（デジタルビデオディスク）、ＤＶ（デジタルビデオ）、デジタルカメラ等のパッケージメディアとしての映像、音声ソースも家庭内に多数存在するようになってきた。）
【０００４】
このように、さまざまなメディアから提供される多種多様なＴＶ番組や映像、情報サービスを享受するため、最近では、大型のディスプレイに、同時に複数のウインドウを開き、その各々に異なる入力ソースを割り当てるマルチウインドウの機能が実現されてきている。
【０００５】
【発明が解決しようとする課題】
今後の放送のデジタル化や通信インフラの整備などにより、家庭への映像や情報の入力ルートやその量は拡大傾向にあり、表示すべき情報量が今までにも増して増大することは想像に難くない。ＴＶ受像機のインターネット接続機能により、視聴中に番組に関連する情報をインターネット経由で入手しに行ったり、ある映像を視聴中に電子メールの着信が起こるといったケースも一般的になると予想される。また、ＴＶの付属機能としてスケジュール管理機能やタイマなどによる定時刻受信などから、割り込み型で表示イベントが発生するといったケースも考えられる。
【０００６】
このような状況においては、複数の映像や情報を同時表示できるマルチウインドウの機能は１つの解決策となるのだが、従来のマルチウインドウ制御システムにおいては、画面のレイアウトや入力ソースの切り替えを、ユーザがその都度変更する必要があり、入力ソースの組合せに適したユーザの好む画面レイアウトを実現するのに、結構な手間と時間がかかっていた。たとえば、ＴＶ受像機における２画面表示であれば、ユーザはまず２画面表示を選択し、２画面表示に切り変わったら、各々の画面に所望の入力ソースが表示されるように選択、設定する操作を必要としていた。
【０００７】
したがって、様々なメディアから供給される映像や情報を、本当にスムースに享受するためには、複数の入力ソースを同時視聴する際のマルチウインドウの画面レイアウトやその時の音声の選択、さらには、割り込み型の表示要求イベントが発生した場合のマルチウインドウヘの移行などを、ユーザの手を煩わせることなく行なうことが大切になってくる。
【０００８】
本発明の目的は、ユーザの過去の視聴パターンや履歴情報として記憶し、複数のメディアから提供される入力ソースの映像や音声を同時出力する際、その履歴情報に基づいて自動的にユーザの嗜好に合った入力ソースの視聴形態を決定できることにある。
【０００９】
【課題を解決するための手段】
本発明の情報処理装置は、複数の入力ソースより複数の画像データを入力手段により入力し、前記画像データに係る画像を所定の表示形態で表示手段に表示させる情報処理装置であって、視聴者の視聴履歴に基づいて、前記入力ソースの属性情報と、前記属性情報に関連付けされた前記表示形態に係る表示形態情報とをパラメータとして分類した視聴パターンからなる履歴データベースを生成する生成手段と、前記視聴者が選択した入力ソースより入力した画像データに係る画像を、前記視聴者が選択した入力ソースの属性情報に応じて前記履歴データベースより抽出した視聴パターンに従った表示形態で、前記表示手段に表示させる制御手段とを有することを特徴とする。
本発明の情報処理方法は、複数の入力ソースより複数の画像データを入力手段により入力し、前記画像データに係る画像を所定の表示形態で表示手段に表示させる情報処理装置であって、視聴者の視聴履歴に基づいて、前記入力ソースの属性情報と、前記属性情報に関連付けされた前記表示形態に係る表示形態情報とをパラメータとして分類した視聴パターンからなる履歴データベースを生成する生成手段と、前記視聴者が選択した入力ソースより入力した画像データに係る画像を、前記視聴者が選択した入力ソースの属性情報に応じて前記履歴データベースより抽出した視聴パターンに従った表示形態で、前記表示手段に表示させる制御手段とを有することを特徴とする。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態を添付図面を参照しながら詳細に説明する。
【００１６】
＜第１の実施形態＞
図１は、本発明の第１の実施形態における情報処理装置を適用する統合型受信システムの主要ブロックを示したものである。図１において、１Ａはデジタル放送受信部であり、チューナ１０１は、ＴＶアンテナまたはケーブルを介して伝送されてくるデジタルテレビ放送波の中から、所定の周波数の電波を選択受信する。チューナ１０１によって選択受信された放送波はデジタルデータ復調回路１０２に送られ、復調、Ａ／Ｄ変換、エラー訂正処理が行われる。その後、トランスポート・デスクランブラ１０３で、限定受信のためのスクランブル解除が行われ、トランスポート・ストリーム（ＴＳ）と呼ばれるデータ列を生成する。この際、放送波に重畳されて送られてくる限定受信の管理データ（ＥＭＭ，ＥＣＭ）を抽出してＩＣカードインタフェース１２１に送り、ユーザが所有するＩＣカードから読み出される契約条件と合致したプログラム（番組）であれば、次段以降で映像と音声、データのデコードが可能なように処理される。
【００１７】
ＭＰＥＧ２トランスポート・デマルチプレクサ１０４は、入力されたトランスポート・ストリームをＶｉｄｅｏストリーム、Ａｕｄｉｏストリーム、およびデータ放送関連のストリームに分割し、それぞれのストリームを再構築する。通常、一つのトランスポート・ストリームには、複数の番組が多重化されており、さらに例えば衛星の一つのトランスポンダからは複数のトランスポート・ストリームが送信されている。よって、一つのチャンネルを選択するためには、前記ＭＰＥＧ２トランスポート・デマルチプレクサ１０４によって分離されたＰＳＩ（Program Specific Information）から、所望のチャンネルに関する情報（ＰＩＤ，ＰＡＴ，ＮＩＴ等）を抽出し、選局動作を行う。
【００１８】
Ｖｉｄｅｏデコーダ１０６およびＡｕｄｉｏデコーダ１０５は、Ｖｉｄｅｏ及びＡｕｄｉｏの各ＭＰＥＧ２ストリームをそれぞれデコードする。デコードされたＡｕｄｉｏ信号については、音声制御部１０８に送られ、Ｖｉｄｅｏ信号については、次段のＶｉｄｅｏインタフェース１１０ａに送られる。データデコーダ１０７は、ＢＳデジタル放送で送出されるデータ放送関連のストリームをデコードする。より具体的には、ＤＳＭ−ＣＣデコード処理ののち、ＸＭＬ関連の一連のファイルをＲＡＭ１２２のあらかじめ割り当てられた領域に格納する。
【００１９】
１Ｂ，１Ｃは、本情報処理装置にビデオ／オーディオ信号経由で接続されるそのほかの外部ＡＶ機器である。音声制御部１０８は、マルチウインドウで表示する複数の入力ソースの各音声信号の出力先を決定するものである。一般的には、最大画面で視聴しているものをメインスピーカ１０９ａで再生し、サブのウインドウの音声をヘッドホン１０９ｂとするケースが多いが、本実施形態においては、過去の視聴履歴データに基づき、ＣＰＵ１２３により制御、決定される。勿論、リモコン１２５などによりユーザが直接指定することも可能な構成となっている。
【００２０】
Ｖｉｄｅｏインタフェース１１０ａ〜１１０ｃは、１Ａ，１Ｂ，１Ｃから出力されるＶｉｄｅｏ信号を受け取る入力部である。本実施形態においては、外部ＡＶ機器１Ｂからの入力部である１１０ｂはアナログＶｉｄｅｏ信号が入力され、外部ＡＶ機器１Ｃからの入力部である１１０ｃには、デジタルＶｉｄｅｏ信号入力仕様とした。アナログＶｉｄｅｏインタフェース１１０ｂは、Ａ／Ｄコンバータやサンプリングクロック発生のためのＰＬＬ回路などで構成され、さらに必要に応じて色空間の変換回路やインタレース−プログレッシブ変換回路などを含むこともある。
【００２１】
デジタルＶｉｄｅｏインタフェース１１０ｃは、たとえばＬＶＤＳ（Low Voltage Differential Signaling）などの差動多重化信号であれば、その復号回路や電圧レベルの変換回路などで構成されている。ここでは、ＤｉｇｉｔａｌＴＶ受信部１Ａからの入力以外に、アナログ、デジタル各々１つずつの外部ＡＶ入力ポートを持つ形態となっている。また、そのほかの経路から入力されるソースとして、以下のものがある。
【００２２】
ＩＥＥＥ１３９４インタフェース１１７ａ，１１７ｂは、本情報処理装置と外部ＡＶ機器やコンピュータ周辺機器などをデジタル接続するためのインタフェースであり、録画などのためのＤ−ＶＨＳや、ＤＶＤプレイヤなどが接続されている。モデム１１８は、有料放送の利用などユーザの視聴記録に関する情報を放送事業者側の管理センタに電話回線を通じて送るほか、インターネットに接続し、様々なホームページの閲覧や電子メールのやりとりする際のインタフェースとして機能する。ＰＣＭＣＩＡインタフェース１１９は、デジタルカメラなどで撮影した各種画像を取り込むためのインタフェースであり、デジタルカメラなどの記録メディアとして用いられているＣＦ（Compact Flash）カードや、スマートメディアなどをアダプタを介して接続する。なお、音声制御部１０８及びＶｉｄｅｏインタフェース１１０ａ〜ｃは、入力手段の一適用例となる構成である。また、音声制御部１０８は、音声出力制御手段の一適用例となる構成である。
【００２３】
ここで一度整理すると、本情報処理装置への入力ソースとしては、以下のものがある。
・ＤｉｇｉｔａｌＴＶ受信部（１Ａ）からの映像、音声、データ
・ビデオ／オーディオ信号の形で入力される外部ＡＶ機器（１Ｂ，１Ｃ）からの映像、音声
・ＩＥＥＥ１３９４インタフェース経由で接続されるＤＶＤやＤ−ＶＨＳなどの映像、音声
・モデム経由で接続されるインターネットや電子メールの情報
・ＰＣＭＣＩＡインタフェース経由で接続されるデジタルカメラなどの画像データ
【００２４】
解像度変換部１１１ａ〜１１１ｃは、その中に各々少なくとも１画面分のビデオメモリを擁し（図示せず）、非同期で入力されるＶｉｄｅｏインタフェース１１０ａ〜１１０ｃからの映像データを一旦蓄えた後、ＣＰＵ１２３とマルチ画面合成制御部１１２からの指示に従い、所定の画面フォーマット（サイズや色数）に変換する。
【００２５】
なお、ＩＥＥＥ１３９４インタフェース１１７ａ，１１７ｂやモデム１１８，ＰＣＭＣＩＡインタフェース１１９からの映像、画像データの解像度変換処理は、グラフィックスアクセラレータ１１５とグラフィックスメモリ１１６の一部により実現している。
【００２６】
グラフィックスアクセラレータ１１５は、マルチウインドウ画面における各ウインドウの枠レイアウトや背景画、ホームページブラウザやメールのアプリケーション画面、操作メニューやアイコン、ボタンなどのグラフィカルなユーザインタフェース画面などを生成する。このユーザインタフェース画面は、指示手段の一適用例となる構成である。
【００２７】
グラフィックスメモリ１１６は、動画プレーン、静止画プレーン、文字・図形プレーン、重ね合わせ／切替制御プレーンなど、複数のプレーンからなる構造を持ち、マルチ画面合成制御部１１２の管理により、それぞれの入力ソースからの映像、画像データの合成処理に用いられる。
【００２８】
マルチ画面合成制御部１１２は、ＣＰＵ１２３との連携により、各入力ソースからの映像、画像、文字情報などのデータを、それぞれのビデオメモリアドレスから読み出したのち、所定の画面レイアウト（位置、サイズ、重ね合わせ効果、色数など）となるよう、グラフィックスメモリ１１６上にデータを展開、最終的なマルチ画面を生成する。本実施形態においては、この画面レイアウトが、過去のユーザの視聴履歴に応じた提示形態に制御されることになるが、この点については、後で説明する。
【００２９】
出力制御部１１３は、最終的なマルチ画面をディスプレイ１１４に出力するために、ディスプレイ１１４の特性に応じた駆動タイミングの制御や表示フォーマットの変換等を行う。ディスプレイ１１４としては、マルチウインドウの効果を活かす目的から、大画面で高精細なハイビジョン対応のプラズマディスプレイやプロジェクション型モニタを選択することが好ましい。出力制御部１１３からは、これらのディスプレイに対応したタイミングならびに表示フォーマットで表示用データが出力される。なお、出力制御部１１３は、表示制御手段の一適用例となる構成である。
【００３０】
プリンタインタフェース１２０は、文字通りプリンタを接続するポートであり、本情報処理装置の画面で確認しながら、デジタルカメラから入力した画像を編集・印刷したり、放送系（データ放送を含む）で配信される番組関連情報（旅行ガイドや料理のレシピ、懸賞応募先、各種クーポン券など）、さらにはホームページ情報の印刷などに利用される。
【００３１】
ＣＰＵ１２３は、これらの構成を統括制御するためのものである。つまり、ＣＰＵ１２３は、前記デジタル放送系でのＰＳＩに関連する各種テーブルの識別、判断、処理（チューナ選局、ＥＰＧ関連情報の抽出、処理など）やデータ放送として送られてくるＸＭＬ関連ファイルの処理などのほかに、解像度変換部１１１やマルチ画面合成制御部１１２などの表示関係の制御、音声制御部１０８など音声関係の制御、モデム１１８やＩＥＥＥ１３９４インタフェース１１７などの外部とのインタフェース制御、さらにリモコン１２５を含むユーザインタフェース１２４の制御などを行う。また、ＣＰＵ１２３は、入力ソースの属性を検出する為の属性検出部１３０、表示／音声パラメータ検出部１３１を有し、並びに履歴データベースの作成、更新等の処理プログラムを実行する。
【００３２】
ＲＡＭ１２２は、ＣＰＵ１２３の外部メモリとして動作するほか、その一部が、ユーザの履歴データベースを記憶する手段１３２として機能する。ユーザインタフェース１２４は、適切な操作画面との連携により、入力メディアやテレビチャンネル、外部機器などの選択、操作を行うものであり、基本的にリモコン１２５で制御される。
【００３３】
図２は、統合型受信システムの各装置を操作するためのリモコン１２５の構成例を示したものである。以下、本実施形態に関わる主要なボタンの機能について、マルチ画面の操作手順を例に説明する。
【００３４】
まず、メニューボタン２１１や、チャンネルボタン２０１、入力ソース選択ボタン２０２などにより、ユーザが視聴しようとする映像や画像、情報ソースが選択されると、あらかじめ受信機にプリセットされている画面レイアウトで、シングルまたはマルチ画面表示が行われる。その後、ユーザは方向選択キー２０９の左右方向（次へ／戻る）を用いて、プリセットされた数種類の画面レイアウトパターンの中から、好みの画面レイアウトを選び、決定キー２１０（方向選択キーの中央部）を押すことでそれを選択する。
【００３５】
また、ユーザが自由にレイアウトを行いたい場合には、まずカスタムキー２０６を押したのち、各ウインドウの位置及び大きさを方向選択キー２０９を使って設定する。一連の操作は、画面上に表示される操作ガイドに従う形で行い、最後に決定キー２１０を押すことで、ユーザのカスタマイズされた画面が登録される。尚、画面、音声変更に関する操作に関しては、後でまた触れる。
【００３６】
次に、本実施形態において、視聴パターンの履歴データベースを生成する際のＣＰＵ１２３の動作の流れについて説明する。図３は、ＣＰＵ１２３に組み込まれた、ある入力ソース（ＴＶ、外部ＤＶＤ、インターネットなど）からの映像、音声、文字等の情報の視聴に際し、その入力ソースからの情報の属性を検出するとともに、各入力ソースをどのような形態（画面レイアウトならびに音声モード）で視聴しているかを検出し、それらを関連付けた履歴データベース１３２を作成してＲＡＭ１２２内の履歴データベース記憶部１３２に格納するまでの基本的な動作フローを示したものである。
【００３７】
図３のステップＳ３０１において、視聴の認識を行う。ここでは、ある入力ソース（ＴＶであればチャンネル）からの情報を一定時間以上視聴した場合に、その入力ソースからの情報を視聴したと認識する。画面レイアウトについても、一定時間以上同一レイアウトに固定された場合に、その画面レイアウトで視聴したと認識する。音声出力についても同様である。これらは、ＴＶチャンネル選択時などに所望のチャンネルを探す、いわゆるザッピングと呼ばれる動作時の視聴パターンを履歴データとして蓄えることを防ぐためのものである。
【００３８】
次に、ステップＳ３０２においては、ステップＳ３０１で視聴であると認識したものについて、入力ソースの属性を検出する。図５に入力ソースの属性データの構成例を示した。同図に示すように、まず管理番号としての入力ソースＩＤを決定した後、それぞれの入力ソース毎に、その属性データとして、▲１▼メディアの種別、▲２▼放送系の場合、番組やチャンネルのジャンル、タイトル、チャンネル番号、番組全体時間、▲３▼視聴開始時間、▲４▼アプリケーションの種別（ＴＶ、ホームページブラウジング、電子メール、スケジューラなど）などを検出し、１つのデータ構造体として管理する。
【００３９】
図５において、タイトル、ジャンル、チャンネル、番組全体時間などのパラメータは、メディアの種別により存在する場合にのみ抽出し、データとして存在しないメディアの場合はブランクとする。また、視聴開始時間は、その入力ソースの視聴開始時間を認識するためのものであり、後で説明する割り込み型の入力イベントが発生したときの画面レイアウト制御の為のデータとして用いられる。
【００４０】
図６に、属性データの中のメディアの種別の分類例を示した。メディアの種別としては、放送系からの入力４種類（デジタルＴＶ放送、アナログＴＶ放送、デジタルデータ放送、アナログデータ放送）、インターネット（モデム入力）、外部ＡＶ入力、ＩＥＥＥ１３９４やＰＣＭＣＩＡインタフェースからの入力などのほかに、内部機能として搭載されている時計（タイマ）や、スケジューラからの入力も１つのメディアとして分類した。
【００４１】
図７は、属性データの中の、メディアの種別がＴＶ放送系及び外部接続機器からのデータ再生系である場合のジャンル分類の一例である。ここでは、ニュース、スポーツ、映画、ドラマ、バラエティ、ドキュメンタリ、教養、の７つのジャンルに分類した。勿論、これ以外にもさまざまなものがあるが、ここではその他の扱いとした。入力ソースの属性データの中でも特にジャンルは、例えばスポーツや映画などは大きいウインドウを用いて表示するなど、画面レイアウトや音声モードなどと密接な関係を持つケースが多い。
【００４２】
また、図８は、属性データの中のアプリケーションの分類例である。本情報処理装置においては、ＴＶ放送の視聴機能以外にも、インターネットブラウザ、電子メール、さらには、内蔵機能として時計やスケジューラなどのアプリケーションを備えており、それらのアプリケーションの種別は、図５に示す属性データ中のアプリケーション情報として記憶される。
【００４３】
これらメディアやジャンルの種別など、入力ソースに関する属性データは、デジタルＴＶ放送系では、ＳＤＴ（Service Description Table：サービス記述）やＥＩＴ（Event Information Table：イベント情報）と呼ばれるチャンネルに関するサービス付帯情報や番組に関する付帯情報として、放送波に多重化されて送られてくる。従って、上記テーブルデータを、デジタル放送受信部１Ａでフィルタリングしたのち、ＣＰＵ１２３で処理することにより、図５に示す属性データを抽出することが出来る。また、放送系以外の外部入力ソースに関しては、ＣＰＵ１２３が、各インタフェース入力部と連携することにより、各パラメータの検出を行う。なお、外部接続機器からの再生系で、コンテンツデータと共にジャンル情報が入力される場合は、ＣＰＵ１２３がジャンル情報を検出し、属性データとして記憶する。
【００４４】
引き続き、図３のステップＳ３０３において、各ウィンドウに表示された映像の表示パラメータを抽出する。図９に、本実施形態における表示パラメータの構成例を示した。各入力ソースをどのウインドウで表示するかという、各ウインドウヘの入力ソースの割り当ては、ＣＰＵ１２３により行われる。各ウインドウの表示パラメータデータには、まず、そのウインドウで表示している映像の入力ソースを示す入力ソースＩＤがある。入力ソースＩＤによって、その入力ソースの属性データがわかる（図５）ので、各ウインドウとそのウインドウに対応する入力ソースの属性とがここで関係づけられることになる。ここで、各ウィンドウにウィンドウ番号を割当てて管理してもよい。
【００４５】
また、図９に示す表示パラメータのうち、ウインドウ開始アドレス〜レイヤまでの各データは、各ウインドウの表示に関するパラメータである。これらのパラメータは、ＣＰＵ１２３がグラフィックスアクセラレータ１１５内の表示制御に関係するレジスタの値を参照することにより抽出する。各ウインドウの位置及びサイズに関するパラメータとして、画面の表示位置を示す開始アドレス（通常は左上のアドレスを示す）、画面サイズの一例を示すＸ（横）方向サイズ（ドット数）、Ｙ（縦）方向サイズ（ドット数）を、さらに、各ウインドウ間、背景画面との関係を示すパラメータとして、階層表示情報であるウインドウのレイヤ位置、表示効果情報（透過度）などを抽出する。そのほか、必要に応じて各ウインドウの色数情報である表示色数なども表示パラメータデータとして管理する。
【００４６】
次に、ステップＳ３０４において、音声パラメータの抽出を行う。図１０に本実施形態における音声パラメータデータの構成例を示した。音声パラメータデータには、表示パラメータと同様、その出力チャンネルで出力している音声の入力ソースを示す入力ソースＩＤがある。これにより、どのような属性を持った入力ソースが、どの出力チャンネルで、どのようなモードで視聴されているかが関連づけられる。図１１に出力チャンネルの分類例を示した。本実施形態においては、メインスピーカ、ヘッドホン、外部出力１及び２、音声出力無しの５つのいずれかに分類される。
【００４７】
また、図１２は、音声モードの分類例である。マルチチャンネルステレオは、たとえば、ＤＶＤなどで採用されているドルビー５．１ｃｈやＤＴＳ（Dolby Theater Surround）などのモードを指す。その他に、図１２に示すように、音声モードの分類例として、モノラル、ステレオ、２ヶ国語を含む。これらの音声関係のパラメータは、ＣＰＵ１２３が、Ａｕｄｉｏデコーダ１０５や音声制御部１０８内と連携（レジスタ設定、モード識別）することにより、データの抽出を行う。
【００４８】
次のステップＳ３０５において、ステップＳ３０２で検出した入力ソースの属性データ（属性情報）と、ステップＳ３０３及びＳ３０４で検出した表示及び音声のパラメータデータとの関係を整理し、さまざまな入力ソースを、どのような画面レイアウト（表示パラメータ）、及び音声モードで、視聴していたかのデータベースを作成する。すなわち、ステップＳ３０５では、入力ソースＩＤごとに、どのような表示及び音声パラメータで視聴していたかを視聴パターンとして記憶すると共に、その頻度を記憶する。さらに、複数の入力ソースを同時視聴していた場合においても、入力ソースＩＤの組合せパターンごとの表示及び音声パラメータ（表示形態情報、音声出力形態情報）を記憶すると共に、その頻度を記憶する。
【００４９】
履歴データベースとしては、同じ入力ソースＩＤを視聴した場合であっても、いくつかの視聴パターンデータが履歴として残るが、それぞれの場合の表示、音声パラメータを記憶し、頻度の高い順にソートし、記憶する。また、表示パラメータのうち、ウインドウ開始アドレス、Ｘ方向サイズ、Ｙ方向サイズに関しては、画面上の任意の値を採り得るため、特に図示していないが、近いアドレス並びにサイズの場合は、データの丸め込みを行い、ある範囲のものは同じデータ（値）として記憶するような仕様としている。このようにして、さまざまな入力ソースをどのような画面、音声で視聴していたかという視聴パターンとその頻度（試聴頻度）が履歴データベースとして蓄積される。履歴データベースは、記憶手段の一適用例となる構成である。
【００５０】
図４は、ユーザがある入力ソースを視聴しようとした場合の画面レイアウト、音声モード決定までの基本動作フローである。図４において、ステップＳ４０１において、ユーザが視聴しようとしている映像、音声等の入力ソースＩＤの識別が行われる。この場合、１つの入力ソースのみ選択されているケースもあるであろうし、はじめから複数の入力ソースを選択するケースもある。
【００５１】
ステップＳ４０１で、入力として選択された入力ソースＩＤの識別を行い、次のステップＳ４０２で、選択された入力ソースの属性データに基づき、その入力ソース（またはその組合せ）が過去に視聴されているか否か、すなわちその視聴パターンが履歴データベースに存在するかをチェックする。
【００５２】
履歴データベースに存在した場合は、過去の視聴パターンの中から、まず最も頻度の高かった画面レイアウト、音声モードで表示し（Ｓ４０３）。ユーザに対し、提示した画面レイアウト、音声モードでＯＫかどうかの間い合わせを行う（Ｓ４０４）。図１３は、ユーザに対する問い合わせ画面（ＯＳＤ表示）の一例である。図１３においては、視聴中の画面の左隅一部を占有する形での提示例を示したが、ＯＳＤの透過度を調整し、背景の画面を見せながらこの選択確認画面（画面モード、音声モード）の表示を行うことも可能である。さらに、あらかじめいくつかのパターンをプリセットしておき、たとえば図１４に示すようなグラフィカルなデザイン表示とすることにより、より広い年齢層のユーザに対して親しみやすい形での提示も可能である。
【００５３】
ユーザが、リモコン操作で画面・音声ともにＯＫなる選択を行った場合は、そのままの画面で視聴し、一定時間以上経過した時点で、その結果を、属性データベースにフィードバックする（Ｓ４２０）（最も頻度の高かった、視聴パターンの度数がまた１つ追加されることになる）。仮に、ＮＧなる選択を行った場合は、あと２回、すなわち履歴データとして２番目、３番目に多かった視聴パターンでの提示を行う。
【００５４】
３回提示された視聴パターン中に、望ましい提示形態が無かった場合は、ステップＳ４０５にてユーザがリモコン操作により自由に選択、設定を行うモードヘと移行する。具体的には、リモコンのカスタムキー２０６を押すことにより、画面または音声変更メニューを呼び出し、たとえば画面変更であれば、各ウインドウの位置及び大きさを方向選択キー２０９を使って設定する。図１５及び図１６に、それぞれ画面及び音声変更の際の操作ガイド表示の例を示す。
【００５５】
ユーザによる設定後、ＯＫであれば、そのパターンで視聴を行い、前述と同様に履歴データベースヘのフィードバックを行う。ＮＧの場合は、２回までユーザによる変更（Ｓ４０５）にてリトライし、３回以上ＮＧが続く場合は、あらかじめ設定してある（プリセットされている）画面レイアウト、音声モードで表示を行う。
【００５６】
図４の動作フロー内には記載していないが、本実施形態における情報処理装置には、数種類の画面、音声パターンがプリセットされており、前述のように、ユーザはリモコンの方向選択キー２０９の左右方向（次へ／戻る）を用いて、プリセットされた数種類の画面、音声パターンの中から、好みの画面レイアウトを選び、決定キー２１０（方向選択キーの中央部）を押すことでそれを選択することが可能である。プリセットされたパターンでの視聴が選択された場合も、同様に、履歴データベースの更新が行われる。
【００５７】
一方、図４のステップＳ４０２において、視聴しようとしている映像、音声等の入力ソースやその組合せが履歴データベースにない場合は、ステップＳ４０８にて、プリセットされた画面、音声パターンでの表示を行う。ここでも、前述と同様に、複数のプリセットパターンの中からユーザが選択する。
【００５８】
ステップＳ４０９にて、提示形態の確認を行う。ＯＫであれば、そのまま視聴し、履歴データベースを更新する。仮にＮＧの場合は、ステップＳ４１０にて、ユーザにより画面、音声パターンの変更が行われる。ここでの処理は、前述のステップＳ４０５での処理と同様である。一方で、ＯＫの場合は、そのパターンで視聴し、履歴データベースを更新する。３回以上ＮＧが続く場合は、ステップＳ４１２にて、強制的にあるプリセットパターンにて表示を行う。
【００５９】
このようにして、最終的な画面、音声パターンでの視聴形態が選択、決定されるが、いずれのケースであっても、そのパターンで一定時間以上視聴したことを確認後、履歴データベースの更新を行う。
【００６０】
以上の説明は、はじめから１つもしくは複数の入力ソースを選択した場合に、画面、音声パターンを決定するケースであるが、すでにある入力ソースを視聴している最中に、電子メールやスケジューラ（タイマ）などからの割り込み型の表示要求（イベント）が発生したケースも起こりうる。また、ユーザ操作により新たな入力ソースからの情報の表示要求が発生する場合もある。その場合であっても、割り込み型の表示イベントが発生した時点で、ステップＳ４０１に戻り、同様の処理を行う。
【００６１】
すなわち、最初のステップＳ４０１において、すでに視聴中の映像、音声等の入力ソースと割り込む形で発生した表示イベントの入力ソースとの関係に関して、前述と同様に履歴データベースにあるかを確認して、以下同様のフローにて処理されることになる。尚、割り込み型のイベントが発生した場合は、視聴パターンを決定する為の履歴データベースのパラメータとして、視聴経過時間を新たに加えてもよく、この点については後述する。
【００６２】
図１７は、あるユーザにおける、入力ソースの属性とその入力ソースからの情報をどのような画面レイアウト、並びに音声モードで視聴していたかを表す履歴データベースの一例である。ここでは、視聴パターンＡ〜Ｈの８パターンに関して、過去もっとも多く視聴されていた画面レイアウトと音声モードがピックアップされテーブル化されている。
【００６３】
ここで、ＴＶ放送系や外部メディアからのデータ再生系のように、入力ソースの属性データにジャンル情報が含まれていれば、メディアとジャンルの組合せを入力ソースの属性として属性データベースのパラメータとし、インターネットの場合は、メディアとアプリケーションの組合せを入力ソースの属性としてデータベースのパラメータとする。つまり、入力ソースの属性としてメディアだけでなく、より細分化した属性を組み合わせることにより、入力ソースからの情報の内容を反映し、より的確に視聴パターンの履歴を管理するようにした。
【００６４】
また、本データベース作成のために、ユーザごとの過去の視聴履歴をヒストグラム化し、設定により画面（ウインドウ）サイズなどに関しては、ある程度近いデータに関しては丸め込み処理（同一の履歴として扱う）を行い、その中からもっとも頻度の多かった画面、音声の組合せを抽出するという作業が、ＣＰＵ１２３のバックグラウンド処理として常に行われている。
【００６５】
次に、いくつかの視聴パターンに関して、過去の視聴履歴に基づきどのように処理されるかいくつかの例に従い説明する。図１８は、図１７における視聴パターンＡの場合の画面レイアウトである。入力ソースとしては「デジタルＴＶ放送」１つで、ジャンルが「スポーツ」のケースである。図１７の履歴データベースによると、この入力ソースの場合は、このユーザは、画面レイアウトとしてワイドフル画面表示、音声としては、メインスピーカからステレオモードで視聴していたケースがもっとも多いため、本情報処理装置は、ユーザがその入力ソース（デジタルＴＶ放送→スポーツ）を選択した時に、優先的にそのパターンでの提示を行うように制御する。（図４のステップＳ４０３）
【００６６】
図１９は、図１７における視聴パターンＢの場合の画面レイアウトである。これは、入力ソースとして「デジタルＴＶ放送」２つで、その内１つがドラマ、もう１つがスポーツの場合の例である。このユーザは過去、ドラマとスポーツ番組を同時視聴する際、ドラマをフル画面で表示しつつ、画面右下に子画面を開きスポーツの進行状況を確認するといった視聴パターンをもっとも多くとっていたため、優先的に図１９に示すような画面レイアウトでの提示を行なう。
【００６７】
図２０は、図１７における視聴パターンＣの場合の画面レイアウトである。これは、ＴＶ放送でドキュメンタリの番組を視聴中、番組関連データを調べるためにブラウザを起動し、番組に関連するホームページ情報をチェックするシーンである。このような状況において、過去にこのユーザは、ＴＶ画面を左２／３に、ホームページ（ブラウザ）の表示を右１／３に表示する形態で視聴しているケースが多かったため、図２０に示すような画面レイアウトにて表示を行っている。
【００６８】
次に、ある入力ソースを視聴中に、ほかの入力ソースからの情報の表示要求（イベント）が発生した場合の、本情報処理装置の動作につき説明する。図２１及び図２２は、いずれもある入力ソースからの情報を視聴中に、電子メールの着信があった場合の提示例を示している。（図１７における視聴パターンＤ，Ｅ）
【００６９】
図２１は、情報処理装置に対してＩＥＥＥ１３９４インタフェースで接続されたＤＶＤ装置からの映画をフル画面で視聴中、電子メールの着信が発生した場合の画面の表示例である。この場合、ユーザは、映画のシナリオ上、視聴を邪魔されたくないとの意図から、図１７の履歴データベースが示すように、電子メール着信時の画面レイアウトとして、画面右下部へのアイコン表示（図２１参照）を選択していた。このため、本情報処理装置は、履歴データベース中の図２１に示すような表示態様を最初の提示形態として選択し、提示を行うよう自動制御する。なお、履歴データベースに”メディア＝１３９４接続機器、ジャンル＝映画”という入力ソースの属性の組合せが存在しない場合は、前述のようにプリセットされたレイアウトを提示する。
【００７０】
図２２は、図２１と同様、ある入力ソースを視聴中における電子メール着信のケースである。ここでは、イベント発生前に視聴していた入力ソースの属性が異なる場合を示しており、図２２では、フル画面でドラマを視聴中のメール着信となっている。この場合は、映画視聴中の様なアイコン表示ではなく、図２２（ｂ）に示すように画面中央部の最上位レイヤに電子メールの着信を示す通知ウインドウが表示され、例えば、その３秒後に、図２２（ｃ）に示すように、自動的にメールアプリケーションを起動、画面の右側に１／３のサイズでウインドウ（表示用データ）を開くように制御している。自動的にメールアプリケーションを起動する構成は、アプリケーション実行手段の一適用例となる構成である。
【００７１】
これは、映画に比べ、ドラマの方が割り込み型表示イベントに対して、このユーザが寛容な対応を行ってきた履歴に基づく結果である。このメールアプリケーションのウインドウのサイズや位置、電子メールの着信通知ウインドウの表示から、メールアプリケーション起動までの移行タイミング等々は、ユーザの過去の履歴パターンにより決定されている。勿論、図４の動作フローのように、割り込み型の表示イベントであっても、必要に応じて、ユーザによるマニュアル的な設定を行い、それを記憶させることで好みの設定にすることが可能である。
【００７２】
また、このような割り込み型の表示イベントに関しては、イベント発生前に視聴していた入力ソースと表示要求のあった入力ソースとの静的な関係だけでなく、同じ入力ソースの組合せであっても、イベント発生前に視聴していた入力ソースからの情報の視聴経過時間により、アイコン表示をさせるか、ウインドウをポップアップさせるか等々の提示する表示形態の選択が異なる場合がある。
【００７３】
たとえば、かなり視聴時間が経過し、映画のクライマックスシーンやスポーツの試合終了に近づいたときには、一般的にウインドウの自動ポップアップは敬遠される傾向にあると予想できる。本実施形態においては、履歴データベースのパラメータとして入力ソースの属性をメディアとジャンル又はメディアとアプリケーションという組合せにしているが、その他に視聴経過時間を含めて１つのパラメータとしてもよい。この場合、割り込み型の表示イベント発生時に視聴経過時間に基づいて画面レイアウトを提示することができる。つまり、同一入力ソースの組合せであっても、割り込み型の表示イベントが発生したタイミングにより、異なる視聴パターンが選択される。
【００７４】
尚、視聴経過時間の計時は、本情報処理装置に設けられたカウンタ等の時計機能を用いても良いし、あるいは、ＴＶプログラムなどであれば、放送波に重畳される番組に関する情報、またはインターネットやＣＤ−ＲＯＭなどから得られる番組に関する情報を検出し、そのデータから視聴番組の開始又は終了時刻を検出し、現在時刻と比較することにより算出することも可能である。
【００７５】
図２３は、あるユーザの朝の視聴パターン例を示したものであり、単一画面視聴から図１７における視聴パターンＦ，Ｇ，Ｈに至る提示形態の変化を示す図である。図２３（ａ）において、ニュース番組ＴＶ１をフル画面で視聴しているときに、データ放送によるヘッドラインニュースＤＡＴＡ１及び時計表示Ｔ１をマルチウインドウ表示にて行うよう、ユーザがリモコンにより指示すると、図２３（ｂ）の提示形態に自動的に変化する（視聴パターンＦ）。
【００７６】
勿論、これは、これまで述べてきたケースと同様に、本情報処理装置が入力ソースの組合せを判断し、ユーザが過去にこの画面レイアウトでの視聴を行っていたことを検出して、自動的にレイアウト管理を行い提示するものである。
【００７７】
さらに、ユーザによりデータ放送の天気予報ＤＡＴＡ２の表示要求が追加発生すると、図２３（ｃ）に示す画面レイアウトヘと変化する（視聴パターンＧ）。この場合では、データ放送によるヘッドラインニュースＤＡＴＡ１の表示エリアを縮め（Ｌ１０→Ｌ１２）、その下に天気予報のウインドウを新たに開く（Ｌ１４）。
【００７８】
さらに、従来画面右下に表示していた時計表示Ｔ１は、ヘッドラインニュースのウインドウ内に重ね合わせる形態での提示に変化している（Ｌ１１→Ｌ１３）。最後に、ユーザが天気予報のより詳細な情報を知るために、天気マークをリモコンにより選択・決定すると、図２３（ｄ）に示す画面レイアウトヘと変化する。図２３（ｄ）では、ニュースＴＶ１のウインドウの下部に、天気予報ＤＡＴＡ２に関するより詳細な情報サブウインドウを開く形態となっている。
【００７９】
図２３においては、表示すべき入力ソースが順次増加する形で説明を行ったが、はじめから、ユーザが複数の入力ソースを選択した場合は一気に図２３（ｄ）の視聴パターンに移行することも勿論可能である。
【００８０】
以上、ユーザの視聴履歴に基づき、画面レイアウト、音声モードを制御する情報処理装置に関して、図１７の履歴データベース、図４の動作フロー、並びに図１８から図２３の画面例を中心に説明した。なお、本実施形態（図１）においては、本発明による情報処理装置として表示部や放送受信部を含まない構成となっているが、本発明の本質からすれば本実施形態の構成に限定されることはなく、放送受信部を有し、表示部を持たないＩＲＤ（Integrated Receiver Decoder）や、放送受信部と表示部とを有するテレビジョン放送受信装置等に適用しても、同様の効果が得られることは明らかである。
【００８１】
＜第２の実施形態＞
次に、本発明の第２の実施形態における情報処理装置を適用する統合型受信システムの動作について説明する。本実施形態では、視聴時間帯毎に視聴パターンの履歴を管理することをその一つの特徴とする。
【００８２】
図２４は、本実施形態による視聴パターン履歴データベース作成の動作の流れを示したフローチャートである。ステップＳ２４０１〜ステップＳ２４０４は、図３のステップＳ３０１〜ステップＳ３０４と同様の処理であるため説明は省略する。ステップＳ２４０５では、図３のステップＳ３０２で検出した入力ソースの属性データと、ステップＳ３０１及びステップＳ３０４で検出した表示及び音声のパラメータデータとを整理し、視聴時間帯（日付、曜日）ごとに、どの入力ソースからの情報を、どのような画面レイアウト、及び音声モードで、視聴していたかのデータベースを作成する。
【００８３】
履歴データベースとしては、同一時間帯ごとに、いくつかの視聴パターンデータが履歴として残るが、それぞれの場合の入力ソース、表示、音声パラメータを検出し、頻度の高い順にソートし、記憶する。
【００８４】
視聴時刻の計時は、基本的に、本情報処理装置に設けられた時計機能を用いるが、逐一、放送波に重畳される時刻（日付）情報を検出、時刻の校正を行っている。
【００８５】
また、表示パラメータのうち、ウインドウ開始アドレス、Ｘ方向サイズ、Ｙ方向サイズに関しては、画面上の任意の値を採り得るため、特に図示していないが、近いアドレス並びにサイズの場合は、データの丸め込みを行い、ある範囲のものは同じデータ（値）として記憶するような仕様としている。
【００８６】
このようにして、それぞれの時間帯、日付、曜日ごとに、どの入力ソースを、どのような画面、音声で視聴していたかという視聴パターン、履歴データベースが蓄積される。
【００８７】
図２５は、ユーザがある時刻において何か視聴しようとした場合の、入力ソース、画面レイアウト、音声モード決定までの基本動作フローである。図２５において、ステップＳ２５０１において、まず現在時刻（日付・曜日）の識別が行われる。次のステップＳ２５０２で、識別された時刻情報に基づき、その時間帯での過去の視聴履歴が、履歴データベースに存在するかをチェックする。
【００８８】
履歴データベースに存在した場合は、過去の視聴パターンの中から、まず最も頻度の高かった入力ソース（の組合せ）、画面レイアウト、音声モードで表示し（Ｓ２５０３）、ユーザに対して、提示した入力ソース、画面レイアウト、音声モードでＯＫかどうかの間い合わせを行う（Ｓ２５０４）。既に説明したように、この問い合わせ画面の一例は図１３に示されている。
【００８９】
ユーザが、リモコン操作で入力ソース、画面レイアウト、音声モードともにＯＫなる選択を行った場合は、そのままの視聴パターンで視聴し、一定時間以上経過した時点で、その結果を視聴パターンデータベースにフィードバックする（Ｓ２５２０）（最も頻度の高かった視聴パターンの度数が一つ追加されることになる）。仮に、ＮＧなる選択を行った場合は、あと２回、すなわち履歴データとして２番目、３番目に多かった組合せ（視聴パターン）での提示を行う。
【００９０】
３回提示された視聴パターンの中に、望ましい提示形態が無かった場合は、ステップＳ２５０５にてユーザがリモコン操作により自由に選択、設定を行うモードヘと移行する。具体的には、リモコンのカスタムキー２０６を押すことにより、入力ソース、画面レイアウト、または音声モード変更メニューを呼び出し、まずウインドウを選択した後（図２６にフォーカス・カーソル移動による選択ガイドの一例を示した）、たとえば画面レイアウト変更であれば、各ウインドウの位置及び大きさを方向選択キー２０９を使って設定する。図２７及び前述の図１５、図１６に、それぞれ入力ソース（アプリケーション）、画面レイアウト及び音声モード変更の際の操作ガイド表示の例を示す。
【００９１】
ユーザによる設定後、ＯＫであれば、そのパターンで視聴を行い、前述と同様に視聴パターンデータベースヘのフィードバックを行う。ＮＧの場合は、２回までユーザによる変更（Ｓ２５０５）にてリトライし、３回以上ＮＧが続く場合は、あらかじめ時間帯ごとに設定してある（プリセットされている）入力ソース、画面レイアウト、音声モードで表示を行う。
【００９２】
図２５の動作フロー内には記載していないが、本実施形態における情報処理装置には、上記第１の実施形態と同様に、数種類の入力ソース、画面レイアウト、音声モードの視聴パターンがプリセットされており、前述のように、ユーザはリモコンの方向選択キー２０９の左右方向（次へ／戻る）を用いて、プリセットされた数種類の視聴パターンの中から、好みのパターンを選び、決定キー２１０（方向選択キーの中央部）を押すことでそれを選択することが可能である。仮にその提示されたパターンでの視聴が選択された場合であっても、同様に、視聴パターンデータベースの更新が行われる。
【００９３】
一方、図２５のステップＳ２５０２において、視聴しようとしている時間帯における視聴履歴がデータベースにない場合は、ステップＳ２５０８にて、プリセットされた入力ソース、画面レイアウト、音声モードのパターンで表示を行う。ここでも、前述と同様に、複数のプリセットパターンの中から、ユーザが選択する。
【００９４】
ステップＳ２５０９にて、提示形態の確認を行う。ＯＫであれば、そのまま視聴し、履歴データを更新する。仮にＮＧの場合は、ステップＳ２５１０にて、ユーザにより入力ソースの選択、画面レイアウト、音声モードのパターンの設定が行われる。ここでの処理は、前述のステップＳ２５０５での処理と同様である。結果、ＯＫの場合は、そのパターンで視聴し、履歴データを更新する。
【００９５】
ここで、３回以上ＮＧが続く場合は、ステップＳ２５１２にて前回、同一時間帯で視聴していたパターンでの提示を行う。仮に、同一時間帯での視聴履歴データが存在しない場合は、前回電源遮断時のモード（ＴＶなどであれぱ、そのチャンネル）での提示を行う。
【００９６】
このようにして、最終的に入力ソース、画面レイアウト、音声モードの組合せでの視聴パターンが選択、決定されるが、いずれのケースであっても、そのパターンで一定時間以上視聴したことを確認後、視聴パターン履歴データベースの更新を行う。
【００９７】
図２８は、あるユーザにおける、タイムゾーン（時刻、曜日、日付）ごとに、どの入力ソースをどのような画面レイアウト、並びに音声モードで視聴していたかを表す履歴データベースの一例である。ここでは、説明をわかりやすくするため、タイムゾーンのデータに具体的な数字、曜日、月等の表現を用いているが、実際にはそれぞれのデータはあるコードとして割り振られている。勿論、本データベース作成のために、ユーザごとの過去の視聴履歴データをヒストグラム化し、その時刻、曜日、日付ごとにソートし、それぞれの場合において、最も頻度の高い入力ソース／画面／音声の組合せを抽出するという作業が、ＣＰＵ１２３のバックグラウンド処理として常に行われている。
【００９８】
尚、任意の値をとりうる画面（ウインドウ）サイズなどに関しては、丸め込み処理を行い、ある程度近しいデータに関しては、同一のデータとして取り扱うことにより、必要以上に組合せが増大しないよう工夫している。また、機器側の設定により、ユーザが選択できる範囲（ウインドウサイズ、位置）をある程度限定することも可能である。
【００９９】
次に、いくつか例を挙げて、過去の視聴履歴に基づきどのように処理されるかについて説明する。図２９は、図２８における視聴パターンＡの場合の画面レイアウトである。視聴パターンＡは、あるユーザのウィークデー（平日）の午前６時から７時の間に最も多く視聴していた組合せ（入力ソース／画面レイアウト／音声モード）を示している。月日欄は、空欄になっているが、これは月（季節）や日付に関係なく１年中この組合せが最も多いことを示している。
【０１００】
図２９においては、平日の朝という時間帯を反映して、多くの情報を入手しようとする提示形態となっている。もっとも大きい画面Ｌ１でＴＶ放送のＣｈ８の朝の番組を視聴しつつ、データ放送によるニュース（ＤＡＴＡ１）と天気予報（ＤＡＴＡ２）の内容を画面右部に２つの子画面を開いている。ここでは、この３つのウインドウは重なり合うことなく配置されており、このレイアウト情報も当然履歴データベース内に記録されているものである。さらに、ニュースのウインドウに重なる形で右上に本情報処理装置の内部機能（アプリケーション）の１つである時計を表示している。また、音声の出力先は、メインスピーカにＴＶ放送（ＴＶ１）の音声を、データ放送によるニュース（ＤＡＴＡ１）の音声情報は、ヘッドホンヘと出力されている。
【０１０１】
このユーザは、同時刻（曜日）において、前記４種類の入力ソースを同時に図１３なる画面レイアウト、音声モードで視聴していることが最も多かったことから、本情報処理装置は、電源ＯＮにしたら直ちに、あるいは受信機の電源投入中であれば、逐一時刻情報をチェックし、その時刻（タイムゾーン）の視聴履歴データがあれば、まず優先的にその入力ソース、画面レイアウト、音声モードの組合せパターンでの提示を行う。
【０１０２】
図３０は、同じく平日の図２９の状態から午前７時になったときの視聴パターン（視聴パターンＢ）の画面レイアウトである。このユーザは、通常同時刻になると、ＴＶ放送のチャンネルをＣｈ１に切り替え、さらに、午前６時台に天気予報を表示していたウインドウを交通情報（ＤＡＴＡ３）に切り替えるという操作を慣例的に行っていた。このため、本情報処理装置は、同時刻になったことを検知すると、過去の視聴履歴データに基づいて、ユーザの手を煩わせることなく、図３０に示す視聴パターンヘと自動的に切替制御を行う。なお、自動的に切換制御を行う前に、一定時間警告表示を行い、警告表示中に視聴パターンの変更を禁止するような支持を可能としてもよい。
【０１０３】
図３１は、図２８における視聴パターンＣの画面の一例である。これは、日曜日のお昼時（１２−１２：３０）にいつも見ているバラエティ番組（ＴＶ３）がある場合の提示例となっている。ここでも、ＴＶ放送であればチャンネルの切り替え、画面（Ｌ５）、音声モード（Ｍ１）の設定などが、過去の履歴データに基づき、自動制御される。
【０１０４】
図３２は、図２８における視聴パターンＥの画面の一例である。これは、特に４月から９月の間に多かった視聴パターンであり、水曜日の午後８時から９時の間、いつも見ているバラエティ番組（ＴＶ３）を見つつ、スポーツチャンネルで放送されているプロ野球ナイターの試合状況をＰｉｎＰ（ピクチャインピクチャ）画面で見るといったケースである。このケースの場合、前述（図２９〜図３１）の“時刻”と“曜日”のパラメータに加え、“日付”を判断し、この日付の範囲外であった場合は、履歴による制御は行わない。図２８では、月単位で異なる場合の履歴データ例を示したが、勿論、日単位で管理することもできる。
【０１０５】
次に、ある入力ソースを視聴中に、ほかの入力ソースの表示要求（イベント）が発生した場合の動作につき説明する。図３３は、図２８における視聴パターンＦ及びＧの画面である。ここでは、火曜日の午後９時から１１時にかけて、毎年この期間（１０月から１２月）だけ放映される映画番組（ＴＶ５）をワイドフル画面（Ｌ５）かつ、メインスピーカから、マルチチャンネルステレオ（Ｍ２）で視聴しているところに、割り込み型で電子メールの着信が発生したケースである。
【０１０６】
このユーザは、この時間帯であること、さらに映画を視聴中である（視聴を邪魔されたくない）ことから、図３３に示すように、電子メール着信時の画面レイアウトとして、画面右下部へのアイコン表示とする提示形態を過去によく選択していた。このため、本情報処理装置は、そのような表示態様を最初の提示形態として選択し、図３３の様な提示を行うよう自動制御する。
【０１０７】
図３４は、また別の時刻状況、すなわち前述の図２９（視聴パターンＡ）の状況において、電子メールの着信が発生した場合の提示例である。視聴パターンＡは、平日の朝の提示形態であり、ユーザにとって重要なメールである可能性があることなどから、より強く確認を促す提示形態を選択している。
【０１０８】
前述した通り、本情報処理装置においては、時刻（曜日、日付）に応じて、入力ソースや画面レイアウト、音声モードを、過去にもっとも多く視聴したパターンでまず提示を行うことを特徴としているが、ユーザがその提示をＯＫとしない場合は、前述の通り、リモコン操作により、ユーザによるカスタマイズ処理を行うことも可能である。
【０１０９】
以上、ユーザの視聴履歴に基づき、画面レイアウト、音声モードを制御する情報処理装置に関して、図２８の履歴データベース、図２５の動作フロー、並びに図２９から図３４の画面例を中心に説明した。なお、本実施形態は、上記第１の実施形態と同様に、本発明による情報処理装置として表示部や放送受信部を含まない構成となっているが、本発明の本質からすれば本実施形態の構成に限定されることはなく、放送受信部を有し、表示部を持たないＩＲＤ（Integrated Receiver Decoder）や、放送受信部と表示部とを有するテレビジョン放送受信装置等に適用しても、同様の効果が得られることは明らかである。
【０１１０】
上述した実施形態の機能を実現するべく各種のデバイスを動作させるように、該各種デバイスと接続された装置あるいはシステム内のコンピュータに対し、上記実施形態の機能を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）に格納されたプログラムに従って上記各種デバイスを動作させることによって実施したものも、本発明の範疇に含まれる。
【０１１１】
また、この場合、上記ソフトウェアのプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコード自体、およびそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記録媒体は本発明を構成する。かかるプログラムコードを記憶する記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【０１１２】
また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【０１１３】
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。
【０１１４】
【発明の効果】
本発明によれば、視聴者の視聴履歴に基づいて生成された履歴データベースから、視聴者が選択した入力ソースの属性情報に応じて視聴パターンを抽出し、当該入力ソースより入力される画像データに係る画像をその視聴パターンに従った表示形態で表示させることが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態における情報処理装置を含む統合型受信システムの主要部を示したブロック図である。
【図２】本発明の第１の実施形態において適用する情報処理装置を含む統合型受信システムを操作するためのリモコンの構成例を示した図である。
【図３】本発明の第１の実施形態における情報処理装置を適用する情報処理装置を含む統合型受信システムの動作の流れを示したフローチャートである。
【図４】本発明の第１の実施形態における画面レイアウト、音声モード決定までの基本動作の流れを示したフローチャートである。
【図５】入力ソースの属性データの構成例を示した図である。
【図６】属性データ中のメディア種別の分類例を示した図である。
【図７】属性データ中のメディア種別がＴＶ放送系である場合のジャンル分類の一例を示した図である。
【図８】属性データ中のアプリケーションの分類例を示した図である。
【図９】本発明の第１の実施形態における表示パラメータの構成例を示した図である。
【図１０】音声パラメータデータの構成例を示した図である。
【図１１】出力チャンネルの分類例を示した図である。
【図１２】音声モードの分類例を示した図である。
【図１３】ユーザに対する問い合わせ画面の一例を示した図である。
【図１４】ユーザに対する問い合わせ画面の他の例を示した図である。
【図１５】画面及び音声変更の際の操作ガイド表示の一例を示した図である。
【図１６】画面及び音声変更の際の操作ガイド表示の他の例を示した図である。
【図１７】履歴データベースの一例を示した図である。
【図１８】一視聴パターンにおける画面レイアウト例を示した図である。
【図１９】他の視聴パターンにおける画面レイアウト例を示した図である。
【図２０】他の視聴パターンにおける画面レイアウト例を示した図である。
【図２１】映画をフル画面で視聴中に、電子メールの着信が発生したケースの画面レイアウト例を示した図である。
【図２２】他の入力ソースを視聴中における電子メール着信が発生したケースの画面レイアウト例を示した図である。
【図２３】あるユーザの朝の視聴パターン例を示した図である。
【図２４】本発明の第２の実施形態による視聴パターン履歴データベース作成の動作の流れを示したフローチャートである。
【図２５】ユーザがある時刻において何か視聴しようとした場合の、入力ソース。画面レイアウト、音声モード決定までの基本動作の流れを示したフローチャートである。
【図２６】フォーカス・カーソル移動による選択ガイドの一例を示した図である。
【図２７】入力ソース、画面及び音声変更の際の操作ガイド表示の一例を示した図である。
【図２８】履歴データベースの一構成例を示した図である。
【図２９】一視聴パターンにおける画面レイアウト例を示した図である。
【図３０】時間が経過して上記視聴パターンから移行した視聴パターンでの画面レイアウト例を示した図である。
【図３１】他の視聴パターンにおける画面レイアウト例を示した図である。
【図３２】他の視聴パターンにおける画面レイアウト例を示した図である。
【図３３】電子メール着信時における画面レイアウト例を示した図である。
【図３４】電子メール着信時における画面レイアウトの他の例を示した図である。
【符号の説明】
１０１チューナ
１０２復調回路
１０３デスクランブラ
１０４ＭＰＥＧ２デマルチプレクサ
１０５Ａｕｄｉｏデコーダ
１０６Ｖｉｄｅｏデコーダ
１０７データデコーダ
１０８音声制御部
１０９スピーカ
１１０ａ〜ｃＶｉｄｅｏインタフェース
１１１ａ〜ｃ解像度変換部
１１２マルチ画面合成制御部
１１３出力制御部
１１４ディスプレイ
１１５グラフィックアクセラレータ
１１６グラフィックスメモリ
１１７ＩＥＥＥ１３９４インタフェース
１１８モデム
１１９ＰＣＭＣＩＡインタフェース
１２０プリンタインタフェース
１２１ＩＣカードインタフェース
１２２ＲＡＭ
１２３ＣＰＵ
１２４ユーザインタフェース
１２５リモコン
１２６ＤＡＣ
１３０属性検出部
１３１表示・音声パラメータ検出部
１３２履歴データベース記憶部[0001]
BACKGROUND OF THE INVENTION
  The present invention relates to a technique for outputting information such as image data and audio data to a display device or an audio output device.
[0002]
[Prior art]
Currently, information is distributed to various households from various media. For example, terrestrial, satellite, CATV (cable TV) TV, radio, and data broadcasting are provided as broadcast waves. On the other hand, images such as the Internet and e-mail, audio, information services, etc. are provided through communication lines. Is provided.
[0003]
In addition, in recent years, so-called digital broadcasting systems that digitize and transmit television signals in CS (communication satellite) broadcasting, CATV (cable TV), and the like have become widespread, and in these systems, digital compression / transmission technology is used. Since it is possible to secure hundreds of channels by adopting, it has become possible to receive a much larger number of television / radio (music) programs than before. (In addition, with the progress of digitalization of AV equipment, many video and audio sources as package media such as DVD (digital video disc), DV (digital video), and digital camera have come to exist in the home.)
[0004]
Thus, in order to enjoy a wide variety of TV programs, videos, and information services provided by various media, recently, multiple windows that simultaneously open a plurality of windows on a large display and assign different input sources to each of them are provided. The window function has been realized.
[0005]
[Problems to be solved by the invention]
With the digitalization of broadcasting and the development of communication infrastructure in the future, the input route and the amount of video and information to the home are increasing, and it is imagined that the amount of information to be displayed will increase more than ever. Not difficult. Due to the Internet connection function of the TV receiver, it is expected that a case in which information related to a program is obtained via the Internet during viewing, or an e-mail arrives while viewing a certain video is expected. Further, there may be a case in which a display event occurs in an interrupt type from a schedule management function or a fixed time reception by a timer or the like as an attached function of the TV.
[0006]
In such a situation, the multi-window function that can display a plurality of images and information at the same time is one solution. However, in the conventional multi-window control system, the screen layout and the input source are switched by the user. However, it takes a lot of time and effort to realize a user-friendly screen layout suitable for the combination of input sources. For example, in the case of a two-screen display in a TV receiver, the user first selects the two-screen display, and when switching to the two-screen display, selects and sets the desired input source to be displayed on each screen. Needed.
[0007]
Therefore, in order to truly enjoy the video and information supplied from various media smoothly, the multi-window screen layout and audio selection at the time of viewing multiple input sources simultaneously, and the interrupt type When a display request event occurs, it is important to move to a multi-window without troublesome users.
[0008]
  An object of the present invention is to store user's past viewing patterns and history information, and automatically output user's preference based on the history information when simultaneously outputting video and audio of input sources provided from a plurality of media. It is possible to determine the viewing mode of the input source that suits.
[0009]
[Means for Solving the Problems]
  An information processing apparatus according to the present invention is an information processing apparatus that inputs a plurality of image data from a plurality of input sources by an input unit, and displays an image related to the image data on a display unit in a predetermined display form. Generating means for generating a history database composed of viewing patterns classified as parameters based on the viewing history of the input source attribute information and the display form information related to the display form associated with the attribute information; An image related to the image data input from the input source selected by the viewer is displayed on the display means in a display form according to the viewing pattern extracted from the history database according to the attribute information of the input source selected by the viewer. And a control means for displaying.
  An information processing method according to the present invention is an information processing apparatus that inputs a plurality of image data from a plurality of input sources by an input unit, and displays an image related to the image data on a display unit in a predetermined display form. Generating means for generating a history database composed of viewing patterns classified as parameters based on the viewing history of the input source attribute information and the display form information related to the display form associated with the attribute information; An image related to the image data input from the input source selected by the viewer is displayed on the display means in a display form according to the viewing pattern extracted from the history database according to the attribute information of the input source selected by the viewer. And a control means for displaying.
[0015]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
[0016]
<First Embodiment>
FIG. 1 shows main blocks of an integrated reception system to which the information processing apparatus according to the first embodiment of the present invention is applied. In FIG. 1, 1A is a digital broadcast receiver, and a tuner 101 selectively receives radio waves of a predetermined frequency from digital TV broadcast waves transmitted via a TV antenna or a cable. The broadcast wave selectively received by the tuner 101 is sent to the digital data demodulation circuit 102, where demodulation, A / D conversion, and error correction processing are performed. Thereafter, descrambling for limited reception is performed by the transport descrambler 103 to generate a data string called a transport stream (TS). At this time, the limited reception management data (EMM, ECM) transmitted by being superposed on the broadcast wave is extracted and sent to the IC card interface 121, and a program that matches the contract conditions read from the IC card owned by the user ( In the case of a program), processing is performed so that video, audio, and data can be decoded in the subsequent stages.
[0017]
The MPEG2 transport demultiplexer 104 divides the input transport stream into a video stream, an audio stream, and a stream related to data broadcasting, and reconstructs each stream. Usually, a plurality of programs are multiplexed in one transport stream, and further, for example, a plurality of transport streams are transmitted from one transponder of a satellite. Therefore, in order to select one channel, information (PID, PAT, NIT, etc.) about a desired channel is extracted from the PSI (Program Specific Information) separated by the MPEG2 transport demultiplexer 104 and selected. Perform station operation.
[0018]
The Video decoder 106 and the Audio decoder 105 decode the MPEG2 streams of Video and Audio, respectively. The decoded audio signal is sent to the audio control unit 108, and the video signal is sent to the next-stage video interface 110a. The data decoder 107 decodes a stream related to data broadcasting transmitted by BS digital broadcasting. More specifically, after a DSM-CC decoding process, a series of XML-related files are stored in a pre-allocated area of the RAM 122.
[0019]
Reference numerals 1B and 1C denote other external AV devices connected to the information processing apparatus via video / audio signals. The audio control unit 108 determines an output destination of each audio signal of a plurality of input sources displayed in a multi-window. In general, in many cases, what is viewed on the maximum screen is played back by the main speaker 109a and the audio of the sub window is set to the headphones 109b. In this embodiment, based on past viewing history data, Controlled and determined by CPU 123. Of course, the user can also specify directly with the remote controller 125 or the like.
[0020]
The Video interfaces 110a to 110c are input units that receive Video signals output from 1A, 1B, and 1C. In this embodiment, an analog video signal is input to the input unit 110b from the external AV device 1B, and a digital video signal input specification is set to the input unit 110c from the external AV device 1C. The analog video interface 110b includes an A / D converter, a PLL circuit for generating a sampling clock, and the like, and may further include a color space conversion circuit, an interlace-progressive conversion circuit, and the like as necessary.
[0021]
If the digital video interface 110c is a differential multiplexed signal such as LVDS (Low Voltage Differential Signaling), the digital video interface 110c includes a decoding circuit, a voltage level conversion circuit, and the like. Here, in addition to the input from the Digital TV receiving unit 1A, one external AV input port is provided for each of analog and digital. In addition, the following sources are input from other routes.
[0022]
  The IEEE 1394 interfaces 117a and 117b are interfaces for digitally connecting the information processing apparatus to external AV devices and computer peripheral devices, and are connected to a D-VHS for recording and the like, a DVD player, and the like. The modem 118 is used as an interface for browsing various home pages and exchanging e-mails in addition to sending information related to the user's viewing record such as the use of pay broadcasting to the management center on the broadcaster side through a telephone line. Function. The PCMCIA interface 119 is an interface for capturing various images taken by a digital camera or the like, and connects a CF (Compact Flash) card used as a recording medium for the digital camera, smart media, or the like via an adapter. .Note that the audio control unit 108 and the video interfaces 110a to 110c are configured as an application example of the input unit. The voice control unit 108 is a configuration serving as an application example of voice output control means.
[0023]
Once organized here, the input sources to the information processing apparatus include the following.
・ Video, audio, and data from the Digital TV receiver (1A)
Video and audio from external AV equipment (1B, 1C) input in the form of video / audio signals
・ Video and audio such as DVD and D-VHS connected via the IEEE1394 interface
・ Internet and e-mail information connected via modem
・ Image data such as digital cameras connected via PCMCIA interface
[0024]
Each of the resolution converters 111a to 111c has at least one screen of video memory (not shown), and temporarily stores video data from the video interfaces 110a to 110c that are input asynchronously. In accordance with an instruction from the screen composition control unit 112, conversion into a predetermined screen format (size or number of colors) is performed.
[0025]
Note that resolution conversion processing of video and image data from the IEEE 1394 interfaces 117a and 117b, the modem 118, and the PCMCIA interface 119 is realized by a part of the graphics accelerator 115 and the graphics memory 116.
[0026]
The graphics accelerator 115 generates a frame layout and background image of each window in the multi-window screen, a homepage browser and a mail application screen, a graphical user interface screen such as an operation menu, icons, and buttons.This user interface screen has a configuration as an application example of the instruction unit.
[0027]
The graphics memory 116 has a structure composed of a plurality of planes such as a moving image plane, a still image plane, a character / graphic plane, and an overlay / switching control plane, and is controlled by the multi-screen composition control unit 112 from each input source. Are used for the synthesis processing of video and image data.
[0028]
The multi-screen composition control unit 112, in cooperation with the CPU 123, reads data such as video, image, and character information from each input source from each video memory address, and then performs a predetermined screen layout (position, size, overlap). Data is developed on the graphics memory 116 so as to achieve a matching effect, the number of colors, etc., and a final multi-screen is generated. In the present embodiment, the screen layout is controlled in a presentation form according to the viewing history of the past user. This will be described later.
[0029]
  The output control unit 113 performs drive timing control and display format conversion according to the characteristics of the display 114 in order to output the final multi-screen to the display 114. As the display 114, it is preferable to select a large-screen high-definition high-definition plasma display or projection monitor for the purpose of taking advantage of the multi-window effect. The output control unit 113 outputs display data at a timing and display format corresponding to these displays.The output control unit 113 has a configuration as an application example of the display control unit.
[0030]
The printer interface 120 is a port to which a printer is connected literally. The image input from the digital camera is edited and printed while being confirmed on the screen of the information processing apparatus, or distributed through a broadcasting system (including data broadcasting). It is used to print program-related information (travel guides, cooking recipes, sweepstakes recipients, various coupons, etc.), and website information.
[0031]
The CPU 123 is for overall control of these configurations. That is, the CPU 123 identifies, determines, and processes various tables related to PSI in the digital broadcasting system (tuner tuning, extraction of EPG related information, processing, etc.) and processing of XML related files sent as data broadcasts. In addition to the above, display-related control such as the resolution conversion unit 111 and the multi-screen composition control unit 112, audio-related control such as the voice control unit 108, interface control with the outside such as the modem 118 and the IEEE1394 interface 117, and the remote control 125 The user interface 124 including the control is performed. The CPU 123 has an attribute detection unit 130 and a display / audio parameter detection unit 131 for detecting the attribute of the input source, and executes processing programs such as creation and update of a history database.
[0032]
The RAM 122 operates as an external memory of the CPU 123, and a part of the RAM 122 functions as a unit 132 that stores a user history database. The user interface 124 selects and operates an input medium, a television channel, an external device, and the like in cooperation with an appropriate operation screen, and is basically controlled by the remote controller 125.
[0033]
FIG. 2 shows a configuration example of the remote controller 125 for operating each device of the integrated reception system. In the following, the functions of the main buttons related to the present embodiment will be described using a multi-screen operation procedure as an example.
[0034]
First, when a video, image, or information source to be viewed by the user is selected by the menu button 211, the channel button 201, the input source selection button 202, or the like, a single screen layout is preset in the receiver. Or multi-screen display is performed. Thereafter, the user uses the left / right direction (next / back) of the direction selection key 209 to select a desired screen layout from several preset screen layout patterns, and determines a key 210 (the center of the direction selection key). ) To select it.
[0035]
If the user wants to freely lay out, the user first presses the custom key 206 and then uses the direction selection key 209 to set the position and size of each window. A series of operations are performed in accordance with an operation guide displayed on the screen, and the user's customized screen is registered by finally pressing the enter key 210. The operations related to the screen and sound change will be described later.
[0036]
Next, the flow of operation of the CPU 123 when generating a viewing pattern history database in the present embodiment will be described. FIG. 3 shows the attributes of information from an input source (TV, external DVD, Internet, etc.) incorporated in the CPU 123 when viewing information such as video, audio, text, etc. It is basic to detect in what form (screen layout and audio mode) the input source is being viewed, create a history database 132 in which these are associated, and store them in the history database storage unit 132 in the RAM 122 An operation flow is shown.
[0037]
In step S301 in FIG. 3, viewing is recognized. Here, when information from a certain input source (channel if TV) is viewed for a certain period of time, it is recognized that the information from that input source has been viewed. When the screen layout is fixed to the same layout for a certain period of time, it is recognized that the user has viewed the screen layout. The same applies to audio output. These are intended to prevent storing a viewing pattern during operation called so-called zapping, which searches for a desired channel when a TV channel is selected, as history data.
[0038]
Next, in step S302, the attributes of the input source are detected for those recognized as viewing in step S301. FIG. 5 shows a configuration example of attribute data of the input source. As shown in the figure, after first determining an input source ID as a management number, the attribute data for each input source is as follows: (1) type of media, (2) program or channel in the case of a broadcast system Genre, title, channel number, total program time, (3) viewing start time, (4) application type (TV, homepage browsing, e-mail, scheduler, etc.), etc. are detected and managed as one data structure .
[0039]
In FIG. 5, parameters such as title, genre, channel, and total program time are extracted only when they exist according to the type of media, and are blank when the media does not exist as data. The viewing start time is for recognizing the viewing start time of the input source, and is used as data for screen layout control when an interrupt type input event described later occurs.
[0040]
  FIG. 6 shows an example of classification of media types in the attribute data. There are 4 types of media input from broadcasting(Digital TV broadcast, analog TV broadcast, digital data broadcast, analog data broadcast)In addition to the Internet (modem input), external AV input, input from IEEE1394 or PCMCIA interface, etc., the clock (timer) installed as an internal function and the input from the scheduler were also classified as one medium.
[0041]
FIG. 7 is an example of genre classification when the type of media in the attribute data is a TV broadcast system and a data playback system from an external device. Here, it was classified into seven genres: news, sports, movies, dramas, variety, documentary, and education. Of course, there are a variety of other things, but here they are treated as others. Among the input source attribute data, the genre is often closely related to the screen layout, audio mode, etc., for example, sports and movies are displayed using a large window.
[0042]
FIG. 8 is an example of classification of applications in attribute data. In addition to the TV broadcast viewing function, the information processing apparatus includes an Internet browser, e-mail, and applications such as a clock and a scheduler as built-in functions. The types of these applications are shown in FIG. Stored as application information in the attribute data.
[0043]
The attribute data related to the input source such as the type of media and genre is related to service supplementary information and programs related to channels called SDT (Service Description Table) and EIT (Event Information Table) in the digital TV broadcasting system. As incidental information, it is multiplexed with a broadcast wave and sent. Therefore, the attribute data shown in FIG. 5 can be extracted by filtering the table data with the digital broadcast receiver 1A and then processing with the CPU 123. For external input sources other than the broadcasting system, the CPU 123 detects each parameter in cooperation with each interface input unit. When genre information is input together with content data in a playback system from an external device, the CPU 123 detects genre information and stores it as attribute data.
[0044]
Subsequently, in step S303 of FIG. 3, display parameters of the video displayed in each window are extracted. FIG. 9 shows a configuration example of display parameters in the present embodiment. The CPU 123 assigns the input source to each window, which window displays each input source. First, the display parameter data of each window has an input source ID indicating the input source of the video displayed in the window. Since the attribute data of the input source can be known from the input source ID (FIG. 5), each window and the attribute of the input source corresponding to the window are related here. Here, a window number may be assigned to each window for management.
[0045]
  Also, among the display parameters shown in FIG. 9, each data from the window start address to the layer is a parameter related to the display of each window. These parameters are extracted by the CPU 123 referring to register values related to display control in the graphics accelerator 115. As parameters regarding the position and size of each window,Indicates the display position of the screenStarting address (usually the upper left address),An example of screen sizeThe X (horizontal) direction size (number of dots) and Y (vertical) direction size (number of dots) are further used as parameters indicating the relationship between the windows and the background screen.Hierarchical display informationWindow layer position, display effectinformation(Transparency) is extracted. In addition, if necessary, each windowColor number informationThe number of display colors is also managed as display parameter data.
[0046]
Next, in step S304, voice parameters are extracted. FIG. 10 shows a configuration example of the voice parameter data in the present embodiment. Similar to the display parameter, the audio parameter data includes an input source ID indicating the input source of the audio output on the output channel. As a result, the input source having what attribute is associated with which output channel and in what mode. FIG. 11 shows an example of output channel classification. In this embodiment, it is classified into any one of five: main speakers, headphones, external outputs 1 and 2, and no audio output.
[0047]
  FIG. 12 shows an example of audio mode classification. Multi-channel stereo refers to modes such as Dolby 5.1ch and DTS (Dolby Theater Surround) adopted in DVDs and the like, for example.In addition, as shown in FIG. 12, the audio mode classification examples include monaural, stereo, and bilingual.These audio-related parameters are extracted by the CPU 123 in cooperation with the audio decoder 105 and the audio control unit 108 (register setting, mode identification).
[0048]
  In the next step S305, the attribute data of the input source detected in step S302(Attribute information)And the relationship between the display and audio parameter data detected in steps S303 and S304, and create a database of what screen layout (display parameter) and audio mode were used to view various input sources. To do. That is, in step S305, for each input source ID, what display and audio parameters are used for viewing are stored as a viewing pattern and the frequency is stored. Furthermore, even when a plurality of input sources are simultaneously viewed, display and audio parameters for each combination pattern of input source IDs(Display form information, audio output form information)As well as the frequency.
[0049]
  As a history database, even if the same input source ID is viewed, some viewing pattern data remains as a history, but the display and audio parameters in each case are stored, sorted in order of frequency, and stored. To do. Of the display parameters, the window start address, the X-direction size, and the Y-direction size can take arbitrary values on the screen, and are not particularly shown. However, in the case of a close address and size, data rounding is performed. The specifications are such that a certain range is stored as the same data (value). In this way, the viewing pattern and frequency of what kind of screen and sound were used to watch various input sources(Trial frequency)Is stored as a history database.The history database has a configuration as an application example of the storage unit.
[0050]
FIG. 4 is a basic operation flow up to determination of the screen layout and audio mode when the user tries to view a certain input source. In FIG. 4, in step S401, input source IDs such as video and audio that the user is going to view are identified. In this case, there may be a case where only one input source is selected, and there are cases where a plurality of input sources are selected from the beginning.
[0051]
In step S401, the input source ID selected as an input is identified. In the next step S402, whether or not the input source (or a combination thereof) has been viewed in the past based on the attribute data of the selected input source. That is, whether the viewing pattern exists in the history database.
[0052]
If it exists in the history database, it is first displayed in the most frequent screen layout and audio mode from the past viewing patterns (S403). The user is inquired whether the presented screen layout and sound mode are OK (S404). FIG. 13 is an example of an inquiry screen (OSD display) for the user. FIG. 13 shows an example of presentation that occupies a part of the left corner of the screen being viewed. However, the selection confirmation screen (screen mode, audio mode) is adjusted while adjusting the transparency of the OSD and showing the background screen. ) Can also be displayed. Furthermore, by presenting some patterns in advance and using a graphical design display as shown in FIG. 14, for example, it is possible to present the information in a form familiar to users of a wider age group.
[0053]
If the user selects OK for both screen and audio by remote control operation, the user views the screen as it is, and feeds back the result to the attribute database when a predetermined time or more has elapsed (S420) (most frequently) Higher viewing frequency will be added one more time). If NG is selected, presentation is performed twice more, that is, with the second and third largest viewing patterns as history data.
[0054]
If there is no desirable presentation form in the viewing pattern presented three times, the process proceeds to a mode in which the user can freely select and set by remote control operation in step S405. Specifically, by pressing the custom key 206 on the remote controller, a screen or sound change menu is called. For example, if the screen is changed, the position and size of each window are set using the direction selection key 209. FIG. 15 and FIG. 16 show examples of operation guide display when changing the screen and the sound, respectively.
[0055]
If it is OK after setting by the user, viewing is performed with the pattern, and feedback to the history database is performed in the same manner as described above. In the case of NG, it is retried by a change by the user (S405) up to two times, and when NG continues three or more times, display is performed with a preset (preset) screen layout and sound mode.
[0056]
Although not described in the operation flow of FIG. 4, in the information processing apparatus according to the present embodiment, several types of screens and sound patterns are preset. As described above, the user presses the direction selection key 209 of the remote controller. Select the desired screen layout from several preset screens and audio patterns using the left / right direction (next / back), and press the enter key 210 (the center of the direction selection key) to select it. Is possible. Similarly, when viewing with the preset pattern is selected, the history database is updated.
[0057]
On the other hand, in step S402 in FIG. 4, if the input source such as video and audio to be viewed and the combination thereof are not in the history database, display in a preset screen and audio pattern is performed in step S408. Here too, as described above, the user selects from a plurality of preset patterns.
[0058]
In step S409, the presentation form is confirmed. If it is OK, the user views it as it is and updates the history database. In the case of NG, the screen and sound pattern are changed by the user in step S410. The processing here is the same as the processing in step S405 described above. On the other hand, in the case of OK, viewing is performed with the pattern, and the history database is updated. If NG continues three or more times, display is forcibly performed with a preset pattern in step S412.
[0059]
In this way, the viewing mode with the final screen and sound pattern is selected and determined. In any case, after confirming that the viewing has been performed for a certain time or longer with that pattern, the history database is updated. Do.
[0060]
In the above description, when one or a plurality of input sources are selected from the beginning, the screen and sound pattern are determined. While viewing an existing input source, an e-mail or scheduler ( There may be a case where an interrupt type display request (event) from a timer or the like occurs. In addition, a user operation may cause a display request for information from a new input source. Even in this case, when an interrupt type display event occurs, the process returns to step S401 and the same processing is performed.
[0061]
That is, in the first step S401, with respect to the relationship between the input source of the video and audio already being viewed and the input source of the display event that has occurred in an interrupted manner, it is confirmed whether it is in the history database as described above, Processing is performed in the same flow. When an interrupt type event occurs, the viewing elapsed time may be newly added as a parameter of the history database for determining the viewing pattern, which will be described later.
[0062]
FIG. 17 is an example of a history database representing an input source attribute and information from the input source in a certain user in what screen layout and audio mode. Here, regarding the eight patterns of viewing patterns A to H, screen layouts and sound modes that have been viewed most frequently in the past are picked up and tabulated.
[0063]
Here, if the genre information is included in the attribute data of the input source as in the data reproduction system from the TV broadcast system or external media, the combination of the media and the genre is used as the attribute of the input source as the parameter of the attribute database, In the case of the Internet, a combination of media and application is used as a database parameter as an input source attribute. In other words, by combining not only media but also more detailed attributes as input source attributes, the contents of information from the input sources are reflected and the viewing pattern history is managed more accurately.
[0064]
In addition, to create this database, the past viewing history for each user is made into a histogram, and the screen (window) size etc. is rounded according to the setting for data that is somewhat close (handled as the same history). The operation of extracting the combination of the most frequently used screen and sound is always performed as the background processing of the CPU 123.
[0065]
Next, how to process several viewing patterns based on past viewing history will be described according to some examples. FIG. 18 shows a screen layout in the case of viewing pattern A in FIG. The input source is one “digital TV broadcast” and the genre is “sports”. According to the history database of FIG. 17, in this input source, this user is most often viewing in the stereo mode from the main speaker as a wide full screen display as the screen layout, and this information processing. When the user selects the input source (digital TV broadcast → sports), the apparatus controls to present the pattern with priority. (Step S403 in FIG. 4)
[0066]
FIG. 19 shows a screen layout in the case of viewing pattern B in FIG. This is an example in which two “digital TV broadcasts” are input sources, one of which is drama and the other is sports. In the past, when viewing a drama and a sports program at the same time, this user had the most viewing patterns, such as displaying a drama in full screen and opening a sub-screen at the bottom right of the screen to check the progress of sports. In particular, presentation is made in a screen layout as shown in FIG.
[0067]
FIG. 20 shows a screen layout in the case of viewing pattern C in FIG. This is a scene in which a browser is activated to check program-related data while a documentary program is being viewed on a TV broadcast, and homepage information related to the program is checked. In such a situation, in the past, this user often viewed the TV screen in the form of 2/3 left and the homepage (browser) displayed 1/3 right. The screen layout is displayed.
[0068]
Next, an operation of the information processing apparatus when an information display request (event) from another input source occurs while viewing a certain input source will be described. FIG. 21 and FIG. 22 each show an example of presentation when an e-mail arrives while viewing information from an input source. (Viewing patterns D and E in FIG. 17)
[0069]
FIG. 21 is a display example of a screen when an incoming e-mail occurs while watching a movie from a DVD device connected to the information processing device through the IEEE 1394 interface on a full screen. In this case, from the intention that the user does not want to be interrupted in the movie scenario, as shown in the history database of FIG. 21) was selected. For this reason, this information processing apparatus selects the display mode as shown in FIG. 21 in the history database as the first presentation form, and automatically controls to perform the presentation. If there is no combination of input source attributes such as “media = 1394 connected device, genre = movie” in the history database, a preset layout is presented as described above.
[0070]
  FIG. 22 shows a case of an incoming e-mail while viewing a certain input source, as in FIG. Here, a case is shown in which the attributes of the input sources that were viewed before the event occurred are different, and in FIG. 22, the incoming mail is being viewed while watching a drama on the full screen. In this case, instead of the icon display during movie viewing, a notification window indicating the arrival of an e-mail is displayed in the uppermost layer in the center of the screen as shown in FIG. 22B. As shown in FIG. 22 (c), the mail application is automatically started and a window with a size of 1/3 is displayed on the right side of the screen.(Display data)Is controlled to open.The configuration for automatically starting the mail application is a configuration as an application example of the application execution unit.
[0071]
This is a result based on the history that this user has made a forgiving response to the interrupt type display event in the drama compared to the movie. The size and position of the window of the mail application, the transition timing from the display of the e-mail incoming notification window to the start of the mail application, and the like are determined by the past history pattern of the user. Of course, as shown in the operation flow of FIG. 4, even if it is an interrupt type display event, it is possible to make a desired setting by performing manual setting by the user and storing it as necessary. is there.
[0072]
In addition, regarding such interrupt-type display events, not only the static relationship between the input source that was viewed before the event occurred and the input source that requested the display, but also the combination of the same input sources Depending on the elapsed viewing time of information from the input source that was viewed before the event occurred, the selection of the display form to be presented, such as whether to display an icon or pop up a window, may be different.
[0073]
For example, it can be expected that automatic window pop-ups generally tend to be avoided when the viewing time has passed and the climax scene of a movie or the end of a sports game is approaching. In the present embodiment, the attribute of the input source is a combination of media and genre or media and application as a history database parameter, but it may be a single parameter including the elapsed viewing time. In this case, a screen layout can be presented based on the elapsed viewing time when an interrupt type display event occurs. In other words, even with the same input source combination, different viewing patterns are selected depending on the timing at which an interrupt type display event occurs.
[0074]
Note that the elapsed viewing time may be measured using a clock function such as a counter provided in the information processing apparatus, or in the case of a TV program or the like, information on a program superimposed on a broadcast wave, or the Internet It is also possible to calculate information by detecting information on a program obtained from a CD-ROM or the like, detecting the start or end time of the viewing program from the data, and comparing it with the current time.
[0075]
FIG. 23 shows an example of morning viewing patterns of a certain user, and is a diagram showing changes in the presentation form from single screen viewing to viewing patterns F, G, and H in FIG. In FIG. 23A, when the user instructs the remote control to display the headline news DATA1 and the clock display T1 by data broadcasting in a multi-window display while viewing the news program TV1 on the full screen, FIG. The presentation form (b) automatically changes (viewing pattern F).
[0076]
Of course, as in the cases described above, this information processing apparatus automatically determines the combination of input sources and detects that the user has viewed in this screen layout in the past. The layout is managed and presented.
[0077]
Furthermore, when a display request for the weather forecast DATA2 of the data broadcast is additionally generated by the user, the screen layout changes to the screen layout shown in FIG. 23C (viewing pattern G). In this case, the display area of the headline news DATA1 by data broadcasting is reduced (L10 → L12), and a weather forecast window is newly opened thereunder (L14).
[0078]
Furthermore, the clock display T1 that has been displayed in the lower right corner of the conventional screen is changed to a presentation that is superimposed on the headline news window (L11 → L13). Finally, when the user selects and determines the weather mark with the remote controller in order to know more detailed information on the weather forecast, the screen layout changes to that shown in FIG. In FIG. 23 (d), a more detailed information sub-window regarding the weather forecast DATA2 is opened at the bottom of the window of the news TV1.
[0079]
In FIG. 23, the input source to be displayed has been described in the form of increasing sequentially. However, from the beginning, when the user selects a plurality of input sources, the viewing pattern of FIG. Of course it is possible.
[0080]
The information processing apparatus that controls the screen layout and audio mode based on the user's viewing history has been described above with a focus on the history database in FIG. 17, the operation flow in FIG. 4, and the screen examples in FIGS. In the present embodiment (FIG. 1), the information processing apparatus according to the present invention is configured not to include a display unit or a broadcast receiving unit, but is limited to the configuration of the present embodiment from the essence of the present invention. Even if applied to an IRD (Integrated Receiver Decoder) having a broadcast receiving unit and no display unit, or a television broadcast receiving apparatus having a broadcast receiving unit and a display unit, the same effect can be obtained. It is clear that it is obtained.
[0081]
<Second Embodiment>
Next, the operation of the integrated reception system to which the information processing apparatus according to the second embodiment of the present invention is applied will be described. The present embodiment is characterized by managing the history of viewing patterns for each viewing time zone.
[0082]
FIG. 24 is a flowchart showing a flow of operations for creating a viewing pattern history database according to the present embodiment. Steps S2401 to S2404 are the same processes as steps S301 to S304 in FIG. In step S2405, the attribute data of the input source detected in step S302 of FIG. 3 and the display and audio parameter data detected in step S301 and step S304 are arranged, and for each viewing time zone (date, day of the week) Create a database of what screen layout and audio mode were used to view information from the input source.
[0083]
As the history database, some viewing pattern data remains as a history for each same time zone, but the input source, display, and audio parameters in each case are detected, sorted and stored in order of frequency.
[0084]
The clock time provided in the information processing apparatus is basically used for measuring the viewing time, but the time (date) information superimposed on the broadcast wave is detected and the time is calibrated one by one.
[0085]
Of the display parameters, the window start address, the X-direction size, and the Y-direction size can take arbitrary values on the screen, and are not particularly shown. However, in the case of a close address and size, data rounding is performed. The specifications are such that a certain range is stored as the same data (value).
[0086]
In this way, for each time zone, date, and day of the week, a viewing pattern and a history database as to which input source was viewed with what screen and sound are accumulated.
[0087]
FIG. 25 is a basic operation flow up to determination of an input source, a screen layout, and an audio mode when a user tries to view something at a certain time. In FIG. 25, in step S2501, the current time (date / day of week) is first identified. In the next step S2502, based on the identified time information, it is checked whether the past viewing history in the time zone exists in the history database.
[0088]
If it exists in the history database, the most frequently used input source (combination), screen layout, and voice mode are displayed from the past viewing patterns (S2503), and the input source presented to the user is displayed. In step S2504, the screen layout and voice mode are checked for OK. As already explained, an example of this inquiry screen is shown in FIG.
[0089]
When the user selects the input source, the screen layout, and the sound mode to be OK by remote control, the user views with the viewing pattern as it is and feeds back the result to the viewing pattern database when a certain period of time elapses ( (S2520) (One frequency of the most frequently viewed viewing pattern is added). If NG is selected, presentation is performed two more times, that is, with the second most common combination (viewing pattern) as history data.
[0090]
If there is no desired presentation form among the viewing patterns presented three times, the process proceeds to a mode in which the user can freely select and set by remote control operation in step S2505. Specifically, by pressing the custom key 206 on the remote controller, a menu for changing the input source, screen layout, or audio mode is called, and after first selecting a window (FIG. 26 shows an example of a selection guide by moving the focus / cursor. For example, if the screen layout is changed, the position and size of each window are set using the direction selection key 209. FIG. 27 and FIGS. 15 and 16 described above show examples of the operation guide display when changing the input source (application), screen layout, and audio mode, respectively.
[0091]
If it is OK after setting by the user, viewing is performed with the pattern, and feedback to the viewing pattern database is performed in the same manner as described above. In the case of NG, it is retried by the change by the user (S2505) up to twice, and when NG continues three or more times, the input source, screen layout, and audio that are set in advance for each time zone (preset) Display in mode.
[0092]
Although not described in the operation flow of FIG. 25, in the information processing apparatus according to the present embodiment, several types of input sources, screen layouts, and audio mode viewing patterns are preset as in the first embodiment. As described above, the user uses the left / right direction (next / back) of the direction selection key 209 of the remote controller to select a favorite pattern from several preset viewing patterns, and presses the enter key 210 ( It is possible to select it by pressing the center of the direction selection key. Even if viewing with the presented pattern is selected, the viewing pattern database is similarly updated.
[0093]
On the other hand, in step S2502 of FIG. 25, if the database does not have a viewing history in the time zone to be viewed, in step S2508, display is performed with a preset input source, screen layout, and audio mode pattern. Here too, as described above, the user selects from a plurality of preset patterns.
[0094]
In step S2509, the presentation form is confirmed. If it is OK, the user views it as it is and updates the history data. In the case of NG, in step S2510, the user selects an input source, sets a screen layout, and a voice mode pattern. The processing here is the same as the processing in step S2505 described above. As a result, in the case of OK, viewing is performed with the pattern, and the history data is updated.
[0095]
Here, when NG continues three times or more, in the step S2512, presentation is performed in a pattern that was previously viewed in the same time zone. If there is no viewing history data in the same time zone, presentation is performed in the previous power-off mode (the channel for TV or the like).
[0096]
In this way, the viewing pattern for the combination of input source, screen layout, and audio mode is finally selected and determined. In any case, after confirming that the pattern has been viewed for a certain period of time or longer The viewing pattern history database is updated.
[0097]
FIG. 28 is an example of a history database indicating which input source was viewed in what screen layout and audio mode for each time zone (time, day of the week, date) for a certain user. Here, in order to make the explanation easier to understand, expressions such as specific numbers, day of the week, month, etc. are used for the time zone data, but each data is actually allocated as a certain code. Of course, in order to create this database, the past viewing history data for each user is converted into a histogram and sorted by time, day of the week, and date. In each case, the most frequent input source / screen / audio combination is selected. The operation of extracting is always performed as a background process of the CPU 123.
[0098]
It should be noted that rounding processing is performed for a screen (window) size or the like that can take an arbitrary value, and data close to a certain degree is handled as the same data so that the number of combinations does not increase more than necessary. Further, the range (window size, position) that can be selected by the user can be limited to some extent by setting on the device side.
[0099]
Next, some examples will be described to explain how processing is performed based on past viewing history. FIG. 29 shows a screen layout in the case of viewing pattern A in FIG. A viewing pattern A indicates a combination (input source / screen layout / audio mode) most frequently viewed from 6 am to 7 am on a certain user's weekday (weekday). The month / day column is blank, which indicates that this combination is the most common throughout the year regardless of the month (season) or date.
[0100]
In FIG. 29, the presentation form is intended to obtain a lot of information, reflecting the time zone of weekday morning. While watching the TV program Ch8 morning program on the largest screen L1, two sub-screens are opened on the right side of the content of the data broadcast news (DATA1) and weather forecast (DATA2). Here, these three windows are arranged without overlapping each other, and this layout information is naturally recorded in the history database. Furthermore, a clock which is one of internal functions (applications) of the information processing apparatus is displayed on the upper right in a form overlapping the news window. Also, the audio output destination is the TV broadcast (TV1) audio to the main speaker, and the audio information of the data broadcast news (DATA1) is output to the headphones.
[0101]
Since this user was most frequently watching the four types of input sources at the same time (day of the week) at the same time in the screen layout and voice mode shown in FIG. 13, the information processing apparatus is turned on when the power is turned on. Immediately or if the receiver is powered on, the time information is checked one by one, and if there is viewing history data at that time (time zone), the combination pattern of the input source, screen layout, and audio mode is given priority first. Make a presentation.
[0102]
FIG. 30 is a screen layout of a viewing pattern (viewing pattern B) when it is 7:00 am from the state of FIG. 29 on weekdays. This user normally performs the operation of switching the TV broadcast channel to Ch1 at the same time, and further switching the window displaying the weather forecast at 6:00 am to traffic information (DATA3). It was. For this reason, when this information processing apparatus detects that the same time has come, it automatically switches to the viewing pattern shown in FIG. 30 based on the past viewing history data without bothering the user. Do. Before automatic switching control, a warning display may be performed for a certain period of time, and support for prohibiting the change of the viewing pattern during the warning display may be possible.
[0103]
FIG. 31 is an example of the viewing pattern C screen in FIG. This is an example of presentation when there is a variety program (TV3) that is always watched at noon on Sunday (12-12: 30). Again, for TV broadcasting, channel switching, screen (L5), audio mode (M1) settings, etc. are automatically controlled based on past history data.
[0104]
FIG. 32 is an example of the viewing pattern E screen in FIG. This is a viewing pattern that was particularly common between April and September. Professional baseball broadcasted on sports channels while watching the variety program (TV3) that we always watch from 8 pm to 9 pm on Wednesday. In this case, the game situation of the night game is viewed on a PinP (Picture in Picture) screen. In this case, in addition to the parameters of “time” and “day of the week” described above (FIGS. 29 to 31), “date” is judged, and if it is out of the range of this date, control based on the history is not performed. . FIG. 28 shows an example of history data in the case where the data differs on a monthly basis, but it is of course possible to manage it on a daily basis.
[0105]
Next, an operation when a display request (event) of another input source occurs while viewing a certain input source will be described. FIG. 33 is a screen of the viewing patterns F and G in FIG. Here, a movie program (TV5) aired only during this period (October to December) from 9:00 pm to 11:00 pm on Tuesday is displayed on a multi-channel stereo (M2) from a wide full screen (L5) and a main speaker. This is a case where an incoming e-mail has occurred while being watched in ().
[0106]
Since this user is in this time zone and is watching a movie (does not want to be disturbed), as shown in FIG. 33, the screen layout at the time of incoming e-mail is displayed at the lower right of the screen. The presentation form to be displayed as an icon was often selected in the past. For this reason, this information processing apparatus selects such a display mode as the first presentation form and automatically controls to perform the presentation as shown in FIG.
[0107]
FIG. 34 is an example of presentation when an incoming e-mail occurs in another time situation, that is, the situation of FIG. 29 (viewing pattern A) described above. The viewing pattern A is a presentation form in the morning on weekdays, and since there is a possibility that it is an important mail for the user, the presentation form that prompts confirmation more strongly is selected.
[0108]
As described above, this information processing apparatus is characterized in that the input source, the screen layout, and the audio mode are first presented in a pattern that has been viewed most frequently in the past, depending on the time (day of the week, date). If the user does not accept the presentation, as described above, the user can perform customization processing by operating the remote controller.
[0109]
The information processing apparatus that controls the screen layout and audio mode based on the user's viewing history has been described above with a focus on the history database in FIG. 28, the operation flow in FIG. 25, and the screen examples in FIGS. As in the first embodiment, the present embodiment is configured not to include a display unit or a broadcast receiving unit as the information processing apparatus according to the present invention. However, according to the essence of the present invention, the present embodiment is configured. The present invention is not limited to this configuration, and may be applied to an IRD (Integrated Receiver Decoder) having a broadcast receiving unit and no display unit, or a television broadcast receiving device having a broadcast receiving unit and a display unit. It is clear that the same effect can be obtained.
[0110]
In order to operate various devices in order to realize the functions of the above-described embodiments, a program code of software for realizing the functions of the above-described embodiments is provided to an apparatus connected to the various devices or a computer in the system. What is implemented by operating the various devices according to a program supplied and stored in a computer (CPU or MPU) of the system or apparatus is also included in the scope of the present invention.
[0111]
In this case, the program code of the software itself realizes the functions of the above-described embodiments, and the program code itself and means for supplying the program code to the computer, for example, the program code is stored. The recording medium constitutes the present invention. As a recording medium for storing the program code, for example, a flexible disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a magnetic tape, a nonvolatile memory card, a ROM, or the like can be used.
[0112]
Further, by executing the program code supplied by the computer, not only the functions of the above-described embodiments are realized, but also the OS (operating system) or other application software in which the program code is running on the computer, etc. It goes without saying that the program code is also included in the embodiment of the present invention even when the functions of the above-described embodiment are realized in cooperation with the embodiment.
[0113]
Further, after the supplied program code is stored in the memory provided in the function expansion board of the computer or the function expansion unit connected to the computer, the CPU provided in the function expansion board or function expansion unit based on the instruction of the program code Needless to say, the present invention includes a case where the functions of the above-described embodiment are realized by performing part or all of the actual processing.
[0114]
【The invention's effect】
  According to the present invention, a viewing pattern is extracted according to the attribute information of the input source selected by the viewer from the history database generated based on the viewing history of the viewer, and the image data input from the input source is extracted. Such an image can be displayed in a display form according to the viewing pattern.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a main part of an integrated reception system including an information processing apparatus according to a first embodiment of the present invention.
FIG. 2 is a diagram illustrating a configuration example of a remote controller for operating an integrated reception system including an information processing apparatus applied in the first embodiment of the present invention.
FIG. 3 is a flowchart showing an operation flow of an integrated reception system including an information processing apparatus to which the information processing apparatus according to the first embodiment of the present invention is applied.
FIG. 4 is a flowchart showing a flow of basic operations up to screen layout and sound mode determination in the first embodiment of the present invention.
FIG. 5 is a diagram illustrating a configuration example of attribute data of an input source.
FIG. 6 is a diagram illustrating an example of classification of media types in attribute data.
FIG. 7 is a diagram showing an example of genre classification when the media type in the attribute data is a TV broadcast system.
FIG. 8 is a diagram illustrating a classification example of applications in attribute data.
FIG. 9 is a diagram illustrating a configuration example of display parameters according to the first embodiment of the present invention.
FIG. 10 is a diagram illustrating a configuration example of audio parameter data.
FIG. 11 is a diagram illustrating a classification example of output channels.
FIG. 12 is a diagram illustrating a classification example of a voice mode.
FIG. 13 is a diagram showing an example of an inquiry screen for a user.
FIG. 14 is a diagram showing another example of an inquiry screen for a user.
FIG. 15 is a diagram showing an example of an operation guide display when changing the screen and voice.
FIG. 16 is a diagram showing another example of the operation guide display when changing the screen and voice.
FIG. 17 is a diagram showing an example of a history database.
FIG. 18 is a diagram illustrating a screen layout example in one viewing pattern.
FIG. 19 is a diagram showing an example of a screen layout in another viewing pattern.
FIG. 20 is a diagram showing an example of a screen layout in another viewing pattern.
FIG. 21 is a diagram showing a screen layout example of a case in which an incoming e-mail has occurred while watching a movie on a full screen.
FIG. 22 is a diagram showing a screen layout example in a case where an incoming e-mail occurs while viewing another input source.
FIG. 23 is a diagram showing an example of a morning viewing pattern of a certain user.
FIG. 24 is a flowchart showing a flow of operations for creating a viewing pattern history database according to the second embodiment of the present invention.
FIG. 25 shows an input source when a user tries to view something at a certain time. It is the flowchart which showed the flow of the basic operation | movement until a screen layout and audio | voice mode determination.
FIG. 26 is a diagram showing an example of a selection guide by focus / cursor movement.
FIG. 27 is a diagram illustrating an example of an operation guide display when changing an input source, a screen, and audio.
FIG. 28 is a diagram showing a configuration example of a history database.
FIG. 29 is a diagram illustrating a screen layout example in one viewing pattern.
FIG. 30 is a diagram showing an example of a screen layout with a viewing pattern shifted from the viewing pattern after a lapse of time.
FIG. 31 is a diagram illustrating a screen layout example in another viewing pattern.
FIG. 32 is a diagram illustrating a screen layout example in another viewing pattern.
FIG. 33 is a diagram showing an example of a screen layout when an e-mail is received.
FIG. 34 is a diagram showing another example of a screen layout when an email is received.
[Explanation of symbols]
101 tuner
102 Demodulation circuit
103 Descrambler
104 MPEG2 demultiplexer
105 Audio decoder
106 Video decoder
107 Data decoder
108 Voice control unit
109 Speaker
110a-c Video interface
111a-c Resolution converter
112 Multi-screen composition control unit
113 Output controller
114 display
115 Graphic accelerator
116 graphics memory
117 IEEE 1394 interface
118 modem
119 PCMCIA interface
120 Printer interface
121 IC card interface
122 RAM
123 CPU
124 User interface
125 remote control
126 DAC
130 Attribute detection unit
131 Display / Audio Parameter Detection Unit
132 History database storage

Claims

An information processing apparatus for inputting a plurality of image data from a plurality of input sources by an input unit, and displaying an image related to the image data on a display unit in a predetermined display form,
Generating means for generating a history database composed of viewing patterns classified as parameters of the input source attribute information and the display form information related to the display form associated with the attribute information based on the viewing history of the viewer; ,
The display means in a display form according to a viewing pattern in which an image related to image data input from an input source selected by the viewer is extracted from the history database in accordance with attribute information of the input source selected by the viewer And an information processing apparatus characterized by comprising:

The input means inputs audio data from the input source,
The parameter includes audio form information related to the audio data,
The control means outputs sound associated with an image related to image data input from an input source selected by the viewer in a sound form according to a viewing pattern extracted from the history database. The information processing apparatus according to claim 1.

The information processing apparatus according to claim 1, wherein the display unit can simultaneously display a plurality of images related to the plurality of image data on the same display screen.

The input source is at least one of a digital TV broadcast, an analog TV broadcast, a digital data broadcast, an analog data broadcast, the Internet, an external connection device including a VTR and a DVD, and a recording medium capable of reproducing recorded data by the information processing apparatus. The information processing apparatus according to claim 1, comprising one.

The attribute information includes at least one of channel information, genre information, program title information, program broadcast time information, viewing start time information, application information for performing input and display operations of the input source, and the like. The information processing apparatus according to claim 1.

The display form information is at least one of a screen size for displaying the image, a screen display position, hierarchical display information between a plurality of screens, display effect information including screen transparency, and screen color number information. The information processing apparatus according to claim 1, comprising one.

The history database stores the number of times of viewing an image in a display form according to the viewing pattern in association with the viewing pattern,
The information processing apparatus according to claim 1, wherein the control unit extracts a viewing pattern having the largest number of viewing times from the viewing pattern corresponding to attribute information of the input source.

Having an application execution means for executing the application;
The control means further controls the display means to display an image related to display data generated by execution of the application by the application execution means in a predetermined display form,
The information processing apparatus according to claim 5, wherein the history database further stores attribute information of the display data and the display form in association with each other as a viewing pattern.

The information processing apparatus according to claim 2, wherein the audio form includes at least one of monaural, stereo, multi-channel stereo, and bilingual audio output modes.

An information processing method for inputting a plurality of image data from a plurality of input sources by an input means, and displaying an image related to the image data on a display means in a predetermined display form,
Generating a history database composed of a plurality of viewing patterns classified as parameters of the attribute information of the input source and the display form information related to the display form associated with the attribute information based on the viewing history of the viewer When,
The display means in a display form according to a viewing pattern in which an image related to image data input from an input source selected by the viewer is extracted from the history database in accordance with attribute information of the input source selected by the viewer An information processing method comprising the steps of: