JP4379677B2

JP4379677B2 - Image processing apparatus and method, recording medium, program, and display apparatus

Info

Publication number: JP4379677B2
Application number: JP2003058378A
Authority: JP
Inventors: 憲太槙本
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-03-05
Filing date: 2003-03-05
Publication date: 2009-12-09
Anticipated expiration: 2023-03-05
Also published as: JP2004274124A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、プログラム、並びに表示装置に関し、特に、映画等のフィルムソースがテレビジョン放送用に変換されたテレシネ画像を視覚的に違和感のない画像に変換するようにした画像処理装置および方法、記録媒体、プログラム、並びに表示装置に関する。
【０００２】
【従来の技術】
映画等のフィルムソースの映像は、通常、２４Ｈｚのプログレッシブ画像（フレーム画像）から構成されている。一方、日本等において採用されているNTSC方式のテレビジョン放送の映像は、６０Ｈｚのインタレース画像（フィールド画像）から構成されている。
【０００３】
したがって、映画等のフィルムソースをテレビジョン放送する場合、２４Ｈｚのプログレッシブ画像を６０Ｈｚのインタレース画像に変換する処理、いわゆるテレシネ変換処理が行われる。テレシネ変換処理としては、３−２プルダウン方式と直線補間型内挿方式が知られている。
【０００４】
以下、テレシネ変換処理の処理結果である６０Ｈｚのインタレース画像をテレシネ画像と記述する。また、フィルムソースのフレーム画像Ｘ（Ｘ＝Ａ，Ｂ，Ｃ，…）の偶数行からなるフィールド画像ｘ_e、フィルムソースのフレーム画像Ｘの奇数行からなるフィールド画像ｘ_oと記述する。
【０００５】
３−２プルダウン方式では、フィルムソースのフレーム画像の奇数行からなるフィールド画像と、偶数行からなるフィールド画像が１／６０秒周期で交互に表示され、５／６０秒周期で補間用のフィールド画像が挿入される。すなわち、３−２プルダウン方式によるテレシネ画像は、図１に示すように、フィールド画像ａ_o，ａ_e，ｂ_o，ｂ_e，ｂ_o，ｃ_e，ｃ_o，ｄ_e，ｄ_o，ｄ_e…とされる。このように、３−２プルダウン方式によるテレシネ画像は、本来のフィルムソースにおいて１／２４秒間表示されていた映像が、２／６０秒間または３／６０秒間表示されることになる。これに起因して、例えば、フィルムソースの映像において滑らかに移動していた部分が、テレシネ画像の映像において滑らかではない不連続な動きに見えてしまう現象（いわゆる、ジャダー）が発生して、視覚的に不自然さを感じさせてしまうことがある。
【０００６】
直線補間型内挿方式では、フィルムソースのフレーム画像の奇数行からなるフィールド画像、偶数行からなるフィールド画像が１／６０秒周期で交互に表示され、５／６０秒周期で前後する２枚のフレーム画像を重み付け合成した補間用のフィールド画像が表示される。すなわち、直線補間型内挿方式によるテレシネ画像は、図２に示すように、フィールド画像ａ_o，ａ_e，ａ−ｂ，ｂ_e，ｂ_o，ｃ_e，ｃ_o，ｃ−ｄ，ｄ_o，ｄ_e…とされる。ここで、フィールド画像（ａ−ｂ）は、表示開始のタイミングに対応してフレーム画像Ａ，Ｂを１：４で重み付け合成したフィールド画像である。また、フィールド画像（ｃ−ｄ）は、表示開始のタイミングに対応してフレーム画像Ｃ，Ｄを１：４で重み付け合成したフィールド画像である。
【０００７】
直線補間型内挿方式によるテレシネ画像は、上述した３−２プルダウン方式によるテレシネ画像のような視覚的な不自然さを感じさせることは抑止されている。しかしながら、フィールド画像（ａ−ｂ）等の本来存在していなかったフィールド画像を挿入するので、画質が劣化してしまう問題があった。
【０００８】
このような問題を解決するために、受信したテレビジョン放送信号がテレシネ画像であることを検知し（例えば、特許文献１，２を参照）、テレシネ画像から２４Ｈｚのプログレッシブ画像を復元し、映像のフリッカが目立たないように、フレームレートをｎ倍（ｎは整数。例えば、ｎ＝３）に変換して、（２４×ｎ）Ｈｚのプログレッシブ画像として表示させる方法が存在する（例えば、特許文献１を参照）。
【０００９】
【特許文献１】
特許第３１２５９９１号公報
【特許文献２】
特開２０００−２８７１２５号公報
【００１０】
【発明が解決しようとする課題】
しかしながら、テレシネ画像から２４Ｈｚのプログレッシブ画像を復元し、フレームレートを３倍の７２Ｈｚに変換し、その映像をCRT(Cathode Ray Tube)ディスプレイで検証したところ、映画のエンドロールのように文字が一定速度で動くシーンにおいて文字の明暗（輝度）が高速で変化したりするなどの現象が生じて、視覚的に違和感を与えてしまうがあることが確認された。
【００１１】
また、このような視覚的に違和感を与える現象は、CRTディスプレイの残像特性も影響していると考えられる。したがって、今後より一層の普及が見込まれるLCD(Liquid Crystal Display)に７２Ｈｚのプログレッシブ画像を表示させた場合、LCDはCRTディスプレイよりも残像特性が劣るので、視覚的な違和感はより大きくなると思われる。
【００１２】
当然ながら、ディスプレイ側の残像特性を向上させることも必要ではあるが、フレームレートを上げたプログレッシブ画像に対しても、このような視覚的に違和感を与える現象を抑止できるような対策を施すことが必要である。
【００１３】
本発明はこのような状況に鑑みてなされたものであり、テレシネ画像を元にしたフレームレートの高いプログレッシブ画像を、視覚的に違和感なく表示できるようにすることを目的とする。
【００１４】
【課題を解決するための手段】
本発明の画像処理装置は、６０Hzで更新されるインタレース画像から成るテレシネ動画像を元にして、２４Hzで更新されるプログレッシブ画像から成るソース動画像を復元する復元手段と、復元手段によって復元されたソース動画像を、１枚のプログレッシブ画像について３回ずつ出力することにより７２Hzで更新されるプログレッシブ画像から成る高フレームレート動画像に変換する変換手段と、順に入力されるテレシネ動画像を成すインタレース画像をそれぞれ１フィールド周期ずつ、直列に接続された４つのフィールドメモリによって遅延させる遅延手段と、テレシネ動画像を成すインタレース画像として入力された第１のインタレース画像と、第１のインタレース画像より４フィールド周期だけ先に入力され、遅延手段により４フィールド周期だけ遅延された第２のインタレース画像を４：１の比率で合成する第１の合成手段と、第１と第２のインタレース画像を１：０の比率で合成する第２の合成手段と、第１の合成手段により合成されることによって得られたインタレース画像と、第１のインタレース画像より２フィールド周期だけ先に入力され、遅延手段により２フィールド周期だけ遅延された第３のインタレース画像を比較する第１の比較手段と、第２の合成手段により合成されることによって得られたインタレース画像と、第３のインタレース画像を比較する第２の比較手段と、高フレームレート動画像を成すプログレッシブ画像を、所定の周期毎に単色のプログレッシブ画像で置換する置換手段と、第１の比較手段により比較されたインタレース画像と第２の比較手段により比較されたインタレース画像のうちの少なくとも一方が等しいタイミングである１／１２秒周期のタイミングに基づき、３／７２秒周期で、前記変換手段から出力された高フレームレート動画像を成すプログレッシブ画像を単色のプログレッシブ画像で置換手段に置換させる制御手段とを備える。
【００１８】
本発明の画像処理方法は、６０Hzで更新されるインタレース画像から成るテレシネ動画像を元にして、２４Hzで更新されるプログレッシブ画像から成るソース動画像を復元する復元ステップと、復元ステップの処理で復元されたソース動画像を、１枚のプログレッシブ画像について３回ずつ出力することにより７２Hzで更新されるプログレッシブ画像から成る高フレームレート動画像に変換する変換ステップと、順に入力されるテレシネ動画像を成すインタレース画像をそれぞれ１フィールド周期ずつ、直列に接続された４つのフィールドメモリによって遅延させる遅延ステップと、テレシネ動画像を成すインタレース画像として入力された第１のインタレース画像と、第１のインタレース画像より４フィールド周期だけ先に入力され、遅延ステップの処理により４フィールド周期だけ遅延された第２のインタレース画像を４：１の比率で合成する第１の合成ステップと、第１と第２のインタレース画像を１：０の比率で合成する第２の合成ステップと、第１の合成ステップの処理により合成されることによって得られたインタレース画像と、第１のインタレース画像より２フィールド周期だけ先に入力され、遅延ステップの処理により２フィールド周期だけ遅延された第３のインタレース画像を比較する第１の比較ステップと、第２の合成ステップの処理により合成されることによって得られたインタレース画像と、第３のインタレース画像を比較する第２の比較ステップと、高フレームレート動画像を成すプログレッシブ画像を、所定の周期毎に単色のプログレッシブ画像で置換する置換ステップと、第１の比較ステップの処理により比較されたインタレース画像と第２の比較ステップにより比較されたインタレース画像のうちの少なくとも一方が等しいタイミングである１／１２秒周期のタイミングに基づき、３／７２秒周期で、出力された高フレームレート動画像を成すプログレッシブ画像を単色のプログレッシブ画像で置換させる制御ステップとを含む。
【００１９】
本発明の記録媒体のプログラムは、６０Hzで更新されるインタレース画像から成るテレシネ動画像を元にして、２４Hzで更新されるプログレッシブ画像から成るソース動画像を復元する復元ステップと、復元ステップの処理で復元されたソース動画像を、１枚のプログレッシブ画像について３回ずつ出力することにより７２Hzで更新されるプログレッシブ画像から成る高フレームレート動画像に変換する変換ステップと、順に入力されるテレシネ動画像を成すインタレース画像をそれぞれ１フィールド周期ずつ、直列に接続された４つのフィールドメモリによって遅延させる遅延ステップと、テレシネ動画像を成すインタレース画像として入力された第１のインタレース画像と、第１のインタレース画像より４フィールド周期だけ先に入力され、遅延ステップの処理により４フィールド周期だけ遅延された第２のインタレース画像を４：１の比率で合成する第１の合成ステップと、第１と第２のインタレース画像を１：０の比率で合成する第２の合成ステップと、第１の合成ステップの処理により合成されることによって得られたインタレース画像と、第１のインタレース画像より２フィールド周期だけ先に入力され、遅延ステップの処理により２フィールド周期だけ遅延された第３のインタレース画像を比較する第１の比較ステップと、第２の合成ステップの処理により合成されることによって得られたインタレース画像と、第３のインタレース画像を比較する第２の比較ステップと、高フレームレート動画像を成すプログレッシブ画像を、所定の周期毎に単色のプログレッシブ画像で置換する置換ステップと、第１の比較ステップの処理により比較されたインタレース画像と第２の比較ステップにより比較されたインタレース画像のうちの少なくとも一方が等しいタイミングである１／１２秒周期のタイミングに基づき、３／７２秒周期で、出力された高フレームレート動画像を成すプログレッシブ画像を単色のプログレッシブ画像で置換させる制御ステップとを実行させるためのプログラムである。
【００２０】
本発明のプログラムは、６０Hzで更新されるインタレース画像から成るテレシネ動画像を元にして、２４Hzで更新されるプログレッシブ画像から成るソース動画像を復元する復元ステップと、復元ステップの処理で復元されたソース動画像を、１枚のプログレッシブ画像について３回ずつ出力することにより７２Hzで更新されるプログレッシブ画像から成る高フレームレート動画像に変換する変換ステップと、順に入力されるテレシネ動画像を成すインタレース画像をそれぞれ１フィールド周期ずつ、直列に接続された４つのフィールドメモリによって遅延させる遅延ステップと、テレシネ動画像を成すインタレース画像として入力された第１のインタレース画像と、第１のインタレース画像より４フィールド周期だけ先に入力され、遅延ステップの処理により４フィールド周期だけ遅延された第２のインタレース画像を４：１の比率で合成する第１の合成ステップと、第１と第２のインタレース画像を１：０の比率で合成する第２の合成ステップと、第１の合成ステップの処理により合成されることによって得られたインタレース画像と、第１のインタレース画像より２フィールド周期だけ先に入力され、遅延ステップの処理により２フィールド周期だけ遅延された第３のインタレース画像を比較する第１の比較ステップと、第２の合成ステップの処理により合成されることによって得られたインタレース画像と、第３のインタレース画像を比較する第２の比較ステップと、高フレームレート動画像を成すプログレッシブ画像を、所定の周期毎に単色のプログレッシブ画像で置換する置換ステップと、第１の比較ステップの処理により比較されたインタレース画像と第２の比較ステップにより比較されたインタレース画像のうちの少なくとも一方が等しいタイミングである１／１２秒周期のタイミングに基づき、３／７２秒周期で、出力された高フレームレート動画像を成すプログレッシブ画像を単色のプログレッシブ画像で置換させる制御ステップとを含む処理をコンピュータに実行させる。
【００２１】
本発明の表示装置は、６０Hzで更新されるインタレース画像から成るテレシネ動画像を元にして、２４Hzで更新されるプログレッシブ画像から成るソース動画像を復元する復元手段と、復元手段によって復元されたソース動画像を、１枚のプログレッシブ画像について３回ずつ出力することにより７２Hzで更新されるプログレッシブ画像から成る高フレームレート動画像に変換する変換手段と、順に入力されるテレシネ動画像を成すインタレース画像をそれぞれ１フィールド周期ずつ、直列に接続された４つのフィールドメモリによって遅延させる遅延手段と、テレシネ動画像を成すインタレース画像として入力された第１のインタレース画像と、第１のインタレース画像より４フィールド周期だけ先に入力され、遅延手段により４フィールド周期だけ遅延された第２のインタレース画像を４：１の比率で合成する第１の合成手段と、第１と第２のインタレース画像を１：０の比率で合成する第２の合成手段と、第１の合成手段により合成されることによって得られたインタレース画像と、第１のインタレース画像より２フィールド周期だけ先に入力され、遅延手段により２フィールド周期だけ遅延された第３のインタレース画像を比較する第１の比較手段と、第２の合成手段により合成されることによって得られたインタレース画像と、第３のインタレース画像を比較する第２の比較手段と、高フレームレート動画像を成すプログレッシブ画像を、所定の周期毎に単色のプログレッシブ画像で置換する置換手段と、第１の比較手段により比較されたインタレース画像と第２の比較手段により比較されたインタレース画像のうちの少なくとも一方が等しいタイミングである１／１２秒周期のタイミングに基づき、３／７２秒周期で、前記変換手段から出力された高フレームレート動画像を成すプログレッシブ画像を単色のプログレッシブ画像で置換手段に置換させる制御手段とを備える。
【００２２】
本発明の画像処理装置および方法、記録媒体、プログラム、並びに表示装置においては、６０Hzで更新されるインタレース画像から成るテレシネ動画像を元にして、２４Hzで更新されるプログレッシブ画像から成るソース動画像が復元され、復元されたソース動画像が、１枚のプログレッシブ画像について３回ずつ出力されることにより７２Hzで更新されるプログレッシブ画像から成る高フレームレート動画像に変換される。順に入力されるテレシネ動画像を成すインタレース画像をそれぞれ１フィールド周期ずつ、直列に接続された４つのフィールドメモリによって遅延させることが行われ、テレシネ動画像を成すインタレース画像として入力された第１のインタレース画像と、第１のインタレース画像より４フィールド周期だけ先に入力され、遅延ステップの処理により４フィールド周期だけ遅延された第２のインタレース画像が４：１の比率で合成され、第１と第２のインタレース画像が１：０の比率で合成される。また、合成されることによって得られたインタレース画像と、第１のインタレース画像より２フィールド周期だけ先に入力され、２フィールド周期だけ遅延された第３のインタレース画像が比較され、合成されることによって得られたインタレース画像と、第３のインタレース画像が比較される。さらに、高フレームレート動画像を成すプログレッシブ画像が、所定の周期毎に単色のプログレッシブ画像に置換され、比較されたインタレース画像のうちの少なくとも一方が等しいタイミングである１／１２秒周期のタイミングに基づき、３／７２秒周期で、出力された高フレームレート動画像を成すプログレッシブ画像を単色のプログレッシブ画像で置換させることが行われる。
【００２３】
【発明の実施の形態】
図４は、本発明を適用したテレシネ画像変換装置の構成例を示している。このテレシネ画像変換装置１は、例えば、テレビジョン受像器等のテレビジョン放送信号を受信して表示する機器に内蔵されるものであり、入力されるテレシネ画像（６０Ｈｚのインタレース画像）を、より高いフレームレート（例えば、７２Ｈｚのプログレッシブ画像）に変換するものである。
【００２４】
テレシネ画像変換装置１において、入力されるテレシネ画像（以下、インタレース画像Ｉ１とも記述する）はフィールドメモリ２、および画像混合部６，９，１１に入力される。入力されるテレシネ画像は、図５に示すように、インタレース画像ａ_o，ａ_e，Ｔ１，ｂ_e，ｂ_o，ｃ_e，ｃ_o，Ｔ２，ｄ_o，ｄ_e，…が順に配置されているものとする。ここで、インタレース画像Ｔ１，Ｔ２は、テレシネ変換によって挿入された、補間された画像である。
【００２５】
補間されたインタレース画像Ｔ１は、テレシネ画像が直線補間型内挿方式である場合、インタレース画像ａ_o，ｂ_oを１：４で合成したものであり、テレシネ画像が３−２プルダウン方式である場合、インタレース画像ａ_o，ｂ_oを０：１で合成したものである。同様に、補間されたインタレース画像Ｔ２は、テレシネ画像が直線補間型内挿方式である場合、インタレース画像ｃ_o，ｄ_oを１：４で合成したものであり、テレシネ画像が３−２プルダウン方式である場合、インタレース画像ｃ_o，ｄ_oを０：１で合成したものである。
【００２６】
フィールドメモリ２は、入力されるインタレース画像Ｉ１を１フィールド周期（１／６０秒）だけ遅延してフィールドメモリ３、および画像混合部６に出力する。以下、フィールドメモリ２の出力をインタレース画像Ｉ２と記述する。フィールドメモリ３は、入力されるインタレース画像Ｉ２を１フィールド周期だけ遅延してフィールドメモリ４、および比較部１０，１２に出力する。以下、フィールドメモリ３の出力をインタレース画像Ｉ３と記述する。フィールドメモリ４は、入力されるインタレース画像Ｉ３を１フィールド周期だけ遅延してフィールドメモリ５、および画像混合部７に出力する。以下、フィールドメモリ４の出力をインタレース画像Ｉ４と記述する。フィールドメモリ５は、入力されるインタレース画像Ｉ４を１フィールド周期だけ遅延して画像混合部７，９，１１に出力する。以下、フィールドメモリ５の出力をインタレース画像Ｉ５と記述する。
【００２７】
インタレース画像Ｉ１，Ｉ２，Ｉ３，Ｉ４，Ｉ５は、それぞれ、図５に示されたように、１フィールド周期ずつ、ずれたものとなる。
【００２８】
画像混合部６は、インタレース画像Ｉ４と、インタレース画像Ｉ４よりも１フィールド周期だけ先行しているインタレース画像Ｉ５を重畳してプログレッシブ画像を生成し、フレームメモリ８に出力する。以下、画像混合部７の６０Ｈｚの出力をプログレッシブ画像Ｐ１と記述する。
【００２９】
画像混合部７は、インタレース画像Ｉ１と、インタレース画像Ｉ１よりも１フィールド周期だけ先行しているインタレース画像Ｉ２を重畳してプログレッシブ画像を生成し、フレームメモリ８に出力する。以下、画像混合部６の６０Ｈｚの出力をプログレッシブ画像Ｐ２と記述する。
【００３０】
ここで、プログレッシブ画像Ｐ１，Ｐ２は、５／６０＝１／１２周期のタイミングにおいて、テレシネ画像の元となったフィルムソースが復元されたものとなっている。
【００３１】
２フレーム分の容量を有するフレームメモリ８は、フレームメモリ制御部１４から１／１２秒周期で入力される書き込み制御信号に従い、画像混合部６から入力されるプログレッシブ画像Ｐ１と、画像混合部７から入力されるプログレッシブ画像Ｐ２を記憶する。このときのフレームメモリ８に記憶されるプログレッシブ画像Ｐ１，Ｐ２は、テレシネ画像の元となったフィルムソースの連続する２枚のプログレッシブ画像が復元されたものとなっており、１画像につき１／２４秒周期で記憶することになる。
【００３２】
また、フレームメモリ８は、フレームメモリ制御部１４から入力される１／７２Ｈｚ周期の読み出し制御信号に従い、記憶しているプログレッシブ画像Ｐ１，Ｐ２を３回ずつ、すなわち、プログレッシブ画像Ｐ１，Ｐ１，Ｐ１，Ｐ２，Ｐ２，Ｐ２の順に７２Ｈｚで読み出してセレクタ１６に出力する。以下、フレームメモリ８の７２Ｈｚの出力をプログレッシブ画像Ｐ３と記述する。
【００３３】
画像混合部９は、インタレース画像Ｉ１と、インタレース画像Ｉ１よりも４フィールド周期だけ先行しているインタレース画像Ｉ５を、４：１の比率で合成し、その結果得られるインタレース画像を比較部１０に出力する。以下、画像混合部９の出力をインタレース画像Ｉ６と記述する。
【００３４】
画像混合部１１は、インタレース画像Ｉ１と、インタレース画像Ｉ１よりも４フィールド周期だけ先行しているインタレース画像Ｉ５を、１：０の比率で合成し、その結果得られるインタレース画像を比較部１０に出力する。以下、画像混合部１１の出力をインタレース画像Ｉ７と記述する。なお、インタレース画像Ｉ７は、インタレース画像Ｉ１と同一のものとなる。
【００３５】
比較部１０は、フィールドメモリ３から入力されるインタレース画像Ｉ３と、画像混合部９から入力されるインタレース画像Ｉ６を比較して、両者が等しい場合（すなわち、インタレース画像Ｉ３が、直線補間型内挿方式により５／６０秒周期で挿入されている補間されたインタレース画像である場合）には１を、両者が異なる場合には０を論理和演算部１３に出力する。
【００３６】
比較部１２は、フィールドメモリ３から入力されるインタレース画像Ｉ３と、画像混合部１１から入力されるインタレース画像Ｉ７を比較して、両者が等しい場合（すなわち、インタレース画像Ｉ３が３−２プルダウン方式により５／６０秒周期で挿入される補間用のインタレース画像である場合）には１を、両者が異なる場合には０を論理和演算部１３に出力する。
【００３７】
論理和演算部１３は、比較部１０の出力と比較部１２の出力との論理和を演算し、演算結果をフレームメモリ１４およびセレクタ制御部１５に出力する。この演算結果は、比較部１０または比較部１２のうちの少なくとも一方が１である場合、すなわち、５／６０（＝１／１２）秒周期で１となる。
【００３８】
フレームメモリ制御部１４は、論理和演算部１３からの演算結果が１であるタイミング（すなわち、１／１２秒周期）で書き込み制御信号をフレームメモリ８に出力する。また、フレームメモリ制御部１４は、書き込み制御信号を出力する６倍速いタイミング（すなわち、１／７２秒周期）で読み出し制御信号をフレームメモリ８に出力する。セレクタ制御部１５は、論理和演算部１３からの演算結果が１であるタイミングに基づき、３／７２秒周期で切替制御信号をセレクタ１６に出力する。
【００３９】
セレクタ１６は、通常、フレームメモリ８から入力されているプログレッシブ画像Ｐ３を後段に出力し、セレクタ制御部１５から切替制御信号が入力されたタイミングには、プログレッシブ画像Ｐ３の代わりに、黒フレーム生成部１７から入力されている画面全体が黒色のプログレッシブ画像（以下、黒フレームと記述する）を後段に出力する。これにより、セレクタ１６から出力される７２Ｈｚのプログレッシブ画像（以下、変換画像と記述する）は、同一のプログレッシブ画像Ｐ３と黒フレームが２：１で配置されたものとなる。
【００４０】
次に、テレシネ画像変換装置１の動作について、図６および図７を参照して説明する。
【００４１】
ステップＳ１において、入力されたテレシネ画像（６０Ｈｚのインタレース画像）が、２４Ｈｚのプログレッシブ画像に変換される。具体的には、画像混合部６が、フィールドメモリ４からのインタレース画像Ｉ４と、インタレース画像Ｉ４よりも１フィールド周期だけ先行している、フィールドメモリ５からのインタレース画像Ｉ５を重畳してプログレッシブ画像Ｐ１を生成し、フレームメモリ８に出力する。また、画像混合部７が、入力されたインタレース画像Ｉ１と、インタレース画像Ｉ１よりも１フィールド周期だけ先行している、フィールドメモリ５からのインタレース画像Ｉ２を重畳してプログレッシブ画像Ｐ２を生成し、フレームメモリ８に出力する。
【００４２】
フレームメモリ８は、フレームメモリ制御部１４から１／１２秒周期で入力された書き込み制御信号に従い、画像混合部６から入力されたプログレッシブ画像Ｐ１と、画像混合部７から入力されたプログレッシブ画像Ｐ２を記憶する。したがって、フレームメモリ８上に、テレシネ画像の元となった２４Ｈｚの連続する２枚のプログレッシブ画像が復元されたことになる。
【００４３】
ステップＳ２において、フレームメモリ８に記憶された２４Ｈｚのプログレッシブ画像が、７２Ｈｚのプログレッシブ画像に変換される。具体的には、フレームメモリ８が、フレームメモリ制御部１４から入力された１／７２Ｈｚ周期の読み出し制御信号に従い、記憶しているプログレッシブ画像Ｐ１，Ｐ２を３回ずつ、すなわち、プログレッシブ画像Ｐ１，Ｐ１，Ｐ１，Ｐ２，Ｐ２，Ｐ２の順に７２Ｈｚで読み出してセレクタ１６に出力する。
【００４４】
ステップＳ３において、フレームメモリ８から出力された７２Ｈｚのプログレッシブ画像Ｐ３が、３／７２秒周期で黒フレームに置換される。具体的には、セレクタ１６が、通常、フレームメモリ８から入力されたプログレッシブ画像Ｐ３を後段に出力し、セレクタ制御部１５からの３／７２秒周期の切替制御信号が入力されたタイミングで、プログレッシブ画像Ｐ３の代わりに、黒フレーム生成部１７から入力されている黒フレームを後段に出力する。
【００４５】
セレクタ１６から出力された７２Ｈｚの変換画像は、同一のプログレッシブ画像Ｐ３と黒フレームが２：１で配置されたものとなる。この変換画像は、ディスプレイに表示された場合、視覚的に違和感ないものとなる。以上で、テレシネ画像変換装置１の動作の説明を終了する。
【００４６】
なお、セレクタ１６から出力された７２Ｈｚの変換画像における黒フレームの配置は、図７に示されたように、２枚の連続して配置された同一のプログレッシブ画像Ｐ３の後に配置するのではなく、２枚の同一のプログレッシブ画像Ｐ３の間に配置するようにしてもよい。
【００４７】
また、黒フレーム生成部１７からセレクタ１６に供給する黒フレームは、完全な黒色（輝度が０）でなくてもよく、輝度を変更できるようにしてもよい。例えば、若干輝度を上げた黒フレームを供給するようにすれば、変換画像をディスプレイに表示させたときの画面全体の明るさが増すことができる。
【００４８】
さらに、本発明は、NTSC方式以外の放送方式（例えば、PAL方式等）のテレシネ画像に適用することが可能である。また、本発明のように、本来の画像を黒フレームで置換する方法は、例えば、倍速再生画像の見栄得を良くすることに適用することができる。
【００４９】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【００５０】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【００５１】
図８は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータ（ＰＣ）２０は、CPU(Central Processing Unit)２１を内蔵している。CPU２１にはバス２４を介して、入出力インタフェース２５が接続されている。バス２４には、ROM(Read Only Memory)２２およびRAM(Random Access Memory)２３が接続されている。
【００５２】
入出力インタフェース２５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部２６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部２７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部２８、LAN（Local Area Network）アダプタなどよりなり、インタネットに代表されるネットワークを介した通信処理を実行する通信部２９が接続されている。また、磁気ディスク３１（フレキシブルディスクを含む）、光ディスク３２（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク３３（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリ３４などの記録媒体に対してデータを読み書きするドライブ３０が接続されている。
【００５３】
CPU２１は、ROM２２に記憶されているプログラム、または磁気ディスク２１乃至半導体メモリ２４から読み出されて記憶部２８にインストールされ、記憶部２８からRAM２３にロードされたプログラムに従って各種の処理を実行する。
【００５４】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００５５】
【発明の効果】
以上のように、本発明によれば、テレシネ画像を元にしたフレームレートの高いプログレッシブ画像を、視覚的に違和感なく表示させることが可能となる。
【図面の簡単な説明】
【図１】３−２プルダウン方式のテレシネ画像を示す図である。
【図２】直線補間型内挿方式のテレシネ画像を示す図である。
【図３】テレシネ画像から変換されたレームレートの高いプログレッシブ画像を示す図である。
【図４】本発明の一実施の形態であるテレシネ画像変換装置の構成例を示すブロック図である。
【図５】図４のテレシネ画像変換装置を構成する各部の出力を示す図である。
【図６】図４のテレシネ画像変換装置の動作を説明するフローチャートである。
【図７】図４のテレシネ画像変換装置の動作を説明する図である。
【図８】汎用パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
１テレシネ変換装置，２，３，４，５フィールドメモリ，６，７，画像混合部，８フレームメモリ，９画像混合部，１０比較部，１１画像混合部，１２比較部，１３論理和演算部，１４フレームメモリ制御部，１５セレクタ制御部，１６セレクタ，１７黒フレーム生成部，２１ CPU，３１磁気ディスク，３２光ディスク，３３光磁気ディスク，３４半導体メモリ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing device and method, a recording medium, a program, and a display device, and more particularly, to convert a telecine image obtained by converting a film source such as a movie for television broadcasting into a visually uncomfortable image. The present invention relates to an image processing apparatus and method, a recording medium, a program, and a display device.
[0002]
[Prior art]
An image of a film source such as a movie is usually composed of a 24 Hz progressive image (frame image). On the other hand, NTSC television broadcast video used in Japan and the like is composed of 60 Hz interlaced images (field images).
[0003]
Therefore, when a film source such as a movie is broadcast on television, a process of converting a 24 Hz progressive image into a 60 Hz interlaced image, so-called telecine conversion process, is performed. As the telecine conversion process, a 3-2 pull-down method and a linear interpolation type interpolation method are known.
[0004]
Hereinafter, the interlaced image of 60 Hz, which is the processing result of the telecine conversion process, is described as a telecine image. Also, a field image x consisting of an even number line of the frame image X (X = A, B, C,...) Of the film source. _e , Field image x consisting of odd lines of frame image X of film source _o Is described.
[0005]
In the 3-2 pull-down method, a field image composed of odd lines and a field image composed of even lines of the frame image of the film source are alternately displayed with a 1/60 second period, and a field image for interpolation with a 5/60 second period. Is inserted. That is, as shown in FIG. _o , A _e , B _o , B _e , B _o , C _e , C _o , D _e , D _o , D _e It is said that ... As described above, in the telecine image by the 3-2 pull-down method, the image displayed for 1/24 seconds in the original film source is displayed for 2/60 seconds or 3/60 seconds. As a result, for example, a phenomenon (so-called judder) occurs in which a portion that has moved smoothly in a film source image appears to be a non-smooth discontinuous movement in a telecine image. It can make you feel unnatural.
[0006]
In the linear interpolation type interpolation method, a field image consisting of odd lines and a field image consisting of even lines of the frame image of the film source are alternately displayed in a 1/60 second cycle, and two frames that move back and forth in a 5/60 second cycle. An interpolating field image obtained by weighted synthesis of frame images is displayed. That is, the telecine image by the linear interpolation type interpolation method is a field image a as shown in FIG. _o , A _e , A-b, b _e , B _o , C _e , C _o , Cd, d _o , D _e It is said that ... Here, the field image (ab) is a field image obtained by weighting and combining the frame images A and B at a ratio of 1: 4 corresponding to the display start timing. The field image (cd) is a field image obtained by weighting and combining the frame images C and D at 1: 4 in accordance with the display start timing.
[0007]
The telecine image by the linear interpolation type interpolation method is prevented from feeling visual unnaturalness like the telecine image by the 3-2 pull-down method described above. However, since a field image that did not originally exist, such as a field image (ab), is inserted, there is a problem that the image quality deteriorates.
[0008]
In order to solve such a problem, it is detected that the received television broadcast signal is a telecine image (see, for example, Patent Documents 1 and 2), a 24 Hz progressive image is restored from the telecine image, and the video There is a method of converting the frame rate to n times (n is an integer; for example, n = 3) and displaying it as a progressive image of (24 × n) Hz so that flicker is not noticeable (for example, Patent Document 1). See).
[0009]
[Patent Document 1]
Japanese Patent No. 3125991
[Patent Document 2]
JP 2000-287125 A
[0010]
[Problems to be solved by the invention]
However, when a 24 Hz progressive image was restored from a telecine image, the frame rate was converted to 72 Hz, which was tripled, and the image was verified on a CRT (Cathode Ray Tube) display, the characters were at a constant speed like a movie end roll. In moving scenes, it has been confirmed that phenomena such as changes in the brightness (brightness) of characters occur at a high speed, which may give a visually uncomfortable feeling.
[0011]
In addition, this visually unnatural phenomenon is thought to have an effect on the afterimage characteristics of CRT displays. Therefore, when a 72 Hz progressive image is displayed on an LCD (Liquid Crystal Display), which is expected to become more widespread in the future, the afterimage characteristic is inferior to that of a CRT display.
[0012]
Of course, it is also necessary to improve the afterimage characteristics on the display side, but even for progressive images with an increased frame rate, it is necessary to take measures to prevent such visually uncomfortable phenomena. is necessary.
[0013]
The present invention has been made in view of such a situation, and an object of the present invention is to display a progressive image having a high frame rate based on a telecine image visually without a sense of incongruity.
[0014]
[Means for Solving the Problems]
An image processing apparatus according to the present invention restores a source moving image composed of a progressive image updated at 24 Hz based on a telecine moving image composed of an interlace image updated at 60 Hz, and a restoration means restored by the restoring unit. Source video By outputting one progressive image three times at a time Converts to a high frame rate video consisting of progressive images updated at 72Hz You Conversion means, delay means for delaying interlaced images forming a telecine moving image sequentially input by each of four field memories connected in series by one field period, and inputting as an interlaced image forming a telecine moving image The first interlaced image and the second interlaced image which are input four field periods ahead of the first interlaced image and delayed by four field periods by the delay means are synthesized at a ratio of 4: 1. First synthesizing means, second synthesizing means for synthesizing the first and second interlaced images at a ratio of 1: 0, and an interlaced image obtained by synthesizing by the first synthesizing means. The third interlaced image is input two field periods ahead of the first interlaced image and delayed by two field periods by the delay means. First comparison means for comparing source images, interlaced images obtained by combining by second combining means, second comparison means for comparing third interlaced images, and high frame A replacement means for replacing a progressive image forming a rate moving image with a monochromatic progressive image every predetermined period; an interlaced image compared by the first comparison means; and an interlaced image compared by the second comparison means The progressive image forming the high frame rate moving image output from the conversion means is replaced with a monochromatic progressive image at a period of 3/72 second based on the timing of the 1/12 second period, at least one of which is equal. And control means for replacing the means.
[0018]
The image processing method according to the present invention includes a restoration step of restoring a source moving image composed of a progressive image updated at 24 Hz based on a telecine moving image composed of an interlace image updated at 60 Hz, and a processing of the restoration step. Restored source video By outputting one progressive image three times at a time Converts to a high frame rate video consisting of progressive images updated at 72Hz You A conversion step, a delay step for delaying the interlaced images forming the telecine moving images sequentially input by four field memories connected in series by one field period, and an interlaced image forming the telecine moving images. The first interlaced image and the second interlaced image, which are input by 4 field periods ahead of the first interlaced image and delayed by 4 field periods by the processing of the delay step, are in a ratio of 4: 1. Obtained by combining the first combining step, the second combining step for combining the first and second interlaced images at a ratio of 1: 0, and the first combining step. The interlaced image and the first interlaced image are input two field periods before the delay step processing. A first comparison step for comparing a third interlaced image delayed by two field periods, an interlaced image obtained by combining by the processing of the second combining step, and a third interlaced image A second comparison step for comparing images, a replacement step for replacing a progressive image forming a high frame rate moving image with a monochromatic progressive image every predetermined period, and an interface compared by the processing of the first comparison step. High frame rate moving image output at a 3/72 second period based on the timing of a 1/12 second period, at least one of the interlaced images compared at the second comparison step being the same timing And a control step of replacing the progressive image formed by a monochrome progressive image.
[0019]
A recording medium program according to the present invention includes a restoration step of restoring a source moving image composed of a progressive image updated at 24 Hz based on a telecine moving image composed of an interlace image updated at 60 Hz, and processing of the restoration step Source video restored in By outputting one progressive image three times at a time Converts to a high frame rate video consisting of progressive images updated at 72Hz You A conversion step, a delay step for delaying the interlaced images forming the telecine moving images sequentially input by four field memories connected in series by one field period, and an interlaced image forming the telecine moving images. The first interlaced image and the second interlaced image, which are input by 4 field periods ahead of the first interlaced image and delayed by 4 field periods by the processing of the delay step, are in a ratio of 4: 1. Obtained by combining the first combining step, the second combining step for combining the first and second interlaced images at a ratio of 1: 0, and the first combining step. The interlaced image and the first interlaced image are input two field periods before the delay step processing. A first comparison step for comparing a third interlaced image delayed by two field periods, an interlaced image obtained by combining by the processing of the second combining step, and a third interlaced image A second comparison step for comparing images, a replacement step for replacing a progressive image forming a high frame rate moving image with a monochromatic progressive image every predetermined period, and an interface compared by the processing of the first comparison step. High frame rate moving image output at a 3/72 second period based on the timing of a 1/12 second period, at least one of the interlaced images compared at the second comparison step being the same timing And a control step for replacing the progressive image forming a single color progressive image Which is the program.
[0020]
The program of the present invention is restored by a restoration step for restoring a source moving image composed of a progressive image updated at 24 Hz based on a telecine moving image composed of an interlace image updated at 60 Hz, and a processing of the restoration step. Source video By outputting one progressive image three times at a time Converts to a high frame rate video consisting of progressive images updated at 72Hz You A conversion step, a delay step for delaying the interlaced images forming the telecine moving images sequentially input by four field memories connected in series by one field period, and an interlaced image forming the telecine moving images. The first interlaced image and the second interlaced image, which are input by 4 field periods ahead of the first interlaced image and delayed by 4 field periods by the processing of the delay step, are in a ratio of 4: 1. Obtained by combining the first combining step, the second combining step for combining the first and second interlaced images at a ratio of 1: 0, and the first combining step. The interlaced image and the first interlaced image are input two field periods before the delay step processing. A first comparison step for comparing a third interlaced image delayed by two field periods, an interlaced image obtained by combining by the processing of the second combining step, and a third interlaced image A second comparison step for comparing images, a replacement step for replacing a progressive image forming a high frame rate moving image with a monochromatic progressive image every predetermined period, and an interface compared by the processing of the first comparison step. High frame rate moving image output at a 3/72 second period based on the timing of a 1/12 second period, at least one of the interlaced images compared at the second comparison step being the same timing And a control step for replacing the progressive image forming a monochrome image with a monochrome progressive image. To be executed by a computer.
[0021]
The display device of the present invention is based on a telecine moving image composed of an interlaced image updated at 60 Hz, reconstructing means for reconstructing a source moving image composed of a progressive image updated at 24 Hz, and reconstructed by the reconstructing device. Source video By outputting one progressive image three times at a time Converts to a high frame rate video consisting of progressive images updated at 72Hz You Conversion means, delay means for delaying interlaced images forming a telecine moving image sequentially input by each of four field memories connected in series by one field period, and inputting as an interlaced image forming a telecine moving image The first interlaced image and the second interlaced image which are input four field periods ahead of the first interlaced image and delayed by four field periods by the delay means are synthesized at a ratio of 4: 1. First synthesizing means, second synthesizing means for synthesizing the first and second interlaced images at a ratio of 1: 0, and an interlaced image obtained by synthesizing by the first synthesizing means. The third interlaced image is input two field periods ahead of the first interlaced image and delayed by two field periods by the delay means. First comparison means for comparing source images, interlaced images obtained by combining by second combining means, second comparison means for comparing third interlaced images, and high frame A replacement means for replacing a progressive image forming a rate moving image with a monochromatic progressive image every predetermined period; an interlaced image compared by the first comparison means; and an interlaced image compared by the second comparison means The progressive image forming the high frame rate moving image output from the conversion means is replaced with a monochromatic progressive image at a period of 3/72 second based on the timing of the 1/12 second period, at least one of which is equal. And control means for replacing the means.
[0022]
In the image processing apparatus and method, the recording medium, the program, and the display device of the present invention, a source moving image composed of a progressive image updated at 24 Hz based on a telecine moving image composed of an interlace image updated at 60 Hz. Is restored and the restored source video is By outputting one progressive image three times at a time Converted to a high frame rate video consisting of progressive images updated at 72 Hz. Ru . The interlaced images forming the telecine moving image sequentially input are delayed by four field memories connected in series for each one field period, and the first interlaced image input as the telecine moving image is input. And a second interlaced image that is input by 4 field periods ahead of the first interlaced image and delayed by 4 field periods by the processing of the delay step, is synthesized at a ratio of 4: 1, The first and second interlaced images are combined at a ratio of 1: 0. Also, the interlaced image obtained by the synthesis is compared with the third interlaced image that is input two field periods ahead of the first interlaced image and is delayed by two field periods. The interlaced image obtained by this is compared with the third interlaced image. Further, the progressive image forming the high frame rate moving image is replaced with a monochromatic progressive image every predetermined period, and at least one of the compared interlaced images has the same timing of 1/12 second period. Based on the 3/72 second period, the progressive image forming the output high frame rate moving image is replaced with a monochromatic progressive image.
[0023]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 4 shows a configuration example of a telecine image conversion apparatus to which the present invention is applied. The telecine image conversion apparatus 1 is built in a device that receives and displays a television broadcast signal such as a television receiver, for example. The telecine image conversion device 1 can input a telecine image (60 Hz interlaced image) more. The image is converted to a high frame rate (for example, a 72 Hz progressive image).
[0024]
In the telecine image conversion apparatus 1, an input telecine image (hereinafter also referred to as an interlaced image I 1) is input to the field memory 2 and the image mixing units 6, 9, and 11. As shown in FIG. 5, the input telecine image is an interlaced image a. _o , A _e , T1, b _e , B _o , C _e , C _o , T2, d _o , D _e ,... Are arranged in order. Here, the interlaced images T1 and T2 are interpolated images inserted by telecine conversion.
[0025]
Interpolated interlaced image T1 is interlaced image a when the telecine image is a linear interpolation type interpolation method. _o , B _o When the telecine image is a 3-2 pull-down method, the interlaced image a _o , B _o Is synthesized at 0: 1. Similarly, the interlaced image T2 interpolated is the interlaced image c2 when the telecine image is a linear interpolation type interpolation method. _o , D _o When the telecine image is a 3-2 pull-down method, the interlaced image c _o , D _o Is synthesized at 0: 1.
[0026]
The field memory 2 delays the input interlaced image I1 by one field period (1/60 seconds) and outputs it to the field memory 3 and the image mixing unit 6. Hereinafter, the output of the field memory 2 is described as an interlaced image I2. The field memory 3 delays the input interlaced image I2 by one field period and outputs it to the field memory 4 and the comparison units 10 and 12. Hereinafter, the output of the field memory 3 is described as an interlaced image I3. The field memory 4 delays the input interlaced image I3 by one field period and outputs it to the field memory 5 and the image mixing unit 7. Hereinafter, the output of the field memory 4 is described as an interlaced image I4. The field memory 5 delays the input interlaced image I4 by one field period and outputs it to the image mixing units 7, 9, and 11. Hereinafter, the output of the field memory 5 is described as an interlaced image I5.
[0027]
The interlaced images I1, I2, I3, I4, and I5 are shifted by one field period as shown in FIG.
[0028]
The image mixing unit 6 generates a progressive image by superimposing the interlaced image I4 and the interlaced image I5 that precedes the interlaced image I4 by one field period, and outputs the progressive image to the frame memory 8. Hereinafter, the 60 Hz output of the image mixing unit 7 is described as a progressive image P1.
[0029]
The image mixing unit 7 generates a progressive image by superimposing the interlaced image I1 and the interlaced image I2 that precedes the interlaced image I1 by one field period, and outputs the progressive image to the frame memory 8. Hereinafter, the 60 Hz output of the image mixing unit 6 is described as a progressive image P2.
[0030]
Here, the progressive images P1 and P2 are obtained by restoring the film source that is the source of the telecine image at the timing of 5/60 = 1/12 cycle.
[0031]
The frame memory 8 having a capacity of 2 frames is provided with a progressive image P1 input from the image mixing unit 6 and an image mixing unit 7 in accordance with a write control signal input from the frame memory control unit 14 in a 1/12 second cycle. The input progressive image P2 is stored. The progressive images P1 and P2 stored in the frame memory 8 at this time are obtained by restoring two consecutive progressive images of the film source that is the base of the telecine image, and 1/24 per image. It will be memorized in seconds.
[0032]
The frame memory 8 also stores the stored progressive images P1, P2 three times, that is, progressive images P1, P1, P1, in accordance with a 1/72 Hz period read control signal input from the frame memory control unit 14. Read out in the order of P2, P2 and P2 at 72 Hz and output to the selector 16. Hereinafter, the 72 Hz output of the frame memory 8 is described as a progressive image P3.
[0033]
The image mixing unit 9 combines the interlaced image I1 and the interlaced image I5 that precedes the interlaced image I1 by a period of 4 fields at a ratio of 4: 1, and compares the resulting interlaced images. To the unit 10. Hereinafter, the output of the image mixing unit 9 is described as an interlaced image I6.
[0034]
The image mixing unit 11 combines the interlaced image I1 and the interlaced image I5 that precedes the interlaced image I1 by a period of 4 fields at a ratio of 1: 0, and compares the resulting interlaced images. To the unit 10. Below, the image mixing unit 11 Is described as an interlaced image I7. The interlaced image I7 is the same as the interlaced image I1.
[0035]
The comparison unit 10 compares the interlaced image I3 input from the field memory 3 with the interlaced image I6 input from the image mixing unit 9, and if both are equal (that is, the interlaced image I3 is linearly interpolated). 1 is output to the logical sum operation unit 13 when the interpolated interlaced image is inserted at a period of 5/60 seconds by the mold interpolation method, and 0 is output when they are different.
[0036]
The comparison unit 12 compares the interlaced image I3 input from the field memory 3 with the interlaced image I7 input from the image mixing unit 11, and if both are equal (that is, the interlaced image I3 is 3-2). 1 is output to the logical sum calculation unit 13 when the two are different from each other (when the interlaced image is an interpolation interlaced image inserted at a period of 5/60 seconds by the pull-down method).
[0037]
The logical sum calculation unit 13 calculates a logical sum of the output of the comparison unit 10 and the output of the comparison unit 12 and outputs the calculation result to the frame memory 14 and the selector control unit 15. The calculation result is 1 when at least one of the comparison unit 10 or the comparison unit 12 is 1, that is, at a period of 5/60 (= 1/12) seconds.
[0038]
The frame memory control unit 14 outputs a write control signal to the frame memory 8 at a timing at which the calculation result from the OR operation unit 13 is 1 (that is, a 1/12 second cycle). In addition, the frame memory control unit 14 outputs a read control signal to the frame memory 8 at a timing six times faster (that is, a 1/72 second period) at which the write control signal is output. The selector control unit 15 outputs a switching control signal to the selector 16 at a cycle of 3/72 seconds based on the timing when the calculation result from the logical sum calculation unit 13 is 1.
[0039]
The selector 16 normally outputs the progressive image P3 input from the frame memory 8 to the subsequent stage, and at the timing when the switching control signal is input from the selector control unit 15, the black frame generation unit is used instead of the progressive image P3. A progressive image (hereinafter referred to as a black frame) in which the entire screen input from 17 is black is output to the subsequent stage. Thus, the 72 Hz progressive image output from the selector 16 (hereinafter referred to as a converted image) is the same progressive image P3 and black frame arranged at 2: 1.
[0040]
Next, the operation of the telecine image conversion apparatus 1 will be described with reference to FIGS.
[0041]
In step S1, the input telecine image (60 Hz interlaced image) is converted into a 24 Hz progressive image. Specifically, the image mixing unit 6 superimposes the interlaced image I4 from the field memory 4 and the interlaced image I5 from the field memory 5 that precedes the interlaced image I4 by one field period. A progressive image P1 is generated and output to the frame memory 8. Also, the image mixing unit 7 generates a progressive image P2 by superimposing the input interlaced image I1 and the interlaced image I2 from the field memory 5 that precedes the interlaced image I1 by one field period. And output to the frame memory 8.
[0042]
The frame memory 8 receives the progressive image P1 input from the image mixing unit 6 and the progressive image P2 input from the image mixing unit 7 in accordance with a write control signal input from the frame memory control unit 14 at a cycle of 1/12 second. Remember. Therefore, two continuous progressive images of 24 Hz that are the base of the telecine image are restored on the frame memory 8.
[0043]
In step S2, the 24 Hz progressive image stored in the frame memory 8 is converted into a 72 Hz progressive image. Specifically, the frame memory 8 reads the stored progressive images P1 and P2 three times, that is, the progressive images P1 and P1 according to the 1/72 Hz cycle read control signal input from the frame memory control unit 14. , P 1, P 2, P 2, P 2 in this order and read to 72 Hz.
[0044]
In step S3, the 72 Hz progressive image P3 output from the frame memory 8 is replaced with a black frame at a period of 3/72 seconds. Specifically, the selector 16 normally outputs the progressive image P3 input from the frame memory 8 to the subsequent stage, and at the timing when the switching control signal having a period of 3/72 seconds from the selector control unit 15 is input. Instead of the image P3, the black frame input from the black frame generation unit 17 is output to the subsequent stage.
[0045]
The converted image of 72 Hz output from the selector 16 has the same progressive image P3 and black frame arranged at 2: 1. When this converted image is displayed on the display, it is visually uncomfortable. Above, description of operation | movement of the telecine image converter 1 is complete | finished.
[0046]
It should be noted that the arrangement of black frames in the 72 Hz converted image output from the selector 16 is not arranged after two identical progressive images P3 arranged in succession, as shown in FIG. It may be arranged between two identical progressive images P3.
[0047]
The black frame supplied from the black frame generation unit 17 to the selector 16 may not be completely black (the luminance is 0), and the luminance may be changed. For example, if a black frame with slightly increased brightness is supplied, the brightness of the entire screen when the converted image is displayed on the display can be increased.
[0048]
Furthermore, the present invention can be applied to telecine images of a broadcasting system other than the NTSC system (for example, the PAL system). Moreover, the method of replacing the original image with a black frame as in the present invention can be applied to, for example, improving the appearance of a double-speed playback image.
[0049]
By the way, the series of processes described above can be executed by hardware, but can also be executed by software. When a series of processing is executed by software, a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a recording medium in a general-purpose personal computer or the like.
[0050]
By the way, the series of processes described above can be executed by hardware, but can also be executed by software. When a series of processing is executed by software, a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a recording medium in a general-purpose personal computer or the like.
[0051]
FIG. 8 shows a configuration example of a general-purpose personal computer. The personal computer (PC) 20 includes a CPU (Central Processing Unit) 21. An input / output interface 25 is connected to the CPU 21 via the bus 24. A ROM (Read Only Memory) 22 and a RAM (Random Access Memory) 23 are connected to the bus 24.
[0052]
The input / output interface 25 includes an input unit 26 including an input device such as a keyboard and a mouse for a user to input operation commands, an output unit 27 for outputting a processing operation screen and an image of the processing result to a display device, a program and various data A storage unit 28 including a hard disk drive to be stored, a LAN (Local Area Network) adapter, and the like are connected to a communication unit 29 that executes communication processing via a network represented by the Internet. Also, a magnetic disk 31 (including a flexible disk), an optical disk 32 (including a CD-ROM (Compact Disc-Read Only Memory), a DVD (Digital Versatile Disc)), and a magneto-optical disk 33 (including an MD (Mini Disc)). Alternatively, a drive 30 for reading / writing data from / to a recording medium such as the semiconductor memory 34 is connected.
[0053]
The CPU 21 executes various processes according to a program stored in the ROM 22 or a program read from the magnetic disk 21 to the semiconductor memory 24 and installed in the storage unit 28 and loaded from the storage unit 28 to the RAM 23.
[0054]
In the present specification, the step of describing the program recorded in the recording medium is not limited to the processing performed in time series according to the described order, but is not necessarily performed in time series, either in parallel or individually. The process to be executed is also included.
[0055]
【The invention's effect】
As described above, according to the present invention, a progressive image with a high frame rate based on a telecine image can be displayed visually without a sense of incongruity.
[Brief description of the drawings]
FIG. 1 is a diagram showing a 3-2 pull-down telecine image.
FIG. 2 is a diagram showing a telecine image of a linear interpolation type interpolation method.
FIG. 3 is a diagram showing a progressive image with a high ram rate converted from a telecine image.
FIG. 4 is a block diagram illustrating a configuration example of a telecine image conversion apparatus according to an embodiment of the present invention.
FIG. 5 is a diagram showing the output of each unit constituting the telecine image conversion apparatus of FIG. 4;
6 is a flowchart for explaining the operation of the telecine image conversion apparatus of FIG. 4; FIG.
7 is a diagram for explaining the operation of the telecine image conversion apparatus in FIG. 4; FIG.
FIG. 8 is a block diagram illustrating a configuration example of a general-purpose personal computer.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Telecine converter, 2, 3, 4, 5 Field memory 6, 7, 7 Image mixing part, 8 Frame memory, 9 Image mixing part, 10 Comparison part, 11 Image mixing part, 12 Comparison part, 13 OR operation part , 14 frame memory control unit, 15 selector control unit, 16 selector, 17 black frame generation unit, 21 CPU, 31 magnetic disk, 32 optical disk, 33 magneto-optical disk, 34 semiconductor memory

Claims

Based on a source video consisting of a progressive image updated at 24 Hz and a telecine video consisting of an interlaced image updated at 60 Hz, generated by a 3-2 pull-down method or a linear interpolation type interpolation method. Reconstructing means for reconstructing the source moving image comprising a progressive image updated at 24 Hz,
A converting unit that converts the high frame rate video consisting of a progressive image is updated at 72Hz by outputting by the said source video image restored by the restoration means, one for progressive image 3 times,
Delay means for delaying interlaced images forming the telecine moving image inputted in sequence by four field memories connected in series by one field period each;
A first interlaced image input as an interlaced image forming the telecine moving image, and a first interlaced image input by 4 field periods before the first interlaced image, and delayed by 4 field periods by the delay means. First synthesizing means for synthesizing two interlaced images at a ratio of 4: 1;
Second combining means for combining the first and second interlaced images at a ratio of 1: 0;
The interlaced image obtained by being synthesized by the first synthesizing unit and a third field which is input by two field periods ahead of the first interlaced image and delayed by two field periods by the delay unit. First comparison means for comparing the interlaced images of
Second comparison means for comparing the interlaced image obtained by combining by the second combining means and the third interlaced image;
Replacement means for replacing the progressive image forming the high frame rate moving image with a monochromatic progressive image every predetermined period;
Based on the timing of the 1/12 second period, at which at least one of the interlaced image compared by the first comparing means and the interlaced image compared by the second comparing means is equal, 3/72 An image processing apparatus comprising: a control unit that replaces the progressive image that forms the high frame rate moving image output from the conversion unit with the single-color progressive image by the replacement unit in a second cycle.

Based on a source video consisting of a progressive image updated at 24 Hz and a telecine video consisting of an interlaced image updated at 60 Hz, generated by a 3-2 pull-down method or a linear interpolation type interpolation method. A restoration step of restoring the source moving image comprising a progressive image updated at 24 Hz;
A conversion step that converts the high frame rate video consisting of a progressive image is updated at 72Hz by the process the source video image restored in the restoration step, and outputs three times for one progressive image,
A delay step of delaying interlaced images constituting the telecine moving image input in sequence by four field memories connected in series by one field period;
The first interlaced image input as the interlaced image forming the telecine moving image and the first interlaced image are input prior to the first interlaced image by four field periods, and are delayed by four field periods by the processing of the delay step. A first combining step of combining the second interlaced image at a ratio of 4: 1;
A second combining step of combining the first and second interlaced images at a ratio of 1: 0;
The interlaced image obtained by combining in the process of the first combining step and the first interlaced image are input two field periods ahead of the first interlaced image, and delayed by two field periods by the process of the delaying step. A first comparison step for comparing the third interlaced image obtained,
A second comparison step of comparing the interlaced image obtained by the synthesis by the processing of the second synthesis step and the third interlaced image;
A replacement step of replacing the progressive image forming the high frame rate moving image with a monochromatic progressive image every predetermined period;
Based on the timing of the 1/12 second period, at which at least one of the interlaced image compared by the processing of the first comparison step and the interlaced image compared by the second comparison step is equal, 3 And a control step of replacing the progressive image forming the output high frame rate moving image with the monochrome progressive image at a period of 72 seconds.

Based on a source video consisting of a progressive image updated at 24 Hz and a telecine video consisting of an interlaced image updated at 60 Hz, generated by a 3-2 pull-down method or a linear interpolation type interpolation method. A restoration step of restoring the source moving image comprising a progressive image updated at 24 Hz;
A conversion step that converts the high frame rate video consisting of a progressive image is updated at 72Hz by the process the source video image restored in the restoration step, and outputs three times for one progressive image,
A delay step of delaying interlaced images constituting the telecine moving image input in sequence by four field memories connected in series by one field period;
The first interlaced image input as the interlaced image forming the telecine moving image and the first interlaced image are input prior to the first interlaced image by four field periods, and are delayed by four field periods by the processing of the delay step. A first combining step of combining the second interlaced image at a ratio of 4: 1;
A second combining step of combining the first and second interlaced images at a ratio of 1: 0;
The interlaced image obtained by combining in the process of the first combining step and the first interlaced image are input two field periods ahead of the first interlaced image, and delayed by two field periods by the process of the delaying step. A first comparison step for comparing the third interlaced image obtained,
A second comparison step of comparing the interlaced image obtained by the synthesis by the processing of the second synthesis step and the third interlaced image;
A replacement step of replacing the progressive image forming the high frame rate moving image with a monochromatic progressive image every predetermined period;
Based on the timing of the 1/12 second period, at which at least one of the interlaced image compared by the processing of the first comparison step and the interlaced image compared by the second comparison step is equal, 3 A computer-readable recording medium recording a program for executing the control step of replacing the progressive image forming the output high frame rate moving image with the monochrome progressive image at a period of / 72 seconds.

Based on a source video consisting of a progressive image updated at 24 Hz and a telecine video consisting of an interlaced image updated at 60 Hz, generated by a 3-2 pull-down method or a linear interpolation type interpolation method. A restoration step of restoring the source moving image comprising a progressive image updated at 24 Hz;
A conversion step that converts the high frame rate video consisting of a progressive image is updated at 72Hz by the process the source video image restored in the restoration step, and outputs three times for one progressive image,
A delay step of delaying interlaced images constituting the telecine moving image input in sequence by four field memories connected in series by one field period;
The first interlaced image input as the interlaced image forming the telecine moving image and the first interlaced image are input prior to the first interlaced image by four field periods, and are delayed by four field periods by the processing of the delay step. A first combining step of combining the second interlaced image at a ratio of 4: 1;
A second combining step of combining the first and second interlaced images at a ratio of 1: 0;
The interlaced image obtained by combining in the process of the first combining step and the first interlaced image are input two field periods ahead of the first interlaced image, and delayed by two field periods by the process of the delaying step. A first comparison step for comparing the third interlaced image obtained,
A second comparison step of comparing the interlaced image obtained by the synthesis by the processing of the second synthesis step and the third interlaced image;
A replacement step of replacing the progressive image forming the high frame rate moving image with a monochromatic progressive image every predetermined period;
Based on the timing of the 1/12 second period, at which at least one of the interlaced image compared by the processing of the first comparison step and the interlaced image compared by the second comparison step is equal, 3 A program for causing a computer to execute a process including: a control step of replacing the progressive image forming the output high frame rate moving image with the monochrome progressive image at a period of 72 seconds.

Based on a source video consisting of a progressive image updated at 24 Hz and a telecine video consisting of an interlaced image updated at 60 Hz, generated by a 3-2 pull-down method or a linear interpolation type interpolation method. Reconstructing means for reconstructing the source moving image comprising a progressive image updated at 24 Hz,
A converting unit that converts the high frame rate video consisting of a progressive image is updated at 72Hz by outputting by the said source video image restored by the restoration means, one for progressive image 3 times,
Delay means for delaying interlaced images forming the telecine moving image inputted in sequence by four field memories connected in series by one field period each;
A first interlaced image input as an interlaced image forming the telecine moving image, and a first interlaced image input by 4 field periods before the first interlaced image, and delayed by 4 field periods by the delay means. First synthesizing means for synthesizing two interlaced images at a ratio of 4: 1;
Second combining means for combining the first and second interlaced images at a ratio of 1: 0;
The interlaced image obtained by being synthesized by the first synthesizing unit and a third field which is input by two field periods ahead of the first interlaced image and delayed by two field periods by the delay unit. First comparison means for comparing the interlaced images of
Second comparison means for comparing the interlaced image obtained by combining by the second combining means and the third interlaced image;
Replacement means for replacing the progressive image forming the high frame rate moving image with a monochromatic progressive image every predetermined period;
Based on the timing of the 1/12 second period, at which at least one of the interlaced image compared by the first comparing means and the interlaced image compared by the second comparing means is equal, 3/72 And a control unit that causes the replacement unit to replace the progressive image forming the high frame rate moving image output from the conversion unit with the monochromatic progressive image in a second cycle.