[go: up one dir, main page]

JP2014225718A - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP2014225718A
JP2014225718A JP2013102669A JP2013102669A JP2014225718A JP 2014225718 A JP2014225718 A JP 2014225718A JP 2013102669 A JP2013102669 A JP 2013102669A JP 2013102669 A JP2013102669 A JP 2013102669A JP 2014225718 A JP2014225718 A JP 2014225718A
Authority
JP
Japan
Prior art keywords
image
enlargement
reduction
reduction ratio
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013102669A
Other languages
English (en)
Inventor
清水　晃
Akira Shimizu
清水　　晃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2013102669A priority Critical patent/JP2014225718A/ja
Priority to EP14798156.7A priority patent/EP2999215A4/en
Priority to PCT/JP2014/062296 priority patent/WO2014185319A1/ja
Priority to CN201480026048.8A priority patent/CN105210366B/zh
Priority to US14/890,138 priority patent/US10424050B2/en
Publication of JP2014225718A publication Critical patent/JP2014225718A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)
  • Image Processing (AREA)

Abstract

【課題】可変レート制御されたストリームについて画像の解像度を維持して画像処理による画質劣化を回避する。
【解決手段】画像処理装置は、解像度取得部、画像拡大縮小部および画像変換部を含んで構成される。解像度取得部は、時系列に連続する複数の画像について解像度を取得する。拡大縮小率生成部は、取得された解像度に基づいて複数の画像の各々に関する拡大縮小率を生成する。画像拡大縮小部は、生成された拡大縮小率に従って複数の画像の各々に対して画像拡大縮小処理を施す。画像変換部は、画像拡大縮小処理の施された複数の画像の各々に対して画像変換処理を行う。
【選択図】図２

Description

本技術は、画像処理を行う画像処理装置に関する。詳しくは、可変レート制御されたストリームに含まれた画像に対して画像処理を施す画像処理装置およびその画像処理方法に関する。
近年、各種コンテンツを可変レート制御されたストリームによって配信する配信システムが普及している。このような配信システムでは、ストリームが１フレームを２フィールドに分けたインターレース画像として送信された場合、受信側でプログレッシブ画像に変換する必要が生じる。また、画像に含まれるノイズを受信側で低減する処理が行われることが多い。例えば、画像信号の出現パターンに応じて、インターレース・プログレッシブ変換やノイズ低減処理を行う画像処理装置が提案されている（例えば、特許文献１参照。）。
特開２０１２−２５３６６７号公報
可変レート制御されたストリームでは、通信回線の状況によって画像の解像度が変化する。通信回線の状況は画像シーンとは無関係に変化するため、解像度も画像のシーンに関係なく変化してしまう。一方、上述のようにストリームに含まれる画像については、インターレース・プログレッシブ変換やノイズ低減処理が行われるが、その際には対象画像だけでなく他の画像を参照することが望ましい。しかしながら、解像度が変化してしまうと、他の画像を参照することができず、対象画像内の補間処理によって画像処理を行うことになり、画質が劣化してしまう。特に、ビデオ・オン・デマンドなどのサービスにおいては、再生開始時や回線が混み合う時間帯においては、インターレース・プログレッシブ変換やノイズ低減処理に起因する劣化が発生しやすくなる。
本技術はこのような状況に鑑みて生み出されたものであり、可変レート制御されたストリームについて画像の解像度を維持して画像処理による画質劣化を回避することを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、時系列に連続する複数の画像について解像度を取得する解像度取得部と、上記取得された解像度に基づいて上記複数の画像の各々に関する拡大縮小率を生成する拡大縮小率生成部と、上記生成された拡大縮小率に従って上記複数の画像の各々に対して画像拡大縮小処理を施す画像拡大縮小部と、上記画像拡大縮小処理の施された複数の画像の各々に対して画像変換処理を行う画像変換部とを具備する画像処理装置およびその画像処理方法である。これにより、入力された画像の解像度に応じて画像拡大縮小処理を施して、画像変換処理の対象となる画像の解像度を維持するという作用をもたらす。
また、この第１の側面において、上記複数の画像において相関度が低下する位置を検出する位置検出部をさらに具備し、上記拡大縮小率生成部は、上記相関度が低下する位置においては上記拡大縮小率を初期化するようにしてもよい。これにより、画像変換処理に貢献しない不要な画像拡大縮小処理を抑制するという作用をもたらす。
また、この第１の側面において、上記拡大縮小率生成部は、上記取得された解像度に基づく拡大縮小率が所定範囲を超える場合には上記拡大縮小率を初期化するようにしてもよい。これにより、過大な画像拡大縮小処理による画質の劣化を未然に防ぐという作用をもたらす。
また、この場合において、上記生成された拡大縮小率の履歴を保持する拡大縮小率保持部をさらに具備し、上記拡大縮小率生成部は、上記取得された解像度に基づく拡大縮小率が上記所定範囲を超える場合であっても、上記拡大縮小率保持部に保持された拡大縮小率の履歴に基づいて上記所定範囲を超える状態が一時的であると判断した場合には上記初期化をすることなく上記拡大縮小率を生成するようにしてもよい。これにより、一時的な変動に対して過剰に反応しないようヒステリシス動作を行うという作用をもたらす。
また、この第１の側面において、上記画像変換部は、上記複数の画像の各々を対象画像として上記画像変換処理を行う際、上記対象画像に時系列に近接する他の画像が上記対象画像と相関がある場合には上記対象画像および上記他の画像を参照して上記画像変換処理を行い、上記他の画像が上記対象画像と相関がない場合には上記対象画像を補間して上記画像変換処理を行うようにしてもよい。このような前提において、入力された画像の解像度に応じて画像拡大縮小処理を施して、画像変換処理の対象となる画像の解像度を維持するという作用をもたらす。
また、この第１の側面において、上記複数の画像の各々はインターレース画像であり、 上記画像変換部は、上記インターレース画像をプログレッシブ画像に変換する処理を上記画像変換処理として含んでもよい。また、上記画像変換部は、上記複数の画像の各々についてノイズを軽減する処理を上記画像変換処理として含んでもよい。
本技術によれば、可変レート制御されたストリームについて画像の解像度を維持して画像処理による画質劣化を回避することができるという優れた効果を奏し得る。
本技術の実施の形態における画像表示装置の一構成例を示す図である。 本技術の実施の形態における画像表示装置の要部の機能構成例を示す図である。 本技術の第１の実施の形態における拡大縮小率生成部１４０の一構成例を示す図である。 本技術の実施の形態における画像情報取得部１３０により取得される画像情報の一例を示す図である。 本技術の第１の実施の形態における拡大縮小率生成処理の処理手順の一例を示す流れ図である。 本技術の実施の形態における画像変換処理の処理手順の一例を示す流れ図である。 本技術の実施の形態における画像変換処理のタイミング例を示す図である。 本技術の第２の実施の形態における拡大縮小率生成部１４０の一構成例を示す図である。 本技術の第２の実施の形態における拡大縮小率生成処理の処理手順の一例を示す流れ図である。 本技術の第３の実施の形態における拡大縮小率生成処理の処理手順の一例を示す流れ図である。 本技術の第４の実施の形態における拡大縮小率生成部１４０の一構成例を示す図である。 本技術の第４の実施の形態における拡大縮小率生成処理の処理手順の一例を示す流れ図である。
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（解像度の変化に対する画像拡大縮小）
２．第２の実施の形態（シーンチェンジ発生時の画像拡大縮小抑制）
３．第３の実施の形態（解像度の急激変化に対する画像拡大縮小抑制）
４．第４の実施の形態（解像度の一時的変化に対するヒステリシス動作）
＜１．第１の実施の形態＞
［画像表示装置の構成］
図１は、本技術の実施の形態における画像表示装置の一構成例を示す図である。この画像表示装置は、通信回線を介して、可変レート制御されたストリームを受信して、そのストリームに含まれる画像を表示する。この画像表示装置は、ストリーム記憶部１０と、デマルチプレクサ１１と、デコーダ１２と、画像拡大縮小部１５と、画像変換部１６と、動画生成部１７と、プロセッサ２０と、メモリ３０と、ＯＳＤ生成部４０と、画像重畳部５０と、表示部６０とから構成される。また、プロセッサ２０、メモリ３０、画像拡大縮小部１５および画像変換部１６の部分を、特に、画像処理装置と称する。
ストリーム記憶部１０は、通信回線を介して受信したストリームを記憶するものである。例えば、ＭＰＥＧ−２システムやＨ．２６４／ＡＶＣのビットストリームを、トランスポートストリームやプログラムストリームによって伝送して記憶する。
デマルチプレクサ１１は、ストリーム記憶部１０に記憶されたストリームにおいて多重化されている画像、音声、データなどを分離してそれぞれメモリ３０に記憶させるものである。
デコーダ１２は、デマルチプレクサ１１によって分離された画像をデコードするものである。例えば、ＭＰＥＧ−２やＡＶＣのデジタルデコーダが想定される。
画像拡大縮小部１５は、デコーダ１２によってデコードされた画像に対して、画像拡大処理または画像縮小処理（以下、画像拡大縮小処理という。）を施すものである。
画像変換部１６は、画像拡大縮小部１５によって拡大縮小処理が施された画像に対して、画像変換処理を施すものである。ここで、画像変換処理としては、例えば、インターレース画像をプログレッシブ画像に変換するＩＰ変換（インターレース・プログレッシブ変換）処理や、画像からノイズを低減するノイズ低減（ＮＲ：ノイズリダクション）処理などが想定される。
動画生成部１７は、画像変換部１６によって画像変換処理が施された画像に対して、スケーリング処理を施して表示部６０のパネルサイズに合致したサイズの動画を生成するものである。
ＯＳＤ生成部４０は、ＯＳＤ（On Screen Display）画像を生成するものである。ＯＳＤ画像は、動画生成部１７により生成された動画に重畳表示されるものであり、例えば、ユーザインターフェース画像、字幕画像、データ放送サービスなどが想定される。
画像重畳部５０は、動画生成部１７により生成された動画に、ＯＳＤ生成部４０によって生成されたＯＳＤ画像を重畳するものである。この画像重畳部５０における重畳処理としては、例えば、αブレンド処理などが想定される。
プロセッサ２０は、この画像表示装置における一連の処理を制御するものである。
メモリ３０は、この画像表示装置において生成される画像、音声、データなどを記憶するものである。例えば、ＤＤＲなどのＤＲＡＭが想定される。
表示部６０は、画像重畳部５０によって重畳処理が施された画像を表示するものである。この表示部６０としては、例えば、ＬＣＤ（Liquid Crystal Display）などのディスプレイが想定される。
図２は、本技術の実施の形態における画像表示装置の要部の機能構成例を示す図である。ここでは、デマルチプレクサ１１０、デコーダ１２０、画像拡大縮小部１５０および画像変換部１６０を、それぞれデマルチプレクサ１１、デコーダ１２、画像拡大縮小部１５および画像変換部１６の機能として示している。また、画像情報取得部１３０および拡大縮小率生成部１４０を、プロセッサ２０の機能として示している。また、各機能構成の間は直接接続されるように図示しているが、画像表示装置においてはメモリ３０において一旦保持するように構成してもよい。
デマルチプレクサ１１０は、信号線１０９によって入力されたストリームにおいて、多重化されている画像、音声、データなどを分離して、信号線１１９に出力する。
デコーダ１２０は、信号線１１９によって入力された画像をデコードして、信号線１２９に出力する。また、このデコーダ１２０は、信号線１１９によって入力されたデータをデコードして、信号線１２８に出力する。
画像情報取得部１３０は、信号線１２８によって入力されたデータから画像情報を取得して、信号線１３９に出力する。ここで、画像情報としては、後述する画像の解像度に関する情報が想定される。なお、画像情報取得部１３０は、特許請求の範囲に記載の解像度取得部の一例である。
拡大縮小率生成部１４０は、信号線１３９によって入力された画像情報および信号線１２９によって入力された画像に基づいて画像の拡大縮小率を生成して、信号線１４９に出力する。
画像拡大縮小部１５０は、信号線１２９によって入力された画像に対して、信号線１４９によって入力された拡大縮小率に従って画像拡大縮小処理を施して、信号線１５９に出力する。拡大縮小率生成部１４０において生成された画像拡大縮小率が「１」よりも大きい場合には、画像拡大縮小部１５０は信号線１２９に出力された画像を拡大することになる。一方、拡大縮小率生成部１４０において生成された画像拡大縮小率が「１」よりも小さい場合には、画像拡大縮小部１５０は信号線１２９に出力された画像を縮小することになる。また、拡大縮小率生成部１４０において生成された画像拡大縮小率が「１」と等しい場合には、画像拡大縮小部１５０は画像を拡大も縮小もしないことになる。
画像変換部１６０は、信号線１５９によって入力された画像に対して、画像変換処理を施して、信号線１６９に出力する。
図３は、本技術の第１の実施の形態における拡大縮小率生成部１４０の一構成例を示す図である。この第１の実施の形態における拡大縮小率生成部１４０は、拡大縮小率演算部１４１と、基準解像度保持部１４２と、拡大縮小率決定部１４５とを備えている。なお、この第１の実施の形態では、信号線１３９によって入力された画像情報は使用しないものとしている。
基準解像度保持部１４２は、拡大縮小する際の基準となる解像度を保持するものである。例えば、いわゆるフルハイビジョンを基準とする場合には、横方向の画素数として「１９２０」、縦方向の画素数として「１０８０」を保持する。また、縦横いずれかの画素数とアスペクト比を保持するようにしてもよい。
拡大縮小率演算部１４１は、画像情報取得部１３０によって取得された画像情報および基準解像度保持部１４２に保持される解像度に基づいて拡大縮小率を演算するものである。すなわち、この拡大縮小率演算部１４１は、縦横それぞれ対応する画素数の比から拡大縮小率を演算する。例えば、基準解像度保持部１４２に保持される基準解像度が横「１９２０」画素、縦「１０８０」画素であった場合、取得された画像情報が横「１２８０」画素、縦「７２０」画素であれば、縦横いずれの方向においても拡大縮小率は「１．５」倍となる。一方、アスペクト比が一致しない場合には、拡大縮小率は方向ごとに異なる。例えば、上述の基準解像度に対して、取得された画像情報が横「７２０」画素、縦「４８０」画素であれば、得られる拡大縮小率は横方向に「２．６６」倍、縦方向に「２．２５」倍となる。このとき、アスペクト比を維持しないのであれば、それぞれ異なる拡大縮小率としてもよい。アスペクト比を維持する場合には、縦横いずれかの拡大縮小率により両者を拡大縮小することになる。
拡大縮小率決定部１４５は、拡大縮小率演算部１４１によって演算された拡大縮小率に基づいて、画像拡大縮小部１５０に指示する拡大縮小率を決定するものである。この第１の実施の形態における拡大縮小率生成部１４０では、拡大縮小率決定部１４５は、拡大縮小率演算部１４１によって演算された拡大縮小率をそのまま画像拡大縮小部１５０に指示する拡大縮小率として決定する。
［画像情報のデータ構造］
図４は、本技術の実施の形態における画像情報取得部１３０により取得される画像情報の一例を示す図である。この実施の形態では、時系列に連続する複数の画像がビットストリームとして伝送されることを想定している。ここでは、Ｈ．２６４／ＡＶＣを一例として、アクセスユニットのデータ構造を示している。Ｈ．２６４／ＡＶＣでは、ビットストリームの情報をピクチャ単位でアクセスするために、複数のＮＡＬユニットをまとめた区切りとしてアクセスユニットを規定している。
アクセスユニットは、アクセスユニットの先頭を示すＡＵＤ（アクセスユニットデリミタ）から開始して、ＳＰＳ、ＰＰＳ、ＳＥＩといったヘッダに続いて、データの本体であるピクチャを含む。ＳＰＳ（Sequence Parameter Set）は、動画シーケンス全体の符号化に関する情報を含むヘッダである。ＰＰＳ（Picture Parameter Set）は、ピクチャ全体の符号化モードを含むヘッダである。ＳＥＩ（Supplemental Enhancement Information）は、各ピクチャのタイミング情報などの補足情報を含むヘッダである。
ＳＰＳは、パラメータの一つとしてＶＵＩ（Video Usability Information）パラメータを伝送する。このＶＵＩパラメータは、動画表示に利用可能な情報のパラメータである。この実施の形態では、ＶＵＩパラメータのうち、特に、ａｓｐｅｃｔ＿ｒａｔｉｏ＿ｉｄｃ、ｓａｒ＿ｗｉｄｔｈ、ｓａｒ＿ｈｅｉｇｈｔが参照され得る。
ａｓｐｅｃｔ＿ｒａｔｉｏ＿ｉｄｃは、画素アスペクト比をコード化したものである。このａｓｐｅｃｔ＿ｒａｔｉｏ＿ｉｄｃが「２５５」を示す場合、画素アスペクト比（ＳＡＲ：Sample Aspect Ratio）は、ｓａｒ＿ｗｉｄｔｈおよびｓａｒ＿ｈｅｉｇｈｔから計算される。ｓａｒ＿ｗｉｄｔｈは画素アスペクト比の横方向（水平方向）のサイズであり、ｓａｒ＿ｈｅｉｇｈｔは画素アスペクト比の縦方向（垂直方向）のサイズである。したがって、画像情報取得部１３０は、アクセスユニットのＳＰＳにおいて、ＶＵＩパラメータを参照することにより、必要な画像情報を取得することができる。
［拡大縮小率生成処理の処理手順］
図５は、本技術の第１の実施の形態における拡大縮小率生成処理の処理手順の一例を示す流れ図である。
ビットストリームに含まれる複数の画像の一つについて、画像情報取得部１３０によって解像度が取得される（ステップＳ９１３）。そして、この取得された解像度で、基準解像度保持部１４２に保持された基準解像度を、拡大縮小率演算部１４１において除算することにより、拡大縮小率が演算される（ステップＳ９１４）。
拡大縮小率決定部１４５は、拡大縮小率演算部１４１によって演算された拡大縮小率そのものを、画像拡大縮小部１５０に指示する拡大縮小率として決定する（ステップＳ９１７）。
これらの処理は、ビットストリームに含まれる複数の画像について時系列に沿って順番に繰り返される。
［画像変換処理の処理手順］
図６は、本技術の実施の形態における画像変換処理の処理手順の一例を示す流れ図である。ここでは、時系列に連続する複数のインターレース画像の各々を対象画像として、時系列に沿って順番に画像変換処理を行うことを想定している。
まず、ノイズ低減処理を行うために、対象画像より２フィールド前のインターレース画像と対象画像との相関度を判断する（ステップＳ９３１）。両者に相関があると判断された場合には（ステップＳ９３１：Ｙｅｓ）、２フィールド前のインターレース画像と対象画像とを参照してノイズ低減処理を行う（ステップＳ９３２）。一方、両者に相関がないと判断された場合には（ステップＳ９３１：Ｎｏ）、対象画像内を補間することによりノイズ低減処理を行う（ステップＳ９３３）。この場合、２フィールド前のインターレース画像を参照した処理に比べて画質が劣化するおそれがある。
次に、インターレース画像からプログレッシブ画像への変換処理を行うために、対象画像より１フィールド前のインターレース画像と対象画像との相関度を判断する（ステップＳ９３４）。両者に相関があると判断された場合には（ステップＳ９３４：Ｙｅｓ）、１フィールド前のインターレース画像と対象画像とを参照してプログレッシブ画像への変換処理を行う（ステップＳ９３５）。一方、両者に相関がないと判断された場合には（ステップＳ９３４：Ｎｏ）、対象画像内を補間することによりプログレッシブ画像への変換処理を行う（ステップＳ９３６）。この場合、１フィールド前のインターレース画像を参照した処理に比べて画質が劣化するおそれがある。
［画像変換処理のタイミング］
図７は、本技術の実施の形態における画像変換処理のタイミング例を示す図である。同図において、横方向に時間の経過を示している。上段はフィールド画像が対象画像として入力される様子を示している。入力されたフィールド画像は、ノイズ低減処理（ＮＲ処理）が施されて、中段に示すように少なくとも２フィールド分がメモリ３０に保持される。なお、各画像番号の数字の後ろに付された記号「Ｔ」は上部（Ｔｏｐ）フィールドのインターレース画像であることを示し、記号「Ｂ」は下部（Ｂｏｔｔｏｍ）フィールドのインターレース画像であることを示す。
画像変換部１６０は、メモリ３０に保持されたインターレース画像を可能な限り参照して、上述のようにノイズ低減処理およびＩＰ変換処理を行う。ＩＰ変換処理が完了すると、下段に示すようにプログレッシブ画像が１フレーム毎に出力される。
ここで、可変フレームレート制御に伴って、例えば、時刻Ｔ６に入力されたインターレース画像７Ｂから解像度が低下した場合を想定する。この場合、従来のように画像拡大縮小部１５０による拡大縮小処理を行わなかったとすると、２フィールド前のインターレース画像５Ｂとの間において相関がないものと判断されるため、ノイズ低減処理はインターレース画像７Ｂ内を補間することにより行われてしまう。また、同様に、１フィールド前のインターレース画像６Ｔとの間においても相関がないものと判断されるため、ＩＰ変換処理はインターレース画像７Ｂ内を補間することにより行われてしまう。
これに対し、本技術の実施の形態では、解像度低下に伴って、画像拡大縮小部１５０によってインターレース画像７Ｂの拡大縮小処理が行われる。したがって、２フィールド前のインターレース画像５Ｂとの間において相関が維持されるため、ノイズ低減処理はインターレース画像５Ｂおよび７Ｂを参照して行われる。また、１フィールド前のインターレース画像６Ｔとの間においても相関が維持されるため、ＩＰ変換処理はインターレース画像５Ｂおよび６Ｔを参照して行われる。
このように、本技術の第１の実施の形態によれば、可変フレームレート制御に伴って入力画像の解像度が低下した場合であっても、画像拡大縮小部１５０による拡大縮小処理によって前の画像との相関が維持されるため、画像処理による劣化を回避することができる。
＜２．第２の実施の形態＞
上述の第１の実施の形態では、入力画像の解像度が低下した場合であっても拡大縮小処理を行うことにより前の画像との相関を維持していた。これに対し、例えばシーンチェンジにより画像の内容が大きく異なることとなった場合には、拡大縮小処理を行っても前の画像との相関を維持することはできない。そこで、第２の実施の形態では、シーンチェンジが発生した場合には拡大縮小率を初期化して拡大縮小を行わないように抑制する。なお、図１および図２に示した基本構成については同様であるため、ここでは説明を省略する。
［画像表示装置の構成］
図８は、本技術の第２の実施の形態における拡大縮小率生成部１４０の一構成例を示す図である。この第２の実施の形態における拡大縮小率生成部１４０は、第１の実施の形態と同様に拡大縮小率演算部１４１、基準解像度保持部１４２および拡大縮小率決定部１４５を備え、さらに、シーンチェンジ検出部１４４を備えている。
シーンチェンジ検出部１４４は、信号線１２９によって入力された画像について、シーンチェンジが発生した時系列上の位置を検出するものである。すなわち、シーンチェンジ検出部１４４は、時系列に沿って画像間で相関度が低下する位置を検出することになる。なお、シーンチェンジ検出部１４４は、特許請求の範囲に記載の位置検出部の一例である。
拡大縮小率決定部１４５は、シーンチェンジ検出部１４４によってシーンチェンジの発生が検出された場合には、拡大縮小率演算部１４１による演算結果にかかわらず、拡大縮小率を「１．０倍」に初期化して信号線１４９に出力する。これにより、不要な拡大縮小処理を抑制することができる。
［拡大縮小率生成処理の処理手順］
図９は、本技術の第２の実施の形態における拡大縮小率生成処理の処理手順の一例を示す流れ図である。
ビットストリームに含まれる複数の画像の一つについて、シーンチェンジ検出部１４４によってシーンチェンジの発生の有無について検出処理が行われる（ステップＳ９１１）。シーンチェンジの発生が検出されると（ステップＳ９１２：Ｙｅｓ）、拡大縮小率決定部１４５は、拡大縮小率を「１．０倍」に初期化する（ステップＳ９１８）。
シーンチェンジの発生が検出されない場合には（ステップＳ９１２：Ｎｏ）、第１の実施の形態と同様の処理が行われる。すなわち、画像情報取得部１３０によって解像度が取得されて（ステップＳ９１３）、これに基づいて演算（ステップＳ９１４）された拡大縮小率が、画像拡大縮小部１５０に指示する拡大縮小率として決定される（ステップＳ９１７）。
これらの処理は、ビットストリームに含まれる複数の画像について時系列に沿って順番に繰り返される。
［画像変換処理のタイミング］
上述の図７において、例えば、時刻Ｔ５に入力されたインターレース画像６Ｔからシーンチェンジが発生した場合を想定する。この場合、一時的にはＩＰ変換およびノイズ低減処理はインターレース画像内を補間することにより行われるが、ＩＰ変換についてはインターレース画像７Ｂ以降、ノイズ低減処理についてはインターレース画像８Ｔ以降については前の画像を参照することができる。
このように、本技術の第２の実施の形態によれば、例えばシーンチェンジにより画像の内容が大きく異なることとなった場合に、拡大縮小率を初期化して、不要な拡大縮小処理を抑制することができる。その結果、シーンチェンジ後の画像に対するＩＰ変換やノイズ低減処理の性能を向上させることができる。
＜３．第３の実施の形態＞
上述の第１の実施の形態では、入力画像の解像度が低下した場合であっても拡大縮小処理を行うことにより前の画像との相関を維持していた。これに対し、可変レート制御によって通信状況が次第に改善されて解像度が高画質になっていくような場合を考えると、いち早く元の解像度に切替えてＩＰ変換やノイズ低減処理を行った方が画質の向上に有効である。また、過大な画像拡大縮小処理を行うと画質が劣化してしまう。そこで、第３の実施の形態では、拡大縮小率が所定の範囲内に収まらない場合には拡大縮小率を初期化して拡大縮小を行わないように抑制する。なお、図１、図２および図８に示した基本構成については同様であるため、ここでは説明を省略する。
拡大縮小処理を抑制する際の目安として、例えば、拡大縮小率演算部１４１によって演算された拡大縮小率が「０．６６」より大きく、「１．５」より小さい値の範囲内であれば、その拡大縮小率をそのまま採用し、その範囲外であれば拡大縮小率を初期化することが考えられる。例えば、基準解像度が横「１９２０」画素、縦「１０８０」画素のとき、取得された画像情報が横「１２８０」画素、縦「７２０」画素の場合には、縦横いずれの方向においても拡大縮小率は「１．５」倍となって範囲外となるため、拡大縮小率を初期化することとする。ただし、この拡大縮小率の範囲は一例であり、画像処理装置の仕様に応じて適宜設定することができる。
［拡大縮小率生成処理の処理手順］
図１０は、本技術の第３の実施の形態における拡大縮小率生成処理の処理手順の一例を示す流れ図である。
シーンチェンジの検出については第２の実施の形態と同様である。すなわち、ビットストリームに含まれる複数の画像の一つについて、シーンチェンジ検出部１４４によってシーンチェンジの発生の有無について検出処理が行われる（ステップＳ９１１）。シーンチェンジの発生が検出されると（ステップＳ９１２：Ｙｅｓ）、拡大縮小率決定部１４５は拡大縮小率を「１．０倍」に初期化する（ステップＳ９１８）。
シーンチェンジの発生が検出されない場合には（ステップＳ９１２：Ｎｏ）、第１の実施の形態と同様に、画像情報取得部１３０によって解像度が取得されて（ステップＳ９１３）、これに基づいて拡大縮小率演算部１４１によって拡大縮小率が演算される（ステップＳ９１４）。拡大縮小率演算部１４１によって演算された拡大縮小率が所定の範囲内である場合には（ステップＳ９１５：Ｙｅｓ）、拡大縮小率演算部１４１によって演算された拡大縮小率が、画像拡大縮小部１５０に指示する拡大縮小率として決定される（ステップＳ９１７）。ただし、拡大縮小率演算部１４１によって演算された拡大縮小率が所定の範囲内にない場合には（ステップＳ９１５：Ｎｏ）、拡大縮小率決定部１４５は拡大縮小率を「１．０倍」に初期化する（ステップＳ９１８）。
これらの処理は、ビットストリームに含まれる複数の画像について時系列に沿って順番に繰り返される。
［画像変換処理のタイミング］
上述の図７において、例えば、時刻Ｔ６に入力されたインターレース画像７Ｂから解像度が大きく変化した場合を想定する。このときの拡大縮小率が所定の範囲を超えたとすると、拡大縮小率決定部１４５は拡大縮小率を「１．０倍」に初期化する。したがって、一時的にはＩＰ変換およびノイズ低減処理はインターレース画像内を補間することにより行われる。ただし、ＩＰ変換についてはインターレース画像８Ｔ以降、ノイズ低減処理についてはインターレース画像９Ｂ以降については前の画像を参照することができるため、その後の画質向上を図ることができる。
このように、本技術の第３の実施の形態によれば、拡大縮小率演算部１４１によって演算された拡大縮小率が所定の範囲内にない場合に、拡大縮小率を初期化して不要な拡大縮小処理を抑制して、その後の画質向上を図ることができる。
＜４．第４の実施の形態＞
上述の第３の実施の形態では、拡大縮小率演算部１４１によって演算された拡大縮小率が所定の範囲内にない場合に、拡大縮小率を初期化していた。これに対して、可変レート制御によって通信状況が瞬間的に変動した場合においても拡大縮小率を初期化してしまうと、ＩＰ変換およびノイズ低減処理において頻繁にインターレース画像内補間が発生してしまい、不要な画像劣化を招くおそれがある。そこで、第４の実施の形態では、拡大縮小率の変動が一時的なものであれば拡大縮小率の初期化を抑制するヒステリシス動作を行う。なお、図１および図２に示した基本構成については同様であるため、ここでは説明を省略する。
［画像表示装置の構成］
図１１は、本技術の第４の実施の形態における拡大縮小率生成部１４０の一構成例を示す図である。この第４の実施の形態における拡大縮小率生成部１４０は、第３の実施の形態と同様に拡大縮小率演算部１４１、基準解像度保持部１４２、シーンチェンジ検出部１４４および拡大縮小率決定部１４５を備え、さらに、拡大縮小率保持部１４３を備えている。
拡大縮小率保持部１４３は、拡大縮小率演算部１４１によって演算された拡大縮小率の履歴を保持するものである。拡大縮小率決定部１４５は、この拡大縮小率保持部１４３に保持された履歴を参照して、拡大縮小率の変動が一時的なものか否かを判断する。
例えば、拡大縮小率演算部１４１によって演算された拡大縮小率が所定の範囲内にない旨を１回検出したとしても、それが連続していない場合にはすぐには拡大縮小率の初期化を行わない。一方、拡大縮小率演算部１４１によって演算された拡大縮小率が所定の範囲内にない旨を複数回（例えば、２回）連続して検出した場合には、拡大縮小率の初期化を行うように制御することが考えられる。
［拡大縮小率生成処理の処理手順］
図１２は、本技術の第４の実施の形態における拡大縮小率生成処理の処理手順の一例を示す流れ図である。
シーンチェンジの検出については第２または第３の実施の形態と同様である。すなわち、ビットストリームに含まれる複数の画像の一つについて、シーンチェンジ検出部１４４によってシーンチェンジの発生の有無について検出処理が行われる（ステップＳ９１１）。シーンチェンジの発生が検出されると（ステップＳ９１２：Ｙｅｓ）、拡大縮小率決定部１４５は拡大縮小率を「１．０倍」に初期化する（ステップＳ９１８）。
シーンチェンジの発生が検出されない場合には（ステップＳ９１２：Ｎｏ）、第１の実施の形態と同様に、画像情報取得部１３０によって解像度が取得されて（ステップＳ９１３）、これに基づいて拡大縮小率演算部１４１によって拡大縮小率が演算される（ステップＳ９１４）。拡大縮小率演算部１４１によって演算された拡大縮小率が所定の範囲内である場合には（ステップＳ９１５：Ｙｅｓ）、拡大縮小率演算部１４１によって演算された拡大縮小率が、画像拡大縮小部１５０に指示する拡大縮小率として決定される（ステップＳ９１７）。
拡大縮小率演算部１４１によって演算された拡大縮小率が所定の範囲内にない場合には（ステップＳ９１５：Ｎｏ）、その範囲外となった事象が一時的なものか否かが判断される（ステップＳ９１６）。一時的ではないと判断された場合には（ステップＳ９１６：Ｎｏ）、拡大縮小率決定部１４５は拡大縮小率を「１．０倍」に初期化する（ステップＳ９１８）。一方、一時的なものと判断された場合には（ステップＳ９１６：Ｙｅｓ）、拡大縮小率演算部１４１によって演算された拡大縮小率が、画像拡大縮小部１５０に指示する拡大縮小率として決定される（ステップＳ９１７）。
拡大縮小率演算部１４１によって演算された拡大縮小率は、次の画像に対する判断（ステップＳ９１６）のために、拡大縮小率保持部１４３に保持される（ステップＳ９１９）。
これらの処理は、ビットストリームに含まれる複数の画像について時系列に沿って順番に繰り返される。
［画像変換処理のタイミング］
上述の図７において、例えば、時刻Ｔ６に入力されたインターレース画像７Ｂにおいて解像度が大きく変化した場合を想定する。このときの拡大縮小率が所定の範囲を超えていても、第４の実施の形態ではすぐには拡大縮小率の初期化を行わない。そして、次の時刻Ｔ７に入力されたインターレース画像８Ｔにおいて拡大縮小率が、時刻Ｔ５のインターレース画像６Ｔ以前の拡大縮小率に戻っていた場合には、拡大縮小率の変動が一時的なものであると解釈して、拡大縮小率の初期化を行わない。
一方、時刻Ｔ７に入力されたインターレース画像８Ｔにおいても拡大縮小率の変化が継続していた場合には、拡大縮小率の変動が一時的なものではないと解釈して、拡大縮小率決定部１４５は拡大縮小率を「１．０倍」に初期化する。
このように、本技術の第４の実施の形態によれば、拡大縮小率演算部１４１によって演算された拡大縮小率が所定の範囲内にない場合についてヒステリシス動作を行って、拡大縮小率の不要な初期化を抑制することができる。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
なお、本技術は以下のような構成もとることができる。
（１）時系列に連続する複数の画像について解像度を取得する解像度取得部と、
前記取得された解像度に基づいて前記複数の画像の各々に関する拡大縮小率を生成する拡大縮小率生成部と、
前記生成された拡大縮小率に従って前記複数の画像の各々に対して画像拡大縮小処理を施す画像拡大縮小部と、
前記画像拡大縮小処理の施された複数の画像の各々に対して画像変換処理を行う画像変換部と
を具備する画像処理装置。
（２）前記複数の画像において相関度が低下する位置を検出する位置検出部をさらに具備し、
前記拡大縮小率生成部は、前記相関度が低下する位置においては前記拡大縮小率を初期化する
前記（１）に記載の画像処理装置。
（３）前記拡大縮小率生成部は、前記取得された解像度に基づく拡大縮小率が所定範囲を超える場合には前記拡大縮小率を初期化する
前記（１）または（２）に記載の画像処理装置。
（４）前記生成された拡大縮小率の履歴を保持する拡大縮小率保持部をさらに具備し、
前記拡大縮小率生成部は、前記取得された解像度に基づく拡大縮小率が前記所定範囲を超える場合であっても、前記拡大縮小率保持部に保持された拡大縮小率の履歴に基づいて前記所定範囲を超える状態が一時的であると判断した場合には前記初期化をすることなく前記拡大縮小率を生成する
前記（３）に記載の画像処理装置。
（５）前記画像変換部は、前記複数の画像の各々を対象画像として前記画像変換処理を行う際、前記対象画像に時系列に近接する他の画像が前記対象画像と相関がある場合には前記対象画像および前記他の画像を参照して前記画像変換処理を行い、前記他の画像が前記対象画像と相関がない場合には前記対象画像を補間して前記画像変換処理を行う
前記（１）から（４）のいずれかに記載の画像処理装置。
（６）前記複数の画像の各々はインターレース画像であり、
前記画像変換部は、前記インターレース画像をプログレッシブ画像に変換する処理を前記画像変換処理として含む
前記（１）から（５）のいずれかに記載の画像処理装置。
（７）前記画像変換部は、前記複数の画像の各々についてノイズを軽減する処理を前記画像変換処理として含む
前記（１）から（６）のいずれかに記載の画像処理装置。
（８）時系列に連続する複数の画像について解像度を取得する解像度取得手順と、
前記取得された解像度に基づいて前記複数の画像の各々に関する拡大縮小率を生成する拡大縮小率生成手順と、
前記生成された拡大縮小率に従って前記複数の画像の各々に対して画像拡大縮小処理を施す画像拡大縮小手順と、
前記画像拡大縮小処理の施された複数の画像の各々に対して画像変換処理を行う画像変換手順と
を具備する画像処理方法。
１０ ストリーム記憶部
１７ 動画生成部
２０ プロセッサ
３０ メモリ
４０ ＯＳＤ生成部
５０ 画像重畳部
６０ 表示部
１１、１１０ デマルチプレクサ
１２、１２０ デコーダ
１３０ 画像情報取得部
１４０ 拡大縮小率生成部
１４１ 拡大縮小率演算部
１４２ 基準解像度保持部
１４３ 拡大縮小率保持部
１４４ シーンチェンジ検出部
１４５ 拡大縮小率決定部
１５、１５０ 画像拡大縮小部
１６、１６０ 画像変換部

Claims (8)

  1. 時系列に連続する複数の画像について解像度を取得する解像度取得部と、
    前記取得された解像度に基づいて前記複数の画像の各々に関する拡大縮小率を生成する拡大縮小率生成部と、
    前記生成された拡大縮小率に従って前記複数の画像の各々に対して画像拡大縮小処理を施す画像拡大縮小部と、
    前記画像拡大縮小処理の施された複数の画像の各々に対して画像変換処理を行う画像変換部と
    を具備する画像処理装置。
  2. 前記複数の画像において相関度が低下する位置を検出する位置検出部をさらに具備し、
    前記拡大縮小率生成部は、前記相関度が低下する位置においては前記拡大縮小率を初期化する
    請求項１記載の画像処理装置。
  3. 前記拡大縮小率生成部は、前記取得された解像度に基づく拡大縮小率が所定範囲を超える場合には前記拡大縮小率を初期化する
    請求項１記載の画像処理装置。
  4. 前記生成された拡大縮小率の履歴を保持する拡大縮小率保持部をさらに具備し、
    前記拡大縮小率生成部は、前記取得された解像度に基づく拡大縮小率が前記所定範囲を超える場合であっても、前記拡大縮小率保持部に保持された拡大縮小率の履歴に基づいて前記所定範囲を超える状態が一時的であると判断した場合には前記初期化をすることなく前記拡大縮小率を生成する
    請求項３記載の画像処理装置。
  5. 前記画像変換部は、前記複数の画像の各々を対象画像として前記画像変換処理を行う際、前記対象画像に時系列に近接する他の画像が前記対象画像と相関がある場合には前記対象画像および前記他の画像を参照して前記画像変換処理を行い、前記他の画像が前記対象画像と相関がない場合には前記対象画像を補間して前記画像変換処理を行う
    請求項１記載の画像処理装置。
  6. 前記複数の画像の各々はインターレース画像であり、
    前記画像変換部は、前記インターレース画像をプログレッシブ画像に変換する処理を前記画像変換処理として含む
    請求項１記載の画像処理装置。
  7. 前記画像変換部は、前記複数の画像の各々についてノイズを軽減する処理を前記画像変換処理として含む
    請求項１記載の画像処理装置。
  8. 時系列に連続する複数の画像について解像度を取得する解像度取得手順と、
    前記取得された解像度に基づいて前記複数の画像の各々に関する拡大縮小率を生成する拡大縮小率生成手順と、
    前記生成された拡大縮小率に従って前記複数の画像の各々に対して画像拡大縮小処理を施す画像拡大縮小手順と、
    前記画像拡大縮小処理の施された複数の画像の各々に対して画像変換処理を行う画像変換手順と
    を具備する画像処理方法。
JP2013102669A 2013-05-15 2013-05-15 画像処理装置および画像処理方法 Pending JP2014225718A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2013102669A JP2014225718A (ja) 2013-05-15 2013-05-15 画像処理装置および画像処理方法
EP14798156.7A EP2999215A4 (en) 2013-05-15 2014-05-08 IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
PCT/JP2014/062296 WO2014185319A1 (ja) 2013-05-15 2014-05-08 画像処理装置および画像処理方法
CN201480026048.8A CN105210366B (zh) 2013-05-15 2014-05-08 图像处理装置和图像处理方法
US14/890,138 US10424050B2 (en) 2013-05-15 2014-05-08 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013102669A JP2014225718A (ja) 2013-05-15 2013-05-15 画像処理装置および画像処理方法

Publications (1)

Publication Number Publication Date
JP2014225718A true JP2014225718A (ja) 2014-12-04

Family

ID=51898298

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013102669A Pending JP2014225718A (ja) 2013-05-15 2013-05-15 画像処理装置および画像処理方法

Country Status (5)

Country Link
US (1) US10424050B2 (ja)
EP (1) EP2999215A4 (ja)
JP (1) JP2014225718A (ja)
CN (1) CN105210366B (ja)
WO (1) WO2014185319A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10332243B2 (en) * 2016-12-12 2019-06-25 International Business Machines Corporation Tampering detection for digital images
CN108632547A (zh) * 2017-03-15 2018-10-09 武汉玉航科技有限公司 一种多路视频预处理方法
CN107147890B (zh) * 2017-05-11 2018-12-07 西安交通大学 一种兼容不同分辨率和宽长比的多视频缩放模块及并行工作方法
US11665312B1 (en) * 2018-12-27 2023-05-30 Snap Inc. Video reformatting recommendation
US10887542B1 (en) 2018-12-27 2021-01-05 Snap Inc. Video reformatting system

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5442266B2 (ja) * 1973-07-27 1979-12-13
EP0232081B1 (en) * 1986-01-22 1994-03-30 Konica Corporation Image processing system with capability of enlarging and reducing operations
JPS63155896A (ja) * 1986-12-19 1988-06-29 Mitsubishi Electric Corp 画像符号化復号化装置
JP4158232B2 (ja) * 1998-07-23 2008-10-01 ソニー株式会社 画像情報変換装置および画像表示装置
JP2000165661A (ja) * 1998-11-27 2000-06-16 Murata Mach Ltd 画像処理装置及び記録媒体
US6839094B2 (en) * 2000-12-14 2005-01-04 Rgb Systems, Inc. Method and apparatus for eliminating motion artifacts from video
JP2002209191A (ja) * 2001-01-04 2002-07-26 Matsushita Electric Ind Co Ltd 映像信号変換装置
JP3889233B2 (ja) * 2001-03-08 2007-03-07 株式会社モノリス 画像符号化方法と装置および画像復号方法と装置
US7228129B1 (en) * 2001-03-20 2007-06-05 Logical Concepts, Inc. Expert system for monitoring, recording and controlling remote equipment that minimizes wireless telephone airtime
US6996291B2 (en) * 2001-08-06 2006-02-07 Mitutoyo Corporation Systems and methods for correlating images in an image correlation system with reduced computational loads
KR100446083B1 (ko) * 2002-01-02 2004-08-30 삼성전자주식회사 움직임 추정 및 모드 결정 장치 및 방법
US7113652B2 (en) * 2003-01-09 2006-09-26 Banner Engineering Corp. System and method for using normalized gray scale pattern find
US7596284B2 (en) * 2003-07-16 2009-09-29 Hewlett-Packard Development Company, L.P. High resolution image reconstruction
JP4049052B2 (ja) * 2003-08-22 2008-02-20 日本ビクター株式会社 ブロック歪低減装置、ブロック歪低減方法、及びブロック歪低減用プログラム
US8456571B1 (en) * 2004-02-20 2013-06-04 Broadcast Pix, Inc. Integrated live video production system
CN1756317A (zh) * 2004-10-01 2006-04-05 三星电子株式会社 变换多维视频格式的设备和方法
JP4507841B2 (ja) * 2004-11-10 2010-07-21 ソニー株式会社 画像信号処理装置、および画像信号処理方法
US7859574B1 (en) * 2005-07-19 2010-12-28 Maxim Integrated Products, Inc. Integrated camera image signal processor and video encoder
US7955265B2 (en) * 2005-08-15 2011-06-07 General Electric Company Method and apparatus for measuring anatomic structures
JP2007067923A (ja) * 2005-08-31 2007-03-15 Toshiba Corp 情報処理装置およびプログラム
JP4565392B2 (ja) * 2005-12-22 2010-10-20 日本ビクター株式会社 映像信号階層復号化装置、映像信号階層復号化方法、及び映像信号階層復号化プログラム
KR100724134B1 (ko) * 2006-01-09 2007-06-04 삼성전자주식회사 이미지 매칭 속도와 블렌딩 방법을 개선한 파노라마 영상제공 방법 및 장치
US7387389B2 (en) * 2006-01-13 2008-06-17 Hewlett-Packard Development Company, L.P. Image display system and method
US7798406B2 (en) * 2006-02-21 2010-09-21 The Code Corporation Graphical code readers for balancing decode capability and speed
JP2007265055A (ja) * 2006-03-29 2007-10-11 Nec Engineering Ltd ２値画像の解像度変換処理方法
KR101373896B1 (ko) * 2006-04-03 2014-03-12 퀄컴 인코포레이티드 전처리기 방법 및 장치
ATE508583T1 (de) * 2006-06-06 2011-05-15 Koninkl Philips Electronics Nv Skalierung eines bildes auf der basis eines bewegungsvektors
JP5034554B2 (ja) * 2007-02-27 2012-09-26 コニカミノルタホールディングス株式会社 相関演算装置、相関演算方法及びプログラム
JP4881210B2 (ja) * 2007-04-09 2012-02-22 キヤノン株式会社 撮像装置、画像処理装置及びそれらの制御方法
US8233086B2 (en) * 2007-06-08 2012-07-31 Nintendo Co., Ltd. Process for digitizing video over analog component video cables
US20090100493A1 (en) * 2007-10-16 2009-04-16 At&T Knowledge Ventures, Lp. System and Method for Display Format Detection at Set Top Box Device
JP2009100424A (ja) * 2007-10-19 2009-05-07 Fujitsu Ltd 受信装置、受信方法
CN101981592B (zh) * 2007-11-30 2013-02-06 三菱电机株式会社 图像和视频的内容感知大小调整
KR101431543B1 (ko) * 2008-01-21 2014-08-21 삼성전자주식회사 영상 부호화/복호화 장치 및 방법
CN101227554B (zh) * 2008-02-04 2010-04-21 中兴通讯股份有限公司 一种实现机顶盒在电视上自适应显示的方法及系统
WO2009113598A1 (en) * 2008-03-13 2009-09-17 Kabushiki Kaisha Toshiba Template matching apparatus and method thereof
US8311116B2 (en) * 2008-07-09 2012-11-13 Marvell World Trade Ltd. Method and apparatus for periodic structure handling for motion compensation
PL2346030T3 (pl) * 2008-07-11 2015-03-31 Fraunhofer Ges Forschung Koder audio, sposób kodowania sygnału audio oraz program komputerowy
US9218792B2 (en) * 2008-12-11 2015-12-22 Nvidia Corporation Variable scaling of image data for aspect ratio conversion
WO2010105408A1 (zh) * 2009-03-17 2010-09-23 华为技术有限公司 一种图像的缩放方法和装置
JP5436020B2 (ja) * 2009-04-23 2014-03-05 キヤノン株式会社 画像処理装置および画像処理方法
KR20110096494A (ko) * 2010-02-22 2011-08-30 엘지전자 주식회사 전자 장치 및 입체영상 재생 방법
US8538199B2 (en) * 2010-03-29 2013-09-17 Ricoh Productions Print Solutions LLC Digital image scaling with non integer scaling factors
JP5333866B2 (ja) * 2010-08-31 2013-11-06 ブラザー工業株式会社 画像読取装置、画像形成装置、及び、画像読取方法
JP5747378B2 (ja) * 2011-03-18 2015-07-15 株式会社日立国際電気 画像転送システム、画像転送方法、画像受信装置、画像送信装置、及び、画像撮像装置
JP2012216109A (ja) * 2011-04-01 2012-11-08 Sony Corp 画像処理装置と画像処理方法
JP5472256B2 (ja) * 2011-05-06 2014-04-16 株式会社デンソー 車両用表示装置および情報表示システム
JP2012253667A (ja) 2011-06-06 2012-12-20 Sony Corp 画像処理装置、画像処理方法、及びプログラム
US8655109B2 (en) * 2011-08-05 2014-02-18 Adobe Systems Incorporated Regression-based learning model for image upscaling
US9467708B2 (en) * 2011-08-30 2016-10-11 Sonic Ip, Inc. Selection of resolutions for seamless resolution switching of multimedia content
US9451284B2 (en) * 2011-10-10 2016-09-20 Qualcomm Incorporated Efficient signaling of reference picture sets
KR101899877B1 (ko) * 2012-04-04 2018-09-19 삼성전자주식회사 확대된 영상의 화질을 개선하기 위한 장치 및 방법
US9060184B2 (en) * 2012-04-27 2015-06-16 Sonic Ip, Inc. Systems and methods for adaptive streaming with augmented video stream transitions using a media server
KR20130139543A (ko) * 2012-06-13 2013-12-23 삼성전자주식회사 멀티뷰 디바이스, 디스플레이장치 및 이들의 제어방법
US20140143298A1 (en) * 2012-11-21 2014-05-22 General Electric Company Zero footprint dicom image viewer
US9357210B2 (en) * 2013-02-28 2016-05-31 Sonic Ip, Inc. Systems and methods of encoding multiple video streams for adaptive bitrate streaming

Also Published As

Publication number Publication date
WO2014185319A1 (ja) 2014-11-20
US10424050B2 (en) 2019-09-24
EP2999215A4 (en) 2016-12-21
US20160086312A1 (en) 2016-03-24
CN105210366A (zh) 2015-12-30
EP2999215A1 (en) 2016-03-23
CN105210366B (zh) 2018-11-13

Similar Documents

Publication Publication Date Title
US8385422B2 (en) Image processing apparatus and image processing method
TWI500326B (zh) 視訊播放裝置
WO2014185319A1 (ja) 画像処理装置および画像処理方法
US9001272B2 (en) Image synthesizing device, coding device, program, and recording medium
JP5614098B2 (ja) 映像表示装置、フレームレート変換装置、および表示方法
US8615036B2 (en) Generating interpolated frame of video signal with enhancement filter
CN104301736B (zh) 一种减少存储带宽需求的超高清帧率上变换系统
JP2014171097A (ja) 符号化装置、符号化方法、復号装置、および、復号方法
JP2008252591A (ja) 補間フレーム生成装置、補間フレーム生成方法及び放送受信装置
US20120008692A1 (en) Image processing device and image processing method
JP2009194843A (ja) 映像処理装置、及び映像処理方法
CN101686320B (zh) 图像信号处理装置和图像信号处理方法
JP5161935B2 (ja) 映像処理装置
JP2010041519A (ja) フレームレート変換装置、フレームレート変換方法、テレビジョン受像機、フレームレート変換プログラムおよび該プログラムを記録した記録媒体
JP2006074684A (ja) 画像処理方法及び装置
JP6614771B2 (ja) 電子透かし埋め込み装置およびそのプログラム、ならびに、電子透かし検出装置およびそのプログラム
US8817191B2 (en) Image processing apparatus and image processing method
JP2010124193A (ja) 映像信号処理装置及び映像信号処理方法
US20110285819A1 (en) Video signal processing apparatus and video signal processing method
JP2009159321A (ja) 補間処理装置、補間処理方法及び映像表示装置
JP4991884B2 (ja) 画像処理装置、および画像処理方法
KR20160001570A (ko) 영상 프레임 보간 장치, 디스플레이 장치 및 그 제어 방법
JP2014045425A (ja) 電子機器、電子機器の制御方法
JP2012004890A (ja) 映像信号出力装置、映像信号出力方法
JP5811000B2 (ja) 再生装置、記録再生装置、及び再生方法