[go: up one dir, main page]

KR102312681B1 - 영상 처리 시스템 및 방법 - Google Patents

영상 처리 시스템 및 방법 Download PDF

Info

Publication number
KR102312681B1
KR102312681B1 KR1020150036563A KR20150036563A KR102312681B1 KR 102312681 B1 KR102312681 B1 KR 102312681B1 KR 1020150036563 A KR1020150036563 A KR 1020150036563A KR 20150036563 A KR20150036563 A KR 20150036563A KR 102312681 B1 KR102312681 B1 KR 102312681B1
Authority
KR
South Korea
Prior art keywords
rendering
unit
processor
decoding
decoding unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020150036563A
Other languages
English (en)
Other versions
KR20160111662A (ko
Inventor
이현규
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020150036563A priority Critical patent/KR102312681B1/ko
Priority to US14/992,198 priority patent/US9883195B2/en
Priority to EP16160051.5A priority patent/EP3070598B1/en
Publication of KR20160111662A publication Critical patent/KR20160111662A/ko
Application granted granted Critical
Publication of KR102312681B1 publication Critical patent/KR102312681B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005—Adapting incoming signals to the display format of the display terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/439—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using cascaded computational arrangements for performing a single operation, e.g. filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/66—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving data partitioning, i.e. separation of data into packets or partitions according to importance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435—Change or adaptation of the frame rate of the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 PC의 프로세서를 사용하는 영상 처리 시스템에 있어서, 상기 프로세서를 사용하여, 입력된 영상 데이터를 디코딩하는 디코딩부; 및 상기 프로세서를 사용하여, 디코딩된 영상 데이터를 디스플레이부의 재생률에 대응되는 주기로 렌더링하는 렌더링부를 포함하고, 상기 디코딩부는, 상기 렌더링부의 상기 프로세서의 미사용 시에만 상기 입력된 영상 데이터를 디코딩하는, 영상 처리 시스템 및 방법에 관한 것이다.

Description

영상 처리 시스템 및 방법{System and Method of processing image}
본 발명은 영상 처리 시스템 및 방법에 관한 것으로, 보다 상세하게는 디코딩부와 렌더링부가 PC의 프로세서를 동시에 사용하지 않도록 하여 영상의 모션 져더를 최소화하는 영상 처리 시스템 및 방법에 관한 것이다.
CCTV 영상물의 시청은 단일 화면을 주시하는 기존 영상물과는 다르게, 사용자는 여러 CCTV 카메라를 동시에 모니터링하게 된다. 네트워크 CCTV 카메라는 컴퓨터 동영상 압축 기법을 사용하여 네트워크 전송 데이터량을 줄이는 방식을 사용하고 있다.
영상은 데이터량이 크고 압축, 전송, 압축 해제 과정을 거쳐서 모니터에 표시되기 때문에, 연산 과정이 복잡하고 전체 시스템의 부하가 높다. 영상의 압축은 각 카메라의 CPU에서 따로 처리하므로 부하가 분산되어 과부하 문제를 겪지 않지만, 압축 해제는 여러 영상을 한꺼번에 여러 모니터에서 보기 때문에 과부하가 발생한다.
PC 시스템의 CPU에 과부하가 걸리게 될 경우, 입력 영상의 FPS를 모니터의 출력 Hz(재생률)에 대응시키는 렌더링 기능을 정확하게 수행하기 어렵다. 이에 따라, 모니터에 출력되는 영상 화면이 떨리는 모션 저더(Motion Judder)가 발생하는 문제점이 있었다.
(유럽공개공보) EP 제2498494호 (일본공개공보) JP 제2002-532998호
본 발명이 해결하고자 하는 과제는 디코딩부와 렌더링부가 PC의 프로세서를 동시에 사용하지 않도록 하여 영상의 모션 져더를 최소화하는 영상 처리 시스템 및 방법을 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 달성하기 위하여, 본 발명의 실시예에 따른 영상 처리 시스템은, PC의 프로세서를 사용하는 영상 처리 시스템에 있어서, 상기 프로세서를 사용하여, 입력된 영상 데이터를 디코딩하는 디코딩부; 및 상기 프로세서를 사용하여, 디코딩된 영상 데이터를 디스플레이부의 재생률에 대응되는 주기로 렌더링하는 렌더링부를 포함하고, 상기 디코딩부는, 상기 렌더링부의 상기 프로세서의 미사용 시에만 상기 입력된 영상 데이터를 디코딩한다.
몇몇의 실시예에서, 상기 렌더링부는, 상기 프로세서를 미사용 시에 상기 디코딩부의 작동 신호를 생성하여, 상기 작동 신호를 상기 디코딩부로 전송하고, 상기 디코딩부는, 상기 작동 신호를 수신시에 상기 입력된 영상 프레임을 디코딩할 수 있다.
몇몇의 실시예에서, 상기 디코딩부는, 상기 프로세서의 미사용 시간 내에 상기 입력된 영상 프레임의 일부만 디코딩한 경우, 상기 영상 프레임의 나머지를 n 번으로 나누어 디코딩할 수 있다.
몇몇의 실시예에서, 상기 렌더링부는, 소정의 시간 마다 상기 디스플레이부의 재생률을 확인하여, 상기 렌더링 주기를 상기 확인된 재생률에 대응시킬 수 있다.
상기 과제를 달성하기 위하여, 본 발명의 실시예에 따른 영상 처리 방법은, PC의 프로세서를 사용하는 영상 처리 방법에 있어서, 렌더링부가 상기 프로세서를 사용하여, 렌더링 주기를 디스플레이부의 재생률에 대응되게 렌더링시키는 단계; 및 상기 렌더링부가 상기 프로세서를 미사용 시에만, 디코딩부가 상기 프로세서를 사용하여 입력된 영상 프레임을 디코딩하는 단계를 포함한다.
몇몇의 실시예에서, 상기 디코딩하는 단계에서, 상기 디코딩부는 상기 프로세서의 미사용 시간 내에 상기 입력된 영상 프레임의 일부만 디코딩한 경우, 상기 영상 프레임의 나머지를 n 번으로 나누어 디코딩할 수 있다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 영상 처리 시스템 및 방법에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
디코딩부와 렌더링부가 PC의 프로세서를 동시에 사용하지 않도록 하여 영상의 모션 져더를 최소화하는 효과가 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 시스템을 개략적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 처리 시스템을 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 영상 처리 시스템의 렌더링부가 렌더링하는 과정을 개략적으로 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 영상 처리 시스템에서 디코딩부가 디코딩하는 과정을 개략적으로 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 영상 처리 시스템의 영상 처리 방법을 도시한 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자에 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 본 발명의 실시예들에 의하여 영상 처리 시스템을 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 시스템을 개략적으로 도시한 도면이다. 도 2는 본 발명의 일 실시예에 따른 영상 처리 시스템을 도시한 블록도이다.
도 1 및 도 2을 참조하면, 본 발명의 일 실시예에 따른 영상 처리 시스템은 PC의 프로세서를 사용하여 디코딩, 렌더링 등의 영상 처리를 수행하는 시스템이다. 영상 처리 시스템은 카메라부(100), 영상 처리부(200) 및 디스플레이부(300)를 포함한다.
카메라부(100)는 피사체를 촬영하여 촬영된 영상 데이터를 인코딩하여 네트워크를 통해 PC로 출력하는 역할을 수행한다. 카메라부(100)는, 촬상부(110) 및 인코딩부(120)를 포함한다.
촬상부(110)는 피사체를 촬영하여 영상 데이터를 생성하는 역할을 수행한다. 또한, 촬상부(110)는 CCD(charge coupled device) 또는 CMOS(complementary metal oxide semiconductor)등의 이미지 센서, 광학 렌즈 등과 같은 촬상소자를 포함할 수 있다. 이러한, 영상 데이터에는 P 프레임, I 프레임 등의 영상 프레임을 포함한다.
인코딩부(120)는 촬상부(110)에서 생성된 영상 데이터를 압축 및 부호화를 수행한다. 예를 들면, 인코딩부(120)는 촬상부(110)가 생성한 영상 데이터의 크기를 축소하여 압축할 수 있다. 인코딩부(120)에서 압축 포맷 형태의 영상 데이터는 MPEG(Moving Picture Experts Group)-1 또는 MPEG-4 등의 다양한 포맷을 가질 수 있음은 당업자에게 자명하다 할 것이다.
또한, 도 1 및 도 2에 도시되지 않았지만, 촬상부(110)에서 생성한 아날로그의 영상 데이터를 디지털의 영상 데이터로 변환시켜주는 전처리부(미도시)를 더 포함할 수 있다. 전처리부에서 변환된 디지털의 영상 데이터는 인코딩부(120)로 입력될 수 있다.
영상 처리부(200)는 프로세서(미도시)를 포함하는 PC로 이루어진다. 영상 처리부(200)는, 카메라부(100)에서 생성한 영상 데이터의 FPS(Frame per second) 와 디스플레이부(300)의 재생률(Refresh Rate)이 정확하게 대응되지 않을 경우, 영상 데이터의 FPS(Frame per second)와 디스플레이부(300)의 재생률(Refresh Rate)이 정확하게 대응되도록 보정하는 역할을 수행한다. 자세한 사항은 후술하기로 한다.
또한, 영상 처리부(200)는 디코딩부(210), 렌더링부(220) 및 프로세서(미도시)를 포함할 수 있다.
디코딩부(210)는 인코딩부(120)에서 압축 및 부호화된 영상 데이터를 복호화하는 역할을 수행한다. 이러한, 디코딩부(210)는 PC의 프로세서를 사용하여 인코딩부(120)에서 압축 및 부호화된 영상 데이터를 복호화한다. 디코딩부(210)의 자세한 사항은 후술한다.
렌더링부(220)는, PC의 프로세서를 사용하여, 디코딩된 영상 데이터를 디스플레이부(300)의 재생률에 대응되게 렌더링하는 역할을 수행한다.
여기서 디스플레이부(300)의 재생률(Refresh Rate)이란, 영상 데이터에 포함된 영상 프레임을 디스플레이부(300)에 출력하는 횟수를 의미한다. 예를 들면, 재생률이 60Hz일 경우, 디스플레이부(300)는 영상 프레임을 1초 동안 60번을 출력하게 된다.
또한, 렌더링 주기에는 디코딩된 영상 데이터를 렌더링하는 시간과 렌더링하지 않는 시간을 포함하며, 렌더링하는 시간과 렌더링하지 않는 시간이 반복적으로 나타난다.
렌더링부(220)는 프로세스를 사용하여, 디코딩된 영상 데이터를 디스플레이부(300)의 재생률에 대응되는 주기로 렌더링시킨다. 렌더링에 대한 자세한 사항은 후술한다.
렌더링부(220)는 디코딩된 영상 데이터를 렌더링하지 않을 경우, PC의 프로세서를 사용하지 않는다. 이에 따라, 렌더링부(220)는 전술한 렌더링 주기에 따라 PC의 프로세서를 사용하여 디코딩된 영상 데이터를 렌더링하게 된다.
렌더링부(220)는 PC의 프로세서의 미사용시, 디코딩부(210)의 작동 신호를 생성하여 디코딩부(210)로 작동 신호를 전송한다. 다시 말하면, 렌더링부(220)는 렌더링을 하지 않을 시, 디코딩부(210)로 디코딩부(210)의 작동 신호를 생성하여 전송한다.
디코딩부(210)가 렌더링부(220)로부터 작동 신호를 수신할 경우, 디코딩부(210)는 렌더링부(220)가 PC의 프로세서를 사용하지 않는 것으로 인식하게 된다. 이에 따라, 디코딩부(210)는 렌더링부(220)로부터 작동 신호를 수신시에 프로세서를 사용하여 입력된 영상 데이터를 디코딩할 수 있다.
또한, 디코딩부(210)는 작동 신호를 수신한 때로부터 소정의 시간까지 입력된 영상 데이터를 디코딩할 수 있다. 이러한, 작동 신호를 수신한 때로부터 소정의 시간까지는 렌더링부(220)가 프로세서를 사용하지 않는 시간에 포함됨은 당업자에게 자명한 사항이다.
소정의 실시예에서, 렌더링부(220)는 디코딩의 작동 중지 신호를 생성하여 디코딩부(210)로 전송할 수 있다. 디코딩부(210)가 렌더링부(220)로부터 작동 중지 신호를 수신할 경우, 디코딩부(210)는 렌더링부(220)가 PC의 프로세서를 사용하는 것으로 인식하게 된다. 이에 따라, 디코딩부(210)는 작동 중지 신호를 수신시, 프로세서의 사용을 중지하여 입력된 영상의 디코딩을 중지할 수 있다. 다시 말하면, 디코딩부(210)는 작동 신호를 수신한 때로부터 작동 중지 신호를 수신할 때까지 입력된 영상 데이터를 디코딩할 수 있다.
또한, 렌더링부(220)는 소정의 시간마다 디스플레이부(300)의 재생률을 확인한다. 예를 들면, 렌더링부(220)는 100ms 마다 디스플레이부(300)의 스캔 라인(Scanline)을 체크하여 디스플레이부(300)의 재생률을 확인한다.
다만, 소정의 실시예에서 렌더링부(220)는 Vertical Sync Interrupt Service 등을 사용하여 디스플레이부(300)의 스캔 라인(Scanline)을 체크하여 디스플레이부(300)의 재생률을 확인할 수도 있다.
렌더링부(220)는 사용자의 조작에 의한 해상도의 변경 등으로 디스플레이부(300)의 재생률이 변경될 경우, 렌더링부(220)는 변경된 디스플레이부(300)의 재생률을 확인하여 변경된 재생률에 대응되게 렌더링 주기를 변경할 수 있다.
예를 들면, 사용자가 디스플레이부(300)의 해상도를 변경하여 재생률이 60Hz에서 75Hz로 변경될 경우, 렌더링부(220)는 변경된 디스플레이부(300)의 재생률에 대응되도록 렌더링 주기를 75FPS로 변경할 수 있다.
프로세서는 디코딩, 렌더링, 스케일링 등의 여러 개의 기능을 수행하도록 대용량의 연산을 처리하는 역할을 수행한다. 이러한, 프로세서는 프로그램에 의해 연산처리장치 및 제어장치로서 기능을 수행하는 CPU(Central Processing Unit) 등으로 이루어질 수 있다.
렌더링부(220)와 디코딩부(210)는 프로세서를 공동으로 사용한다. 하지만, 디코딩부(210)는 렌더링부(220)가 프로세서를 미사용시에만 프로세서를 사용하여 디코딩한다. 이에 따라, 렌더링부(220)와 디코딩부(210)가 동시에 프로세서를 사용하지 않아, 프로세서에는 렌더링부(220)와 디코딩부(210)가 동시에 프로세서를 사용하는 경우와 비교하여 부하가 크게 걸리지 않는다. 프로세서의 부하가 크게 걸리지 않아, 영상의 모션 져더(Motion Judder)를 최소화할 수 있다.
또한, 도 1 및 도 2에 도시되지는 않았지만, 디코딩부(210)에서 디코딩된 영상 데이터를 임시적으로 저장하는 버퍼부(미도시)를 포함할 수 있다.
디스플레이부(300)는 렌더링된 영상 데이터를 출력하는 역할을 수행한다. 디스플레이부(300)는 소정의 재생률로 설정되어 있으며, 사용자의 조작 등을 통해 재생률은 변경될 수 있다.
도 3은 본 발명의 일 실시예에 따른 영상 처리 시스템의 렌더링부(220)가 렌더링하는 과정을 개략적으로 도시한 도면이다.
도 3을 참조하여, 렌더링부(220, 도 2 참조)가 렌더링하는 과정을 설명한다. 예를 들어, 24 FPS로 촬영된 영상 데이터를 60Hz의 재생률을 가진 디스플레이부(300, 도 2 참조)에서 재생하기 위해서는 각 영상 프레임을 두 번씩만 반복 해서는 60번을 채울 수 없다, 이 경우, 24장의 영상 프레임 중 절반은 2번씩 반복하고, 나머지 절반은 3 번씩 반복하여야 디스플레이부(300)의 재생률에 대응되는 초당 60번을 채우게 하는 FRC(Frame Rate Conversion)라는 기술을 사용한다.
다만, 도 3에 도시된 바와 같이, 각각의 영상 프레임의 간격이 디스플레이부(300)의 재생률의 간격이 서로 상이 하기 때문에, 영상 프레임의 간격과 재생률의 간격을 대응시키는 보정 작업이 필요하다. 이러한 보정 작업을 렌더링이라고 하고, 영상 프레임의 간격을 줄이거나 늘여서 디스플레이부(300)의 재생률에 대응시킨다.
도 4는 본 발명의 일 실시예에 따른 영상 처리 시스템에서 디코딩부가 디코딩하는 과정을 개략적으로 도시한 도면이다.
도 4를 참조하면, 디코딩부(210, 도 2 참조)는 렌더링부(220, 도 2 참조)에서 전송한 작동 신호를 수신시, 디코딩을 수행한다. 디코딩부(210)는 렌더링부(220)가 렌더링을 하지 않을 시간에만 프로세서(미도시)를 사용하여 입력된 영상 데이터를 디코딩한다.
또한, 전술한 바와 같이, 영상 데이터에는 영상 프레임을 포함하고, 영상 프레임에는 P 프레임과 I 프레임 등을 포함한다.
P 프레임(P)은 다른 프레임을 참조하여 디코딩되는 프레임인 반면에 I 프레임(I)은 다른 프레임을 참조하지 않고 독립적으로 디코딩 가능한 프레임이다. 이에 따라, I 프레임(I)은 P 프레임(P)과 비교하여 고화질이며 용량도 크다.
디코딩부(210)는 렌더링부(220)의 프로세서의 미사용 시간 내에 용량이 큰 I 프레임(I)의 디코딩을 완료하지 못할 수 있다. 이에 따라, 디코딩부(210)는 렌더링부(220)의 프로세서의 미사용 시간 내에 입력된 영상 프레임(I 프레임)의 일부만을 디코딩할 경우, 영상 프레임의 나머지를 n번으로 나누어 디코딩 할 수 있다. (여기서 n은 0보다 큰 정수이다.)
도 5는 본 발명의 일 실시예에 따른 영상 처리 시스템의 영상 처리 방법을 도시한 순서도이다.
도 5를 참조하여, 본 발명의 일 실시예 따른 영상 처리 시스템의 작동 과정을 설명한다.
먼저, 렌더링부(220, 도 2 참조)가 PC의 프로세서를 사용하여, 렌더딩 주기를 디스플레이부(300, 도 2 참조)의 재생률에 대응되게 렌더링한다(S10). 이에 따라, 디코딩부(210, 도 2 참조)에서 렌더링부(220)로 전송된 디코딩된 영상 데이터가 디스플레이부(300)의 재생률에 대응되는 주기로 렌더링된다.
렌더링부(220)는 렌더링 하기 위해 프로세서의 사용하고 있는지를 판단한다(S20). 렌더링부(220)는 프로세서를 사용하고 있지 않다고 판단되면, 디코딩부(210)의 작동신호를 생성하여 디코딩부(210)로 전송한다(S30).
디코딩부(210)는 작동신호를 수신시, 입력된 영상 데이터를 디코딩한다(S40).
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100: 카메라부 110: 촬상부
120: 인코딩부 200: 영상 처리부
210: 디코딩부 220: 렌더링부
300: 디스플레이부

Claims (6)

  1. PC의 프로세서를 사용하는 영상 처리 시스템에 있어서,
    상기 프로세서를 사용하여, 입력된 영상 데이터를 디코딩하는 디코딩부; 및
    상기 프로세서를 사용하여, 디코딩된 영상 데이터를 디스플레이부의 재생률에 대응되는 렌더링 주기로 렌더링하는 렌더링부를 포함하고,
    상기 디코딩부는, 상기 렌더링부에 의한 상기 프로세서의 미사용 시에만 상기 입력된 영상 데이터를 디코딩하고,
    상기 렌더링부는, 상기 디코딩부에 의한 상기 프로세서의 미사용 시에만 렌더링을 수행하며,
    상기 렌더링 주기는 렌더링 하는 시간과 렌더링하지 않는 시간을 포함하고,
    상기 디코딩부는 상기 렌더링하지 않는 시간에만 상기 입력된 영상 데이터를 디코딩하는, 영상 처리 시스템.
  2. 제1항에 있어서,
    상기 렌더링부는, 상기 프로세서를 미사용 시에 상기 디코딩부의 작동 신호를 생성하여, 상기 작동 신호를 상기 디코딩부로 전송하고,
    상기 디코딩부는, 상기 작동 신호를 수신시에 상기 입력된 영상 프레임을 디코딩하는, 영상 처리 시스템.
  3. 제1항에 있어서,
    상기 디코딩부는, 상기 프로세서의 미사용 시간 내에 상기 입력된 영상 프레임의 일부만 디코딩한 경우, 상기 영상 프레임의 나머지를 n 번으로 나누어 디코딩하는, 영상 처리 시스템.
  4. 제1항에 있어서,
    상기 렌더링부는, 소정의 시간 마다 상기 디스플레이부의 재생률을 확인하여, 상기 렌더링 주기를 상기 확인된 재생률에 대응시키는, 영상 처리 시스템.
  5. PC의 프로세서를 사용하는 영상 처리 방법에 있어서,
    렌더링부가 상기 프로세서를 사용하여, 디스플레이부의 재생률에 대응되는 렌더링 주기로 렌더링시키는 단계; 및
    상기 렌더링부가 상기 프로세서를 미사용 시에만, 디코딩부가 상기 프로세서를 사용하여 입력된 영상 프레임을 디코딩하는 단계를 포함하되,
    상기 렌더링시키는 단계는 상기 디코딩부에 의한 상기 프로세서의 미사용 시에만 렌더링을 수행하는 단계를 포함하고,
    상기 렌더링 주기는 렌더링 하는 시간과 렌더링하지 않는 시간을 포함하고,
    상기 디코딩부는 상기 렌더링하지 않는 시간에만 상기 입력된 영상 프레임을 디코딩하는, 영상 처리 방법.
  6. 제5항에 있어서,
    상기 디코딩하는 단계에서, 상기 디코딩부는 상기 프로세서의 미사용 시간 내에 상기 입력된 영상 프레임의 일부만 디코딩한 경우, 상기 영상 프레임의 나머지를 n 번으로 나누어 디코딩하는, 영상 처리 방법.
KR1020150036563A 2015-03-17 2015-03-17 영상 처리 시스템 및 방법 Active KR102312681B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020150036563A KR102312681B1 (ko) 2015-03-17 2015-03-17 영상 처리 시스템 및 방법
US14/992,198 US9883195B2 (en) 2015-03-17 2016-01-11 Image processing system and method for decoding during non-rendering period
EP16160051.5A EP3070598B1 (en) 2015-03-17 2016-03-14 Image processing system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150036563A KR102312681B1 (ko) 2015-03-17 2015-03-17 영상 처리 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20160111662A KR20160111662A (ko) 2016-09-27
KR102312681B1 true KR102312681B1 (ko) 2021-10-13

Family

ID=55696896

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150036563A Active KR102312681B1 (ko) 2015-03-17 2015-03-17 영상 처리 시스템 및 방법

Country Status (3)

Country Link
US (1) US9883195B2 (ko)
EP (1) EP3070598B1 (ko)
KR (1) KR102312681B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8879858B1 (en) * 2013-10-01 2014-11-04 Gopro, Inc. Multi-channel bit packing engine
CN111836104B (zh) * 2020-07-09 2022-01-28 海信视像科技股份有限公司 显示设备及显示方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5821989A (en) 1990-06-11 1998-10-13 Vrex, Inc. Stereoscopic 3-D viewing system and glasses having electrooptical shutters controlled by control signals produced using horizontal pulse detection within the vertical synchronization pulse period of computer generated video signals
KR100215824B1 (ko) 1996-04-09 1999-08-16 구자홍 엠펙 디코더의 프레임 메모리 및 영상 데이타 디코딩방법
US20120262463A1 (en) 2011-04-03 2012-10-18 Reuven Bakalash Virtualization method of vertical-synchronization in graphics systems

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69422943T2 (de) * 1993-06-22 2000-06-29 Canon K.K., Tokio/Tokyo Bildverarbeitungsvorrichtung
US5880786A (en) * 1994-06-15 1999-03-09 Hitachi, Ltd. Apparatus for picture decoding having frame memories commonly connected to one data bus and one address bus
JP3232052B2 (ja) 1997-10-31 2001-11-26 松下電器産業株式会社 画像復号化方法
US6384846B1 (en) 1998-12-11 2002-05-07 Hitachi America Ltd. Methods and apparatus for rendering multiple images using a limited rendering resource
US6469744B1 (en) * 1999-07-06 2002-10-22 Hitachi America, Ltd. Methods and apparatus for encoding, decoding and displaying images in a manner that produces smooth motion
KR100457899B1 (ko) * 2000-08-25 2004-11-18 마츠시타 덴끼 산교 가부시키가이샤 복호 장치, 표시 장치, 전자 장치, 무선 통신 단말 장치및 복호 방법
JP3551139B2 (ja) * 2000-09-21 2004-08-04 日本電気株式会社 動画像再生システム及び動画像再生方法
US7256797B2 (en) * 2003-01-31 2007-08-14 Yamaha Corporation Image processing device with synchronized sprite rendering and sprite buffer
US8560753B1 (en) * 2005-03-30 2013-10-15 Teradici Corporation Method and apparatus for remote input/output in a computer system
US8345768B1 (en) * 2005-07-28 2013-01-01 Teradici Corporation Progressive block encoding using region analysis
US9426522B2 (en) 2007-07-10 2016-08-23 Qualcomm Incorporated Early rendering for fast channel switching
KR101425620B1 (ko) * 2007-12-17 2014-07-31 삼성전자주식회사 멀티 코어 프로세서 기반의 비디오 디코딩 방법 및 장치
US8872812B2 (en) * 2009-11-12 2014-10-28 Marvell World Trade Ltd. Power saving in mobile devices by optimizing frame rate output
EP2498494A1 (en) 2011-03-11 2012-09-12 Thomson Licensing Decoder and method at the decoder for synchronizing the rendering of contents received through different networks
AU2013282644B2 (en) * 2012-06-25 2016-05-12 Nec Corporation Video encoding/decoding device, method, and program
US9641867B2 (en) * 2014-10-24 2017-05-02 Megachips Corporation Image processor
JP2017005611A (ja) * 2015-06-15 2017-01-05 富士通株式会社 動画像復号装置及び動画像復号方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5821989A (en) 1990-06-11 1998-10-13 Vrex, Inc. Stereoscopic 3-D viewing system and glasses having electrooptical shutters controlled by control signals produced using horizontal pulse detection within the vertical synchronization pulse period of computer generated video signals
KR100215824B1 (ko) 1996-04-09 1999-08-16 구자홍 엠펙 디코더의 프레임 메모리 및 영상 데이타 디코딩방법
US20120262463A1 (en) 2011-04-03 2012-10-18 Reuven Bakalash Virtualization method of vertical-synchronization in graphics systems

Also Published As

Publication number Publication date
EP3070598B1 (en) 2020-12-30
EP3070598A1 (en) 2016-09-21
KR20160111662A (ko) 2016-09-27
US20160277753A1 (en) 2016-09-22
US9883195B2 (en) 2018-01-30

Similar Documents

Publication Publication Date Title
CN104702851B (zh) 使用嵌入式数据的强大自动曝光控制
CN109792540B (zh) 利用每帧参数控制的硬件加速的视频编码方法和系统
US10555002B2 (en) Long term reference picture coding
US8477841B2 (en) Video processing method, encoding device, decoding device, and data structure for facilitating layout of a restored image frame
US9854167B2 (en) Signal processing device and moving image capturing device
US20140244858A1 (en) Communication system and relaying device
EP2693761A2 (en) Media workload scheduler
US8897602B2 (en) Imaging system with multiframe scaler
EP2629520B1 (en) Apparatus and method for shooting moving picture in camera device
JP2011188243A5 (ko)
US20110302334A1 (en) Flow Control in Real-Time Transmission of Non-Uniform Data Rate Encoded Video Over a Universal Serial Bus
US10349094B2 (en) Video transmission apparatus, video reception apparatus, video transmission method, and video transmission system
US8264587B2 (en) Increasing frame rate for imaging
KR102312681B1 (ko) 영상 처리 시스템 및 방법
JP5507702B2 (ja) 動画像符号化方法および動画像符号化装置
KR101732995B1 (ko) 스트리밍 레이턴시 최소화 시스템 및 이를 사용하는 방법
US9942552B2 (en) Low bitrate video coding
US20240129496A1 (en) Method and system of video coding with handling of illegal block partitions
US20250016454A1 (en) Encoding and decoding method, electronic device, communication system, and storage medium
US11831985B2 (en) Camera and control method
JP2024046420A (ja) 画像処理装置、画像処理方法
JP2023008624A (ja) 撮像装置及びその制御方法及びプログラム
KR20120100615A (ko) 데이터 전송 장치
JP2016039578A (ja) 画像伝送装置
JP2011061332A (ja) 撮像装置、表示制御装置及びそれらの制御方法、プログラム

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20150317

PG1501 Laying open of application
N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20181001

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20200219

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20150317

Comment text: Patent Application

PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20210415

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20210726

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20210415

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20210726

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20210521

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20210906

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20210824

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20210726

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20210521

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20211007

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20211007

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee