[go: up one dir, main page]

KR20230034064A - 디스플레이 장치 및 그의 동작 방법 - Google Patents

디스플레이 장치 및 그의 동작 방법 Download PDF

Info

Publication number
KR20230034064A
KR20230034064A KR1020210117197A KR20210117197A KR20230034064A KR 20230034064 A KR20230034064 A KR 20230034064A KR 1020210117197 A KR1020210117197 A KR 1020210117197A KR 20210117197 A KR20210117197 A KR 20210117197A KR 20230034064 A KR20230034064 A KR 20230034064A
Authority
KR
South Korea
Prior art keywords
image
aspect ratio
display device
display
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
KR1020210117197A
Other languages
English (en)
Inventor
장성창
김범은
신용우
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020210117197A priority Critical patent/KR20230034064A/ko
Priority to CN202280059934.5A priority patent/CN117941361A/zh
Priority to EP22865089.1A priority patent/EP4358527A4/en
Priority to PCT/KR2022/013196 priority patent/WO2023033587A1/ko
Priority to US17/987,467 priority patent/US20230100652A1/en
Publication of KR20230034064A publication Critical patent/KR20230034064A/ko
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4092—Image resolution transcoding, e.g. by using client-server architectures
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A63F13/5378—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen for displaying an additional top view, e.g. radar screens or maps
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/837—Shooting of targets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/373—Details of the operation on graphic patterns for modifying the size of the graphic pattern
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635—HDMI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/0122—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0442—Handling or displaying different aspect ratios, or changing the aspect ratio
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/10—Use of a protocol of communication by packets in interfaces along the display data pipeline
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/12—Use of DVI or HDMI protocol in interfaces along the display data pipeline

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

개시된 실시예에 따른 디스플레이 장치는 디스플레이; 소스 장치와 통신하는 통신 인터페이스; 및 적어도 하나의 인스트럭션을 실행하는 프로세서를 포함한다.
개시된 실시예에 따른 디스플레이 장치는 컨텐츠에 대응되는 이미지의 종횡비가 변경되는 경우, 상기 종횡비 변경에 대응하여 최적화된 전체 화면을 출력할 수 있다.

Description

디스플레이 장치 및 그의 동작 방법 {Display apparatus and operating method thereof}
개시된 실시예는, 컨텐츠를 재생할 수 있는 디스플레이 장치 및 그의 동작 방법에 대한 것이다.
구체적으로, 개시된 실시예는, 다양한 종횡비를 갖는 이미지의 출력을 지원하여 컨텐츠(예를 들어, 게임 컨텐츠)를 와이드 화면으로 재생할 수 있는 디스플레이 장치 및 그의 동작 방법에 대한 것이다.
디스플레이 장치의 기술 개발로 인하여, 다양한 기능을 구현할 수 있는 디스플레이 장치들이 개발되고 있다.
디스플레이 장치의 대표적인 예로는 TV를 예로 들 수 있다. 종래의 TV는 단순히 방송 신호를 수신하여 그에 대응되는 방송 컨텐츠(예를 들어, 뉴스, 드라마, 가요 프로그램 등)를 재생하는 기능을 수행하였다.
최근에는 디스플레이 장치의 기술 개발로 인하여, TV에 다양한 기능을 수행하기 위해 다양한 어플리케이션 또는 프로그램이 저장 및 설치될 수 있으며, 설치된 어플리케이션을 통하여 방송 컨텐츠 재생 기능 이외에도 다양한 기능 및 서비스를 제공할 수 있다. 예를 들어, TV 에 게임 어플리케이션을 저장 및 설치하고, 게임 어플리케이션을 통하여 게임 컨텐츠를 실행할 수 있다.
또는, 디스플레이 장치의 통신 기술 또는 통신 연결 기능이 개발됨에 따라서, 디스플레이 장치가 외부 장치와 유무선의 통신을 통하여 다양한 기능 또는 서비스를 제공할 수 있도록, 디스플레이 장치가 개발되고 있다. 예를 들어, 디스플레이 장치는 외부 장치(예를 들어, 소스 장치, 게임 콘솔 장치)와 유무선의 통신으로 연결되고, 전술한 유무선의 통신을 통하여 외부 장치(예를 들어, 게임 콘솔 장치)로부터 컨텐츠(예를 들어, 게임 컨텐츠)를 제공받을 수 있다.
디스플레이 장치를 통하여 게임 컨텐츠를 제공하는데 있어서, 사용자의 만족도를 높이는 방향으로 게임 컨텐츠의 재생 화면을 출력할 수 있는 방법 및 장치를 제공할 필요가 있다.
예를 들어, 다양한 종횡비의 출력을 지원하는 디스플레이 장치에 있어서, 재생되는 게임 컨텐츠의 종횡비가 변경되는 경우, 종횡비 변경에 맞춰서 전체 화면을 탄력적으로 변경하여 출력함으로써, 사용자가 컨텐츠를 이용하는데 있어서 느낄 수 있는 만족도를 높일 수 있는 방법 및 장치를 제공할 필요가 있다.
개시된 실시예는, 컨텐츠에 대응되는 이미지의 종횡비가 변경되는 경우, 상기 종횡비 변경에 대응하여 최적화된 전체 화면을 출력할 수 있는 디스플레이 장치 및 그의 동작 방법의 제공을 목적으로 한다.
구체적으로, 개시된 실시예는, 게임 컨텐츠를 재생하는 디스플레이 장치에 있어서, 수신되는 게임 컨텐츠의 이미지(예를 들어, 게임 이미지)의 종횡비가 변경되는 경우 그에 대응하여 최적화된 전체 화면을 출력할 수 있는 디스플레이 장치 및 그의 동작 방법의 제공을 목적으로 한다.
구체적으로, 확대 표시를 위한 부분 영역이 설정되어 있는 게임 이미지가 디스플레이된 이후에 게임 이미지의 종횡비가 변경되는 경우, 전술한 종횡비 변경에 대응하여 상기 부분 영역에 대한 확대 표시를 탄력적으로 변경함으로써, 최적화된 전체 화면을 출력할 수 있는 디스플레이 장치 및 그의 동작 방법의 제공을 목적으로 한다.
개시된 실시예에 따른 디스플레이 장치는 디스플레이; 소스 장치와 통신하는 통신 인터페이스; 및 적어도 하나의 인스트럭션을 실행하는 프로세서를 포함한다. 상기 프로세서는 상기 적어도 하나의 인스트럭션을 실행하여, 상기 소스 장치로부터 제1 종횡비에 대응되는 제1 이미지를 수신하고, 상기 제1 이미지 내에 확대 표시를 위한 제1 부분 영역이 식별되는 것에 근거하여, 상기 제1 이미지 및 상기 제1 부분 영역에 대응되는 제1 확대 이미지를 포함하는 제1 전체 화면을 생성하여 디스플레이하고, 상기 소스 장치로부터 상기 제1 종횡비와 다른 제2 종횡비에 대응되는 제2 이미지가 수신되면, 상기 제1 종횡비 및 상기 제2 종횡비에 근거하여 상기 제2 이미지 내에서 상기 제1 부분 영역에 대응되는 제2 부분 영역을 식별하고, 상기 제2 이미지 및 식별된 상기 제2 부분 영역에 대응되는 제2 확대 이미지를 포함하는 제2 전체 화면을 생성하여 디스플레이한다.
예를 들어, 상기 프로세서는 상기 제1 종횡비 및 상기 제2 종횡비에 근거하여, 상기 제2 이미지 내에서, 상기 제1 이미지에 포함되는 상기 제1 부분 영역에 표시된 이미지 객체와 동일한 이미지 객체를 포함하는 상기 제2 부분 영역을 식별하고, 상기 식별된 제2 부분 영역에 대응되는 상기 제2 확대 이미지를 획득할 수 있다.
예를 들어, 상기 프로세서는 상기 소스 장치로부터 상기 제1 이미지를 수신하는 중에 입력되는 사용자 입력에 근거하여, 상기 소스 장치로부터 상기 제2 종횡비를 갖는 상기 제2 이미지가 수신되도록 상기 통신 인터페이스를 제어할 수 있다.
예를 들어, 상기 프로세서는 상기 제1 이미지에 포함되는 움직이는 적어도 하나의 객체, 미니 맵, 아이템 관련 창, 캐릭터 관련 창, 채팅 창, 및 현재 상태 정보 창 중 적어도 하나가 표시되는 영역을 상기 제1 부분 영역으로 식별하고, 상기 제1 부분 영역에 대응되는 제1 확대 이미지를 획득할 수 있다.
예를 들어, 상기 프로세서는 상기 제1 이미지에 포함되는 부분 영역을 선택하는 사용자 입력에 근거하여, 상기 제1 부분 영역을 식별할 수 있다.
또한, 개시된 실시예에 따른 디스플레이 장치는 사용자 입력을 수신하는 사용자 인터페이스를 더 포함할 수 있다. 상기 프로세서는 상기 제1 이미지 상에 적어도 하나의 가이드 영역을 표시한 사용자 인터페이스 화면을 디스플레이하고, 상기 적어도 하나의 가이드 영역을 중 적어도 하나를 선택하는 사용자 입력에 근거하여, 상기 제1 부분 영역을 식별할 수 있다.
예를 들어, 상기 프로세서는 상기 제1 이미지에 포함되는 미니 맵, 적어도 하나의 움직이는 객체, 아이템 관련 창, 캐릭터 관련 창, 채팅 창, 및 현재 상태 정보 창 중 적어도 하나에 대응되는 적어도 하나의 이미지 객체를 인식하고, 인식된 상기 적어도 하나의 이미지 객체를 선택하기 위한 사용자 인터페이스 화면을 디스플레이하며, 상기 적어도 하나의 이미지 객체 중 적어도 하나를 선택하는 사용자 입력에 근거하여, 상기 제1 부분 영역을 식별할 수 있다.
예를 들어, 상기 프로세서는 상기 디스플레이의 종횡비가 상기 제2 종횡비와 동일하면, 상기 디스플레이의 전체 화면을 두 개의 부분 화면으로 화면 분할하고, 상기 일 부분 화면 내에 상기 제2 이미지를 표시하고 상기 다른 부분 화면 내에 상기 제2 확대 이미지를 표시할 수 있다.
예를 들어, 상기 프로세서는 상기 디스플레이의 종횡비가 상기 제2 종횡비와 다르면, 상기 디스플레이의 전체 화면에서 상기 제2 이미지가 표시되는 영역을 제외한 나머지 영역의 적어도 일부에 상기 제2 확대 이미지를 표시할 수 있다.
예를 들어, 상기 프로세서는 상기 나머지 영역의 화면 이용 효율이 최대가 되도록 상기 제2 확대 이미지의 크기를 조절하고, 크기 조절된 상기 제2 확대 이미지를 상기 나머지 영역 상에 표시할 수 있다.
예를 들어, 상기 프로세서는 상기 제2 종횡비 및 상기 디스플레이의 전체 화면 종횡비에 근거하여, 상기 제2 전체 화면에 포함되는 상기 제2 확대 이미지의 크기 및 위치 중 적어도 하나를 조절할 수 있다.
예를 들어, 상기 제1 이미지는 상기 제1 종횡비에 대응되는 게임 컨텐츠에 대응되는 이미지를 포함할 수 있다. 또한, 상기 제2 이미지는 상기 제2 종횡비에 대응되는 게임 컨텐츠에 대응되는 이미지를 포함할 수 있다.
예를 들어, 상기 프로세서는 게임 컨텐츠의 재생 이미지에 대응되는 상기 제1 이미지에 포함되는 미니 맵이 표시되는 영역을 상기 제1 부분 영역으로 식별하고, 상기 제1 부분 영역에 대응되는 제1 확대 이미지를 생성하며, 상기 제1 확대 이미지 및 상기 제1 이미지를 포함하는 상기 제1 전체 화면을 생성하여 디스플레이할 수 있다.
개시된 실시예에 따른 디스플레이 장치의 제어 방법은, 소스 장치로부터 제1 종횡비에 대응되는 제1 이미지를 수신하는 단계; 상기 제1 이미지 내에 확대 표시를 위한 제1 부분 영역이 식별되는 것에 근거하여, 상기 제1 이미지 및 상기 제1 부분 영역에 대응되는 제1 확대 이미지를 포함하는 제1 전체 화면을 생성하여 디스플레이하는 단계; 상기 소스 장치로부터 상기 제1 종횡비와 다른 제2 종횡비에 대응되는 제2 이미지를 수신하는 단계; 상기 제1 종횡비 및 상기 제2 종횡비에 근거하여 상기 제2 이미지 내에서 상기 제1 부분 영역에 대응되는 제2 부분 영역을 식별하는 단계; 및 상기 제2 이미지 및 식별된 상기 제2 부분 영역에 대응되는 제2 확대 이미지를 포함하는 제2 전체 화면을 생성하여 디스플레이하는 단계를 포함할 수 있다.
예를 들어, 상기 제2 부분 영역을 식별하는 단계는 상기 제1 종횡비 및 상기 제2 종횡비에 근거하여, 상기 제2 이미지 내에서, 상기 제1 이미지에 포함되는 상기 제1 부분 영역에 표시된 이미지 객체와 동일한 이미지 객체를 포함하는 상기 제2 부분 영역을 식별하는 단계; 및 상기 식별된 제2 부분 영역에 대응되는 상기 제2 확대 이미지를 획득하는 단계를 포함할 수 있다.
예를 들어, 상기 제1 전체 화면을 생성하여 디스플레이하는 단계는 상기 제1 이미지에 포함되는 움직이는 적어도 하나의 객체, 미니 맵, 아이템 관련 창, 캐릭터 관련 창, 채팅 창, 및 현재 상태 정보 창 중 적어도 하나가 표시되는 영역을 상기 제1 부분 영역으로 식별하는 단계; 및 상기 제1 부분 영역에 대응되는 제1 확대 이미지를 획득하는 단계를 포함할 수 있다.
또한, 개시된 실시예에 따른 디스플레이 장치의 제어 방법은 상기 제1 이미지 상에 적어도 하나의 가이드 영역을 표시한 사용자 인터페이스 화면을 디스플레이는 단계; 및 상기 적어도 하나의 가이드 영역을 중 적어도 하나를 선택하는 사용자 입력에 근거하여, 상기 제1 부분 영역을 식별하는 단계를 더 포함할 수 있다.
또한, 개시된 실시예에 따른 디스플레이 장치의 제어 방법은 상기 제1 이미지에 포함되는 미니 맵, 적어도 하나의 움직이는 객체, 아이템 관련 창, 캐릭터 관련 창, 채팅 창, 및 현재 상태 정보 창 중 적어도 하나에 대응되는 적어도 하나의 이미지 객체를 인식하는 단계; 인식된 상기 적어도 하나의 이미지 객체를 선택하기 위한 사용자 인터페이스 화면을 디스플레이하는 단계; 및 상기 적어도 하나의 이미지 객체 중 적어도 하나를 선택하는 사용자 입력에 근거하여, 상기 제1 부분 영역을 식별하는 단계를 더 포함할 수 있다.
또한, 상기 제2 전체 화면을 생성하여 디스플레이하는 단계는 상기 디스플레이 장치에 포함되는 디스플레이의 종횡비가 상기 제2 종횡비와 다르면, 상기 디스플레이의 전체 화면에서 상기 제2 이미지가 표시되는 영역을 제외한 나머지 영역의 적어도 일부에 상기 제2 확대 이미지를 표시하는 단계를 포함할 수 있다.
예를 들어, 상기 제2 전체 화면을 생성하여 디스플레이하는 단계는 상기 제2 종횡비 및 상기 디스플레이의 전체 화면 종횡비에 근거하여, 상기 제2 전체 화면에 포함되는 상기 제2 확대 이미지의 크기 및 위치 중 적어도 하나를 조절하는 단계를 더 포함할 수 있다.
개시된 실시예에 따른 디스플레이 장치 및 그의 동작 방법은 게임 컨텐츠에 대응되는 게임 이미지의 종횡비가 변경되는 경우, 상기 종횡비 변경에 대응하여 최적화된 전체 화면을 출력함으로써, 게임 사용자의 불편함을 최소화하여 게임 사용자의 만족도를 증가시킬 수 있다.
구체적으로, 개시된 실시예에 따른 디스플레이 장치 및 그의 동작 방법은 확대 표시를 위한 부분 영역이 설정되어 있는 게임 이미지가 디스플레이된 이후에 게임 이미지의 종횡비가 변경되는 경우, 상기 변경된 종횡비에 근거하여 상기 부분 영역에 대한 확대 표시를 자동으로 변경함으로써, 게임 컨텐츠의 종횡비가 변경되는 경우 발생하는 확대 표시 영역의 표시 오류를 방지할 수 있다. 그에 따라서, 개시된 실시예는 게임 사용자의 만족도를 증가시킬 수 있다.
도 1은 소스 장치로부터 컨텐츠를 수신하는 디스플레이 장치를 설명하기 위한 도면이다.
도 2는 다양한 종횡비의 출력을 지원하는 디스플레이 장치를 설명하기 위한 일 도면이다.
도 3은 다양한 종횡비의 출력을 지원하는 디스플레이 장치를 설명하기 위한 다른 도면이다.
도 4는 디스플레이 장치에서 출력되는 21:9의 종횡비를 갖는 게임 이미지를 포함하는 전체 화면을 설명하기 위한 도면이다.
도 5는 게임 이미지의 종횡비가 21:9에서 32:9로 변경되는 경우, 그에 대응하는 전체 화면의 변경을 설명하기 위한 일 도면이다.
도 6은 디스플레이 장치에서 출력되는 32:9의 종횡비를 갖는 게임 이미지를 포함하는 전체 화면을 설명하기 위한 도면이다.
도 7은 게임 이미지의 종횡비가 32:9에서 21:9로 변경되는 경우, 그에 대응하는 전체 화면의 변경을 설명하기 위한 일 도면이다.
도 8은 개시된 실시예에 따른 디스플레이 장치를 나타내는 블록도이다.
도 9는 개시된 실시예에 따른 디스플레이 장치를 상세히 나타내는 블록도이다.
도 10은 개시된 실시예에 따른 디스플레이 장치에서 수행되는 동작들을 설명하기 위한 도면이다.
도 11a는 개시된 실시예에 따른 디스플레이 장치의 동작 방법을 나타내는 일 흐름도이다.
도 11b는 개시된 실시예에 따른 디스플레이 장치의 동작 방법을 나타내는 다른 흐름도이다.
도 12는 개시된 실시예에서 수행되는 종횡비 변경 동작을 설명하기 위한 일 도면이다.
도 13은 개시된 실시예에 따른 디스플레이 장치에서 출력되는 전체 화면의 전환 동작을 설명하기 위한 일 도면이다.
도 14는 개시된 실시예에 따른 디스플레이 장치에서 디스플레이 되는 사용자 인터페이스 화면의 일 예를 나타내는 도면이다.
도 15는 개시된 실시예에 따른 디스플레이 장치에서 디스플레이 되는 전체 화면의 일 예를 나타내는 도면이다.
도 16은 개시된 실시예에 따른 디스플레이 장치에서 디스플레이 되는 전체 화면의 다른 예를 나타내는 도면이다.
도 17은 개시된 실시예에 따른 디스플레이 장치의 동작 방법을 나타내는 다른 흐름도이다.
도 18은 게임 이미지를 나타내는 일 도면이다.
도 19는 게임 이미지 내에 포함되는 부분 영역의 식별 동작을 설명하기 일 도면이다.
도 20은 개시된 실시예에서 출력되는 전체 화면의 일 예를 나타내는 도면이다.
도 21은 개시된 실시예에 따른 디스플레이 장치의 동작 방법을 나타내는 다른 흐름도이다.
도 22는 게임 이미지 내에 포함되는 부분 영역의 식별 동작을 설명하기 다른 도면이다.
도 23은 게임 이미지 내에 포함되는 부분 영역의 식별 동작을 설명하기 다른 도면이다.
도 24는 게임 이미지 및 확대 이미지를 포함하는 전체 화면의 다른 예를 나타내는 도면이다.
도 25는 개시된 실시예에 따른 디스플레이 장치의 동작 방법을 나타내는 또 다른 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. 또한, 도면 전체에 있어서, 동일한 구성에 대하여는 동일한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에서 다양한 곳에 등장하는 "일부 실시예에서" 또는 "일 실시예에서" 등의 어구는 반드시 모두 동일한 실시예를 가리키는 것은 아니다.
일부 실시예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 프로세서 또는 마이크로프로세서들에 의해 구현되거나, 의도하는 기능을 수행하기 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립트 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 모듈 및 구성등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.
또한, 'A, B, 및 C 중 적어도 하나'라는 기재는 'A', 'B', 'C', 'A 및 B', 'A 및 C', 'B 및 C', 및 'A, B, 및 C' 중 어느 하나가 될 수 있음을 의미한다.
개시된 실시예에서, 디스플레이 장치는 소스 장치로부터 컨텐츠를 수신받고 그에 대응되는 화면을 디스플레이할 수 있는 모든 전자 기기를 지칭할 수 있다. 여기서, 컨텐츠는 게임, 강의, 영화, 홈 트레이닝 서비스 컨텐츠 등이 될 수 있다.
구체적으로, 본 개시의 실시예에 따른 디스플레이 장치는 적어도 하나의 컨텐츠를 선택적으로 디스플레이 할 수 있는 모든 전자 장치로, TV, 스마트 TV, 디지털 방송용 단말기, 태블릿 PC, 스마트 폰, 모바일 폰, 컴퓨터, 노트북 등과 같이 다양한 형태로 존재할 수 있다. 또한, 디스플레이 장치는 고정형뿐만 아니라, 이동 가능하거나 사용자가 휴대 가능한 형태를 가질 수 있을 것이다.
도 1은 소스 장치로부터 컨텐츠를 수신하는 디스플레이 장치를 설명하기 위한 도면이다.
도 1을 참조하면, 디스플레이 장치(100)는 소스 장치(101)와 유선 또는 무선 통신 네트워크를 통하여 연결될 수 있다.
소스 장치(101)는 비디오 오디오 등의 컨텐츠를 디스플레이 장치(100)에 제공할 수 있다. 소스 장치(101)는 비디오 게임 콘솔이 될 수 있다. 소스 장치(101)는 또 다른 예로, 비디오 게임 콘솔, 셋톱박스, DVD 플레이어, 블루레이 디스크 플레이어, PC, 게임기 등과 같이 디스플레이 장치(100)로 컨텐츠를 제공할 수 있는 다양한 유형의 전자 장치를 포함할 수 있다. 소스 장치(101)는 컨텐츠를 제공하는 측면이라는 점에서 소스 장치로 언급될 수 있는 것이고, 그 외에도 호스트 장치, 컨텐츠 제공 장치, 전자 장치, 저장 장치, 컴퓨팅 장치, 서버 장치, 서버 등으로 언급될 수도 있다.
디스플레이 장치(100)는 소스 장치(101)로부터 수신되는 컨텐츠를 출력 또는 표시할 수 있다. 디스플레이 장치(100)는 예를 들어, 네트워크 TV, 스마트 TV, 인터넷 TV, 웹 TV, IPTV, PC 등과 같이 컨텐츠를 수신하여 출력할 수 있는 다양한 형태의 전자 장치를 포함할 수 있다. 디스플레이 장치(100)는 컨텐츠를 수신하여 표시하는 측면이라는 점에서 디스플레이 장치로 언급될 수 있는 것이고, 그 외에도 컨텐츠 수신 장치, 싱크 장치, 전자 장치, 컴퓨팅 장치 등으로 언급될 수도 있다.
소스 장치(101)와 디스플레이 장치(100)는 유선 네트워크를 형성하기 위한 유선 연결 수단을 통해 연결됨으로써 컨텐츠 송수신을 수행할 수 있다. 예를 들어, 유선 연결 수단은 케이블을 포함할 수 있으며, 소스 장치(101)과 디스플레이 장치(100) 각각은 케이블 접속을 위한 하나 이상의 포트를 포함할 수 있다. 하나 이상의 포트는 예를 들어, HDMI 포트, 디스플레이포트, 타입-C 등의 디지털 입력 인터페이스를 포함할 수 있다.
또는, 소스 장치(101)와 디스플레이 장치(100)는 무선 네트워크를 형성하기 위한 무선 연결 수단을 통해 연결됨으로써 컨텐츠 송수신을 수행할 수 있다. 예를 들어, 무선 연결 수단은 무선 HDMI 통신 모듈을 포함할 수 있으며, 소스 장치(101)과 디스플레이 장치(100) 각각은 무선 HDMI 통신 모듈을 포함할 수 있다. 또 다른 예로, 무선 연결 수단은 블루투스, 와이파이, BLE(Bluetooth Low Energy), NFC/RFID, 와이파이 다이렉트(Wifi Direct), UWB, ZIGBEE, 인터넷, 3G, 4G, 5G 및/또는 6G 등 등의 통신 규격에 따른 통신을 수행하는 적어도 하나의 통신 모듈(미도시)을 포함할 수 있다.
도 1에서는, 소스 장치(101)와 디스플레이 장치(100)가 유선 HDMI 통신을 수행하기 위한 HDMI 케이블(105) 통해 연결되는 경우를 예로 들어 도시하였다.
예를 들어, 소스 장치(101)와 디스플레이 장치(100)는 각각 HDMI 포트를 구비하고, 해당 포트에 접속되는 HDMI 케이블(105)을 통하여 통신을 수행할 수 있다. 소스 장치(101)가 디스플레이 장치(100)로 컨텐츠를 제공할 때 소스 장치(101)는 먼저, 디스플레이 장치(100)에서 제공되는 EDID를 수신하고, 수신된 EDID에 부합하는 포맷의 컨텐츠를 생성하여 이를 디스플레이 장치(100)로 제공할 수 있다.
EDID는, 디스플레이 장치(100)가 컨텐츠를 디스플레이 할 수 있는 디스플레이 성능 이나 디스플레이 사양을 정의하는 데이터 또는 정보이다. 구체적으로, EDID는 디스플레이 장치의 제조사에 대한 정보, 제품 정보, EDID 버전 정보, 타이밍 정보, 화면 크기에 대한 정보, 휘도에 대한 정보 및 화소에 대한 정보 중 적어도 하나를 포함할 수 있다. 여기서, 화면 크기에 대한 정보에는 디스플레이 장치가 제공할 수 있는 해상도, 및 종횡비 중 적어도 하나에 대한 정보가 포함될 수 있다.
소스 장치(101)는 디스플레이 장치(100)가 제공하는 EDID를 획득하고, 획득된 EDID에 기반하여 디스플레이 장치(100)로 보낼 컨텐츠의 포맷을 생성하고 이를 디스플레이 장치(100)로 제공할 수 있다. 예를 들어, 소스 장치(101)는 획득된 EDID에 따라서 식별된 종횡비(구체적으로, 식별된 종횡비의 값)가 32:9이면, 식별된 종횡비인 32:9 값을 갖는 이미지를 생성하고, 이를 디스플레이 장치(100)로 전송할 수 있다. 즉, 디스플레이 장치(100)로부터 EDID를 수신한 소스 장치(101)는 디스플레이 장치(100)의 디스플레이 성능에 맞는 포맷의 컨텐츠를 디스플레이 장치(100)를 제공할 수 있게 된다. 여기서, 이미지는 컨텐츠에 대응되는 이미지로, 컨텐츠의 재생 화면, 컨텐츠의 메뉴 화면 등을 포함할 수 있다.
개시된 실시예를 설명하는데 있어서 편의 상, '이미지를 전송'하는 것으로 기재하였으나, 이는 이미지에 대응되는 영상 신호, 영상 신호를 포함하는 패킷 또는 스트림, 또는 영상 신호를 포함하는 오디오/비디오 데이터(AV 데이터)를 전송하는 것을 의미할 수 있다.
이하에서는, 도 2 및 도 3을 참조하여, 다양한 종횡비의 출력을 지원하는 디스플레이 장치에서 디스플레이되는 이미지들을 설명한다.
도 2는 다양한 종횡비의 출력을 지원하는 디스플레이 장치를 설명하기 위한 일 도면이다.
개시된 실시예에 따른 디스플레이 장치(100)는 복수개의 종횡비를 갖는 화면의 출력을 지원할 수 있다. 여기서, 종횡비는 화면의 종 방향 길이와 횡 방향 길이의 비율을 나타내는 것으로, 4:3, 16:9, 16:10, 21:9, 32:9 등의 값으로 표현될 수 있다. 또한, 종횡비는 출력되는 화면 또는 이미지의 가로 및 세로의 길이 비율을 나타내는 것이므로, '화면 비율', '이미지 비율' 등으로 호칭 될 수도 있을 것이다. 화면의 종횡비는 입력되는 이미지(또는 영상)의 종류에 따라서 최적화 될 수 있다.
예를 들어, 화면을 통하여 출력되는 이미지의 종류에 따라서 사용자의 만족도가 높아지는 종횡비를 선택할 수 있다.
예를 들어, 16:9의 종횡비는 가장 많이 이용되는 화면 비율이며, 메뉴 화면, 업무 화면 등의 출력에 이용될 수 있다. 또 다른 예로, 21:9의 종횡비는 영화 감상 또는 게임 등과 같이 좌우 방향(또는, 가로 방향)으로 더 많은 정보를 화면 상에서 제공받고자 하는 경우에 이용될 수 있다. 또 다른 예로, 32:9의 종횡비는 넓은 시야를 제공하거나 제공받고자 하는 영상의 출력에 이용될 수 있다. 구체적으로, 32:9의 종횡비는 사용자의 만족도를 높이기 위해서 스포츠 게임, 레이싱 게임, 배틀 게임 등과 같이 360도 이미지 또는 파노라마 영상을 이용하여 제공되는 게임 등에 많이 이용될 수 있다.
동일한 게임 컨텐츠의 이미지를 디스플레이 하는데 있어서, 이미지의 종횡비에 따라서 서로 다른 시야각을 제공할 수 있다. 예를 들어, 이미지의 종횡비가 좌우로 확대되는 방향으로 증가할수록, 더 넓은 시야(FoV: Field of View) 또는 시야각을 제공할 수 있다. 예를 들어, 32:9의 종횡비, 21:9의 종횡비 및 16:9의 종횡비 순으로, 넓은 시야 또는 시야각을 제공할 수 있다.
도 2를 참조하면, 32:9의 종횡비를 갖는 이미지(210), 21:9의 종횡비를 갖는 이미지(230), 및 16:9의 종횡비를 갖는 이미지(250)가 도시된다.
예를 들어, 32:9의 종횡비를 갖는 이미지(210), 21:9의 종횡비를 갖는 이미지(230), 및 16:9의 종횡비를 갖는 이미지(250) 순으로 넓은 시야각을 제공할 수 있다.
도 2를 참조하면, 32:9의 종횡비를 갖는 이미지(210)는 가장 넓은 시야각을 제공할 수 있다. 21:9의 종횡비를 갖는 이미지(230)는 32:9의 종횡비를 갖는 이미지(210)에 비하여 201선을 기준으로 좌측 영역 및 202선을 기준으로 우측 영역에 대한 시야를 제공하지 못하며, 201선과 202 선의 사이 영역(231)에 대한 시야를 제공할 수 있다. 또한, 16:9의 종횡비를 갖는 이미지(250)는 32:9의 종횡비를 갖는 이미지(210)에 비하여 203 선을 기준으로 좌측 영역 및 204 선을 기준으로 우측 영역에 대한 시야를 제공하지 못하며, 202 선과 204 선의 사이 영역(251)에 대한 시야를 제공할 수 있다.
전술한 바와 같이, 32:9의 종횡비를 갖는 이미지(210)는 21:9의 종횡비를 갖는 이미지(230) 또는 16:9의 종횡비를 갖는 이미지(250)에 비하여 넓은 시야각을 나타낼 수 있으므로 게임 컨텐츠를 제공받는 사용자에게 더 많은 정보를 제공할 수 있다. 예를 들어, 360도 이미지 또는 파노라마 이미지 중에서 사용자의 위치를 기준으로 일정 영역을 게임 컨텐츠의 이미지로 디스플레이하는 경우, 도 2에 도시된 이미지들(210, 230, 250) 중에서 32:9의 종횡비를 갖는 이미지 (210)이 가장 넓은 시야각을 제공할 수 있다. 그에 따라서, 게임 컨텐츠를 이용하는 사용자는 가장 넓은 시야각에 따른 이미지를 시청하면서 게임을 할 수 있으며, 더욱 생동감 있고 몰입 가능한 게임을 즐길 수 있다.
또한, 일반적인 게임 컨텐츠의 경우, 게임 사용자의 입장에서 게임 중에 보다 넓은 시야를 볼 수 있으면 제공되는 이미지를 통하여 더 많은 정보를 제공받을 수 있으므로, 게임의 승부에서 유리한 지위를 가질 수 있다. 따라서, 게임 사용자의 경우 조금이라도 더 넓은 시야각을 갖는 게임 컨텐츠의 이미지를 제공받기를 원할 것이다. 여기서, 게임 사용자는 게임을 직접 하는 사용자뿐만 아니라, 게임을 관전하는 사용자도 포함될 수 있다.
따라서, 복수개의 종횡비들에 대응되는 이미지의 출력을 지원하는 디스플레이 장치(100)는 게임 컨텐츠의 재생 시에 복수개의 종횡비들 중 좌우 방향으로 확대되는 비율이 가장 큰 종횡비(예를 들어, 32:9, 21:9 및 16:9의 종횡비 중 32:9의 종횡비)로 이미지를 디스플레이 할 수 있다.
도 3은 다양한 종횡비의 출력을 지원하는 디스플레이 장치를 설명하기 위한 다른 도면이다.
도 3에서는, 디스플레이 장치(100)에 포함되는 디스플레이(또는, 디스플레이 패널)의 종 방향 길이과 횡 방향 길이의 비가 16:9인 경우, 디스플레이 장치(100)에서 출력되는 화면들을 예로 들어 도시하였다. 즉, '16:9'는 디스플레이 장치(100)의 자체 종횡비, 또는 디스플레이 장치(100)의 전체 화면 종횡비가 될 수 있다.
게임 컨텐츠가 3D 게임 컨텐츠인 경우를 예로 들면, 소스 장치(101)는 게임 컨텐츠에 대응되는 360도 이미지(210)을 저장할 수 있다. 도 3에서는 360도 이미지(210)이 도 2에서 도시한 32:9의 종횡비를 갖는 영상과 동일한 경우를 예로 들어서 도시하였다. 소스 장치(101)는 디스플레이 장치(100)의 EDID에 근거하여, 현재의 시야에 대응되며 설정된 EDID에서 식별되는 종횡비를 갖는 이미지를 디스플레이 장치(100)로 전송할 수 있다.
예를 들어, 디스플레이 장치(100)의 EDID 에 근거하여 식별된 종횡비가 16:9인 경우, 소스 장치(101)는 16:9의 종횡비를 갖는 이미지(340)를 디스플레이 장치(100)로 전송할 수 있다. 또한, 이미지를 전송한다는 것은, 이미지에 대응되는 이미지 데이터를 전송하는 것을 의미할 수 있다. 그러면, 디스플레이 장치(100)는 수신된 이미지(340)에 대응되는 전체 화면(370)을 출력할 수 있다. 수신된 이미지(340)의 종횡비와 디스플레이 장치(100)에 포함되는 디스플레이의 자체 종횡비가 16:9로 동일하므로, 전체 화면(370)은 블랙 영역 없이 이미지(340)를 표시할 수 있다.
또 다른 예로, 디스플레이 장치(100)의 EDID 에 근거하여 식별된 종횡비가 21:9인 경우, 소스 장치(101)는 21:9의 종횡비를 갖는 이미지(330)를 디스플레이 장치(100)로 전송할 수 있다. 그러면, 디스플레이 장치(100)는 수신된 이미지(330)에 대응되는 전체 화면(350)을 출력할 수 있다. 수신된 이미지(330)의 종횡비와 디스플레이 장치(100)에 포함되는 디스플레이의 자체 종횡비가 상이하므로, 전체 화면(350)은 블랙 영역을 포함하여 이미지(330)를 표시할 수 있다.
또 다른 예로, 디스플레이 장치(100)의 EDID 에 근거하여 식별된 종횡비가 32:9인 경우, 소스 장치(101)는 32:9의 종횡비를 갖는 이미지(320)를 디스플레이 장치(100)로 전송할 수 있다. 그러면, 디스플레이 장치(100)는 수신된 이미지(320)에 대응되는 전체 화면(360)을 출력할 수 있다. 수신된 이미지(310)의 종횡비와 디스플레이 장치(100)에 포함되는 디스플레이의 자체 종횡비가 상이하므로, 전체 화면(360)은 전체 화면(350)에 비하여 더 넓은 블랙 영역을 포함하며 이미지(320)를 표시할 수 있다.
개시된 실시예는, 도 1 내지 도 3을 참조하여 설명한 바와 같이, 개시된 실시예에 따른 디스플레이 장치는 다양한 종횡비 값을 갖는 이미지들의 출력을 지원할 수 있다. 개시된 실시예는, 서로 다른 종횡비 값들을 갖는 이미지들의 출력을 지원할 수 있는 디스플레이 장치에 있어서, 이미지의 종횡비가 변경될 때 발생할 수 있는 출력 화면의 오류 및/또는 사용자의 불편함을 최소화하기 위한 장치 및 방법에 대한 것으로, 이하에서 도 4 내지 도 25를 참조하여 상세히 설명한다. 또한, 이하에서 설명한 도 4 내지 도 25에서는, 도 3에서 예시된 바와 같이, 개시된 실시예에 따른 디스플레이 장치에 포함되는 디스플레이(또는, 디스플레이 패널)의 종 방향 길이와 횡 방향 길이의 비가 16:9인 경우를 예로 들어서 도시하였다.
도 4는 디스플레이 장치에서 출력되는 21:9의 종횡비를 갖는 게임 이미지를 포함하는 전체 화면을 설명하기 위한 도면이다. 구체적으로, 도 4는 디스플레이 장치에서 수신하는 이미지(410) 및 그에 대응되는 전체 화면(450)의 일 예를 도시한다. 도 4 내지 도 7에 도시된 이미지 및 전체 화면들은 도 1에서 설명한 디스플레이 장치(100)에서 수신 및 출력되는 경우를 예로 들어서 설명한다. 또한, 도 4 내지 도 7에 도시된 이미지(예를 들어, 게임 이미지)는 도 1에서 설명한 소스 장치(101)에서 생성되어 디스플레이 장치(100)로 전송되는 경우를 예로 들어서 설명한다.
도 4를 참조하면, 디스플레이 장치(100)은 소스 장치(101)로부터 게임 컨텐츠를 수신할 수 있다. 예를 들어, 게임 컨텐츠는 오디오 및/또는 비디오 데이터를 포함하는 스트림, 패킷 등의 형태로 수신될 수 있다. 또한, 게임 컨텐츠에 대응되는 스트림 또는 패킷은 복수개의 이미지를 포함할 수 있다. 여기서, 이미지는 게임 컨텐츠의 재생 화면, 메뉴 화면 등과 같이 게임 컨텐츠의 재생을 위해서 디스플레이되는 이미지가 될 수 있다. 예를 들어, 이미지는 이미지 프레임, 프레임, 화상 집합(GOP: Group of Pictures) 등의 형태가 될 수 있다.
도 4를 포함하여, 이하에서 참조될 도면들에서는 개시된 실시예에 따른 디스플레이 장치에서 수신되는 이미지가 게임 컨텐츠에 대응되는 이미지(이하, '게임 이미지')인 경우를 예로 들어 도시 및 설명하도록 한다.
또한, 소스 장치(101)에서 제공하는 게임 컨텐츠가 3D 게임 컨텐츠가 될 수 있다. 3D 게임은, 3D 공간(예를 들어, 가상의 입체적인 공간 및 형상을 표현하여 3D 공간 등) 내에서 사용자가 게임을 즐길 수 있도록 하는 게임을 의미한다. 예를 들어, 3D 게임을 하는 사용자는 3D 공간 내의 소정 지점 내에서 가상의 캐릭터 등과 경기, 레이싱, 전투, 싸움 또는 전쟁 등을 하는 방식으로 게임을 진행할 수 있다. 또 다른 예로, 3D 게임과 같이 3D 공간 내에서 게임을 수행하는 컨텐츠 이외에도, 게임 컨텐츠에는 2D 공간 내에서 게임을 수행하는 일반 게임이 존재할 수 있다.
전술한 3D 게임 또는 일반 게임 등에 있어서, 게임 이미지는 서브 창(sub-window)이 적어도 하나 포함될 수 있다. 예를 들어, 서브 창은 게임 재생 화면 상의 부분 영역에 표시되며, 게임의 진행과 관련된 정보, 게임 참가자를 위한 서비스(예를 들어, 채팅 창 등) 예를 들어, 서브 창은 미니 맵(mini map), 스킬 창(skill window), 아이템 관련 창, 캐릭터 관련 창, 채팅 창, 조종 관련 창 등이 될 수 있다. 또한, 게임 이미지에 포함되는 서브 창의 종류는 게임의 종류에 따라서 달라질 수 있다.
구체적으로, 미니 맵은 게임이 수행되는 공간을 전체적으로 나타내는 맵(map)을 작게 표시하는 이미지가 될 수 있다. 스킬 창은 스킬(skill)은 스킬(skill)의 쿨 타임(cool-down time)을 알려주는 상태 창이 될 수 있다. 아이템 관련 창은 게임에 이용되는 아이템에 대한 정보를 제공하는 창이 될 수 있다. 예를 들어, 아이템 관련 창은 아이템 인벤토리(Item inventory) 창을 포함할 수 있다. 아이템 인벤토리 창은 본인이 보유한 아이템의 종류 및/또는 재사용 시간 등을 표시할 수 있다. 캐릭터 관련 창은 게임을 수행하는 캐틱터에 대한 정보를 제공하는 창이 될 수 있다. 예를 들어, 캐릭터 관련 창은 캐릭터 상태 창을 포함할 수 있다. 캐릭터 상태 창은 배틀 게임과 같이 아군과 적국이 존재하는 게임에 있어서, 아군 및/또는 적군 각각의 HP(Health point) 및/또는 MP(Mana point), 부활 시간 등을 제공하는 창이 될 수 있다. 채팅 창은 게임에 참여하거나 게임을 관전하는 복수의 사람들의 채팅 내용을 표시하는 창이 될 수 있다. 또는, 채팅 창은 게임과 관련된 메시지를 표시하는 창이 될 수 있다.
예를 들어, 조종 관련 창은 게임 사용자가 게임에 이용되는 객체(예를 들어, 비행 물체, 자동차 등)을 조정하는 게임에 있어서, 조정석 또는 운전석과 관련된 정보를 제공하기 위한 창이 될 수 있다. 예를 들어, 조정 관련 창은 비행 또는 운행시 필요하거나 제공되는 정보를 제공하기 위한 비행 시뮬레이션 운전석(Flight simulation cockpit) 창을 포함할 수 있다. 비행 시뮬레이션 운전석(Flight simulation cockpit) 창은 대기 속도(Airspeed), 엔진 상태, 연료, 상하 조절 날개(Flaps), 자동차 내장(trim), 고도(altitude) 상태 등을 표시할 수 있다.
전술한 서브 창은 게임 이미지 상에 별도로 구획 및/또는 표시되는 형태로 표시될 수 있다. 또는, 서브 창은 별도로 구획되는 서브 창 형태가 아닌, 게임 이미지의 부분 영역 상에서 불투명 또는 반투명 형태로 표시될 수 있다.
도 4에 도시된 예를 참조하면, 21:9의 종횡비를 갖는 게임 이미지(410) 상에 미니맵(401)과 아이템 창(402)이 도시된 바와 같이 표시될 수 있다. 도 4의 예에서는, 게임 이미지(410) 내에 2개의 서브 창인 미니맵(401)과 아이템 창(402)이 표시되었다.
예를 들어, 게임 이미지(410) 내에 포함되며 확대 표시하고자 하는 부분 영역은 전술한 서브 창이 될 수 있다. 또 다른 예로, 게임 이미지(410) 내에 포함되며 게임 이미지(410)와 별도로 확대 표시되어질 부분 영역은 게임 이미지(410) 내에서 움직이는 객체가 표시되는 영역이 될 수 있다.
예를 들어, 디스플레이 장치(100)는 게임 이미지(410)에 포함되는 서브 창(예를 들어, 미니맵(401), 아이템 창(402) 등)이 확대 표시되도록, 게임 이미지(410) 및 서브 창에 대응되는 확대 이미지를 포함하는 전체 화면을 디스플레이 할 수 있다.
예를 들어, 서브창은 게임을 하는 사용자에게 유익한 정보를 제공할 수 있다. 예를 들어, 게임 사용자으로 제공되는 미니 맵을 보고, 승률을 높이는 방향으로 게임 사용자에 대응되는 객체의 위치를 이동시킬 수 있다.
또는, 서브창(예를 들어, 채팅 창 등)은 게임을 하거나 게임을 관전하는 사용자들 간의 의견 또는 정보 교환을 지원할 수 있다. 그에 따라서, 게임 사용자의 편리성을 높일 수 있다.
또는, 서브창은 게임의 진행 상황 및 게임의 승패 또는 승률에 대한 정보를 제공할 수 있다.
또는, 서브창은 게임과 관련된 부가 서비스를 제공할 수 있다. 예를 들어, 서브창은 게임과 관련된 별도의 서비스(예를 들어, 게임 관련 쇼핑몰 접속, 게임과 관련된 방송 프로그램 연결 등)를 제공할 수 있다.
전술한 바와 같이, 서브 창은 게임 사용자에게 유용하거나 유익한 정보를 제공할 수 있으며, 게임 사용자의 편리성을 높일 수 있다. 따라서, 서브 창이 게임 이미지 내에서 표시되는 것보다 더 확대되어 표시되는 경우, 사용자의 편리성은 더욱 증가될 수 있다. 그에 따라서, 개시된 실시예에서는, 디스플레이 장치(100)에서 출력되는 전체 화면은 게임 이미지와 별도로 서브 창에 대응되는 확대 이미지를 포함할 수 있으며, 이하에서 도 4를 참조하여 상세히 설명한다.
도 4에 도시된 예시를 참조하면, 디스플레이 장치(100)의 디스플레이 자체의 종횡비가 도 3에서와 같이 16:9인 경우, 전체 화면(450)의 종횡비는 16:9가 된다. 전체 화면(450)상에 21:9의 종횡비를 갖는 게임 이미지(410)를 디스플레이하는 경우, 블랙 영역(460)이 존재할 수 있다. 디스플레이 장치(100)는 블랙 영역(460) 등과 같이 전체 화면(450)에서 게임 이미지(410)가 표시되는 영역을 제외한 영역 내에 서브 창에 대응되는 확대 이미지가 포함될 수 있다. 예를 들어, 확대 이미지는 게임 이미지(410) 내에 포함되는 부분 영역(예를 들어, 서브 창으로 표시되는 영역)을 확대하여 표시한 이미지가 될 수 있다. 또는, 확대 이미지는 게임 이미지(410) 내에 포함되는 부분 영역(예를 들어, 서브 창으로 표시되는 영역)에 포함되는 적어도 하나의 이미지 객체를 확대하여 표시하는 이미지가 될 수 있다.
예를 들어, 전체 화면(450)는 21:9의 종횡비를 갖는 게임 이미지(410), 게임 이미지(410) 내에 포함되는 서브창인 미니맵(401)에 대응되는 확대 이미지(470), 및 게임 이미지(410) 내에 포함되는 서브창인 아이템 창(402)에 대응되는 확대 이미지(480)을 포함할 수 있다. 여기서, 확대 이미지들(470, 480)은 블랙 영역(460) 상에 표시될 수 있다.
전체 화면(450)이 디스플레이 된 후, 게임 이미지(410)의 종횡비가 변경되어 수신될 수 있다. 디스플레이 장치(100)는 복수개의 종횡비의 출력을 지원하므로, 디스플레이 장치(100)는 변경된 종횡비를 갖는 이미지를 수신하고 이를 디코딩하여 그에 대응되는 전체 화면을 디스플레이 할 수 있다.
이때 확대 이미지의 표시에 있어서, 오류가 발생할 수 있다. 확대 이미지의 표시에 대한 오류는 이하에서 도 5를 참조하여 상세히 설명한다.
도 5는 게임 이미지의 종횡비가 21:9에서 32:9로 변경되는 경우, 그에 대응하는 전체 화면의 변경을 설명하기 위한 일 도면이다. 도 5에 있어서, 도 4에서와 동일한 구성은 동일한 도면 기호를 이용하여 도시하였다. 그러므로, 중복되는 설명은 생략한다.
도 5를 참조하면, 21:9의 종횡비를 갖는 게임 이미지(410)가 수신된 후, 게임 이미지(410)의 종횡비가 32:9로 변경되어 변경된 종횡비를 갖는 게임 이미지(501)가 수신될 수 있다. 그러면, 디스플레이 장치(100)는 변경된 32:9의 종횡비를 갖는 게임 이미지(501)를 포함하는 전체 화면(510)을 디스플레이 할 수 있다.
종래의 또는 일반적인 디스플레이 장치는 전술한 바와 같이 재생되는 컨텐츠에 대응되는 이미지의 종횡비가 변경되는 경우, 종횡비의 변경 전 수신된 이미지에 설정된 서브 창의 위치 및 크기는 변경되지 않는다. 그에 따라서, 변경된 종횡비를 갖는 이미지 상에서 종횡비의 변경 전 설정된 서브 창의 위치 및 크기에 대응되는 부분 영역을 획득하고, 획득된 부분 영역을 확대하여 확대 이미지를 생성하게 된다. 따라서, 변경된 종횡비를 갖는 이미지를 포함하는 전체 화면에는, 잘못된 확대 이미지가 포함되게 된다. 이하에서 도 5에 도시된 전체 화면(510)을 참조하여 상세히 설명한다.
종래의 또는 일반적인 디스플레이 장치에 있어서, 게임 이미지의 종횡비가 변경되더라도, 종횡비의 변경 전 수신된 21:9 종횡비 값을 게임 이미지(410)에 설정된 2개의 서브 창(401, 402)의 위치 및 크기는 그대로 유지된다. 도 5를 참조하면, 게임 컨텐츠의 재생 중에 종횡비가 변경되는 경우, 디스플레이 장치(100)의 출력 화면은 전체 화면(450)에서 전체 화면(510)으로 전환될 수 있다.
종횡비가 변경된 이후에, 전체 화면(510)에 포함되는 확대 이미지(570)는 기존에 설정된 서브 창(401)과 동일한 위치 및 크기를 갖는 부분 영역 내에 표시된 부분 이미지를 확대하여 표시하게 된다. 또한, 기존에 설정된 서브 창(402)은 32:9의 종횡비를 갖는 게임 이미지(501) 상에 존재하는 위치 및 크기가 아니며, 블랙 영역(571) 내에 존재한다. 따라서, 기존에 설정된 서브 창(402)에 대응되는 부분 이미지는 블랙 이미지가 되며, 서브 창(402)에 대응되는 확대 이미지는 블랙 영역(571) 상에 블랙 이미지(502)로 표시되게 된다.
도 5를 참조하여 설명한 바와 같이, 일반적인 또는 종래의 디스플레이 장치의 경우, 컨텐츠의 재생 동안에 수신되는 이미지(예를 들어, 게임 이미지)의 종횡비가 변경되더라도, 확대 이미지에 대응되는 서브 창의 위치 및 크기에 대한 변경은 이뤄지지 않는다. 그에 따라서, 사용자에게 제공되는 확대 이미지는 도 5에서 설명하 확대 이미지(570, 502)에서와 같이 잘못된 형태의 이미지로 디스플레이되게 된다. 구체적으로, 사용자가 제공받기를 원하는 확대 이미지가 아닌 잘못된 이미지 객체를 확대 표시한 이미지가 디스플레이 되며, 그에 따라서 사용자는 게임 중에 불편함을 느낄 수 있다. 즉, 잘못된 확대 이미지가 디스플레이 됨으로써 사용자의 편리성 및 만족도가 떨어질 수 있다.
이하에서는 도 6 및 도 7을 참조하여, 게임 컨텐츠의 재생 동안에 디스플레이되는 게임 이미지의 종횡비가 32:9에서 21:9로 변경되는 경우 출력되는 전체 화면들을 설명한다.
도 6은 디스플레이 장치에서 출력되는 32:9의 종횡비를 갖는 게임 이미지를 포함하는 전체 화면을 설명하기 위한 도면이다. 도 6에 있어서 도 5에서와 동일한 구성은 동일한 도면 기호를 이용하여 도시 하였으므로, 중복되는 설명은 생략한다.
도 6을 참조하면, 32:9의 종횡비를 갖는 게임 이미지(501)가 수신되는 경우, 디스플레이 장치(100)는 수신된 게임 이미지(501)에 대응되는 전체 화면(650)을 디스플레이 할 수 있다.
도 4에서 설명한 바와 동일하게, 게임 이미지(501) 내는 미니맵(601) 및 아이템 창(522)이 서브 창으로 포함될 수 있다.
구체적으로, 전체 화면(650)는 32:9의 종횡비를 갖는 게임 이미지(501), 게임 이미지(501) 내에 포함되는 서브창인 미니맵(601)에 대응되는 확대 이미지(670), 및 게임 이미지(501) 내에 포함되는 서브창인 아이템 창(602)에 대응되는 확대 이미지(680)을 포함할 수 있다. 여기서, 확대 이미지들(670, 680)은 블랙 영역(660) 상에 표시될 수 있다. 블랙 영역(660)은 전체 화면(650)에서 게임 이미지(501)가 표시되는 영역(610)을 제외한 나머지 영역이 될 수 있다.
도 7은 게임 이미지의 종횡비가 32:9에서 21:9로 변경되는 경우, 그에 대응하는 전체 화면의 변경을 설명하기 위한 일 도면이다. 도 7에 있어서 도 4 및 도 6에서와 동일한 구성은 동일한 도면 기호를 이용하여 도시 하였으므로, 중복되는 설명은 생략한다.
도 7을 참조하면, 전체 화면(650)이 디스플레이 된 후, 게임 이미지(501)의 종횡비가 32:9에서 21:9로 변경될 수 있다. 디스플레이 장치(100)는 복수개의 종횡비의 출력을 지원하므로, 디스플레이 장치(100)는 변경된 종횡비인 21:9의 종횡비를 갖는 게임 이미지(410)를 수신하고 이를 디코딩하여 그에 대응되는 전체 화면(710)을 디스플레이 할 수 있다.
이때 확대 이미지의 표시에 있어서, 도 5에서 설명한 확대 이미지 표시 오류와 동일 또는 유사한 방식의 오류가 발생할 수 있다. 확대 이미지의 표시에 대한 오류는 이하에서 도 7을 참조하여 상세히 설명한다.
종래의 또는 일반적인 디스플레이 장치에 있어서, 게임 이미지의 종횡비가 변경되더라도, 종횡비의 변경 전 수신된 32:9 종횡비 값을 게임 이미지(501)에 설정된 2개의 서브 창(601, 602)의 위치 및 크기는 그대로 유지된다. 도 7을 참조하면, 게임 컨텐츠의 재생 중에 종횡비가 변경되는 경우, 디스플레이 장치(100)의 출력 화면은 전체 화면(650)에서 전체 화면(710)으로 전환될 수 있다.
종횡비가 변경된 이후에, 전체 화면(710)에 포함되는 확대 이미지(770)는 기존에 설정된 서브 창(601)과 동일한 위치 및 크기를 갖는 부분 영역 내에 표시된 부분 이미지를 확대하여 표시하게 된다. 또한, 기존에 설정된 서브 창(602)은 21:9의 종횡비를 갖는 게임 이미지(410) 내에서 아이템들이 표시되는 영역이 아니며, 게임 사용자의 입장에서 의미 있는 정보가 아닌 건물의 외벽이 표시되는 영역을 나타낼 수 있다. 따라서, 기존에 설정된 서브 창(602)에 대응되는 부분 이미지는 건물의 벽면을 나타내는 이미지가 되므로, 서브 창(602)에 대응되는 확대 이미지(780)는 도 7에 도시된 바와 같이 표시될 수 있다.
도 7을 참조하여 설명한 바와 같이, 일반적인 또는 종래의 디스플레이 장치의 경우, 컨텐츠의 재생 동안에 수신되는 이미지(예를 들어, 게임 이미지)의 종횡비가 변경되더라도, 확대 이미지에 대응되는 서브 창의 위치 및 크기에 대한 변경은 이뤄지지 않는다.
그에 따라서, 사용자에게 제공되는 확대 이미지는 도 7에서 설명하 확대 이미지(770, 780)에서와 같이 잘못된 형태의 이미지로 디스플레이되게 된다. 구체적으로, 사용자가 제공받기를 원하는 확대 이미지가 아닌 잘못된 이미지 객체를 확대 표시한 이미지가 디스플레이 되며, 그에 따라서 사용자는 게임 중에 불편함을 느낄 수 있다. 즉, 잘못된 확대 이미지가 디스플레이 됨으로써 사용자의 편리성 및 만족도가 떨어질 수 있다.
개시된 실시예는, 도 5 및 도 7을 참조하여 설명한 바와 같이, 재생되는 컨텐츠에 대응되는 이미지의 종횡비가 변경되어 디스플레이되는 경우 발생하는 확대 이미지의 표시 오류의 발생을 제거할 수 있는 장치 및 방법으로, 이하에서 도 8 내지 도 25를 참조하여 상세하 설명한다.
도 8은 개시된 실시예에 따른 디스플레이 장치를 나타내는 블록도이다. 도 8에 도시된 디스플레이 장치(800) 및 소스 장치(801)는 각각 도 1에서 도시된 디스플레이 장치(100) 및 소스 장치(101)에 대응된다. 따라서, 디스플레이 장치(800)를 설명하는데 있어서, 도 1 내지 도 7에서와 중복되는 설명은 생략한다.
도 8을 참조하면, 디스플레이 장치(800)는 디스플레이(820), 소스 장치(801)와 통신하는 통신 인터페이스(830) 및 적어도 하나의 인스트럭션을 실행하는 프로세서(810)를 포함한다.
개시된 실시예에 따른 디스플레이 장치(800)에 포함되는 프로세서(810)는 상기 적어도 하나의 인스트럭션을 실행하여 하기의 동작들이 수행되도록 디스플레이 장치(800) 내에 포함되는 적어도 하나의 구성들을 제어할 수 있다. 구체적으로, 프로세서(810)는 상기 소스 장치(801)로부터 제1 종횡비에 대응되는 제1 이미지를 수신하고, 상기 제1 이미지 내에 확대 표시를 위한 제1 부분 영역이 식별되는 것에 근거하여, 상기 제1 이미지 및 상기 제1 부분 영역에 대응되는 제1 확대 이미지를 포함하는 제1 전체 화면을 생성하여 디스플레이한다. 계속하여, 프로세서(810)는 상기 소스 장치(801)로부터 상기 제1 종횡비와 다른 제2 종횡비에 대응되는 제2 이미지가 수신되면, 상기 제1 종횡비 및 상기 제2 종횡비에 근거하여 상기 제2 이미지 내에서 상기 제1 부분 영역에 대응되는 제2 부분 영역을 식별한다. 그리고, 프로세서(810)는 상기 제2 이미지 및 식별된 상기 제2 부분 영역에 대응되는 제2 확대 이미지를 포함하는 제2 전체 화면을 생성하여 디스플레이한다.
예를 들어, '제1 이미지'는 디스플레이 장치(800)에서 재생 중인 컨텐츠에 대응되는 이미지가 될 수 있다. 여기서, 컨텐츠는 게임 컨텐츠, 강의 컨텐츠, 영화 컨텐츠, 음악 컨텐츠, 홈 트레이닝 서비스 컨텐츠, 그 밖의 방송 컨텐츠(예를 들어, 뉴스, 드라마, 가요 프로그램 등)등이 될 수 있다. 이하에서는, 디스플레이 장치(800)가 재생 중인 컨텐츠가 게임 컨텐츠이며, 제1 이미지 및 제2 이미지가 게임 컨텐츠의 재생 화면, 메뉴 화면, 실행 화면 등에 대응되는 게임 이미지인 경우를 예로 들어서 도시 및 설명하도록 한다.
또한, '부분 영역'은 이미지 내에 포함되는 일부 영역을 지칭하는 것으로, 도 4 내지 도 7을 참조하여 설명한 '서브창'에 대응될 수 있다. 예를 들어, 개시된 실시예에서, '부분 영역'(예를 들어, '제1 부분 영역,'또는 '제2 부분 영역')은 게임 이미지 내에서 게임 사용자 등이 확대하여 보기를 원하는 이미지 객체가 그려진, 게임 이미지 내의 일부 영역을 의미할 수 있다.
예를 들어, 컨텐츠에 대응되는 이미지(예를 들어, 게임 이미지) 내에 포함되며 확대 표시되어질 부분 영역은, 미니 맵, 적어도 하나의 움직이는 객체, 아이템 관련 창, 캐릭터 관련 창, 채팅 창, 및 현재 상태 정보 창 중 적어도 하나에 대응되는 적어도 하나의 이미지 객체가 표시되는 영역이 될 수 있다. 예를 들어, 프로세서(810)는 컨텐츠에 대응되는 이미지(예를 들어, 게임 이미지) 에 포함되는 움직이는 적어도 하나의 객체, 미니 맵, 아이템 관련 창, 캐릭터 관련 창, 채팅 창, 및 현재 상태 정보 창 중 적어도 하나가 표시되는 영역을 제1 부분 영역으로 식별하고, 상기 제1 부분 영역에 대응되는 제1 확대 이미지를 획득할 수 있다.
또한, 제1 종횡비와 제2 종횡비는 서로 다른 값을 가질 수 있다. 또한, 제1 종횡비 및 제2 종횡비 각각은 디스플레이 장치(800)가 지원하는 복수개의 종횡비 값들 중 어느 하나와 동일 또는 대응될 수 있다.
또한, 제2 이미지는 사용자의 요청에 근거하여 소스 장치(801)에서 출력 및 전송될 수 있다. 구체적으로, 디스플레이 장치(800)는 제1 종횡비를 갖는 제1 이미지를 소스 장치로부터 수신하는 중에 수신되는 사용자의 입력에 기초하여, 소스 장치(801)가 제2 종횡비를 갖는 제2 이미지를 전송하도록 소스 장치(801)를 제어할 수 있다.
프로세서(810)는 적어도 하나의 인스트럭션을 수행하여, 의도하는 동작이 수행되도록 제어한다. 여기서, 적어도 하나의 인스트럭션은 프로세서(810) 내에 포함되는 내부 메모리(미도시) 또는 프로세서(810)와 별도로 디스플레이 장치(100) 내에 포함되는 메모리(미도시)에 저장되어 있을 수 있다.
구체적으로, 프로세서(810)는 적어도 하나의 인스트럭션을 수행하여, 의도하는 동작이 수행되도록 디스플레이 장치(800) 내부에 포함하는 적어도 하나의 구성들을 제어할 수 있다. 따라서, 프로세서(810)가 소정 동작들을 수행하는 것으로 기재 및 설명하더라도, 이는 소정 동작이 수행되도록 프로세서(810)가 디스플레이 장치(800) 내부에 포함하는 적어도 하나의 구성들을 제어하는 것을 의미할 수 있다.
또한, 프로세서(810)는 하나의 프로세서로 형성되는 경우를 예로 들어 설명 및 도시하였으나, 복수개의 프로세서들이 포함되는 형태로 형성될 수도 있다.
구체적으로, 프로세서(810)는 디스플레이 장치(800)의 외부에서부터 입력되는 신호 또는 데이터를 저장하거나, 디스플레이 장치(100)에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 RAM(미도시), 디스플레이 장치(100)의 제어를 위한 제어 프로그램, 소정 기능 또는 서비스를 제공하기 위한 어플리케이션, 및/또는 복수개의 인스트럭션이 저장된 ROM(미도시) 및 적어도 하나의 프로세서 (Processor)(미도시)를 포함할 수 있다. 프로세서(미도시)는 비디오에 대응되는 그래픽 처리를 위한 그래픽 프로세서(Graphic Processing Unit, 미도시)를 포함할 수 있다. 프로세서(미도시)는 코어(core, 미도시)와 GPU(미도시)를 통합한 SoC(System On Chip)로 구현될 수 있다. 또한, 프로세서(810)는 싱글 코어 이상의 멀티 코어를 포함할 수 있다. 예를 들어, 프로세서(810)는 듀얼 코어, 트리플 코어, 쿼드 코어, 헥사 코어, 옥타 코어, 데카 코어, 도데카 코어, 헥사 다시 벌 코어 등을 포함할 수 있다.
디스플레이(820)는 이미지를 화면 상으로 출력한다. 구체적으로, 디스플레이(820)는 비디오 데이터를 사용자가 시각적으로 인식할 수 있도록, 내부적으로 포함되는 디스플레이 패널(미도시)을 통하여, 비디오 데이터에 대응되는 이미지를 출력할 수 있다. 구체적으로, 컨텐츠를 형성하는 동영상 데이터는 복수개의 프레임 이미지들을 포함할 수 있으며, 디스플레이(820)는 프로세서(810)의 제어에 따라서 복수개의 프레임 이미지들을 연속적으로 표시함으로써, 동영상 컨텐츠를 재생할 수 있다.
개시된 실시예에서, 디스플레이(820)는 프로세서(810)의 제어에 따라서 소스 장치(101)에서 수신되는 컨텐츠(예를 들어, 게임 컨텐츠)에 대응되는 이미지(예를 들어, 게임 이미지)를 화면 상으로 디스플레이 할 수 있다.
통신 인터페이스(830)는 적어도 하나의 외부 장치(예를 들어, 소스 장치(101))와 유선 또는 무선 통신 네트워크를 통하여 통신을 수행할 수 있다. 여기서, 외부 장치(미도시)는 컨텐츠를 제공할 수 있는 소스 장치(801), 서버 장치, 저장 장치 등이 될 수 있다.
구체적으로, 통신 인터페이스(830)는 외부 장치(예를 들어, 소스 장치(101))와 유선으로 통신하기 위해서, 외부 장치와 유선 케이블로 연결되기 위한 적어도 하나의 포트(미도시)를 포함할 수 있다. 예를 들어, 통신 인터페이스(830)는 HDMI 포트(High-Definition Multimedia Interface port), 컴포넌트 잭(component jack), PC 포트(PC port), 및 USB 포트(USB port) 중 적어도 하나를 포함할 수 있다. 그에 따라서, 통신 인터페이스(830)는 적어도 하나의 포트(미도시)를 통하여 유선 연결된 외부 장치와 통신을 수행할 수 있다.
또한, 통신 인터페이스(830)는 외부 장치, 예를 들어, 소스 장치(801)와 무선 통신을 수행하는 적어도 하나의 무선 통신 모듈, 무선 통신 회로, 또는 무선 통진 장치를 포함할 수 있다.
예를 들어, 통신 인터페이스(830)는 블루투스, 와이파이, BLE(Bluetooth Low Energy), NFC/RFID, 와이파이 다이렉트(Wifi Direct), UWB, 또는 ZIGBEE 등의 통신 규격에 따른 통신을 수행하는 적어도 하나의 통신 모듈(미도시)을 포함할 수 있다. 또는, 통신 인터페이스(830)는 원거리 통신 규격에 따라서 원거리 통신을 지원하기 위한 서버(미도시)와 통신을 수행하는 통신 모듈(미도시)을 더 포함할 수 있다. 예를 들어, 통신 인터페이스(830)는 인터넷 통신을 위한 네트워크를 통하여 통신을 수행하는 통신 모듈(미도시)을 포함할 수 있다. 또한, 통신 인터페이스(830)는 3G, 4G, 5G 및/또는 6G 등의 통신 규격에 따르는 통신 네트워크를 통하여 통신을 수행하는 통신 모듈(미도시)를 포함할 수 있다.
개시된 실시예에서, 디스플레이 장치(800)가 소스 장치(801)에서 전송되는 컨텐츠를 사용자에게 제공하기 위해서, 프로세서(810)는 수신된 컨텐츠를 제공하기 위한 어플리케이션을 포함할 수 있다. 예를 들어, 컨텐츠가 게임 컨텐츠인 경우, 프로세서(810)는 수신된 게임 컨텐츠의 실행을 제어 및/또는 관리하기 위한 게임 어플리케이션을 포함할 수 있다. 예를 들어, 게임 어플리케이션은 게임 컨텐츠를 실행을 제어하기 위한 적어도 하나의 인스트럭션 또는 프로그램으로 구현될 수 있다.
이하에서 설명한 도 9 내지 도 25에서는, 디스플레이 장치(800)가 소스 장치(801)로부터 수신하는 이미지가 게임 컨텐츠에 대응되는 게임 이미지인 경우를 예로 들어서 설명 및 도시하도록 한다. 또한, 디스플레이 장치(800)가 HDMI 포트를 포함하며, HDMI 포트에 접속되는 HMDI 케이블을 통하여 소스 장치(801)와 유선 연결되어 통신하는 경우를 예로 들어 설명하도록 한다.
또한, 디스플레이 장치(800)는 다양한 해상도 및/또는 종횡비를 갖는 화면의 출력을 지원할 수 있다. 예를 들어, 디스플레이 장치(800)는 소정 종횡비를 갖는 디스플레이 패널을 포함하는 디스플레이(820) 상으로, 4:3, 16:9, 16:10, 21:9, 및/또는 32:9 등의 종횡비를 갖는 영상을 포함하는 화면을 출력할 수 있다. 디스플레이(820)의 크기 및 종횡비(구체적으로 디스플레이 패널의 크기 및 종횡비)는 디스플레이(820)를 통하여 출력되는 화면의 크기 및 종횡비에 대응될 수 있다. 그리고, 디스플레이(820)를 통하여 출력되는 화면에는 다양한 종횡비를 갖는 이미지가 포함될 수 있다. 또한, 디스플레이(820) 자체의 크기 및 종횡비를 '디스플레이 종횡비' 또는 '전체 화면의 종횡비'로 호칭될 수 있으며, 컨텐츠에 대응되는 이미지의 종횡비는 '이미지의 종횡비'로 호칭될 수 있을 것이다.
도 9는 개시된 실시예에 따른 디스플레이 장치를 상세히 나타내는 블록도이다. 도 9에 있어서, 도 3 및 도 8에 도시된 구성들과 동일한 구성은 동일한 도면 기호를 이용하여 도시하였다. 또한, 도 9에 도시된 디스플레이 장치(900) 및 소스 장치(901)는 각각 도 1에 도시된 디스플레이 장치(100) 및 소스 장치(101)에 대응될 수 있다. 또한, 도 9에 도시된 디스플레이 장치(900) 및 소스 장치(901)는 각각 도 8에 도시된 디스플레이 장치(800) 및 소스 장치(801)에 대응될 수 있다. 따라서, 디스플레이 장치(900)를 설명하는데 있어서, 도 1 내지 도 8에서와 중복되는 설명은 생략한다.
먼저, 소스 장치(901)를 설명하도록 한다. 도 9를 참조하면, 소스 장치(901)는 전송부(910), 영상 처리부(920), 제어부(930)을 포함할 수 있다.
전송부(910)는 디스플레이 장치(900)가 처리할 수 있는 해상도의 영상 신호와 처리 가능한 사운드 포맷의 오디오 신호를 출력할 수 있다. 예를 들어, 영상 신호는 디지털 신호로 형성되는 디지털 영상 신호가 될 수 있다. 또한, 전송부(910)는 제어부(930)의 제어에 따라서 디스플레이 장치(900)로부터 EDID(Extended Display Identification Data) 정보를 읽어올 수 있다. 여기서, EDID 는 디스플레이 장치(900)가 지원 가능한 해상도 또는 사운드 포맷 등에 관한 정보를 포함하는 디스플레이 특성 정보를 포함할 수 있다. 예를 들어, EDID에 포함되는 해상도에 대한 정보는, 디스플레이 장치(900)의 화면 상으로 출력될 화면의 종 방향 픽셀 값 및 횡 방향 픽셀 값에 대한 정보로 표현될 수 있다. 따라서, EDID는 디스플레이 장치(900)가 지원 가능한 종횡비에 대한 정보를 포함할 수 있다.
전송부(910)는 디스플레이 장치(900)와의 통신을 위해 하나 이상의 포트를 포함할 수 있다. 예를 들어, 하나 이상의 포트는, HDMㅈI 포트, 디스플레이포트(DisplayPort; DP), 썬더볼트 (Thunderbolt), MHL (Mobile High-Definition Link), USB (Universal Serial Bus) 등 다양한 규격의 포트를 포함할 수 있다.
영상 처리부(920)는 제어부(930)의 제어에 따라 전송부(910)를 통해 전송될 영상을 처리할 수 있다.
제어부(930)는 프로세서(810)와 유사하게 적어도 하나의 인스트럭션을 수행하여, 의도하는 동작이 수행되도록 제어한다. 예를 들어, 제어부(930)는 소스 장치(901)의 전반적인 동작을 제어하며, 디스플레이 장치(900)로 전송될 영상 신호 및 오디오 신호를 처리하도록 제어하고, 처리된 영상 신호 및 오디오 신호가 전송부(910)를 통해 디스플레이 장치(800)로 전송되도록 제어할 수 있다.
제어부(930)는 디스플레이 장치(900)로부터 디스플레이 특성 정보를 포함하는 EDID를 읽어와서, 읽어들인 EDID에 기반하여 영상을 처리하도록 영상 처리부(920)를 제어할 수 있다. EDID에 기반한 영상 처리 및 전송 동작은 이하에서 상세히 설명한다.
계속하여, 디스플레이 장치(900)를 설명한다. 도 9를 참조하면, 디스플레이 장치(900)는 도 8에 도시된 디스플레이 장치(800)에 비하여, 영상 처리부(825), 오디오 처리부(840), 오디오 출력부(850), 저장부(861) 및 사용자 인터페이스(870) 중 적어도 하나를 더 포함할 수 있다.
통신 인터페이스(830)는 프로세서(810)의 제어에 따라 소스 장치(901)로부터 수신되는 영상신호 및 오디오신호를 연결된 프로토콜에 따라 수신하여 이를 영상 처리부(825) 및 오디오 처리부(840)로 출력할 수 있다.
통신 인터페이스(830)는 외부 장치(미도시)와 데이터를 송수신하는 적어도 하나의 통신 모듈, 및 적어도 하나의 포트 중 적어도 하나를 포함할 수 있다. 구체적으로, 통신 인터페이스(830)는 통신부(831) 및 입출력부(832)를 포함할 수 있다.
통신부(831)는 적어도 하나의 유선 또는 무선 통신 네트워크를 통해서 외부 장치와 통신을 수행한다. 개시된 실시예에서, 통신부(831)는 소스 장치(901)와 통신할 수 있다. 구체적으로, 통신부(831)는 적어도 하나의 통신 모듈, 통신 회로 등을 포함하는 형태로 형성될 수 있으며, 통신 모듈 및/또는 통신 회로를 통하여 외부 장치와 데이터를 송수신할 수 있다.
구체적으로, 통신부(831)는 블루투스, 와이파이, BLE(Bluetooth Low Energy), NFC/RFID, 와이파이 다이렉트(Wifi Direct), UWB, 또는 ZIGBEE 등의 통신 규격에 따른 통신을 수행하는 적어도 하나의 통신 모듈(미도시)를 포함할 수 있다. 또한, 통신부(831)는 인터넷 통신을 위한 네트워크를 통하여 통신을 수행하는 통신 모듈(미도시)를 포함할 수 있다. 또한, 통신부(831)는 3G, 4G, 5G, 및/또는 6G 등의 통신 규격에 따르는 통신 네트워크를 포함할 수 있다.
또한, 통신부(831)는 근거리에 위치하는 원격 제어 장치(remote controller)(미도시)로부터 제어 명령을 수신할 수 있는 통신 모듈, 예를 들어, IR(infrared) 통신 모듈 등을 포함할 수 있다. 이 경우, 통신부(831)는 원격 제어 장치(미도시)로부터 제어 명령을 수신할 수 있다. 예를 들어, 원격 제어 장치(미도시)로부터 수신되는 제어 명령은 턴 온 또는 턴 오프 명령, 홈 트레이닝 어플리케이션의 실행을 요청하기 위한 신호 등을 포함할 수 있다.
또 다른 예로, 원격 제어 장치(미도시)로부터 수신되는 제어 명령은 게임의 재생과 관련된 제어 명령이 포함될 수 있다. 예를 들어, 제어 명령은 게임 이미지에 대한 종횡비의 변경을 요청하는 명령, 게임 이미지에서 서브 창(또는 확대 영역)을 설정하기 위한 사용자 입력에 대한 제어 명령 등이 될 수 있다.
입출력부(832)는 HDMI 포트(High-Definition Multimedia Interface port, 미도시), 컴포넌트 잭(component jack, 미도시), PC 포트(PC port, 미도시), 및 USB 포트(USB port, 미도시) 중 하나를 포함할 수 있다. 또한, 입출력부(832)는 HDMI 포트, 컴포넌트 잭, PC 포트, 및 USB 포트의 조합을 포함할 수 있다. 이 경우, 입출력부(832)는 디스플레이 장치(900)에 재생될 동영상 데이터를 HDMI 포트, 컴포넌트 잭, PC 포트, 또는 USB 포트 등을 통하여 직접 수신할 수 있다.
영상 처리부(825)는 프로세서(810)의 제어에 따라, 통신 인터페이스(830)로부터 수신되는 영상 신호를 처리하여 디스플레이(820)로 출력할 수 있다. 여기서, 영상 신호는 비디오 및/또는 오디오 데이터를 포함할 수 있다.
디스플레이(820)는 영상 처리부(825)로부터 수신된 영상 신호를 화면에 표시할 수 있다. 예를 들어, 디스플레이(820)는 통신 인터페이스(830)로부터 수신된 영상 신호에 근거하여 생성되는 이미지(예를 들어, 게임 이미지)를 디스플레이 할 수 있다. 또 다른 예로, 디스플레이(820)는 통신 인터페이스(830)로부터 수신된 영상 신호에 근거하여 생성되는 게임 이미지, 및 상기 게임 이미지 내에 포함되는 적어도 하나의 부분 영역에 대응되는 적어도 하나의 확대 이미지를 포함하는 전체 화면을 디스플레이 할 수 있다.
오디오 처리부(840)는 프로세서(810)의 제어에 따라, 통신 인터페이스(830)로부터 수신되는 오디오 신호를 아날로그 오디오 신호로 변환하여 오디오 출력부(850)로 출력할 수 있다.
오디오 출력부(850)는 수신되는 아날로그 오디오 신호를 스피커를 통해 출력할 수 있다.
저장부(861)는 디스플레이 장치(900)의 동작에 관련된 프로그램, 디스플레이 장치(900)의 동작 중에 발생하는 각종 데이터를 저장할 수 있다. 또는, 저장부(861)는 소스 장치(901)에서 수신되는 콘텐츠를 저장할 수 있다. 또는, 저장부(861)는 디스플레이 장치(900)의 동작에 필요한 데이터 또는 정보를 저장할 수 있다.
저장부(861)는 적어도 하나의 메모리(860, 875, 880)를 포함할 수 있다. 여기서, 적어도 하나의 메모리(160, 161)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
도 9에서는 저장부(861)가 3개의 저장 요소들(860, 875, 880)이 포함하는 경우를 예로 들어 도시하였으나, 하나의 또는 3개 이상의 저장 요소가 포함될 수도 있을 것이다. 예를 들어, 저장부(861)는 메모리(860)를 포함할 수 있다. 또는, 저장부(861)는 메모리(860), EDID 저장부(875) 및 EDID 메모리(880) 중 적어도 하나를 포함할 수 있다.
메모리(860)는 디스플레이 장치(900)의 동작에 관련된 프로그램, 디스플레이 장치(900)의 동작 중에 발생하는 각종 데이터를 저장할 수 있다.
EDID 저장부(875)는 EDID를 저장하고 있는 메모리로서, 디스플레이 장치(900)의 제조회사/제품 식별자, EDID 포맷(Format) 버전, 디스플레이 파라미터(Parameter)(지원 가능한 해상도, 색상 포맷 등) 및 오디오 포맷 등의 디스플레이 특성 정보를 포함하는 EDID를 저장할 수 있다. EDID는 디스플레이 장치(900)의 생산 과정에서 제조회사에 의해 EDID 저장부(875)에 저장될 수 있다. 예를 들어, EDID 저장부(875)로는 플래쉬 메모리가 사용될 수 있다.
EDID 저장부(875)는 디스플레이 장치(900)의 통신 인터페이스(830)에 포함된 하나 이상의 포트에 대응하여 각 포트에 대응하는 EDID를 저장할 수 있다. 예를 들어, 통신 인터페이스(830)가 HDMI 포트와 디스플레이 포트를 구비한다면, EDID 저장부(875)는 HDMI에 사용되는 EDID와 디스플레이 포트에 사용되는 EDID를 각각 저장할 수 있다.
예를 들어, 프로세서(810)는 EDID가 소스 장치(901)에 의해 읽혀질 수 있도록 EDID 저장부(875)에 저장된 EDID를 EEDID 메모리(880)에 기록할 수 있다. 예를 들어, 소스 장치(901)가 EDID를 읽어갈 수 있는 EEDID 메모리(880)는 EEPROM(Electrically Erasable Programmable Read-Only Memory)으로 구현될 수 있다.
예를 들어, 프로세서(810)는 EDID 저장부(875)에 저장된 EDID를 그대로 EEDID 메모리(880)에 기록하는 것이 아니라, 소스 장치(901)에서 수신되는 컨텐츠에 대응하여 EDID를 변경하고 변경된 EDID를 EEDID 메모리(880)에 기록할 수 있다. 여기서, EDID 를 변경하는 것은, EDID 에 포함되는 정보 중 적어도 일부를 삭제, 수정, 재 설정, 업데이트, 및/또는 추가하는 의미할 수 있다. 변경된 EDID와의 구별을 위해 디스플레이 장치(900)의 제조 과정에서 저장되는 EDID를 EDID 또는 오리지널 EDID로 언급될 수 있고, 프로세서(810)에 의해 변경되어 생성된 EDID를 변경 EDID로 언급될 수 있다.
예를 들어, 프로세서(810)는 EDID 호환성 향상을 위해 필요할 때마다 오리지널 EDID를 변경하고 변경된 EDID를 EDID 메모리(880)에 저장할 수 있다.
개시된 실시예에서, 디스플레이 장치(900)의 제조 시에 EDID 저장부(875)에 복수의 EDID 가 저장될 수 있다. 예를 들어, 제조 시에 저장되는 복수의 EDID는 디스플레이 장치(900)의 성능을 최적으로 구현할 수 있도록 하는 디스플레이 특성 정보를 포함하는 오리지널 EDID와, EDID 호환성을 위해 변경된 디스플레이 특성 정보를 포함하는 하나 이상의 변경 EDID를 포함할 수 있다. 이와 같이 EDID 저장부(875)에 복수의 EDID가 저장되어 있으면 프로세서(810)는 디스플레이 장치(900)의 동작 시에 EDID를 변경할 필요 없이 상황에 맞는 EDID를 선택하여 EDID 메모리(880)에 기록하면 되므로, 프로세서(810)의 부담을 경감시킬 수 있다.
사용자 인터페이스(870)는 디스플레이 장치(900)를 제어하기 위한 사용자 입력을 수신할 수 있다. 사용자 인터페이스(870)는 사용자의 터치를 감지하는 터치 패널, 사용자의 푸시 조작을 수신하는 버튼, 사용자의 회전 조작을 수신하는 휠, 키보드(key board), 및 돔 스위치 (dome switch) 등을 포함하는 사용자 입력 디바이스를 포함할 수 있으나 이에 제한되지 않는다.
또한, 사용자 인터페이스(870)는 음성 인식을 위한 음성 인식 장치(미도시)를 포함할 수 있다. 예를 들어, 음성 인식 장치는 마이크가 될 수 있으며, 음성 인식 장치는 사용자의 음성 명령 또는 음성 요청을 수신할 수 있다. 그에 따라서, 프로세서(240)는 음성 명령 또는 음성 요청에 대응되는 동작이 수행되도록 제어할 수 있다. 여기서, 음성 명령 또는 음성 요청을 '음성 사용자 입력'이라 칭할 수 있다.
또한, 사용자 인터페이스(870)는 모션 감지 센서(미도시)를 포함할 수도 있다. 예를 들어, 모션 감지 센서(미도시)는 디스플레이 장치(900)의 움직임을 감지하고, 감지된 움직임을 사용자 입력으로 수신할 수 있다. 또한, 전술한 음성 인식 장치(미도시) 및 모션 감지 센서(미도시)는 사용자 인터페이스(870) 내에 포함되는 형태가 아니라, 사용자 인터페이스(870)와는 독립적인 모듈로 디스플레이 장치(900) 내에 포함될 수 있을 것이다.
이하에서는, 소스 장치(901)로부터 영상 신호를 전송받는 디스플레이 장치(900)의 동작을 상세히 설명하도록 한다. 예를 들어, 프로세서(810)는 소스 장치(901)로부터 전송되는 영상 신호 및 오디오 신호를 처리하여 디스플레이(820)에 표시하고, 오디오 출력부(850)를 통해 출력되도록 제어할 수 있다.
예를 들어, 소스 장치(901)의 전송부(910)와 디스플레이 장치(900)의 통신 인터페이스(830)(예를 들어, 입추력부(832)는 하나 이상의 케이블을 통하여 연결될 수 있다.
도 9에서는, 전송부(910)와 통신 인터페이스(830)가 HDMI 케이블(990)을 통하여 연결된 경우를 예로 들어 도시 및 설명하도록 한다.
개시된 실시예에서, 소스 장치(901)의 제어부(930)는 소스 장치(901)와 디스플레이 장치(900)의 연결에 따라서 디스플레이 장치(900)로부터 EDID를 읽어와서, 읽어들인 EDID에 기반하여 영상을 처리하도록 영상 처리부(920)를 제어하고, 처리된 영상 신호를 전송부(910)를 통해 디스플레이 장치(900)로 전송하도록 제어할 수 있다.
도 9를 참조하면, HDMI 케이블(990)은 영상 신호 및 오디오 신호를 전달하는 TMDS(Transition Minimized Differential Signaling) 라인(991), EDID 데이터를 전달하는 DDC 라인(992), 소스 장치(901)에서 디스플레이 장치(900)로 5볼트 전압을 제공하는 5V 파워 라인(993), 및 EDID 독출 제어를 하기 위한 HPD (Hot Plug Detect) 라인(994)을 포함할 수 있다.
HDMI 케이블(990)에 의해 소스 장치(901)와 디스플레이 장치(900)가 연결되면, 소스 장치(901)의 전송부(910)는 5 V 파워 라인(993)을 통해 5 볼트 전압을 디스플레이 장치(900)의 입출력부(832)로 제공할 수 있다. 5 볼트 전압을 제공받은 입출력부(832)는 HPD(Hot Plug Detect) 라인(994)을 통해 하이 (high) 레벨의 전압을 가지는 신호를 소스 장치(901)의 전송부(910)로 전송할 수 있다. HPD 라인(994)을 통해 하이 (high) 레벨의 전압을 가지는 신호를 수신한 소스 장치(901)의 전송부(910)는 DDC 라인(992)을 통해 EDID 요청 신호를 보내고, EDID 요청 신호를 수신한 입출력부(832)는 프로세서(810)의 제어에 따라서 디스플레이 장치(900)의 EDID를 소스 장치(901)의 전송부(910)로 제공할 수 있다.
디스플레이 장치(900)의 EDID를 수신한 소스 장치(901)의 제어부(930)는 EDID를 파싱하여 디스플레이 특성 정보를 획득하고 획득된 디스플레이 특성 정보에 기반하여 컨텐츠 처리를 수행하도록 제어할 수 있다. 예를 들어, 제어부(930)는 획득된 디스플레이 특성 정보에 대응되는 이미지(예를 들어, 게임 이미지)가 생성되도록 제어할 수 있다. 계속하여, 소스 장치(901)의 전송부(910)는 영상 처리된 영상 신호 및 오디오 신호를 TMDS 라인(991)을 통해 입출력부(832)로 전송할 수 있다.
또한, 소스 장치(901)는 HPD 신호의 전압 레벨이 미리 설정된 소정의 전압 레벨 이상의 하이 레벨인지를 판단하고, 하이 레벨인 경우 디스플레이 장치(900)로부터 EDID 데이터를 I2C(Inter-IC bus) 프로토콜에 따라 읽어올 수 있다. 따라서, 디스플레이 장치(900)는 HPD 라인의 제어를 통해 소스 장치(901)가 자신의 EDID를 읽어가는 것을 제어할 수 있다. 구체적으로, 디스플레이 장치(900)는 EDID의 변경 동작이 요구되는 경우, 디스플레이 장치(900)가 EDID를 변경하는 동안은 HPD 라인(994)을 로우 레벨로 유지함으로써 소스 장치(901)가 EDID 신호를 읽어가는 것을 방지하고, EDID 변경이 완료되면 디스플레이 장치(900)는 HPD 라인을 하이 레벨로 만듦으로써 소스 장치(901)로 하여금 변경된 EDID를 읽어가도록 제어할 수 있다.
예를 들어, 디스플레이 장치(900)는 소스 장치(901)로부터 수신된 영상의 해상도 및 종횡비 중 적어도 하나가 자신의 EDID에 부합하지 않는 경우 EDID 변경 동작을 수행할 수 있다. 이 경우, EDID 변경 동작을 수행하는 동안은 HPD 라인(994)을 로우 레벨로 유지함으로써 소스 장치(901)가 EDID 신호를 읽어가는 것을 방지하고, EDID 변경이 완료되면 디스플레이 장치(900)는 HPD 라인(994)을 하이 레벨로 만듦으로써 소스 장치(901) 변경된 EDID를 읽어가도록 제어할 수 있다.
전술한 바와 같이, 디스플레이 장치(900)는 자신의 EDID 를 소스 장치(901)에 제공하여 설정된 EDID 에 대응되는 이미지를 포함하는 영상 신호가 수신되도록 한다. 또한, 디스플레이 장치(900)는 소스 장치(901)에서 제공하는 콘텐츠에 대응되는 이미지의 종횡비 및/또는 해상도가 변경되는 경우, 그에 대응하여 EDID 변경 동작을 수행할 수 있다. 도 5 및 도 7에서 설명한 바와 같이, 게임 콘텐츠에 대응되는 게임 이미지의 종횡비가 변경되는 경우, 전술한 바와 같이 EDID 변경 동작을 수행할 수 있다.
예를 들어, 디스플레이 장치(900)가 재생하는 컨텐츠가 게임(예를 들어, 3D 게임)인 경우, 3D 게임은 3D 공간을 표현하기 위해서 360도 이미지 또는 360도 공간을 표현하기 위한 파노라마 영상을 이용할 수 있다. 구체적으로, 360도 이미지(210)에서 사용자의 시야에 대응되는 일부 영역에 대응되는 이미지를 사용자에게 제공하고, 사용자는 제공된 이미지를 시청하며 3D 게임을 즐길 수 있다. 예를 들어, 소스 장치(901)의 제어부(930)는 디스플레이 장치(900)의 EDID를 획득하고, 획득된 EDID 에 포함되는 종횡비 정보(예를 들어, 32:9 값을 갖는 종횡비 정보)에 근거하여, 디스플레이 장치(900)로 전송될 영상을 생성하도록 영상 처리부(920)를 제어할 수 있다. 그에 따라서, 영상 처리부(920)는 360도 이미지(210) 중 게임 사용자의 시야(예를 들어, FoV)에 대응되는 영역을 32:9 종횡비에 맞춰 렌더링할 수 있다. 그에 따라서, 소스 장치(901)는 32:9의 종횡비를 갖는 이미지(320)을 획득할 수 있다. 그리고, 제어부(930)는 획득된 이미지(320)를 포함하는 영상 신호가 디스플레이 장치(900)의 입출력부(832)로 전송되도록 전송부(910)를 제어할 수 있다.
도 10은 개시된 실시예에 따른 디스플레이 장치에서 수행되는 동작들을 설명하기 위한 도면이다. 도 10에 있어서, 도 4 내지 도 9에서와 동일한 구성은 동일한 도면 기호를 이용하여 도시하였다. 그러므로, 도 10에 도시된 동작들을 설명하는데 있어서, 도 1 내지 도 9에서의 설명들과 중복되는 설명은 생략한다. 또한, 도 10을 설명하는데 있어서, 디스플레이 장치(900)의 및 소스 장치(901)의 상세 구성은 도 9에 도시된 구성들을 참조하여 설명하도록 한다.
또한, 도 10에서는, 디스플레이 장치(900)의 전체 화면의 종횡비(구체적으로, 디스플레이 장치(900) 내에 포함되는 디스플레이 자체의 종횡비)가 16:9인 경우를 예로 들어 도시 및 설명한다.
소스 장치(901)는 제1 종횡비에 대응되는 제1 이미지에 대한 영상 신호를 생성하고(S1001), 이를 디스플레이 장치(900)로 전송할 수 있다(S1010). 예를 들어, 제1 종횡비는 21:9 값이 될 수 있다. 예를 들어, S1001 단계에서 생성되는 영상 신호는, 도 4에서 설명한 게임 이미지(410)에 대응될 수 있다.
S1010 단계에서 전송되는 영상 신호(구체적으로, 제1 이미지에 대한 영상 신호)를 수신한 디스플레이 장치(900)는 수신된 영상 신호에 근거하여 제1 이미지를 포함하는 제1 전체 화면(450)을 디스플레이(820)로 출력할 수 있다(S1020).
예를 들어, 디스플레이 장치(900)는 제1 이미지 내에 확대 표시를 위한 제1 부분 영역(예를 들어, 401)을 식별하고(S1015), 식별된 제1 부분 영역에 대응되는 확대 이미지를 생성(예를 들어, 470)할 수 있다. 그리고, 디스플레이 장치(900)는 확대 이미지(470) 및 21:9의 종횡비를 갖는 게임 이미지(410)를 포함하는 전체 화면(450)을 생성하여 디스플레이 할 수 있다.
제1 이미지가 디스플레이 장치(900)를 출력된 이후에, 디스플레이 장치(900)에서 출력될 게임 이미지의 종횡비가 제2 종횡비로 변경될 수 있다(S1021). 예를 들어, 제2 종횡비는 32:9의 종횡비 값에 대응될 수 있다. 예를 들어, 종횡비 변경은 사용자의 설정, 디스플레이 장치(900)의 화면 최적화에 다른 자동 변경 등에 따라서 이뤄질 수 있다. 디스플레이 장치(900)는 도 9를 참조하여 설명한 바와 같이 종횡비 변경에 따라서 EDID를 재설정하고, 재설정된 EDID를 소스 장치(901)로 전송할 수 있다(S1022).
그에 따라서, 소스 장치(901)는 제2 종횡비(예를 들어, 32:9)를 갖는 제2 이미지에 대한 영상 신호를 생성하고(S1025), 이를 디스플레이 장치(900)로 전송할 수 있다(S1026). 예를 들어, S1035 단계에서 생성되는 영상 신호는, 도 5에서 설명한 게임 이미지(501)에 대응될 수 있다.
개시된 실시예에서, 디스플레이 장치(900)는 소스 장치(901)로부터 제1 종횡비와 다른 제2 종횡비에 대응되는 제2 이미지(예를 들어, 501)가 수신되면, 제1 종횡비 및 제2 종횡비에 근거하여 제2 이미지(예를 들어, 501) 내에서 제1 이미지(예를 들어, 410) 내에 포함되는 제1 부분 영역(예를 들어, 401)에 대응되는 제2 부분 영역(예를 들어, 601)을 식별할 수 있다(S1040). 그리고, 디스플레이 장치(900)는 제2 이미지(예를 들어, 501) 및 식별된 상기 제2 부분 영역(예를 들어, 601)에 대응되는 제2 확대 이미지(예를 들어, 670)를 포함하는 제2 전체 화면(650)을 생성하여 디스플레이 할 수 있다(S1050).
개시된 실시예에 따른 디스플레이 장치(900)는 컨텐츠의 재생 동안에 출력되는 이미지의 종횡비가 변경되는 경우, 제1 종횡비 및 제2 종횡비에 근거하여 종횡비가 변경된 이미지 내에서 확대 표시를 위한 부분 영역(예를 들어, 종횡비가 변경되기 이전의 이미지 내에서 확대 표시를 위해 설정된 부분 영역에 대응되는 부분 영역)을 식별하고, 식별된 부분 영역에 근거하여 확대 이미지를 생성할 수 있다. 그에 따라서, 도 5 및 도 7에서 설명한 바와 같은 확대 이미지에 대한 표시 오류를 방지할 수 있다.
예를 들어, 개시된 실시예에 따른 디스플레이 장치(900)는 확대 표시를 위한 부분 영역이 설정되어 있는 게임 이미지가 디스플레이된 이후에, 게임 이미지의 종횡비가 변경되는 경우, 전술한 종횡비 변경에 대응하여 상기 부분 영역에 대한 확대 표시를 탄력적으로 변경할 수 있다. 그에 따라서, 잘못된 영역이 확대 표시되거나, 화면의 이용 효율이 저하되는 등과 같이 사용자에게 불편함을 주는 화면 출력을 방지할 수 있다.
따라서, 개시된 실시예에 따른 디스플레이 장치(900)는 컨텐츠를 제공받는 사용자의 불편함을 최소화할 수 있으며, 종횡비 변화에 맞춰서 매끄럽게 전환되는 전체 화면을 사용자에게 제공할 수 있다.
도 11a는 개시된 실시예에 따른 디스플레이 장치의 동작 방법을 나타내는 일 흐름도이다. 구체적으로, 도 1에 도시된 디스플레이 장치의 동작 방법(1100)은 도 1 내지 도 10을 참조하여 설명한 개시된 실시예에 따른 디스플레이 장치(100, 800 또는 900)가 수행하는 동작들을 나타내는 흐름도가 될 수 있다. 또한, 도 11a에 도시된 단계 구성 중 도 10에서와 동일한 구성은 동일한 도면 기호를 이용하여 도시하였다. 따라서, 디스플레이 장치의 동작 방법(1100)에 포함되는 동작들을 설명함에 있어서, 도 1 내지 도 10을 참조하여 설명한 디스플레이 장치100, 800 또는 900)의 수행 동작들과 중복되는 설명은 생략한다.
또한, 이하에서는 디스플레이 장치의 동작 방법(1100)이 도 9에서 설명한 디스플레이 장치(900)에서 수행되는 경우를 예로 들어서 설명한다.
또한, 디스플레이 장치의 동작 방법(1100)에서 수신되는 이미지들은 도 12를 참조하여 설명한다. 도 12에 도시된 구성들 중 도 4 내지 도 6에서와 동일한 구성은 동일한 도면 기호를 이용하여 도시하였다.
또한, 디스플레이 장치의 동작 방법(1100)에서 출력되는 전체 화면들은 도 13을 참조하여 설명한다. 도 13은 도시된 구성들 중 도 4 내지 도 6에서와 동일한 구성은 동일한 도면 기호를 이용하여 도시하였다.
도 11a를 참조하면, 디스플레이 장치의 동작 방법(1100)은 소스 장치(901)로부터 제1 종횡비에 대응되는 제1 이미지를 수신한다(S1010). 예를 들어, S1010 단계의 동작은, 프로세서(810)의 제어에 따라서 통신 인터페이스(830)에서 수행될 수 있다. 예를 들어, 제1 이미지는 HDMI 케이블(990)을 통하여 입출력부(832)로 수신될 수 있다.
구체적으로, 소스 장치(901)의 영상 처리부(920)는 제1 종횡비에 대응되는 제1 이미지를 생성하고, 제어부(930)의 제어에 따라서 전송부(910)는 제1 이미지(또는 제1 이미지에 대한 영상 신호)를 디스플레이 장치(900)의 통신 인터페이스(830)로 전송할 수 있다. 도 12를 참조하면, S1010 단계에서 수신되는 제1 이미지는 제1 종횡비(예를 들어, 21:9의 종횡비)를 갖는 게임 이미지(410)가 될 수 있다.
디스플레이 장치의 동작 방법(1100)은 상기 제1 이미지 내에 확대 표시를 위한 제1 부분 영역이 식별되는 것에 근거하여, 상기 제1 이미지 및 상기 제1 부분 영역에 대응되는 제1 확대 이미지를 포함하는 제1 전체 화면을 생성하여 디스플레이한다(S1020). 여기서, S1020 단계의 동작은 프로세서(810)의 제어에 따라서 디스플레이(820)에서 수행될 수 있다. 예를 들어, 프로세서(810)는 영상 처리부(825)가 제1 전체 화면에 대응되는 이미지를 생성하도록 제어하고, 생성된 이미지가 전체 화면으로 출력되도록 디스플레이(820)를 제어할 수 있다.
도 13을 참조하면, S1020 단계에서 출력되는 제1 전체 화면은 도 4에서 설명한 전체 화면(450)이 될 수 있다. 도 13에 도시된 예시에서, 제1 이미지 내에 확대 표시를 위해 설정되는 제1 부분 영역은 전술한 서브 창에 대응되는 부분 영역이 될 수 있으며, 게임 이미지(410) 내에 포함되는 미니맵(401) 및 아이템 창(402)이 될 수 있다. 예를 들어, 전체 화면(450)은 제1 종횡비(예를 들어, 21:9의 종횡비)를 갖는 게임 이미지(410) 및 제1 확대 이미지(예를 들어, 470, 480)를 포함할 수 있다. 제1 부분 영역의 식별은 이하에서 도 17 내지 도 19를 참조하여 상세히 설명한다.
계속하여, 디스플레이 장치의 동작 방법(1100)은 소스 장치(901)로부터 상기 제1 종횡비와 다른 제2 종횡비에 대응되는 제2 이미지를 수신한다(S1030). 예를 들어, S1030 단계의 동작은, 프로세서(810)의 제어에 따라서 통신 인터페이스(830)에서 수행될 수 있다. 예를 들어, 제2 이미지는 HDMI 케이블(990)을 통하여 입출력부(832)로 수신될 수 있다.
또한, 제2 이미지는 사용자의 요청에 근거하여 소스 장치(801)에서 출력 및 전송될 수 있다. 구체적으로, 디스플레이 장치(800)는 제1 종횡비를 갖는 제1 이미지를 소스 장치로부터 수신하는 중에 수신되는 사용자의 요청에 기초하여, 소스 장치(801)가 제2 종횡비를 갖는 제2 이미지를 전송하도록 소스 장치(801)를 제어할 수 있다.
예를 들어, 프로세서(810)는 소스 장치(801)로부터 제1 이미지를 수신하는 중에 입력되는 사용자 입력에 근거하여, 소스 장치(801)로부터 변경된 종횡비인 제2 종횡비를 갖는 제2 이미지가 수신되도록 제어할 수 있다. 예를 들어, 프로세서(810)는 소스 장치(801)로부터 제1 이미지를 수신하는 중에 입력되는 사용자 입력에 근거하여, 소스 장치(801)로부터 변경된 종횡비인 제2 종횡비를 갖는 제2 이미지가 수신되도록 통신 인터페이스(830)를 제어할 수 있다.
예를 들어, 프로세서(810)는 제1 종횡비를 갖는 제1 이미지를 소스 장치로부터 수신는 도중에, 사용자 인터페이스(870)를 통하여 종횡비 변경을 요청하는 사용자 입력(예를 들어, 제1 종횡비를 제2 종횡비로 변경할 것을 요청하는 사용자 입력)을 수신할 수 있다. 그러면, 프로세서(810)는 사용자 입력에 근거하여 종횡비 변경에 대응하여 EDID를 변경 또는 재설정할 수 있다. EDID 변경 동작은 도 9를 참조하여 상세히 설명하였으므로, 상세 설명은 생략한다. 계속하여, 프로세서(810)는 변경된 EDID를 소스 장치(801)로 전송하여, 소스 장치(801)가 제2 종횡비를 갖는 제2 이미지를 생성하여 디스플레이 장치(900)로 전송하도록 제어할 수 있다.
구체적으로, 소스 장치(901)의 영상 처리부(920)는 제2 종횡비에 대응되는 제2 이미지를 생성하고, 제어부(930)의 제어에 따라서 전송부(910)는 제2 이미지(또는 제2이미지에 대한 영상 신호)를 디스플레이 장치(900)의 통신 인터페이스(830)로 전송할 수 있다. 도 12를 참조하면, S1030 단계에서 수신되는 제2 이미지는 제2종횡비(예를 들어, 32:9의 종횡비)를 갖는 게임 이미지(501)가 될 수 있다.
S1030 단계에서 제2 이미지가 수신되면, 디스플레이 장치의 동작 방법(1100)은 상기 제1 종횡비 및 상기 제2 종횡비에 근거하여, 상기 제2 이미지 내에서 상기 제1 부분 영역에 대응되는 제2 부분 영역을 식별한다(S1040). 예를 들어, S1040 단계의 동작은 프로세서(810)에서 수행될 수 있다.
도 12 및 도 13의 예시를 참조하면, 디스플레이되는 이미지의 종횡비가 변경(S1021)됨에 따라서, 제2 이미지(예를 들어, 32:9의 종횡비를 갖는 게임 이미지(501))가 수신될 수 있다. 그러면, 프로세서(810)는 제1 종횡비 및 제2 종횡비에 근거하여, 제2 이미지인 게임 이미지(501) 내에서 제1 부분 영역(401 또는 402)에 대응되는 제2 부분 영역(601 또는 522)을 식별할 수 있다. 제2 부분 영역(601 또는 522)이 식별되면, 제2 부분 영역(601 또는 522)에 대응되는 확대 이미지(예를 들어, 670 또는 680)를 생성할 수 있다. 계속하여, 프로세서(810)는 생성된 제2 확대 이미지(예를 들어, 670 또는 680)을 포함하는 전체 화면(650)이 생성 및 디스플레이 되도록 영상 처리부(825) 및 디스플레이(820)를 제어할 수 있다.
예를 들어, 도 13의 예를 참조하면, 프로세서(810)는 제1 종횡비 및 제2 종횡비에 근거하여, 제2 이미지(예를 들어, 게임 이미지(501)) 내에서, 제1 이미지(예를 들어, 게임 이미지(410))에 포함되는 제1 부분 영역(예를 들어, 401 또는 402)에 표시된 이미지 객체와 동일한 이미지 객체를 포함하는 제2 부분 영역(예를 들어, 601 또는 522)을 식별하고, 식별된 제2 부분 영역(예를 들어, 601 또는 522)에 대응되는 제2 확대 이미지(예를 들어, 670 또는 680)를 획득할 수 있다. 그리고, 프로세서(810)는 획득된 제2 확대 이미지(예를 들어, 670 또는 680)이 블랙 영역에 배치되는 전체 화면(650)이 생성 및 디스플레이 되도록 영상 처리부(825) 및 디스플레이(820)를 제어할 수 있다.
제1 종횡비 값 및 제2 종횡비 값을 알면, 제1 종횡비를 갖는 게임 이미지(410)의 소정 부분 영역(예를 들어, 미니맵이 표시되는 부분 영역)이 제2 종횡비를 갖는 게임 이미지(501)의 어느 부분에 대응되는지 추출할 수 있다. 예를 들어, 제1 종횡비를 갖는 제1 이미지(예를 들어, 21:9의 종횡비를 갖는 게임 이미지(410))와 제2 종횡비를 갖는 제2 이미지(예를 들어, 32:9의 종횡비를 갖는 게임 이미지(501)) 간에는 좌 및 우 방향으로 정해진 화면 확대 또는 축소 비율이 존재할 수 있다. 따라서, 제1 종횡비와 제2 종횡비를 알면, 제1 종횡비를 갖는 제2 이미지 상의 특정 부분 영역이 제2 종횡비를 갖는 제2 이미지 상의 어느 부분 영역에 대응되는지 식별할 수 있다. 따라서, 프로세서(810)는 제1 종횡비 및 제2 종횡비에 근거하여, 제2 이미지인 게임 이미지(501) 내에서 제1 이미지인 게임 이미지(410) 내에 포함되는 제1 부분 영역(401 또는 402)에 대응되는 제2 부분 영역(601 또는 522)을 식별할 수 있다.
또는, 프로세서(810)는 제1 부분 영역(예를 들어, 401 또는 402)에 대응되는 제2 부분 영역(601 또는 522)을 다른 방식으로 식별할 수 있다. 예를 들어, 프로세서(810)는 제1 부분 영역(예를 들어, 401 또는 402)에 표시되는 이미지 객체를 식별하고, 제2 이미지인 게임 이미지(501) 내에서 식별된 이미지 객체(구체적으로, 제1 부분 영역(예를 들어, 401 또는 402)에 표시되는 이미지 객체)와 동일한 이미지 객체를 식별할 수 있다. 예를 들어, 프로세서(810)는 제2 이미지인 게임 이미지(501) 내에서 제1 부분 영역(예를 들어, 401 또는 402)에 표시되는 이미지 객체와 유사도가 한계값 이상이 되는 이미지 객체가 표시되는 영역을 제2 부분 영역(601 또는 522)으로 식별할 수 있다. 여기서, 유사도가 한계값 이상의 되는 이미지 객체의 탐색은 기계 학습(machine learning)에 근거하여 수행될 수 있다. 예를 들어, 기계 학습(machine learning)을 통하여 게임 이미지(410)와 게임 이미지(501)를 비교하고, 두 이미지 각각에서 동일한 이미지 객체(예를 들어, 미니맵)이 표시되는 부분 영역을 추출할 수 있다.
S1040 단계에서 제2 부분 영역이 식별되면, 디스플레이 장치의 동작 방법(1100)은 상기 제2 이미지 및 식별된 상기 제2 부분 영역에 대응되는 제2 확대 이미지를 포함하는 제2 전체 화면을 생성하여 디스플레이 한다(S1050). 예를 들어, 프로세서(810)는 영상 처리부(825)가 제2 전체 화면에 대응되는 이미지를 생성하도록 제어하고, 생성된 이미지가 전체 화면으로 출력되도록 디스플레이(820)를 제어할 수 있다. 도 13을 참조하면, S1050 단계에서 출력되는 제2 전체 화면은 도 6에서 설명한 전체 화면(650)이 될 수 있다.
또한, 프로세서(810)는 제2 전체 화면을 생성 및 출력하는데 있어서, 디스플레이(820)의 자체 종횡비와 제2 종횡비가 동일한지 또는 상이한지 여부를 고려할 수 있다.
도 13에 도시된 예시를 참조하면, 디스플레이(820)의 자체 종횡비와 제2 종횡비가 상이하면, 제2 전체 화면(예를 들어, 도 13의 650) 상에 제2 종횡비를 갖는 제2 이미지(예를 들어, 도 13의 501)를 표시하고 나면, 블랙 영역이 필수적으로 존재할 수 있다. 따라서, 디스플레이(820)의 자체 종횡비와 제2 종횡비가 상이한 경우에는, 블랙 영역 상에 도 13에 도시된 바와 같이 확대 이미지(670, 680)를 표시할 수 있다.
또는, 디스플레이(820)의 자체 종횡비와 제2 종횡비가 동일하면, 제2 전체 화면(예를 들어, 도 13의 650) 상에 제2 이미지를 최대한의 크기를 갖도록 표시할 경우, 제2 전체 화면에 제2 이미지가 꽉 차게 표시되며, 블랙 영역이 존재하지 않게 된다. 이 경우, 확대 이미지를 표시하기 위해서, 프로세서(810)는 제2 전체 화면을 복수개의 화면으로 화면 분할하고, 화면 분할된 복수개의 영역들 각각에 제2 이미지 및 제2 확대 이미지를 표시할 수 있다.
예를 들어, 프로세서(810)는 디스플레이(820)의 종횡비가 제2 종횡비의 종황비 값인 제2 종횡비와 동일하면, 디스플레이(820)의 전체 화면을 두 개의 부분 화면으로 화면 분할하고, 상기 일 부분 화면 내에 상기 제2 이미지를 표시하고 상기 다른 부분 화면 내에 상기 제2 확대 이미지를 표시할 수 있다.
도 11b는 개시된 실시예에 따른 디스플레이 장치의 동작 방법을 나타내는 다른 흐름도이다. 도 11b 에 있어서, 도 11a 에서와 동일한 구성은 동일한 도면 기호를 이용하여 도시하였다. 또한, 도 11b에 도시된 단계 구성 중 도 10에서와 동일한 구성은 동일한 도면 기호를 이용하여 도시하였다.
도 11b를 참조하면, 디스플레이 장치의 동작 방법(1101)은 도 11a에 도시된 도시된 디스플레이 장치의 동작 방법(1100)에 비하여 S1021 단계를 더 포함할 수 있다.
도 10 및 11b를 참조하면, 디스플레이 장치의 동작 방법(1101)은 S1020 단계에서 제1 전체 화면(예를 들어, 450)이 출력된 이후에, 디스플레이 장치(900)에서 출력되는 이미지의 종횡비가 변경되는 단계(S1021)를 더 포함할 수 있다.
예를 들어, 종횡비 변경은 사용자 입력에 근거하여 수행될 수 있다. 디스플레이 장치(900)는 사용자 인터페이스(870)를 통하여 종횡비 변경을 요청하는 사용자 입력을 수신할 수 있다. 예를 들어, 프로세서(810)는 사용자 인터페이스(870)를 통하여 현재 재생중인 컨텐츠에 대응되는 이미지(예를 들어, 게임 이미지)의 종횡비가 제1 종횡비를 제2 종횡비로 변경되도록 요청하는 사용자 입력이 수신되면, 사용자 입력의 수신에 응답하여 종횡비 변경 동작을 수행할 수 있다. 구체적으로, 프로세서(810)는 도 9를 참조하여 설명한 바와 같이 종횡비 변경에 따라서 EDID를 재설정하고, 재설정된 EDID를 소스 장치(901)로 전송함으로써, 종횡비가 변경되도록 제어할 수 있다.
사용자 입력에 근거한 종횡비 변경은 이하에서 도 14를 참조하여 좀 더 상세히 설명한다.
도 14는 개시된 실시예에 따른 디스플레이 장치에서 디스플레이 되는 사용자 인터페이스 화면의 일 예를 나타내는 도면이다.
개시된 실시예에서, 종횡비 변경은 화면 설정 변경 또는 종횡비 값의 직접 변경을 통하여 이뤄질 수 있다.
예를 들어, 프로세서(810)는 화면 설정에 대응되는 사용자 입력이 수신되면, 수신된 사용자 입력에 대응하여 화면 설정을 위한 사용자 인터페이스 화면(1400)이 출력되도록 제어할 수 있다.
예를 들어, 사용자는 게임 도중에, 더 생동감 있고 몰입 가능한 게임을 즐기기 위해서, 더 와이드 한 화면으로 게임 이미지가 출력되기를 원할 수 있다. 예를 들어, 게임 이미지의 종횡비를 변경하길 원하는 사용자가 원격 제어 장치(미도시)의 화면 설정 키를 누르면, 프로세서(810)는 수신된 사용자 입력에 대응하여 설정을 위한 사용자 인터페이스 화면(1400)이 출력되도록 제어할 수 있다.
그러면, 사용자는 출력되는 사용자 인터페이스 화면(1400)에서 종횡비 변경 섹션(1430)을 선택하고, 종횡비 변경 섹션(1430)에서 원하는 화면 비율(또는, 종횡비 비율)을 변경할 수 있다. 예를 들어, 사용자가 종횡비 변경 메뉴(1430)에서 '32:9' 부분을 선택하면, 프로세서(810)는 상기 사용자 입력에 근거하여 게임 이미지의 종횡비를 32:9로 변경할 수 있다.
또한, 사용자 인터페이스 화면(1400)은 화면 디스플레이를 고정 또는 확장할지 여부를 결정하기 위한 메뉴(1420), 화면을 확대 또는 축소하기 위한 비율을 설정하기 위한 메뉴(1440), 이미지의 출력 위치를 조정하기 위한 메뉴(1450), 확대 표시를 위한 부분 영역의 설정을 가이드하거나 추천받기 위한 메뉴(이하, '가이드 추천 메뉴')(1460) 및 게임 이미지 내에서 움직이는 객체를 자동으로 추적하기 위한 메뉴(이하, '오토 트레이싱 메뉴')(1470) 중 적어도 하나를 더 포함할 수 있다. 가이드 추천 메뉴(1460)은 이하에서 도 17 내지 도 21을 참조하여 설명한다. 또한, 오토 트레이싱 메뉴(1470)은 이하에서 도 18을 참조하여 설명한다.
도 15는 개시된 실시예에 따른 디스플레이 장치에서 디스플레이 되는 전체 화면의 일 예를 나타내는 도면이다.
도 16은 개시된 실시예에 따른 디스플레이 장치에서 디스플레이 되는 전체 화면의 다른 예를 나타내는 도면이다.
도 15 및 도 16에서는, 제2 이미지의 종횡비와 디스플레이(820) 자체의 종횡비가 상이한 경우를 예로 들어서 도시하였다. 디스플레이(820) 자체의 종횡비는, 디스플레이(820)를 형성하는 디스플레이 패널의 가로측 길이와 세로측 길이의 비율을 의미하며, '디스플레이(820)의 종횡비'로 호칭될 수 있다.
예를 들어, 프로세서(810)는 디스플레이(820)의 종횡비가 제2 종횡비와 다르면, 디스플레이(820)의 전체 화면에서 제2 이미지가 표시되는 영역을 제외한 나머지 영역의 적어도 일부에 제2 확대 이미지를 표시되도록 제어할 수 있다.
도 15에서는, 디스플레이(820)의 종횡비가 16:9이며, 제2 종횡비가 21:9인 경우를 예로 들어 도시하였으며, 확대 표시를 위한 부분 영역이 미니맵이 표시된 영역(1515)인 경우를 예로 들어 도시하였다.
도 15에 도시된 예를 참조하면, 제2 전체 화면(1500)은 제2 이미지인 게임 이미지(1511)가 표시되는 영역(1510) 및 제2 이미지(1511)가 표시되는 영역을 제외한 나머지 영역(1570)으로 형성될 수 있다. 여기서, 제2 전체 화면(1500)에서 게임 이미지(1511)가 표시되지 않는 영역(1570)을 설명의 편의 상 '나머지 영역'이라 칭할 수 있다. 또한, 도 15에서는, 제2 이미지(1511) 내에서 확대 표시를 위하여 설정되는 부분 영역이 미니맵에 표시된 영역(1515)인 경우를 예로 들어서 도시하였다.
디스플레이(820)의 종횡비가 제2 이미지인 게임 이미지(1511)의 종횡비인 제2 종횡비와 다르면, 도 15에 도시된 바와 같이, 제2 전체 화면(1500)은 게임 이미지(1511)가 표시되지 않는 나머지 영역(1570)을 반드시 포함한다. 예를 들어, 미니맵에 표시된 영역(1515)인 제2 부분 영역(1515)에 대응되는 제2 확대 이미지(1575)는 나머지 영역(1570) 내에 표시될 수 있다.
예를 들어, 프로세서(810)는 제2 전체 화면(1500)에서 제2 이미지가 표시되는 영역을 제외한 나머지 영역(1570)의 적어도 일부에 제2 확대 이미지(1575)를 표시되도록 제어할 수 있다.
개시된 실시예에서, 프로세서(810)는 제2 부분 영역이 식별되면, 제2 부분 영역 및 제2 이미지를 포함하는 제2 전체 화면이 디스플레이되도록 제어할 수 있다. 또한, 제2 전체 화면을 출력하는데 있어서, 프로세서(810)는 화면 이용 효율이 최대가 되도록 제2 전체 화면을 생성할 수 있다. 여기서, 화면 이용 효율이 최대가 된다는 것은, 전체 화면 내에서 의미 없는 이미지(예를 들어, 블랙 영역)의 표시를 최소화하고, 의미 있는 이미지가 최대한 표시되도록 하는 것을 의미할 수 있다. 예를 들어, '의미 없는 이미지'는 블랙 영역과 같이 사용자에게 정보나 컨텐츠를 제공하는데 이용되는 영역이 아닌 영역을 의미할 수 있다. 또는, '의미 없는 이미지'는 사용자에게 예술적인 심미감을 제공하는 영역이 아닌 영역을 의미할 수 있다.
개시된 실시예에서, 프로세서(810)는 S1050 단계에 따라서 제2 전체 화면을 디스플레이 하는데 있어서, 제2 종횡비 및 디스플레이(820)의 전체 화면 종횡비에 근거하여, 제2 전체 화면 내 포함되는 제2 확대 이미지의 크기 및 위치 중 적어도 하나를 조절할 수 있다.
예를 들어, 나머지 영역(1570) 내에 제2 확대 이미지(1575)를 표시하는데 있어서, 프로세서(810)는 제2 확대 이미지(1575)의 크기가 최대가 되도록 제2 확대 이미지(1575)의 크기를 조절할 수 있다. 그에 따라서, 도 15에 도시된 바와 같이 제2 전체 화면(1500)이 디스플레이 될 수 있다. 또한, 나머지 영역(1570) 내에 포함되는 제2 확대 이미지(1575)의 위치는 사용자의 설정 및 프로세서(810)의 자동 설정 중 적어도 하나에 근거하여 결정될 수 있다.
예를 들어, 제2 확대 이미지(1575)가 표시되는 위치는 사용자의 만족도가 높아지는 방향으로 조절될 수 있다. 예를 들어, 프로세서(810)는 전체 화면 상에서 제2 확대 이미지(1575)가 사용자에게 가장 잘 보여지는 위치(예를 들어, 화면 중앙 또는 사용자의 시야 방향에 대응되는 위치 등)에 표시되도록 제어할 수 있다.
도 16에서는, 디스플레이(820)의 종횡비가 16:9이며, 제2 종횡비가 32:9인 경우를 예로 들어 도시하였으며, 도 15에서와 동일하게 확대 표시를 위한 부분 영역이 미니맵이 표시된 영역(1615)인 경우를 예로 들어 도시하였다.
도 16에 도시된 예를 참조하면, 제2 전체 화면(1600)은 제2 이미지인 게임 이미지(1611)가 표시되는 영역(1610) 및 제2 이미지(1611)가 표시되는 영역을 제외한 나머지 영역(1670)으로 형성될 수 있다.
예를 들어, 나머지 영역(1670) 내에 제2 확대 이미지(1675)를 표시하는데 있어서, 프로세서(810)는 제2 확대 이미지(1675)의 크기가 최대가 되도록 제2 확대 이미지(1675)의 크기를 조절할 수 있다. 그에 따라서, 도 16에 도시된 바와 같이 제2 전체 화면(1500)이 디스플레이 될 수 있다.
도 17은 개시된 실시예에 따른 디스플레이 장치의 동작 방법을 나타내는 다른 흐름도이다. 도 17에 도시된 단계 구성 중 도 10에서와 동일한 구성은 동일한 도면 기호를 이용하여 도시하였다. 또한, 도 17에 있어서, 도 11a 에서와 동일한 구성은 동일한 도면 기호를 이용하여 도시하였다.
또한, 이하에서는 디스플레이 장치의 동작 방법(1700)이 도 9에서 설명한 디스플레이 장치(900)에서 수행되는 경우를 예로 들어서 설명한다.
도 17을 참조하면, 디스플레이 장치의 제어 방법(1700)은 S1010 단계에서 수신된 제1 이미지 내에 확대 표시를 위한 제1 부분 영역(예를 들어, 401)을 식별할 수 있다(S1015). S1015 단계는 프로세서(810)에서 수행될 수 있다. S1015의 동작은 이하에서 도 18을 참조하여 상세히 설명한다.
계속하여, 디스플레이 장치의 제어 방법(1700)은 상기 제1 이미지 및 S1015 단계에서 식별된 제1 부분 영역에 대응되는 제1 확대 이미지를 포함하는 제1 전체 화면을 생성하여 디스플레이 할 수 있다(S1017).
도 18은 게임 이미지를 나타내는 일 도면이다. 도 18에 도시된 게임 이미지인 제1 이미지(1800)는 도 15에 도시된 게임 이미지(1511)에 대응될 수 있으며, 동일한 구성은 동일한 도면 기호를 이용하여 도시하였다.
도 18을 참조하면, 디스플레이 장치(900)는 제1 이미지(예를 들어, 게임 이미지)(1800)를 수신할 수 있다. 제1 이미지(1800)는 움직이는 적어도 하나의 캐릭터를 이용하여 배틀을 수행하는 게임인 경우를 예로 들어 도시하였다. 도시된 예에서, 제1 이미지(1800)는 게임의 재생 이미지가 될 수 있으며, 게임의 재생 이미지에는 움직이는 적어도 하나의 객체(1524, 1525)가 포함될 수 있다. 여기서, 움직이는 적어도 하나의 객체(1524, 1525)는 배틀을 수행하는 사용자에 대응되는 캐릭터를 나타낼 수 있다.
또한, 제1 이미지(1800)에는 미니 맵(1515), 아이템 관련 창(1523), 캐릭터 관련 창(1521), 채팅 창(1523), 및 현재 상태 정보 창(미도시) 중 적어도 하나가 포함될 수 있다.
예를 들어, 제1 부분 영역의 식별 동작은 사용자 입력에 근거하여 수동으로 수행될 수 있다. 예를 들어, 프로세서(810)는 제1 이미지에 포함되는 부분 영역을 선택하는 사용자 입력에 근거하여, 제1 이미지 내에 포함되는 일부 영역인 제1 부분 영역을 식별할 수 있다.
예를 들어, 프로세서(810)는 제1 이미지가 수신되면, 제1 이미지를 포함하는 화면이 출력되도록 영상 처리부(825) 및 디스플레이(820)를 제어할 수 있다. 그러면, 사용자는 제1 이미지를 보고, 제1 이미지의 일부 영역을 선택하기 위한 사용자 입력을 사용자 인터페이스(870)로 입력할 수 있다. 그러면, 프로세서(810)는 사용자 입력에 근거하여, 사용자가 선택한 영역을 제1 부분 영역으로 식별할 수 있다. 예를 들어, 사용자는 게임 이미지를 보고, 게임 이미지 내의 미니맵이 표시된 영역을 선택하는 사용자 입력을 사용자 인터페이스(870)로 입력할 수 있다. 그러면, 프로세서(810)는 사용자 입력에 근거하여, 미니맵이 표시된 영역을 제1 부분 영역으로 식별할 수 있다.
예를 들어, 프로세서(810)는 제1 이미지(1800)가 수신되면, 제1 이미지(1800) 내에서 제1 부분 영역을 설정하기 위한 사용자 인터페이스 화면을 출력할 수 있다. 사용자 인터페이스 화면은 제1 이미지(1800)를 주 화면으로 포함하며, '확대 표시 영역을 설정하여 주십시오' 등과 같은 안내 메시지를 포함할 수 있다. 그러면, 사용자는 사용자 인터페이스 화면상에 디스플레이되는 제1 이미지(1800)에서 확대 하여 보고자 하는 영역(예를 들어, 미니맵(1515)이 표시된 영역)을 선택하는 사용자 입력을 사용자 인터페이스(870)를 통하여 입력할 수 있다.
또 다른 예로, 제1 부분 영역의 식별 동작은 프로세서(810)에 의해서 자동으로 수행될 수 있다.
예를 들어, 프로세서(810)는 제1 이미지가 수신되면, 제1 이미지에 포함되는 움직이는 적어도 하나의 객체, 미니 맵, 아이템 관련 창, 캐릭터 관련 창, 채팅 창, 및 현재 상태 정보 창 중 적어도 하나가 표시되는 영역을 제1 부분 영역으로 식별할 수 있다. 예를 들어, 프로세서(810)는 제1 부분 영역의 식별을 위하여, OCR(optical character recognition) 방법, ACR(Automatic Content Recognition) 방법 등을 활용할 수 있다. 예를 들어, 제어부(220)는 컨텐츠에 대응되는 게임 이미지를 OCR(Optical Character Reader) 인식 또는 ACR(Automatic Content Recognition) 인식하여, 제1 이미지에 포함되는 움직이는 적어도 하나의 객체, 미니 맵, 아이템 관련 창, 캐릭터 관련 창, 채팅 창, 및 현재 상태 정보 창 중 적어도 하나가 표시되는 영역을 식별할 수 있다.
또 다른 예로, 프로세서(810)는 제1 이미지가 수신되면, 프로세서(810)는 AI 기술을 이용하여 제1 부분 영역을 식별할 수 있다. 예를 들어, AI 기술은 알고리즘을 활용하여 구현될 수 있다. 여기서, AI 기술을 구현하기 위한 알고리즘 또는 알고리즘의 집합을 신경망(Neural Network)이라 한다. 여기서, 신경망은 입력 데이터를 입력받고, 입력 데이터를 분석하여, 목적하는 결과 데이터를 출력할 수 있다. 이렇게, 신경망이 입력 데이터에 대응되는 결과 데이터를 정확하게 출력하기 위해서는, 신경망을 트레이닝 시킬 필요가 있다. 여기서, '트레이닝(training)'은 신경망으로 다양한 데이터들을 입력시키고, 입력된 데이터들을 분석하는 방법, 입력된 데이터들을 분류하는 방법, 및/또는 입력된 데이터들에서 결과 데이터 생성에 필요한 특징을 추출하는 방법 등을 신경망이 스스로 발견 또는 터득할 수 있도록 신경망을 훈련시키는 것을 의미할 수 있다. 여기서, '트레이닝(training)'은 국문으로 '학습' 또는 '훈련'으로 표현될 수 있다.
또한, 전술한 신경망을 통하여 입력 데이터에 대응되는 출력 데이터를 출력하도록 하는 알고리즘의 집합, 알고리즘의 집합을 실행하는 소프트웨어 및/또는 알고리집의 집합을 실행하는 하드웨어를 'AI 모델'(또는, '인공지능 모델')이라 칭할 수 있을 것이다.
AI 모델은 매우 다양한 형태로 존재할 수 있다. 구체적으로, 이미지를 입력받고, 입력된 이미지를 분석하여 이미지에 포함되는 객체의 제스처를 적어도 하나의 부류로 분류하는 동작을 수행하는 다양한 AI 모델들이 존재할 수 있다.
AI 모델은 적어도 하나의 신경망을 포함할 수 있으며, 이하에서 설명할 도 19에서는 설명의 편의 상, AI 모델이 하나의 신경망(1820)의 형성되는 경우를 예로 들어서 도시하였다.
도 19는 게임 이미지 내에 포함되는 부분 영역의 식별 동작을 설명하기 일 도면이다.
예를 들어, 신경망(neural network)을 통한 연산을 수행하는 인공지능(AI: Artificial Intelligence) 기술을 이용하여, 객체 인식, 객체 추적 및/또는 객체 구별 등을 수행하는 방법이 개발 및 이용되고 있다. 이하에서는 설명의 편의 상, 이미지를 분석하여 특정 이미지 객체를 인식하기 위한 객체 인식, 객체 추적 및 객체 구별 등을 수행하는 동작들을 ‘객체 인식’ 이라 통칭하도록 한다.
예를 들어, 신경망은 복수의 레이어(layer)를 포함하여 다단의 연산을 수행하는 심층 신경망(DNN: Deep Neural Network)이 될 수 있다. 또한, 심층 신경망(DNN) 연산은 컨볼루션 신경망(CNN: Convolution Neural Network) 연산 등을 포함할 수 있다. 구체적으로, 예시된 신경망을 통하여 객체 인식을 위한 데이터 인식 모델을 구현하고, 구현된 인식 모델을 학습 데이터를 이용하여 학습(training)시킬 수 있다. 그리고, 학습된 데이터 인식 모델을 이용하여 입력되는 데이터, 예를 들어, 수신된 이미지를 분석하여, 입력된 이미지에서 객체를 인식하고 인식된 객체를 출력 데이터로써 출력할 수 있다. 또한, 컨볼루션 신경망(CNN)은 이미지를 분석하여 패턴을 찾는 알고리즘을 수행하는 신경망을 모두 지칭하는 것으로, 다양한 종류 및 형태를 가질 수 있다.
도 19에 도시된 예시를 참조하면, 신경망(1820)은 제1 이미지(예를 들어, 게임 이미지)(1800)를 입력받고 이미지 내에 포함되는 부분 영역(예를 들어, 제1 부분 영역)에 표시되는 이미지 객체를 추출하여 출력하도록 학습된 신경망이 될 수 있다.
도 19를 참조하면, 신경망(1320)은 입력 레이어(1821)을 통하여 제1 이미지(1800)를 입력받고, 입력된 이미지(1800) 내에 포함되는 제1 부분 영역(1850)을 추출하고 추출된 제1 부분 영역(1850) 자체 또는 제1 부분 영역(1850)에 대한 정보를 출력단(1325)으로 출력하도록 학습된 신경망이 될 수 있다.
예를 들어, 신경망(1820)은, 복수개의 게임 이미지들을 입력받고 복수개의 게임 이미지들 내에서 확대 표시가 필요한 부분 영역인 제1 부분 영역을 추출하도록 학습될 수 있다.
예를 들어, 신경망(1820)은, 게임에 대한 부가 정보 및 게임 이미지를 입력받고, 소정 게임에서 확대 표시가 필요한 제1 부분 영역(1850) (예를 들어, 미니 맵이 표시되는 영역) 또는 제1 부분 영역(1850)에 포함되는 이미지 객체(예를 들어, 미니 맵 등)를 추출할 수 있다. 여기서, '부가 정보'는 컨텐츠에 대한 정보(예를 들어, 게임 명칭, 게임 속성 등), 컨텐츠(예를 들어, 게임)에서 확대 표시가 필요한 객체에 대한 정보, 컨텐츠에 대한 이미지(예를 들어, 게임 이미지 등) 내에 포함되는 서브 창에 대한 정보 중 적어도 하나를 포함할 수 있다. 여기서, 부가 정보는 소스 장치(901)로부터 제공될 수 있다.
예를 들어, 신경망은 복수개의 게임들 각각에 대한 부가 정보를 학습하여, 복수개의 게임 별로 확대 표시가 필요한 부분 영역에 대한 정보(예를 들어, 부분 영역에 포함되는 이미지 객체의 종류, 상기 이미지 객체가 표시되는 위치에 대한 정보 등)를 획득할 수 있다. 예를 들어, 신경망은 복수개의 게임들 각각에 대한 게임 이미지 및 부가 정보를 학습할 수 있다. 그에 따라서, 학습된 신경망은, 소정 게임 이미지가 입력되면, 소정 게임 이미지가 어떠한 게임(예를 들어, A 게임인지 등) 인지를 식별하고, 식별된 게임의 종류에 따라서 부분 영역 또는 이미지 객체를 식별 또는 추출할 수 있다.
예를 들어, 게임의 종류에 따라서 사용자에게 확대 표시하여야 할 부분 영역이 달라질 수 있다. 신경망은 게임의 부가 정보에 근거하여 게임 별로 확대 표시하여 제공하여야 할 부분 영역 또는 이미지 객체를 추출하여 출력할 수 있다.
예를 들어, 학습된 신경망으로 A 게임 이미지가 입력되면, 신경망은 A 게임 이미지에서 확대 표시가 필요한 부분 영역으로 미니맵 및 아이템 창이 표시되는 영역을 추출하여 출력할 수 있다. 또한, 학습된 신경망으로 B 게임 이미지가 입력되면, 신경망은 B 게임 이미지에서 확대 표시가 필요한 부분 영역으로 움직이는 객체를 확대 표시하기 위한 오토 트레이싱 메뉴 및 미니 맵이 표시되는 영역을 추출하여 출력할 수 있다. 또한, 학습된 신경망으로 B 게임 이미지가 입력되면, 신경망은 B 게임 이미지에서 확대 표시가 필요한 부분 영역으로 움직이는 객체를 확대 표시하기 위한 오토 트레이싱 메뉴 및 미니 맵이 표시되는 영역을 추출하여 출력할 수 있다.
예를 들어, 전술한 신경망(1820)은 프로세서(810) 내에 구현될 수 있다. 이 경우, 프로세서(810)는 신경망(1820)으로 이미지(예를 들어, 게임 이미지)를 입력하며, 신경망(1820)은 입력된 이미지를 분석하여 적어도 하나의 제1 부분 영역(구체적으로, 확대 표시에 대응되는 부분 영역)(1850)을 분리 및 추출하여 출력할 수 있다.
또한, 신경망(1820)는 디스플레이 장치(900)과 구별되는 외부의 서버 또는 외부 장치에 구현될 수 있다. 이 경우, 디스플레이 장치(900)는 외부의 서버 또는 외부 장치에 구현된 신경망(미도시)으로 재생될 컨텐츠에 대응되는 이미지(예를 들어, 게임 이미지)를 전송하고, 신경망(미도시)에서 출력되는 결과(예를 들어, 제1 부분 영역, 또는 제1 부분 영역에 대한 정보)를 통신 인터페이스(830)를 통하여 수신할 수 있다. 예를 들어, 전술한 신경망이 인터넷 네트워크를 통하여 연결되는 외부 서버 내에 구현되는 경우, 디스플레이 장치(900)는 통신부(831)를 통하여 이미지(예를 들어, 게임 이미지)를 외부 서버(미도시)로 전송할 수 있다. 그러면, 외부 서버(미도시)는 수신된 이미지를 신경망으로 입력하고 신경망에서 출력되는 결과를 디스플레이 장치(900)의 통신부(831)로 전송할 수 있다.
도 18 내지 도 19를 참조하여 설명한 방식들을 통하여, 디스플레이 장치(900)는 제1 이미지 내에 확대 표시를 위한 제1 부분 영역(예를 들어, 401)을 식별할 수 있다(S1015), 그리고, 디스플레이 장치(900)는 식별된 제1 부분 영역에 대응되는 확대 이미지를 생성할 수 있다.
도 20은 개시된 실시예에서 출력되는 전체 화면의 일 예를 나타내는 도면이다. 도 20에 있어서, 도 15 및 도 18에서와 동일한 구성은 동일한 도면 기호를 이용하여 도시하였다. 예를 들어, 도 20에 도시된 전체 화면(2000)은 개시된 실시예에 따른 디스플레이 장치(예를 들어, 900)에서 출력되는 전체 화면이 될 수 있다. 또한, 전체 화면(2000)은 도 17에 도시된 디스플레이 장치의 동작 방법(1700)의 S1017 단계에서 출력되는 화면이 될 수 있다.
다시 도 17 및 도 20을 참조하면, 디스플레이 장치의 동작 방법(1700)은 S1015 단계에서 제1 부분 영역이 식별되면, 제1 이미지(1800) 및 S1015 단계에서 식별된 제1 부분 영역에 대응되는 제1 확대 이미지를 포함하는 제1 전체 화면을 생성하여 디스플레이 할 수 있다(S1017). 예를 들어, 제1 전체 화면(2000)은 적어도 하나의 제1 부분 영역에 각각 대응되는 적어도 하나의 제1 확대 이미지를 포함할 수 있다. 도 20에서는, 제1 전체 화면(2000)이 3개의 제1 부분 영역(예를 들어, 1521, 1524, 1515)에 대응되는 3개의 확대 이미지(2010, 2020, 2030)를 포함하는 경우를 예로 들어서 도시하였다.
예를 들어, S1015 단계에서, 프로세서(810)는 제1 이미지(1800)에 포함되는 적어도 하나의 부분 영역을 식별할 수 있다. 예를 들어, 프로세서(810)는 제1 이미지(1800) 내에서 확대 표시에 대응되는 제1 부분 영역으로, 캐릭터 관련 창(1521), 움직이는 객체(1524) 및 미니 맵(1515)을 식별할 수 있다.
계속하여, 프로세서(810)는 식별된 적어도 하나의 제1 부분 영역에 대응되는 적어도 하나의 제1 확대 이미지를 생성할 수 있다. 예를 들어, 프로세서(810)는 영상 처리부(825)가 식별된 적어도 하나의 제1 부분 영역에 대응되는 적어도 하나의 제1 확대 이미지를 생성하도록 제어할 수 있다. 그리고, 생성된 적어도 하나의 제1 확대 이미지에 근거하여, 제1 이미지 및 적어도 하나의 제1 확대 이미지를 포함하는 제1 전체 화면(2000)을 생성하여 디스플레이 할 수 있다(S1017). 확대 이미지의 생성은 이하에서 도 25를 참조하여 상세히 설명한다.
도 21은 개시된 실시예에 따른 디스플레이 장치의 동작 방법을 나타내는 다른 흐름도이다. 도 21에 도시된 단계 구성 중 이전에 설명한 도 10 내지 도 17에서와 동일한 구성은 동일한 도면 기호를 이용하여 도시하였다.
또한, 이하에서는 디스플레이 장치의 동작 방법(2100)이 도 9에서 설명한 디스플레이 장치(900)에서 수행되는 경우를 예로 들어서 설명한다.
개시된 실시예에서, S1015 단계의 제1 부분 영역의 식별 동작은 사용자의 입력에 근거하여 수행될 수 있다. 예를 들어, S1015 단계는 가이드 영역을 표시한 사용자 인터페이스 화면을 디스플레이하는 단계(S2115) 및 사용자 입력에 근거하여 제1 부분 영역을 식별하는 단계(S2117)를 포함할 수 있다.
도 21을 참조하면, S1010 단계에 후속하여, 디스플레이 장치의 동작 방법(2100)은 S1010 단계에서 수신된 제1 이미지 상에 적어도 하나의 가이드 영역을 표시한 사용자 인터페이스 화면을 디스플레이 하 수 있다(S2115). 예를 들어, 프로세서(810)는 사용자 인터페이스 화면이 출력되도록 영상 처리부(825) 및 디스플레이(820)를 제어할 수 있다.
또한, S2115 단계는 S1010 단계에 후속하여 자동으로 수행될 수 있다. 또는, S2115는 S1010 단계에서 제1 이미지가 수신되면 가이드 영역을 표시하는 사용자 인터페이스 화면의 디스플레이를 요청하는 사용자 입력에 근거하여 수행될 수 있다. 즉, 디스플레이 장치(900)의 사용자가 제1 이미지 내에서 확대 표시를 위한 제1 영역을 수동으로 설정하고자 하는 경우, 사용자는 디스플레이 장치로 S2115 단계가 수행되도록 하는 요청 또는 사용자 입력을 입력할 수 있다.
여기서, 가이드 영역은 확대 표시가 필요한 영역(예를 들어, 제1 부분 영역)을 선택할 수 있도록, 제1 이미지에 포함되는 부분 영역을 표시하는 가이드 라인에 의해서 형성되는 영역이 될 수 있다. S2115 단계에서 출력되는 사용자 인터페이스 화면은 이하에서 도 22 내지 도 23을 참조하여 설명한다.
구체적으로, 사용자는 S2115 단계에서 출력된 사용자 인터페이스 화면을 보고, 사용자 인터페이스 화면 표시되는 적어도 하나의 가이드 영역 중 적어도 하나를 선택하는 사용자 입력을 디스플레이 장치(900)로 입력할 수 있다. 그에 따라서, 디스플레이 장치(900)는 사용자 인터페이스(870)를 통하여 가이드 영역을 선택하는 사용자 입력을 수신할 수 있다. 프로세서(810)는 사용자 입력의 수신에 근거하여, 선택된 가이드 영역에 대응되는 제1 부분 영역을 식별할 수 있다.
도 22는 게임 이미지 내에 포함되는 부분 영역의 식별 동작을 설명하기 다른 도면이다.
도 23은 게임 이미지 내에 포함되는 부분 영역의 식별 동작을 설명하기 다른 도면이다.
도 22 및 도 23에 있어서, 도 15 및 도 18에 도시된 구성과 동일한 구성은 동일한 도면 기호를 이용하여 도시하였다.
디스플레이 장치의 동작 방법(2100)은 사용자 인터페이스(870)를 통하여 수신되는 가이드 영역을 선택하는 사용자 입력에 근거하여, 제1 부분 영역을 식별할 수 있다(S2117). 예를 들어, S2117 단계는 프로세서(810)의 제어에 따라서 수행될 수 있다.
도 22 및 도 23을 참조하면, 개시된 실시예에 따른 디스플레이 장치(100, 800 또는 900)에서 디스플레이되는 사용자 인터페이스 화면의 예시들이 도시된다. 또한, 도 22 및 도 23 각각은 도 21에서 설명한 S2115 단계에서 출력되는 사용자 인터페이스 화면의 예들을 나타낸다.
이하에서는, 도 22 및 도 23에 도시된 사용자 인터페이스 화면들이 도 9에서 설명한 디스플레이 장치(900)에서 출력되는 경우를 예로 들어서 설명한다.
도 22를 참조하면, S2115 단계에서 출력되는 사용자 인터페이스 화면(2200)은 소정 영역을 선택하기 위한 적어도 하나의 가이드 영역들을 제1 이미지(1800) 상에 표시하여 출력되는 화면이 될 수 있다.
도 22에 도시된 예를 참조하면, 제1 이미지(1800)상에 표시되는 적어도 하나의 가이드 영역은 복수개의 가이드 라인들(2210, 2220, 2230, 2240)에 의해서 구별 및 구획될 있다. 예를 들어, 사용자가 커서(2201)등과 같이 사용자 인터페이스 화면(2200) 상의 일 지점을 선택하는 도구를 이용하여, 소정 지점을 선택하면, 커서(2201)가 위치하는 지점에 대응되는 영역(2205)이 가이드 영역으로 선택될 수 있다. 여기서, 가이드 영역(2205)은 가이드 라인(2220) 및 가이드 라인(2240)에 의해서 구획되는 영역이 될 수 있다.
상기의 예에서, 프로세서(810)는 사용자 입력에 근거하여 선택된 가이드 영역에 대응되는 이미지 객체인 미니맵이 표시되는 영역을 제1 부분 영역으로 식별할 수 있다. 예를 들어, 프로세서(810)는 사용자가 커서(2201)를 이용하여 선택한 지점에 대응되는 가이드 영역(2205) 내에서 표시된 이미지 객체인 미니맵이 표시되는 영역을 제1 부분 영역으로 식별할 수 있다. 미니맵이 표시되는 영역이 제1 부분 영역으로 식별되면, 프로세서(810)는 미니맵을 확대 표시한 이미지 및 제1 이미지(1800)을 포함하는 전체 화면(미도시)이 디스플레이되도록 제어할 수 있다.
또 다른 예로, 사용자가 커서(2201)를 이용하여, 가이드 라인(2220), 가이드 라인(2230) 및 가이드 라인(2240)에 의해서 구획되는 영역인 가이드 영역(1523) 내의 일 지점을 선택하면, 프로세서(810)는 사용자 입력에 근거하여 선택된 가이드 영역(1523) 내에 표시되는 이미지 객체인 아이템 관련 창(1523)이 표시되는 영역을 제1 부분 영역으로 식별할 수 있다. 아이템 관련 창(1523)이 표시되는 영역이 제1 부분 영역으로 식별되면, 프로세서(810)는 아이템 관련 창(1523)을 확대 표시한 확대 이미지 및 제1 이미지(1800)을 포함하는 전체 화면(미도시)이 디스플레이되도록 제어할 수 있다.
도 22에서는 도시된 바와 같이 4개의 가이드 라인들(2210, 2220, 2230, 2240)에 의해서 복수개의 가이드 영역들이 구획 및 표시되는 경우를 예로 들어 도시하였으나, 가이드 영역은 다양한 방법 및 형태로 다양한 위치 및 크기를 갖도록 제1 이미지(1800) 상에 표시될 수 있다. 또한, 사용자 입력에 근거하여, 복수개의 가이드 영역이 선택될 수 있으며, 선택된 복수개의 가이드 영역에 각각 대응되는 복수개의 제1 부분 영역이 식별될 수 있을 것이다. 그러면, 프로세서(810)는 식별된 복수개의 제1 부분 영역에 각각 대응되는 복수개의 확대 이미지 및 제1 이미지(1800)을 포함하는 전체 화면(미도시)이 디스플레이되도록 제어할 수 있다.
도 23은 게임 이미지 내에 포함되는 부분 영역의 식별 동작을 설명하기 다른 도면이다.
도 23에 도시된 예시에서, 사용자 인터페이스 화면(2301)은 제1 이미지(1800)상에 적어도 하나의 가이드 영역(2311, 2312, 2313, 2314, 2315, 2316)을 표시하는 화면일 수 있다.
예를 들어, 프로세서(810)는 제1 이미지(1800) 상에 적어도 하나의 가이드 영역을 표시한 사용자 인터페이스 화면(2301)을 디스플레이하고, 적어도 하나의 가이드 영역을 중 적어도 하나를 선택하는 사용자 입력에 근거하여, 제1 부분 영역을 식별할 수 있다.
예를 들어, 프로세서(810)는 도 19를 참조하여 설명한 부분 영역 식별 또는 이미지 객체 인식 방법을 이용하여, 제1 이미지(1800) 내에 포함되는 적어도 하나의 가이드 영역(2311, 2312, 2313, 2314, 2315, 2316)을 추출할 수 있다. 그리고, 디스플레이 장치(900)는 추출된 적어도 하나의 가이드 영역(2311, 2312, 2313, 2314, 2315, 2316)을 제1 이미지(1800) 상에 표시한 사용자 인터페이스 화면(2301)을 디스플레이 할 수 있다. 그러면, 사용자는 제1 이미지(1800) 상에 표시된 적어도 하나의 가이드 영역(2311, 2312, 2313, 2314, 2315, 2316) 중 적어도 하나를 선택할 수 있다. 프로세서(810)는 사용자 입력에 근거하여 선택된 가이드 영역을 제1 부분 영역으로 식별할 수 있다.
예를 들어, 사용자가 커서(2305) 등을 이용하여 가이드 영역(2315)을 선택하면, 프로세서(8100는 사용자 입력에 근거하여 가이드 영역(2315)을 제1 부분 영역으로 식별하고, 식별된 제1 부분 영역을 확대 표시한 확대 이미지가 생성되도록 영상 처리부(825)를 제어할 수 있다.
도 24는 게임 이미지 및 확대 이미지를 포함하는 전체 화면의 일 예를 나타내는 도면이다. 도 24에 있어서, 도 15 및 도 18에 도시된 구성과 동일한 구성은 동일한 도면 기호를 이용하여 도시하였다.
도 24를 참조하면, 개시된 실시예에 따른 디스플레이 장치(100, 800 또는 900)에서 디스플레이되는 전체 화면의 일 예가 도시된다. 도 24에 도시된 전체 화면(2400)이 도 9에서 설명한 디스플레이 장치(900)에서 출력되는 경우를 예로 들어서 설명한다.
도 24를 참조하면, 전체 화면(2400)은 도 10 내지 도 21에 도시된 S1017 단계에서 출력되는 화면이 될 수 있다. 도 24에서는 S2117 단계에서 식별된 제1 부분 영역이 미니맵(1515)이 표시되는 영역인 경우를 예로 들어서 도시하였다.
개시된 실시예에서, 프로세서(810)는 S1017 단계에 따라서 제1 전체 화면을 디스플레이 하는데 있어서, 제1 종횡비 및 디스플레이(820)의 전체 화면 종횡비에 근거하여, 제1 전체 화면 내 포함되는 제1 확대 이미지의 크기 및 위치 중 적어도 하나를 조절할 수 있다.
예를 들어, 전체 화면(2400)은 S2117 단계에서 식별된 제1 부분 영역(미니맵(1515)이 표시되는 영역)에 대응되는 제1 확대 이미지(2410) 및 제1 이미지(1800)를 포함하는 화면이 될 수 있다. 예를 들어, 프로세서(810)는 화면 이용 효율이 최대가 되도록 제1 전체 화면을 생성할 수 있다. 여기서, 화면 이용 효율이 최대가 된다는 것은, 전체 화면 내에서 의미 없는 이미지(예를 들어, 블랙 영역)의 표시를 최소화하고, 의미 있는 이미지가 최대한 표시되도록 하는 것을 의미할 수 있다.
도 25는 개시된 실시예에 따른 디스플레이 장치의 동작 방법을 나타내는 또 다른 흐름도이다. 도 25에 도시된 단계 구성 중 이전에 설명한 도 10 내지 도 21에서와 동일한 구성은 동일한 도면 기호를 이용하여 도시하였다.
또한, 이하에서는 디스플레이 장치의 동작 방법(2500)이 도 9에서 설명한 디스플레이 장치(900)에서 수행되는 경우를 예로 들어서 설명한다.
도 25를 참조하면, 디스플레이 장치의 동작 방법(2500)은 S1015 단계에 후속하여, 제1 부분 영역에 대응되는 제1 확대 이미지를 획득하는 단계(S1016)를 더 포함할 수 있다. 제1 확대 이미지의 획득은 하기의 방법들로 수행될 수 있다.
예를 들어, S1016 단계는 S1015 단계에서 식별된 제1 부분 영역에 대응되는 이미지 데이터의 전송을 소스 장치(901)에 요청하고, 소스 장치(901)는 요청에 응답하여 제1 부분 영역에 대응되는 이미지 데이터를 디스플레이 장치(900)로 전송할 수 있다. 여기서, 소스 장치(901)에서 전송되는 이미지 데이터는 제1 부분 영역에 대한 원본 이미지 데이터가 될 수 있다. 그러면, 영상 처리부(825)는 수신된 이미지 데이터에 근거하여 제1 확대 이미지를 생성할 수 있다.
또 다른 예로, S1016 단계는 S1010 단계에서 수신된 제1 이미지에서 S1015 단계에서 식별된 제1 부분 영역을 잘라내고, 잘라내는 제1 부분 영역을 확대하여 확대 이미지를 생성할 수 있다. 즉, 영상 처리부(825)는 S1010 단계에서 수신된 제1 이미지에서 식별된 제1 부분 영역을 오려내어 확대 이미지를 생성할 수 있다.
또한, S1040 단계에서 식별된 제2 부분 영역에 대응되는 제2 확대 이미지는 전술한 제1 확대 이미지의 획득 방법과 동일한 방법으로 획득될 수 있다. 예를 들어, 디스플레이 장치(900)는 식별된 제2 부분 영역에 대응되는 이미지 데이터의 전송을 소스 장치(901)에 요청하고, 소스 장치(901)는 요청에 응답하여 제2 부분 영역에 대응되는 이미지 데이터를 디스플레이 장치(900)로 전송할 수 있다. 여기서, 소스 장치(901)에서 전송되는 이미지 데이터는 제2 부분 영역에 대한 원본 이미지 데이터가 될 수 있다. 그러면, 영상 처리부(825)는 수신된 이미지 데이터에 근거하여 제2 확대 이미지를 생성할 수 있다. 또 다른 예로, 디스플레이 장치(900)는 S1030 단계에서 수신된 제2 이미지에서 S1040 단계에서 식별된 제2 부분 영역을 잘라내고, 잘라내는 제2 부분 영역을 확대하여 확대 이미지를 생성할 수 있다. 즉, 영상 처리부(825)는 S1030 단계에서 수신된 제2 이미지에서 식별된 제2 부분 영역을 오려내어 확대 이미지를 생성할 수 있다.
개시된 실시예에 따른 디스플레이 장치의 동작 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 또한, 개시된 실시예는, 디스플레이 장치의 동작 방법을 실행하는 명령어들을 포함하는 하나 이상의 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체가 될 수 있다.
상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
여기서, 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

Claims (20)

  1. 디스플레이;
    소스 장치와 통신하는 통신 인터페이스; 및
    적어도 하나의 인스트럭션을 실행하는 프로세서를 포함하며,
    상기 프로세서는 상기 적어도 하나의 인스트럭션을 실행하여,
    상기 소스 장치로부터 제1 종횡비에 대응되는 제1 이미지를 수신하고,
    상기 제1 이미지 내에 확대 표시를 위한 제1 부분 영역이 식별되는 것에 근거하여, 상기 제1 이미지 및 상기 제1 부분 영역에 대응되는 제1 확대 이미지를 포함하는 제1 전체 화면을 생성하여 디스플레이하고,
    상기 소스 장치로부터 상기 제1 종횡비와 다른 제2 종횡비에 대응되는 제2 이미지가 수신되면, 상기 제1 종횡비 및 상기 제2 종횡비에 근거하여 상기 제2 이미지 내에서 상기 제1 부분 영역에 대응되는 제2 부분 영역을 식별하고,
    상기 제2 이미지 및 식별된 상기 제2 부분 영역에 대응되는 제2 확대 이미지를 포함하는 제2 전체 화면을 생성하여 디스플레이하는, 디스플레이 장치.
  2. 제1항에 있어서, 상기 프로세서는
    상기 제1 종횡비 및 상기 제2 종횡비에 근거하여, 상기 제2 이미지 내에서, 상기 제1 이미지에 포함되는 상기 제1 부분 영역에 표시된 이미지 객체와 동일한 이미지 객체를 포함하는 상기 제2 부분 영역을 식별하고,
    상기 식별된 제2 부분 영역에 대응되는 상기 제2 확대 이미지를 획득하는, 디스플레이 장치.
  3. 제1항에 있어서, 상기 프로세서는
    상기 소스 장치로부터 상기 제1 이미지를 수신하는 중에 입력되는 사용자 입력에 근거하여, 상기 소스 장치로부터 상기 제2 종횡비를 갖는 상기 제2 이미지가 수신되도록 상기 통신 인터페이스를 제어하는, 디스플레이 장치.
  4. 제1항에 있어서, 상기 프로세서는
    상기 제1 이미지에 포함되는 움직이는 적어도 하나의 객체, 미니 맵, 아이템 관련 창, 캐릭터 관련 창, 채팅 창, 및 현재 상태 정보 창 중 적어도 하나가 표시되는 영역을 상기 제1 부분 영역으로 식별하고, 상기 제1 부분 영역에 대응되는 제1 확대 이미지를 획득하는, 디스플레이 장치.
  5. 제1항에 있어서, 상기 프로세서는
    상기 제1 이미지에 포함되는 부분 영역을 선택하는 사용자 입력에 근거하여, 상기 제1 부분 영역을 식별하는, 디스플레이 장치.
  6. 제1항에 있어서,
    사용자 입력을 수신하는 사용자 인터페이스를 더 포함하며,
    상기 프로세서는
    상기 제1 이미지 상에 적어도 하나의 가이드 영역을 표시한 사용자 인터페이스 화면을 디스플레이하고,
    상기 적어도 하나의 가이드 영역을 중 적어도 하나를 선택하는 사용자 입력에 근거하여, 상기 제1 부분 영역을 식별하는, 디스플레이 장치.
  7. 제1항에 있어서, 상기 프로세서는
    상기 제1 이미지에 포함되는 미니 맵, 적어도 하나의 움직이는 객체, 아이템 관련 창, 캐릭터 관련 창, 채팅 창, 및 현재 상태 정보 창 중 적어도 하나에 대응되는 적어도 하나의 이미지 객체를 인식하고,
    인식된 상기 적어도 하나의 이미지 객체를 선택하기 위한 사용자 인터페이스 화면을 디스플레이하며,
    상기 적어도 하나의 이미지 객체 중 적어도 하나를 선택하는 사용자 입력에 근거하여, 상기 제1 부분 영역을 식별하는, 디스플레이 장치.
  8. 제1항에 있어서, 상기 프로세서는
    상기 디스플레이의 종횡비가 상기 제2 종횡비와 동일하면, 상기 디스플레이의 전체 화면을 두 개의 부분 화면으로 화면 분할하고, 상기 일 부분 화면 내에 상기 제2 이미지를 표시하고 상기 다른 부분 화면 내에 상기 제2 확대 이미지를 표시하는, 디스플레이 장치.
  9. 제1항에 있어서, 상기 프로세서는
    상기 디스플레이의 종횡비가 상기 제2 종횡비와 다르면, 상기 디스플레이의 전체 화면에서 상기 제2 이미지가 표시되는 영역을 제외한 나머지 영역의 적어도 일부에 상기 제2 확대 이미지를 표시하는, 디스플레이 장치.
  10. 제9항에 있어서, 상기 프로세서는
    상기 나머지 영역의 화면 이용 효율이 최대가 되도록 상기 제2 확대 이미지의 크기를 조절하고, 크기 조절된 상기 제2 확대 이미지를 상기 나머지 영역 상에 표시하는, 디스플레이 장치.
  11. 제1항에 있어서, 상기 프로세서는
    상기 제2 종횡비 및 상기 디스플레이의 전체 화면 종횡비에 근거하여, 상기 제2 전체 화면에 포함되는 상기 제2 확대 이미지의 크기 및 위치 중 적어도 하나를 조절하는, 디스플레이 장치.
  12. 제1항에 있어서,
    상기 제1 이미지는
    상기 제1 종횡비에 대응되는 게임 컨텐츠에 대응되는 이미지를 포함하며,
    상기 제2 이미지는
    상기 제2 종횡비에 대응되는 게임 컨텐츠에 대응되는 이미지를 포함하는, 디스플레이 장치.
  13. 제1항에 있어서, 상기 프로세서는
    게임 컨텐츠의 재생 이미지에 대응되는 상기 제1 이미지에 포함되는 미니 맵이 표시되는 영역을 상기 제1 부분 영역으로 식별하고,
    상기 제1 부분 영역에 대응되는 제1 확대 이미지를 생성하며,
    상기 제1 확대 이미지 및 상기 제1 이미지를 포함하는 상기 제1 전체 화면을 생성하여 디스플레이하는, 디스플레이 장치.
  14. 소스 장치로부터 제1 종횡비에 대응되는 제1 이미지를 수신하는 단계;
    상기 제1 이미지 내에 확대 표시를 위한 제1 부분 영역이 식별되는 것에 근거하여, 상기 제1 이미지 및 상기 제1 부분 영역에 대응되는 제1 확대 이미지를 포함하는 제1 전체 화면을 생성하여 디스플레이하는 단계;
    상기 소스 장치로부터 상기 제1 종횡비와 다른 제2 종횡비에 대응되는 제2 이미지를 수신하는 단계;
    상기 제1 종횡비 및 상기 제2 종횡비에 근거하여 상기 제2 이미지 내에서 상기 제1 부분 영역에 대응되는 제2 부분 영역을 식별하는 단계; 및
    상기 제2 이미지 및 식별된 상기 제2 부분 영역에 대응되는 제2 확대 이미지를 포함하는 제2 전체 화면을 생성하여 디스플레이하는 단계를 포함하는, 디스플레이 장치의 동작 방법.
  15. 제14항에 있어서, 상기 제2 부분 영역을 식별하는 단계는
    상기 제1 종횡비 및 상기 제2 종횡비에 근거하여, 상기 제2 이미지 내에서, 상기 제1 이미지에 포함되는 상기 제1 부분 영역에 표시된 이미지 객체와 동일한 이미지 객체를 포함하는 상기 제2 부분 영역을 식별하는 단계; 및
    상기 식별된 제2 부분 영역에 대응되는 상기 제2 확대 이미지를 획득하는 단계를 포함하는, 디스플레이 장치의 동작 방법.
  16. 제14항에 있어서, 상기 제1 전체 화면을 생성하여 디스플레이하는 단계는
    상기 제1 이미지에 포함되는 움직이는 적어도 하나의 객체, 미니 맵, 아이템 관련 창, 캐릭터 관련 창, 채팅 창, 및 현재 상태 정보 창 중 적어도 하나가 표시되는 영역을 상기 제1 부분 영역으로 식별하는 단계; 및
    상기 제1 부분 영역에 대응되는 제1 확대 이미지를 획득하는 단계를 포함하는, 디스플레이 장치의 동작 방법.
  17. 제14항에 있어서,
    상기 제1 이미지 상에 적어도 하나의 가이드 영역을 표시한 사용자 인터페이스 화면을 디스플레이는 단계; 및
    상기 적어도 하나의 가이드 영역을 중 적어도 하나를 선택하는 사용자 입력에 근거하여, 상기 제1 부분 영역을 식별하는 단계를 더 포함하는, 디스플레이 장치의 동작 방법.
  18. 제14항에 있어서,
    상기 제1 이미지에 포함되는 미니 맵, 적어도 하나의 움직이는 객체, 아이템 관련 창, 캐릭터 관련 창, 채팅 창, 및 현재 상태 정보 창 중 적어도 하나에 대응되는 적어도 하나의 이미지 객체를 인식하는 단계;
    인식된 상기 적어도 하나의 이미지 객체를 선택하기 위한 사용자 인터페이스 화면을 디스플레이하는 단계; 및
    상기 적어도 하나의 이미지 객체 중 적어도 하나를 선택하는 사용자 입력에 근거하여, 상기 제1 부분 영역을 식별하는 단계를 더 포함하는, 디스플레이 장치의 동작 방법.
  19. 제14항에 있어서, 상기 제2 전체 화면을 생성하여 디스플레이하는 단계는
    상기 디스플레이 장치에 포함되는 디스플레이의 종횡비가 상기 제2 종횡비와 다르면, 상기 디스플레이의 전체 화면에서 상기 제2 이미지가 표시되는 영역을 제외한 나머지 영역의 적어도 일부에 상기 제2 확대 이미지를 표시하는 단계를 포함하는, 디스플레이 장치의 동작 방법.
  20. 제14항에 있어서, 상기 제2 전체 화면을 생성하여 디스플레이하는 단계는
    상기 제2 종횡비 및 상기 디스플레이의 전체 화면 종횡비에 근거하여, 상기 제2 전체 화면에 포함되는 상기 제2 확대 이미지의 크기 및 위치 중 적어도 하나를 조절하는 단계를 더 포함하는, 디스플레이 장치의 동작 방법.
KR1020210117197A 2021-09-02 2021-09-02 디스플레이 장치 및 그의 동작 방법 Pending KR20230034064A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020210117197A KR20230034064A (ko) 2021-09-02 2021-09-02 디스플레이 장치 및 그의 동작 방법
CN202280059934.5A CN117941361A (zh) 2021-09-02 2022-09-02 显示设备及其操作方法
EP22865089.1A EP4358527A4 (en) 2021-09-02 2022-09-02 DISPLAY DEVICE AND OPERATING METHOD THEREFOR
PCT/KR2022/013196 WO2023033587A1 (ko) 2021-09-02 2022-09-02 디스플레이 장치 및 그의 동작 방법
US17/987,467 US20230100652A1 (en) 2021-09-02 2022-11-15 Display device and operating method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210117197A KR20230034064A (ko) 2021-09-02 2021-09-02 디스플레이 장치 및 그의 동작 방법

Publications (1)

Publication Number Publication Date
KR20230034064A true KR20230034064A (ko) 2023-03-09

Family

ID=85411420

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210117197A Pending KR20230034064A (ko) 2021-09-02 2021-09-02 디스플레이 장치 및 그의 동작 방법

Country Status (5)

Country Link
US (1) US20230100652A1 (ko)
EP (1) EP4358527A4 (ko)
KR (1) KR20230034064A (ko)
CN (1) CN117941361A (ko)
WO (1) WO2023033587A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025023804A1 (ko) * 2023-07-21 2025-01-30 삼성전자주식회사 전자 장치 및 이의 제어 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000046988A2 (en) * 1999-02-08 2000-08-10 United Video Properties, Inc. Electronic program guide with support for rich program content
JP5263565B2 (ja) * 2006-10-12 2013-08-14 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
KR101009881B1 (ko) * 2008-07-30 2011-01-19 삼성전자주식회사 재생되는 영상의 타겟 영역을 확대 디스플레이하기 위한장치 및 방법
KR20100046398A (ko) * 2008-10-27 2010-05-07 엘지전자 주식회사 영상표시기기 및 그의 영상 확대 방법
US9900629B2 (en) * 2013-03-13 2018-02-20 Apple Inc. Codec techniques for fast switching with intermediate sequence
KR101714662B1 (ko) * 2015-05-28 2017-03-22 (주)루노소프트 게임을 수행하는 전자 장치 및 그 제어방법
KR20170111003A (ko) * 2016-03-24 2017-10-12 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
KR102623181B1 (ko) * 2016-10-05 2024-01-11 엘지전자 주식회사 무선 디바이스 및 무선 시스템
KR102350933B1 (ko) * 2017-06-20 2022-01-12 엘지전자 주식회사 영상표시장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025023804A1 (ko) * 2023-07-21 2025-01-30 삼성전자주식회사 전자 장치 및 이의 제어 방법

Also Published As

Publication number Publication date
US20230100652A1 (en) 2023-03-30
EP4358527A4 (en) 2024-10-30
CN117941361A (zh) 2024-04-26
EP4358527A1 (en) 2024-04-24
WO2023033587A1 (ko) 2023-03-09

Similar Documents

Publication Publication Date Title
US11657783B2 (en) Display device and operating method thereof
US11094105B2 (en) Display apparatus and control method thereof
US11146859B2 (en) Method and apparatus for executing content
KR20190140946A (ko) 가상 현실 비디오에서 시간 지정 텍스트 및 그래픽을 렌더링하는 방법 및 장치
CN114297436A (zh) 一种显示设备及用户界面主题更新方法
US20210289263A1 (en) Data Transmission Method and Device
CN114296949A (zh) 一种虚拟现实设备及高清晰度截屏方法
US20160173958A1 (en) Broadcasting receiving apparatus and control method thereof
TW202025090A (zh) 顯示器裝置以及控制其的方法
EP2619979A1 (en) Virtual video capture device
WO2020248697A1 (zh) 显示设备及视频通讯数据处理方法
EP4030766A1 (en) Methods, systems, and media for color palette extraction for video content item
US11627383B2 (en) Electronic device and operation method thereof
US20190324708A1 (en) Sound outputting apparatus, head-mounted display, sound outputting method, and program
CN113965813A (zh) 直播间内的视频播放方法、系统及计算机设备
US20230100652A1 (en) Display device and operating method thereof
US20230052104A1 (en) Virtual content experience system and control method for same
US20220014688A1 (en) Image processing method and display device thereof
KR102650138B1 (ko) 디스플레이장치, 그 제어방법 및 기록매체
KR102582545B1 (ko) 디스플레이 장치 및 그의 동작 방법
KR20230005691A (ko) 디스플레이 장치 및 그의 동작 방법
KR20230059034A (ko) 통합 현실 서비스 제공 방법 및 그를 위한 장치 및 시스템
CN111373761B (zh) 显示装置、该显示装置的控制系统以及控制该显示装置的方法
US20250030821A1 (en) Projection device and operating method thereof
KR102494591B1 (ko) 전자 장치, 그 제어 방법 및 전자 시스템

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20210902

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20240902

Comment text: Request for Examination of Application