[go: up one dir, main page]

KR20170100079A - System and method for providing of cloud streaming service which is adapting to network environment - Google Patents

System and method for providing of cloud streaming service which is adapting to network environment Download PDF

Info

Publication number
KR20170100079A
KR20170100079A KR1020160021721A KR20160021721A KR20170100079A KR 20170100079 A KR20170100079 A KR 20170100079A KR 1020160021721 A KR1020160021721 A KR 1020160021721A KR 20160021721 A KR20160021721 A KR 20160021721A KR 20170100079 A KR20170100079 A KR 20170100079A
Authority
KR
South Korea
Prior art keywords
video
cloud server
server
trip time
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020160021721A
Other languages
Korean (ko)
Other versions
KR101795537B1 (en
Inventor
임경식
성채민
장민수
정우용
홍성준
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020160021721A priority Critical patent/KR101795537B1/en
Publication of KR20170100079A publication Critical patent/KR20170100079A/en
Application granted granted Critical
Publication of KR101795537B1 publication Critical patent/KR101795537B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H04L65/605
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637Control signals issued by the client directed to the server or network components
    • H04N21/6373Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 클라우드 스트리밍 시스템에 관한 것으로, 클라우드 서버에서 비디오 서버와 클라우드 서버간의 제1 네트워크 상태와, 클라우드 서버와 사용자 단말간의 제2 네트워크 상태를 모두 고려하여 사용자단말로 전송할 비디오 품질을 설정함으로써, 사용자 단말을 통해 화면 출력되는 비디오 재생 품질을 향상시킬 수 있도록 해 주는 네트워크 환경 적응형 클라우드 스트리밍 시스템 및 그 방법에 관한 것이다.
본 발명에 따른 네트워크 환경 적응형 클라우드 스트리밍 시스템 및 그 방법은 비디오 콘텐츠에 대하여 품질별 비디오 조각정보를 구비하여 구성되고, 클라우드 서버로부터의 비디오 다운로드 요청에 따라 일정 품질의 비디오 조각을 포함하는 비디오 스트림을 클라우드 서버로 제공하는 비디오 서버와, 클라우드 서버로 비디오 콘텐츠 요청을 수행하고, 이에 대해 클라우드 서버로부터 제공되는 이미지 스트림을 재생하여 화면출력하도록 구성되는 사용자단말 및, 상기 사용자단말로부터의 비디오 콘텐츠 요청에 대해 상기 비디오 서버로 비디오 다운로드 요청을 수행하고, 이에 대해 비디오 서버로부터 수신되는 비디오 스트림을 이미지 스트림으로 변환하여 상기 사용자단말로 제공하되, 상기 비디오 서버로부터 제공되는 비디오 스트림에 대한 비디오 스트리밍 처리율과 사용자단말에서의 이미지 스트리밍 처리율을 근거로 산출된 변환비율과, 상기 사용자단말과의 이미지 스트림 왕복시간을 획득하고, 변환비율과 왕복시간이 감소할수록 비디오 품질을 상향설정하며, 이 비디오 품질정보를 포함하는 비디오 다운로드 요청정보를 상기 비디오 서버로 제공하도록 구성되는 클라우드 서버를 포함하여 구성되는 것을 특징으로 한다.
The present invention relates to a cloud streaming system, in which a video quality to be transmitted to a user terminal is set in consideration of both a first network state between a video server and a cloud server and a second network state between a cloud server and a user terminal in a cloud server, And more particularly, to a network environment adaptive cloud streaming system and method for enhancing video playback quality on the screen.
The network environment adaptive cloud streaming system and method according to the present invention comprise video fragment information by quality for video contents, and a video stream including a video fragment of a predetermined quality according to a video download request from a cloud server A user terminal configured to perform a video content request to a cloud server, reproduce an image stream provided from the cloud server, and output the image stream to a screen, and a video server The method comprising: performing a video download request to the video server, converting the video stream received from the video server into an image stream to provide the video stream to the user terminal, Acquires the conversion rate calculated based on the off streaming throughput and the image streaming throughput in the user terminal and the image stream round trip time with the user terminal and sets the video quality higher as the conversion rate and the round trip time decrease, And a cloud server configured to provide video download request information including quality information to the video server.

Figure P1020160021721
Figure P1020160021721

Description

네트워크 환경 적응형 클라우드 스트리밍 서비스 제공시스템 및 그 방법{System and method for providing of cloud streaming service which is adapting to network environment} TECHNICAL FIELD The present invention relates to a system and method for providing adaptive cloud streaming service in a network environment,

본 발명은 클라우드 스트리밍 시스템에 관한 것으로, 클라우드 서버에서 비디오 서버와 클라우드 서버간의 제1 네트워크 상태와, 클라우드 서버와 사용자 단말간의 제2 네트워크 상태를 모두 고려하여 사용자단말로 전송할 비디오 품질을 설정함으로써, 사용자 단말을 통해 화면 출력되는 비디오 재생 품질을 향상시킬 수 있도록 해 주는 네트워크 환경 적응형 클라우드 스트리밍 시스템 및 그 방법에 관한 것이다.The present invention relates to a cloud streaming system, in which a video quality to be transmitted to a user terminal is set in consideration of both a first network state between a video server and a cloud server and a second network state between a cloud server and a user terminal in a cloud server, And more particularly, to a network environment adaptive cloud streaming system and method for enhancing video playback quality on the screen.

이동통신망의 발달과 단말기 사양의 발전에 따라 이동통신단말기는 종래의 단순한 통신장치 또는 정보 제공 장치의 범주를 벗어나 현대인의 필수 소지품이 되었고, 토탈 엔터테인먼트 기기로 진화해 가고 있는 추세에 있다.With the development of the mobile communication network and the development of the terminal specification, the mobile communication terminal has become a necessity of the modern person beyond the scope of the conventional simple communication apparatus or information providing apparatus, and is evolving into a total entertainment apparatus.

또한, 최근에는 성능이 낮은 클라이언트 단말기가 대용량의 영상 등을 처리하는데 무리가 있으므로, 이러한 점을 고려하여 원격지에 있는 클라우드 서버(Cloud server)를 통해 해당 데이터를 처리하도록 하고, 그 처리된 결과 화면만을 클라이언트 단말기에서 수신하여 디스플레이하는 클라우드 컴퓨팅(Cloud computing) 기술이 개발되어 활용되고 있다.In addition, in recent years, it is difficult for a low-performance client terminal to process a large-capacity image or the like. Therefore, it is necessary to process the corresponding data through a cloud server at a remote location, And a cloud computing technology for receiving and displaying data on a client terminal has been developed and utilized.

특히, 클라우드 컴퓨팅 기술은 게임이나, VOD, 실시간 방송 컨텐츠 등을 서버 측에서 실행한 후, 그 실행 화면을 스트리밍 방식으로 사용자 장치에 전송하여, 사용자 장치에서는 입력 및 출력만 이루어지게 함으로써, 사용자 장치의 사양 및 성능에 관계없이 사용자가 원하는 컨텐츠를 이용할 수 있도록 하는 클라우드 스트리밍 서비스로 이용되어지고 있다. Particularly, in the cloud computing technology, a game, a VOD, a real-time broadcast content, and the like are executed on the server side, and the execution screen is transmitted to the user device in a streaming manner so that only the input and output are performed in the user device, It is being used as a cloud streaming service that allows users to use the desired content regardless of their specifications and performance.

클라우드 스트리밍 서비스는 사용자 장치에서 입력된 요청을 상기 사용자 장치와 통신망을 통해 연결된 서비스 장치에서 실행하고, 그 결과를 사용자 장치로 전송하여 출력하도록 된 것이다. 이때, 클라우드 스트리밍 서비스는 사용자 요청 후 그 결과를 수신하여 출력하는 데까지 걸리는 대기 시간(Latency)이 길어질수록 사용자 만족도 및 서비스 품질이 저하시키게 된다. 여기서, 상기 대기 시간은 대부분 서비스 장치와 사용자 장치 사이에 형성된 통신망의 상태에 의존한다.The cloud streaming service executes a request input from the user device in the service device connected to the user device via the communication network, and transmits the result to the user device. At this time, the cloud latency service decreases the user satisfaction and the service quality as the latency for receiving and outputting the result after user request becomes longer. Here, the waiting time depends mostly on the state of the communication network formed between the service apparatus and the user apparatus.

한편, 비디오 컨텐츠가 다양화됨에 따라 클라우드 스트리밍 서비스를 위한 시스템이 컨텐츠를 제공하는 서버와 클라우드 서버가 분리되는 형태로 구조화되고 있고, 클라우드 서버는 컨텐츠 서버로부터 제공되는 비디오 스트림을 이미지 스트림으로 변환하여 사용자 장치로 제공하도록 구성되는 바, 컨텐츠 서버와 클라우드 서버사이에 형성되는 네트워크 상태와 클라우드 서버와 사용자 장치간의 네트워크 상태는 모두 사용자 장치로 표시출력되는 서비스 품질에 관여된다.Meanwhile, as the video contents are diversified, the system for the cloud streaming service is structured in such a manner that a server providing content and a cloud server are separated from each other. The cloud server converts a video stream provided from the content server into an image stream, The network state formed between the content server and the cloud server, and the network state between the cloud server and the user device are both related to the service quality displayed and outputted to the user device.

따라서, 사용자 장치로 제공되는 서비스 품질 향상을 위해서는 비디오 컨텐츠를 제공하는 장치와 해당 비디오 컨텐츠에 대한 화면 재생처리를 수행하는 사용자 장치간에 형성되는 모든 네트워크 상태를 고려하여 비디오 품질을 설정할 필요가 있다. Accordingly, in order to improve the quality of service provided to the user equipment, it is necessary to set the video quality in consideration of all network conditions formed between the device providing the video content and the user equipment performing the screen playback process on the video content.

1. 한국공개특허 제 10-2015-0102450호 (발명의 명칭 : 클라우드 스트리밍 기반의 영상데이터 제공 방법, 이를 위한 장치 및 시스템)1. Korean Patent Laid-Open No. 10-2015-0102450 (entitled " Cloud Streaming Based Image Data Providing Method, Apparatus and System for the Same) 2. 한국등록특허 제10-1512241호 (발명의 명칭: 클라우드를 기반으로 하는 개인 가상화를 이용하여 디지털 비디오 레코더로 컨텐츠를 제공하는 방법 및 시스템)2. Korean Patent No. 10-1512241 entitled " Method and System for Providing Contents to a Digital Video Recorder Using Personal Virtualization Based on Clouds "

본 발명은 상기한 사정을 감안하여 창출된 것으로, 클라우드 서버에서 비디오 서버간 네트워크 상태에 따른 비디오 스트리밍 처리율과 사용자 단말간 네트워크 상태에 따른 이미지 스트리밍 처리율을 근거로 산출된 변환비율과, 사용자 단말과의 이미지 스트림 왕복시간을 근거로 비디오 품질을 설정함으로써, 사용자 단말을 통해 화면 출력되는 비디오 재생 품질을 향상시킬 수 있도록 해 주는 네트워크 환경 적응형 클라우드 스트리밍 시스템 및 그 방법을 제공함에 기술적 목적이 있다. The present invention has been made in view of the above circumstances, and it is an object of the present invention to provide a method and system for providing a video streaming service in a cloud server, There is a technical purpose of providing a network environment adaptive cloud streaming system and a method thereof, which can improve video reproduction quality displayed on a screen through a user terminal by setting video quality based on an image stream round-trip time.

상기 목적을 달성하기 위한 본 발명의 일측면에 따르면, 비디오 콘텐츠에 대하여 품질별 비디오 조각정보가 저장되어 클라우드 서버로부터의 비디오 다운로드 요청에 따라 일정 품질의 비디오 조각을 포함하는 비디오 스트림을 클라우드 서버로 제공하는 비디오 서버와, 클라우드 서버로 비디오 콘텐츠 요청을 수행하고, 이에 대해 클라우드 서버로부터 제공되는 이미지 스트림을 재생하여 화면출력하도록 구성되는 사용자단말 및, 상기 사용자단말로부터의 비디오 콘텐츠 요청에 대해 상기 비디오 서버로 비디오 다운로드 요청을 수행하고, 이에 대해 비디오 서버로부터 수신되는 비디오 스트림을 이미지 스트림으로 변환하여 상기 사용자단말로 제공하되, 상기 비디오 서버로부터 제공되는 비디오 스트림에 대한 비디오 스트리밍 처리율과 사용자단말에서의 이미지 스트리밍 처리율을 근거로 산출된 변환비율과, 상기 사용자단말과의 이미지 스트림 왕복시간을 획득함과 더불어, 변환비율과 왕복시간이 감소할수록 비디오 품질을 상향 설정하고, 이 비디오 품질정보를 포함하는 비디오 다운로드 요청정보를 생성하여 상기 비디오 서버로 제공하도록 구성되는 클라우드 서버를 포함하여 구성되는 것을 특징으로 하는 네트워크 환경 적응형 클라우드 스트리밍 서비스 제공시스템이 제공된다.According to an aspect of the present invention, there is provided a method for providing a video stream including video fragments of a predetermined quality to a cloud server in response to a video download request from a cloud server, A user terminal configured to perform a video content request to a cloud server and to play back an image stream provided from the cloud server and to output the image stream to the cloud server; A video streaming processing rate for a video stream provided from the video server, and a video streaming rate for a video stream provided from the video server to the user terminal, And the image quality of the video stream is improved by setting the video quality higher as the conversion ratio and the round trip time decrease, And a cloud server configured to generate video download request information for providing the video download request information to the video server.

또한, 상기 클라우드 서버는 비디오 서버로부터 비디오 스트림을 다운받아 이미지 스트림으로 변환하기까지의 비디오 스트리밍 처리율과, 사용자단말에서 이미지 스트림에 대한 화면 재생처리를 수행하는 이미지 스트리밍 처리율의 비율인 변환비율을 산출하되, 변환비율은 하기의 수학식과 같이 산출되는 것을 특징으로 하는 네트워크 환경 적응형 클라우드 스트리밍 서비스 제공시스템이 제공된다.

Figure pat00001
여기서, ratio 는 변환비율이고, V 는 비디오 스트리밍 처리율, I는 이미지 스트리밍 처리율.The cloud server calculates a conversion rate which is a ratio of a video streaming processing rate from downloading a video stream from the video server to converting the video stream to an image stream and an image streaming processing rate for performing screen reproduction processing on the image stream from the user terminal , And a conversion ratio is calculated according to the following equation. ≪ EMI ID = 1.0 >
Figure pat00001
Here, ratio is a conversion ratio, V is a video streaming processing rate, and I is an image streaming processing rate.

또한, 상기 클라우드 서버는 현재 변환비율에 대해 하기 수학식과 같이 가중평균 왕복시간을 산출하고, 현재 변환비율이 가중평균 변환비율 이상인 경우 비디오 품질을 하향 설정하도록 구성되는 것을 특징으로 하는 네트워크 환경 적응형 클라우드 스트리밍 서비스 제공시스템이 제공된다.

Figure pat00002
여기서, 상기 sratioi 는 가중평균 변환비율이고, ratio 는 현재 산출된 변환비율, β는 가중치, sratioi-1 는 이전 가중평균 변환비율.Also, the cloud server is configured to calculate a weighted average round trip time for the current conversion ratio as follows: < EMI ID = 1.0 > wherein the network environment adaptive cloud A streaming service providing system is provided.
Figure pat00002
Here, sratio i is a weighted average conversion ratio, ratio is a currently calculated conversion ratio,? Is a weighting factor, and sratio i-1 is a previous weighted average conversion ratio.

또한, 상기 클라우드 서버는 이미지 스트림 왕복시간에 대해 하기 수학식과 같이 가중평균 왕복시간을 산출하고, 현재 왕복시간이 가중평균 왕복시간 이상인 경우 비디오 품질을 하향 설정하도록 구성되는 것을 특징으로 하는 네트워크 환경 적응형 클라우드 스트리밍 서비스 제공시스템이 제공된다.

Figure pat00003
여기서, 상기 srtti 는 가중평균 왕복시간이고, rtt 는 현재 산출된 왕복시간, α는 가중치, srtti-1 는 이전 이미지 스트림에 대한 가중평균 왕복시간.The cloud server calculates the weighted average round trip time for the round trip time of the image stream and sets the video quality down if the round trip time is equal to or greater than the weighted average round trip time. A cloud streaming service provision system is provided.
Figure pat00003
Here, the srtt i is the weighted average round-trip time, rtt is currently calculating the round trip time, α is the weight, srtt i-1 is the weighted average of the round trip time for a previous image stream.

또한, 상기 변환비율 가중치 α 와, 왕복시간 가중치 β 는 0.125로 설정되는 것을 특징으로 하는 네트워크 환경 적응형 클라우드 스트리밍 서비스 제공시스템이 제공된다.Also, the conversion ratio weight α and the round-trip time weight β are set to 0.125. The network environment adaptive cloud streaming service providing system is provided.

또한, 상기 클라우드 서버는 비디오 서버로부터 제공되는 비디오 스트림의 비디오 조각 재생주기에 대응되도록 비디오 품질 설정 주기를 자동 변경 설정하도록 구성되는 것을 특징으로 하는 네트워크 환경 적응형 클라우드 스트리밍 서비스 제공시스템이 제공된다.Also, the cloud server is configured to automatically set a video quality setting period so as to correspond to a video fragment playback period of a video stream provided from a video server.

또한, 상기 클라우드 서버는 비디오 조각 손실이 발생하거나 이미지 손실이 발생한 경우, 비디오 품질을 최하 레벨로 설정하도록 구성되는 것을 특징으로 하는 네트워크 환경 적응형 클라우드 스트리밍 서비스 제공시스템이 제공된다.In addition, the cloud server is configured to set the video quality to the lowest level in the event of loss of video fragments or loss of images, thereby providing a network environment adaptive cloud streaming service providing system.

또한, 상기 클라우드 서버는 다수의 가상 데스크톱을 생성하고, 가상 데스크톱을 통해 비디오 서버와 사용자단말간의 비디오 스트림 및 이미지 스트림 송수신처리를 수행하되, 각 가상 데스크톱별로 비디오 품질 설정처리를 수행하도록 구성되는 것을 특징으로 하는 네트워크 환경 적응형 클라우드 스트리밍 서비스 제공시스템이 제공된다.In addition, the cloud server is configured to generate a plurality of virtual desktops, perform video stream and image stream transmission / reception processing between the video server and the user terminal through the virtual desktop, and perform video quality setting processing for each virtual desktop A network environment adaptive cloud streaming service providing system is provided.

또한, 상기 목적을 달성하기 위한 본 발명의 또 다른 일측면에 따르면, 클라우드 서버에서 사용자단말로부터의 비디오 콘텐츠 요청에 대해 비디오 서버로 비디오 다운로드 요청을 수행하고, 이에 대해 비디오 서버로부터 수신되는 비디오 스트림에 포함된 일정 품질의 비디오 조각을 이미지 스트림으로 변환하여 해당 사용자단말로 제공하는 클라우드 스트리밍 서비스 제공방법에 있어서, 클라우드 서버에서 비디오 서버로부터 제공되는 비디오 스트림을 다운받아 이미지 스트림으로 변환하기까지의 시간에 대응되는 비디오 스트리밍 처리율을 산출하는 제1 단계와, 클라우드 서버에서 사용자단말로부터 해당 이미지 스트림에 대한 화면 재생시간에 대응되는 이미지 스트리밍 처리율을 산출하는 제2 단계, 클라우드 서버에서 상기 제1 단계에서 산출된 비디오 스트리밍 처리율과 상기 제2 단계에서 산출된 이미지 스트리밍 처리율을 근거로 변환 비율을 산출하는 제3 단계, 클라우드 서버에서 사용자단말과 이미지 스트림 송수신에 따른 왕복시간을 산출하는 제4 단계, 클라우드 서버에서 상기 제3 단계에서 산출된 변환비율과 상기 제4 단계에서 산출된 왕복시간이 감소할수록 비디오 품질을 상향 설정하고, 이 비디오 품질정보를 포함하는 비디오 다운로드 요청정보를 상기 비디오 서버로 제공하는 제5 단계 및, 비디오 서버에서 상기 클라우드 서버로부터 비디오 다운로드 요청정보의 비디오 품질에 대응되는 비디오 조각을 포함하는 비디오 스트림을 생성하여 클라우드 서버로 제공하는 제6 단계를 포함하여 구성되는 것을 특징으로 하는 네트워크 환경 적응형 클라우드 스트리밍 서비스 제공방법이 제공된다.According to another aspect of the present invention, there is provided a video server for performing a video download request to a video server for a video content request from a user terminal in a cloud server, A method for providing a cloud streaming service in which a video piece of a predetermined quality is converted into an image stream and is provided to the user terminal, the method comprising: receiving a video stream from a video server and converting the video stream into an image stream; A second step of calculating an image streaming processing rate corresponding to a screen reproduction time of the image stream from the user terminal in the cloud server, a second step of calculating a video streaming processing rate calculated in the first step A third step of calculating a conversion ratio based on the video streaming processing rate and the image streaming processing rate calculated in the second step, a fourth step of calculating a round trip time according to transmission and reception of an image stream with the user terminal in the cloud server, A fifth step of setting the video quality higher as the conversion ratio calculated in the third step and the round trip time calculated in the fourth step are decreased and providing video download request information including the video quality information to the video server; And a sixth step of generating a video stream including video fragments corresponding to the video quality of the video download request information from the cloud server in the video server and providing the video stream to the cloud server. How streaming service is provided Is provided.

또한, 상기 제3 단계에서 변환비율은 하기의 수학식과 같이 산출되는 것을 특징으로 하는 네트워크 환경 적응형 클라우드 스트리밍 서비스 제공방법이 제공된다.

Figure pat00004
여기서, ratio 는 변환비율이고, V 는 비디오 스트리밍 처리율, I는 이미지 스트리밍 처리율.Also, in the third step, the conversion ratio is calculated according to the following equation: < EMI ID = 1.0 >
Figure pat00004
Here, ratio is a conversion ratio, V is a video streaming processing rate, and I is an image streaming processing rate.

또한, 상기 제5 단계에서 상기 클라우드 서버는 현재 변환비율에 대해 하기 수학식과 같이 가중평균 변환비율을 산출하고, 현재 변환비율이 가중평균 변환비율 이상인 경우 비디오 품질을 하향 설정하도록 구성되는 것을 특징으로 하는 네트워크 환경 적응형 클라우드 스트리밍 서비스 제공방법이 제공된다.

Figure pat00005
여기서, 상기 sratioi 는 가중평균 변환비율이고, ratio 는 현재 산출된 변환비율, β는 가중치, sratioi-1 는 이전 가중평균 변환비율.In the fifth step, the cloud server calculates a weighted average conversion ratio with respect to a current conversion ratio according to the following equation, and sets the video quality down if the current conversion ratio is equal to or larger than the weighted average conversion ratio A network environment adaptive cloud streaming service providing method is provided.
Figure pat00005
Here, sratio i is a weighted average conversion ratio, ratio is a currently calculated conversion ratio,? Is a weighting factor, and sratio i-1 is a previous weighted average conversion ratio.

또한, 상기 제5 단계에서 상기 클라우드 서버는 이미지 스트림 왕복시간에 대해 하기 수학식과 같이 가중평균 왕복시간을 산출하고, 현재 왕복시간이 가중평균 왕복시간 이상인 경우 비디오 품질을 하향 설정하도록 구성되는 것을 특징으로 하는 네트워크 환경 적응형 클라우드 스트리밍 서비스 제공방법이 제공된다.

Figure pat00006
여기서, 상기 srtti 는 가중평균 왕복시간이고, rtt 는 현재 산출된 왕복시간, α는 가중치, srtti-1 는 이전 이미지 스트림에 대한 가중평균 왕복시간.In the fifth step, the cloud server calculates a weighted average round trip time for the round trip time of the image stream, and sets the video quality down if the round trip time is equal to or greater than the weighted average round trip time. A network environment adaptive cloud streaming service providing method is provided.
Figure pat00006
Here, the srtt i is the weighted average round-trip time, rtt is currently calculating the round trip time, α is the weight, srtt i-1 is the weighted average of the round trip time for a previous image stream.

또한, 상기 제1 단계에서 상기 클라우드 서버는 비디오 서버로부터 제공되는 비디오 스트림을 근거로 비디오 조각 손실 여부를 추출하고, 상기 제2 단계에서 상기 클라우드 서버는 사용자 단말로부터 제공되는 재생완료정보를 근거로 이미지 손실 여부를 추출하며, 상기 제5 단계에서 상기 클라우드 서버는 제1 단계에서 비디오 조각 손실이 발생하거나 상기 제2 단계에서 이미지 손실이 발생되는 경우, 비디오 품질을 최하 레벨로 설정하는 것을 특징으로 하는 네트워크 환경 적응형 클라우드 스트리밍 서비스 제공방법이 제공된다.In the first step, the cloud server extracts a video fragment loss based on a video stream provided from a video server. In the second step, the cloud server extracts an image Wherein the cloud server sets the video quality to the lowest level when a video fragment loss occurs in the first step or an image loss occurs in the second step in the fifth step. A method for providing an environment adaptive cloud streaming service is provided.

본 발명에 의하면 클라우드 서버에서 비디오 서버간 네트워크 상태에 따른 비디오 스트리밍 처리율과 사용자 단말간 네트워크 상태에 따른 이미지 스트리밍 처리율을 근거로 산출된 변환비율과, 사용자 단말과의 이미지 스트림 왕복시간을 근거로 비디오 품질을 설정함으로써, 사용자 단말을 통해 비디오 재생이 끊임없이 제공됨은 물론, 화면 출력되는 비디오 재생 품질을 향상시킬 수 있게 된다. According to the present invention, in the cloud server, the video stream quality is improved based on the conversion rate calculated based on the video streaming processing rate according to the network state between the video servers and the image streaming processing rate according to the network state between the user terminals and the image stream round- It is possible to continuously provide video playback through the user terminal and to improve the video playback quality on the screen.

도1은 제1 실시예에 따른 네트워크 환경 적응형 클라우드 스트리밍 서비스 제공시스템의 개략적인 구성을 도시한 도면.
도2는 도1에 도시된 클라우드 서버(300)의 내부구성을 기능적으로 분리하여 나타낸 블록구성도.
도3은 도2에 도시된 데이터 처리모듈(360)에 대한 가상 데스크톱 인프라스트럭쳐(Virtual Desktop Infrastructure : VDI) 모델로 구현한 형태를 예시한 도면.
도4는 도2에 도시된 품질 설정 모듈(350)의 기능을 블럭화하여 도시한 도면.
도5는 도1에 도시된 네트워크 환경 적응형 클라우드 스트리밍 서비스 제공시스템에서의 클라우드 스트리밍 서비스방법을 설명하기 위한 도면.
도6 및 도7은 본 발명자가 혼잡한 네트워크 환경에서 이미지 스트림 네트워크와 비디오 스트리밍 네트워크에 병목현상이 발생하는 경우를 시스템별로 분석한 실험결과를 도시한 도면.
Brief Description of the Drawings Fig. 1 is a schematic diagram of a system for providing a network environment adaptive cloud streaming service according to a first embodiment; Fig.
FIG. 2 is a block diagram showing the internal configuration of the cloud server 300 shown in FIG. 1 functionally separated. FIG.
FIG. 3 illustrates a virtual desktop infrastructure (VDI) model for the data processing module 360 shown in FIG.
FIG. 4 is a block diagram illustrating functions of the quality setting module 350 shown in FIG. 2. FIG.
FIG. 5 is a diagram for explaining a cloud streaming service method in the network environment adaptive cloud streaming service providing system shown in FIG. 1; FIG.
FIG. 6 and FIG. 7 are diagrams showing experimental results in which a bottleneck occurs in an image stream network and a video streaming network in a congested network environment, according to a system. FIG.

이하에서는 첨부된 도면을 참조하여 본 발명을 보다 상세하게 설명한다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호로 나타내고 있음을 유의해야 한다. 한편, 이에 앞서 본 명세서 및 특허청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will now be described in detail with reference to the accompanying drawings. It is to be noted that like elements in the drawings are denoted by the same reference numerals whenever possible. It should be understood, however, that the terminology or words of the present specification and claims should not be construed in an ordinary sense or in a dictionary, and that the inventors shall not be limited to the concept of a term It should be construed in accordance with the meaning and concept consistent with the technical idea of the present invention based on the principle that it can be properly defined. Therefore, the embodiments described in the present specification and the configurations shown in the drawings are merely the most preferred embodiments of the present invention, and not all of the technical ideas of the present invention are described. Therefore, It is to be understood that equivalents and modifications are possible.

도1은 본 발명의 제1 실시예에 따른 네트워크 환경 적응형 클라우드 스트리밍 서비스 제공시스템의 개략적인 구성을 도시한 도면이다.FIG. 1 is a diagram illustrating a schematic configuration of a system for providing a network environment adaptive cloud streaming service according to a first embodiment of the present invention.

도1에 도시된 바와 같이 본 발명에 따른 네트워크 환경 적응형 클라우드 스트리밍 서비스 제공시스템은 비디오 서버(100)와 사용자단말(200) 및 클라우드 서버(300)를 포함하여 구성된다. 이때, 스트리밍 종류에 따라 상기 비디오 서버(100)와 클라우드 서버(300)간의 구간은 HTTP 프로토콜 기반의 비디오 스트리밍 네트워크이고, 사용자가 클라우드 환경에 접속한 구간 즉, 클라우드 서버(300)와 사용자 단말(200)간의 구간은 RFB(Remote Frame Buffer) 기반의 이미지 스트리밍 네트워크로 구분된다. 여기서, 상기 비디오 스트리밍 네트워크 또는 이미지 스트리밍 네트워크는 유선 또는 무선 통신망이 될 수 있다.1, the network adaptive cloud streaming service providing system according to the present invention includes a video server 100, a user terminal 200, and a cloud server 300. In this case, the interval between the video server 100 and the cloud server 300 is a video streaming network based on the HTTP protocol according to the type of streaming, and a period during which the user accesses the cloud environment, that is, between the cloud server 300 and the user terminal 200 ) Is divided into an image streaming network based on RFB (Remote Frame Buffer). Herein, the video streaming network or the image streaming network may be a wired or wireless communication network.

상기 비디오 서버(100)는 상기 클라우드 서버(300)로 비디오 컨텐츠를 공급하기 위한 장치로서, DASH(Dynamic Adaptive Streaming over HTTP) 서버로 구성될 수 있다. 상기 비디오 서버(100)는 비디오 컨텐츠를 품질별 비디오 조각형태로 저장한다. 이때, 상기 비디오 조각에 대한 품질 기준은 비트율과, 해상도, 인코딩 코덱, 초당 프레임 수, 재생 주기 등이 될 수 있다. The video server 100 is an apparatus for supplying video content to the cloud server 300 and may be configured as a Dynamic Adaptive Streaming over HTTP (DASH) server. The video server 100 stores the video contents in the form of video pieces according to quality. In this case, the quality criterion for the video fragments may be a bit rate, a resolution, an encoding codec, a number of frames per second, a reproduction period, and the like.

또한, 상기 비디오 서버(100)는 상기 클라우드 서버(300)로부터의 요청에 대응하여 비디오 조각정보와 해당 비디오 조각에 대응되는 품질 상태정보를 포함하는 비디오 스트림을 생성하여 클라우드 서버(300)로 제공한다. 상기 비디오 조각에 대한 품질 상태정보로서는 품질 기준정보 및 품질별 비디오 조각 파일 위치와 파일 이름, 인코딩 코덱 형식 등의 미디오 표현 기술 파일을 포함한다. In addition, the video server 100 generates a video stream including video piece information and quality state information corresponding to the video piece in response to a request from the cloud server 300, and provides the video stream to the cloud server 300 . The quality status information for the video piece includes quality description information and a media description file such as a file name, an encoding codec format, and the like of a video piece file by quality.

상기 사용자단말(200)은 상기 클라우드 서버(300)에 접속하여 비디오 컨텐츠를 요청하고, 이에 대해 클라우드 서버(300)로부터 해당 비디오 컨텐츠 관련 이미지 정보를 제공받아 화면을 통해 재생처리한다.The user terminal 200 accesses the cloud server 300 to request video content, receives the corresponding video content related image information from the cloud server 300, and reproduces the video content on the screen.

상기 클라우드 서버(300)는 상기 사용자단말(200)로부터의 비디오 컨텐츠 요청을 근거로 상기 비디오 서버(100)로 비디오 다운로드 요청을 수행하고, 비디오 서버(100)로부터 제공되는 비디오 스트림에 포함된 비디오 조각을 이미지로 변환하여 이미지 스트림을 생성한 후, 이를 상기 사용자단말(200)로 제공한다. 이때, 상기 클라우드 서버(300)는 비디오 스트림에 포함된 품질 상태정보를 근거로 비디오 조각에 대한 이미지 변환처리를 수행한다. The cloud server 300 performs a video downloading request to the video server 100 based on a video content request from the user terminal 200 and transmits a video download request to the video server 100, To an image, and generates an image stream, and provides the image stream to the user terminal 200. At this time, the cloud server 300 performs image conversion processing on the video fragments based on the quality status information included in the video stream.

또한, 상기 클라우드 서버(300)는 비디오 서버(100)와의 비디오 스트리밍 네트워크 환경과, 상기 사용자단말(200)과의 이미지 스트리밍 네트워크 환경을 일정 주기 단위로 감시하고, 이를 근거로 비디오 품질을 설정함과 더불어, 상기 비디오 서버(100)로 현재 네트워크 상태에 대응되는 비디오 품질의 비디오 다운로드 요청처리를 수행하도록 구성된다. 여기서, 비디오 품질 설정처리는 비디오가 재생되는 동안 기 설정된 주기마다 실시간으로 수행되며, 이러한 과정을 해당 비디오 컨텐츠에 대한 다운로드가 완료될 때까지 반복한다. 이때, 상기 비디오 품질 설정 주기는 비디오 서버(100)로부터 제공되는 비디오 스트림의 비디오 조각 재생주기에 대응되도록 자동 변경 설정된다. 이는 비디오 품질을 포함하는 비디오 다운로드 요청 주기에 대응되는 것으로, 비디오 다운로드 요청 주기를 비디오 조각 재생주기를 참조하여 변경설정함으로서, 비디오 조각의 품질 변화로 인해 다운로드 요청 주기가 늦어져 비디오 스트림 다운로딩이 지연되는 문제를 방지하기 위함이다. 바람직하게는 상기 비디오 다운로드 요청 주기는 비디오 조각 재생주기의 1/4 이내로 설정한다. The cloud server 300 monitors a video streaming network environment with the video server 100 and an image streaming network environment between the user terminal 200 and the video server 100, In addition, the video server 100 is configured to perform video download request processing of video quality corresponding to the current network status. Here, the video quality setting process is performed in real time every predetermined period while the video is reproduced, and this process is repeated until the downloading of the corresponding video content is completed. At this time, the video quality setting period is automatically changed and set so as to correspond to the video piece playback period of the video stream provided from the video server 100. [ This corresponds to the video download request period including the video quality. By changing the video download request period with reference to the video fragment playback period, the download request cycle is delayed due to the change in the quality of the video fragments, In order to prevent the problem. Preferably, the video download request period is set to be within 1/4 of the video fragment reproduction period.

도2는 도1에 도시된 클라우드 서버(300)의 내부구성을 기능적으로 분리하여 나타낸 블록구성도이다.FIG. 2 is a block diagram showing the internal structure of the cloud server 300 shown in FIG. 1 functionally separated.

도2에 도시된 바와 같이, 클라우드 서버(300)는 비디오 네트워크 통신부(310)와, 이미지 네트워크 통신부(320), 비디오 네트워크 감시모듈(330), 이미지 네트워크 감시모듈(340), 품질 설정모듈(350) 및, 데이터 처리모듈(360)을 포함하여 구성된다.2, the cloud server 300 includes a video network communication unit 310, an image network communication unit 320, a video network monitoring module 330, an image network monitoring module 340, a quality setting module 350 ), And a data processing module 360. [

상기 비디오 네트워크 통신부(310)는 상기 비디오 서버(100)와의 통신을 수행하기 위한 인터페이스로서, 예컨대, HTML5의 웹 소켓을 통해 HTTP 기반의 데이터 송수신처리를 수행한다.The video network communication unit 310 is an interface for performing communication with the video server 100 and performs HTTP based data transmission / reception processing through, for example, a web socket of HTML5.

상기 이미지 네트워크 통신부(320)는 상기 사용자 단말(200)과 통신을 수행하기 위한 인터페이스이다. The image network communication unit 320 is an interface for performing communication with the user terminal 200.

상기 비디오 네트워크 감시모듈(330)은 상기 비디오 네트워크 통신부(310)를 통해 수신되는 비디오 데이터에 대한 다운로드 시간을 추출함과 더불어, 이를 근거로 비디오 스트리밍 처리율을 산출한다. 이때, 상기 다운로드 시간은 비디오 데이터 수신 시작 및 완료시간으로 이루어지는 것으로 매 비디오 스트림에 대해 추출한다. 또한, 상기 비디오 네트워크 감시모듈(330)은 비디오 스트림을 근거로 일정 주기 동안의 비디오 조각 손실 여부를 추출한다. 또한, 상기 비디오 네트워크 감시모듈(330)은 표준 DASH만 지원하는 DASH-JS 또는 HLS 기법을 이용하기 위한 데일리 모션의 hjs.js 플레이어가 설치될 수 있다. The video network monitoring module 330 extracts a download time for video data received through the video network communication unit 310 and calculates a video streaming throughput based on the download time. At this time, the download time is composed of the start and finish time of video data reception, and extracts each video stream. In addition, the video network monitoring module 330 extracts a video fragment loss during a predetermined period based on a video stream. Also, the video network monitoring module 330 may be provided with a DASH-JS supporting only the standard DASH or a hjs.js player using a daily motion for using the HLS technique.

상기 이미지 네트워크 감시모듈(340)은 패킷을 캡쳐하는 pcap 라이브러리를 이용하여 상기 이미지 네트워크 통신부(320)를 통해 송수신되는 이미지 스트림에 대한 송수신 시간을 추출함과 더불어, 이를 근거로 이미지 스트리밍 처리율을 산출한다. 또한, 상기 이미지 네트워크 감시모듈(340)은 일정 주기 동안의 이미지 스트림에 대한 손실 여부를 추출한다. The image network monitoring module 340 extracts a transmission / reception time of an image stream transmitted / received through the image network communication unit 320 using a pcap library for capturing a packet, and calculates an image streaming throughput based on the transmission / reception time . In addition, the image network monitoring module 340 extracts loss of image stream for a predetermined period.

상기 품질 설정모듈(350)은 상기 비디오 네트워크 감시모듈(330)과 이미지 네트워크 감시모듈(340)로 제공되는 데이터 왕복시간 및 변환 비율을 근거로 비디오 품질을 결정한다. 즉, 상기 품질 설정모듈(350)은 네트워크 환경에 따라 이미지 스트림 왕복시간이 낮을수록, 변환비율이 감소할수록 비디오 품질을 상향 설정한다. The quality setting module 350 determines a video quality based on a data round-trip time and a conversion rate provided to the video network monitoring module 330 and the image network monitoring module 340. That is, the quality setting module 350 sets the video quality higher as the round trip time of the image stream is lower and the conversion ratio is decreased according to the network environment.

상기 데이터 처리 모듈(360)은 상기 비디오 서버(100)로부터 제공되는 비디오 조각을 이미지 형태로 변환하는 처리를 수행함은 물론, 상기 품질 설정모듈(350)에 의해 결정된 비디오 품질정보를 포함하는 비디오 다운로드 요청정보를 생성하여 비디오 서버(100)로 제공한다. The data processing module 360 performs a process of converting a video piece provided from the video server 100 into an image form, and also performs a process of converting a video download request including video quality information determined by the quality setting module 350 And provides the generated information to the video server 100.

한편, 본 발명에 있어서는 상기 데이터 처리 모듈(360)을 다수 사용자 단말(200)에 대한 멀티미디어 스트리밍 연산처리를 위해 가상 데스크톱 인프라스트럭쳐(Virtual Desktop Infrastructure : VDI) 모델로 구현될 수 있다. 즉, 도3에 도시된 바와 같이 가상 데스크톱 생성을 위한 하이퍼 바이저(361)와 다수의 가상 데스크톱(3621 ~362N)으로 구성될 수 있다. 이때, 상기 비디오 네트워크 감시모듈(330)과 이미지 네트워크 감시모듈(340)은 각 가상 데스크톱(3621 ~362N)별 비디오 서버(100)와 사용자단말(200)간의 네트워크 상태를 감시하며, 각 가상 데스크톱(3621 ~362N)에 각각 구비되도록 구성될 수 있다. Meanwhile, in the present invention, the data processing module 360 may be implemented as a virtual desktop infrastructure (VDI) model for multimedia streaming operation processing for a plurality of user terminals 200. That is, as shown in FIG. 3, the hypervisor 361 and the plurality of virtual desktops 362 1 to 362 N may be configured for virtual desktop generation. The video network monitoring module 330 and the image network monitoring module 340 monitor the network status between the video server 100 and the user terminal 200 for each of the virtual desktops 362 1 to 362 N , And may be configured to be respectively provided to the desktops 362 1 to 362 N.

도3에서 상기 하이퍼바이저(361)는 사용자단말(200)로부터의 서비스 요청을 근거로 해당 사용자단말(200)에 대하여 가상 데스크톱(362)을 생성 또는 할당한다. 그리고, 상기 가상 데스크톱(362)은 해당 사용자단말(200) 및 비디오 서버(100)와의 통신 처리와 상술한 일련의 데이터 변환처리를 수행한다. In FIG. 3, the hypervisor 361 generates or allocates a virtual desktop 362 to the user terminal 200 based on a service request from the user terminal 200. The virtual desktop 362 performs a communication process with the user terminal 200 and the video server 100 and the series of data conversion processes described above.

즉, 도3에서 클라우드 서버(300)는 각 데스크톱(3621 ~362N)별로 비디오 서버(100)와 사용자단말(200)간의 네트워크 환경 및 데이터 변환 비율에 따른 비디오 품질을 설정한다.That is, in FIG. 3, the cloud server 300 sets the video quality according to the network environment and the data conversion ratio between the video server 100 and the user terminal 200 for each of the desktops 362 1 to 362 N.

도4는 도2에 도시된 품질 설정모듈(350)의 기능을 블럭화하여 도시한 도면이다.FIG. 4 is a block diagram illustrating the function of the quality setting module 350 shown in FIG.

도4에 도시된 바와 같이 품질 설정모듈(350)은 왕복시간 산출블럭(351)과, 가중 평균 왕복시간 산출블럭(352), 변환비율 산출블럭(353), 가중 평균 변환비율 산출블럭(354), 비디오 품질 설정블럭(355)을 포함하여 구성된다.4, the quality setting module 350 includes a round trip time calculation block 351, a weighted average round trip time calculation block 352, a conversion ratio calculation block 353, a weighted average conversion ratio calculation block 354, , And a video quality setting block 355.

상기 왕복시간 산출블럭(351)은 이미지 패킷에 대한 왕복시간을 산출한다. 이때, 상기 왕복시간 산출블럭(351)은 상기 이미지 네트워크 감시모듈(340)로부터 제공되는 이미지 패킷에 대한 연속번호와 해당 연속번호의 이미지 패킷에 대한 수신 확인번호를 근거로 두 이미지 패킷간의 송수신 시간 즉, 왕복시간을 산출한다The round trip time calculation block 351 calculates the round trip time for the image packet. At this time, the round-trip time calculation block 351 calculates the transmission / reception time between two image packets based on the serial number of the image packet provided from the image network monitoring module 340 and the reception acknowledgment number of the image packet of the serial number , Calculates the round trip time

상기 가중평균 왕복시간 산출블럭(352)은 상기 왕복시간 산출블럭(351)에서 산출된 왕복시간에 기 설정된 가중치를 적용하여 가중평균 왕복시간을 산출한다. 가중평균 왕복시간(srtti)은 수학식1과 같이 산출된다.The weighted average round trip time calculation block 352 calculates a weighted average round trip time by applying a predetermined weight to the round trip time calculated in the round trip time calculation block 351. [ The weighted average round trip time srtt i is calculated as shown in Equation (1).

Figure pat00007
Figure pat00007

여기서, rtt 는 왕복시간이고, α는 가중치, srtti-1 은 이전 이미지 스트림에 대한 가중평균 왕복시간이다. 이때, 상기 가중치(α)는 0.125로 설정될 수 있다.Where rtt is the round trip time, a is the weight, and srtti -1 is the weighted average round trip time for the previous image stream. At this time, the weight (alpha) may be set to 0.125.

상기 변환비율 산출블럭(353)은 비디오 스트리밍 처리율(V)과 이미지 스트리밍 처리율(I)을 이용하여 변환비율을 산출한다. 변환비율(ratio)는 수학식2와 같이 비디오 스트리밍 처리율(V)과 이미지 스트리밍 처리율(I)의 비율로서 산출된다.The conversion ratio calculating block 353 calculates the conversion ratio using the video streaming throughput V and the image streaming throughput I. The conversion ratio is calculated as a ratio of the video streaming throughput V and the image streaming throughput I, as shown in Equation (2).

Figure pat00008
Figure pat00008

이때, 상기 비디오 스트리밍 처리율(V)은 하나의 비디오 조각에 대한 실시간 값으로, 비디오 서버(100)로부터 제공되는 비디오 조각 데이터에 대한 다운로드가 완료되기까지 초당 전송받은 데이터의 양이다. 또한, 이미지 스트리밍 처리율(I)은 이미지패킷이 사용자 단말(200)의 화면에 표시출력되기 까지의 초당 재생 데이터양이다. The video streaming processing rate V is a real time value for one video piece and is the amount of data transmitted per second until the downloading of the video piece data provided from the video server 100 is completed. In addition, the image streaming throughput I is the amount of reproduction data per second before the image packet is displayed on the screen of the user terminal 200.

상기 가중평균 변환비율 산출블럭(354)은 상기 변환비율 산출블럭(353)에서 산출된 변환비율에 기 설정된 가중치를 적용하여 가중평균 변환비율을 산출한다. 가중평균 변환비율(sratioi)은 수학식3과 같이 산출된다.The weighted average conversion ratio calculating block 354 calculates a weighted average conversion ratio by applying a predetermined weight to the conversion ratio calculated by the conversion ratio calculating block 353. The weighted average conversion ratio sratio i is calculated as shown in Equation (3).

Figure pat00009
Figure pat00009

여기서, ratio 는 변환비율이고, β는 가중치, sratioi-1 은 이전 가중평균 변환비율이다. 이때, 상기 가중치(β)는 0.125로 설정될 수 있다. Where ratio is the conversion rate, β is the weight, and sratio i-1 is the previous weighted average conversion rate. At this time, the weight value beta may be set to 0.125.

상기 품질 설정블럭(355)은 상기 왕복시간과 가중평균 왕복시간간의 비교결과와, 변환비율과 가중평균 변환비육간의 비교결과를 기 설정된 품질조건정보와 비교하여 그 결과에 대응하도록 현재 비디오 품질을 설정한다. The quality setting block 355 compares the comparison result between the round trip time and the weighted average round trip time with the comparison result between the conversion ratio and the weighted average conversion graying with predetermined quality condition information and sets the current video quality to correspond to the result do.

즉, 상기 품질 설정블럭(355)은 왕복시간이 가중평균 왕복시간 미만이면서 변환 비율이 가중평균 변환비율 미만인 경우, 비디오 품질을 상향 설정한다. 또한, 상기 품질 설정블럭(355)은 왕복시간이 가중평균 변환비율을 초과하거나 변환 비율이 가중평균 변환비율을 초과하는 경우, 비디오 품질을 하향 설정한다. 또한, 상기 품질 설정블럭(355)는 왕복시간과 가중평균 왕복시간이 동일하면서 변환비율이 가중평균 변환비율이 동일한 경우 비디오 품질을 유지한다. That is, the quality setting block 355 sets the video quality higher when the round trip time is less than the weighted average round trip time and the conversion ratio is less than the weighted average conversion rate. The quality setting block 355 also sets the video quality down if the round trip time exceeds the weighted average conversion rate or the conversion rate exceeds the weighted average conversion rate. Also, the quality setting block 355 maintains the video quality when the round trip time and the weighted average round trip time are the same and the conversion ratio is equal to the weighted average conversion ratio.

이때, 상기 품질 설정블럭(355)은 왕복시간과 가중평균 왕복시간 차이에 대응되는 비디오 품질 레벨과, 변환비율과 가중평균 변환비율 차이에 대응되는 비디오 품질 레벨로 이루어지는 룩업테이블(미도시)을 구비하여, 왕복시간과 가중평균 왕복시간 차이에 대응되는 제1 비디오 품질 레벨과 상기 변환비율과 가중평균 변환비율 차이에 대응되는 제2 비디오 품질 레벨간의 평균값을 근거로 비디오 품질을 설정할 수 있다. 이때, 제1 비디오 품질 레벨과 제2 비디오 품질 레벨에 대해서는 서로 다른 가중치를 부여하여 그 평균값에 대응되도록 비디오 품질을 설정하는 것도 가능하다.At this time, the quality setting block 355 includes a lookup table (not shown) that includes a video quality level corresponding to the difference between the round trip time and the weighted average round trip time, and a video quality level corresponding to the difference between the conversion ratio and the weighted average conversion ratio The video quality can be set based on the first video quality level corresponding to the round trip time and the weighted average round trip time difference and the average value between the second video quality level corresponding to the difference between the conversion ratio and the weighted average conversion rate. At this time, it is also possible to assign different weights to the first video quality level and the second video quality level, and set the video quality to correspond to the average value.

또한, 상기 품질 설정블럭(355)은 사용자단말(200)에서 화면 재생완료에 대응되는 응답신호가 수신되지 않아 이미지 스트리밍 처리율이나 비디오 스트리밍 처리율이 "0" 으로 설정됨에 따라 변환비율이 "0" 또는 "∞"값을 갖는 경우, 왕복시간에 상관없이 비디오 품질을 최하 레벨로 설정한다. In addition, the quality setting block 355 determines whether the conversion rate is "0" or " 0 " as the image streaming processing rate or the video streaming processing rate is set to "0 " If it has a value of "", the video quality is set to the lowest level irrespective of the round trip time.

또한, 상기 품질 설정블럭(355)은 상기 비디오 네트워크 감시모듈(330) 또는 이미지 네트워크 감시모듈(340)로부터 비디오 스트림 또는 이미지 스트림에 대한 손실 발생정보가 발생된 경우, 변환비율 및 왕복시간에 상관없이 비디오 품질을 최하 레벨로 설정한다. In addition, when the loss occurrence information for the video stream or the image stream is generated from the video network monitoring module 330 or the image network monitoring module 340, the quality setting block 355 determines whether or not the loss occurrence information Set the video quality to the lowest level.

이어, 상기한 구성으로 된 네트워크 환경 적응형 클라우드 스트리밍 서비스 제공시스템에서의 클라우드 스트리밍 서비스방법을 도5에 도시된 도면을 참조하여 설명한다. 이하에서는 클라우드 서버(300)가 도3에 도시된 바와 같이 가상 데스크톱을 통해 데이터 처리를 수행하는 인프라스트럭쳐(VDI) 모델로 구현된 시스템에 대해 설명한다. Next, a cloud streaming service method in a network environment adaptive cloud streaming service providing system having the above-described configuration will be described with reference to FIG. Hereinafter, a system implemented by an infrastructure (VDI) model in which the cloud server 300 performs data processing through a virtual desktop as shown in FIG. 3 will be described.

먼저, 사용자가 사용자 단말(200)을 통해 클라우드 서버(300)에 접속요청하게 되면(ST10), 클라우드 서버(300)는 해당 사용자 단말(200)에 대하여 비디오 데이터 처리를 수행하기 위한 가상 데스크톱(362)을 생성 또는 할당한다(ST20). 즉, 클라우드 서버(300)는 사용자 단말(200)에 대해 하나의 가상 데스크톱(362)을 할당한다. First, when a user requests a connection to the cloud server 300 through the user terminal 200 (ST10), the cloud server 300 transmits a virtual desktop 362 for performing video data processing to the user terminal 200 (ST20). That is, the cloud server 300 allocates one virtual desktop 362 to the user terminal 200.

상기한 상태에서 상기 클라우드 서버(300)의 해당 가상 데스크톱(362)은 사용자 단말(200)로부터 비디오 서비스 요청이 수신되면(ST30), 해당 가상 데스크톱(362)은 사용자단말(200)로부터 서비스 요청된 비디오 컨텐츠 정보를 포함하는 비디오 다운로드 요청정보를 비디오 서버(100)로 제공한다(ST40).When the virtual desktop 362 of the cloud server 300 receives a video service request from the user terminal 200 in step 30 and the virtual desktop 362 receives a service request from the user terminal 200 And provides video download request information including video content information to the video server 100 (ST40).

비디오 서버(100)는 가상 데스크톱(362)으로부터 요구된 비디오 컨텐츠정보를 검색하고, 검색된 비디오 컨텐츠에 대한 비디오 조각을 포함하는 비디오 스트림을 생성하여 해당 가상 데스크톱(362)으로 제공한다(ST50). 이때, 상기 비디오 서버(100)는 초기 비디오 스트림 생성시 기 설정된 기준 품질의 비디오 조각을 포함하도록 실시할 수 있다. 예컨대, 기준 품질은 중간 품질로 설정될 수 있다. 또한, 상기 기준 품질은 타 가상 데스트톱의 현재 비디오 품질 레벨의 평균 레벨로 설정될 수 있다. The video server 100 retrieves the requested video content information from the virtual desktop 362, generates a video stream including the video fragments for the retrieved video content, and provides the video stream to the virtual desktop 362 (ST50). At this time, the video server 100 may be configured to include a video piece of a predetermined reference quality when an initial video stream is generated. For example, the reference quality may be set to medium quality. In addition, the reference quality may be set to an average level of the current video quality level of the other virtual desktop.

가상 데스크톱(362)은 상기 비디오서버(100)로부터 비디오 스트림이 수신되면, 수신된 비디오 스트림을 이미지 스트림으로 변환한다(ST60).When a video stream is received from the video server 100, the virtual desktop 362 converts the received video stream into an image stream (ST60).

또한, 상기 가상 데스크톱(362)은 비디오 서버(100)와 형성된 비디오 네트워크 상태를 근거로 비디오 처리율을 산출한다(ST70). 이때, 상기 가상 데스크톱(362)은 상기 해당 비디오 스트림에 대한 다운로드 시간 및 이미지 스트림 변환시간을 포함하는 비디오 네트워크 상태정보를 근거로 비디오 처리율을 산출한다. In addition, the virtual desktop 362 calculates the video throughput based on the state of the video network formed with the video server 100 (ST70). At this time, the virtual desktop 362 calculates the video throughput based on the video network status information including the download time and the image stream conversion time for the corresponding video stream.

또한, 상기 가상 데스크톱(362)은 변환된 이미지 스트림을 해당 사용자단말(200)로 전송한다(ST80). 이때, 사용자단말(200)은 이미지 스트림을 재생처리하여 화면으로 표시출력함과 더불어, 재생처리 완료시 해당 이미지 스트림에 대한 재생완료정보를 해당 가상 데스크톱(362)으로 전송한다(ST90).In addition, the virtual desktop 362 transmits the converted image stream to the user terminal 200 (ST80). At this time, the user terminal 200 plays back the image stream and displays it on the screen. In addition, when the playback process is completed, the user terminal 200 transmits the playback completion information for the corresponding image stream to the corresponding virtual desktop 362 (ST90).

가상 데스크톱(362)은 해당 사용자단말(200)과 형성된 이미지 네트워크 상태에 대응되는 이미지 스트림 왕복시간과 이미지 스트리밍 처리율을 산출한다(ST100).The virtual desktop 362 calculates an image stream round trip time and an image streaming throughput corresponding to the image network state formed with the user terminal 200 (ST100).

이어, 가상 데스크톱(362)는 상기 ST70단계에서 산출된 비디오 처리율과, 상기 ST100 단계에서 산출된 이미지 처리율과 데이터 왕복시간정보를 근거로 비디오 네트워크 상태와 이미지 네트워크 상태에 대응되는 비디오 품질을 설정한다(ST110). 이때, 상기 가상 데스크톱(362)은 왕복시간에 대한 가중평균 왕복시간을 산출하여 왕복시간과 가중평균 왕복시간을 비교함과 더불어, 비디오 처리율과 이미지 처리율을 근거로 변환 비율을 산출하고, 변환 비율에 대한 가중평균 변환시간을 산출하여 변환 비율과 가중평균 변환비율을 비교한다. 그리고, 왕복시간 및 변환비율에 대한 비교결과에 대응되는 비디오 품질을 결정한다.Next, the virtual desktop 362 sets the video quality corresponding to the video network state and the image network state based on the video processing rate calculated in step ST70, the image processing rate calculated in step ST100, and the data round trip time information ST110). At this time, the virtual desktop 362 calculates the weighted average round trip time for the round trip time, compares the round trip time and the weighted average round trip time, and calculates the conversion ratio based on the video processing rate and the image processing rate, The weighted average conversion time is calculated to compare the conversion rate with the weighted average conversion rate. Then, the video quality corresponding to the comparison result of the round trip time and the conversion ratio is determined.

그리고, 상기 가상데스크톱(362)은 네트워크 상태를 고려하여 설정된 비디오 품질정보를 포함하는 다운로드 요청정보를 비디오 서버(100)로 제공한다(ST120). Then, the virtual desktop 362 provides download request information including video quality information set in consideration of the network status to the video server 100 (ST120).

이후, 상기 비디오 서버(100)는 상기 가상 데스크톱(362)으로부터 제공되는 비디오 품질정보에 대응되는 비디오 조각을 포함하도록 비디오 스트림을 생성하여 해당 데스크톱(362)으로 제공한다(ST130).Then, the video server 100 generates a video stream including a video piece corresponding to the video quality information provided from the virtual desktop 362, and provides the video stream to the corresponding desktop 362 (ST130).

상술한 일련의 동작은 비디오 컨텐츠에 대응되는 비디오 조각이 모두 전송되거나 또는 사용자에 의해 서비스 중지 요구에 있을 때까지 반복적으로 수행됨은 물론이다. It goes without saying that the above-described series of operations are repeatedly performed until all of the video fragments corresponding to the video contents are transmitted or the service stop request is requested by the user.

한편, 본 발명에 있어서는 사용자단말(200)로부터 이미지 재생이 이루어지지 않는 경우, 또는 비디오 조각 손실이나 이미지 손실이 발생된 경우, 클라우드 서버(300)는 비디오 품질을 최하 레벨로 설정하도록 구성된다. On the other hand, in the present invention, the cloud server 300 is configured to set the video quality to the lowest level when image reproduction is not performed from the user terminal 200, or when a video piece loss or an image loss occurs.

한편, 도6 및 도7은 본 발명자가 혼잡한 네트워크 환경에서 이미지 스트림 네트워크와 비디오 스트리밍 네트워크에 병목현상이 발생하는 경우를 시스템별로 분석한 결과이다. 도6 및 도7에서는 DASH 시스템(DASH)과 HLS시스템(HLS) 및, 본 발명에 따른 네트워크 환경 적응형 클라우드 스트리밍 시스템(QADASH, QoE-aware DASH)에서의 성능 비교 결과가 도시되어 있다. 여기서, DASH 시스템은 동화상 전문가 그룹의 적응형 비트레이트 스트리밍 기법이 적용된 시스템이고, HLS는 애플의 HTTP Live Streaming 기법이 적용된 시스템이다. FIGS. 6 and 7 are results of analysis of bottlenecks in an image stream network and a video streaming network in a congested network environment. 6 and 7 show performance comparison results in the DASH system (DASH), the HLS system (HLS), and the network environment adaptive cloud streaming system (QADASH, QoE-aware DASH) according to the present invention. Here, the DASH system is a system to which adaptive bit rate streaming technique of a moving picture expert group is applied, and HLS is a system to which Apple's HTTP Live Streaming technique is applied.

도6은 혼잡한 이미지 스트리밍 네트워크에 대한 시스템 분석결과를 도시한 것으로, 도6에서 (A)는 시스템별 체감품질 비교표이고, (B)는 변환 비율 추세를 도시한 것이다.FIG. 6 shows a system analysis result for a congested image streaming network. FIG. 6 (A) is a comparison chart of the perceived quality of each system, and FIG. 6 (B) shows a conversion rate trend.

도6 (A)은 각 시스템별 평균 변환 비율과, 화면 손실 개수 및 재생 지연시간에 대한 실험결과이다. 이는 전체 네트워크에서 비디오 네트워크 구간은 손실률 10-3, 지연시간 20ms이고, 이미지 네트워크 구간은 손실률 10-2, 지연시간 170ms로 설정한 경우의 실험 결과이다. 즉, 본 발명에 따른 네트워크 환경 적응형 클라우드 스트리밍 시스템(QADASH)이 DASH 시스템 보다 이상적인 평균변환비율(예컨대, 50)에 가까운 것을 확인할 수 있음은 물론, 화면 손실과 지연시간이 크게 낮음을 알 수 있다. 6A is an experimental result on the average conversion ratio, the number of screen loss, and the reproduction delay time for each system. This is the experimental result when the video network section of the whole network has a loss rate of 10 -3 and a delay time of 20 ms, and the image network section has a loss rate of 10 -2 and a delay time of 170 ms. That is, it can be seen that the network environment adaptive cloud streaming system (QADASH) according to the present invention is close to an ideal average conversion ratio (for example, 50) than the DASH system, and the screen loss and delay time are low .

도6에서 (B)는 (A)에 대한 결과를 실시간 변환비율 추세로 나타낸 것으로, 본 발명에 따른 네트워크 환경 적응형 클라우드 스트리밍 시스템(QoE-aware DASH)이 타 시스템에 비해 급격한 변동 없이 안정적임을 확인할 수 있다. 특히, 변환비율이 타 시스템에 비해 낮아 네트워크 상황에 적응적으로 조절됨으로써, 사용자의 비디오 체감 품질을 향상시킴을 알 수 있다. FIG. 6 (B) shows the results of FIG. 6 (A) in terms of the real-time conversion rate trend, and it is confirmed that the network environment adaptive cloud streaming system (QoE-aware DASH) according to the present invention is stable . Especially, it shows that the conversion rate is lower than that of the other systems, and is adaptively adjusted to the network situation, thereby improving the quality of the video experience.

또한, 도7은 혼잡한 비디오 스트리밍 네트워크에 대한 시스템 분석결과를 도시한 것으로, 도7에서 (C)는 시스템별 체감품질 비교표이고, (D)는 변환 비율 추세를 도시한 것이다. FIG. 7 shows a system analysis result for a congested video streaming network. FIG. 7 (C) shows a perceived quality comparison chart for each system, and FIG. 7 (D) shows a conversion rate trend.

도7에서 (C)은 각 시스템별 평균 변환 비율과, 화면 손실 개수 및 재생 종료시간에 대한 실험결과이다. 이는 전체 네트워크에서 비디오 네트워크 구간은 손실률 10-2, 지연시간 50ms이고, 이미지 네트워크 구간은 손실률 10-3, 지연시간 20ms로 설정한 경우의 실험 결과이다. 즉, 본 발명에 따른 네트워크 환경 적응형 클라우드 스트리밍 시스템(QADASH)이 DASH 보다 이상적인 평균변환비율(예컨대, 50)에 가까운 것을 확인할 수 있음은 물론, 화면 손실은 0 개로 정상적인 비디오 스트리밍 서비스를 제공하고, 재생 종료시간도 가장 빠름을 알 수 있다. 7 (C) is an experimental result on the average conversion ratio, the number of screen loss, and the reproduction end time for each system. This is the experimental result when the video network interval is 10 -2 and the delay time is 50 ms and the image network interval is 10 -3 and the delay time is 20 ms in the entire network. That is, it can be confirmed that the network environment adaptive cloud streaming system (QADASH) according to the present invention is close to an average conversion ratio (for example, 50) which is more ideal than the DASH, and also provides a normal video streaming service with zero screen loss, The playback end time is also known to be the fastest.

도7에서 (D)는 (C)에 대한 결과를 실시간 변환비율 추세로 나타낸 것으로, 본 발명에 따른 네트워크 환경 적응형 클라우드 스트리밍 시스템(QADASH)이 타 시스템에 비해 급격한 변동 없이 안정적임을 확인할 수 있다. 이는 네트워크 상황에 적응적으로 비디오 품질이 조절됨으로써, 사용자의 비디오 체감 품질을 향상시킴은 물론, 끊임없는 스트리밍 서비스를 제공할 수 있음을 알 수 있다. In FIG. 7, (D) shows the result of (C) in terms of the real-time conversion rate trend, and it can be confirmed that the network environment adaptive cloud streaming system (QADASH) according to the present invention is stable without abrupt change. It can be seen that the video quality is adjusted adaptively to the network situation, thereby improving the quality of the video experience of the user and providing the continuous streaming service.

100 : 비디오 서버, 200 : 사용자 단말,
300 : 클라우드 서버,
310 : 비디오 네트워크 통신부, 320 : 이미지 네트워크 통신부,
330 ; 비디오 네트워크 감시모듈, 340 : 이미지 네트워크 감시모듈,
350 : 품질 설정모듈, 360 : 데이터 처리모듈,
361 : 하이퍼바이저, 362 : 가상 데스크톱.
100: video server, 200: user terminal,
300: Cloud server,
310: video network communication unit, 320: image network communication unit,
330; Video network monitoring module, 340: image network monitoring module,
350: quality setting module, 360: data processing module,
361: hypervisor, 362: virtual desktop.

Claims (13)

비디오 콘텐츠에 대하여 품질별 비디오 조각정보가 저장되어 클라우드 서버로부터의 비디오 다운로드 요청에 따라 일정 품질의 비디오 조각을 포함하는 비디오 스트림을 클라우드 서버로 제공하는 비디오 서버와,
클라우드 서버로 비디오 콘텐츠 요청을 수행하고, 이에 대해 클라우드 서버로부터 제공되는 이미지 스트림을 재생하여 화면출력하도록 구성되는 사용자단말 및,
상기 사용자단말로부터의 비디오 콘텐츠 요청에 대해 상기 비디오 서버로 비디오 다운로드 요청을 수행하고, 이에 대해 비디오 서버로부터 수신되는 비디오 스트림을 이미지 스트림으로 변환하여 상기 사용자단말로 제공하되, 상기 비디오 서버로부터 제공되는 비디오 스트림에 대한 비디오 스트리밍 처리율과 사용자단말에서의 이미지 스트리밍 처리율을 근거로 산출된 변환비율과, 상기 사용자단말과의 이미지 스트림 왕복시간을 획득함과 더불어, 변환비율과 왕복시간이 감소할수록 비디오 품질을 상향 설정하고, 이 비디오 품질정보를 포함하는 비디오 다운로드 요청정보를 생성하여 상기 비디오 서버로 제공하도록 구성되는 클라우드 서버를 포함하여 구성되는 것을 특징으로 하는 네트워크 환경 적응형 클라우드 스트리밍 서비스 제공시스템.
A video server for storing video fragment information by quality for video content and providing a video stream including a video fragment of a predetermined quality to a cloud server in response to a video download request from the cloud server;
A user terminal configured to perform a video content request to a cloud server, reproduce an image stream provided from the cloud server and output the reproduced image stream,
Performing a video download request to the video server for a video content request from the user terminal, converting the video stream received from the video server into an image stream and providing the video stream to the user terminal, A conversion rate calculated on the basis of a video streaming throughput rate of a stream and an image streaming throughput rate of a user terminal and a round trip time of an image stream with the user terminal are acquired and the video quality is increased as the conversion rate and round trip time are decreased And a cloud server configured to generate video download request information including the video quality information, and to provide the video download request information to the video server. The network environment adaptive cloud streaming service providing system according to claim 1,
제1항에 있어서,
상기 클라우드 서버는 비디오 서버로부터 비디오 스트림을 다운받아 이미지 스트림으로 변환하기까지의 비디오 스트리밍 처리율과, 사용자단말에서 이미지 스트림에 대한 화면 재생처리를 수행하는 이미지 스트리밍 처리율의 비율인 변환비율을 산출하되, 변환비율은 하기의 수학식과 같이 산출되는 것을 특징으로 하는 네트워크 환경 적응형 클라우드 스트리밍 서비스 제공시스템.
Figure pat00010

여기서, ratio 는 변환비율이고, V 는 비디오 스트리밍 처리율, I는 이미지 스트리밍 처리율.
The method according to claim 1,
Wherein the cloud server calculates a conversion rate which is a ratio of a video streaming processing rate from downloading a video stream from the video server to converting the video stream into an image stream and an image streaming processing rate performing screen reproduction processing on the image stream from the user terminal, And the ratio is calculated according to the following equation. ≪ EMI ID = 1.0 >
Figure pat00010

Here, ratio is a conversion ratio, V is a video streaming processing rate, and I is an image streaming processing rate.
제1항에 있어서,
상기 클라우드 서버는 현재 변환비율에 대해 하기 수학식과 같이 가중평균 변환비율을 산출하고,
현재 변환비율이 가중평균 변환비율 이상인 경우 비디오 품질을 하향 설정하도록 구성되는 것을 특징으로 하는 네트워크 환경 적응형 클라우드 스트리밍 서비스 제공시스템.
Figure pat00011

여기서, 상기 sratioi 는 가중평균 변환비율이고, ratio 는 현재 산출된 변환비율, β는 가중치, sratioi-1 는 이전 가중평균 변환비율.
The method according to claim 1,
The cloud server calculates a weighted average conversion ratio with respect to the current conversion ratio as shown in the following equation,
And if the current conversion rate is equal to or greater than the weighted average conversion rate, the video quality is set to a lower level.
Figure pat00011

Here, sratio i is a weighted average conversion ratio, ratio is a currently calculated conversion ratio,? Is a weighting factor, and sratio i-1 is a previous weighted average conversion ratio.
제1항에 있어서,
상기 클라우드 서버는 이미지 스트림 왕복시간에 대해 하기 수학식과 같이 가중평균 왕복시간을 산출하고,
현재 왕복시간이 가중평균 왕복시간 이상인 경우 비디오 품질을 하향 설정하도록 구성되는 것을 특징으로 하는 네트워크 환경 적응형 클라우드 스트리밍 서비스 제공시스템.
Figure pat00012

여기서, 상기 srtti 는 가중평균 왕복시간이고, rtt 는 현재 산출된 왕복시간, α는 가중치, srtti-1 는 이전 이미지 스트림에 대한 가중평균 왕복시간.
The method according to claim 1,
The cloud server calculates a weighted average round trip time for the image stream round trip time as shown in the following equation,
And when the current round trip time is equal to or greater than the weighted average round trip time, the video quality is set to be lower.
Figure pat00012

Here, the srtt i is the weighted average round-trip time, rtt is currently calculating the round trip time, α is the weight, srtt i-1 is the weighted average of the round trip time for a previous image stream.
제3항 또는 제4항에 있어서,
상기 변환비율 가중치 α 와, 왕복시간 가중치 β 는 0.125로 설정되는 것을 특징으로 하는 네트워크 환경 적응형 클라우드 스트리밍 서비스 제공시스템.
The method according to claim 3 or 4,
Wherein the conversion ratio weight α and the round trip time weight β are set to 0.125.
제1항에 있어서,
상기 클라우드 서버는 비디오 서버로부터 제공되는 비디오 스트림의 비디오 조각 재생주기에 대응되도록 비디오 품질 설정 주기를 자동 변경 설정하도록 구성되는 것을 특징으로 하는 네트워크 환경 적응형 클라우드 스트리밍 서비스 제공시스템.
The method according to claim 1,
Wherein the cloud server is configured to automatically change a video quality setting period so as to correspond to a video fragment reproduction period of a video stream provided from a video server.
제1항에 있어서,
상기 클라우드 서버는 비디오 조각 손실이 발생하거나 이미지 손실이 발생한 경우, 비디오 품질을 최하 레벨로 설정하도록 구성되는 것을 특징으로 하는 네트워크 환경 적응형 클라우드 스트리밍 서비스 제공시스템.
The method according to claim 1,
Wherein the cloud server is configured to set the video quality to the lowest level when a video fragment loss occurs or an image loss occurs.
제1항에 있어서,
상기 클라우드 서버는 다수의 가상 데스크톱을 생성하고, 가상 데스크톱을 통해 비디오 서버와 사용자단말간의 비디오 스트림 및 이미지 스트림 송수신처리를 수행하되, 각 가상 데스크톱별로 비디오 품질 설정처리를 수행하도록 구성되는 것을 특징으로 하는 네트워크 환경 적응형 클라우드 스트리밍 서비스 제공시스템.
The method according to claim 1,
Wherein the cloud server is configured to generate a plurality of virtual desktops and perform video stream and image stream transmission / reception processing between the video server and the user terminal through the virtual desktop, and to perform video quality setting processing for each virtual desktop Network Adaptive Cloud Streaming Service Provisioning System.
클라우드 서버에서 사용자단말로부터의 비디오 콘텐츠 요청에 대해 비디오 서버로 비디오 다운로드 요청을 수행하고, 이에 대해 비디오 서버로부터 수신되는 비디오 스트림에 포함된 일정 품질의 비디오 조각을 이미지 스트림으로 변환하여 해당 사용자단말로 제공하는 클라우드 스트리밍 서비스 제공방법에 있어서,
클라우드 서버에서 비디오 서버로부터 제공되는 비디오 스트림을 다운받아 이미지 스트림으로 변환하기까지의 시간에 대응되는 비디오 스트리밍 처리율을 산출하는 제1 단계와,
클라우드 서버에서 사용자단말로부터 해당 이미지 스트림에 대한 화면 재생시간에 대응되는 이미지 스트리밍 처리율을 산출하는 제2 단계,
클라우드 서버에서 상기 제1 단계에서 산출된 비디오 스트리밍 처리율과 상기 제2 단계에서 산출된 이미지 스트리밍 처리율을 근거로 변환 비율을 산출하는 제3 단계,
클라우드 서버에서 사용자단말과 이미지 스트림 송수신에 따른 왕복시간을 산출하는 제4 단계,
클라우드 서버에서 상기 제3 단계에서 산출된 변환비율과 상기 제4 단계에서 산출된 왕복시간이 감소할수록 비디오 품질을 상향 설정하고, 이 비디오 품질정보를 포함하는 비디오 다운로드 요청정보를 상기 비디오 서버로 제공하는 제5 단계 및,
비디오 서버에서 상기 클라우드 서버로부터 비디오 다운로드 요청정보의 비디오 품질에 대응되는 비디오 조각을 포함하는 비디오 스트림을 생성하여 클라우드 서버로 제공하는 제6 단계를 포함하여 구성되는 것을 특징으로 하는 네트워크 환경 적응형 클라우드 스트리밍 서비스 제공방법.
The cloud server performs a video download request to the video server for the video content request from the user terminal, converts the video fragments of a certain quality contained in the video stream received from the video server into an image stream, A method for providing a cloud streaming service,
A first step of calculating a video streaming processing rate corresponding to a time from downloading of a video stream provided from a video server to conversion to an image stream in a cloud server,
A second step of calculating an image streaming processing rate corresponding to a screen reproduction time of the image stream from the user terminal in the cloud server,
A third step of calculating a conversion ratio on the basis of the video streaming processing rate calculated in the first step and the image streaming processing rate calculated in the second step in the cloud server,
A fourth step of calculating a round trip time according to transmission and reception of an image stream with a user terminal in a cloud server,
Setting the video quality higher as the conversion rate calculated in the third step and the round trip time calculated in the fourth step are decreased in the cloud server and providing the video download request information including the video quality information to the video server In a fifth step,
And generating a video stream including video fragments corresponding to the video quality of the video download request information from the cloud server in the video server and providing the video stream to the cloud server. The network environment adaptive cloud streaming Service delivery method.
제9항에 있어서,
상기 제3 단계에서 변환비율은 하기의 수학식과 같이 산출되는 것을 특징으로 하는 네트워크 환경 적응형 클라우드 스트리밍 서비스 제공방법.
Figure pat00013

여기서, ratio 는 변환비율이고, V 는 비디오 스트리밍 처리율, I는 이미지 스트리밍 처리율.
10. The method of claim 9,
Wherein the conversion rate in the third step is calculated according to the following equation: < EMI ID = 15.0 >
Figure pat00013

Here, ratio is a conversion ratio, V is a video streaming processing rate, and I is an image streaming processing rate.
제9항에 있어서,
상기 제5 단계에서 상기 클라우드 서버는 현재 변환비율에 대해 하기 수학식과 같이 가중평균 왕복시간을 산출하고,
현재 변환비율이 가중평균 변환비율 이상인 경우 비디오 품질을 하향 설정하도록 구성되는 것을 특징으로 하는 네트워크 환경 적응형 클라우드 스트리밍 서비스 제공방법.
Figure pat00014

여기서, 상기 sratioi 는 가중평균 변환비율이고, ratio 는 현재 산출된 변환비율, β는 가중치, sratioi-1 는 이전 가중평균 변환비율.
10. The method of claim 9,
In the fifth step, the cloud server calculates a weighted average round trip time for the current conversion ratio as shown in the following equation,
And if the current conversion rate is equal to or greater than the weighted average conversion rate, the video quality is lowered.
Figure pat00014

Here, sratio i is a weighted average conversion ratio, ratio is a currently calculated conversion ratio,? Is a weighting factor, and sratio i-1 is a previous weighted average conversion ratio.
제9항에 있어서,
상기 제5 단계에서 상기 클라우드 서버는 이미지 스트림 왕복시간에 대해 하기 수학식과 같이 가중평균 왕복시간을 산출하고,
현재 왕복시간이 가중평균 왕복시간 이상인 경우 비디오 품질을 하향 설정하도록 구성되는 것을 특징으로 하는 네트워크 환경 적응형 클라우드 스트리밍 서비스 제공방법.
Figure pat00015

여기서, 상기 srtti 는 가중평균 왕복시간이고, rtt 는 현재 산출된 왕복시간, α는 가중치, srtti-1 는 이전 이미지 스트림에 대한 가중평균 왕복시간.
10. The method of claim 9,
In the fifth step, the cloud server calculates a weighted average round trip time for the round trip time of the image stream as shown in the following equation,
And if the current round trip time is equal to or greater than the weighted average round trip time, the video quality is set to be lower.
Figure pat00015

Here, the srtt i is the weighted average round-trip time, rtt is currently calculating the round trip time, α is the weight, srtt i-1 is the weighted average of the round trip time for a previous image stream.
제9항에 있어서,
상기 제1 단계에서 상기 클라우드 서버는 비디오 서버로부터 제공되는 비디오 스트림을 근거로 비디오 조각 손실 여부를 추출하고,
상기 제2 단계에서 상기 클라우드 서버는 사용자 단말로부터 제공되는 재생완료정보를 근거로 이미지 손실 여부를 추출하며,
상기 제5 단계에서 상기 클라우드 서버는 제1 단계에서 비디오 조각 손실이 발생하거나 상기 제2 단계에서 이미지 손실이 발생되는 경우, 비디오 품질을 최하 레벨로 설정하는 것을 특징으로 하는 네트워크 환경 적응형 클라우드 스트리밍 서비스 제공방법.
10. The method of claim 9,
In the first step, the cloud server extracts a video fragment loss based on a video stream provided from a video server,
In the second step, the cloud server extracts image loss based on the reproduction completion information provided from the user terminal,
Wherein the cloud server sets the video quality to the lowest level when a video fragments loss occurs in the first step or an image loss occurs in the second step in the fifth step. The network environment adaptive cloud streaming service Delivery method.
KR1020160021721A 2016-02-24 2016-02-24 System and method for providing of cloud streaming service which is adapting to network environment Active KR101795537B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160021721A KR101795537B1 (en) 2016-02-24 2016-02-24 System and method for providing of cloud streaming service which is adapting to network environment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160021721A KR101795537B1 (en) 2016-02-24 2016-02-24 System and method for providing of cloud streaming service which is adapting to network environment

Publications (2)

Publication Number Publication Date
KR20170100079A true KR20170100079A (en) 2017-09-04
KR101795537B1 KR101795537B1 (en) 2017-12-04

Family

ID=59924211

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160021721A Active KR101795537B1 (en) 2016-02-24 2016-02-24 System and method for providing of cloud streaming service which is adapting to network environment

Country Status (1)

Country Link
KR (1) KR101795537B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101970894B1 (en) * 2017-10-30 2019-04-19 인하대학교 산학협력단 Method and system for low power streaming
CN113475089A (en) * 2019-02-25 2021-10-01 三星电子株式会社 Method and system for user-oriented content streaming

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102480372B1 (en) * 2018-03-09 2022-12-26 삼성전자주식회사 Electronic apparatus and control method thereof
KR102609734B1 (en) 2018-07-20 2023-12-05 삼성전자 주식회사 electronic device and method for revising image based on transfer status of image
KR20250014113A (en) 2023-07-19 2025-02-03 알비클라우드 주식회사 Method for providing cloud streaming service based on real-time selective encoding through application pre-analysis and apparatus therefor
KR102684442B1 (en) 2023-11-28 2024-07-12 (주)빛글림 System and method for content streaming service based on artificial intelligence

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101970894B1 (en) * 2017-10-30 2019-04-19 인하대학교 산학협력단 Method and system for low power streaming
CN113475089A (en) * 2019-02-25 2021-10-01 三星电子株式会社 Method and system for user-oriented content streaming
US11956506B2 (en) 2019-02-25 2024-04-09 Samsung Electronics Co., Ltd. Method and system for user-oriented streaming of content
CN113475089B (en) * 2019-02-25 2024-04-19 三星电子株式会社 Method and system for user-oriented content streaming

Also Published As

Publication number Publication date
KR101795537B1 (en) 2017-12-04

Similar Documents

Publication Publication Date Title
KR101795537B1 (en) System and method for providing of cloud streaming service which is adapting to network environment
US11706272B2 (en) Adaptive streaming with early client indication
CN111135569B (en) Cloud game processing method and device, storage medium and electronic equipment
KR102280134B1 (en) Video playback methods, devices and systems
US10110650B2 (en) Client side stream switching
US9167007B2 (en) Stream complexity mapping
RU2487407C2 (en) System and method of compressing streaming interactive video
US6292834B1 (en) Dynamic bandwidth selection for efficient transmission of multimedia streams in a computer network
EP3200423B1 (en) Media host transmitting media stream with adapted bit rate
EP2095205B1 (en) Hybrid buffer management
US10887646B2 (en) Live streaming with multiple remote commentators
CN104394486A (en) Method and device for processing video stream based on cloud desktop
JP2016502798A (en) Dynamic bit rate encoding and distribution according to the content situation
JP2012521269A5 (en)
JP5749857B2 (en) Method and apparatus for controlling video quality variation based on scalable video coding
WO2020220902A1 (en) Method and apparatus for distributing transmission parameters of video resources
CN108737884B (en) Content recording method and equipment, storage medium and electronic equipment
US20240121455A1 (en) Method, apparatus, electronic device and storage medium for video bitrate switching
CN108462899A (en) Stream media code stream adaptive transmission method, equipment and system based on capacity of equipment
JP2021505081A (en) Video transmission methods, video transmission equipment, and video transmission systems, as well as computer-readable storage media
KR20180086114A (en) Media playback apparatus and method including delay prevention system
CN113411643A (en) Video quality optimization method, system, electronic equipment and storage medium
CN118158451A (en) Online live broadcast method, device and medium based on cloud network interconnection
Lan et al. Research on technology of desktop virtualization based on SPICE protocol and its improvement solutions
US10609111B2 (en) Client-driven, ABR flow rate shaping

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160224

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20170307

Patent event code: PE09021S01D

PG1501 Laying open of application
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20171031

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20171102

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20171103

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20201030

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20211020

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20221026

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20231026

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20241030

Start annual number: 8

End annual number: 8