KR20190140813A - 객체 중심의 해상도 복원 기능을 수행하는 영상 학습 시스템 - Google Patents
객체 중심의 해상도 복원 기능을 수행하는 영상 학습 시스템 Download PDFInfo
- Publication number
- KR20190140813A KR20190140813A KR1020180141174A KR20180141174A KR20190140813A KR 20190140813 A KR20190140813 A KR 20190140813A KR 1020180141174 A KR1020180141174 A KR 1020180141174A KR 20180141174 A KR20180141174 A KR 20180141174A KR 20190140813 A KR20190140813 A KR 20190140813A
- Authority
- KR
- South Korea
- Prior art keywords
- vod
- image
- server
- file
- weight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000006870 function Effects 0.000 title description 2
- 230000005540 biological transmission Effects 0.000 claims abstract description 12
- 230000004044 response Effects 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 17
- 238000005070 sampling Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 13
- 238000013473 artificial intelligence Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000035515 penetration Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25866—Management of end-user data
- H04N21/25891—Management of end-user data being end-user preferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
- H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
- H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
- H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
본 발명의 실시 예에 따른 객체 중심의 해상도 복원 기능을 수행하는 영상 학습 시스템은 VOD 파일을 저장하고, 사용자 기기로부터의 요청에 따라 상기 VOD 파일의 전송 서비스를 제공하는 제 1서버, 상기 제 1서버로부터 VOD 파일을 제공받아, 개별 VOD 파일에 대한 AI 영상학습을 수행하고, 상기 AI 영상학습의 결과로 개별 VOD 파일에 대응하는 Weight를 산출하며, 사용자 기기로부터 발생된 VOD 전송 요청에 대응하여 요청된 VOD 파일에 대응하는 Weight를 사용자 기기에 전송하는 제 2서버, 상기 제 2서버에 의해 학습된 VOD파일의 아이디 및 상기 VOD파일의 AI 영상학습의 결과로 산출된 Weight를 저장하는 DB 및 상기 제 1서버에 영상 파일 전송을 요청하고, 상기 제 1서버로부터 영상 파일을 수신하며, 제 2서버로부터 전송 요청한 영상 파일에 대응하는 Weight를 수신하여 상기 Weight를 적용한 영상 파일을 실행시키는 사용자 기기를 포함할 수 있다.
Description
본 발명은 객체 중심의 해상도 복원 기능을 수행하는 영상 학습 시스템에 관한 것이다. 보다 구체적으로, 본 발명은 AI 기반의 SRCNN에 따라 영상학습을 수행하여 고화질의 VOD 파일로부터 고화질 복원에 요구되는 Weight를 산출하고, 추후 저화질 VOD 파일을 해당 VOD 파일에 대응하는 Weight을 이용하여 고화질 VOD 파일로 복원할 수 있도록 하는 영상학습 시스템에 관한 것이다.
전 세계적으로 스마트기기의 보급률은 갈수록 증가하고 있다. 특히, 국내의 스마트폰 보급률은 91%로 글로벌 56개국 중 1위이며, 모바일기기를 통한 동영상 시청 인구 또한 계속적으로 증가되어 국내의 경우 2017년 모바일 영상 트래픽은 2016년 58% 대비 74%이상 증가되었다.
최근 몇 년 사이에 인공지능 기술은 모바일 기기에서의 활용 방법이 활발히 연구, 개발 되고 있다. 특히, 2015년을 기점으로 인공지능 기술의 활용이 가능한 비약적인 모바일 기기 성능 발전이 있었다. Google, Facebook, Apple, MS등 글로벌 대기업들이 공개하는 AI Open Source에서도 모바일 기기를 지원하기 시작하면서 모바일 기기에서의 인공지능 활용이 가능해지게 되었다.
한편, 기존 VOD 서비스는 사용자 환경에 맞추어 적응형(Adaptive) 스트리밍을 제공하기 위해 다수의 Bitrate별 영상(270p, 360p, 480p, 720p, 1080p등)과 단말기, 브로우저별로 영상포맷을 준비해야 했다. 이에 따라 VOD 서비스를 제공하는 콘텐츠 사업자 입장에서는 인코딩 비용과 트래픽 비용 발생되고, 이는 사용자의 요금부담으로 이어지게 되었다.
모바일 VOD 시청자 입장에서 갈수록 커지는 동영상 크기는 통신요금의 부담으로 작용되어 시청자를 부담스럽게 하여, 고화질 VOD 서비스를 제공하는 사업자의 수익으로 이어지지 못하고 있는 실정이다. 이에 따라 사용자가 체감하는 통신 용량의 부담은 줄이고 고화질 VOD 파일로 영상을 제공하기 위한 방안이 요구되고 있다.
한편, 동영상의 해상도 향상과 관련된 종래 기술은 공개특허공보 10-2014-0081481(블록단위 영상 정합을 이용한 초해상도 영상 복원 방법 및 장치)호가 있다.
본 발명은 저해상도 영상을 고해상도로 복원 하는 인공지능 학습 알고리즘을 이용해 저해상도 영상파일만으로 멀티플랫폼, 멀티브로우저에서 고해상도 영상의 재생을 가능하게 하는 인공지능 VOD 플레이어를 개발하고, 이를 지원하기 위한 모바일 VOD파일 AI 학습 플랫폼을 개발하는 데 목적이 있다.
본 발명의 실시 예에 따른 AI 영상학습 플랫폼 기반 VOD 서비스 시스템은 VOD 파일을 저장하고, 사용자 기기로부터의 요청에 따라 상기 VOD 파일의 전송 서비스를 제공하는 제 1서버, 상기 제 1서버로부터 VOD 파일을 제공받아, 개별 VOD 파일에 대한 AI 영상학습을 수행하고, 상기 AI 영상학습의 결과로 개별 VOD 파일에 대응하는 Weight를 산출하며, 사용자 기기로부터 발생된 VOD 전송 요청에 대응하여 요청된 VOD 파일에 대응하는 Weight를 사용자 기기에 전송하는 제 2서버, 상기 제 2서버에 의해 학습된 VOD파일의 아이디 및 상기 VOD파일의 AI 영상학습의 결과로 산출된 Weight를 저장하는 DB 및 상기 제 1서버에 영상 파일 전송을 요청하고, 상기 제 1서버로부터 영상 파일을 수신하며, 제 2서버로부터 전송 요청한 영상 파일에 대응하는 Weight를 수신하여 상기 Weight를 적용한 영상 파일을 실행시키는 사용자 기기를 포함할 수 있다.
본 발명은 모바일 VOD시청자가 기존보다 적은 통신비용으로 고해상도 영상을 즐길 수 있도록 하는 효과가 있다.
비교적 짧은 시간동안의 통신만으로 고해상도의 영상을 재생할 수 있게 하므로, 네트워크 인프라가 열악한 해외에서도, 고화질 영상을 재생할 수 있게 된다.
본 발명의 실시 예에 따른 AI 학습 플랫폼과 고해상도 영상 재생기술은 다양한 비지니스 모델에 적용 가능하며, 이에 따라 IPTV, VOD, CCTV 등 영상과 관련된 다양한 산업 분야에서 고해상도의 영상을 제공받을 수 있다.
본 발명은 영상 재생 기술을 고도화하여 미리 학습된 특정 영역에 특화된 인공지능 영상 처리 서비스로부터 모든 산업분야에 사용가능한 AI 학습 플랫폼을 제공할 수 있다.
도 1 및 도 2는 본 발명의 실시 예에 따른 VOD 서비스 시스템의 구성을 도시한 도면이다.
도 3은 본 발명의 실시 예에 따른 제 2서버의 구성을 도시한 블록도이다.
도 4는 본 발명의 실시 예에 따른 AI 영상 학습 동작의 순서를 도시한 순서도이다.
도 5는 본 발명의 실시 예에 따라 제 2서버에서 해상도 복원을 수행하기 위한 동작의 순서를 도시하는 순서도이다.
도 3은 본 발명의 실시 예에 따른 제 2서버의 구성을 도시한 블록도이다.
도 4는 본 발명의 실시 예에 따른 AI 영상 학습 동작의 순서를 도시한 순서도이다.
도 5는 본 발명의 실시 예에 따라 제 2서버에서 해상도 복원을 수행하기 위한 동작의 순서를 도시하는 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어'있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 '직접 연결되어'있다거나 '직접 접속되어'있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, '포함하다' 또는 '가지다' 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1 및 도 2는 본 발명의 실시 예에 따른 VOD 서비스 시스템의 구성을 도시한 도면이다.
도 1을 참조하여 설명하면, 본 발명의 실시 예에 따른 VOD 서비스 시스템은 제 1서버 100, 제 2서버 200, 제 2서버와 연동되는 DB 220를 포함하여 구성될 수 있으며, 상기 구성 요소에 기반하여 AI 영상 학습이 수행될 수 있다. 이 때, 상기 AI 영상 학습이란, 딥러닝 학습 알고리즘인 SRCNN 기반의 고해상도 이미지 복원 기술에 기반하여, 저해상도 영상에서 고해상도 영상 복원에 요구되는 Weight(가중치 파라미터)를 산출하는 동작을 의미할 수 있다,
먼저, 제 1 서버 100는 일반적인 VOD 제공 서버를 의미할 수 있다. 제 1 서버 100는 상기 도면에 도시되지 않았으나, VOD 파일들을 저장하는 별도의 DB를 포함할 수 있으며, 제 1서버 100는 해당 DB에 저장되어 있는 VOD 파일을 사용자 기기측에 전송할 수 있다.
상기 제 2서버 200는 본 발명의 실시 예에 따라 AI 영상 학습을 수행하는 서버를 의미할 수 있다. 이 때 상기 제 2서버 200는 제 1서버 100에 기 업로드되어 있는 VOD 파일들에 대하여 AI 영상학습을 수행할 수 있다. 그리고 상기 제 2서버 200는 AI 영상학습을 수행한 결과로 생성된 Weight를 제 2서버와 연동되는 DB 220에 별도로 저장할 수 있으며, 이 때 생성된 Weight는 해당 VOD 파일에 대한 ID와 함께 저장될 수 있다. 이로써, 추후 제 1서버 100가 특정 VOD 파일의 전송(예, 스트리밍)을 요청받으면, 해당 VOD의 ID정보가 제 2서버 200측에 전달되고, 제 2서버 200는 해당 ID에 대응하는 Weight를 검출하여 사용자 기기측에 제공할 수 있게 된다.
이 때 제 2서버 200는 AI 영상 학습 수행 시, 산출되는 Weight의 용량이 기 설정된 크기 이하(예, 10Mb 이하)가 되도록 설정할 수 있다.
도 1의 제 2서버 200의 우측을 참조하면, 제 2서버 200에서 수행하는 AI 영상 학습의 동작의 예시가 개략적으로 도시되어 있다. 제 2서버 200가 수행하는 AI 영상 학습에 대하여 간단히 설명하면, 다음과 같다.
본 발명의 실시 예에 따른 제 2서버 200가 수행하는 AI 영상 학습은 딥러닝 알고리즘(예, SRCNN; Super Resolution Convolution Neural Networks활용)을 활용해 저해상도의 영상을 고해상도 영상으로 복원할 수 있는 Weight를 산출하는 동작이다. 이렇게 추출된 상기 Weight는 추후 사용자 기기 300에서 저해상도 VOD파일을 인공지능 테스트 과정(제 2서버에서 학습 과정을 수행하고, 사용자 기기에서 테스트 과정을 수행할 수 있음)을 거쳐 고해상도 VOD파일로 변환할 시 사용되는 가중치 파라미터일 수 있다.
기본적인 CNN의 동작 방식은 하나의 이미지를 filter를 통해 일부분의 영역을 하나씩 스캔하여 그것에 대한 값을 찾아내면서 학습시키는 방법을 사용한다. 이 때 적절한 Weight값을 갖는 Filter를 찾는 것이 CNN의 목표가 된다.
상기 DB 220는 개별 VOD 파일의 학습 결과인 Weight를 해당 VOD에 대한 ID 별로 저장할 수 있다.
상기 DB 220에 저장되는 Weight는 예컨대, 표 1에서 도시되는 바와 같이 VOD ID별로 지정되어 있을 수 있으며, Weight 단에는 사용자 기기상에서 이미지 해상도 복원에 요구되는 Weight(가중치 파라미터)와 함께, 영상의 해상도 향상 정도(예, 480p에서 720p로 향상)에 대한 정보를 포함할 수 있다.
| VOD ID | Learning Weight |
| A000001 | 480p→720p |
| A000002 | 720p→1080p |
| A000003 | 1080p→UHD |
| .... | ....... |
| Z025432 | 1080p→UHD |
다양한 실시 예에 따라, 상기 DB 220에 저장되는 VOD ID는 콘텐츠 항목(예, 영화, 뮤직 비디오, 드라마 등), 재생 시간, 줄거리, 등장인물, 기 재생 횟수 등의 콘텐츠 관련 정보에 기반하여 부여될 수 있다. 예컨대, 영화 관련 VOD는 A, 드라마 관련 VOD는 B로 ID를 시작하도록 ID 부여 방식이 정해질 수 있다.앞서, 도 1을 참조하여 제 2서버 200에서 수행되는 AI 영상 학습 동작에 관하여 설명하였다. 이하에서는 도 2를 참조하여, 사용자 기기를 통해 수행되는 고화질 VOD 제공 동작에 관하여 설명하기로 한다.
도 2를 참조하면 본 발명의 실시 예에 따른 기본 구성인 제 1서버 100와 제 2서버 200, 그리고 DB 220가 도시되어 있고, 그와 더불어 사용자 기기 300가 함께 도시되고 있다. 도 1에서 설명한 바와 같이, 제 1 서버 100는 종래의 일반적인 방식으로 VOD 전송(스트리밍 포함)하는 서버를 의미할 수 있으며, 사용자 기기 300로부터 임의의 VOD 전송을 요청받으면, 해당 VOD파일을 사용자 기기 300측에 무선 통신을 통해 전송할 수 있다. 이 때 상기 제 1서버 100에서 사용자 기기 300측에 전송되는 VOD 파일은 기준값 이하의 해상도를 갖는 VOD 파일일 수 있다.
제 2 서버 200는 제 1서버 100에서 사용자 기기 300측으로 전송되는 특정 VOD 파일에 대한 정보를 전달받고, 그에 대응하여 상기 특정 VOD 파일에 대응하는 Weight 정보를 DB 220에서 탐색한 후 사용자 기기 300측에 전달하도록 제어할 수 있다. 또는 상기 제 2서버 200는 제 1서버 100와 함께 사용자 기기 300로부터 직접 해당 VOD파일 요청 신호를 수신하고, 요청된 VOD 파일에 대응하는 Weight 정보를 탐색하여 사용자 기기 300측에 제공할 수 있다.
즉, 제 1서버 100에서는 VOD 파일(이하, 제 1서버에서 수신되는 VOD를 제 1 VOD 파일로 명명)을 인터넷을 통해 사용자 기기 300측에 전송하고, 제 2 서버 200는 연동된 DB 220에서 탐색된 Weight 정보를 인터넷을 통해 사용자 기기 300측에 전송할 수 있다.
이에 따라 사용자 기기 300는 저해상도 VOD 파일과, Weight를 모두 수신할 수 있게 되며, 사용자 기기 300 내에 저장된 AI 고해상도 VOD 재생 프로그램 301을 통해 고해상도 VOD파일(이하, 사용자 기기 300상에서 복원된 고해상도 VOD파일을 제 2 VOD 파일로 명명)을 재생할 수 있게 된다.
사용자 기기 300는 AI 고해상도 VOD 재생 프로그램 301을 통해 제 1서버로부터 수신한 제 1 VOD 파일을 재생하게 되는데, 이 때 상기 AI 고해상도 VOD 재생 프로그램 301에서는 해당 프로그램에 대응하는 Weight 정보가 사용자 기기 300 내 존재하는지 여부(또는 제 2서버 200로부터 스트리밍되는지 여부)를 판단하고, 대응 Weight가 존재하면, 상기 원본 VOD파일 및 상기 Weight를 가지고 복원 과정을 거쳐 제 2 VOD파일(고해상도 VOD)을 생성할 수 있다. AI 고해상도 VOD 재생 프로그램 301은 예컨대, 원본 VOD 파일이 SD 영상일 경우 HD 영상으로, HD 영상일 경우 FHD 영상으로 변환시켜 플레이할 수 있다. 나아가, 상기 AI 고해상도 VOD 재생 프로그램 301은 Weight 정보 종류에 따라 SD 영상을 FHD 영상으로 복원할 수도 있다. 이 때 복원되는 제 2 VOD파일의 해상도(크기)는 Weight 정보에 포함된 사이즈 정보(예, 표 1의 'Learning weight'단에 기재된 사항)에 기반하여 결정될 수 있다.
도 3은 본 발명의 실시 예에 따른 제 2서버의 구성을 도시한 블록도이다.
도 3은 통신부 210, DB 220, 제어부 230를 포함하여 구성될 수 있고, 상기 제어부 230는 해상도 판단부 231, AI 영상 학습부 232, 객체 이미지 추출부 233, 콘텐츠 정보 수집부 234, 사용자 시청 정보 수집부 235, 사용자 시청 취향 정보 산출부 236을 포함하여 구성되 수 있다.
상기 통신부 210는 사용자 디바이스와 서버 간의 데이터 송수신을 위해 네트워크를 이용할 수 있으며 상기 네트워크의 종류는 특별히 제한되지 않는다. 상기 네트워크는 예를 들어, 인터넷 프로토콜(IP)을 통하여 대용량 데이터의 송수신 서비스를 제공하는 아이피(IP: Internet Protocol)망 또는 서로 다른 IP 망을 통합한 올 아이피(All IP) 망일 수 있다. 또한, 상기 네트워크는 유선망, Wibro(Wireless Broadband)망, WCDMA를 포함하는 이동통신망, HSDPA(High Speed Downlink Packet Access)망 및 LTE(Long Term Evolution) 망을 포함하는 이동통신망, LTE advanced(LTE-A), 5G(Five Generation)를 포함하는 이동통신망, 위성 통신망 및 와이파이(Wi-Fi)망 중 하나 이거나 또는 이들 중 적어도 하나 이상을 결합하여 이루어질 수 있다.
본 발명의 실시 예에 따른 상기 통신부 210는 사용자 기기 300 또는 제 1서버 100로부터 특정 VOD 파일에 대응하는 Weight를 탐색 및 사용자 기기 300측에 전송하도록 하는 요청신호를 수신할 수 있다. 또한 상기 통신부 210는 요청된 VOD 에 대응하는 Weight를 사용자 기기 300측에 전송할 수 있다. 이 외에도 상기 통신부 210는 사용자 개인 정보 및 VOD와 관련되는 콘텐츠 정보 등을 제 1서버, 사용자 기기 및 기타 웹 서버로부터 수집할 수 있다.
상기 DB 220는 상기 제 2 서버 200와 연동되어 제 2 서버 200에서 산출되는 Weight 정보가 저장되는 장치이다. 다양한 실시 예에 따라, 상기 DB 220는 제 2서버 200와 별도로 구성될 수 있으며 제 2서버 200로부터 전송되는 Weight정보를 유무선 통신을 통해 수신하여 저장할 수 있다.
상기 DB 220는 VOD 파일별 Weight정보를 저장할 수 있으며, 상기 Weight정보에는 저화질 영상을 AI 기반 영상처리 동작에 따라 고화질 영상으로 변환하는 데 요구되는 가중치 파라미터인 Weight 와 더불어, 해당 Weight를 적용할 경우 산출되는 최종 해상도정보(예, HD-UHD; HD에서 UHD로 해상도 보정됨을 의미하는 정보)를 함께 포함하여 저장할 수 있다.
상기 제어부 230는 해상도 판단부 231, AI 영상 학습부 232, 객체 이미지 추출부 233, 콘텐츠 정보 수집부 234, 사용자 시청 정보 수집부 235, 사용자 시청 취향 정보 산출부 236을 포함하여 구성될 수 있다.
상기 제어부 230는 제 1 서버 100로부터 획득되는 동영상 파일에 대하여 SRCNN (Super Resolution Convolution Neural Networks, 이하 SRCNN)로 불리우는 딥러닝 알고리즘을 활용해 저해상도의 영상을 고해상도 영상으로 복원할 수 있도록 하는 정보인 Weight를 산출할 수 있다. 또한 상기 제어부 230는 사용자의 시청 정보 및 제 1서버 100로부터 획득된 VOD 동영상 정보들에 관한 정보를 수집하고, 수집된 정보를 일정 기준에 따라 분류하며, 이를 통해 사용자 특성에 맞춘 VOD 제공(예, 사용자 관심사별 VOD 추천)기능을 수행할 수 있다.
보다 상세하게는, 상기 제어부 230는 상기 해상도 판단부 231, AI 영상 학습부 232, 객체 이미지 추출부 233를 통해 저화질 파일을 고화질 파일로 복원하는 데 요구되는 Weight정보를 산출할 수 있으며, 콘텐츠 정보 수집부 234, 사용자 시청 정보 수집부 235, 사용자 시청 취향 정보 산출부 236를 통해 사용자 특성에 맞춘 VOD 서비스를 제공할 수 있다.
먼저, 상기 해상도 판단부 231는 제 1서버 100로부터 획득된 VOD 파일의 해상도가 기설정된 수준 이상의 해상도인지 여부를 판단할 수 있다. 해상도 판단 결과에 따라 상기 AI 영상 학습부 232는 획득된 영상에 대한 영상 학습 방식을 결정할 수 있다. 먼저, 상기 해상도 판단부 231가 제 1 VOD 파일의 해상도를 판단한 결과, 해상도가 기 설정된 수준 이상의 고해상도인 것으로 판단된 경우, 상기 AI 영상 학습부 232는 제 1 VOD 파일을 기반으로 저해상도 영상을 추출하고 추출된 저해상도 영상과 고해상도 영상의 Patch를 이용해 AI 영상학습(예, SRCNN)을 수행할 수 있다. 이 때 상기 AI 영상 학습부 232는 영상 학습의 결과로 저해상도 영상에서 고해상도 영상을 구현하는데 요구되는 정보인 Weight 정보를 산출하게 된다. 그리고 상기 AI 영상 학습부 232는 산출된 Weight 정보를 해당 VOD 파일의 ID 정보와 함께 DB 220에 별도 저장하도록 제어할 수 있다.
한편, 제 1서버 100로부터 획득된 제 1 VOD 파일의 해상도가 기 설정된 해상도 미만의 저화질 영상인 경우, 해당 VOD 파일로부터 추출된 다수개의 이미지를 기반으로 학습하여 Weight 산출할 수 있다. 이 때 제 1 VOD 파일로부터 추출된 다수개의 이미지는 모두 기설정된 해상도 미만의 저화질 이미지이며, 추출된 다수개의 저화질 이미지들의 자기 유사성을 이용하여 해상도를 향상시킬 수 있는 Weight를 산출할 수 있다. 이 경우 상기 AI 영상 학습부 232는 본 발명의 다양한 실시 예에 따라 SRCNN 외의 방식으로 AI 영상 학습을 수행하고, 이를 기반으로 Weight를 산출할 수 있다.
상기 해상도 판단부 231의 해상도 판단 동작은 생략되고 일괄적으로 모든 VOD 파일에 대하여 동일한 방식의 영상 학습 방식을 수행할 수도 있다.
상기 AI 영상 학습부 232는 SRCNN 방식에 따라 AI 영상 학습을 수행하는 것을 특징으로 하나, 이에 제한되는 것은 아니며, 다양한 실시 예에 따라, 기타의 방식(예, VDSR, DRCN)에 따른 AI 영상학습을 수행하고 VOD 파일별 Weight 정보를 산출할 수 있다.
상기 객체 이미지 추출부 233는 제 1 VOD 파일로부터 Weight 추출 시, 전체 이미지의 사이즈가 기 설정된 수준 이상이거나, Weight의 용량이 기 설정된 용량 수준 이상인 경우, 제 1 VOD 파일의 이미지 중 일부 이미지만을 선택적으로 샘플링할 수 있다. 상기 객체 이미지 추출부 233에서 샘플링된 일부 이미지는 예컨대, 모서리 부분을 제외한 중심 영역의 이미지가 해당될 수 있다. 또한 상기 객체 이미지 추출부 233는 제 1 VOD 파일이 포함하는 이미지들 중 기 설정된 객체(예, 인물 얼굴)이 감지되는 영역에 대하여 별도로 샘플링(예, 객체 이미지 샘플링)을 수행할 수 있다. 상기 객체 이미지 추출부 233에서 추출된 샘플링 이미지는 이후 상기 AI 영상 학습부 232에서 수행하는 AI 영상 학습을 거쳐 객체 이미지용 Weight를 산출할 수 있게 된다. 상기 객체 이미지용 Weight는 사용자 기기 300에서 객체 중심의 해상도 보정을 요청할 경우, 제공될 수 있으며, 상기 객체 이미지용 Weight는 전체 VOD 파일의 이미지 영역중 기 설정된 영역(객체 이미지로 샘플링된 영역)의 해상도만을 복원하는데 사용될 수 있다. 상기 객체 이미지용 Weight는 전체 이미지가 아닌 일부 이미지에 대하여만 적용되는 값이므로 Weight 용량의 크기를 감소시키고, 영상의 해상도 복원에 필요한 리소스와 시간을 절약할 수 있도록 하는 효과가 있다.
일 실시 예에서, 상술한 실시 예에 따라 객체 중심의 Weight를 이용한 해상도 보정이 제공되는 경우, 사용자 기기 300는 객체 기반의 Weight 검색 및 해상도 보정을 요청 및 수행할 수 있다.
예를 들어, 사용자 기기 300가 재생하고자 하는 영상 파일에 대한 정보가 없는 경우, 사용자 기기 300는 해당 영상 파일에 대한 Weight를 획득할 수 없고, 따라서 해상도 보정을 수행하기 어려울 수 있다. 예를 들어, 영상 파일은 제목(또는 ID)이 없는 동영상 프로그램이거나, 영화의 일부 장면을 편집한 클립 영상일 수 있다.
이 경우, 사용자 기기 300는 영상 파일로부터 하나 이상의 객체를 추출하고, 추출된 객체를 식별할 수 있다. 객체의 식별에는 기존에 학습된 모델이 활용될 수 있으며, 모델의 학습은 사용자 기기 300 또는 적어도 하나의 서버에서 미리 수행될 수 있다. 예를 들어, 사용자 기기 300는 영상 파일에 등장하는 캐릭터, 배우, 건물 및 소품 등 특정 객체를 식별 및 인식할 수 있으며, 이에 대응하는 영상의 종류 및 해당 영상의 장면을 검색 및 획득할 수 있다.
사용자 기기 300는 획득된 정보에 기초하여 사용자 기기 300 또는 제 2서버200 로부터 Weight를 획득한다. 실시 예에 따라서, 대응하는 Weight가 없는 경우, 사용자 기기 300는 영상 파일에 대응하는 고화질의 영상을 서버에서 검색하고, 검색된 고화질 영상을 이용하여 Weight를 획득하기 위한 AI 영상 학습을 수행할 수 있다. Weight 획득을 위한 학습에는 시간이 소요되므로, 사용자 기기 300는 사용자의 스트리밍 대상 플레이리스트에 저장되거나, 사용자 기기 300에 저장된 하나 이상의 영상 파일에 대해여 백그라운드에서 상기한 동작을 수행하고, 사용자가 시청하기 전에 미리 서버를 통해 학습을 진행하고, 학습이 완료되면 Weight를 획득하여 저장해둘 수 있다.
다른 예로, 사용자 기기 300가 재생하고자 하는 영상 파일에 대응하는 Weight가 사용자 기기 300 또는 제 2서버 200에 저장되어 있지 않는 경우, 사용자 기기 300는 별도의 학습절차 없이 객체 기반의 해상도 복원을 수행할 수 있다.
예를 들어, 사용자 기기 300는 상술한 방법에 따라 영상 파일로부터 하나 이상의 객체를 추출하고, 추출된 객체를 식별할 수 있다. 예를 들어, 사용자 기기 300는 영상 파일에 등장하는 캐릭터, 배우, 건물 및 소품 등 특정 객체를 식별 및 인식할 수 있으며, 이에 대응하는 객체 이미지용 Weight를 사용자 기기 300 또는 제 2서버 200 로부터 획득할 수 있다. 예를 들어, 특정 영화에 대한 Weight는 저장되어 있지 않아도, 해당 영화에 출연하는 배우에 대한 Weight는 이미 저장되어 있을 수 있다. 이 경우, 사용자 기기 300는 해당 배우에 대한 Weight를 획득하고, 획득된 Weight를 기반으로 해당 배우의 이미지에 대한 해상도 복원을 수행할 수 있다.
또한, 객체는 특정되지 않는 일반적인 객체를 포함할 수 있다. 예를 들어, 보도블럭이나 전신주, 건물, 자동차 등의 객체는 특정되지 않으며, 소정의 기준에 따라 분류된 Weight가 미리 저장될 수 있다. 따라서, 사용자 기기 300는 영상에 차도, 건물, 자동차 등 일반적인 객체가 있는 것으로 식별되는 경우, 이에 대응하는 Weight를 획득한 후, 각각의 일반적인 객체에 대한 해상도 복원을 수행함으로써 영상의 전체적인 품질을 향상시킬 수 있다.
상기 콘텐츠 정보 수집부 234는 제 1서버 100로부터 제공받고, AI 영상학습을 수행한 이력이 있는 VOD 파일 위주의 콘텐츠 정보를 수집할 수 있다. 상기 콘텐츠 정보란 VOD 파일을 항목별로 분류하기 위해 요구되는 정보이며, 예컨대, 콘텐츠 종류(예, 영화, 드라마, M/V, 예능, 애니메이션 등), 명칭(예, 김과장(드라마 명칭), 데드풀(영화 명칭)), 시즌 및 회차, 줄거리, 등장인물 등의 정보가 이에 해당될 수 있다.
다양한 실시 예에 따라 상기 콘텐츠 정보 수집부 234는 추후 사용자가 주로 요청하는 콘텐츠의 속성을 판단할 수 있도록 하기 위해 사용자로부터 Weight가 빈번히 요청되는 콘텐츠(조회수가 많은 VOD에 대한 콘텐츠 정보)에 대한 콘텐츠 정보를 수집하도록 제어할 수 있다. 상기 콘텐츠 정보 수집부 234는 제 1 VOD 파일에 포함되는 명칭, 회차 등의 내부 콘텐츠 정보를 수집할 수 있다. 또한 상기 콘텐츠 정보 수집부 234는 상기 제 1 VOD 파일에 포함되는 내부 콘텐츠 정보를 기반으로 해당 콘텐츠의 줄거리, 등장인물 등의 외부 콘텐츠 정보를 추가로 수집할 수 있다.
또한 상기 콘텐츠 정보 수집부 234는 다양한 실시 예에 따라 수집된 콘텐츠 정보에 기반하여 AI 영상 학습부 232의 동작을 제어할 수 있다. 예를 들어, '드라마/김과장/1회'로 분류되는 VOD가 20개(예, 총 1시간의 콘텐츠일 경우 5분짜리 분할된 영상 클립이 다수개 존재할 수 있음) 존재한다고 할 때, 20개의 VOD는 하나의 묶음으로 분류될 수 있다. 그리고 상기 AI 영상 학습부 232는 상기 20개의 콘텐츠 중 임의의 콘텐츠에 대하여 Weight 산출을 위한 AI 영상학습 동작 중, 상기 콘텐츠 정보에 기반하여 동일 분류된 콘텐츠들 중에서 유사한 썸네일 이미지를 보유하는 VOD를 추가 참조하여 영상 학습을 수행할 수 있다.
상기 사용자 시청 정보 수집부 235는 사용자 기기 300로부터 수신된 VOD 요청 신호에 기반하여 정보를 수집할 수 있다. 또한 상기 사용자 시청 정보 수집부 235는 제 1서버 100로부터 사용자의 시청 정보(예, 조회수 정보)를 수집할 수도 있다. 상기 사용자 시청 정보 수집부 235는 사용자 계정으로부터 사용자 정보(성별, 연령대. 국가 등)를 수집할 수 있다. 또한 상기 사용자 시청 정보 수집부 235는 사용자 계정별 접속 횟수 관련 정보(예, 1달 평균 접속 횟수), 시청 VOD의 ID 또는 분류 항목 정보(예, 사용자별 시청 VOD 리스트 형태로 기록될 수 있음) 등의 시청 정보를 수집할 수 있다. 다양한 실시 예에 따라 상기 사용자 시청 정보 수집부 235는 동일 VOD 콘텐츠의 평균 반복 재생횟수, 주 해상도 선택 정보 등을 추가로 수집할 수 있다.
상기 사용자 시청 취향 정보 산출부 236은 상기 콘텐츠 정보 수집부 234 및 사용자 시청 정보 수집부 235에서 수집된 정보들을 기반으로 사용자의 VOD 취향과 관련된 정보를 산출할 수 있다. 상기 사용자 시청 취향 정보 산출부 236은 예컨대, 임의 VOD 시청 횟수 또는 제 1 서버 100(VOD 서비스 웹페이지 또는 어플리케이션)로의 접속 횟수가 기 설정된 기준치(예, 3회/1주일)이상인 사용자에 대하여 시청 취향 정보를 산출할 수 있다. 또는 상기 사용자 시청 취향 정보 산출부 236는 모든 사용자에 대하여 시청 이력이 있는 VOD 파일 및 해당 VOD 파일과 관련된 콘텐츠 정보를 기반으로 시청 취향 정보를 산출할 수 있다. 또는 상기 사용자 시청 취향 정보 산출부 236은 사용자 정보를 기반으로 특정 연령대별, 또는 성별 시청 취향 정보를 산출할 수 있다.
또한 상기 사용자 시청 취향 정보 산출부 236는 사용자별 관심 VOD를 판단하기 위해, 사용자 시청 정보 수집부 235로부터 수집된 시청 정보를 활용할 수 있다. 상기 사용자 시청 취향 정보 산출부 236은 각 사용자별 시청 VOD 파일 리스트 등의 시청 정보를 기반으로 사용자가 선호하는 VOD 파일의 특징을 산출할 수 있다. 이 때 상기 사용자 시청 취향 정보 산출부 236는 사용자의 시청 VOD 파일 각각의 정보를 콘텐츠 정보에 따라 분류한 후, 기 설정된 횟수(또는 비율) 이상 시청된 항목의 정보를 사용자가 선호하는 콘텐츠 분류인 것으로 판단할 수 있다. 예컨대, 사용자 시청 취향 정보 산출부 236은 사용자의 시청 VOD 리스트 각각에 대하여 분류 항목에 대한 식별값을 부여할 수 있다.
이후 상기 사용자 시청 취향 정보 산출부 236은 특정 사용자의 시청 VOD리스트에 부여된 식별값 정보들을 기반으로 해당 사용자의 선호 VOD 항목 정보를 판단할 수 있다. 예컨대, 임의 사용자 A의 시청 VOD 리스트에 부여된 식별값 중 기 설정된 비율 이상이 드라마(종류), 추리물(장르)에 해당하는 것으로 판단될 경우, 상기 사용자 시청 취향 정보 산출부 236은 해당 사용자의 취향을 (1) 드라마, (2) 추리물 로 판단할 수 있다. 이후 사용자 시청 취향 정보 산출부 236은 해당 사용자에게 추리물 및 드라마로 분류되는 VOD를 추천하도록 제 1서버 측에 추천 정보를 제공할 수 있다. 이에 따라 상기 제 1서버는 해당 사용자 접속 시, 새로 업데이트된 VOD 파일 중 추리물인 드라마가 존재하는 경우 상기 해당 사용자에의 접속 페이지 화면에 해당 VOD를 추천하는 화면을 표시하거나, 사용자 기기 300측에 업데이트 정보를 푸쉬알림으로 전달할 수 있다.
또한, 상기 사용자 시청 취향 정보 산출부 236은 다수의 사용자가 선호하는 것으로 판단되는 VOD(예, 시리즈물)가 제 1서버 100에 업데이트되면, 해당 VOD를 우선하여 제 2서버로 획득한 후 AI 영상학습을 수행하도록 제어할 수 있다. 즉, 상기 제어부 230는 제 1서버 100로부터 획득되는 제 1 VOD의 AI 영상 학습의 우선순위를 판단할 시, 상기 사용자 시청 취향 정보 산출부 236에서 산출한 사용자 시청 취향 정보에 기반하여 결정할 수 있다.
다양한 실시 예에 따라 상기 제어부 230는 제 1서버 100로부터 획득되는 제 1 VOD의 AI 영상 학습의 우선순위를 설정할 시, 충성도가 높은 사용자의 선호 영상에 우선순위를 더 부여할 수 있다. 상기 충성도는 VOD 제공 서버로의 접속 횟수 및 시청 횟수에 기반하여 판단될 수 있다. 예를 들어, 제 1서버 100 접속 횟수 및 제 1서버 100를 통한 VOD 시청 횟수가 기 설정된 수준 이상인 사용자가 선호하는 A 드라마와, 접속 횟수 및 시청 횟수가 기 설정된 수준 미만인 사용자가 선호하는 B 드라마 중 상기 제어부는 A드라마를 우선하여 AI 영상 학습을 수행하도록 순위를 지정할 수 있다.
또한, 본 발명의 다양한 실시 예에 따라 상기 제어부 230는 키워드 기반 VOD추천부(미도시)를 더 포함할 수 있다. 상기 키워드 기반 VOD 추천부는 학습된 VOD 파일을 대상으로 VOD의 줄거리와 사용자 리뷰를 인공지능으로 학습시키고, 웹 서버 등에서 추천되는 트렌드 키워드와 관련된 VOD파일을 추천하는 동작을 수행할 수 있다. 예를 들어, 상기 키워드 기반 VOD 추천부는 웹에서 자주 검색되는 드라마 명칭, 배우 이름에 기반하여 해당 명칭의 콘텐츠 또는 해당 배우가 출연한 콘텐츠를 해당 시점에서 이슈인 콘텐츠로 판단하고, 이를 사용자에게 추천할 수 있다.
도 4는 본 발명의 실시 예에 따른 AI 영상 학습 동작의 순서를 도시한 순서도이다.
본 발명의 실시 예에 따른 제 2서버 200는 제 1서버로부터 VOD 파일을 획득하는 405 동작을 수행할 수 있다. 이후 상기 제 2서버 200는 획득한 VOD 파일에 대한 AI 영상학습 수행 및 고화질 복원에 요구되는 Weight를 산출하는 410동작을 수행할 수 있다. 이 때 상기 제 2서버 200는 제어부 230를 통해 획득된 VOD 파일의 고화질 복원용 Weight를 산출하게 된다.
이후 상기 제 2서버 200의 제어부 230는 산출된 Weight를 콘텐츠 ID 별로 분류하여 DB 220에 저장하는 415동작을 수행할 수 있다.
상기 순서에 따라 제 2서버 200에서는 제 1서버 100에서 보유한 VOD파일에 대응하는 해상도 복원용 Weight를 산출하고 별도의 DB 220에서 보유할 수 있게 된다. 상기 Weight 의 파라미터 크기가 클수록 고해상도 복원율은 높아질 것이나 VOD 서비스 가용성이 떨어질 것으로 예상할 수 있다. 이에 따라 산출되는 Weight의 크기는 일정한 용량(예, 10MB미만)을 유지하도록 지정될 수 있다.
도 5는 본 발명의 실시 예에 따라 제 2서버에서 해상도 복원을 수행하기 위한 동작의 순서를 도시하는 순서도이다.
상기 제 2서버 200의 제어부 230는 특정 VOD 파일에 대한 전송 요청 신호를 수신할 수 있다. 이 때 상기 제 2서버 200에서 특정 VOD파일에 대한 전송 요청 신호는 사용자 기기 300로부터 직접 수신할 수 있다. 이 경우 사용자 기기 300는 VOD 서비스를 제공하는 제 1서버 100측에 접속할 시, 자동으로 제 2서버 200측에 대한 정보를 수신하고, 제 1서버 100측에 VOD를 요청할 시, 동일 신호를 제 2서버 200측에도 요청하도록 설정될 수 있다.
또는, 상기 제 2서버 200는 제1서버로부터 VOD 서버에 접속한 사용자 기기 300정보를 제공받고, 사용자 기기로부터 제 1서버 100가 VOD 요청 신호를 수신하면, 해당 신호를 제 1서버 100가 제 2서버 200측에 전달할 수 있다. 이에 따라 제 2서버 200는 전송 요청된 VOD 파일에 대한 정보 및 사용자 기기 300의 정보를 수신할 수 있게 된다.
이후 상기 제 2서버 200의 제어부 230는 요청된 VOD 파일에 대응하는 Weight를 탐색하는 510동작을 수행할 수 있다.
상기 제어부 230는 DB 내 해당 VOD 파일에 대응하는 Weight가 존재하는지 여부를 판단하는 515동작을 수행할 수 있고, 대응 Weight 가 존재하는 경우 상기 제어부 230는 해당 Weight를 사용자 기기 300측에 전송하도록 통신부를 제어하는 520동작을 수행할 수 있다. 반면, 선택된 VOD에 대응하는 Weight가 존재하지 않는 것으로 판단되면, 상기 제어부 230는 해당 VOD 파일에 대한 AI 영상 학습 순서에 중요도 가중치를 부여하는 525동작을 수행한 후 본 동작을 종료할 수 있다.
본 발명의 실시 예에 따른 제어부 230는 VOD 파일에 대한 AI 영상 학습의 우선순위를 결정할 수 있고, 설정된 순서 정보에 기반하여 VOD파일의 AI 영상 학습 동작을 수행할 수 있다. 예컨대, 상기 제어부 230가 수행하는 AI 영상 학습의 순서 결정은 점수 산정 방식에 따라 수행될 수 있으며, 새롭게 업데이트되는 VOD 영상들에 대하여 기존 조회수가 기 설정된 기준치 이상인 콘텐츠의 후속작(작품명이 동일하고, 회차 정보가 다른 VOD 파일을 동일 콘텐츠의 후속작으로 판단할 수 있음)의 경우, 이전 VOD 콘텐츠의 조회수 정보에 기반하여 점수를 부여할 수 있다. 그리고 상기 525동작에서 설명한 바와 같이, 사용자의 요청이력이 있는 경우, 상기 제어부 230는 AI 영상학습의 순서를 결정하기 위한 점수 산정시 가중치를 부여할 수 있다.
이 밖에도 다양한 방식에 따라 상기 제어부 230는 사용자들의 관심도가 높은 VOD 콘텐츠를 판단할 수 있고 그에 따라 사용자들의 관심도가 높은 VOD 콘텐츠에 대하여 우선적으로 AI 영상 학습을 수행할 수 있다.
본 발명의 다양한 실시 예에 따라 제 2서버 200는 1차적으로 학습된 pretrained 모델을 재이용하여 추가 학습을 수행할 수 있다(예컨대, 특정 VOD 파일에 대한 전송 요청 신호 수신에 대응하여 추가 학습을 수행할 수 있음). 이에 따라 본 발명의 실시 예에 따른 AI 영상 학습 동작은 학습시간을 단축시킬 수 있다.
도면에 도시되지는 않았지만, 제 2서버 200에서의 상기 동작 이후 사용자 기기 300측에서는 수신된 제 1 VOD 파일(저해상도 영상)과 해당 VOD에 대응하는 Weight을 AI 고해상도 동영상 재생 프로그램 301상에서 구동하여 복원된 고해상도의 영상(제 2 VOD파일)을 생성하고 이를 재생시킬 수 있다.
상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다. 요컨대 본 발명이 의도하는 효과를 달성하기 위해 도면에 도시된 모든 기능 블록을 별도로 포함하거나 도면에 도시된 모든 순서를 도시된 순서 그대로 따라야만 하는 것은 아니며, 그렇지 않더라도 얼마든지 청구항에 기재된 본 발명의 기술적 범위에 속할 수 있음에 주의한다.
100 : 제 1서버
200 : 제 2서버
210 : 통신부
220 : DB
230 : 제어부
231 : 해상도 판단부
232 : AI 영상 학습부
233 : 객체 이미지 추출부
234 : 콘텐츠 정보 수집부
235 : 사용자 시청 정보 수집부
236 : 사용자 시청 취향 정보 산출부
300 : 사용자 기기
200 : 제 2서버
210 : 통신부
220 : DB
230 : 제어부
231 : 해상도 판단부
232 : AI 영상 학습부
233 : 객체 이미지 추출부
234 : 콘텐츠 정보 수집부
235 : 사용자 시청 정보 수집부
236 : 사용자 시청 취향 정보 산출부
300 : 사용자 기기
Claims (1)
- VOD 서비스를 제공하는 시스템에 있어서,
VOD 파일을 저장하고, 사용자 기기로부터의 요청에 따라 상기 VOD 파일의 전송 서비스를 제공하는 제 1서버;
상기 제 1서버로부터 VOD 파일을 제공받아, 개별 VOD 파일에 대한 AI 영상학습을 수행하고, 상기 AI 영상학습의 결과로 개별 VOD 파일에 대응하는 Weight를 산출하며, 사용자 기기로부터 발생된 VOD 전송 요청에 대응하여 요청된 VOD 파일에 대응하는 Weight를 사용자 기기에 전송하는 제 2서버;
상기 제 2서버에 의해 학습된 VOD파일의 아이디 및 상기 VOD파일의 AI 영상학습의 결과로 산출된 Weight를 저장하는 DB; 및
상기 제 1서버에 영상 파일 전송을 요청하고, 상기 제 1서버로부터 영상 파일을 수신하며, 제 2서버로부터 전송 요청한 영상 파일에 대응하는 Weight를 수신하여 상기 Weight를 적용한 영상 파일을 실행시키는 사용자 기기;를 포함하되,
상기 제 2서버는
VOD 파일별 콘텐츠의 종류, 명칭, 줄거리, 등장인물 중 적어도 하나를 포함하는 콘텐츠 정보를 수집하고,
사용자 시청 정보를 수집하여, 해당 사용자의 시청 비율이 기 설정된 기준치 이상이면 사용자의 시청 정보 및 상기 콘텐츠 정보에 기반하여, 상기 사용자의 시청 취향 정보를 산출하고, 상기 산출된 시청 취향 정보에 대응하는 VOD 콘텐츠 업데이트 시 해당 VOD를 해당 사용자에게 추천하고,
AI 영상학습 수행 시, 다수 사용자의 시청 취향 정보에 대응하는 신규 VOD 파일을 우선하여 AI 영상학습을 수행하도록 선정하며,
상기 산출된 시청 취향 정보를 기반으로 연령대별 및 성별 시청 취향 정보를 산출하며, 상기 산출된 시청 취향 정보에 기반하여 다수의 사용자가 선호하는 것으로 판단되는 VOD에 대하여 AI 영상 학습의 우선순위를 부여하되, 충성도가 높은 사용자의 선호영상일수록 AI 영상학습의 우선순위가 부여되도록 설정하고, 상기 충성도는 VOD를 실행하기 위한 접속 횟수 및 VOD 시청 횟수에 기반하여 판단하는 제어부;를 포함하고,
상기 제어부는
상기 제 1서버로부터 임의의 VOD 파일을 획득하여, Weight 추출 시, 전체 이미지의 사이즈가 기 설정된 수준 이상인 경우, 상기 VOD 파일의 이미지 중 일부 이미지만을 선택적으로 샘플링하되, 기 설정된 객체가 감지되는 영역에 대하여 샘플링을 수행하고, 샘플링된 이미지 영역을 기반으로 AI 영상 학습을 수행하며, 상기 객체가 포함된 이미지 영역으로부터 산출된 Weight를 객체 이미지용 Weight로 별도로 지정하여 저장하고,
사용자에 의해 객체 중심 해상도 복원이 선택된 경우, 상기 객체 이미지용 Weight를 사용자 기기에 제공하도록 제어하는 객체 이미지 추출부;를 포함하고,
상기 객체는 특정 인물의 얼굴 이미지를 포함하여 설정되며
상기 AI 영상학습은
SRCNN(Super Resolution Convolution Neural Networks) 기법에 따른 학습 동작인 것을 특징으로 하는 객체 중심의 해상도 복원 기능을 수행하는 영상 학습 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180141174A KR102130073B1 (ko) | 2018-11-15 | 2018-11-15 | 객체 중심의 해상도 복원 기능을 수행하는 영상 학습 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180141174A KR102130073B1 (ko) | 2018-11-15 | 2018-11-15 | 객체 중심의 해상도 복원 기능을 수행하는 영상 학습 시스템 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180057904A Division KR101933696B1 (ko) | 2018-05-21 | 2018-05-21 | Ai 영상학습 플랫폼 기반 vod 서비스 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190140813A true KR20190140813A (ko) | 2019-12-20 |
| KR102130073B1 KR102130073B1 (ko) | 2020-07-03 |
Family
ID=69062753
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180141174A Active KR102130073B1 (ko) | 2018-11-15 | 2018-11-15 | 객체 중심의 해상도 복원 기능을 수행하는 영상 학습 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102130073B1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102270818B1 (ko) * | 2020-12-24 | 2021-06-29 | 전남대학교산학협력단 | 모바일 엣지 컴퓨팅 기반 슈퍼-레졸루션 스트리밍 영상 전송 시스템 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220071011A (ko) | 2020-11-23 | 2022-05-31 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060132951A (ko) * | 2004-02-26 | 2006-12-22 | 야후! 인크. | 추천을 생성하기 위한 방법 및 시스템 |
| KR20110022377A (ko) * | 2009-08-27 | 2011-03-07 | 주식회사 케이티 | 매칭 정보를 제공하는 통합 프로그램 가이드 제공 시스템 및 방법 |
| KR20110091991A (ko) * | 2010-02-08 | 2011-08-17 | 삼성전자주식회사 | 고화질 영상 획득을 위한 학습 기반 고해상도 향상 장치 및 방법 |
| KR101780057B1 (ko) * | 2016-08-02 | 2017-09-19 | 한양대학교 에리카산학협력단 | 고해상도 영상 복원 방법 및 장치 |
| KR101791573B1 (ko) * | 2016-10-21 | 2017-10-31 | 서강대학교산학협력단 | 컨볼루션 신경망을 이용한 비디오 스트림에 대한 수퍼 해상도 장치 및 방법 |
-
2018
- 2018-11-15 KR KR1020180141174A patent/KR102130073B1/ko active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20060132951A (ko) * | 2004-02-26 | 2006-12-22 | 야후! 인크. | 추천을 생성하기 위한 방법 및 시스템 |
| KR20110022377A (ko) * | 2009-08-27 | 2011-03-07 | 주식회사 케이티 | 매칭 정보를 제공하는 통합 프로그램 가이드 제공 시스템 및 방법 |
| KR20110091991A (ko) * | 2010-02-08 | 2011-08-17 | 삼성전자주식회사 | 고화질 영상 획득을 위한 학습 기반 고해상도 향상 장치 및 방법 |
| KR101780057B1 (ko) * | 2016-08-02 | 2017-09-19 | 한양대학교 에리카산학협력단 | 고해상도 영상 복원 방법 및 장치 |
| KR101791573B1 (ko) * | 2016-10-21 | 2017-10-31 | 서강대학교산학협력단 | 컨볼루션 신경망을 이용한 비디오 스트림에 대한 수퍼 해상도 장치 및 방법 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102270818B1 (ko) * | 2020-12-24 | 2021-06-29 | 전남대학교산학협력단 | 모바일 엣지 컴퓨팅 기반 슈퍼-레졸루션 스트리밍 영상 전송 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102130073B1 (ko) | 2020-07-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102082816B1 (ko) | 스트리밍 파일의 해상도 개선 방법 | |
| JP6364424B2 (ja) | メディアアセットに関するコンテクスト上関係する情報を表示するための方法およびシステム | |
| KR100867005B1 (ko) | 개인 맞춤형 멀티미디어 데이터 검색 서비스 방법 및 그의 장치들 | |
| US20190294729A1 (en) | Content Type Detection In Videos Using Multiple Classifiers | |
| KR101933696B1 (ko) | Ai 영상학습 플랫폼 기반 vod 서비스 시스템 | |
| US8700650B2 (en) | Search results comparison methods and systems | |
| CN104216956B (zh) | 一种图片信息的搜索方法和装置 | |
| US11368758B2 (en) | VOD service system based on AI video learning platform | |
| CN114845149A (zh) | 视频片段的剪辑方法、视频推荐方法、装置、设备及介质 | |
| CN113315987A (zh) | 视频直播方法和视频直播装置 | |
| KR102130073B1 (ko) | 객체 중심의 해상도 복원 기능을 수행하는 영상 학습 시스템 | |
| KR101997909B1 (ko) | 해상도 복원을 위한 ai 영상학습 파라미터 추출 프로그램 및 기록매체 | |
| KR102130075B1 (ko) | 사용자 시청 취향 정보를 활용한 해상도 복원용 영상학습 지원 시스템 | |
| KR20200024541A (ko) | 동영상 컨텐츠 검색 지원 방법 및 이를 지원하는 서비스 장치 | |
| KR102069897B1 (ko) | 사용자 영상 생성 방법 및 이를 위한 장치 | |
| KR102130076B1 (ko) | 특징 영역의 학습 중요도를 바탕으로 스트리밍 파일의 해상도를 개선하는 방법 | |
| US10003854B2 (en) | Method and system for content recording and indexing | |
| WO2015051611A1 (zh) | 一种内容匹配方法、装置及系统 | |
| CN103533009A (zh) | 一种基于Web技术实现音视频推荐的方法和系统 | |
| KR101933698B1 (ko) | Ai 영상학습을 통한 가중치 추출 및 제공 장치 | |
| KR101933699B1 (ko) | Ai 영상학습 기반 해상도 향상 방법 | |
| KR102036383B1 (ko) | 콘텐츠 생성 방법 및 그 장치 | |
| KR102130074B1 (ko) | 열악한 네트워크 환경에서의 고화질 vod 제공 시스템 | |
| CN117014649A (zh) | 视频处理方法、装置及电子设备 | |
| US20210011943A1 (en) | Systems and methods for recommending media assets based on objects captured in visual assets |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| A201 | Request for examination | ||
| PA0107 | Divisional application |
Comment text: Divisional Application of Patent Patent event date: 20181115 Patent event code: PA01071R01D Filing date: 20180521 Application number text: 1020180057904 |
|
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20200110 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20200520 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20200629 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20200629 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20240729 Start annual number: 5 End annual number: 5 |