KR100711281B1

KR100711281B1 - 멀티미디어 데이터 스트림을 제공하는 방법 및 장치

Info

Publication number: KR100711281B1
Application number: KR1020057020420A
Authority: KR
Inventors: 저스틴 릿쥐
Original assignee: 노키아 코포레이션
Priority date: 2003-05-02
Filing date: 2004-04-23
Publication date: 2007-04-25
Also published as: US20040220966A1; US6895410B2; CN1784652A; CN100454233C; KR20060017595A; EP1631900A1; WO2004097623A1

Abstract

멀티미디어 데이터 스트림으로부터 객체들을 제거하기 위한 페널티들(11c)에 따라, 그리고 각 객체에 대한 인코딩 크기/전송 레이트(R_i) 및 품질(Q_i)간의 관계들에 따라 개선된 종합 품질(Q_i)을 제공하기 위하여, 멀티미디어 데이터 스트림의 다른 타입들의 객체들을 인코딩하기 위한 방법 및 대응하는 장치(11)가 개시된다. 멀티미디어 데이터 스트림이 제공되는데, 상기 멀티미디어 데이터 스트림에서 멀티미디어 스트림의 다른 종류들의 객체들 각각에 품질 값을 할당하기 위해 본 발명에 의해 제공되는 규칙들에 따라 다른 객체들의 품질은 유사한 경향을 가진다.

Description

멀티미디어 데이터 스트림을 제공하는 방법 및 장치{Method and apparatus for providing a multimedia data stream}

본 발명은 멀티미디어 메시지를 위한 한 세트의 채널들 또는 통신 채널을 제공하는 원격통신시스템을 통해 멀티미디어 메시지를 전달하는 방법에 관한 것이며, 여기서 채널(또는 채널들)에 대해 데이터 레이트가 레이트 제한조건에 종속되거나 또는 멀티미디어 메시지의 전체 크기가 크기 제한조건에 종속되거나, 또는 채널 (또는 채널들) 데이터 레이트 및 메시지 크기 모두가 제한된다. 더욱 상세하게는, 본 발명은 메시지의 다른 객체들의 품질에서의 균일성(uniformity)의 척도 및 종합 품질의 척도 모두의 관점에서 또는 종합 품질의 일부 척도의 관점 중 하나에서 높은 종합 품질(overall quality)을 제공하도록 멀티미디어 메시지의 다른 객체들을 인코딩하는 것에 관련된다.

일부 통신 프로토콜들에서, 멀티미디어 데이터 스트림의 객체들(즉, 함께 정보를 전달하도록 동일한 시간 주기에 모두 전달되어야 하는 한 세트의 시퀀스들의 비트들, 예를 들면 비디오 클립 객체와 동기되는 오디오 클립 객체)은 전체 크기의 제한조건, 즉 멀티미디어 데이터 스트림에서 비트들의 총 수는 어떠한 수의 비트들을 초과하도록 허용되지 않는다는 제한조건에 종속된다. 그러한 제한 조건은 프로토콜 자체 때문일 수 있거나, 또는 멀티미디어 데이터 스트림을 수신하거나 전송하는 장치의 제한들과 같은 다른 인자들(즉, 상기 장치들중 하나에 포함되는 메모리의 크기) 때문일 수 있다. 만약 메시지를 전달하는데 사용되는 하나 이상의 통신 채널들이 최대 레이트 제한에 종속된다면, 부가적인 또는 대안적인 제한 조건이 존재할 수 있다. 최대 허용 데이터 레이트 및/또는 크기에 대응하여 멀티미디어 데이터 스트림을 구성하는 다른 객체들의 최대 허용 크기들이 존재한다. 따라서, 멀티미디어 데이터 스트림의 전달을 위한 채널들의 세트 또는 채널(각 채널은 개별적인 또는 집합적인 레이트 제한에 종속한다)을 제공하는 원격통신시스템에는, 충실해야 하는 데이터 크기 버짓(budget) 또는 초과되지 말아야 하는 대응하는 데이터 레이트 허용도(allowance)가 있다. 바꾸어 말하면, N개의 객체들을 전달하는 멀티미디어 데이터 스트림에서, 멀티미디어 데이터 스트림을 구성하는 다른 개개의 객체들 i의 레이트들/크기들 R_i는

과 같아야 하며, 여기서 R_M은 최대 허용 데이터 레이트/크기이다.

그러한 제한의 관점에서, 원격통신시스템을 통해 전달되어야 하는 한세트의 다른 타입들의 객체들이 주어진다면, 최대 허용 총 데이터 레이트/크기와 같거나 또는 적은 총 데이터 레이크/크기를 가지도록, 그럼에도 불구하고 어떠한 품질 척도에 따른 높은 종합 품질을 가지도록 다른 객체들을 최적으로 인코딩해야 하는 방법에 관한 문제가 발생한다. 비록 품질은 일반적으로 주관적인 것으로 이해되지만, 가령 하나의 객체(즉 비디오 클립)는 고 품질을 가지도록 전달되고, 다소간 같은 중요도의 다른 객체(즉, 대응하는 오디오 클릭)은 열악한 품질을 가지도록 전달되는 데이터 스트림에 비해서, 멀티미디어 데이터 스트림을 구성하는 다른 타입들의 객체들이 대략적으로 같은 품질을 가지도록 모두 전달된다면, 멀티미디어 데이터 스트림의 종합 품질은 높다라고 가정하는 것이 합리적이다.

따라서, 높은 종합 품질, 적어도 종합 품질중 일부의 합리적인 척도에 따른 높은 종합 품질을 제공하기 위하여, 그럼에도 불구하고 그의 총 레이트/크기가 충분히 낮다는 점을 보증함으로써 멀티미디어 데이터 스트림을 전달하기 위하여 멀티미디어 데이터 스트림의 다른 객체들을 어떻게 인코딩할 것인지에 대한 문제에 대한 해결책이 필요하다.

따라서, 본 발명의 제1 태양에서, 최대 허용 총 데이터 레이트와 같거나 작은 총 데이터 레이트에서 다른 타입들의 복수의 객체들을 전달하는 멀티미디어 데이터 스트림 제공방법에 있어서, 상기 방법은 상기 데이터 스트림의 각 객체에 대하여 상기 객체를 전송하기 위해 사용되는 다른 인코딩된 데이터 레이트 및 상기 전송되는 객체에 대하여 품질의 척도를 나타내는 결과적인 대응 품질간에 관계가 설정되는 단계; 및 상기 멀티미디어 데이터 스트림에 포함되며, 다른 객체들에 대한 데이터 레이트 값들(R_K)의 현재 선택된 값들에 기초한 상기 멀티미디어 데이터 스트림의 상기 다른 객체들에 대한 품질 값들(Q_K)과 비교할 때 현재 선택된 데이터 레이트(R_j)에 기초하여 일반적으로 낮은 품질 값(Q_j)을 가지는 객체에 대하여, 상기 설정된 관계(11b)를 사용해서, 더 높은 데이터 레이트 값(R'_j)이 상기 최대 허용 총 데이터 레이트(R_M)를 초과하는 상기 총 데이터 레이트(R)를 초래하지 않을 경우에, 더 높은 데이터 레이트 값(R'_j)이 선택되는 단계(33);를 포함하는 것을 특징으로 한다.

본 발명의 제1 태양에 따르면, 상기 객체를 전송하기 위해 사용되는 다른 인코딩된 데이터 레이트들 및 결과적인 대응 품질간의 상기 관계는 상기 객체의 통계 특징들에 기초하여 인코딩된 데이터 레이트에 주어진 품질 값들을 할당하는 것을 특징으로 한다. 더욱이, 상기 품질 값들은 상기 객체의 인코딩 또는 재인코딩을 수행한 이후 또는 상기 객체의 인코딩 또는 재인코딩을 수행함이 없이 상기 수신된 객체의 통계 특징들로부터 예측되는 것을 특징으로 한다.

또한, 본 발명의 제1 태양에 따르면, 객체에 대한 상기 관계는 한 세트의 이산 전송 레이트 값들의 각 전송 레이트에 품질 값을 할당하거나, 또는 이산 전송 레이트 값들의 범위의 어떠한 전송 레이트에 품질 값을 할당하는 것을 특징으로 한다.

또한 본 발명에 따른 제1 태양에 따르면, 상기 관계는 타입에 관계없이, 모든 객체들에 보편적인 범위의 특정 전송 레이트에 대한 객체에 품질 값을 할당하는 것을 특징으로 한다.

또한, 본 발명의 제1 태양에 따르면, 이미지 타입의 객체에 대해 상기 관계는

로 표현되며, 여기서 σ_r ²은 r에 의해 나타난 계수 지점(coefficient position)에서의 상기 객체에 대한 스펙트럼 편차이며, σ_r ²의 값은 적어도 상기 전송 레이트에 의존하며, q는 양자화 스케일을 나타내며, 또한 상기 전송 레이트에 의존하며, α 및 각각의 β_r은 가중치 값들인 것을 특징으로 한다.

또한, 본 발명의 제1 태양에 따르면, 이미지 타입의 객체에 대하여 상기 관계(11b)는

로 표현되며, 여기서 N은 상기 객체에서의 컬러들의 수를 나타내는 것으로 상기 전송 레이트에 의존하며, σ²은상기 객체의 상기 컬러 편차(color variation)를 나타내는 것으로 상기 전송 레이트에 의존하며, R_L은 상기 객체에 대한 견실성(solidity)을 정의하는 평균 런-랭스를 나타내는 것으로 또한 상기 전송 레이트에 의존하며, α,β,λ는 가중치 값들인 것을 특징으로 한다.

또한, 본 발명의 제1 태양에 따르면, 상기 방법은 만약 상기 객체가 없어도 상기 종합 품질에 대한 어떠한 소정의 척도에 따라 상기 멀티미디어 데이터 스트림으로부터 객체를 제거함으로써, 상기 멀티미디어 데이터 스트림의 종합 품질이 개선된다면, 상기 객체가 제거되는 단계;를 더 포함하는 것을 특징으로 한다. 더욱이, 상기 객체가 없는 상기 종합 품질에 대한 상기 소정의 척도는 상기 객체를 제거하기 위한 소정의 패널티를 고려하는 것을 특징으로 한다.

본 발명의 제2 태양에 따르면, 본 발명의 제1 태양에 따른 발명의 단계들을 수행하기 위한 수단을 포함하는 장치가 제공된다.

본 발명의 제3 태양에 따르면, 시스템이 제공되는데, 상기 시스템은 품질이 개선된 멀티미디어 데이터 스트림을 제공하기 위해, 상기 멀티미디어 데이터 스트림에 응답하는 본 발명의 제2 태양에 따른 장치; 상기 멀티미디어 데이터 스트림을 제공하기 위한 서버; 상기 품질이 개선된 멀티미디어 데이터 스트림을 의도된 무선 단말기로 무선 전송하기 위해, 상기 품질이 개선된 멀티미디어 데이터 스트림에 응답하는 무선 액세스 네트워크; 및 상기 무선 전송된 품질이 개선된 멀티미디어 데이터 스트림에 응답하는 무선 단말기;를 포함하는 것을 특징으로 한다.

본 발명의 제4 태양에 따르면, 컴퓨터 프로그램 생성물이 제공되는데, 상기 컴퓨터 프로그램 생성물은 최대 허용 총 데이터 레이트와 같거나 또는 적은 총 데이터 레이트에서 다른 타입들의 복수의 객체들을 전달하는 멀티미디어 데이터 스트림이 제공되는 장치에서 컴퓨터 프로세서에 의한 실행을 위해 컴퓨터 프로그램 코드를 구현하는 컴퓨터로 독출 가능한 저장 구조;를 포함하는 컴퓨터 프로그램 생성물로, 상기 컴퓨터 프로그램 코드는 본 발명의 제1 태양의 방법의 단계들을 수행하기 위한 명령어들을 포함하는 것을 특징으로 한다.

본 발명의 위의 그리고 다른 목적들, 특징들 및 장점들은 첨부된 도면들과 관련하여 제공되는 이후의 상세한 설명을 고려함으로써, 명백해질 것이다.

도 1a는 무선 단말기에 멀티미디어 데이터 스트림을 제공하는데 관계된 원격통신시스템의 구성요소들의 블록도/흐름도이다.

도 1b는 멀티미디어 데이터 스트림에 포함될 수 있는 특정 타입의 객체에 대한 레이트 대 품질 관계의 도식적 표현이다.

도 2는 개선된 품질의 멀티미디어 데이터 스트림을 제공하기 위한 본 발명에 따른 방법의 흐름도이다.

도 3은 도 2에서 기술된 방법에 의해 사용될 수 있는 워터-필링 타입의 알고리즘의 흐름도이다.

도 4는 멀티미디어 데이터 스트림으로부터 객체를 제거하기 위한 알고리즘의 흐름도로, 도 2에서 기술된 방법에 의해 또한 사용될 수 있는 알고리즘이다.

이제 도 1a를 참조하면, 무선 단말기(14)는 RAN(Radio Access Network)(13)을 통해 멀티미디어 메시지 서비스 센터(Multimedia Messaging Service Center, MMSC)(11)의 멀티미디어 메시지 개조 엔진(Multimedia Message Adaptation Engine, MMAE)(11a)로부터 최대 허용 총 레이트 R_M보다 적거나 또는 같은 총 레이트 R로 멀티미디어 데이터 스트림을 수신하도록 도시되어 있으며, 레이트 R은 멀티미디어 메시지의 개개의 객체들을 전달하기 위해 필요한 레이트들의 합이며, 즉, 멀티미디어 메시지가 N개의 객체들(objects)을 포함한다고 가정할 때,

과 같으며, 여기서, Ri는 메시지내의 N개의 객체들중에서 객체 i를 전달하기 위해 사용되는 레이트이다. 멀티미디어 데이터 스트림에 의해 전달되는 멀티미디어 메시지는 근본적으로 서버(12)에 의해 MMSC(11)에 제공되며, 데이터 저장부(11d)에 저장된다. 여기서는 멀티미디어 메시지가 너무 커서 수령자에게 전달될 수 없기 때문에, MMAE(11a)는 더 낮은 품질로 하나 이상의 객체들을 재인코딩해야 한다고 가정하자. 본 발명에 따르면, 하나 이상의 객체들을 재인코딩하는 방법을 결정함에 있어서, MMAE(11a)는 객체의 하나 이상의 필수적인 특징들을 결정하기 위해 각 객체를 분석하고, 다음에는 레이트 및 품질간의 관계를 예측하기 위해서 바람직하게는 (객체의 타입에 의존하는) 수학적인 방정식의 형태의 미리 결정된 관계를 사용한다. 각 객체에 대하여 관계가 결정되면(즉, (Q_i, R_i) 값들의 쌍의 형태로, 또는 심지어 모든 상수들 및 계수들에 대한 값들을 가진 공식 또는 연속적인 곡선의 형태로), 상기 관계를 나타내는 정보가 데이터 저장부(11b)에 저장된다. 이하에서 설명되는 바와 같이, 높은 종합 품질 Q를 가지고, 하지만 수용하기에 충분히 낮은 레이트 R에서 멀티미디어 메시지를 전달하기 위하여 MMAE(11a)는 이러한 관계들을 사용해서 다른 객체들을 인코딩하는 방법을 결정한다. 본 발명에 따르면, 어떠한 절차가 사용되는데, 상기 절차에서 각 객체에 대한 레이트/크기 R_i는 처음에는 가능한 한 낮게 되도록 선택되며, 다음에 이하에서 더욱 상세히 설명되는 바와 같이, 일반적으로 낮은 품질 값 Q_i를 가지는 객체가 식별되고, 다음으로 더 높은 레이트가 너무 높은 전체 레이트 R을 야기하지 않는다고 가정하면 다음에 현재 선택된 레이트보다 다음으로 높은 레이트가 상기 객체에 대해 선택된다. 전체 레이트 제한조건을 초과함이 없이 상기 과정은 더 이상의 품질 증가가 가능하지 않을 때까지 반복된다. 그러한 절차는 종합 품질 Q의 더 높은 값을 제공하며, 동시에 각 객체 Qi의 품질이 대략적으로 같은 멀티미디어 데이터 스트림을 제공하는 경향이 있다. 일단 최종 레이트 값들 R_i가 선택되면, 객체들은 재인코딩되며, 멀티미디어 데이터 스트림을 위한 버퍼로서 기능하는 데이터 저장부(11d)에 전송을 위해 (임시적으로) 저장된다.

본 발명에 따르면, 종합 품질 Q는 바람직하게는 본 발명의 개개의 객체들의 품질들의 단순한 합이다. 즉, 수학식 1과 같다.

여기서, Q_i는 멀티미디어 데이터 스트림의 i번째 객체에 대한 품질로, 상기 객체에 대한 품질 Q_i 및 레이트 R_i간의 예측된 관계에 따라 상기 객체에 대한 레이트/크기 R_i로부터 결정된다.

하나 이상의 데이터 객체들의 가능한 재인코딩에 부가하여, 만약 그러한 제거와 관련된 페널티를 고려하는 경우라도, 멀티미디어 메시지/멀티미디어 데이터 스트림의 종합 품질이 개선된다면, 이하에 설명되는 바와 같이, MMAE(11a)는 또한 멀티미디어 메시지로부터 하나 이상의 객체들을 제거할 수 있으며, 바람직하게는 객체들중 다른 타입들 i를 제거하기 위한 페널티들 P_i가 미리 결정되며, MMAE(11a)가 액세스 가능한 데이터 저장부(11c)에 보존된다. 만약 원래의 멀티미디어 데이터 스트림이 N개의 객체들을 포함하고, N번째 객체를 제거하기 위한 패널티가 어떠한 값 P_N이 되도록 결정된다면, N번째 객체를 제거한 후의 종합 품질은 수학식 2와 같다.

도 1b를 참조하면, 객체 i에 대한 레이트 R_i 및 품질 Q_i간의 설명적인 관계는 한 세트의 M개의 이산 쌍들 (R_i1, Q_i1), (R_i2, Q_i2), ..., (R_iM, Q_iM)의 값들(15a)로 또는 연속적인 곡선/선(15)으로 나타낼 수 있다. 대응하여, 레이트-품질 관계를 예측하기 위해 사용되는 수학적 시스템은 단일한 방정식이거나 또는 이산 세트의 방정식들 중 하나 일 수 있다. 다음의 설명에서, 레이트 대 품질의 관계는 이산치로 가정되며, 즉 (인덱스 i에 의해 표현되는 객체를 가진) 각 객체에 대한 한 세트의 M개의 이산쌍들 (R_i1, Q_i1), (R_i2, Q_i2), ..., (R_iM, Q_iM)의 값들(15a)로, 다른 객체 타입들에 대한 M의 가능한 다른 값들을 가진다. 이산 형식 대신에 연속적인 형식의 사용은 다음 j번째 쌍(R_ij, Q_ij)(15a) 값들에 도달하기 위해서 품질 또는 레이트에서 어떠한 (무한에 대비되는) 한정된 크기의 단계의 사용만을 필요로 한다.

다른 타입들의 객체들(또는 심지어 이미지를 위한 JPEG(Joint Photographic Expert Group), GIF(Graphic Interchange Format), 또는 PNG(Portable Network Graphics) 포맷들과 같은 다른 타입들의 객체들의 인코딩의 다른 타입들/포맷들)에 대한 레이트 및 품질 사이의 관계들을 나타내는 세트의 (R_i, Q_i) 쌍들을 결정함에 있어서, 간략화를 위해 선택되는 0-100의 범위의 (선형 관계에 대조적인) 선형적인 품질 스케일이 바람직하다. 본 실시예에 따르면, 0의 품질 값은 아무런 품질이 없는 것에 대응한다(즉, 오디오 객체에 있어서, 상기 객체는 백색 잡음처럼 들린다). 비록 어느 정도의 범위까지는 다른 종류들의 객체들의 품질을 비교하는 것은 어렵지만(즉, 오디오 클립의 품질과 비디오 클립의 품질을 비교하는 것은 어렵다), 그렇게 하는 것은 확실히 가능하며, 심지어 그러한 비교의 결과들이 논쟁의 여지가 있는 경우일지라도 모든 타입들의 객체들에 대해 같은 선형 스케일을 사용하는 것은 그렇게 하는 것을 허용한다. 예시로서, 그러한 접근 방법, 즉 모든 타입들의 객체들에 대해 같은 스케일을 사용하는 접근 방법에 따르면, (그러한 객체에 대해 레이트 및 품질간의 예측되는 관계에 따라) 어떤 레이트 R₁에서의 전달을 위해 인코딩되고, 50의 대응하는 품질 값 Q₁을 가지는 오디오 객체는 레이트 R₁보다 필연적으로 높거나 또는 낮은 않은 어떠한 다른 레이트 R₂에서의 전달을 위해 인코딩될 때 90의 품질 값 Q₂를 가지는 비디오 이미지보다 더 낮은 품질로 인식될 수 있다.

비록 품질 스케일은 바람직하게는 선형이며, 모든 객체 타입들에 대해 같은 범위(즉, 0-100)로 정규화되지만, 다른 타입들의 객체들에 대하여 품질 값에 도달하는 방법, 즉 미디어 특징들을 품질 스케일로 맵핑시키는 방법은 다른 타입들의 객체들에 대해서 다르며, 심지어 같은 타입의 객체에 대하여도 다른 포맷들에 대해서 다르다.

예를 들면 JPEG 이미지들의 경우에, 전송 레이트/크기에 의존하는 양자화 스케일(quantier scale) q 값 및 특정 이미지의 콘텐트 및 전송 레이트/크기 모두에 의존하는 스펙트럼 편차값들(spectral variance values) σ²(변환 계수들의 각 블록으로부터 유도되는 인덱스 r의 계수들을 고려할 때 계수 값들의 편차로, 변환 계수들의 각각의 그러한 블록은 JPEG 인코딩 절차에 따라 생성된다)은 수학식 2와 같은 선형 관계의 사용에 의하는 것과 같이 그러한 객체에 대해 품질 Q로 맵핑될 수 있다.

여기서, α 및 β_r은 (정규화된) 가중치들이다. GIF 이미지의 경우, 컬러들의 수 N, 상기 이미지 내의 컬러 편차 σ²의 양, 및 평균 런-랭스 R_L에 의해 정의되 는 견실성(solidity)은 수학식 4와 같은 선형 관계에 따른 품질로 맵핑될 수 있으며,

여기서, α, β, λ는 품질 값 Q_GIF가 이미지에 대한 품질 척도(quality measure)를 주도록 선택된 가중치들로, 척도는 논리적으로 객체의 타입에 무관하며, 따라서 특히 Q 값이 항상 0-100과 같이 어떠한 미리 정의된 범위에 해당하도록 정규화된다면, 다른 타입들의 객체들에 대한 품질 척도들과 직접 비교될 수 있다.

이상적으로, 본 발명을 사용함에 있어서, 다른 타입들의 객체들에 대한 레이트 대 품질 관계들은 대부분 한번만 계산되며, 이것을 마지막으로 저장된다. 그러나, 실제로는 대부분 각 타입의 객체에 대한 일반화된 곡선(관계)을 얻는 것이 불가능한데, 왜냐하면 같은 타입의 객체들간에도 너무 많은 편차가 존재하기 때문이다. 따라서 객체를 만날 때마다 Q_i 대 R_i 곡선들은 각 객체에 대해 개별적으로 예측되며, 그렇게 동적으로 결정된다. 즉 곡선들은 대부분 필요한 때에 사용되기 위해 미리 계산될 수 없다. 대부분 사전에 행해지는 것은 입력 파라미터들로서 객체로부터 간단한 통계를 사용해서, 위의 수학식 3 또는 4와 같은 Qi 대 Ri 방정식들을 추후에 (동적으로) 결정함에 있어서, 사용될 방정식을 결정하는 것이다. 예를 들면, GIF 이미지에 있어서, 컬러들의 수는 레이트 및 품질에 관한 수학적 방정식에 대하 여 하나의 입력 파라미터일 수 있다. 다음에, GIF 이미지를 만날 때, 만나는 특정 GIF 이미지에 특징적인 관측된 컬러들의 수를 입력 파라미터로 사용하여 레이트 대 품질 관계를 기술하는 수학적 방정식이 평가될 것이며, 예측된 레이트 대 품질 곡선을 도출한다.

이제 도 2 및 도 1a를 참조하여, 본 발명에 따르면, 제1 단계 21에서는 만나게 될 또는 적어도 MM 메시지로부터 제거될 것으로 간주될 것 같은 다른 타입의 객체에 대하여, MM 메시지를 수신하기에 앞서서, MMAE(11a)는 멀티미디어 데이터 스트림으로부터 그러한 객체를 제거하기 위하여 패널티 P_i를 결정하고, 데이터 저장부(11c)에 상기 패널티 P_i를 저장한다.

이제 다음 단계 22a에서 MMAE(11a)는 MM 메시지를 수신하고 대응하는 고품질 멀티미디어 데이터 스트림을 제공할 준비가 되었으며, MMAE(11a)는 소정의 최대 허용 크기/레이트 값 R_M보다 큰 총 크기/레이트 R를 주는 (가령) R_i..R_i..R_N의크기들/레이트들을 가진 N개의 다른 객체들을 포함하는 MM 메시지를 수신한다. 다음 단계 22b에서, MMAE(11a)는 각 객체에 대한 소정의 중요한 특징들에 대한 값들(예컨대, 객체의 컬러들의 수)을 계산하기 위해 상기 객체들을 분석하고, 그렇게 계산된 특징들은 상기 관계에 대한 소정의 형식 (바람직하게는 수학식 3 및 4와 같은 방정식)을 사용해서, 각 객체에 대한 레이트 대 품질 곡선/관계(이산치 또는 알고리즘적일 수 있다)를 결정하는데 사용되며, 상기 관계를 데이터 저장부(11b)에 저장한다. 사용되는 특징들은 위에서 기술된 바와 같이 처리중인 객체의 타입에 의존한 다. (예를 들면, JPEG 이미지의 경우에, 양자화 스케일 및 스펙트럼 편차가 이전에 기술된 바와 같이 사용될 수 있다.) 다음 단계 23에서, 데이터 저장부(11b)로부터, MMAE는 Q_i가 예측된 가장 작은 가능한 값 R_i에 대응하는 각 객체 i에 대한 Q_i를 얻는다(여기서 사용된 값 R_i는 MM 메시지가 제공되는 객체에 대한 값 R_i보다 클 수 없으며, 그 이유는 MMAE(11a)가 원래의 객체 즉 MM 메시지의 일부로서 제공되는 객체보다 고품질을 가지도록 객체를 재인코딩하는 것은 불가능하기 때문이다). 다음 단계 24에서, MMAE(11a)는 다음에 따라 개개의 레이트들/크기들 R_i의 합으로 R을 계산한다.

만약 가장 작은 가능한 레이트들/크기들을 가진 R이 여전히 R_M보다 크다면, 다음 단계 25에서 MMAE(11a)는 도 4와 관련하여 이하에서 기술되는 바와 같이 일부 객체들을 제거하려고 시도한다. 그 후에, 일부 객체들이 제거된 R이 여전히 충분히 작지 않다면, MMAE(11a)는 MM 메시지의 처리를 중단한다(그리고 그 다음에 오류 메시지를 서버(12)에 전송할 것이다). 그러나 만약 가장 작은 가능한 레이트들/크기들을 가진 R이 또는 일부 객체들을 가능하게 제거한 후에 RM보다 더 작다면, 단계 26에서 하나 이상의 객체들의 품질을 증가시키는 것이 가능하다. MMAE(11a)는 도 3 과 관련하여 이하에서 기술되는 소위 워터-필링(water-filling) 알고리즘을 실행한다. 소위 워터-필링 알고리즘을 실행한 후에, 일부 객체들을 제거함으로써 멀티미디어 데이터 스트림의 품질을 개선하는 것이 여전히 가능할 수 있으며, 다음 단계 27에서 MMAE(11a)는 다시 멀티미디어 데이터 스트림으로부터 객체들을 제거하려고 시도한다. 바람직하게는, 멀티미디어 데이터 스트림이 더 이상 변화하지 않을 때까지 워터-필링 알고리즘의 사용 및 객체들의 제거가 반복된다. 위의 단계들에 따라 다른 객체들에 대한 레이트들 R_i가 선택된 이후에, 다음 단계 28에서, MMAE(11a)는 MM 메시지에 의해 제공된 객체에 대하여 제공되는 것과는 다른 크기/레이트 R_i가 선택된 각 객체 i를 재인코딩한다. 마지막 단계 29에서, MMAE(11a)는 선택된 크기들/레이트들 R_i(및 대응하는 품질들 Q_i)을 가진 가능한 재인코딩된 객체들을 가지는 멀티미디어 데이터 스트림을 제공한다.

이제 도 3을 참조하면, 각 객체에 대하여 대략적으로 같은 품질 Q_i를 제공하도록 MM 메시지의 다른 객체들의 레이트들 R_i를 증가시키기 위하여 MMAE(11a)에 의해 사용되는 워터-필링 알고리즘(water-filling algorithm)이, 재인코딩을 위해 후보들의 풀(pool of candidates)에 모든 객체들을 위치시키는 제1 단계 31을 포함하여 도시되어 있다. 다음 단계 32에서, 다른 객체들의 품질들의 평균과 비교하여 적어도 적거나 또는 어떠한 다른 객체들의 품질들보다 적은 것중 어느 하나인 품질 Q_j를 가지는 하나의 후보가 선택된다. 다음 단계 33에서, MMAE(11a)는 다음의 최대 Q_j 를 위한 레이트 R_j를 찾기 위해 데이터 저장부(11b)를 참조하며, 그렇게 함에 있어서, 만약 데이터 저장부(11b)에 저장되어 있는 값들의 이산치 쌍들 대신에 연속적인 관계들이 저장되어 있다면, 다음의 최대 Q_j는 Q_j의 현재 값과 일부 소정의 증가를 더한 값이다. 다음 단계 34에서, 새로운 총 레이트 R이 계산된다. 만약 이러한 총 레이트가 여전히 R_M 보다 작다면, 후보들의 풀에서 낮은 품질의 객체를 찾는 단계 32가 반복된다. 그러나, 만약 새로운 값 R이 R_M보다 크다면, 다음 단계 35에서, 품질의 증가가 시도되었던 객체 j는 후보들의 풀로부터 제거된다. 이러한 과정은 모든 후보들이 풀로부터 제거될 때까지 반복된다.

이제 도 4를 참조하면, 멀티미디어 메시지로부터 객체를 제거하기 위해 시도되었던 상기 알고리즘이 제1 단계 41을 포함하여 도시되어 있으며, 단계 41에 모든 객체들이 후보들의 풀에 위치되어 있으며, 이번에는 제거를 위한 후보들이다. 다음 단계 42에서, 후보들의 풀에 있는 다른 객체들중 어떠한 것에 대한 패널티보다도 적은, 제거를 위한 패널티를 가지는 것에 기초하여 후보들중 하나가 제거를 위한 후보로서 선택된다. 다음 단계 43에서, 원래의 종합 품질(overall quality) Q가 수학식 1을 사용해서 계산되며, 단계 42에서 위에서 식별된 객체가 제거될 예정이라고 가정하면(비록 제거하기 위한 최종 결정은 원래의 값 Q와 비교하여 새로운 값의 종합 품질 Q'에 의존하지만) 다음에 Q'로 불리는 새로운 종합 품질이 수학식 2에 따라서 계산된다. 만약 새로운 종합 품질 Q'가 적어도 이전의 (원래의 또는 추후에 개시하는 값) 종합 품질 Q와 같다면, 다음에 단계 44에서, 객체가 제거되고, 새로 운 개시 값 Q로서 Q'를 사용해서 제거를 위한 후보를 식별하는 단계 42가 반복된다. 그러나, 만약 새로운 종합 품질 Q'가 상기 객체의 제거없이 종합 품질 Q와 적어도 같지 않다면, 상기 객체는 멀티미디어 데이터 스트림으로부터 제거되지 않지만, 후보들의 풀로부터 제거되며, 객체를 잠재적으로 제거하기 위한 과정은 제거를 위한 후보를 식별하는 단계 42를 시작으로 하여 반복된다.

본 발명에 따른 방법은 (펌웨어를 포함하는) 하드웨어 또는 소프트웨어로서 구현될 수 있다. 특히 본 발명에 따른 방법 단계들은 MMSC(11)의 하나 이상의 서버들에 의해 호스팅되는 컴퓨터 프로그램을 형성하는 명령어들로서 제공될 수 있으며, 더욱 상세하게는 MMAE(11a)의 일부로서 포함되는 컴퓨터 프로그램 모듈들을 형성하는 명령어들로서 제공될 수 있다.

본 발명은 MMSC(11)에 의한 어떠한 인코딩 또는 재인코딩 이전에 원래 수신된 객체의 통계로부터 객체에 대한 품질 값들 Q_i를 예측하는 단계 외에도 레이트 R_i로 전송되기 위한 재인코딩된 또는 인코딩된 객체의 통계로부터 품질 값들 Q_i를 계산하는 단계를 포함할 수 있다. 전형적으로, 주어진 객체에 대하여, (관련된 전송 레이트를 가지는) "후보(candidate)" 크기 R_i가 선택되고, 다음에 선택된 크기 R_i에 대응하는 값 Q_i가 원래 수신된 이미지의 통계로부터 예측된다. 예를 들면, 30KB JPEG 이미지 파일을 수신하면, MMSC(11)(도 1a)는 한 세트의 R_i들(즉, 10, 15, 20, 25KB)을 선택할 것이다. 원래의 30KB JPEG 이미지 파일의 통계에 기초하여, MMAE(11a)는 4개의 선택된 R_i값들 각각에 대하여 Q_i값을 예측할 것이다. 이것은 실제적으로 객체를 재인코딩하지 않고도 객체에 대한 (다른 선택된 R_i 값들에 대해 다른 Q_i 값들을 낳는) (재) 인코더 세팅들을 결정하도록 허용한다. 그러나, 선택된 R_i에 대하여 객체를 실제로 재인코딩한 이후에 선택된 R_i에 대하여 Q_i값을 계산하는 것도 또한 가능하며, 본 발명은 선택된 R_i에 대하여 품질 값 Q_i을 계산하는 그러한 절차를 포함한다. (그러나, Q_i가 결정되고, 전형적으로 전체 레이트가 사실상 전체 제한을 만족시키는지를 확실히 하기 위해 전송을 위한 (재) 인코딩을 수행하고 각 객체에 대한 새로운 레이트/크기를 선택한 이후에 수행되는 "검사 단계"가 또한 존재한다)

위에서 기술된 장치들은 본 발명의 원리들의 어플리케이션의 설명하기 위한 것으로 또한 이해되어야 한다. 다양한 변형들 및 대안적인 장치들이 본 발명의 범위를 벗어나지 않고 당해 분야의 숙련자들에 의해 고안될 수 있으며, 첨부된 청구항들은 그러한 변형들 및 장치들을 커버하려는 의도이다.

Claims

최대 허용 총 데이터 레이트(R_M)와 같거나 작은 총 데이터 레이트(R)에서 다른 타입들의 복수의 객체들을 전달하는 멀티미디어 데이터 스트림 제공방법에 있어서, 상기 방법은

상기 데이터 스트림의 각 객체에 대하여 상기 객체를 전송하기 위해 사용되는 다른 인코딩된 데이터 레이트(R_i) 및 상기 전송되는 객체에 대하여 품질의 척도를 나타내는 결과적인 대응 품질(Q_i)간에 관계(11b)가 설정되는 단계(22b); 및

상기 멀티미디어 데이터 스트림에 포함되며, 다른 객체들에 대한 데이터 레이트 값들(R_K)의 현재 선택된 값들에 기초한 상기 멀티미디어 데이터 스트림의 상기 다른 객체들에 대한 품질 값들(Q_K)과 비교할 때 현재 선택된 데이터 레이트(R_j)에 기초하여 일반적으로 낮은 품질 값(Q_j)을 가지는 객체에 대하여, 상기 설정된 관계(11b)을 사용해서, 더 높은 데이터 레이트 값(R'_j)이 상기 최대 허용 총 데이터 레이트(R_M)를 초과하는 상기 총 데이터 레이트(R)를 초래하지 않을 경우에, 더 높은 데이터 레이트 값(R'_j)이 선택되는 단계(33);를 포함하는 것을 특징으로 하는 멀티미디어 데이터 스트림 제공방법.
제1항에 있어서, 상기 객체를 전송하기 위해 사용되는 다른 인코딩된 데이터 레이트들(R_i) 및 결과적인 대응 품질(Q_i)간의 상기 관계(11b)는

상기 객체의 통계 특징들에 기초하여 인코딩된 데이터 레이트(R_i)에 주어진 품질(Q_i) 값들을 할당하는 것을 특징으로 하는 멀티미디어 데이터 스트림 제공방법.
제2항에 있어서, 상기 품질 값들(Q_i)은

상기 객체의 인코딩 또는 재인코딩을 수행한 이후 또는 상기 객체의 인코딩 또는 재인코딩을 수행함이 없이 상기 수신된 객체의 통계 특징들로부터 예측되는 것을 특징으로 하는 멀티미디어 데이터 스트림 제공방법.
제1항에 있어서, 객체에 대한 상기 관계(11b)는

한 세트의 이산 전송 레이트 값들(R_i)의 각 전송 레이트(R_i)에 품질 값(Q_i)을 할당하는 것을 특징으로 하는 멀티미디어 데이터 스트림 제공방법.
제1항에 있어서, 객체에 대한 상기 관계(11b)는

이산 전송 레이트 값들(R_i)의 범위의 어떠한 전송 레이트(R_i)에 품질 값(Q_i)을 할당하는 것을 특징으로 하는 멀티미디어 데이터 스트림 제공방법.
제1항에 있어서, 상기 관계(11b)는

타입에 관계없이, 모든 객체들에 보편적인 범위의 특정 전송 레이트(R_i)에 대한 객체에 품질 값(Q_i)을 할당하는 것을 특징으로 하는 멀티미디어 데이터 스트림 제공방법.
제1항에 있어서, 이미지 타입의 객체에 대해 상기 관계(11b)는

로 표현되며, 여기서 σ_r ²은 r에 의해 나타난 계수 지점(coefficient position)에서의 상기 객체에 대한 스펙트럼 편차이며, σ_r ²의 값은 적어도 상기 전송 레이트(R_i)에 의존하며, q는 양자화 스케일을 나타내며, 또한 상기 전송 레이트(R_i)에 의존하며, α 및 각각의 β_r은 가중치 값들인 것을 특징으로 하는 멀티미디어 데이터 스트림 제공방법.
제1항에 있어서, 이미지 타입의 객체에 대하여 상기 관계(11b)는

로 표현되며, 여기서 N은 상기 객체에서의 컬러들의 수를 나타내는 것으로 상기 전송 레이트(R_i)에 의존하며, σ²은상기 객체의 컬러 편차(color variation)를 나타내는 것으로 상기 전송 레이트(R_i)에 의존하며, R_L은 상기 객체에 대한 견실성(solidity)을 정의하는 평균 런-랭스를 나타내는 것으로 또한 상기 전송 레이트(R_i)에 의존하며, α,β,λ는 가중치 값들인 것을 특징으로 하는 멀티미디어 데이터 스트림 제공방법.
제1항에 있어서, 상기 방법은

만약 상기 객체가 없어도 종합 품질(Q)에 대한 어떠한 소정의 척도에 따라 상기 멀티미디어 데이터 스트림으로부터 객체를 제거함으로써, 상기 멀티미디어 데이터 스트림의 종합 품질(Q)이 개선된다면, 상기 객체가 제거되는 단계(43);를 더 포함하는 것을 특징으로 하는 멀티미디어 데이터 스트림 제공방법.
제9항에 있어서, 상기 객체가 없는 종합 품질(Q)에 대한 소정의 척도는

상기 객체를 제거하기 위한 소정의 패널티를 고려하는 것을 특징으로 하는 멀티미디어 데이터 스트림 제공방법.
제1항의 단계들을 수행하기 위한 수단;을 포함하는 장치(11a).
제2항의 단계들을 수행하기 위한 수단;을 포함하는 장치(11a).
제6항의 단계들을 수행하기 위한 수단;을 포함하는 장치(11a).
품질이 개선된 멀티미디어 데이터 스트림을 제공하기 위해, 상기 멀티미디어 데이터 스트림에 응답하는 제11항에 따른 장치(11a);

상기 멀티미디어 데이터 스트림을 제공하기 위한 서버(12);

상기 품질이 개선된 멀티미디어 데이터 스트림을 의도된 무선 단말기(14)로 무선 전송하기 위해, 상기 품질이 개선된 멀티미디어 데이터 스트림에 응답하는 무선 액세스 네트워크(13); 및

상기 무선 전송된 품질이 개선된 멀티미디어 데이터 스트림에 응답하는 무선 단말기(14);를 포함하는 것을 특징으로 하는 시스템.
품질이 개선된 멀티미디어 데이터 스트림을 제공하기 위해, 상기 멀티미디어 데이터 스트림에 응답하는 제12항에 따른 장치(11a);

상기 멀티미디어 데이터 스트림을 제공하기 위한 서버(12);

상기 품질이 개선된 멀티미디어 데이터 스트림을 의도된 무선 단말기(14)로 무선 전송하기 위해, 상기 품질이 개선된 멀티미디어 데이터 스트림에 응답하는 무선 액세스 네트워크(13); 및

상기 무선 전송된 품질이 개선된 멀티미디어 데이터 스트림에 응답하는 무선 단말기(14);를 포함하는 것을 특징으로 하는 시스템.
품질이 개선된 멀티미디어 데이터 스트림을 제공하기 위해, 상기 멀티미디어 데이터 스트림에 응답하는 제13항에 따른 장치(11a);

상기 멀티미디어 데이터 스트림을 제공하기 위한 서버(12);

상기 품질이 개선된 멀티미디어 데이터 스트림을 의도된 무선 단말기(14)로 무선 전송하기 위해, 상기 품질이 개선된 멀티미디어 데이터 스트림에 응답하는 무선 액세스 네트워크(13); 및

상기 무선 전송된 품질이 개선된 멀티미디어 데이터 스트림에 응답하는 무선 단말기(14);를 포함하는 것을 특징으로 하는 시스템.
최대 허용 총 데이터 레이트(R_M)와 같거나 또는 적은 총 데이터 레이트(R)에서 다른 타입들의 복수의 객체들을 전달하는 멀티미디어 데이터 스트림이 제공되는 장치(11a)에서 컴퓨터 프로세서에 의한 실행을 위해 컴퓨터 프로그램 코드를 구현하는 컴퓨터로 독출 가능한 기록매체로, 상기 컴퓨터 프로그램 코드는 제1항의 방법의 단계들을 수행하기 위한 명령어들;을 포함하는 것을 특징으로 하는 컴퓨터로 독출 가능한 기록매체.
최대 허용 총 데이터 레이트(R_M)와 같거나 또는 적은 총 데이터 레이트(R)에서 다른 타입들의 복수의 객체들을 전달하는 멀티미디어 데이터 스트림이 제공되는 장치(11a)에서 컴퓨터 프로세서에 의한 실행을 위해 컴퓨터 프로그램 코드를 구현하는 컴퓨터로 독출 가능한 기록매체로, 상기 컴퓨터 프로그램 코드는 제2항의 방법의 단계들을 수행하기 위한 명령어들;을 포함하는 것을 특징으로 하는 컴퓨터로 독출 가능한 기록매체.
최대 허용 총 데이터 레이트(R_M)와 같거나 또는 적은 총 데이터 레이트(R)에서 다른 타입들의 복수의 객체들을 전달하는 멀티미디어 데이터 스트림이 제공되는 장치(11a)에서 컴퓨터 프로세서에 의한 실행을 위해 컴퓨터 프로그램 코드를 구현하는 컴퓨터로 독출 가능한 기록매체로, 상기 컴퓨터 프로그램 코드는 제6항의 방법의 단계들을 수행하기 위한 명령어들;을 포함하는 것을 특징으로 하는 컴퓨터로 독출 가능한 기록매체.