KR100591350B1

KR100591350B1 - 오디오 데이터 보간장치 및 방법, 오디오 데이터관련 정보작성장치 및 방법, 오디오 데이터 보간 정보 송신장치 및방법, 및 그 프로그램 및 기록 매체

Info

Publication number: KR100591350B1
Application number: KR1020027014124A
Authority: KR
Inventors: 야스요 야스다; 도모유키 오야; 사나에 호타니
Original assignee: 가부시키가이샤 엔.티.티.도코모
Priority date: 2001-03-06
Filing date: 2002-03-06
Publication date: 2006-06-19
Also published as: EP1367564A1; US20030177011A1; WO2002071389A1; CN1457484A; KR20020087997A; EP1367564A4; JPWO2002071389A1; CN1311424C

Abstract

오디오 데이터 중의 에러 또는 로스가 발생된 프레임의 음의 상황을 판별하고, 그 상황에 따른 보간을 행하는 보간장치를, 오디오 데이틀 입력하는 입력부, 오디오 데이터의 각 프레임의 에러 또는 로스를 검출하는 검출부, 에러 또는 로스가 검출된 프레임의 보간정보를 추정하는 추정부, 및 에러 또는 로스가 검출된 프레임을 그 프레임에 대해 추정부에 의해 추정된 보간정보를 이용하여 보간하는 보간부로 구성한다.

오디오 데이터, 음원, 보간, 관련정보, 보간정보, 보간법, 기록매체, 에러, 로스

Description

오디오 데이터 보간장치 및 방법, 오디오 데이터관련 정보 작성장치 및 방법, 오디오 데이터 보간 정보 송신장치 및 방법, 및 그 프로그램 및 기록 매체 {AUDIO DATA INTERPOLATION APPARATUS AND METHOD, AUDIO DATA-RELATED INFORMATION CREATION APPARATUS AND METHOD, AUDIO DATA INTERPOLATION INFORMATION TRANSMISSION APPARATUS AND METHOD, PROGRAM AND RECORDING MEDIUM THEREOF}

본 발명은 오디오 데이터 보간장치 및 방법, 오디오 데이터 관련정보 작성장치 및 방법, 오디오 데이터 보간정보 송신장치 및 방법, 및 그 프로그램 및 기록 매체에 관한 것이다.

종래, 예를 들면 이동 통신에서 오디오 데이터를 전송할 때는 음향 부호화(AAC, AAC 스케일러블)를 행하고, 그 비트열 데이터(bit stream data)를 이동 통신망(회선 교환, 패킷 교환 등) 상에서 전송하고 있었다.

전송 오류를 고려한 부호화에 대해서는ISO/IEC MPEG-4 Audio에서 표준화되어 있지만, 잔류 에러를 보상하는 오디오 보간기술에 관해서는 규정되어 있지 않다(예를 들면, ISO/IEC 14496-3, “Information technology Coding of audio-visual objects Part3: Audio Amendment 1: Audio extensions", 2000 참조).

종래, 회선 교환망의 경우는 에러가, 패킷 교환망의 경우는 패킷 로스(packet loss)가 발생한 프레임 데이터에 대하여 오류 패턴에 따른 보간을 행하고 있었다. 보간법으로는, 예를 들면, muting(무음화), repetition(반복), noise substitution(노이즈 치환) 및 prediction(예측) 방법이 있다.

도 1a, 1b, 1c는 보간의 예를 나타내는 도면이다. 도 1a, 1b, 1c에 나타내는 파형은 과도적(transient)인 파형의 예이며, 음원은 캐스트네츠(castanets)이다. 도 1a는 에러가 없는 경우의 파형을 나타낸다. 여기서, 도 1a의 점선으로 둘러싸인 부분에 에러가 생겼다고 한다. 도 1b는 그 부분을 반복(repetition)에 의해 보간한 예이며, 도 1c는 그 부분을 노이즈 치환(noise substitution)에 의해 보간한 예이다.

도 2a, 2b, 2c는, 보간의 다른 예를 도시한 도면이다. 도 2a, 2b, 2c에 나타내는 파형은 정상적(steady)인 파형의 예이며, 음원은 백파이프(bagpipe)이다. 도 2a는 에러가 없는 경우의 파형을 나타낸다. 여기서, 도 2a의 점선으로 둘러싸인 부분에 에러가 생겼다고 한다. 도 2b는 그 부분을 반복(repetition)에 의해 보간한 예이며, 도 2c는 그 부분을 노이즈 치환(noise substitution)에 의해 보간한 예이다.

이상과 같은 보간법이 있지만, 어떤 보간법이 최적인지는 동일한 오류 패턴이더라도 음원(음의 특성)에 의존한다. 이것은 모든 음원에 알맞는 보간법은 없다는 인식에 기초한다. 특히, 어떤 보간법이 최적인지는 동일한 오류 패턴이더라도 음의 순간 특성에 의존한다. 예를 들면, 도 1a, 1b, 1c의 예에서는 도 1b의 반복(repetition)보다도 도 1c의 노이즈 치환(noise substitution)쪽이 적합하지만, 도 2a, 2b, 2c의 예에서는, 도 2c의 노이즈 치환(noise substitution)보다도 도 2b의 반복(repetition)쪽이 적합하다.

그러나, 종래 오류 패턴에 따른 여러 가지 오디오 보간법이 제안되어 있지만, 음원 패턴에 따른 보간법은 없었다(예를 들면, J. Herre and E. Eberlein, “ Evaluation of Concealment Techniques for Compressed Digital Audio" , 94th AES Convention, 1993, preprint 3460 참조.

따라서, 본 발명의 목적은 오디오 데이터중의 에러 또는 로스가 생긴 프레임의 음의 상황을 판별(추정)하고, 그 상황에 따른 보간을 행하는 것을 가능하게 하는 오디오 데이터 보간장치 및 방법, 오디오 데이터 관련정보 작성장치 및 방법, 및 그들의 프로그램 및 기록 매체를 제공하는 것이다.

또, 본 발명의 다른 목적은 어떤 오디오 프레임과 그 프레임에 관한 보조정보가 함께 손실되는 것을 없앨 수 있는 오디오 데이터 보간정보 송신장치와 방법, 및 그 프로그램과 기록 매체를 제공하는 것이다.

본 발명은 복수의 프레임으로 이루어지는 오디오 데이터의 보간을 행하는 오디오 데이터 보간장치로서, 상기 오디오 데이터를 입력하는 입력수단, 상기 오디오 데이터의 각 프레임의 에러(error) 또는 로스(loss)를 검출하는 검출수단, 상기 에러 또는 로스가 검출된 프레임의 보간정보를 추정하는 추정수단, 및 상기 에러 또는 로스가 검출된 프레임을 그 프레임에 대하여 상기 추정수단에 의해 추정된 상기 보간정보를 사용하여 보간하는 보간수단을 구비한 것을 특징으로 하는 오디오 데이터 보간장치를 제공한다.

또한, 본 발명에서는 상기 프레임 각각은 파라미터(parameter)를 가지며, 상기 추정수단은 상기 에러 또는 로스가 검출된 프레임의 파라미터를 그 프레임의 전(前) 및/또는 후(後) 프레임의 파라미터에 기초하여 판별하고, 상기 에러 또는 로스가 검출된 프레임의 음의 상황을 그 프레임의 파라미터에 기초하여 추정하는 것을 특징으로 한다.

또한 본 발명에서는 상기 파라미터의 상태 천이는 미리 정해져 있으며, 상기 추정수단은 상기 에러 또는 로스가 검출된 프레임의 파라미터를, 그 프레임의 전 및/또는 후 프레임 파라미터 및 상기 상태 천이에 기초하여 판별하는 것을 특징으로 한다.

또한 본 발명에서는 상기 추정수단은 상기 에러 또는 로스가 검출된 프레임의 에너지와 그 프레임 전 및/또는 후 프레임의 에너지의 유사성에 기초하여 상기 에러 또는 로스가 검출된 프레임의 음의 상황을 추정하는 것을 특징으로 한다.

또, 본 발명에서는 상기 추정수단은 상기 유사성을 상기 에러 또는 로스가 검출된 프레임을 시간영역에서 분할했을 때의 각 분할영역의 에너지와 상기 프레임의 전 및/또는 후 프레임을 시간영역에서 분할했을 때의 각 분할영역의 에너지를 비교하여 구하는 것을 특징으로 한다.

또, 본 발명에서는 상기 추정수단은 상기 유사성을 상기 에러 또는 로스가 검출된 프레임을 주파수영역에서 분할했을 때의 각 분할영역의 에너지와 상기 프레 임의 전 및/또는 후 프레임을 주파수영역에서 분할했을 때의 각 분할영역의 에너지를 비교하여 구하는 것을 특징으로 한다.

또, 본 발명에서는 상기 추정수단은 상기 에러 또는 로스가 검출된 프레임에 대한 상기 프레임의 전 및/또는 후 프레임에 기초하는 예측 가능성에 따라 상기 에러 또는 로스가 검출된 프레임의 음의 상황을 추정하는 것을 특징으로 한다.

또, 본 발명에서는, 상기 추정수단은 상기 예측 가능성을 상기 오디오 데이터의 주파수 영역에서의 분포의 기울기에 따라 구하는 것을 특징으로 한다.

또, 본 발명에서는 상기 추정수단은 상기 에러 또는 로스가 검출된 프레임의 음의 상황을 상기 프레임의 이전 프레임의 음의 상황에 따라 추정하는 것을 특징으로 한다.

또한, 본 발명은 복수의 프레임으로 이루어지는 오디오 데이터의 보간을 행하는 오디오 데이터 보간장치로서, 상기 오디오 데이터를 입력하는 오디오 데이터 입력수단, 상기 오디오 데이터의 각 프레임에 관하여 상기 프레임의 보간정보를 입력하는 보간정보 입력수단, 상기 오디오 데이터의 각 프레임의 에러 또는 로스를 검출하는 검출수단, 및 상기 에러 또는 로스가 검출된 프레임을 상기 프레임에 대해 상기 보간정보 입력수단에 의해 입력된 상기 보간정보를 이용하여 보간하는 보간수단을 구비한 것을 특징으로 하는 오디오 데이터 보간장치를 제공한다.

또한, 본 발명은 복수의 프레임으로 이루어지는 오디오 데이터의 보간을 행하는 오디오 데이터 보간장치로서, 상기 오디오 데이터를 입력하는 오디오 데이터 입력수단, 상기 오디오 데이터의 각 프레임의 에러 또는 로스를 검출하는 검출수 단, 상기 에러 또는 로스가 검출된 프레임의 보간정보를 입력 또는 추정하는 보간정보 입력/추정수단, 및 상기 에러 또는 로스가 검출된 프레임을 그 프레임에 대해 상기 보간정보입력/추정수단에 의해 입력 또는 추정된 상기 보간정보를 이용하여 보간하는 보간수단을 구비한 것을 특징으로 하는 오디오 데이터 보간장치를 제공한다.

또한, 본 발명은, 복수의 프레임으로 이루어지는 오디오 데이터에 관련되는 정보를 작성하는 오디오 데이터 관련정보 작성장치로서, 상기 오디오 데이터를 입력하는 입력수단, 및 상기 오디오 데이터의 각 프레임에 관하여 상기 프레임의 보간정보를 작성하는 작성수단을 구비한 것을 특징으로 하는 오디오 데이터 관련정보 작성장치를 제공한다.

또, 본 발명에서는 상기 작성수단은 상기 오디오 데이터의 각 프레임에 관한 상기 프레임의 에너지와 상기 프레임의 전 및/또는 후 프레임의 에너지의 유사성을 포함한 상기 보간정보를 작성하는 것을 특징으로 한다.

또, 본 발명에서는 상기 작성수단은 상기 오디오 데이터의 각 프레임에 관한 상기 프레임에 대한 상기 프레임의 전 및/또는 후 프레임에 기초하는 예측 가능성을 포함한 상기 보간정보를 작성하는 것을 특징으로 한다.

또, 본 발명에서는 상기 작성수단은 상기 오디오 데이터의 각 프레임에 관한 상기 프레임의 음의 상황을 포함한 상기 보간정보를 작성하는 것을 특징으로 한다.

또, 본 발명에서는 상기 작성수단은 상기 오디오 데이터의 각 프레임에 관한 상기 프레임의 보간법을 포함한 상기 보간정보를 작성하는 것을 특징으로 한다.

또, 본 발명에서는 상기 작성수단은 상기 오디오 데이터의 각 프레임에 대하여 에러를 발생시키고, 에러를 발생시킨 데이터에 복수의 보간법을 적용하고, 상기 복수의 보간법의 적용결과에 따라서 상기 복수의 보간법 중에서 상기 보간정보에 포함시키는 보간법을 선택하는 것을 특징으로 한다.

또한, 본 발명은 복수의 프레임으로 이루어지는 오디오 데이터의 보간을 행하는 오디오 데이터 보간방법으로서, 상기 오디오 데이터를 입력하는 단계, 상기 오디오 데이터의 각 프레임의 에러 또는 로스를 검출하는 단계, 상기 에러 또는 로스가 검출된 프레임의 보간정보를 추정하는 단계, 및 상기 에러 또는 로스가 검출된 프레임을 상기 프레임에 대하여 상기 추정하는 단계에 의해 추정된 상기 보간정보를 이용하여 보간하는 단계를 구비하는 것을 특징으로 하는 오디오 데이터 보간방법을 제공한다.

또, 본 발명에서는 상기 오디오 데이터 보간방법을 컴퓨터에서 실행시키기 위한 프로그램도 제공된다.

또, 본 발명에서는 상기 오디오 데이터 보간방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체도 제공된다.

또한, 본 발명은 복수의 프레임으로 이루어지는 오디오 데이터의 보간을 행하는 오디오 데이터 보간방법으로서, 상기 오디오 데이터를 입력하는 단계, 상기 오디오 데이터의 각 프레임에 관하여 상기 프레임의 보간정보를 입력하는 단계, 상기 오디오 데이터의 각 프레임의 에러 또는 로스를 검출하는 단계, 및 상기 에러 또는 로스가 검출된 프레임을 상기 프레임에 대한 상기 보간정보를 입력하는 단계 에 의해 입력된 상기 보간정보를 이용하여 보간하는 단계를 구비하는 것을 특징으로 하는 오디오 데이터 보간방법을 제공한다.

또, 본 발명에서는 상기 오디오 데이터 보간방법을 컴퓨터에서 실행시키기 위한 프로그램도 제공된다

또, 본 발명에서는 상기 오디오 데이터 보간방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체도 제공된다.

또, 본 발명은 복수의 프레임으로 이루어지는 오디오 데이터의 보간을 행하는 오디오 데이터 보간방법으로서, 상기 오디오 데이터를 입력하는 단계, 상기 오디오 데이터의 각 프레임의 에러 또는 로스를 검출하는 단계, 상기 에러 또는 로스가 검출된 프레임의 보간정보를 입력 또는 추정하는 단계, 및 상기 에러 또는 로스가 검출된 프레임을 상기 프레임에 대해 상기 보간정보를 입력 또는 추정하는 단계에 의해 입력 또는 추정된 상기 보간정보를 이용하여 보간하는 단계를 구비한 것을 특징으로 하는 오디오 데이터 보간방법을 제공한다.

또한, 본 발명에서는 상기 오디오 데이터 보간 방법을 컴퓨터에서 실행시키기 위한 프로그램도 제공된다.

또한 본 발명에서는 상기 오디오 데이터 보간방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체도 제공된다.

또, 본 발명은 복수의 프레임으로 이루어지는 오디오에 관련되는 정보를 작성하는 오디오 데이터 관련정보 작성방법으로서, 상기 오디오 데이터를 입력하는 단계와, 상기 오디오 데이터의 각 프레임에 관하여 상기 프레임의 보간정보를 작성 하는 단계를 구비한 것을 특징으로 하는 오디오 데이터 관련정보 작성방법을 제공한다.

또, 본 발명에서는 상기 오디오 데이터 관련정보 작성방법을 컴퓨터에서 실행시키기 위한 프로그램도 제공된다.

또, 본 발명에서는, 상기 오디오 데이터 관련정보 작성방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체도 제공된다.

또한, 본 발명은 복수의 프레임으로 이루어지는 오디오 데이터의 보간정보를 송신하는 오디오 데이터 보간정보 송신장치로서, 상기 오디오 데이터를 입력하는 입력수단, 상기 오디오 데이터의 각 프레임에 대한 보간정보와 상기 프레임의 오디오 데이터 사이에 시간차를 부여하는 시간차 부가수단, 및 상기 보간정보와 상기 오디오 데이터를 같이 송신하는 송신수단을 구비한 것을 특징으로 하는 오디오 데이터 보간정보 송신장치를 제공한다.

또, 본 발명에서는 상기 송신수단은 상기 보간정보가 직전의 프레임의 보간정보와 다른 경우에만 상기 보간정보를 상기 오디오 데이터와 같이 송신하는 것을 특징으로 한다.

또, 본 발명에서는 상기 송신수단은 상기 보간정보를 오디오 데이터에 삽입(embed)하여 송신하는 것을 특징으로 한다.

또, 본 발명에서는, 상기 송신수단은, 상기 보간정보만 복수회 송신하는 것을 특징으로 한다.

또, 본 발명에서는 상기 송신수단은 상기 보간정보에만 강한 에러정정을 실 시하여 송신하는 것을 특징으로 한다.

또, 본 발명에서는, 상기 송신수단은 재전송 요구에 따라서 상기 보간정보만 재전송하는 것을 특징으로 한다.

또한, 본 발명은 복수의 프레임으로 이루어지는 오디오 데이터의 보간정보를 송신하는 오디오 데이터 보간정보 송신장치로서, 상기 오디오 데이터를 입력하는 입력수단, 및 상기 오디오 데이터의 각 프레임에 대한 보간정보를 상기 오디오 데이터와는 별도로 송신하는 송신수단을 구비한 것을 특징으로 하는 오디오 데이터 보간정보 송신장치를 제공한다.

또, 본 발명에서는 상기 송신수단은 상기 보간정보만 복수회 송신하는 것을 특징으로 한다.

또, 본 발명에서는 상기 송신수단은 상기 보간정보에만 강한 에러정정을 실시하여 송신하는 것을 특징으로 한다.

또, 본 발명에서는 상기 송신수단은, 재전송 요구에 따라서 상기 보간정보만 재전송하는 것을 특징으로 한다.

또, 본 발명에서는 상기 송신장치는 상기 오디오 데이터를 송신하는 채널과는 상이한 신뢰성 있는 다른 채널로 상기 보간정보를 송신하는 것을 특징으로 한다.

또한, 본 발명은 복수의 프레임으로 이루어지는 오디오 데이터의 보간정보를 송신하는 오디오 데이터 보간정보 송신방법으로서, 상기 오디오 데이터를 입력하는 단계, 상기 오디오 데이터의 각 프레임에 대한 보간정보와 상기 프레임의 오디오 데이터 사이에 시간차를 부여하는 단계, 및 상기 보간정보와 상기 오디오 데이터를 같이 송신하는 단계를 구비한 것을 특징으로 하는 오디오 데이터 보간정보 송신방법을 제공한다.

또, 본 발명에서는 상기 오디오 데이터 보간정보 송신방법을 컴퓨터에서 실행시키기 위한 프로그램도 제공된다.

또, 본 발명에서는 상기 오디오 데이터 보간정보 송신방법을 컴퓨터에서 실행키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체도 제공된다.

또한, 본 발명은 복수의 프레임으로 이루어지는 오디오 데이터의 보간정보를 송신하는 오디오 데이터 보간정보 송신방법으로서, 상기 오디오 데이터를 입력하는 단계, 및 상기 오디오 데이터의 각 프레임에 대한 보간정보를 상기 오디오 데이터와 별도로 송신하는 단계를 구비한 것을 특징으로 하는 오디오 데이터 보간정보 송신방법을 제공한다.

또, 본 발명에서는 상기 오디오 데이터 보간정보 송신방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체도 제공된다.

도 1은 종래의 오디오 데이터의 보간 예를 나타내는 도면이다.

도 2는 종래의 오디오 데이터 보간의 다른 예를 도시한 도면이다.

도 3은 본 발명의 제1, 제2, 제3 실시예에서의 보간장치의 구성예를 나타내는 블럭도이다.

도 4는 본 발명의 제1 실시예에서의 미리 정해진 파라미터의 상태 천이가 예를 나타내는 도면이다.

도 5는 본 발명의 제2 실시예에서의 에너지 비교를 설명하기 위한 도면이다.

도 6은 본 발명의 제2 실시예에서의 에너지 비교를 설명하기 위한 다른 도면이다.

도 7은 본 발명의 제2 실시예에서의 예측 가능성을 구하는 방법의 예를 설명하기 위한 도면이다.

도 8은 본 발명의 제2 실시예에서의 음의 상황을 판별하는 방법의 예를 설명하기 위한 도면이다.

도 9는 본 발명의 제2 실시예에서의 부호화/보간정보 작성장치의 구성예를 나타내는 블록도이다.

도 10은 본 발명의 제2 실시예에서의 보간장치의 다른 구성예를 나타내는 블록도이다.

도 11은 본 발명의 제2 실시예에서의 부호화/보간정보 작성장치의 다른 구성예를 나타내는 블록도이다.

도 12는 제4 실시예에서의 패킷 전송 패턴을 나타낸 도면이다.

도 13은 제4 실시예에서의 송신장치의 구성예를 나타낸 블록도이다.

도 14는 제5 실시예에서의 패킷 전송 패턴을 나타낸 도면이다.

도 15는 제6 실시예에서의 패킷 전송 패턴을 나타낸 도면이다.

도 16은 제7 실시예에서의 패킷 전송 패턴을 나타낸 도면이다.

먼저, 도 1 ∼ 도 11을 참조하면서 본 발명에 따른 오디오 데이터 보간장치 및 방법, 그리고 오디오 데이터 관련정보 작성장치 및 방법의 실시예에 대해 자세히 설명한다.

(제1 실시예)

도 3는 본 발명의 제1 실시예에서의 보간장치의 구성예를 나타낸다. 보간장치(10)는 오디오 데이터를 수신하는 수신장치의 일부로서 구성할 수도 있고, 독립된 것으로서 구성할 수도 있다. 보간장치(10)는 에러/로스 검출부(14), 복호부(6), 상황 판별부(18) 및 보간법 선택부(20)를 구비한다.

보간장치(10)는 입력된 복수의 프레임으로 이루어지는 오디오 데이터(본 실시예에서는, 비트열)에 대해, 복호부(16)로 복호를 행하여 복호음을 생성한다. 단, 오디오 데이터에는 에러 또는 로스가 있는 경우도 있으므로 오디오 데이터는 에러/로스 검출부(14)에도 입력되어 각 프레임의 에러 또는 로스가 검출된다. 에러 또는 로스가 검출된 프레임에 대해서는 상황 판별부(18)에서 그 프레임의 음의 상황(본 실시예에서는 과도적 또는 정상적)이 판별된다. 보간법 선택부(20)에서는 판별된 음의 상황에 따라서 그 프레임의 보간법이 선택된다. 그리고, 복호부(16) 에서는 선택된 보간법에 의해 그 프레임(에러 또는 로스가 검출된 프레임)의 보간이 행해진다.

본 실시예에서는 에러 또는 로스가 검출된 프레임의 파라미터를, 그 프레임의 전 및/또는 후 프레임의 파라미터 및 미리 정해진 파라미터의 상태 천이에 따라 판별한다. 그리고, 에러 또는 로스가 검출된 프레임의 음의 상황을 그 프레임의 파라미터에 따라 판별한다. 단, 에러 또는 로스가 검출된 프레임의 파라미터를 판별할 때에, 파라미터의 상태 천이를 고려하지 않고 그 프레임의 전 및/또는 후 프레임의 파라미터에만 기초하여 판별하도록 할 수도 있다.

본 실시예로서는, 송신측에서 오디오 데이터를 AAC(Advanced Audio Coding) 부호화할 때에, 과도적인 프레임에는 short(숏) 창을 이용하고, 그 이외의 프레임에는 long(롱) 창을 이용한다. long 창과 short 창을 연결하기 위하여 start(시작) 창 및 stop(종료) 창이 있다. 송신측에서는 각 프레임에 window_sequence 정보(파라미터)로서 short, long, start 및 stop 중 어느 하나를 부가하여 송신한다.

수신(보간)측에서, 에러 또는 로스가 검출된 프레임의 window_sequence 정보는 그 프레임의 전 및/또는 후 프레임의 window_sequence 정보 및 미리 정해진 window_sequence(창 순서) 정보의 상태 천이에 따라 판별할 수 있다.

도 4는 미리 정해진 파라미터(window_sequence 정보)의 상태 천이의 예를 나타내는 도면이다. 도 4의 상태 천이에 의하면, 하나 앞의 프레임의 window_sequence 정보가 stop이며, 하나 뒤의 프레임의 window_sequence 정보가 start이면, 자기의 프레임(에러 또는 로스가 검출된 프레임)의 window_sequence 정 보는 long임을 안다. 또, 하나 앞의 프레임의 window-sequence 정보가 start이면, 자기의 프레임의 window_sequence 정보는 short임을 안다. 또, 하나 뒤의 프레임의 window_sequence 정보가 stop이면, 자기의 프레임의 window_sequence 정보는 short임을 안다.

이렇게 하여 판별된 에러 또는 로스가 검출된 프레임의 window_sequence 정보에 따라, 그 프레임의 음의 상황을 판별한다. 예를 들면, 판별된 window_sequence 정보가 short이면, 그 프레임은 과도적이라고 판별할 수 있다.

음의 상황에 따른 보간법의 선택방법으로는, 예를 들면 과도적인 경우에는 노이즈 치환(noise substitution)을 이용하고, 기타 경우에는 반복(repetition) 또는 예측(prediction)을 이용하는 것이 고려된다.

(제2 실시예)

다음에, 본 발명의 제2 실시예에 대하여 설명한다. 제2 실시예에서도 도 1에 나타낸 제1 실시예의 보간장치와 동일한 보간장치를 이용할 수 있다.

본 실시예에서는 에러 또는 로스가 검출된 프레임의 에너지와 상기 프레임의 앞 프레임의 에너지의 유사성에 따라 에러 또는 로스가 검출된 프레임의 음의 상황을 판별한다. 또한, 에러 또는 로스가 검출된 프레임에 대한 상기 프레임의 앞 프레임에 기초하는 예측 가능성에도 기초하여 에러 또는 로스가 검출된 프레임의 음의 상황을 판별한다. 또, 본 실시예에서는 유사성 및 예측 가능성에 따라서 음의 상황을 판별하고 있지만, 어느 한 쪽에 기초하여 음의 상황을 판별하도록 할 수도 있다.

먼저, 유사성에 대해 보다 구체적으로 설명한다. 본 실시예에서, 유사성은 에러 또는 로스가 검출된 프레임을 시간영역에서 분할했을 때의 각 분할영역의 에너지와 상기 프레임의 앞 프레임을 시간영역에서 분할했을 때의 각 분할영역의 에너지를 비교하여 구하고 있다.

도 5는 에너지의 비교예를 설명하기 위한 도면이다. 본 실시예에서는, 프레임을 단시간 슬롯(slot)으로 분할하고, 다음 프레임의 동일 슬롯과의 에너지를 비교한다. 그리고, 예를 들면 각 슬롯의 에너지 차이(의 합계)가 임계값 이하이면 "유사하다"고 판단한다. 유사성에 대해서는 유사한지 여부(플래그)에 의해 나타낼 수도 있고, 에너지 차이에 따라서 유사도(정도)로 나타낼 수도 있다. 또, 비교하는 슬롯은 프레임 내의 전체 슬롯일 수도 있고, 일부 슬롯일 수도 있다.

본 실시예에서는 프레임을 시간영역에서 분할하여 에너지를 비교하고 있지만, 대신에 프레임을 주파수영역에서 분할하여 에너지를 비교할 수도 있다.

도 6은 에너지 비교의 예를 설명하기 위한 다른 도면이다. 도 6에서는 프레임을 주파수영역에서 서브밴드(subband)로 분할하고, 다음 프레임의 동일한 서브밴드와 에너지를 비교하고 있다. 예를 들면, 각 서브밴드의 에너지 차(의 합계)가 임계값 이하 이면 "유사하다"고 판단한다.

이상의 설명에서는 주목하는 프레임의 에너지를, 그 하나 앞의 프레임의 에너지와 비교하여 유사성을 구하고 있지만, 앞의 2개 이상의 프레임의 에너지와 비교하여 유사성을 구할 수도 있고, 뒤의 프레임의 에너지와 비교하여 유사성을 구할 수도 있고, 앞 및 뒤의 프레임의 에너지와 비교하여 유사성을 구하도록 할 수도 있 다.

다음에, 예측 가능성에 대해 보다 구체적으로 설명한다. 본 실시예에서 예측 가능성은 오디오 데이터의 주파수 영역에서의 분포의 기울기에 기초하여 구하고 있다.

도 7a, 7b는 예측 가능성을 구하는 방법의 예를 설명하기 위한 도면이다. 도 7a, 7b에는 오디오 데이터의 파형이 시간영역 및 주파수영역에서 나타나 있다. 도 7a에 도시한 바와 같이, 예측이 맞는다는 것은 시간영역에서의 상관이 강하고, 주파수 영역에서 스펙트럼(spectrum)이 기울어져 있는 것이라고 생각할 수 있다. 한편, 도 7b에 도시한 바와 같이, 예측이 맞지 않는다는 것은 시간영역에서의 상관이 약하고(또는 없고), 주파수 영역에서 스펙트럼이 평탄한 것이라고 생각할 수 있다. 예측 가능성의 값으로는, 예를 들면 G_p = 상가평균(相加平均)/상승평균(相乘平均)을 이용할 수 있다. 예를 들면, 스펙트럼이 25, 1로 기울어져 있는 경우(도 7a와 같은 경우)에는, G_p는 이하에 나타내는 바와 같이 커진다.

한편, 예를 들어 스펙트럼이 5, 5로 평탄한 경우(도 7b와 같은 경우)에는 G_p는 이하에 나타내는 바와 같이 작아진다.

또, 예측 가능성은 예측이 맞는지 여부(플래그)에 의해 나타낼 수도 있다.

이상에서와 같이 하여 구한 유사성 및 예측 가능성에 기초하여 에러 또는 로스가 검출된 프레임의 음의 상황을 판별한다.

도 8은 음의 상황의 판별방법의 예를 설명하기 위한 도면이다. 도 8의 예에서는 유사성이 어느 값보다 큰 경우에는 정상적이라고 판별하고 있다. 한편, 유사성이 어느 값보다 작은 경우에는 과도적 또는 기타라고 판별하고 있다.

음의 상황에 따른 보간법의 선택방법으로서는, 예를 들어 과도적인 경우에는 노이즈 치환( noise substitution)을 사용하고, 정상적인 경우에는 반복(repetition)을 사용하며, 기타의 경우에는 예측(prediction)을 사용하는 것을 고려할 수 있다. 또, 예를 들어 보간장치의 디코더 능력(연산 능력)에 따라서 일반적으로 연산량이 많은 예측(prediction)을 행하게 되는(도 8의) "기타" 영역을 변경하는 것도 고려할 수 있다.

유사성이나 예측 가능성은 수신측(보간장치측)에서 계산할 수 있는 경우도 있고, 계산할 수 없는 경우도 있다. 예를 들면, 스케일러블 부호화이면 코어층이 정확하게 수신할 수 있으면 그 코어층과 전 프레임의 코어층으로써 유사성을 관찰할 수 있다. 수신측에서 계산할 수 없는 경우를 고려하여 유사성이나 예측 가능성을 송신측에서 구하고 오디오 데이터와 동시에 송신하는 것이 고려된다. 수신측에서는 오디오 데이터와 동시에 유사성이나 예측 가능성을 수신하면 된다.

도 9는 본 실시예에서의 부호화/보간정보 작성장치의 구성예를 나타낸다. 부호화/보간정보 작성장치(60)는 오디오 데이터를 송신하는 송신장치의 일부로서 구성할 수도 있고, 독립된 것으로서 구성할 수도 있다. 부호화/보간정보 작성장치(60)는 부호화부(62) 및 보간정보 작성부(64)를 구비한다.

부호화부(62)에서 부호화 대상음의 부호화를 행하고, 오디오 데이터(비트열)를 생성한다. 또, 보간정보 작성부(64)에서는 오디오 데이터의 각 프레임의 보간정보(관련정보)로서 유사성이나 예측 가능성을 구한다.

보간정보는 원음(부호화 대상음) 또는 부호화 도중의 값/파라미터로부터 구할 수 있다. 이렇게 하여 구한 보간정보를 오디오 데이터와 동시에 송신하도록 하면 된다(오디오 데이터와는 별도로 보간정보만 먼저 송신해 두는 것도 고려할 수 있다). 여기서, 예를 들면 (1) 보간정보를 시간차로 전송하고, (2) 보간정보에 강한 에러정정(부호화)을 실시하여 전송하고, (3) 보간정보를 복수회 전송함으로써 전송 정보량을 그다지 증가시키지 않고 품질의 향상을 한층 도모하는 것이 가능하다.

도 10은 본 실시예에서의 보간장치의 다른 구성예를 나타낸다. 보간장치(10)' 는 오디오 데이터를 수신하는 수신장치의 일부로서 구성할 수도 있고, 독립된 것으로서 구성할 수도 있다. 보간장치(10)' 는 에러/로스 검출부(14), 복호부(16), 상황 판별부(18) 및 보간법 선택부(20)를 구비한다.

보간장치(10)' 는 오디오 데이터(비트열) 이외에 보간정보의 입력도 받는다. 입력된 보간정보(유사성이나 예측 가능성)는 상황 판별부(18)에서 사용된다. 즉, 보간정보에 따라 에러 또는 로스가 검출된 프레임의 음의 상황이 판별된다.

상황판별부(18)는 입력된 보간정보에만 의존하여 음의 상황을 판별하도록 할 수도 있고, 보간정보가 있는 경우에는 그 보간정보에 따라 음의 상황을 판별하고 보간정보가 없는 경우에는 스스로 유사성이나 예측 가능성을 구하여 음의 상황을 판별하도록 할 수도 있다.

상술한 도 9 및 도 10의 예에서는 송신측[부호화/보간정보 작성장치(60)측]으로 각 프레임의 유사성이나 예측 가능성을 구하여 송신하도록 하고 있지만, 송신측에서 유사성이나 예측 가능성에 따라 각 프레임의 음의 상황을 판별하고, 그 판별한 음의 상황을 보간정보로서 송신하도록 할 수도 있다. 보간장치(10)'는 수신한 보간정보를 보간법 선택부(20)에 입력하도록 하면 된다. 보간장치(10)'는 보간정보에만 의존할 수도 있고, 보간정보가 있는 경우에만 보간정보를 이용하도록 할 수도 있다. 보간정보에만 의존하는 경우에는 상황 판별부(18)는 없어도 되고, 에러/로스 검출결과를 보간법 선택부(20)에 입력하도록 하면 된다.

또, 송신측에서 유사성이나 예측 가능성에 따라 음의 상황을 판별하여, 각 프레임의 보간법을 결정하고, 그 결정한 보간법을 보간정보로서 송신하도록 할 수도 있다. 보간장치(10)'는 수신한 보간정보를 복호부(16)에 입력하도록 하면 된다. 보간장치(10)'는 보간정보에만 의존할 수도 있고, 보간정보가 있는 경우에만 보간정보를 이용하도록 할 수도 있다. 보간정보에만 의존하는 경우에는 상황 판별부(18) 및 보간법 선택부(20)는 없어도 되고, 에러/로스 검출결과를 복호부(16)에 입력하도록 하면 된다.

또, 보간법은 송신측에서 에러를 발생시킨은 뒤에 복수의 보간법을 시도하여 그 결과에 따라서 선택할 수도 있다.

도 11은 본 실시예에서의 부호화/보간정보 작성장치의 다른 구성예를 나타낸 다. 부호화/보간정보 작성장치(60)'는 오디오 데이터를 송신하는 송신장치의 일부로서 구성할 수도 있고, 독립된 것으로서 구성할 수도 있다. 부호화/보간정보 작성장치(60)' 는 부호화부(62), 보간정보 작성부(64), 의사 에러 생성부(66) 및 보간부(68)를 구비한다.

오디오 데이터(비트열)의 각 프레임의 데이터에 대하여, 의사 에러 생성부(66)에서 생성된 의사 에러가 가산부(67)에서 가산된다. 이렇게 해서 에러를 발생시킨 각 프레임의 데이터에 대하여 보간부(68)에서 복수의 보간법(보간법 A, B, C, D, …)을 적용한다. 각 보간법의 적용결과는 보간정보 작성부(64)로 전송된다. 보간정보 작성부(64)에서는 각 보간법의 적용결과(데이터)의 복호를 행하고, 원래의 부호화 대상음과 비교한다. 그리고, 그 비교결과에 따라 최적의 보간법을 선택하고, 그 프레임의 보간정보로서 송신한다.

또, 보간정보 작성부(64)에서, 각 보간법의 적용결과의 복호를 행하여 부호화 대상음과 비교하는 대신에 각 보간법의 적용결과를 에러 발생 전의 오디오 데이터(비트열)와 비교하여 보간법을 선택하도록 할 수도 있다.

또, 제1 실시예에서도 전술한 한 것과 마찬가지로 송신측에서 각 프레임의 음의 상황을 상기 프레임의 파라미터에 따라 판별하고, 그 판별한 음의 상황을 보간정보로서 송신하도록 할 수 있다. 또, 송신측에서 각 프레임의 음의 상황을 상기 프레임의 파라미터에 따라 판별하고, 그 판별한 음의 상황에 따라서 각 프레임의 보간법을 결정하며, 그 결정한 보간법을 보간정보로서 송신하도록 할 수도 있다. 보간법은 송신측에서 에러를 발생시킨은 뒤에, 복수의 보간법을 시도하여 그 결과에 따라서 선택할 수도 있다.

(제3 실시예)

다음에, 본 발명의 제3 실시예에 대하여 설명한다. 제3 실시예에서도 도 1에 나타낸 제1 실시예의 보간장치과 동일한 보간장치를 사용할 수 있다.

본 실시예에서는 에러 또는 로스가 검출된 프레임의 음의 상황을 그 프레임의 전(前) 프레임의 음의 상황에 따라 판별한다. 단, 후(後) 프레임의 음의 상황도 고려하여 판별하도록 할 수도 있다.

예를 들면, 프레임의 음의 상황의 이력을 유지해 두고 정상적인 상태가 장기적으로 계속되고 있으면, 다음 프레임도 정상적이라고 판별하는 것을 고려할 수 있다. 과도적인 것에 대해서도 동일하다.

또, 예를 들면, 프레임의 음의 상황의 천이 이력을 유지해 두고 그 이력에 따라 에러 또는 로스가 검출된 프레임의 음의 상황을 판별하는 것도 고려할 수 있다. 예를 들면, 음의 상황의 천이 n차 조건부 확률(예를 들면, 3개의 과도적인 경우가 계속된 경우에, 다음에 과도적으로 되는 확률, 정상적으로 되는 확률 등)에 따라 판별하는 것을 고려할 수 있다. n차 조건부 확률은 수시로 갱신해 나간다.

또, 본 실시예에서도 제2 실시예와 마찬가지로 송신측에서 각 프레임의 음의 상황을 그 프레임의 전 프레임의 음의 상황에 따라 판별하고, 그 판별한 음의 상황을 보간정보로서 송신하도록 할 수 있다. 또, 송신측에서 각 프레임의 음의 상황을 그 프레임의 전 프레임의 음의 상황에 따라 판별하고, 그 판별한 음의 상황에 따라서 각 프레임의 보간법을 결정하고, 그 결정한 보간법을 보간정보로서 송신하 도록 할 수도 있다.

또, 음의 상황의 판별은 상술한 제1 ∼ 제3 실시예에서의 판별방법을 조합하여 행할 수도 있다. 조합하는 경우는 각 판별방법에 가중값을 부여하여 종합적으로 판별하면 된다.

다음에, 도 12 ∼ 도 16을 참조하면서 본 발명에 따른 오디오 데이터 보간정보 송신장치 및 방법의 실시예에 대해 자세히 설명한다.

상술한 제1 ∼ 3실시예의 오디오 데이터 보간장치는 오디오 데이터의 에러 보상기술로서 에러 보간정보를 이용하여 보간법을 전환하는 것이며, 전송전의 에러가 없는 음원을 바탕으로 보간정보를 작성함으로써 오디오 데이터의 로스에 대하여 최적의 보간을 행할 수 있고, 보간정보에 의한 용장도(redundancy)는 적다는 점에서 우수한 효과를 가지는 것이지만, 보간정보의 전송방법에 대해서는 언급하지 않으며 손실된 오디오 프레임에 관한 보간정보도 함께 손실되어 버리는 그러한 전송 방법으로는 보간법을 적절하게 전환할 수 없는 문제가 있다.

따라서, 이하의 제4 ∼ 제7 실시예에서는 보간정보나 오디오 데이터의 어느 한쪽이 존재할 가능성이 높아져, 오디오 데이터가 손실된 경우에는 적절한 보간법을 적용할 수 있도록 한다. 또, 보간정보를 오디오 데이터에 삽입함으로써 보간정보에 대응하지 않는 디코더라도 오디오 데이터의 복호할 수 있게 한다. 또한, 보간법이 전 프레임과 다른 경우에만 전송함으로써 용장도를 억제할 수 있도록 한다. 또, 이하의 각 실시예에 공통하여 오디오 데이터의 각 프레임 AD(n), AD(n+1), AD(n +2), …에 대하여, 그 프레임이 쇤실된 경우의 최적의 보간법을 나타내는 보 간정보 CI(n), CI(n+1), CI(n+2), ···가 있다고 한다.

(제4 실시예)

도 12는 오디오 프레임과 보간정보에 2 프레임의 시간차를 두어 전송하는 경우의 패킷 전송패턴을 나타낸다. 패킷 P(n)에는 프레임 AD(n) 및 보간정보 CI(n+2)가 포함되며, 패킷 P(n+2)에는 프레임 AD(n+2) 및 보간정보 CI(n+4)가 포함된다. 패킷 P(n+2)가 손실된 경우, 패킷 P(n)가 수신되었으면 손실된 프레임 AD(n+2) 부분은 보간정보 CI(n+2)를 이용하여 최적의 보간을 행하고, 복호 음질의 열화를 억제할 수 있다.

시간차 x는 고정될 수도 있고, 오디오 데이터마다 프레임마다 가변될 수도 있다.

예를 들면, 프레임마다 랜덤(random)하게 함으로써 버스트(burst) 에러에 대하여 내성을 갖게 할 수 있고, 전송로의 에러 상황에 따라서 적응적으로 변경시킬 수도 있다. 또, 하나의 프레임 AD에 대하여 복수의 보간정보 CI를 함께 전송할 수도 있다. 도 12에서는 하나의 프레임 AD에 대하여 하나의 보간정보 CI를 x = 2로 고정하여 전송하는 경우를 나타내고 있다.

도 13은 본 실시예에서의 송신장치의 구성예를 나타낸다. 송신장치(80)는 부호화부(82) 시간차 부가부(84), 보간정보 작성부(86), 및 다중화부(88)를 구비한다.

시간차정보 "x" 는, 송신측과 수신측에서 사전에 협상(negotiation)하거나 특정한 파라미터로부터 계산에 의해 구하는 등 송신측 및 수신측 양쪽에서 이미 알 고 있으면 어떤 프레임의 보간정보인지를 나타내는 정보(이하, 지시정보라고 한다)는 전송하지 않을 수도 있다. 어떤 프레임의 보간정보지를 나타낼 필요가 있는 경우는 시간차정보 "x" 또는 프레임 ID "n+x" 또는 그 프레임의 절대 재생시간 지시정보라는 보간정보 CI(n+x)와 더불어 전송하는 것을 고려할 수 있다.

보간정보 CI 및 지시정보는, 예를 들면 IP 패킷의 패딩 비트(padding bit)로서 포함시키는 것을 고려할 수 있다. 또 오디오 데이터가 (MPEG 표준규격문서 ISO/IEC 13818-7 또는 ISO/IEC 14496-3에 개시되는 것과 같은) MPEG-2 또는 MPEG-4의 AAC로 부호화되는 경우, data-stream_element 내에 포함킬 수도 있고, 허프맨(Huffman) 부호화 직전의 MDCT(Modified Discrete Cosine Transform) 계수에 (Proceedings of the IEEE, Vol.87, No.7, July 1999, PP. 1062-1078, "Information Hiding - A Survey"에 개시되는 것과 같은) 데이터 삽입 기술을 이용하여 삽입하면 허프맨 부호화는 가역 압축이기 때문에 수신측에서도 보간정보 CI 및 지시정보를 완전하게 인출할 수 있다.

MDCT 계수에 삽입하는 방법으로는, 예를 들면 특정한 MDCT 계수의 최하위 비트가 보간정보와 일치하도록 계수를 조작하는 것을 고려할 수 있다. 삽입하는 계수는, 계수를 조작함으로써 일어나는 품질의 열화가 극도로 작고, 또한 계수를 조작하여 허프맨 부호가 변함에 따라 증가하는 오버헤드(overhead)가 극도로 작은 곳이 있는 것이 바람직하다.

데이터 삽입이 행하여지고 있는 것을 수신측에 알리는 방법으로서, 예를 들면 (IETF 표준규격문서 RFC1889에 개시되는 것과 같은) RTP(Realtime Transport Protocol)의 헤더의 마커 비트(marker bit)를 이용하는 것을 고려할 수 있다. 데이터 삽입의 경우에 한층 보간법이 변화되는 프레임에 대해서만 보간정보를 전송하는 경우는 그 프레임에 보간정보가 삽입되어 있는지 여부를 나타내는 플래그가 각 프레임에 필요하게 되지만, 이 플래그 자체도 오디오 데이터에 삽입하는 것을 고려할 수 있다.

(제5 실시예)

제5 실시예에서는 제4 실시예와 같이 프레임 AD와 시간차를 두어 보간정보 CI를 전송하는 방법으로서 보간법이 변화되는 경우, 즉 CI(n)≠ CI(n+1)의 경우만 보간정보 CI(n+1)를 보내도록 한다.

본 실시예에서의 송신장치는 상술한 도 13의 송신장치과 동일한 구성으로 할 수 있다.

도 14는 보간법이 변화되는 프레임에 대해서만 보간정보를 전송하고, 또 지시정보도 함께 전송하는 경우의 패킷 전송 패턴을 나타낸다. 송신측 및 수신측 양쪽에서 시간차정보 "x"를 미리 알고 있으면 지시정보는 전송하지 않을 수 있다.

변화되는 경우만 보간정보 CI를 전송하는 때는, 그 보간정보 CI가 손실되면 다음에 보간정보 CI가 변화될 때까지 잘못이 전파하게 되기 때문에, 시간차와 더불어 보간정보 CI에 대하여 손실보상 기술을 사용하는 것이 바람직하다.

하나는, 보간정보만 복수회 송신하는 것을 들 수 있다. 도 14에서는 제5 실시예에서 CI(n+3)는 패킷 P(n+1)에만 포함되어 있지 않지만, 패킷 P(n)이나 패킷 P(n+2)에도 포함시킴으로써 패킷 P(n+1)이 손실되더라도 보간정보 CI(n+3)는 존재 하고, 보간법을 전환할 수 있다.

따른 하나는, 보간정보에만 강한 에러정정을 실시하는 것이다. 예를 들면 보간정보 CI에만 FEC(Forward Error Correction)를 이용하여, FEC 데이터는 다른 패킷에 포함시키는 것을 고려할 수 있다. FEC 데이터를 포함하는 패킷은 송신측 및 수신측 양쪽에서 미리 알고 있도록 할 수도 있고, 지시정보로 FEC 데이터임을 나타낼 수도 있다.

또, 보간정보만 재전송하는 것도 고려된다. 예를 들면 ARQ(Automatic Repeat Request)을 이용하여, 보간정보 CI만 자동 재전송 요구를 행하도록 함으로써 보간정보 CI가 수신될 가능성은 높아지고, 오디오 데이터는 ARQ을 이용하지 않음으로써 재전송에 의한 용장도를 억제할 수 있다.

또, 제4 실시예에서도 상기와 같이 보간정보 CI에 대하여 손실보상 기술을 사용할 수 있다.

(제6 실시예)

제6 실시예에서는 오디오 데이터와 보간정보를 따로따로 전송한다. 이 경우는, 예를 들면 RTP 헤더의 페이로드 타입(pay load type)을 오디오 데이터와 보간정보와는 다른 것으로 하면 된다. 보간정보는 복수 프레임분을 1 패킷에 포함시킬 수도 있다.

본 실시예에서의 송신장치는 상술한 도 9 또는 도 11의 부호화/보간정보 작성장치와 구성이 동일한 것으로 할 수 있다.

도 15는 보간정보만 4회 전송하는 경우의 패킷 전송 패턴을 나타낸다. 하나 의 패킷에 포함되는 복수 프레임분의 보간정보는 연속한 프레임의 것이 아니어도 된다. 지시정보도 필요하다면 보간정보 CI와 함께 전송한다.

(제7 실시예)

제7 실시예에서는 제6 실시예와 마찬가지로 프레임 AD와 보간정보 CI를 전송하는 방법으로서, 제5 실시예와 같이 보간법이 변하는 경우만 보간정보 CI를 전송한다. 그 경우는 지시정보도 보간정보 CI와 함께 전송한다.

변화되는 경우만 보간정보 CI를 전송할 때는, 그 보간정보 CI가 손실되면 다음에 보간정보 CI가 변화될 때까지 잘못된 것이 전파하게 되기 때문에, 보간정보 CI에 대하여 손실보상 기술을 사용하는 것이 바람직하다. 보간정보에만 강한 에러정정을 실시하는 경우, 제5 실시예와 같이, 예를 들면 FEC을 사용하는 것을 고려할 수 있다.

도 16은 보간정보에만 FEC을 실시하고, 또 보간법이 변화되는 프레임에 대해서만 보간정보를 전송하는 경우의 패킷 전송 패턴을 나타낸다. 보간정보는 복수 프레임분을 1패킷에 포함시켜 (IETF 표준규격문서 RFC2733에 개시된 바와 같이) FEC 패킷(P_{CI_ FEC})을 별도로 생성할 수도 있고, 보간정보 CI(n) 및 보간정보 CI(n+1)에 관한 FEC 정보는 보간정보 CI(n) 및 보간정보 CI(n+1)이 포함되어 있지 않는 다른 CI 패킷(P_CI)에 포함시켜 전송할 수도 있다. FEC의 레이트(rate)는 예를 들면 보간정보 CI에 대해서는 2P_CI에 대해 1P_CI-FEC, 프레임 AD에 대해서는 5PAD에 대해1P _{CI_ FEC}와 강약을 줄 수도 있으며, 프레임 AD에는 전혀 FEC를 실시하지 않도록 할 수도 있다.

보간정보만 재전송하는 경우도 제5 실시예와 마찬가지로 예를 들면 보간정보의 패킷만 ARQ을 이용하는 것을 고려할 수 있다. 회선교환에서는 보간정보만 먼저 정리하여 ARQ를 이용하여 전송해 두는 것을 고려할 수 있다. 또, 보간정보만 신뢰성이 있는 별도의 채널로 전송하는 경우는, 예를 들면 보간정보는 TCP/IP로 전송하고 오디오 데이터는 RTP/UDP/IP로 전송하는 것을 고려할 수 있다.

또, 제6 실시예에서도 상기와 같이 보간정보 CI에 대하여 손실보상 기술을 이용할 수 있다.

또, 상술한 제4 ∼ 제7 실시예는 패킷 교환망을 예로 설명하였지만, 본 발명은 회선 교환망에서도 프레임의 동기를 맞추면 동일하게 하여 실현할 수 있다.

이상 설명한 바와 같이, 본 발명에 의하면 오디오 데이터 중의 에러 또는 로스가 발생한 프레임의 음의 상황을 판별하여, 그 상황에 따른 보간을 행할 수 있다. 이로써 복호 음질을 향상시킬 수 있다.

또, 본 발명에 의하면, 어느 오디오 프레임이든지 또는 그 프레임에 관한 보조정보이든지 어느 한쪽이 존재할 가능성이 높아져, 오디오 데이터가 손실된 경우는 적절한 보간법을 적용할 수 있고, 적은 용장도로 복호 품질을 향상시킬 수 있다.

또, 상술한 제1 ∼ 제7 실시예의 보간장치나 부호화/보간정보 작성장치나 송신장치는 자체 메모리 등에 기억된 프로그램에 따라서 전술한 바와 같은 보간, 부호화, 보간정보 작성 등의 동작을 행하는 것으로 할 수 있다. 또, 프로그램은 기록 매체(예를 들면, CD-ROM, 자기디스크)에 기록하거나 기록 매체로부터 판독하는 것을 고려할 수 있다.

또, 본 발명은 상술한 각 실시예로 한정되는 것이 아니라, 그 요지를 일탈하지 않은 범위에서 여러 가지 변형하여 실시할 수 있다.

Claims

복수의 프레임으로 이루어지는 오디오 데이터의 보간을 행하는 오디오 데이터 보간장치로서,

상기 오디오 데이터를 입력하는 입력수단,

상기 오디오 데이터의 각 프레임의 에러(error) 또는 로스(loss)를 검출하는 검출수단,

상기 에러 또는 로스가 검출된 프레임의 보간정보를 입력 또는 추정하고, 그 프레임에 대해 입력 또는 추정된 보간정보를 사용하여 상기 에러 또는 로스가 검출된 프레임의 음의 상황을 판별하는 상황 판별수단,

상기 상황 판별수단에 의해 판별된 프레임의 음의 상황에 기초하여, 상기 에러 또는 로스가 검출된 프레임에 대해 보간법을 선택하는 보간법 선택수단, 및

상기 에러 또는 로스가 검출된 프레임을, 그 프레임에 대해 상기 보간법 선택수단에 의해 선택된 보간법을 사용하여 보간하는 보간수단

을 포함하는 오디오 데이터 보간장치.
제1항에서,

상기 프레임 각각은 파라미터(parameter)를 가지며,

상기 상황 판별수단은 상기 에러 또는 로스가 검출된 프레임의 파라미터를 그 프레임의 전(前) 프레임 또는 후(後) 프레임 또는 전후 프레임의 파라미터에 기초하여 판별하고, 상기 에러 또는 로스가 검출된 프레임의 음의 상황을 그 프레임의 파라미터에 기초하여 추정하는 오디오 데이터 보간장치.
제2항에서,

상기 파라미터의 상태 천이는 미리 정해져 있으며,

상기 상황 판별수단은 상기 에러 또는 로스가 검출된 프레임의 파라미터를, 그 프레임의 전 프레임 또는 후 프레임 또는 전후 프레임 및 상기 상태 천이에 기초하여 판별하는 오디오 데이터 보간장치.
제1항에서,

상기 상황 판별수단은 상기 에러 또는 로스가 검출된 프레임의 에너지와, 상기 프레임의 전 프레임 또는 후 프레임 또는 전후 프레임의 에너지의 유사성에 기초하여 상기 에러 또는 로스가 검출된 프레임의 음의 상황을 추정하는 오디오 데이터 보간장치.
제4항에서,

상기 상황 판별수단은 상기 유사성을 상기 에러 또는 로스가 검출된 프레임을 시간영역에서 분할했을 때의 각 분할영역의 에너지와, 상기 프레임의 전 프레임 또는 후 프레임 또는 전후 프레임을 시간영역에서 분할했을 때의 각 분할영역의 에너지를 비교하여 구하는 오디오 데이터 보간장치.
제4항에서,

상기 상황 판별수단은 상기 유사성을 상기 에러 또는 로스가 검출된 프레임을 주파수영역에서 분할했을 때의 각 분할영역의 에너지와, 상기 프레임의 전 프레임 또는 후 프레임 또는 전후 프레임을 주파수영역에서 분할했을 때의 각 분할영역의 에너지를 비교하여 구하는 오디오 데이터 보간장치.
제1항에서,

상기 상황 판별수단은 상기 에러 또는 로스가 검출된 프레임에 대한 상기 프레임의 전 프레임 또는 후 프레임 또는 전후 프레임에 기초하는 예측 가능성에 따라, 상기 에러 또는 로스가 검출된 프레임의 음의 상황을 추정하는 오디오 데이터 보간장치.
제7항에서,

상기 상황 판별수단은 상기 예측 가능성을 상기 오디오 데이터의 주파수 영역에서의 분포의 기울기에 따라 구하는 오디오 데이터 보간장치.
제1항에서,

상기 상황 판별수단은 상기 에러 또는 로스가 검출된 프레임의 음의 상황을 상기 프레임의 이전 프레임의 음의 상황에 따라 추정하는 오디오 데이터 보간장치.
삭제
삭제
복수의 프레임으로 이루어지는 오디오 데이터에 관련되는 정보를 작성하는 오디오 데이터 관련정보 작성장치로서,

상기 오디오 데이터를 입력하는 입력수단, 및

상기 오디오 데이터의 각 프레임에 관하여 상기 프레임의 보간정보를 작성하는 작성수단

을 포함하고,

상기 보간정보는 음성 상황을 판별하고, 그것에 기초하여 보간법을 선택하기위한 정보인

오디오 데이터 관련정보 작성장치.
제12항에서,

상기 작성수단은 상기 오디오 데이터의 각 프레임에 관한 상기 프레임의 에너지와, 상기 프레임의 전 프레임 또는 후 프레임 또는 전후 프레임의 에너지의 유사성을 포함한 상기 보간정보를 작성하는 오디오 데이터 관련정보 작성장치.
제12항에서,

상기 작성수단은 상기 오디오 데이터의 각 프레임에 관한 상기 프레임에 대한 상기 프레임의 전 프레임 또는 후 프레임 또는 전후 프레임에 기초하는 예측 가능성을 포함한 상기 보간정보를 작성하는 오디오 데이터 관련정보 작성장치.
제12항에서,

상기 작성수단은 상기 오디오 데이터의 각 프레임에 관한 상기 프레임의 음의 상황을 포함한 상기 보간정보를 작성하는 오디오 데이터 관련정보 작성장치.
제12항에서,

상기 작성수단은 상기 오디오 데이터의 각 프레임에 관한 상기 프레임의 보간법을 포함한 상기 보간정보를 작성하는 오디오 데이터 관련정보 작성장치.
제16항에서,

상기 작성수단은 상기 오디오 데이터의 각 프레임에 대하여 에러를 발생시키고, 에러를 발생시킨 데이터에 복수의 보간법을 적용하며, 상기 복수의 보간법의 적용결과에 따라서 상기 복수의 보간법 중에서 상기 보간정보에 포함시키는 보간법을 선택하는 오디오 데이터 관련정보 작성장치.
복수의 프레임으로 이루어지는 오디오 데이터의 보간을 행하는 오디오 데이터 보간방법으로서,

상기 오디오 데이터를 입력하는 단계,

상기 오디오 데이터의 각 프레임의 에러 또는 로스를 검출하는 단계,

상기 에러 또는 로스가 검출된 프레임의 보간정보를 입력 또는 추정하고, 상기 프레임에 입력 또는 추정된 보간정보를 사용하여 상기 에러 또는 로스가 검출된 프레임의 음의 상황을 판별하는 단계,

상기 판별된 상기 프레임의 음의 상황에 기초하여, 상기 에러 또는 로스가 검출된 프레임에 대해 보간법을 선택하는 단계, 및

상기 에러 또는 로스가 검출된 프레임을, 그 프레임에 대해 상기 선택된 보간법을 사용하여 보간하는 단계

를 포함하는 오디오 데이터 보간방법.
삭제
제18항의 오디오 데이터 보간방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
삭제
삭제
삭제
삭제
삭제
삭제
복수의 프레임으로 이루어지는 오디오에 관련되는 정보를 작성하는 오디오 데이터 관련정보 작성방법으로서,

상기 오디오 데이터를 입력하는 단계, 및

상기 오디오 데이터의 각 프레임에 관하여 상기 프레임의 보간정보를 작성하는 단계

를 포함하고,

상기 보간정보는 음의 상황을 판별하고, 그것에 기초하여 보간법을 선택하기 위한 정보인

오디오 데이터 관련정보 작성방법.
삭제
제27항의 오디오 데이터 관련정보 작성방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
복수의 프레임으로 이루어지는 오디오 데이터의 보간정보를 송신하는 오디오 데이터 보간정보 송신장치로서,

상기 오디오 데이터를 입력하는 입력수단,

상기 오디오 데이터의 각 프레임에 대한 보간정보와 그 프레임의 오디오 데이터 사이에 시간차를 부여하는 시간차 부가수단, 및

상기 보간정보와 상기 오디오 데이터를 같이 송신하는 송신수단

을 포함하고,

상기 보간정보는 음의 상황을 판별하고, 그것에 기초하여 보간법을 선택하기 위한 정보인

오디오 데이터 보간정보 송신장치.
제30항에서,

상기 송신수단은 상기 보간정보가 직전 프레임의 보간정보와 다른 경우에만 상기 보간정보를 상기 오디오 데이터와 같이 송신하는 오디오 데이터 보간정보 송신장치.
제30항에서,

상기 송신수단은 상기 보간정보를 오디오 데이터에 삽입하여 송신하는 오디 오 데이터 보간정보 송신장치.
제30항에서,

상기 송신수단은 상기 보간정보만 복수회 송신하는 오디오 데이터 보간정보 송신장치.
제30항에서,

상기 송신수단은 상기 보간정보에만 강한 에러정정을 실시하여 송신하는 오디오 데이터 보간정보 송신장치.
제30항에서,

상기 송신수단은 재전송 요구에 따라서 상기 보간정보만 재전송하는 것오디오 데이터 보간정보 송신장치.
복수의 프레임으로 이루어지는 오디오 데이터의 보간정보를 송신하는 오디오 데이터 보간정보 송신장치로서,

상기 오디오 데이터를 입력하는 입력수단, 및

상기 오디오 데이터의 각 프레임에 대한 보간정보를 상기 오디오 데이터와는 별도로 송신하는 송신수단

을 포함하고,

상기 보간정보는 음의 상황을 판별하고, 그것에 기초하여 보간법을 선택하기 위한 정보인

오디오 데이터 보간정보 송신장치.
제36항에서,

상기 송신수단은 상기 보간정보가 직전 프레임의 보간정보와 다른 경우에만 상기 보간정보를 상기 오디오 데이터와 같이 송신하는 오디오 데이터 보간정보 송신장치.
제36항에서,

상기 송신수단은 상기 보간정보만 복수회 송신하는 오디오 데이터 보간정보 송신장치.
제36항에서

상기 송신수단은 상기 보간정보에만 강한 에러정정을 실시하여 송신하는 오디오 데이터 보간정보 송신장치.
제36항에서,

상기 송신수단은 재전송 요구에 따라서 상기 보간정보만 재전송하는 오디오 데이터 보간정보 송신장치.
제36항에서,

상기 송신장치는 상기 오디오 데이터를 송신하는 채널과는 상이한 신뢰성 있 는 다른 채널로 상기 보간정보를 송신하는 오디오 데이터 보간정보 송신장치.
복수의 프레임으로 이루어지는 오디오 데이터의 보간정보를 송신하는 오디오 데이터 보간정보 송신방법으로서,

상기 오디오 데이터를 입력하는 단계,

상기 오디오 데이터의 각 프레임에 대한 보간정보와 상기 프레임의 오디오 데이터 사이에 시간차를 부여하는 단계, 및

상기 보간정보와 상기 오디오 데이터를 같이 송신하는 단계

를 포함하고,

상기 보간정보는 음의 상황을 판별하고, 그것에 기초하여 보간법을 선택하기 위한 정보인

오디오 데이터 보간정보 송신방법.
삭제
제42항의 오디오 데이터 보간정보 송신방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
복수의 프레임으로 이루어지는 오디오 데이터의 보간정보를 송신하는 오디오 데이터 보간정보 송신방법으로서,

상기 오디오 데이터를 입력하는 단계, 및

상기 오디오 데이터의 각 프레임에 대한 보간정보를 상기 오디오 데이터와 별도로 송신하는 단계

를 포함하고,

상기 보간정보는 음의 상황을 판별하고, 그것에 기초하여 보간법을 선택하기 위한 정보인

오디오 데이터 보간정보 송신방법.
삭제
제45항의 오디오 데이터 보간정보 송신방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.