KR101026328B1 - 정보 기록 장치 - Google Patents

Abstract

씬의 구획 설정을 간편화하는 정보 기록 재생 장치이며, 음성 인식부와 제어부를 구비하고, 기록 중에 음성 인식부에 의해 특징 추출된 타이밍으로 제어부가 씬의 구획을 설정하고, 동시에 섬 네일을 설정한다. 재생 시에는 상기 섬 네일과 동시에, 특징 추출 시의 음성을 동시에 출력한다.

정보 기록 장치, 음성 인식부, 섬 네일, 렌즈, 미디어 제어부

Description

정보 기록 장치 {INFORMATION RECORDING APPARATUS}

본원은 참조로서 본원에 합체된 2008년 3월 12일자로 출원된 일본 특허 출원 제2008-62003호를 우선권 주장한다.

본 발명은 화상이나 음성을 나타내는 정보를 기록하는 정보 기록 장치에 관한 것이다.

음성 인식을 사용하여 화상의 기록 장치, 또는 재생 장치를 제어하는 기술로서 이하의 발명이 개시되어 있다.

예를 들어, 일본 특허 출원 공개 제2006-121155호 공보(특허 문헌 1)에는, 「영상을 중단했을 때에, 중단한 위치에 비디오 테이프의 프로그램 서칭을 행하는 것이 가능한 비디오 데크」를 제공하는 것을 과제로 하여, 「녹화 개시 시에 컨트롤 트랙에 기록되는 제1 VISS(VHS Index Search System) 신호와는 상이한 듀티비(duty ratio)의 제2 VISS 신호를 컨트롤 트랙에 기록시키고, 소정의 조작에 따라서 제2 VISS 신호가 기록되어 있는 위치까지 비디오 테이프의 프로그램 서칭(versing-up)을 행하도록 구성된」 비디오 데크가 기재되어 있다.

또한, 일본 특허 출원 공개 제2003-298916호 공보(특허 문헌 2)에는, 「음성 지시가 가능한 비디오 카메라 등에 있어서, 그 음성 지시가 수록되는 것을 억제하여, 재생 시의 듣기 거북한 것을 경감하는 것」을 과제로 하여, 「수록하는 음성 중 동작 코맨드를 나타내는 음성을 음성 인식기(110)로 인식하여, 동작 코맨드라고 인식된 음성에 대응하는 음성 데이터를 삭제, 혹은 음량의 저감 처리를 실시하는 것」의 촬영 장치가 기재되어 있다.

또한, 일본 특허 출원 공개 제2003-230094호 공보(특허 문헌 3)에는 그 구획 번호 0008에 「사람의 손으로 이러한 챕터를 작성할 때의 문제점」으로서, 「인간이 내용에 따라서 적절한 구획을 할당하기 때문에, 그 정밀도에 문제는 없으나, 디테일하게 챕터(1)를 작성하기 위해서는, 큰 노력을 필요로 한다」라고 기재하고 있다(구획 번호 [0008]). 그리고, 이 문제 등을 해결하는 발명으로서, 「입력된 멀티미디어 데이터에 음성 인식을 가하여 얻어진 텍스트를, 언어적인 지식을 사용하여 구분하고, 그것으로부터 원래의 멀티미디어 데이터에 링크된 챕터를 자동적으로 만드는」 챕터 작성 장치가 기재되어 있다.

비디오 카메라나 레코더 등의 촬상 장치에서는, 각 기록의 개시마다 섬 네일 화상을 작성해 두고, 재생 시에는 섬 네일 표시 일람으로서 표시하는 기능을 갖는 것이 많다. 그리고, 상기 일람으로부터 하나의 섬 네일을 선택하면, 그 섬 네일에 대응한 기록 내용이 재생되는 경우가 많다. 또한, 사용자가 임의의 위치에서, 씬의 구획의 단위(챕터)를 편집함으로써, 섬 네일(thumb nail)을 추가ㆍ삭제하는 기능을 갖는 것이 있다.

그러나, 기록 개시 이외의 타이밍으로, 기록ㆍ재생 중인 콘텐츠에 대해, 씬의 구획 위치를 지시하는 것은, 사용자에게는 번거롭기 때문에, 사용 편의성의 점에서 개선을 필요로 하는 점이다. 예를 들어, 비디오 카메라의 촬영 중에 사용자가 씬의 구획(breakpoint)을 작성해 두고 싶은 경우에, 구획의 위치마다 기록 정지ㆍ기록 개시를 버튼 누름에 의해 조작하는 등으로 하면, 그 구획 부분에서 일단 촬영이 중단되어, 나중에 감상할 때에 불연속적인 씬이 되어 버린다. 마찬가지로, 음성 레코더 등에 있어서도, 회의 중의 의제에 구획을 넣고 싶은 경우 등에 동일한 과제가 발생한다.

또한, 촬영한 챕터의 섬 네일을 표시하도록 했다고 해도, 그 섬 네일의 화상을 본 것만으로는 사용자가 무엇을 촬영한 것인지 파악할 수 없는 경우가 있다. 이로 인해, 각 챕터에는 그 내용을 식별하기 위한 정보를 촬영자가 부가하는 것이 바람직하다.

이에 대해서는, 예를 들어 버튼 등에 의해 문자 타이틀을 입력하는 것을 생각할 수 있다. 그러나, 촬상 장치로 촬영을 행하는 조작과 병행하여, 사용자가 챕터를 구획하면서, 또한 각각의 챕터에 버튼 등으로 타이틀을 붙이는 작업은 사용자에게 있어서의 부담이 될 수 있다. 한편, 이 기록이 일단락된 후에, 다시 각 챕터에 타이틀을 붙이는 것도 생각할 수 있으나, 사용자가 무엇을 기록했는지 생각날 때까지 시간이나 수고가 드는 경우도 있다.

특허 문헌 1의 발명에 따르면, 영상에 구획 위치를 붙일 수 있으나, 구획마다 무엇을 기록했는지를 나타내는 정보를 사용자가 부가하는 것에 대해서는 기재되어 있지 않다.

특허 문헌 2의 발명에 따르면, 동작 코맨드를 음성에 의해 입력하는 것이 가능해지지만, 챕터를 구획하는 것이나, 구획 씬을 식별하기 위한 정보를 사용자가 부가하는 것에 관해서는 검토되어 있지 않다.

특허 문헌 3의 기재에 따르면, 그 제목 등을 기초로, 음성 인식에 의해 얻은 텍스트 정보를 적절한 단락마다 구획하는 것이 기재되어 있다. 그러나, 텍스트 정보를 구획하는 단락이, 사용자의 의도와 상이한 경우나, 텍스트 정보의 내용이 각 단락의 내용을 나타내는 것으로서 사용자가 의도하는 것과 상이한 경우가 있다. 또한, 각 구획을 식별하기 위한 정보를 사용자가 붙이는 경우의 사용 편의성을 향상시키는 점에 대해 기재되어 있지 않다.

본원 발명은 정보의 기록을 소정의 단위로 구획하면서 행하는 경우에 있어서, 사용자가 무엇을 기록했는지를 식별하는 것을 용이하게 하는 정보 기록 장치를 제공하는 것을 목적으로 한다.

상기 과제는 특허청구의 범위에 기재된 발명에 의해 해결된다. 예를 들어, 정보 기록 재생 장치는 음성 인식부와 제어부를 구비하고, 기록 중에 음성 인식부에 의해 특징 추출된 타이밍으로, 제어부가 씬의 구획을 설정하고, 동시에 섬 네일을 설정한다. 재생 시에는 상기 섬 네일과 동시에, 특징 추출 시의 음성과 동시에 출력한다. 이와 같이 하여, 본 정보 기록 장치에서는 입력한 음성 인식 정보를 사용하여 영상에 구획을 넣는다.

본원 발명에 따르면, 정보의 기록을 소정의 단위로 구획하면서 행하는 경우에 있어서, 사용자가 무엇을 기록했는지를 식별하는 것을 용이하게 하는 정보 기록 장치를 제공하는 것이 가능해진다.

본 발명에 따르면, 정보의 기록을 소정의 단위로 구획하면서 행하는 경우에 있어서, 사용자가 무엇을 기록했는지를 식별하는 것을 용이하게 하는 정보 기록 장치를 제공할 수 있다.

본 발명의 다른 목적, 특징 및 장점은 첨부된 도면을 참조하여 이하의 본 발명의 실시예의 상세한 설명으로부터 명백하게 될 것이다.

[제1 실시예]

이하에, 본 발명의 실시 형태를 설명한다.

정보 기록 장치라 함은, 예를 들어 HDD 캠코더, BD 레코더 등의 정보를 기록하는 장치를 나타낸다. 그러나, 이에 한정된 것이 아니라, 예를 들어 정보를 기록하는 기능을 갖는 휴대 전화기, PDA 등에도 적용 가능하다. 정보의 예로서는, 영상이나 음성이 있다.

도1에 제1 실시 형태의 블럭 구성을 도시한 도면을 도시한다. 이하, 본 도면에 따라서 실시예의 설명을 행한다. 본 실시예는, 블럭도는 영상 음성을 하드디스크 드라이브(HDD)에 기록하여 재생하는 HDD 캠코더의 구성을 도시한 것이다. 도1은 렌즈(1), 화상 신호 처리부(2), 화상 부호화부(3), 마이크(4), 아날로그/디지털(AD) 변환 회로(5), 음성 인식 회로(6), 음성 부호화부(7), 기록 인터페이스(8), 기록 제어 회로(9), 섬 네일 화상 작성부(10), 관리 정보 작성부(11), 다중화 회로(12), 미디어 제어부(13), HDD(14), 분리 회로(15), 화상 복호부(16), 화상 출력 회로(17), 액정 디스플레이(LCD)(18), 음성 복호부(19), 디지털/아날로그(DA) 변환 회로(20), 스피커(21), 섬 네일 관리 회로(22), 섬 네일 일람 작성 회로(23), 재생 인터페이스(24) 및 재생 제어 회로(25)를 포함한다.

렌즈(1)로부터 입력된 영상은 도시하지 않은 CMOS나 CCD 등의 수광 소자에 의해 영상 신호로 변환된다. 그리고, 영상 신호는 화상 신호 처리부(2)에 있어서, 주사선 방향으로 스캔되어 디지털 데이터로서 변환된다. 여기서는, 표준 화상 사이즈인 횡720 × 횡480 화소마다의 프레임이 1초 동안에 30매 생성되는 것으로 한다. 변환된 영상 신호는 화상 부호화부(3)로 전송된다. 또한, 화상 신호 처리부(2)나 화상 부호화부(3)는, 예를 들어 ASIC 등의 전용 회로에 의해 구성된다.

기록 인터페이스부(8)는, 예를 들어 기록 개시/정지를 지시하기 위한 버튼 등으로 구성되어, 버튼 누름에 의해 토글(toggle) 처리에 의해 기록의 개시 정지 신호가 장치 전체의 기록 제어를 행하는 기록 제어 회로(9)에 입력되는 것으로 한다.

기록 제어 회로부(9)는, 예를 들어 마이크로세서 등으로 이루어지고, 도시되어 있지 않으나, 장치 전체의 블럭의 제어를 행하기 위해, CPU 어드레스, 데이터 버스 등으로 접속되어 있고, 각 블럭의 제어를 행하는 것으로 한다.

이하, 기록 개시 상태에 버튼에 의해 상태가 변경되어 기록 제어 회로(9)로부터 각 블럭에 기록 개시 지시가 내려진 동작에 대해 설명한다.

화상 부호화부(3)로 전송된 디지털 영상 데이터는, 예를 들어 MPEG2(ISO/IEC13818-2) 규격 등으로 압축 부호화된 영상 비트스트림으로서 다중화 블럭(12)에 출력된다.

한편, 음성은 마이크(4)로부터 아날로그 신호로서 입력되어, AD 변환 회로(5)에 의해 디지털 신호 처리된다. 예를 들어, 48 ㎑의 주파수로 샘플링된 스테레오 음성이고, L 채널과 R 채널의 16 비트 양자화된 PCM 음성으로서 AD 변환 회로(5)로부터 출력된다.

처리된 데이터는 음성 인식 회로(6)에 입력되는 동시에 음성 부호화부(7)로 전송된다. 음성 부호화부(7)에서는, 예를 들어 압축 규격 MPEG2LayerII(ISO/IEC13818-3) 규격 등에 기초하여 음성 비트스트림으로서 출력된다. 음성 인식 회로(6)나 음성 부호화부(7)는, 예를 들어 ASIC 등의 전용 회로에 의해 구성된다.

다중화 블럭(12)에 입력된 영상 음성 스트림은 MPEG2 시스템 규격(ISO/IEC13818-1) 등에 준하여, 트랜스포트 스트림으로서, 패킷 다중화되어 패킷 다중화 정보에 맞추어 미디어 제어부(13)로 전송된다.

이때, 패킷 다중화될 때에 부가되는 헤더부에는 타임 스탬프가 부기되어, 기록 씬 중의 어느 지점의 데이터가 저장되어 있는지를 판별할 수 있도록 되어 있고, 후술하는 재생 시에는 타임 스탬프를 비교함으로써, 정확한 음성과 영상의 동기를 취할 수 있고, 또한 영상 위치와, 음성 위치의 대응을 항상 확인할 수 있다.

패킷 다중화된 데이터열은 다중화 블럭(12)으로부터 미디어 제어부(13)로 전송되어 파일로서 HDD(14)에 기록된다. 이때, 기록 제어 블럭(9)은 상기 파일이 HDD 중 어느 어드레스(예를 들어, 섹터 번호)에 저장되는지를 관리하는 관리 정보를 생성하여 미디어 제어부(13)를 통해 HDD(14)에 기록하는 기능을 갖는다. 또한, 기록 개시, 종료마다 상기 파일을 독립적으로 하거나, 혹은 파일의 구획 위치의 어드레스를 관리 정보 내에 기록함으로써, 이후에 관리 정보를 HDD(14)로부터 판독하여 원하는 기록 개시점을 특정하고, 그 위치로부터 패킷 다중화된 스트림을 판독하여 재생할 수 있도록 데이터를 생성한다. 또한, 하드 디스크인 HDD(14) 외에도, SD나 플래시 메모리 등, 정보를 기억하는 장치이면, 본 실시예의 장치를 구성 가능하다.

다음에, 기록 중에 음성에 의해 씬의 구획 위치를 생성하여 섬 네일을 작성하는 수순에 대해 설명한다.

전술한 AD 변환 회로(5)로부터 출력된 PCM 음성 데이터는 기록 시에 동시에 음성 인식 회로(6)에 입력된다.

음성 인식 회로(6)에서는 미리 설정해 둔 특징 패턴을 기초로, 특징을 검지할 수 있었던 경우에, 그 검지 시각의 정보를 출력하는 기능을 마련한다. 여기서 말하는 특징 패턴이라 함은, 예를 들어 씬 구획의 지시를 나타내는 음성이 갖는 특징 패턴을 말한다.

음성 인식 회로(6)는 현재 음성 인식으로 이용되고 있는 수법으로 구성이 가능하다. 예를 들어, 음성 인식 회로(6)는 입력된 PCM 음성 데이터로부터 소정의 특징량을 취출한다. 그리고, 음성 인식 회로(6)는 취출한 특징량과 미리 준비한 음성 데이터의 특징량과의 패턴 매칭을 행하거나, 음성 레벨의 피크와 피크 시간을 임계치와 비교한다. 그리고, 비교의 결과, PCM 음성 데이터가 소정 조건을 만족시킬 때에, 특징 검지된 것으로 하여 검지 시각 정보를 보고하도록 해도 좋다. 예를 들어, 도2에 도시한 바와 같이 카메라(100)로 촬영 중인 화자가, 101, 102에 도시한 바와 같이 촬영 중에 발화(發話)하였다고 한다. 첫번째의 발화는, 「CUT」, 그 후 임의의 발화 「SENTENCE 1」로 계속된다. 다음에, 잠시 동안 기간이 경과한 후 두번째의 발화 「CUT」, 그 후 임의의 발화 「SENTENCE 2」로 계속된다. 이때, 미리 음성 인식 회로(6)에 「CUT」를 특징 패턴으로서 등록하고 있던 경우, 이 특징 추출 시각을 음성 인식 회로(6)는 후단의 섬 네일 화상 작성 회로로 전송한다.

또한, 패턴 매칭에 있어서는, 예를 들어 입력되는 PCM 음성 데이터의 특징량과, 미리 준비되어 있는 음성 데이터가 동일 또는 유사한 경우에, 대응하는 처리를 실행한다. 또한, 예를 들어 미리 준비되어 있는 음성 데이터 중, 입력된 PCM 음성 데이터와 가장 유사한 것을 합치하는 데이터로서 선택해도 좋다. 또한, 특징량의 검출을 정보 기록 장치에서 행한 후, 그 특징량을 도시하지 않은 서버 등의 외부 기기로 송신하고, 상기 외부 기기에 있어서 패턴 매칭을 행하는 구성으로서 해도 좋다. 이 경우, 정보 기록 장치는 도시하지 않은 무선 또는 유선으로 통신을 행하기 위한 통신 인터페이스를 구비하는 것으로 한다. 또한, 미리 기억되어 있는 음성 데이터로서는, 음성을 구성하는 각 음소의 음향 모델, 각각의 의미 있는 단어를 기억하는 사전 등이 있다.

또한, 음성 인식 회로(6)에서는, 도시하지 않은 메모리에 촬상자의 성문을 미리 등록해 두는 것도 가능하다. 또한, 음성 인식 회로(6)에서는 그 성문이 등록된 사용자의 음성만을 인식하는 것도 가능하다. 이에 의해, 예를 들어 촬상하는 사용자의 의도에 반하여, 촬상하고 있는 대상으로부터 입력한 소리나, 촬상자 이외의 인간의 발성에 의해 구획 위치가 생성되거나, 「SENTENCE 1」 등이 기록될 가능성을 억제할 수 있다. 또한, 미리 준비해 두는 음성 데이터로서, 복수인분의 음성 데이터를 도시하지 않은 메모리 등에 기억해 두고, 기동 시에 촬상자의 인증을 행함으로써, 복수인의 음성 데이터로부터, 촬상자로서 인식된 것의 음성 데이터를 비교 대상으로 설정하는 구성으로 해도 좋다.

다음에, 기록 중의 스트림과 발화(101, 102)와 기록 중 스트림과의 시각 관계의 관계에 대해, 도3을 사용하여 서술한다. 현재의 씬의 기록이 시각 T0으로부터 개시되어, 발화(101)의 「CUT」가 시각 T1에 특징 추출되고, 발화(102)의 「CUT 」가 시각 T2에 특징 추출되었다고 하면, 미디어 제어 블럭(13)으로부터 기록 중인 기록 중 스트림의 각 T0, T1, T2에 대응하는 위치 정보가 각각 기록 개시 시각, 씬의 구획 1, 씬의 구획 2로서 전술한 기록 제어부(9)에 인식되어 있고, 각각의 시각에 대응하는 스트림의 HDD 내의 어드레스 정보가 상술한 관리 정보 내에 기록된다.

또한, 본 실시예에 있어서는, 구획 1 등의 위치를 시각에 따라서 관리하고 있으나, 결코 시각만으로 한정되는 것은 아니다. 예를 들어, 영상을 구성하는 프레임에 할당된 번호나 어드레스 등, 영상 데이터 전체에 있어서의 상대적인 위치를 나타내는 정보를 사용해도, 본 실시예의 정보 기록 장치를 구성하는 것이 가능한 것은 물론이다.

다음에, T0, T1, T2에 대응하는 섬 네일을 작성하는 수순에 대해 서술한다. T0, T1, T2에서는 대응하는 시각의 화상이 화상 신호 처리부(2)로부터 섬 네일 화상 작성 회로(10)로 전송된다. 섬 네일 화상 작성 회로(10)에 있어서, 섬 네일 화상으로서, 표시하기 쉬운 사이즈로 가공된다. 예를 들어, 도4와 같이 장치의 출력 사이즈로 6매 출력하는 경우에는, 수평 방향 1/6 이하, 수직 방향 1/2 이하로 화소 사이즈를 축소한 1 프레임을 작성함으로써, 섬 네일 화상의 기초 데이터를 작성한다.

이 데이터를, 예를 들어 JPEG으로 압축을 가해도 좋다. 또한, 짧은 시간의 동화상 섬 네일로서 MPEG 등으로 별도 압축을 가해도 좋다. 상기와 같이 처리가 실시된 섬 네일 데이터는 관리 정보 작성부(11)에 있어서, 상술한 씬의 구획 위치와 그것에 대응하는 스트림 어드레스 정보와 대응된 섬 네일 관리 정보로서, 미디 어 제어부(13)를 통해 HDD(14)에 기록된다.

또한, 음성 인식 회로(6)에서는 특징 검지용 패턴 「CUT」에 이어지는, 발화(101) 중의 「SENTENCE 1」, 발화(102) 중의 「SENTENCE 2」의 음성 정보를, 미리 설정한 기간분 음성 데이터로서 별도 기록하여, 대응하는 섬 네일(2), 섬 네일(3)의 정보에 대응시켜 관리 정보 내에 저장하고, 이후에 섬 네일 재생 시에 섬 네일 표시와 동시에 상기 음성 데이터를 재생하는 것도 가능하다. 이로 인해, 섬 네일 화상 생성 블럭을 통해 섬 네일 관리 정보 내에 각 섬 네일에 대응되어 특징 검지 패턴 직후의 문장도 기록된다.

이와 같이, 기록 처리를 행함으로써, 발화(101) 중의 「SENTENCE 1」 등을 발화(102) 중의 「SENTENCE 2」를, 음성에 의해 각 씬의 개요를 나타내는, 소위 음성 타이틀로서 기억시켜 두는 것이 가능해진다.

상기 방법에 의해, 촬영 중인 사용자는 씬의 구획마다 순차 기록 개시ㆍ정지 버튼을 누를 필요가 없어, 기록을 중단할 필요가 없다. 또한, 번거로운 버튼 조작이 없어지므로, 피사체의 추적, 줌 처리 등에 집중하면서 의도한 타이밍에서의 씬의 구획을 지시하는 것이 가능해서, 사용 편의성이 향상된다는 효과가 발생한다.

또한, 상술한 예에서는, 카메라(100)는 씬 구획을 나타내는 음성 정보를 입력한 경우에, 그 후 소정 기간에 입력된 음성을 구획된 씬에 대응시키는 동작에 대해 설명하였다. 그러나, 카메라(100)는 씬 구획을 나타내는 음성 정보를 입력하기 전의 소정 기간에 입력되어 있던 음성 정보를, 구획된 씬에 대응시키는 처리를 행해도 좋다. 이 경우 사용자는, 예를 들어 「SENTENCE 1」을 발화한 후, 「CUT」를 발화함으로써 카메라(100)를 이용한다.

또한, 재생 인터페이스(24)라 함은, 재생 조작을 행하기 위한 사용자 인터페이스를 나타낸다. 예를 들어, 재생 인터페이스(24)는 사용자의 조작을 접수하는 버튼 등의 조작 장치나, 사용자에게 장치의 상황을 통지하는 디스플레이 등의 통지 장치 등에 의해 구성한다. 또한, LCD(18)를 통지 수단으로서 전용해도 좋다.

다음에, 기록된 영상 음성을 섬 네일 일람 화면으로부터 재생하는 수순에 대해 설명한다. HDD(14)에 기록된 데이터를 재생하는 경우, 재생 인터페이스(24)로부터 섬 네일 일람 화면 표시 버튼이 눌려, 섬 네일 일람 표시 모드로 들어가는 교시 신호가 재생 제어 회로(25)로 전달된다. 예를 들어, 도5의 121과 같이 카메라의 하우징에 설치된 버튼이라도 좋고, 전원 투입 후에 자동적으로 섬 네일 일람 화면으로 들어가도록 해도 좋다.

그 후, 섬 네일 일람 화면 표시 모드에 의향하도록 지시된 재생 제어 회로(25)는 관리 정보를 미디어 제어 블럭 경유하여 HDD(14)로부터 판독하고, 파일의 구성을 확인한 후, 섬 네일 관리 회로(22)에 HDD(14)로부터 섬 네일 관리 정보 및 관리 정보를 판독하도록 지시한다. 섬 네일 관리 회로(22)는 미디어 제어 블럭을 통해 HDD로부터 섬 네일 관리 정보를 판독하고, 예를 들어 기록 수순마다 기록 개시점의 섬 네일, 음성에 의해 지정된 씬 구획에 대응하는 섬 네일 데이터를 순차적으로 판독하고, 도4와 같이 각 섬 네일 데이터를 섬 네일 일람 작성 회로(23)로 송신한다. 섬 네일 일람 작성 회로에서는, 섬 네일을 표시하기 위해 필요한 처리를 실시하여 일람 표시를 행한다. 예를 들어, 섬 네일 데이터에 압축 부호화가 실시 되어 있는 경우에는, 이 단계에서 신장된다.

섬 네일 일람 화면에는 현재의 선택 후보가 되는 섬 네일에 대해 도4의 110에 도시한 바와 같이, 선택 위치를 나타내는 그래픽이 섬 네일 일람 작성(23)에 의해 OSD 표시된다. 또한, 110의 선택 위치를 나타내는 그래픽이라 함은, 예를 들어 커서나, 포커스 등을 나타낸다. 상기 선택 위치는, 도5의 120에 도시한 바와 같은 방향 키에 의해 상하 좌우가 지시된 경우, 재생 인터페이스(24) 블럭으로부터 방향 교시 신호가 재생 제어 회로(25)로 전달되어, 대응하는 섬 네일 위치를 변경하여 섬 네일 관리 회로(22)로 전달한다. 이것에 따라서 섬 네일 관리 회로(22)는 대응하는 섬 네일군의 섬 네일 관리 정보를 HDD(14)로부터 재판독한다.

선택 후보가 현재 표시 중인 페이지로부터 벗어난 경우에는, 새로운 페이지를 작성하기 위해 섬 네일 관리 정보를 판독한다. 또한, 대응하는 선택 후보 위치를 갱신하고, 섬 네일 일람 작성 회로(23)는 선택 위치를 나타내는 그래픽을 이동시킨다. 또한, 동시에 선택 위치에 대응하고 있는 음성 데이터도 판독되어, 음성 출력 가능한 형태로, 예를 들어 신장 처리되어 DA 변환 회로(20)로 전송된다. 최종적으로 섬 네일 화상 일람 화면에서 음성도 스피커(21)로부터 출력된다.

본 기능에 의해, 예를 들어 스포츠 중의 기록인 경우에는, 매우 자주 유사한 화상이 배열되는 경우가 있어, 원하는 씬을 빠르게 찾는 것이 어려운 경우가 있다. 이때, 음성 데이터가 동시에 출력되면, 각 씬마다의 간단한 가이던스의 효과를 낳기 때문에, 씬의 선택을 용이하게 하는 효과를 낳는다. 특히, 화자가 기록 시에 씬 구획을 위한 특징음 직후에 섬 네일 일람 시의 레이아웃을 의식하여 촬영하는 것이 가능하여, 종래의 기록 재생 장치에 있는 바와 같은, 나중에 챕터 편집을 행하는 것보다도 빠르게 원하는 씬 구획을 특정하여 섬 네일 일람을 얻을 수 있다.

상기와 같이, 섬 네일 일람에 의해 표시된 각 씬의 구획마다의 데이터는 그 선택 위치에서 재생 개시 버튼이 눌리면, 그것에 대응하는 씬이 재생된다. 이 수순을 이하에 나타낸다.

재생 인터페이스 회로(24)에서는 재생 개시가 사용자로부터 지시된 경우, 재생 제어 회로(25)에 재생 개시를 지시한다. 재생 제어 회로에서는 현재의 섬 네일의 선택 위치를 섬 네일 관리 회로(22)로부터 취득하고, 그 섬 네일에 대응하는 위치로부터의 재생을 각 블럭에 지시하여 재생을 개시시킨다. 재생 시에는, HDD(14)로부터 미디어 제어 블럭(13)을 통해 섬 네일에 대응하는 위치로부터의 스트림이 분리 회로(15)에 판독된다. 분리 회로(15)에서는 패킷 다중을 풀어서, 화상과 음성의 부호화 스트림을 각각 화상 복호 회로(16)와 음성 복호 회로(19)로 송신한다. 각각, 압축된 규격에 준거한 신장 처리가 행해진다. 화상 복호 회로(16)로부터 출력된 영상 신호는 화상 출력 처리 회로(17)에 있어서, LCD 등의 디스플레이로서 출력할 수 있는 데이터로 신호 처리되어 LCD(18) 등으로부터 외부로 출력된다. 음성에 대해서는, 음성 복호 회로(19)로부터 PCM 음성이 출력되고, DA 변환 회로(20)에 의해 아날로그 음성으로 변환되어, 스피커(21)를 통해 외부로 스피커 출력된다. 또한, 본 실시예에서는 표시 장치의 예로서, LCD(18)를 예로 들어 설명하고 있으나, LCD로 한정되는 것은 아니다. 예를 들어, 유기 EL이나 그 밖의 표시 장치를 이용해도 되는 것은 물론이다.

상기 실시예에서는 MPEG 규격에 기초한 영상 음성의 압축 신장 처리, 다중 분리화 처리, DVD 규격에 준거한 HDD로의 기록 처리 등을 기재하였으나, 본 실시예의 정보 기록 장치의 목적은 다른 압축 기술, MPEG1, MPEG4, JPEG, H.264 등을 사용해도 동등한 발명의 효과를 갖는 것은 명백하다. 또한, 기록 매체도 광디스크, 불휘발성 메모리 디바이스, 테이프 디바이스라도 동등한 효과를 얻는다. 또한, 압축 처리되지 않고, 다른 데이터열의 시각과 씬 구획을 관리하는 데이터 관리가 이루어져 있는 기록 방법이라면, 마찬가지로 본 실시예의 정보 기억 장치의 의도하는 구성인 것은 명백하다.

상기 실시예에서는 영상 신호의 기록 재생 장치를 예시하였으나, 예를 들어 보이스 레코더라도, 동등한 음성 인식 회로를 구비하여 씬의 구획을 특정하는 데이터 관리를 함으로써, 나중에 재생할 때에 효율적으로 원하는 구획 위치로부터 재생시키는 것이 가능하다. 이와 같은 경우, 섬 네일을 사용하지 않고, 버튼 조작만으로 다음의 챕터로 스킵하는 것이 가능하다. 또한, 번호 입력 키로 챕터 번호를 직접 입력해도 좋다.

또한, 도5의 122에 도시한 바와 같이, 음성에 의한 챕터 구획이 들어간 섬 네일을 다른 기록 개시 시의 섬 네일과 구별하기 위해, 섬 네일에 아이콘을 붙이는 것이 가능하다. 이는, 섬 네일 일람 작성 회로(23)에 있어서, 음성에 의한 씬 구획인지 여부를 섬 네일 관리 정보에 기초하여 구별함으로써, 섬 네일에 부가할지 여부를 제어한다.

이와 같이, 아이콘을 부가함으로써, 사용자는 구획에 음성을 부가한 것을 인 식하는 것이 가능해진다.

또한, 도6에 도시한 바와 같이, 섬 네일의 선택 화면이 터치 패널과 같은 형태였던 경우, 예를 들어 1회 섬 네일을 누른 상태에서, 선택 상태로 하여 원하는 섬 네일 표시와 대응하는 음성을 출력하도록 재생 제어 회로(25)를 구축하면 된다. 또한, 선택한 섬 네일로부터 재생을 개시하는 경우에는 2회 섬 네일을 터치한 단계에서 대응하는 위치로부터의 스트림 재생을 행하도록 제어한다.

도7은 기록 중의 LCD 화상을 도시한 것이다. 도면 중의 130의 아이콘은 기록 중에 음성 인식 회로(6)에 있어서 특징 추출되어, 씬 구획이 작성된 경우에 시청자에게 명시적으로 알리기 위한 인터페이스로서, 음성 인식 회로(6)에 있어서 특징 추출된 타이밍으로 펄스 신호를 내고, 그 펄스 신호를 수취한 후, 예를 들어 10초 정도 130의 아이콘을 OSD 중첩하여 출력함으로써 실현할 수 있다. 이에 의해, 사용자가 자신이 의도한 타이밍으로 씬 구획이 작성되었는지 확인할 수 있다.

[제2 실시예]

도8은 제2 실시 형태를 설명하는 것이다.

제1 실시예에서는, 음성 인식에 사용되는 특징에 대해서는 미리 설정되어 있는 기재였으나, 도8과 같이 음성 인식을 위한 패턴 등록 회로(61)를 AD 변환 회로(5) 후단에 둔다. 기록 인터페이스(8)로부터 패턴 등록 모드 설정 버튼을 눌렸을 때, 소정의 기간 음성을 패턴 등록 회로(61)에 있어서 기록하여 데이터화한다. 데이터화된 음성은, 예를 들어 불휘발 메모리 등에 기록해 둠으로써 전원 오프 후에도 유지된다. 그 후, 기록 시에는 전술한 특징 검출을 위한 패턴 매칭의 참조 데이터로서, 상기 패턴 등록에서 기록된 데이터를 사용한다. 사용하는 패턴을 복수 등록하여, 음성 인식 회로(6)에서는 동시에 복수의 특징 추출을 행하도록 해도 좋다.

상기 기능을 사용함으로써, 더욱 유연하게 씬 구획을 제어하는 것이 가능해진다.

다음에, 기록 중에 음성에 의해 씬의 구획 위치를 생성하여 섬 네일을 작성하는 수순의 다른 예에 대해 설명한다.

예를 들어, 도9에 도시한 바와 같이 카메라(100)로 촬영 중인 화자가 101, 102로 도시한 바와 같이 촬영 중에 발화하였다고 하자. 첫번째의 발화는 발화(141) 「CUT」, 그 후 임의의 발화(142) 「Title」 「SENTENCE 3」으로 계속된다. 다음에, 잠시 동안 기간이 경과한 후, 두번째의 발화(143) 「CUT」로 계속된다. 이 경우, 2개의 발화(141「CUT」와 143「CUT」)로 구획된 챕터에 발화(142) 「SENTENCE 3」의 음성 정보를 대응시켜 기억하는 구성으로 한다. 이에 의해, 각 구획의 임의의 시점에서 챕터와 음성을 대응시키는 것이 가능해진다. 또한, 이 경우, 구획의 최초의 시점에서는 발화(142)의 「SENTENCE 3」은 대응되어 있지 않게 되나, 이 구획의 섬 네일을 선택한 경우 「SENTENCE 3」을 발생하도록 해도 좋다. 이와 같이, 발화 「Title」과 같이 특징 패턴으로서, 말하자면 음성 타이틀을 붙이는 취지의 지시를 나타내는 음성이 갖는 패턴을 설정해 두는 것도 가능하다.

[제3 실시예]

도10은 본 실시예의 카메라를 도시하는 도면이다. 도10의 카메라(100)는 제 1 및 제2 실시예의 카메라(100)의 구성을 구비하고, 마이크(4) 대신에 R 채널 마이크(150), L 채널 마이크(151) 및 Sub 마이크(152)를 구비한다. Sub 채널 마이크(152)는 주로 촬상자의 발성을 수음(收音)한다. 그로 인해, Sub 채널 마이크(152)는, 예를 들어 마이크를 파지한 경우에, 렌즈(1)와 반대의 면에 설치된다.

그리고, R 채널 마이크(150), L 채널 마이크(151), Sub 채널 마이크(152)로부터 기록한 음성을, 각각 R 채널 음성, L 채널 음성, S 채널(Sub 채널) 음성으로 한다.

도11은 본 실시예에 있어서의 카메라의 동작을 도시하는 흐름도이다.

s1000에 있어서, 전원이 투입되면, 카메라 스루 모드(through mode)로 동작을 개시하여(s1001), 사용자에 의한 지시를 기다린다(s1002). 그리고, 카메라(100)는 사용자의 지시에 의해 기록 혹은 섬 네일 일람 표시를 행한다.

s1002에 있어서, 기록 지시가 행해지면, 영상 정보의 기록과 L 채널 음성, R 채널 음성, S 채널 음성의 3개의 채널의 음성의 기록을 개시한다(s1003). 다음에, 음성 인식 회로(6)는 입력한 음성의 음성 인식을 행한다(s1004). 그리고, 카메라(100)는 제1, 제2 실시예와 마찬가지로 씬 구획 등의 처리를 행한다(s1005). 단, s1004에 있어서는, Sub 채널 마이크(152)로부터 입력한 S 채널 음성으로부터 얻어지는 정보의 비중을 높게 하여 음성 인식을 행한다. 이와 같이 음성의 기록을 행함으로써, 촬상자의 음성에 의한 지시를 더욱 정확하게 인식하는 것이 가능해진다. 또한, s1004에 있어서는, 예를 들어 음성 인식에 S 채널의 음성만을 사용하는 것으로 해도 좋다.

다음에, 카메라(100)는 기록 종료 지시가 사용자에 의해 행해진 경우에는 기록 처리를 종료한다(s1006).

s1002에 있어서, 카메라(100)는 섬 네일 일람을 표시하도록 지시를 접수하면, 섬 네일의 일람 표시를 행한다(s1010).

그리고, 카메라(100)는 사용자의 지시를 기다려(s1011), 섬 네일의 선택 이동 처리를 행하거나, 혹은 선택된 섬 네일 화상에 의해 나타나는 씬의 재생을 행한다.

s1011에 있어서 섬 네일의 선택 이동 지시를 접수한 경우, 카메라(100)는 도4 중의 선택 표시(110)를 이동시킨 상태로, LCD(18)에 재묘화된 섬 네일을 표시한다(s1012). 다음에, 카메라(100)는 선택 표시(110)가 이동한 결과 포커스되어 있는 섬 네일 상기 씬에 대응된 음성을 출력한다(s1013). s1013에 있어서는, 카메라(100)는 S 채널 음성의 음량을, L 채널 음성, R 채널 음성의 음량보다도 크게 하여 재생한다. 이와 같이, S 채널 음성의 음량을 올려서 출력함으로써, 카메라(100)는 사용자에게 씬의 내용을 더욱 정확하게 인식시킬 수 있다.

또한, s1013에서는 S 채널 음성의 게인을 올려서 음성을 출력해도 좋다. 또한, 본 스텝에서는 R 채널 음성, L 채널 음성의 음량을 컷트시켜 음성을 출력시켜도 좋다.

또한, s1012에 있어서, 1개의 씬을 재생하도록 지시가 내려진 경우, 카메라(100)는 지시된 씬의 재생 처리를 행한다(s1021). s1021에서는, S 채널 음성을 재생하는 음량은 L 채널 음성 및 R 채널 음성을 재생시키는 음량보다도 작게 한다. 또한, L 채널 음성 및 R 채널 음성의 게인을 올려서 음성을 출력해도 좋다. 또한, S1021에서는 S 채널 음성을 컷트해도 좋다. 또한, 음성 인식 정보를 사용하여 S 채널의 구획 음성 부분만을 음량을 내려서 출력해도 좋다. 또한, 구획에 대응된 음성만을, 역위상 성분을 중합하는 등을 하여 신호 제거하는 방법을 사용해도 좋다.

다음에, 카메라(100)는, 재생 종료 지시가 사용자에 의해 내려진 경우에는 재생 처리를 종료한다(s1022).

사용자에게 있어서는, 섬 네일을 표시하고 있는 상태에 있어서는, 각 씬의 내용을 음성에 의해 파악하는 것이 가능해진다. 한편, 각각의 씬을 재생시키는 경우에는, 「SENTENCE 1」 등을 재생시키는 음량을 작게 함으로써, Sub 채널 마이크(152)에 촬상자가 불어 넣은 음성이, 사용자에게 있어서 시끄럽다고 느껴질 가능성을 억제하는 것이 가능해진다. 특히, 카메라(100)로 촬상을 행하는 경우를 고려하면, Sub 채널 마이크(152)는 촬상자의 입가에 근접해지는 경우도 있을 수 있으므로, 본 실시예의 처리는 유효해진다.

또한, 본 실시예의 동작에 있어서는, 카메라(100)는 Sub 채널 마이크(152)로부터 수음한 음성을 촬상자의 음성으로서 처리하고 있었으나, 이에 한정되는 것은 아니다. 예를 들어, Sub 채널 마이크(152)를 사용하지 않아도, 카메라(100)는 섬 네일 일람 표시로 선택 표시(110)를 움직인 경우에는, 섬 네일에 대응된 음성 정보의 음량을 올리고, 재생 지시가 행해진 경우에는, 음성 정보의 음량을 내리는 구성으로 해도 좋다.

또한, 상술한 동작에서는, s1013, s1021에 있어서는 S 채널 음성의 음량의, L 채널 음성 등의 음량에 대한 비율을 변경시키는 예에 대해 설명하였다. 그러나, 카메라(100)의 동작은 이것으로 한정되는 것은 아니다. 예를 들어, 카메라(100)는 s1013에 있어서의 S 채널 음성의 음량의, s1021에 있어서의 S 채널 음성의 음량에 대한 비율을 변경하는 구성으로 해도 좋다.

또한, 사용자의 기호에 따라서, Sub 채널 마이크의 음량만을, 도시되어 있지 않은 볼륨 컨트롤 버튼에 의해 조정하는 구성으로 해도 좋다. 또한, Sub 채널의 음량을 프리셋한 복수의 재생 모드를 프리셋해 두고, 버튼 조작 등으로 절환하여, 사용자의 필요성에 따라서 촬상자의 음성 레벨을 제어하는 것도 가능하다. 재생 모드로서는, 예를 들어, 상술한 바와 같이 섬 네일을 표시하는 모드, 1개의 씬을 재생하는 모드가 있다. 그 밖에, 재생 모드로서는, 도시하지 않은 커넥터를 통해 외부 기기에 영상 정보와 음성 정보를 출력하는 모드 등이 있다.

상기와 같이, 본 실시예의 카메라(100)는 씬의 구획 부분을 지시하기 위한 음성만을 재생 시의 중요도에 따라서 제어할 수 있어, 사용자의 사용 편의성을 향상시키는데 있어서 유효하다.

또한, 본 발명의 구성은 상기 실시예로 한정되는 것이 아니라, 발명의 범위에서 자유롭게 변경하는 것도 가능하다. 예를 들어, 서브 채널 대신에, 복수의 마이크로부터 화자를 특정하기 위해 마이크의 지향성을 이용하여, 복수 채널로부터 특정 방향의 음성을 생성한 후, 그 음성을 상기 Sub 채널과 동등한 취급으로 해도 좋다. 또한, 각 실시예의 내용을 조합하는 것도 가능하다.

상술한 설명은 본 발명의 실시예에서 이루어졌지만, 본 발명은 이에 제한되지 않고 본 발명의 사상 및 첨부된 청구범위의 범주로부터 벗어남없이 다양한 변경 및 수정이 이루어질 수 있다는 것이 해당 기술 분야의 종사자들에게 이해될 것이다.

도1은 제1 실시예의 블럭 구성도.

도2는 제1 실시예의 씬 구획의 모습을 해설한 도면.

도3은 제1 실시예의 씬 구획과 스트림의 시각 대응을 도시한 도면.

도4는 제1 실시예의 섬 네일 일람을 도시한 도면.

도5는 제1 실시예의 섬 네일 일람과 GUI를 도시한 도면.

도6은 제1 실시예의 섬 네일 일람과 GUI의 다른 형태를 도시한 도면.

도7은 제1 실시예의 씬 구획 시의 LCD 화면을 도시한 도면.

도8은 제2 실시예의 블럭 구성도.

도9는 씬 구획의 모습을 해설한 도면.

도10은 제3 실시예의 장치의 구성예를 도시한 도면.

도11은 제3 실시예의 처리의 예를 도시한 흐름도.

<도면의 주요 부분에 대한 부호의 설명>

1 : 렌즈

2 : 화상 신호 처리부

3 : 화상 부호화부

6 : 음성 인식 회로

7 : 음성 부호화부

9 : 기록 제어 회로

10 : 섬 네일 화상 작성부

13 : 미디어 제어부

14 : HDD

15 : 분리 회로

17 : 화상 출력 회로

22 : 섬 네일 관리 회로

23 : 섬 네일 일람 작성 회로

25 : 재생 제어 회로

Claims (11)

1. 삭제
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 영상 정보를 기록하는 기록 수단과,

   음성 정보를 입력하는 음성 입력 수단과,

   상기 입력된 음성 정보를 인식하는 음성 인식 수단과,

   상기 입력된 음성 정보가 씬 구획의 지시를 나타낸다고 인식된 경우에, 상기 씬 구획의 위치를 작성하도록 제어하는 제어 수단과,

   상기 씬의 구획의 위치에 대응하는 섬 네일을 작성하는 작성 수단과,

   상기 섬 네일을 표시하는 표시 수단과,

   사용자의 조작에 의해 상기 표시 수단에 표시되는 섬 네일로부터 하나의 섬 네일을 선택하는 조작 수단을 구비하고,

   상기 섬 네일 표시 수단은 상기 음성 인식 수단에 의해 구획된 씬 구획에 대응하는 섬 네일을, 기록 개시 시의 씬 구획과 구별하기 위한 식별 표시를 표시하는 것을 특징으로 하는 정보 기록 장치.
10. 영상 정보를 기록하는 기록 수단과,

    영상 정보의 재생을 행하는 재생 수단과,

    음성 정보를 입력하는 음성 입력 수단과,

    상기 입력된 음성 정보를 인식하는 음성 인식 수단과,

    상기 입력된 음성 정보가 씬 구획의 지시를 나타낸다고 상기 음성 인식 수단에 의해 인식된 경우에, 상기 씬 구획의 위치를 나타내는 정보를 작성하고, 씬 구획의 지시를 나타내는 음성 정보가 입력된 전후의 소정 기간에 입력된 음성 정보인 구획 음성 정보를 상기 씬 구획의 위치에 대응시키도록 제어하는 제어 수단과,

    상기 씬의 구획의 위치에 대응하는 섬 네일을 작성하는 작성 수단과,

    상기 작성된 복수의 섬 네일을 표시하는 표시 수단을 구비하고,

    상기 제어 수단은 상기 복수의 섬 네일이 표시되어 있는 경우에는 상기 구획 음성 정보를 제1 음량에 의해 재생하고, 상기 재생 수단에 의해 상기 영상 정보를 재생하는 경우에는 상기 구획 음성 정보를 제2 음량에 의해 재생하도록 제어하는 것을 특징으로 하는 정보 기록 장치.
11. 영상 정보를 기록하는 기록 수단과,

    음성 정보를 입력하는 음성 입력 수단과,

    영상 정보 및 음성 정보를 재생하는 재생 수단과,

    상기 입력된 음성 정보를 인식하는 음성 인식 수단과,

    상기 입력된 음성 정보가 씬 구획의 지시를 나타낸다고 상기 음성 인식 수단에 의해 인식된 경우에, 상기 씬 구획의 위치를 나타내는 정보를 작성하고, 씬 구획의 지시를 나타내는 음성 정보가 입력된 후 소정 기간에 입력된 음성 정보인 구획 음성 정보를 상기 씬 구획의 위치에 대응시키는 제어 수단을 구비하고,

    상기 재생 수단은 복수의 재생 모드를 구비하고, 각 재생 모드에 따라서 상기 구획 음성 정보의 출력 레벨을 제어하는 것을 특징으로 하는 정보 기록 장치.

Images