[go: up one dir, main page]

KR100609550B1 - Method and apparatus for playing audio data with other content - Google Patents

Method and apparatus for playing audio data with other content Download PDF

Info

Publication number
KR100609550B1
KR100609550B1 KR1020050001347A KR20050001347A KR100609550B1 KR 100609550 B1 KR100609550 B1 KR 100609550B1 KR 1020050001347 A KR1020050001347 A KR 1020050001347A KR 20050001347 A KR20050001347 A KR 20050001347A KR 100609550 B1 KR100609550 B1 KR 100609550B1
Authority
KR
South Korea
Prior art keywords
audio data
source
sources
content
audio
Prior art date
Application number
KR1020050001347A
Other languages
Korean (ko)
Other versions
KR20060081034A (en
Inventor
안주은
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020050001347A priority Critical patent/KR100609550B1/en
Publication of KR20060081034A publication Critical patent/KR20060081034A/en
Application granted granted Critical
Publication of KR100609550B1 publication Critical patent/KR100609550B1/en

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/361Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036Insert-editing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005Non-interactive screen display of musical or status data
    • G10H2220/011Lyrics displays, e.g. for karaoke applications
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • G11B2020/10537Audio or video recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

본 발명은, 오디오 데이터를, 다른 소스(source)로부터 제공되는 A/V 컨텐츠와 함께 재생하는 방법 및 장치에 관한 것으로서, 그 재생방법은, 복수 소스(source)로부터 제공되는 데이터를 재생할 때, 상기 복수 소스중 휴대용 메모리 장치에 기록되어 있는 오디오 데이터를 디코딩 출력하고 있는 중에는 상기 복수 소스중 디스크 또는 방송채널부터의 오디오 신호는 항상 차단하고 비디오 신호만 상기 오디오 데이터에 의한 신호와 함께 출력되도록 함으로써 상기 휴대용 메모리 장치내의 음악에 대한 배경영상으로 사용될 수 있게 한다. The present invention relates to a method and apparatus for reproducing audio data together with A / V content provided from another source, wherein the reproducing method includes the above method when reproducing data provided from a plurality of sources. While decoding audio data recorded in a portable memory device among a plurality of sources, audio signals from a disk or a broadcasting channel among the plurality of sources are always blocked, and only a video signal is output together with a signal generated by the audio data. It can be used as a background image of music in a memory device.

가라오케, 배경영상, 보조메모리, MP3, 디스크, 오디오, 차단Karaoke, Background image, Secondary memory, MP3, Disc, Audio, Block

Description

오디오 데이터를 다른 컨텐츠와 함께 재생하는 방법 및 장치 {Method and apparatus for reproducing audio data with other contents} Method and apparatus for reproducing audio data with other contents}             

도 1은 본 발명에 따른, 오디오 데이터를 다른 컨텐츠와 함께 재생하는 방법이 적용된 광 기록매체의 재생장치의 일 실시예의 구성을 도시한 것이고,1 shows a configuration of an embodiment of an apparatus for reproducing an optical recording medium to which a method of reproducing audio data together with other contents according to the present invention is applied.

도 2는 본 발명에 따른, 오디오 데이터를 다른 컨텐츠와 함께 재생하는 방법의 일 실시예의 흐름도이고,2 is a flow diagram of one embodiment of a method of playing audio data along with other content, in accordance with the present invention;

도 3은 재생할 항목을 선택케 하는 재생 메뉴화면의 예를 도시한 것이고,3 shows an example of a playback menu screen for selecting an item to play,

도 4는 본 발명에 따른, 오디오 데이터를 다른 컨텐츠와 함께 재생하는 방법의 다른 실시예의 흐름도이다.4 is a flowchart of another embodiment of a method of playing audio data along with other content according to the present invention.

<도면의 주요부분에 대한 부호의 설명> <Description of the symbols for the main parts of the drawings>

2: 광픽업 9: 튜너2: optical pickup 9: tuner

10: 신호처리부 15: USB 인터페이스 10: signal processor 15: USB interface

16: 오디오 디코더 20: RF부 16: Audio decoder 20: RF section

21: 재생 DSP부 22: A/V 디코더 21: playback DSP section 22: A / V decoder

24: 합성기 30: 마이컴 24: synthesizer 30: microcomputer

31: 서보 제어부 32: 메모리31: servo control unit 32: memory

33: OSD부 33: OSD

본 발명은, 오디오 데이터를, 다른 소스(source)로부터 제공되는 A/V 컨텐츠와 함께 재생하는 방법 및 장치에 관한 것이다. The present invention relates to a method and apparatus for playing audio data together with A / V content provided from another source.

이전에 아날로그 신호로 제공되던 많은 컨텐츠들이 디지털형태로 제공되고 있고, 또한 디지털 압축기술이 발전함에 따라, 제공되는 컨텐츠의 용량이 상대적으로 작아지고 있다. 특히, 오디오 신호의 엔코딩 알고리즘의 하나인 MPEG layer 3( 이하, MP3라 함 )는 오디오 음질을 그대로 유지하면서 높은 압축율을 제공한다.Many contents previously provided as analog signals are provided in digital form, and as the digital compression technology is advanced, the capacity of the provided contents is relatively small. In particular, MPEG layer 3 (hereinafter referred to as MP3), which is one of encoding algorithms of an audio signal, provides a high compression ratio while maintaining audio quality.

따라서, 요즈음 많은 사람들은, 음악을 MP3로 압축하여 소형의 MP3 플레이어 또는 MP3 플레이어 기능이 내장된 휴대폰에 저장한 뒤 이동중에 언제던지 원하는 음악을 즐기고 있다.Therefore, many people these days are compressing music into MP3s and storing them in compact MP3 players or cell phones with built-in MP3 player functions and enjoying the music they want on the go.

또한, 사람들은, 더 많은 곡을 휴대하기 위해 USB 메모리와 같은 메모리 스틱(stick)을 사용하여 추가로 음악을 저장하기도 하며, 음악이 저장된 메모리 스틱을 MP3 플레이어에 접속시키거나, 또는 집이나 사무실에 있는 PC에 접속시켜 자신이 원하는 음악을 듣기도 한다.In addition, people may store additional music using a memory stick such as a USB memory to carry more songs, connect the memory stick with the music to an MP3 player, or at home or at the office. You can also connect to your PC and listen to the music you want.

그런데, MP3로 엔코딩된 음악은 그 음질이 뛰어나므로, 노래을 위한 반주곡을 저장하여 노래를 부를 때 이를 이용할 수가 있다. 따라서, 메모리 스틱을 이용하면 자신이 원하는 장소에서 언제던지 노래방을 연출할 수가 있다. 하지만, 메모 리 스틱의 접속을 지원하는 MP3 플레이어는 오디오 음만을 재생출력하므로 노래를 부르는 사람은 시각적인 자극이 없어 무료함을 느낄 수가 있다.However, since music encoded in MP3 is excellent in sound quality, it can be used when storing songs for accompaniment. Therefore, using a memory stick, you can create a karaoke at any time you want. However, the MP3 player that supports the memory stick connection only outputs audio sound, so the singer can feel free because there is no visual stimulus.

따라서, 본 발명은 상기의 문제점을 해결하기 위해 창작된 것으로서, 메모리 스틱과 같은 휴대용 저장장치에 저장된 오디오 데이터를, 다른 소스로부터 제공되는 비디오 컨텐츠를 배경영상으로 하여 함께 재생출력하는 방법 및 장치를 제공하는 것이다.
Accordingly, the present invention has been made to solve the above problems, and provides a method and apparatus for reproducing and outputting audio data stored in a portable storage device such as a memory stick together with video content provided from another source as a background image. It is.

상기의 목적을 달성하기 위해 본 발명에 따른 재생방법은, 복수 소스(source)로부터 제공되는 데이터를 재생할 때, 상기 복수 소스중 제 1소스에 기록되어 있는 오디오 데이터를 디코딩 출력하고 있는 중에는 상기 복수 소스중 제 2소스로부터의 오디오 신호는 항상 차단하고 비디오 신호만 상기 오디오 데이터에 의한 신호와 함께 출력되도록 하는 것에 그 특징이 있다.In order to achieve the above object, in the reproduction method according to the present invention, when reproducing data provided from a plurality of sources, the plurality of sources are decoded and outputted in audio data recorded in a first source of the plurality of sources. It is characterized in that the audio signal from the second source is always blocked and only the video signal is output together with the signal by the audio data.

본 발명의 재생방법에 따른 일 실시예에서는, 휴대용 보조 메모리 저장장치를 상기 제 1소스로서 사용한다.In one embodiment according to the reproduction method of the present invention, a portable auxiliary memory storage device is used as the first source.

또한 본 발명의 재생방법에 따른 일 실시예에서는, 상기 오디오 데이터를 디코딩출력한 후, 상기 제 2소스의 A/V컨텐츠가 출력요청되면 그 A/V 컨텐츠에 의한 오디오 신호는 차단하고 비디오 신호만 상기 오디오 데이터에 의한 오디오 신호와 함께 출력한다.According to an embodiment of the present invention, after decoding the audio data and outputting the A / V content of the second source, the audio signal by the A / V content is blocked and only the video signal is output. The audio signal is output together with the audio signal.

본 발명의 재생방법에 따른 다른 실시예에서는, 상기 제 2소스의 A/V컨텐츠의 출력요청에 의해 그 컨텐츠의 출력중에 상기 오디오 데이터의 재생요청이 있으면, 상기 출력되고 있는 A/V컨텐츠의 오디오 신호를 차단함으로써, 상기 A/V 컨텐츠에 의한 비디오 신호만 상기 오디오 데이터에 의한 오디오 신호와 함께 출력되도록 한다.According to another embodiment of the present invention, if there is a reproduction request of the audio data during the output of the content by the output request of the A / V content of the second source, the audio of the output A / V content is output. By blocking the signal, only the video signal by the A / V content is output together with the audio signal by the audio data.

또한, 본 발명에 따른 일 실시예에서는, 상기 오디오 데이터와 상기 제 2소스의 A/V컨텐츠가 상기 제 1소스에 저장되어 있는 문서파일에 의해 함께 재생되도록 지정되어 있으면, 이 실시예에서는, 상기 문서파일의 실행에 의해 상기 오디오 데이터와 A/V 컨텐츠가 동시재생되며 상기 A/V컨텐츠에 의한 오디오 신호는 그 출력이 차단된다.Further, in one embodiment according to the present invention, if the audio data and the A / V content of the second source are designated to be reproduced together by a document file stored in the first source, in this embodiment, By executing the document file, the audio data and A / V content are simultaneously reproduced, and the output of the audio signal by the A / V content is blocked.

이하, 본 발명에 따른, 오디오 데이터를 다른 컨텐츠와 함께 재생하는 방법과 장치의 바람직한 실시예에 대해 첨부도면을 참조하여 상세히 설명한다. Hereinafter, a preferred embodiment of a method and apparatus for reproducing audio data together with other contents according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른, 오디오 데이터를 다른 컨텐츠와 함께 재생하는 방법이 적용된 광 기록매체의 재생장치의 일 실시예의 구성을 보여주는 도면이다. 1 is a view showing the configuration of an embodiment of an apparatus for reproducing an optical recording medium to which a method of reproducing audio data together with other contents according to the present invention is applied.

도 1의 광 기록매체 재생장치는, 텔레비전 방송신호(A/V신호)를 동조하는 튜너(9), 상기 동조된 방송신호를 복조하여 비디오 및 오디오 신호를 출력하는 신호처리부(10), 외부 디바이스의 USB 접속을 위한 USB 인터페이스(15), MP3, wma, AC3와 같은 포맷에 의해 엔코딩된 오디오 데이터를 디코딩 출력하는 오디오 디코더 (16), DVD+/-R과 같은 광 기록매체(1)의 신호를 읽어내는 광픽업(2), 상기 읽혀진 신호로부터 이진화된(binarized) 재생신호와, 포커싱 에러(FE) 신호 및 트래킹 에러(TE)를 위한 전기적 신호를 출력하는 RF부(20), 상기 이진화된 재생신호를 디지털 데이터로 복원하고 복원된 데이터에서 관리정보 및 네비게이션(navigation) 데이터를 분리출력하는 재생 DSP부(21), 상기 재생 DSP부(21)의 출력 데이터인 먹싱된 PES 패킷 시퀀스로부터 오디오 및 비디오 PES 패킷분리하여 이로부터 각각 A/V 신호를 디코딩 출력하는 A/V 디코더(22), 문자 및 그래픽 신호를 생성하는 OSD부(33), 상기 비디오 신호와 상기 문자 및 그래픽신호를 합성출력하는 합성기(24), 상기 포커싱 에러신호와 트래킹에러 신호에 따라 상기 광픽업(2)과 그 입사빔을 제어하고 상기 광 기록매체(1)를 회전시키는 스핀들모터(M)를 구동하는 서보 제어부(31), 네비게이션 정보와 운용상 필요한 데이터가 저장되는 메모리(32), 그리고 사용자 입력을 처리하고 재생동작을 전체적으로 제어하는 마이컴(30)으로 구성된다.The optical recording medium reproducing apparatus of FIG. 1 includes a tuner 9 for tuning a television broadcast signal (A / V signal), a signal processor 10 for demodulating the tuned broadcast signal, and outputting a video and audio signal, and an external device. USB decoder 15 for USB connection, audio decoder 16 for decoding and outputting audio data encoded by formats such as MP3, wma, AC3, and signals of optical record carrier 1 such as DVD +/- R. An optical pickup 2 for reading out, an RF signal 20 for outputting a binarized reproduction signal from the read signal, an electrical signal for focusing error (FE) signal and tracking error (TE), and the binary reproduction A reproduction DSP unit 21 for restoring a signal to digital data and separately outputting management information and navigation data from the restored data; and audio and video from a muted PES packet sequence which is output data of the reproduction DSP unit 21; PES packet separation A / V decoder 22 for decoding and outputting A / V signals from each other, an OSD unit 33 for generating text and graphics signals, and a synthesizer 24 for synthesizing the video and text and graphics signals. And a servo control unit 31 for controlling the optical pickup 2 and its incident beam according to the focusing error signal and the tracking error signal and driving the spindle motor M for rotating the optical recording medium 1, navigation information. And a memory 32 in which data necessary for operation is stored, and a microcomputer 30 that processes user input and controls playback operations as a whole.

이하에서는, 본 발명에 따른 오디오 데이터를 다른 컨텐츠와 함께 재생하는 방법의 일 실시예인 도 2의 방법에 대해 도 1의 재생장치의 동작과 함께 상세히 설명한다.Hereinafter, the method of FIG. 2, which is an embodiment of a method of playing audio data along with other content according to the present invention, will be described in detail with the operation of the playback device of FIG. 1.

먼저, 사용자는, PC 등을 이용해, 자신이 듣기를 원하는 오디오 데이터 파일을 자신이 갖고 있는 메모리 스틱에 저장한 후 상기 USB 인터페이스(15)에 접속시킨다(S10). 상기 메모리 스틱에는 오디오 데이터 파일외에, 그 오디오 데이터와 다른 소스(source)의 컨텐츠를 링크시키는 마크업(Mark-up) 랭귀지로 작성된 스크립트(script) 파일( 또는 문서파일 )을 저장할 수도 있다. First, the user stores the audio data file that he / she wants to listen to in his / her memory stick by using a PC or the like and connects it to the USB interface 15 (S10). In addition to the audio data file, the memory stick may store a script file (or a document file) written in a mark-up language for linking the audio data with content of another source.

또한, 사용자는, 필요하다면 배경 영상으로 사용하고자 하는 컨텐츠가 수록되어 있는 디스크(1)를 삽입한다(S10). 디스크(1)가 삽입되면, 상기 마이컴(30)의 제어동작에 의해, 그 디스크(1)의 네비게이션 기록영역에 있는 네비게이션 정보가 상기 광픽업(2)에 의해 읽혀지고 이는 상기 재생DSP부(21)에 의해 데이터로 복원된 다음, 상기 메모리(32)에 저장된다.In addition, if necessary, the user inserts the disk 1 containing the content to be used as the background image (S10). When the disc 1 is inserted, by the control operation of the microcomputer 30, the navigation information in the navigation recording area of the disc 1 is read by the optical pickup 2, which causes the playback DSP unit 21 to read. Is restored to the data, and then stored in the memory 32.

그리고, 사용자는 통상의 사용자 입력수단, 예를 들어 리모컨(Remote controller)과 같은 입력장치를 통해, 재생메뉴를 선택하면 상기 마이컴(30)은 상기 OSD부(33)를 제어하여 도 3과 같은 재생 메뉴화면을 구성하여 출력한다. 이 재생 메뉴화면에는 상기 메모리 스틱에 있는 항목과 상기 디스크(1)에 기록되어 있는 컨텐츠( 프로그램 ) 모두가 포함된다. 도 3과 같은 재생 메뉴화면에 출력되는 정보에서, 상기 디스크(1)에 있는 항목의 경우에는 상기 메모리(32)에 로드되어 있는 네비게이션 정보로부터, 상기 접속된 메모리 스틱에 있는 항목의 경우에는 그 내부 메모리의 파일시스템(File System)으로부터 파악된다.In addition, when the user selects a playback menu through a normal user input means, for example, an input device such as a remote controller, the microcomputer 30 controls the OSD unit 33 to play as shown in FIG. 3. Configure and print the menu screen. This playback menu screen includes both the items in the memory stick and the contents (programs) recorded on the disc 1. In the information output on the playback menu screen as shown in Fig. 3, in the case of an item in the disk 1, from the navigation information loaded in the memory 32, in the case of an item in the connected memory stick, Known from the file system of memory.

재생 메뉴화면 출력상태에서, 리모컨상의 키입력을 통해 사용자가 재생하고자하는 하나의 항목을 선택하면, 상기 마이컴(30)은 그 선택된 항목이 재생출력되도록 한다. 여기서는, 본 발명의 설명의 편의를 위해 접속된 메모리 스틱에 있는 항목( 도 3의 번호 4 내지 6중 하나 )이 먼저 선택된 것으로 가정한다(S12).In the playback menu screen output state, when a user selects one item to be played through a key input on the remote controller, the microcomputer 30 causes the selected item to be played back. Here, it is assumed that an item (one of numbers 4 to 6 in FIG. 3) in the connected memory stick is selected first for convenience of description of the present invention (S12).

상기 마이컴(30)은 상기 메모리 스틱의 파일 시스템에 선택된 파일을 요청하여 읽어내고 이 데이터를 상기 오디오 디코더(16)에 순차적으로 인가한다. 그러면, 상기 오디오 디코더(16)는 인가되는 오디오 데이터에 대해, 그 압축포맷에 맞는 디 코딩 알고리즘을 수행함으로써 선택된 음악의 오디오 신호가 출력되도록 한다(S14).The microcomputer 30 requests and reads the selected file from the file system of the memory stick and sequentially applies the data to the audio decoder 16. Then, the audio decoder 16 outputs the audio signal of the selected music by performing a decoding algorithm suitable for the compression format on the applied audio data (S14).

한편, 사용자는 입력수단을 통해 도 3의 재생 메뉴화면을 다시 요청하고, 또 하나의 프로그램을 선택한다(S16). 이 때 만약, 앞에 선택된 것과 동일한 소스(source)에서 재생항목이 선택되면(S18) 이를 무시하거나 또는 현재 항목의 재생을 중단하고 그 선택된 항목이 재생시작되도록 한다(S19). 다른 소스, 즉 디스크(1)로부터 재생항목이 올바르게 선택되면(S18), 상기 마이컴(30)은 메모리(32)에 로드되어 있는 네비게이션 정보를 참조하여 상기 서보 제어부(24)를 제어하여 상기 광픽업(2)을 선택된 프로그램이 기록된 위치로 이동시켜 읽기 동작이 이루어지게 한다(S20). Meanwhile, the user requests again the playback menu screen of FIG. 3 through the input means and selects another program (S16). At this time, if a playback item is selected from the same source as previously selected (S18), it is ignored or the playback of the current item is stopped and the selected item is started to be played (S19). If the playback item is correctly selected from another source, that is, the disc 1 (S18), the microcomputer 30 controls the servo controller 24 with reference to the navigation information loaded in the memory 32 to control the optical pickup. A read operation is performed by moving (2) to the position where the selected program is recorded (S20).

상기 광픽업(2)에 의해 읽혀진 고주파 신호는 상기 RF부(20)와 재생 DSP부(21)에 의해 디지털 데이터 스트림으로 변환되는 데, 이 디지털 데이터 스트림은 상기 A/V 디코더(23)에 의해 디코딩되어 비디오 및 오디오 신호로 출력된다. 이때, 상기 마이컴(30)은, 상기 메모리 스틱의 오디오 데이터가 현재 디코딩출력 중이면(S22), 오디오 신호선에 있는 트랜지스터와 같은 반도체 스위치(11)를 제어하여 단절시킴으로써 장착된 디스크(1)로부터의 오디오 신호는 출력되지 않게하고(S24), 그렇지 않으면 비디오 및 오디오 신호 모두를 출력한다(S25). 즉, 접속된 메모리 스틱으로부터 데이터가 읽혀지고 있는 동안에는, 디스크(1)에서 선택된 프로그램의 오디오 신호는 뮤트(mute)시킴으로써, 그 비디오 신호만이, 현재 재생되고 있는 오디오의 배경영상으로 출력되도록 한다.The high frequency signal read by the optical pickup 2 is converted into a digital data stream by the RF unit 20 and the reproduction DSP unit 21, which is converted by the A / V decoder 23. Decoded and output as video and audio signals. At this time, when the audio data of the memory stick is currently being decoded and output (S22), the microcomputer 30 controls the semiconductor switch 11, such as a transistor in the audio signal line, to disconnect from the mounted disk 1. The audio signal is not output (S24), otherwise, both video and audio signals are output (S25). That is, while data is being read from the connected memory stick, the audio signal of the program selected on the disc 1 is muted so that only the video signal is output as the background image of the audio currently being reproduced.

한편, 사용자가 오디오 데이터 파일을 선택하여 재생한 후에 수동적으로 디스크(1)에 저장된 프로그램을 선택하여 동시 재생시키는 대신, 상호 동기되도록 미리 작성해 둔 스크립터 파일( 문서 파일 )을 도 3의 재생 메뉴에서 선택함으로써 한 번의 재생요청으로, 메모리 스틱의 음악파일과 디스크의 배경영상의 동시 재생이 이루어지게 할 수도 있다.On the other hand, after the user selects and plays back an audio data file, instead of manually selecting and simultaneously playing a program stored on the disc 1, a scripter file (document file) prepared in advance to be synchronized with each other is selected from the playback menu of FIG. By doing so, the music file of the memory stick and the background image of the disc may be simultaneously reproduced in one play request.

예를 들어, 도 3에서 스크립트 파일(301)을 선택하면, 상기 마이컴(30)은 해당 파일을 접속된 메모리 스틱에서 읽어와서 그 문서의 서두에, 예를 들어 <script language="JavaScript">와 같은 형태로 지정되어 있는 그 문서에서 사용한 랭귀지(language)를 파악한 다음, 그 랭귀지, 예를 들어, Java에 맞는 해석(interpret) 루틴을 실행한다. 해석 루틴의 실행에 의해, 그 문서에서 지정된 메모리 스틱내의 파일, 예를 들어 도 3의 5번 항목의 파일이 읽혀져서 상기 오디오 디코더(16)에 의해 디코딩 출력되고, 또한 그 문서에서, 예를 들어 <video src = "disc://…">와 같은 형태로 소스 태그(tag)에 의해 지정된 디스크(1)상의 하나의 A/V 컨텐츠 프로그램이 재생되어 오디오 신호는 뮤트된 채로 영상신호만 배경영상으로 함께 출력된다.For example, when the script file 301 is selected in FIG. 3, the microcomputer 30 reads the file from the connected memory stick and starts the document with, for example, <script language = "JavaScript"> and Identify the language used in the document specified in the same form, then run the interpreter routine for that language, for example Java. By execution of the analysis routine, a file in the memory stick designated in the document, for example, the file of item 5 in FIG. 3 is read and decoded by the audio decoder 16, and in the document, for example, <Video src = "disc: //…"> One A / V content program on the disc 1 specified by the source tag is played in the form of "disc: //…"> so that the audio signal is muted and only the background signal Will be output together.

만약, 선택된 스크립트 파일에서 지정된 프로그램이 장착된 디스크(1)에 없는 경우에는 상기 마이컴(30)은 그 사실을 안내하는 메시지를 구성하여 이를 상기 OSD부(33)를 통해 출력하여 화면표시되게 한다. 이 때의 메시지는 블랭크 화면 또는 단색의 화면 상에 표시되거나, 또는 현재 설정되어 있는 채널에서 방송되고 있는 방송 프로그램상에 중첩되어 표시될 수도 있다.If the program specified in the selected script file is not present on the disc 1, the microcomputer 30 constructs a message guiding the fact and outputs it through the OSD unit 33 to display the screen. The message at this time may be displayed on a blank screen or a monochromatic screen, or may be superimposed on a broadcast program currently being broadcast on a channel that is currently set.

또한, 사용자는 메모리 스틱에 있는 음악의 재생시에 디스크(1)에 수록된 프로그램을 재생요청하지 않음으로써 디스크(1)상의 비디오 영상대신 방송신호의 영상을 배경영상으로 할 수도 있다( 사용자의 방송신호 선택과정이 없이도, 디스크 재생이 아닌 상태에서는 항상 하나의 채널이 동조출력되도록 장치가 설계되어 있는 경우 ). 즉, 현재 설정되어 있는 채널 또는 사용자가 변경요청한 채널이, 상기 마이컴(30)의 제어에 의해 상기 튜너(9)에서 동조출력되면, 상기 신호 처리부(10)는 그 동조된 i/F신호를 복조하여 영상신호와 오디오 신호로 출력하는 데, 상기 마이컴(30)은 현재 상기 메모리 스틱으로부터 음악 파일이 읽혀져서 디코딩 출력되고 있으면, 상기 반도체 스위치(11)를 제어하여 상기 신호 처리부(10)로부터 출력되는 오디오 신호를 차단시킨다.In addition, the user may make the background image of the broadcast signal instead of the video image on the disc 1 as the background image by not requesting playback of a program recorded on the disc 1 when playing music on the memory stick. Without a process, the device is designed so that one channel is always synchronized when not playing a disc). That is, when the currently set channel or the channel requested for change by the user is tuned and output from the tuner 9 under the control of the microcomputer 30, the signal processing unit 10 demodulates the tuned i / F signal. The microcomputer 30 outputs a video signal and an audio signal, and when the music file is currently read and decoded from the memory stick, the microcomputer 30 controls the semiconductor switch 11 to output the signal from the signal processor 10. Cut off the audio signal.

한편, 전술한 실시예의 재생순서를 바꾸어서 메모리 스틱내의 음악의 배경영상을 시청할 수도 있다. 도 4는 이에 대한 흐름도이다.On the other hand, it is also possible to watch the background image of the music in the memory stick by changing the playback order of the above-described embodiment. 4 is a flowchart thereof.

사용자는 먼저, 자신이 원하는 배경영상으로 방송 채널 또는 장착된 디스크(1)상의 하나의 프로그램을 선택한다(S32). 그러면, 선택된 방송 채널 또는 프로그램의 영상신호와 오디오 신호는 함께 출력된다(S34).The user first selects a program on the broadcast channel or the mounted disk 1 as the desired background image (S32). Then, the video signal and the audio signal of the selected broadcast channel or program are output together (S34).

이 때, 사용자가 자신이 노래부르고자 하는 음악파일이 들어있는 메모리 스틱을 상기 USB 인터페이스(15)에 접속시키고( 앞서 접속되어 있을 수도 있다 ) 재생 메뉴화면을 요청한다. 도 3의 재생 메뉴화면상에서 메모리 스틱에 있는 음악파일이 선택되면(S36,S38), 상기 마이컴(30)은 전술한 바와 같은 과정을 거쳐 그 선택된 음악 파일의 데이터를 상기 오디오 디코더(16)를 통해 디코딩출력한다(S44). 만약, 메모리 스틱이 아닌 다른 소스에 의한 오디오 신호가 현재 출력중이면(S42), 상기 디코딩 출력과 동시에 또는 그 직전에, 상기 마이컴(30)은 상기 반도체 스위치(11)를 제어하여 현재 비디오 신호와 함께 출력되고 있는 방송 신호 또는 디스크 재생신호의 오디오 신호를 차단시킨다(S44).At this time, the user connects the memory stick containing the music file to be sung to the USB interface 15 (may be connected earlier) and requests a playback menu screen. When the music file on the memory stick is selected on the playback menu screen of FIG. 3 (S36 and S38), the microcomputer 30 passes the data of the selected music file through the audio decoder 16 through the above-described process. Decoded output (S44). If an audio signal from a source other than the memory stick is currently being output (S42), simultaneously with or immediately before the decoding output, the microcomputer 30 controls the semiconductor switch 11 to control the current video signal. The audio signal of the broadcast signal or the disc reproduction signal being output together is cut off (S44).

이와 같이 메모리 스틱내의 음악 파일의 재생시에는 항상 다른 소스에 의해 출력되고 있는 오디오 신호는 뮤트시킴으로써 다른 소스로부터 제공되고 있는 비디오 신호를 배경영상으로 한 가라오케 시스템을 구현할 수가 있게 된다.In this manner, when the music file in the memory stick is played back, the audio signal outputted from another source is always muted, so that a karaoke system can be implemented in which a video signal provided from another source is a background image.

한편, 본 발명은 전술한 전형적인 바람직한 실시예들에만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 개량, 변경, 대체 또는 부가하여 실시할 수 있는 것임은 당해 기술분야에 통상의 지식을 가진 자라면 용이하게 이해할 수 있을 것이다. 이러한 개량, 변경, 대체 또는 부가에 의한 실시가 이하의 첨부된 특허청구범위의 범주에 속하는 것이라면 그 기술사상 역시 본 발명에 속하는 것으로 보아야 한다. On the other hand, the present invention is not limited to the above-described typical preferred embodiments, but can be carried out in various ways without departing from the gist of the present invention, various modifications, alterations, substitutions or additions are common in the art Those who have knowledge will easily understand. If the implementation by such improvement, change, replacement or addition falls within the scope of the appended claims, the technical idea should also be regarded as belonging to the present invention.

이상에서 상세히 설명된 본 발명에 따르면, 메모리 스틱과 같은 보조 저장장치에 저장해 둔 많은 압축된 음악파일을 이용해 노래를 부르고자 할 때, 보다 대용량의 비디오 컨텐츠를 통해 제공되는 아름다운 영상 등을 배경영상으로 할 수 있어 노래를 부르는 사람의 감정이나 흥미를 더 돋굴 수가 있다.
According to the present invention described in detail above, when a user wants to sing a song using a lot of compressed music files stored in an auxiliary storage device such as a memory stick, a beautiful image provided through a larger amount of video content is used as a background image. You can do this to further enhance the feelings and interests of the person singing.

Claims (16)

재생장치가 복수 소스(source)로부터 제공되는 데이터를 재생하는 방법에 있어서,A method for reproducing data provided from a plurality of sources by a reproducing apparatus, 상기 복수 소스중 제 1소스에 기록되어 있는 오디오 데이터를 디코딩 출력하는 1단계; 및Decoding and outputting audio data recorded in a first source of the plurality of sources; And 상기 복수 소스중 제 2소스의 A/V 컨텐츠가 출력 요청되면 그 컨텐츠의 오디오 신호는 차단하고 비디오 신호만 출력하는 2단계를 포함하여 이루어지는 재생방법. And outputting the audio signal of the content and outputting only the video signal when the A / V content of the second source among the plurality of sources is requested to be output. 제 1항에 있어서, The method of claim 1, 상기 제 1소스는, 상기 재생장치에 착탈식으로 접속되는 보조 메모리 장치인 것을 특징으로 하는 재생방법.And the first source is an auxiliary memory device detachably connected to the playback device. 제 1항에 있어서,The method of claim 1, 상기 제 2소스는, 디스크 기록매체인 것을 특징으로 하는 재생방법.And the second source is a disc recording medium. 제 1항에 있어서,The method of claim 1, 상기 제 2소스는, 방송 채널인 것을 특징으로 하는 재생방법.And the second source is a broadcast channel. 제 1항에 있어서, The method of claim 1, 상기 제 2소스의 A/V 컨텐츠는, 상기 제 1소스에 저장되어 있는 문서 파일내에 상기 오디오 데이터와 동시 출력되도록 지정되어 있는 것을 특징으로 하는 재생방법.And the A / V content of the second source is specified to be output simultaneously with the audio data in a document file stored in the first source. 제 5항에 있어서, The method of claim 5, 상기 2단계는 상기 문서파일의 실행에 의해 자동적으로 수행되는 것을 특징으로 하는 재생방법.And said step 2 is performed automatically by execution of said document file. 재생장치가 복수 소스(source)로부터 제공되는 데이터를 재생하는 방법에 있어서,A method for reproducing data provided from a plurality of sources by a reproducing apparatus, 상기 복수 소스중 제 1소스에 기록되어 있는 오디오 데이터를 디코딩 출력하되, 상기 복수 소스중 제 2소스의 A/V 컨텐츠에 의한 비디오 및 오디오 신호가 출력중이면 그 오디오 신호는 차단하는 단계를 포함하여 이루어지는 재생방법. Decoding and outputting audio data recorded in a first source of the plurality of sources, and blocking the audio signal when a video and audio signal by A / V content of a second source of the plurality of sources is being output; Regeneration method. 제 7항에 있어서, The method of claim 7, wherein 상기 제 1소스는, 상기 재생장치에 착탈식으로 접속되는 보조 메모리 장치인 것을 특징으로 하는 재생방법.And the first source is an auxiliary memory device detachably connected to the playback device. 제 7항에 있어서,The method of claim 7, wherein 상기 제 2소스는, 디스크 기록매체 또는 방송 채널인 것을 특징으로 하는 재생방법.And the second source is a disc recording medium or a broadcast channel. 재생장치가 복수 소스(source)로부터 제공되는 데이터를 재생하는 방법에 있어서,A method for reproducing data provided from a plurality of sources by a reproducing apparatus, 상기 복수 소스중 제 1소스에 기록되어 있는 문서 파일을 해석하여, 상기 제 1소스에 기록되어 있는 오디오 데이터와 그 오디오 데이터와 연계되어 있는 상기 복수 소스중 제 2소스의 A/V 컨텐츠를 각각 특정하는 1단계; 및Analyze a document file recorded in a first source of the plurality of sources, and specify audio data recorded in the first source and A / V content of a second source of the plurality of sources linked to the audio data, respectively. Step 1 to do; And 상기 특정된 오디오 데이터와 상기 A/V 컨텐츠의 디코딩을 동시 수행하되, 상기 A/V 컨텐츠에 의한 오디오 신호의 출력은 차단시키는 2단계를 포함하여 이루어지는 재생방법. And simultaneously performing decoding of the specified audio data and the A / V content, and outputting the audio signal by the A / V content. 복수 소스(source)로부터 제공되는 데이터를 재생하는 장치에 있어서,An apparatus for reproducing data provided from a plurality of sources, 기록매체에 기록된 A/V 컨텐츠를 독출하기 위한 재생부;A playback unit for reading A / V contents recorded on the recording medium; 보조 저장장치를 착탈식으로 접속하여 데이터를 교환하기 위한 접속부;A connection for detachably connecting auxiliary storage to exchange data; 상기 A/V 컨텐츠와 상기 보조 저장장치내의 오디오 데이터를 디코딩출력하기 위한 디코딩부; 및A decoding unit for decoding and outputting the A / V content and audio data in the auxiliary storage device; And 상기 보조 저장장치에 기록되어 있는 오디오 데이터의 재생요청시, 상기 디코딩부를 제어하여, 상기 오디오 데이터가 디코딩 출력되도록 하되, 상기 기록매체의 A/V 컨텐츠가 함께 재생되는 경우에는 그 오디오 신호는 차단하고 비디오 신호 만 출력되도록 하는 제어부를 포함하여 구성되는 것을 특징으로 하는 재생장치.When the audio data recorded in the auxiliary storage device is requested to be reproduced, the decoding unit is controlled so that the audio data is decoded and output. When the A / V contents of the recording medium are played together, the audio signal is blocked. And a control unit for outputting only a video signal. 제 11항에 있어서, The method of claim 11, 상기 기록매체의 A/V 컨텐츠의 재생 요청은, 상기 오디오 데이터의 재생요청의 전, 후 또는 동시에 이루어지는 것임을 특징으로 하는 재생장치.And the reproduction request of the A / V contents of the recording medium is performed before, after or simultaneously with the reproduction request of the audio data. 제 12항에 있어서, The method of claim 12, 상기 A/V 컨텐츠의 동시 재생의 요청은, 상기 보조 저장장치에 기록되어 있는 문서파일에 의해 지시되는 것임을 특징으로 하는 재생장치.And the request for simultaneous reproduction of the A / V contents is indicated by a document file recorded in the auxiliary storage device. 복수 소스(source)로부터 제공되는 데이터를 재생하는 장치에 있어서,An apparatus for reproducing data provided from a plurality of sources, 기록매체에 기록된 A/V 컨텐츠를 독출하기 위한 재생부;A playback unit for reading A / V contents recorded on the recording medium; 보조 저장장치를 착탈식으로 접속하여 데이터를 교환하기 위한 접속부;A connection for detachably connecting auxiliary storage to exchange data; 상기 A/V 컨텐츠와 상기 보조 저장장치내의 오디오 데이터를 디코딩출력하기 위한 디코딩부; 및A decoding unit for decoding and outputting the A / V content and audio data in the auxiliary storage device; And 상기 보조 저장장치에 기록되어 있는 문서파일의 선택시, 그 문서파일을 실행함으로써, 상기 오디오 데이터와, 그 문서파일에서 연계시킨 상기 기록매체의 A/V 컨텐츠가 함께 재생출력되도록 상기 디코딩부를 제어하되, 상기 A/V 컨텐츠에 의한 오디오 신호는 출력되지 않도록 차단하는 제어부를 포함하여 구성되는 것을 특징으로 하는 재생장치.When the document file recorded in the auxiliary storage device is selected, the decoding unit is controlled so that the audio data and the A / V contents of the recording medium linked to the document file are reproduced and output together by executing the document file. And a controller which blocks the audio signal by the A / V content from being output. 복수 소스(source)로부터 제공되는 데이터를 재생하는 장치에 있어서,An apparatus for reproducing data provided from a plurality of sources, 방송 채널을 동조하여 비디오 및 오디오 신호를 출력하는 방송 수신부;A broadcast receiver for outputting video and audio signals by tuning a broadcast channel; 보조 저장장치를 착탈식으로 접속하여 데이터를 교환하기 위한 접속부;A connection for detachably connecting auxiliary storage to exchange data; 상기 보조 저장장치내의 오디오 데이터를 디코딩출력하기 위한 디코더; 및A decoder for decoding and outputting audio data in the auxiliary storage; And 상기 보조 저장장치에 기록되어 있는 오디오 데이터의 재생요청시, 상기 디코더를 제어하여 상기 오디오 데이터가 디코딩 출력되도록 하되, 상기 방송 수신부가 방송채널을 동조출력하는 경우에는 그 오디오 신호는 차단하고 비디오 신호만 출력되도록 하는 제어부를 포함하여 구성되는 것을 특징으로 하는 재생장치.When the audio data recorded in the auxiliary storage device is requested to be reproduced, the decoder controls the decoder to decode and output the audio data. When the broadcast receiver tunes and outputs a broadcast channel, the audio signal is blocked and only the video signal is output. And a control unit for outputting the reproducing apparatus. 제 15항에 있어서, The method of claim 15, 기록매체에 기록된 신호를 독출하기 위한 재생부를 더 포함하여 구성되되, It further comprises a reproducing unit for reading the signal recorded on the recording medium, 상기 장치의 동작상태에서, 상기 재생부가 상기 기록매체를 재생하지 않고 있으면 상기 방송 수신부는 현재 설정된 방송채널을 동조출력하고 있는 것을 특징으로 하는 재생장치.And the broadcast receiving unit tunes to the currently set broadcast channel if the play unit does not play the recording medium in the operation state of the device.
KR1020050001347A 2005-01-06 2005-01-06 Method and apparatus for playing audio data with other content KR100609550B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050001347A KR100609550B1 (en) 2005-01-06 2005-01-06 Method and apparatus for playing audio data with other content

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050001347A KR100609550B1 (en) 2005-01-06 2005-01-06 Method and apparatus for playing audio data with other content

Publications (2)

Publication Number Publication Date
KR20060081034A KR20060081034A (en) 2006-07-12
KR100609550B1 true KR100609550B1 (en) 2006-08-08

Family

ID=37172142

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050001347A KR100609550B1 (en) 2005-01-06 2005-01-06 Method and apparatus for playing audio data with other content

Country Status (1)

Country Link
KR (1) KR100609550B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101276831B1 (en) 2006-09-29 2013-06-18 엘지전자 주식회사 Communication Terminal and Method For Setting up Background Picture thereof

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100826659B1 (en) * 2006-10-12 2008-05-28 티제이사이언스주식회사 How to listen to a song by erasing or selecting a specific part of a music file

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980079024A (en) * 1997-04-30 1998-11-25 배순훈 How to select background music when playing video on a video compact disc system
KR19990005954A (en) * 1997-06-30 1999-01-25 김영환 Background player for video compact disc player and its control method
KR19990039086A (en) * 1997-11-10 1999-06-05 김영환 How to output background image of video cd play auto changer
WO2004004327A1 (en) 2002-06-27 2004-01-08 Ess Technology, Inc. Slide show with audio

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980079024A (en) * 1997-04-30 1998-11-25 배순훈 How to select background music when playing video on a video compact disc system
KR19990005954A (en) * 1997-06-30 1999-01-25 김영환 Background player for video compact disc player and its control method
KR19990039086A (en) * 1997-11-10 1999-06-05 김영환 How to output background image of video cd play auto changer
WO2004004327A1 (en) 2002-06-27 2004-01-08 Ess Technology, Inc. Slide show with audio

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101276831B1 (en) 2006-09-29 2013-06-18 엘지전자 주식회사 Communication Terminal and Method For Setting up Background Picture thereof

Also Published As

Publication number Publication date
KR20060081034A (en) 2006-07-12

Similar Documents

Publication Publication Date Title
KR101236463B1 (en) Reproducing apparatus, reproduction controlling method, and a recording medium
JP3644455B2 (en) Program information broadcasting system, program information display method and receiving apparatus
WO2001041144A1 (en) Apparatus, method and database for control of audio/video equipment
KR100609550B1 (en) Method and apparatus for playing audio data with other content
KR100417369B1 (en) Apparatus and Method of multi-media with multi-channel
JP2004015115A (en) Digital composite reproducing device
JPH11177511A (en) Digital broadcasting reception and reproduction device
JP2004039113A (en) Information output device, its method, program and storage medium
JP2003217265A (en) Music storage system and video storage system
JP2003281862A (en) Recording and reproducing device
JP4497540B2 (en) Content reproduction apparatus, program, and content reproduction method
KR100961297B1 (en) Digital television with personal video storage
KR200194358Y1 (en) Apparatus writing and playing audio signal file of radio wave
KR100343667B1 (en) Digital karaoke system having voice control function
KR100700783B1 (en) Audio file playback method and device
KR20040072438A (en) Recording/reproducing apparatus capable of performing function slide show and control method thereof
JP3780524B2 (en) Broadcast receiving / recording / reproducing device
CN101031049A (en) Method and apparatus for playing audio-fequency data and other content simultaneouslly
JP4312167B2 (en) Content playback device
JP4072692B2 (en) Information processing method and information processing apparatus
KR100590756B1 (en) How to record radio broadcast reservation of digital multimedia player
JP2007141316A (en) Audio apparatus
KR20040063295A (en) DVD recording/reproducing device with CD&#39;s sub information
JP2007028226A (en) Broadcast program reproducing apparatus
JP2768833B2 (en) Multilingual recording media playback device

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20050106

PA0201 Request for examination
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20060527

PG1501 Laying open of application
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20060728

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20060728

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20090619

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20100630

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20110620

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20120619

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20130624

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20130624

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20140624

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20140624

Start annual number: 9

End annual number: 9

FPAY Annual fee payment

Payment date: 20150624

Year of fee payment: 10

PR1001 Payment of annual fee

Payment date: 20150624

Start annual number: 10

End annual number: 10

FPAY Annual fee payment

Payment date: 20160628

Year of fee payment: 11

PR1001 Payment of annual fee

Payment date: 20160628

Start annual number: 11

End annual number: 11

FPAY Annual fee payment

Payment date: 20170623

Year of fee payment: 12

PR1001 Payment of annual fee

Payment date: 20170623

Start annual number: 12

End annual number: 12

FPAY Annual fee payment

Payment date: 20190624

Year of fee payment: 14

PR1001 Payment of annual fee

Payment date: 20190624

Start annual number: 14

End annual number: 14

PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20210508