KR102617425B1 - animal training device using multimedia - Google Patents
animal training device using multimedia Download PDFInfo
- Publication number
- KR102617425B1 KR102617425B1 KR1020190071180A KR20190071180A KR102617425B1 KR 102617425 B1 KR102617425 B1 KR 102617425B1 KR 1020190071180 A KR1020190071180 A KR 1020190071180A KR 20190071180 A KR20190071180 A KR 20190071180A KR 102617425 B1 KR102617425 B1 KR 102617425B1
- Authority
- KR
- South Korea
- Prior art keywords
- training
- image
- unit
- sound
- output unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K15/00—Devices for taming animals, e.g. nose-rings or hobbles; Devices for overturning animals in general; Training or exercising equipment; Covering boxes
- A01K15/02—Training or exercising equipment, e.g. mazes or labyrinths for animals ; Electric shock devices ; Toys specially adapted for animals
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K29/00—Other apparatus for animal husbandry
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K5/00—Feeding devices for stock or game ; Feeding wagons; Feeding stacks
- A01K5/02—Automatic devices
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Environmental Sciences (AREA)
- Animal Husbandry (AREA)
- Biodiversity & Conservation Biology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Physical Education & Sports Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Zoology (AREA)
- Birds (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
본 발명은 멀티미디어를 사용한 동물 훈련 장치에 관한 것으로, 소리/영상 신호와 급식부를 사용해 동물을 훈련시키기 위한 장치에 관한 것 이다. 훈련대상(600)을 시각이나 청각적 수단으로 학습시키기 위해 만들어진 훈련 데이터를 제공하는 훈련데이터 제공부(501)와, 상기 훈련데이터 제공부(501)에서 전달받은 훈련데이터의 영상신호를 출력하는 영상출력부(100)와, 상기 영상출력부(100)에 출력되는 영상신호와 동기를 이루는 소리신호를 출력하는 소리출력부와, 상기 영상출력부(100)내 혹은 주변에 위치하며 훈련대상(600) 동물에게 보상물(400) 을 지급하는 급식부와, 상기 영상출력부(100)/소리출력부/급식부의 신호처리 및 제어하고 서로 대응되어 동작하도록 제어하는 메인보드부(502)가 포함하는 멀티미디어를 사용한 동물 훈련 장치에 관한 것 이다.The present invention relates to an animal training device using multimedia, and to a device for training animals using sound/image signals and a feeding unit. A training data provider 501 that provides training data created to learn the training target 600 by visual or auditory means, and an image that outputs a video signal of the training data received from the training data provider 501. An output unit 100, a sound output unit that outputs a sound signal synchronized with the video signal output to the video output unit 100, and a training target (600) located in or around the video output unit 100. ) It includes a feeding unit that provides rewards 400 to the animal, and a main board unit 502 that processes and controls signals from the video output unit 100/sound output unit/feeding unit and controls them to operate in correspondence with each other. This is about an animal training device using multimedia.
Description
본 발명은 소리, 영상 등을 활용한 동물 훈련 시스템에 관한 것으로, 사람이 직접 훈련 시키지 않고 멀티미디어를 활용해 동물 스스로 학습할 수 있는 장치에 관한 것이다.The present invention relates to an animal training system using sounds, images, etc., and to a device that allows animals to learn on their own using multimedia without direct training by humans.
훈련사의 동물 훈련방법은 동물에게 물리적인 힘으로 행동을 유도하고 보상하는 방법이며, 훈련 장치 역시 이러한 훈련사의 방법을 기구적으로 모델링하려 했기 때문에 구현 범위에 한계가 있었으며 동물의 학습 효과 역시 낮다는 문제가 있었다. 선행기술문헌으로서 KR 10-2013-0000516 A가 있으나, 이러한 기술만으로는 동물의 학습 효과를 증대시키기는 어려운 측면이 있다.The trainer's animal training method is a method of inducing and rewarding the animal's behavior with physical force, and the training device also attempted to mechanically model the trainer's method, so there was a limit to the scope of implementation and the animal's learning effect was also low. There was. There is KR 10-2013-0000516 A as a prior art document, but it is difficult to increase the learning effect of animals with this technology alone.
본 발명은 상기 문제를 해결하기 위한 것으로, 영상 속 훈련사(101)의 명령에 영상 속 훈련대상(104)의 행위를 따라 하는 것을 유도하는 훈련 장치를 제시하며, 급식부를 소리출력부 및 영상출력부(100)와 매칭시켜 동물이 멀티미디어에 집중하기 위한 방법을 제시한다.The present invention is intended to solve the above problem, and proposes a training device that induces the training subject (104) in the video to follow the commands of the trainer (101) in the video, and the feeding unit includes a sound output unit and an image output unit. By matching with (100), we present a method for animals to focus on multimedia.
또한, 영상 데이터에는 훈련사와 훈련대상 동물이 출연하고, 훈련사의 명령 소리와 모션에 훈련대상 동물이 반응(명령에 적합한 행동)을 하고, 이 반응(명령에 적합한 행동)에 대한 보상으로 간식과 칭찬을 받는 영상과 소리를 보여주고, 영상을 시청하는 훈련대상(600)이 적합한 반응(명령에 적합한 행동)을 하면 급식부를 통해 보상을 하는 동물 훈련 장치를 제공하고자 한다.In addition, the video data shows the trainer and the animal to be trained, and the animal to be trained responds to the trainer's command sound and motion (behavior appropriate to the command), and is rewarded with a treat and praise for this response (action appropriate to the command). The aim is to provide an animal training device that shows images and sounds of receiving a message and rewards the animal through a feeding unit when the training subject 600 watching the video responds appropriately (behavior appropriate to the command).
본 발명의 일실시예에 따른 멀티미디어를 사용한 동물 훈련 장치는 훈련 데이터의 영상신호를 재생하는 영상출력부(100)와, 상기 영상출력부(100)의 화면상이나 주변에 위치하며 훈련 데이터의 소리신호를 재생하는 소리출력부와, 상기 영상출력부(100) 상이나 주변에 위치하며 훈련대상(600)동물에게 제공하는 보상물(400)이 나오는 급식부와, 상기 영상출력부(100)에 표시되는 영상 데이터에 대응되는 소리출력부와 급식부를 구동하는 메인보드부(502)로 구성되는 것을 특징으로 한다.An animal training device using multimedia according to an embodiment of the present invention includes an image output unit 100 that reproduces video signals of training data, and is located on or around the screen of the video output unit 100 and produces sound signals of training data. A sound output unit that reproduces a sound output unit, a feeding unit that is located on or around the video output unit (100) and produces a reward (400) provided to the training target (600) animal, and a food unit that is displayed on the video output unit (100). It is characterized by being composed of a sound output unit corresponding to image data and a main board unit 502 that drives the feeding unit.
상기 과제의 해결수단에 따르면, 훈련대상(600) 동물이 멀티미디어에 집중하도록 유도하고, 영상 속 훈련사(101)의 명령과 이에 대응하는 행동을 하는 영상 속 훈련대상(104)을 보여줌으로써, 효과적으로 동물을 훈련시킬 수 있다.According to the means of solving the above problem, by inducing the training target (600) animal to focus on the multimedia and showing the training target (104) in the video performing the command of the trainer (101) and the corresponding action in the video, the animal is effectively trained. can be trained.
또한, 영상입력부(500)로 훈련대상(600)을 촬영하고 인식하여, 훈련대상(600)이 적합한 행위를 하면 보상함으로써 훈련대상(600)이 반복적으로 적합한 행위를 하도록 훈련시킬 수 있다.In addition, the training target 600 can be trained to repeatedly perform appropriate actions by filming and recognizing the training target 600 using the video input unit 500 and rewarding the training target 600 when it performs appropriate actions.
도 1은 본 발명의 실시예에 따른 멀티미디어를 사용한 동물 훈련 장치의 구성도이다.
도 2은 본 발명의 실시예에 따른 멀티미디어를 사용한 동물 훈련 장치에 훈련대상(600)을 집중시키기 위한 훈련데이터의 일실시예를 설명하기 위한 구성도이다.
도 3은 본 발명의 실시예에 따른 멀티미디어를 사용한 동물 훈련 장치의 훈련 방법의 일실시예를 설명하기 위한 구성도이다.
도 4는 본 발명의 실시예에 따른 멀티미디어를 사용한 동물 훈련 장치의 보상 방법의 일실시예를 설명하기 위한 구성도이다.
도 5는 본 발명의 실시예에 따른 멀티미디어를 사용한 동물 훈련 장치의 반복 훈련 장치를 설명하기 위한 구성도이다.
도 6은 본 발명의 실시예에 따른 멀티미디어를 사용한 동물 훈련 장치의 반복 훈련 장치의 반복 훈련에 대한 플로우차트이다.
도 7은 본 발명의 실시예에 따른 멀티미디어를 사용한 동물 훈련 장치의 반복 훈련 장치의 금지 행위 훈련에 대한 플로우차트이다.1 is a configuration diagram of an animal training device using multimedia according to an embodiment of the present invention.
Figure 2 is a configuration diagram illustrating an example of training data for focusing a training target 600 on an animal training device using multimedia according to an embodiment of the present invention.
Figure 3 is a configuration diagram illustrating an embodiment of a training method of an animal training device using multimedia according to an embodiment of the present invention.
Figure 4 is a configuration diagram illustrating an example of a compensation method for an animal training device using multimedia according to an embodiment of the present invention.
Figure 5 is a configuration diagram illustrating a repetitive training device of an animal training device using multimedia according to an embodiment of the present invention.
Figure 6 is a flowchart of repetitive training of an animal training device using multimedia according to an embodiment of the present invention.
Figure 7 is a flow chart of prohibited behavior training of the repetitive training device of the animal training device using multimedia according to an embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 도 1내지 도2는 동물을 멀티미디어에 집중하는 훈련에 관한 구성과 방법을 도시한다. 도 1은 본 발명의 실시예에 따른 멀티미디어를 사용한 동물 훈련 장치의 구성도이다. 도 2는 본 발명의 실시예에 따른 멀티미디어를 사용한 동물 훈련 장치에 훈련대상(600)을 집중시키기 위한 훈련데이터의 일실시예를 설명하기 위한 구성도이다. 본 발명의 일실시예에 따른 멀티미디어를 사용한 동물 훈련 장치는 훈련대상(600)을 시각이나 청각적 수단으로 학습시키기 위해 만들어진 훈련 데이터를 제공하는 훈련데이터 제공부(501), 상기 훈련데이터 제공부(501)에서 전달받은 훈련데이터의 영상신호를 출력하는 영상출력부(100)와, 상기 영상출력부(100)에 출력되는 영상신호와 동기를 이루는 소리신호를 출력하는 소리출력부와, 상기 영상출력부(100)내 혹은 주변에 위치하며 훈련대상(600) 동물에게 보상물(400) 을 지급하는 급식부와, 상기 영상출력부(100)/소리출력부/급식부의 신호처리 및 제어하고 서로 대응되어 동작하도록 제어하는 메인보드부(502)로 구성되는 것을 특징으로 한다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the attached drawings. Figures 1 and 2 show a configuration and method for training animals to focus on multimedia. 1 is a configuration diagram of an animal training device using multimedia according to an embodiment of the present invention. Figure 2 is a configuration diagram illustrating an example of training data for focusing a training target 600 on an animal training device using multimedia according to an embodiment of the present invention. An animal training device using multimedia according to an embodiment of the present invention includes a training data provider 501 that provides training data created to learn the training target 600 by visual or auditory means, and the training data provider ( An image output unit 100 that outputs a video signal of the training data received from 501), a sound output unit that outputs a sound signal synchronized with the video signal output to the video output unit 100, and the video output. A feeding unit located in or around the unit 100 and providing rewards 400 to animals subject to training 600, and the video output unit 100/sound output unit/feeding unit process and control signals and correspond to each other. It is characterized by being composed of a main board unit 502 that controls it to operate.
상기 영상출력부(100)에 표시되는 영상 속 유인수단(102)이 나타나거나 움직일 때 고유의 소리를 출력하도록한다. 소리가 출력되는 위치는 영상 속 유인수단(102)의 위치를 반영한다. 즉, 도 2의 (a)에서는 영상 속 유인수단(102)이 영상출력부(100)의 왼편에 위치하므로 소리출력부1(201)에서 소리가 출력되며, (b)에서는 영상 속 유인수단(102)이 영상출력부(100)의 왼편하단에 위치하므로 소리출력부2(202)에서 소리가 발생한다. 영상 속 유인수단(102)과 소리로 동물의 호기심을 자극한 후 영상 속 보상물(103)이 영상출력부(100)에 표시되고, 표시되는 위치와 가장 가까운 급식부를 통해 보상물(400)이 토출된다. 도 2의 (a)에서는 영상 속 보상물(103)이 왼편에 표시되고 급식부1(301)에서 보상물(400)이 토출되며, (b)에서는 영상 속 보상물이 왼편하단에 표시되고 급식부2(302)에서 보상물(400)이 토출된다. 도 2의 이중선 화살표는 영상 속 보상물(103)이 토출되는 모션을 표현하기위해 사용했다.When the attraction means 102 appears or moves in the image displayed on the image output unit 100, a unique sound is output. The location where the sound is output reflects the location of the attraction means 102 in the image. That is, in Figure 2 (a), the attraction means 102 in the image is located on the left side of the image output unit 100, so sound is output from the sound output unit 1 (201), and in (b), the attraction means in the image ( Since 102) is located at the bottom left of the video output unit 100, sound is generated from the sound output unit 2 (202). After stimulating the animal's curiosity with the attraction means 102 and sound in the video, the reward 103 in the video is displayed on the video output unit 100, and the reward 400 is provided through the feeding unit closest to the displayed position. It is discharged. In (a) of Figure 2, the reward 103 in the image is displayed on the left and the reward 400 is discharged from feeding unit 1 (301), and in (b) the reward in the image is displayed at the bottom left and the food is fed. Compensation material 400 is discharged from part 2 (302). The double-line arrow in FIG. 2 was used to express the motion in which the compensation product 103 is discharged in the image.
또한, 본 발명의 실시예에 따른 멀티미디어를 사용한 동물 훈련 장치는 훈련대상을 촬영하는 영상입력부(500), 상기 영상입력부(500)로 입력된 데이터에서 훈련대상을 인식하는 객체인식부(503), 상기 객체인식부(503)에서 인식한 객체가 명령어나 소리에 적합한 행위를 하는지 판단하는 행위판단부(504)를 더 포함할 수 있다. 도 2의 실시예에서 훈련대상이 영상 속 유인수단(102)에 반응을 보이며 다가오는 행위를 한다고 판단되었을 때 급식부에서 보상물(400)을 토출하여 학습 효과를 높일 수 있다. 또한, 상기 토출된 보상물(400)은 일정 시간 보상물받침(401)에 놓여 있다가 없어지도록 하기 위해 보상물받침(401)을 기울여 놓아 훈련대상의 집중도를 높일 수 있다.In addition, the animal training device using multimedia according to an embodiment of the present invention includes an image input unit 500 for photographing a training subject, an object recognition unit 503 for recognizing the training subject from data input to the image input unit 500, It may further include an action determination unit 504 that determines whether the object recognized by the object recognition unit 503 performs an action appropriate for the command or sound. In the embodiment of Figure 2, when it is determined that the training target responds to the attracting means 102 in the video and makes an approaching action, the learning effect can be increased by discharging the reward 400 from the feeding unit. In addition, the reward holder 401 can be tilted so that the discharged reward 400 is placed on the reward holder 401 for a certain period of time and then disappears, thereby increasing the concentration of the training target.
또한, 일실시예에 따른 상기 훈련데이터는 상기 영상출력부(100)에 표시되는 영상 속 유인수단 혹은 영상 속 보상물(103)이 포함되는 영상신호, 상기 영상신호와 동기화 되어 출력되는 소리신호, 상기 소리신호가 다수의 소리출력부 중에서 특정 위치의 소리출력부에만 선택적으로 출력되는 정보를 포함한 소리출력부데이터, 상기 영상신호가 재생되면서 특정 시점에 보상물(400)이 특정 급식부로 내보내지는 정보를 포함한 급식부데이터를 포함하는 것을 특징으로 한다. 이와 같이 영상신호와 대응 되는 각 급식부 및 소리출력부의 번화와 동작 시점을 데이터로 저장함으로써, 영상 속 유인수단(102) 및 영상 속 보상물(103)의 위치와 시점에 따라 적합한 급식부/소리출력부를 선택해 구동할 수 있다. In addition, the training data according to one embodiment is a video signal including an attraction means in the video displayed on the video output unit 100 or a reward 103 in the video, a sound signal output in synchronization with the video signal, Sound output unit data including information that the sound signal is selectively output only to the sound output unit at a specific location among a plurality of sound output units, and information that the reward 400 is sent to a specific feeding unit at a specific time while the video signal is played. It is characterized by including meal service data including. In this way, by storing the activity and operation time of each feeding unit and sound output unit corresponding to the video signal as data, the feeding unit/sound is appropriate according to the location and timing of the attraction means 102 in the video and the reward 103 in the video. You can select and drive the output unit.
또한, 다른 실시예로는 상기 메인보드부(502)에서 상기 훈련데이터를 분석하고 상기 영상 속 유인수단(102) 혹은 영상 속 보상물(103)이 영상출력부(100)에 표시되거나 움직이는 시점과 위치를 검출하고 이에 대응되는 위치의 소리출력부 혹은 급식부가 구동되도록 제어할 수 있다. In addition, in another embodiment, the main board unit 502 analyzes the training data and determines when the attraction means 102 in the video or the reward 103 in the video is displayed or moves on the video output unit 100. The position can be detected and controlled so that the sound output unit or feeding unit at the corresponding position is driven.
또한, 본 발명의 실시예에 따른 멀티미디어를 사용한 동물 훈련 장치는 음원객체를 분리하고 음원위치를 추정하는 가상서라운드음원생성부를 더 포함할 수 있다.Additionally, the animal training device using multimedia according to an embodiment of the present invention may further include a virtual surround sound source generator that separates sound source objects and estimates the sound source location.
도 3내지 도 4는 훈련대상의 명령어 등의 학습 방법에 대해 설명한다. 도 3은 본 발명의 실시예에 따른 멀티미디어를 사용한 동물 훈련 장치의 훈련 방법의 일실시예를 설명하기 위한 구성도이다. 본 발명의 일실시예에 따른 멀티미디어를 사용한 동물 훈련 장치는 훈련대상(600)을 시각이나 청각적 수단으로 학습시키기 위해 만들어진 훈련 데이터를 제공하는 훈련데이터 제공부(501), 상기 훈련데이터 제공부(501)에서 전달받은 훈련데이터의 영상신호를 출력하는 영상출력부(100)와, 상기 영상출력부(100)에 출력되는 영상신호와 동기를 이루는 소리신호를 출력하는 소리출력부와, 상기 영상출력부(100)내 혹은 주변에 위치하며 훈련대상(600) 동물에게 보상물을 지급하는 급식부와, 상기 영상출력부(100)/소리출력부/급식부의 신호처리 및 제어하고 서로 대응되어 동작하도록 제어하는 메인보드부(502)로 구성되는 것을 특징으로 한다. 상기 훈련데이터에는 영상 속 훈련사(101)와 영상 속 훈련대상(104)이 포함되며, 영상 속 훈련사(101)가 동작과 명령을 하면 영상 속 훈련대상(104)이 이에 해당하는 행위를 하며, 이때 영상 속 훈련사(101)가 영상 속 훈련대상(104)에게 영상 속 보상물(103)을 지급하는 것을 특징으로 한다. 예를들어 도 3에서 이중선 화살표는 영상 속 훈련사(101)의 모션을 보여주며, 영상 속 훈련사(101)가 영상 속 유인물을 잡은 손을 밑으로 내리는 모습을 디스플레이하고 "앉아"라는 명령어 소리를 출력하면, 영상 속 훈련대상(104)은 앉는 모션을 취한다. 이중 점선 화살표는 모션을, 점선은 몸의 이전 위치를 의미한다. 이후 영상 속 훈련사(101)는 영상 속 훈련대상(104)에게 보상물을 지급하는 영상과 칭찬하는 소리가 출력되고 영상 속 훈련대상(104)이 이를 받아먹는 영상과 소리가 출력된다. 영상출력부(100)에 표시되는 영상 속 훈련사(101)/영상 속 유인물/영상 속 훈련대상(104)의 위치를 반영해 현실감 있는 소리가 출력되도록 각 소리출력부의 출력 세기를 제어한다. 본 실시예에서는 편의상 4개의 소리출력부만 도시했지만 실제로는 이보다 더 많아지거나 적어지는 것도 가능하며, 목적은 영상 속 유인물 등의 소리가 출력되는 영상 객체의 위치/이동을 반영해 다수의 소리출력부를 제어하는 것 이다. 예를들어 영상 속 유인물이 상단에서 하단으로 이동한다면, 영상 속 유인물이 상단에 있을 때는 상단의 소리출력부의 소리가 크고 한단의 소리출력부의 소리가 작았다가 영상 속 유인물이 하단으로 이동하면서 상단의 소리출력부의 소리 크기는 점차 작아지고 하단의 소리출력부의 소리는 점차 커지면서 영상 속 유인물의 위치를 현실감 있게 반영한다.Figures 3 and 4 explain a method of learning training target commands, etc. Figure 3 is a configuration diagram illustrating an embodiment of a training method of an animal training device using multimedia according to an embodiment of the present invention. An animal training device using multimedia according to an embodiment of the present invention includes a training data provider 501 that provides training data created to learn the training target 600 by visual or auditory means, and the training data provider ( An image output unit 100 that outputs a video signal of the training data received from 501), a sound output unit that outputs a sound signal synchronized with the video signal output to the video output unit 100, and the video output. A feeding unit located in or around the unit 100 that provides rewards to animals subject to training (600), and the video output unit 100/sound output unit/feeding unit process and control signals and operate in correspondence with each other. It is characterized by being composed of a controlling main board unit 502. The training data includes the trainer 101 in the video and the training target 104 in the video. When the trainer 101 in the video makes an action and commands, the training target 104 in the video performs the corresponding action. It is characterized in that the trainer (101) in the video pays the reward (103) in the video to the training subject (104) in the video. For example, in Figure 3, the double-line arrow shows the motion of the trainer 101 in the video, and the trainer 101 in the video displays the hand holding the handout in the video lowering and outputs the command sound "sit." Then, the training subject 104 in the video takes a sitting motion. The double dotted arrow indicates motion, and the dotted line indicates the previous position of the body. Afterwards, an image of the trainer 101 in the video paying a reward to the training subject 104 in the video and a sound of praise are output, and an image and sound of the training subject 104 in the video receiving the reward are output. The output intensity of each sound output unit is controlled so that realistic sounds are output by reflecting the positions of the trainer 101 in the video/handout in the video/training target 104 in the video displayed on the video output unit 100. In this embodiment, only four sound output units are shown for convenience, but in reality, it is possible to use more or fewer sound output units, and the purpose is to create a plurality of sound output units by reflecting the position/movement of image objects such as handouts in the image. It's about controlling. For example, if the handout in the video moves from the top to the bottom, when the handout in the video is at the top, the sound of the sound output unit at the top is loud and the sound of the sound output unit in the first stage is low, and then as the handout in the video moves to the bottom, the sound at the top is low. The sound volume of the output section gradually decreases, and the sound of the sound output section at the bottom gradually increases, realistically reflecting the location of the handout in the video.
도 4는 본 발명의 실시예에 따른 멀티미디어를 사용한 동물 훈련 장치의 보상 방법의 일실시예를 설명하기 위한 구성도이다. 본 발명의 일실시예에 따른 멀티미디어를 사용한 동물 훈련 장치는, 명령어 소리 데이터와 이에 매칭되는 영상 속 훈련대상(104)의 영상 데이터를 포함하는 훈련데이터 제공부(501)와, 상기 훈련데이터 제공부(501)의 명령어 소리를 출력하는 소리출력부와, 훈련대상을 촬영하는 영상입력부(500)와, 상기 영상입력부(500)로부터 입력 받은 데이터에서 훈련대상을 인식하는 객체인식부(503)와, 상기 객체인식부(503)에서 인식한 객체가 상기 소리출력부로 출력한 명령어에 부합하는 행위를 하는지 확인하는 행위판단부(504)와, 상기 행위판단부(504)에서 훈련대상이 적합한 행위를 한 것으로 판단 시 보상을 내보내는 급식부를 포함하는 것을 특징으로 한다. 도 3과 같이 영상 속 훈련사(101)의 명령, 영상 속 훈련대상(104)의 반응, 영상 속 훈련대상(104)에 대한 보상을 영상/소리 출력하며, 상기 영상입력부(500)로부터 인식된 실제 훈련대상(600)이 영상 속 훈련대상(104)을 따라서 명령에 적합한 반응을 보이는 것으로 판단되면, 영상 속 훈련사(101)는 실제 훈련대상(600)을 향해 칭찬하고 영상 속 보상물(103)을 지급하는 영상과 소리를 출력하고, 이에 매칭되는 급식부를 통해 보상물(400)이 토출된다. Figure 4 is a configuration diagram illustrating an example of a compensation method for an animal training device using multimedia according to an embodiment of the present invention. An animal training device using multimedia according to an embodiment of the present invention includes a training data provider 501 including command sound data and image data of a training target 104 in an image matching the command sound data, and the training data provider. A sound output unit that outputs the command sound of (501), an image input unit (500) that photographs the training target, and an object recognition unit (503) that recognizes the training target from the data input from the image input unit (500), An action determination unit 504 checks whether the object recognized by the object recognition unit 503 performs an action that matches the command output to the sound output unit, and the action determination unit 504 determines whether the training target performs an appropriate action. It is characterized by including a feeding unit that sends out a reward when it is judged that it is. As shown in Figure 3, the command of the trainer 101 in the video, the reaction of the training target 104 in the video, and the compensation for the training target 104 in the video are output as images/sounds, and the actual recognized from the video input unit 500 If it is determined that the training target 600 shows an appropriate response to the command according to the training target 104 in the video, the trainer 101 in the video praises the actual training target 600 and gives the reward 103 in the video. The image and sound of payment are output, and the reward 400 is discharged through the feeding unit that matches it.
도 1 내지 도 4에서 상기와 같은 목적을 달성하기 위해 상기 영상출력부(100)는 가정에 있는 TV나 PC 모니터로 대체하는 것이 가능하다. 이 실시예에 따른 멀티미디어를 사용한 동물 훈련 장치는 훈련대상(600)을 시각이나 청각적 수단으로 학습시키기 위해 만들어진 훈련 데이터를 제공하는 훈련데이터 제공부(501), 상기 훈련데이터 제공부(501)에서 전달받은 훈련데이터의 영상신호를 TV나 PC모니터와 같은 외부 영상장치로 전송하기위한 통신부; 상기 외부 영상장치로 전송되는 영상신호와 동기를 이루는 소리신호를 출력하는 소리출력부와, 상기 외부영상장치 표면 혹은 주변에 위치하며 훈련대상(600) 동물에게 보상물을 지급하는 급식부와, 상기 통신부/소리출력부/급식부의 신호처리 및 제어하고 서로 대응되어 동작하도록 제어하는 메인보드부(502)로 구성되는 것을 특징으로 한다.In order to achieve the above purpose in FIGS. 1 to 4, the video output unit 100 can be replaced with a TV or PC monitor at home. The animal training device using multimedia according to this embodiment includes a training data provider 501 that provides training data created to learn the training target 600 by visual or auditory means, and the training data provider 501. A communication unit for transmitting video signals of the received training data to an external video device such as a TV or PC monitor; A sound output unit that outputs a sound signal in synchronization with the image signal transmitted to the external imaging device, a feeding unit located on or around the external imaging device and providing rewards to the animal to be trained (600), and It is characterized by being composed of a main board unit 502 that processes and controls signals from the communication unit/sound output unit/feeding unit and controls them to operate in correspondence with each other.
또한, 소리출력부(200)로 명령어 출력 후 훈련대상(600)을 관찰하고 훈련대상(600)이 적합한 행위를 했을 때 칭찬과 보상물을 지급하는 장치도 본 발명에 포함된다. 그리고 훈련대상(600)의 금지행위에 대한 데이터를 저장하고 훈련대상(600)을 관찰하다가 훈련대상(600)이 금지행위에 대한 행위를 했을 때 경고소리를 출력하는 장치 역시 본 발명에 포함될 수 있다. 본 발명의 실시예에 따른 멀티미디어를 사용한 동물 훈련 장치는, 훈련대상에 대한 명령어와 이에 대응하는 적합한 행위데이터 및 훈련대상의 금지 행위 데이터를 저장한 데이터저장부(510)와, 상기 데이터저장부(510)에서 명령어 소리신호 혹은 경고신호를 소리로 출력하는 소리출력부와, 상기 훈련대상(600)을 관찰하기 위한 영상입력부(500)와, 상기 영상입력부(500)로부터 입력 받은 데이터에서 훈련대상(600)을 인식하는 객체인식부(503)와, 상기 객체인식부(503)에서 인식한 객체가 상기 소리출력부로 출력한 명령어에 부합하는 행위를 하는지 혹은 금지 행위에 해당하는 행동을 하는지 확인하는 행위판단부(504)와, 상기 행위판단부(504)에서 적합한 행위라고 판단되면 훈련대상(600) 동물에게 보상물을 지급하는 급식부(300)와, 상기 소리출력부(200)/급식부(300)의 신호처리 및 제어하는 메인보드부(502)로 구성되는 것을 특징으로 한다. 일반적으로 상기 객체인식부(503)와 행위판단부(504)는 메인보드부(502)에 포함되어 구성되지만 설명 편의상 기능을 강조하기위해 별도의 구성요소로 설명하였다. In addition, the present invention includes a device that outputs a command to the sound output unit 200, observes the training target 600, and provides praise and rewards when the training target 600 performs appropriate actions. In addition, a device that stores data on prohibited acts of the training subject 600, observes the training subject 600, and outputs a warning sound when the training subject 600 performs a prohibited act can also be included in the present invention. . An animal training device using multimedia according to an embodiment of the present invention includes a data storage unit 510 that stores commands for a training target, appropriate behavior data corresponding thereto, and prohibited behavior data of the training target, and the data storage unit ( 510), a sound output unit that outputs a command sound signal or a warning signal as a sound, an image input unit 500 for observing the training target 600, and a training target (500) from the data input from the video input unit 500. An object recognition unit 503 that recognizes 600), and an act of checking whether the object recognized by the object recognition unit 503 performs an action that matches the command output to the sound output unit or performs an action corresponding to a prohibited action. A judgment unit 504, a feeding unit 300 that provides a reward to the training target 600 animal if the behavior judgment unit 504 determines that it is an appropriate behavior, and the sound output unit 200/feeding unit ( It is characterized by being composed of a main board unit 502 that processes and controls signals 300). Generally, the object recognition unit 503 and the action judgment unit 504 are included in the main board unit 502, but for convenience of explanation, they are described as separate components to emphasize their functions.
또한, 본 장치는 명령어 소리를 소리출력부(200)로 송출하는 단계와, 훈련대상(600)을 촬영하고 인식하는 단계와, 훈련대상(600)이 명령어에 대한 적합한 행위를 하는지 판단하는 단계와, 훈련대상(600)이 적합한 행위를 하는 경우 칭찬 등의 보상 소리를 출력하고 보상물을 지급하는 단계로 구성되는 것을 특징으로 한다.In addition, the device includes a step of transmitting a command sound to the sound output unit 200, a step of photographing and recognizing the training target 600, and a step of determining whether the training target 600 performs an appropriate action in response to the command. , It is characterized in that it consists of a step of outputting a reward sound such as praise and paying a reward when the training target 600 performs an appropriate action.
또한, 본 장치는 훈련대상(600)의 금지행위를 설정하는 단계와, 훈련대상(600)을 촬영하고 인식하는 단계와, 훈련대상(600)이 금지 행위를 하는지 판단하는 단계와, 훈련대상(600)이 금지 행위를 하는 경우 경고 소리를 출력하는 단계로 구성되는 것을 특징으로 한다. 금지 행위를 하는 경우 영상을 저장하거나 훈련사에게 알림을 보내는 것도 가능하며, 금지행위 설정은 항상 하는 것이아니라 한번만 저장해두면 본 장치를 재실행 시에는 재설정하지 않아도 된다.In addition, this device includes a step of setting a prohibited act of the training target 600, a step of photographing and recognizing the training target 600, a step of determining whether the training target 600 is performing a prohibited act, and a step of determining whether the training target 600 is performing a prohibited act. 600) is characterized in that it consists of a step of outputting a warning sound when a prohibited action is performed. When a prohibited action is performed, it is possible to save the video or send a notification to the trainer. Setting the prohibited action is not always done, but is saved once and does not need to be reset when the device is re-run.
또한, 본 멀티미디어를 사용한 동물 훈련 장치는, 영상 속 훈련사(101) 훈련대상의 주인이나 여자/남자/어린아이/성인 등 다양한 이미지로 오버라이딩하는 영상전처리부와, 주인이나 여자/남자/어린아이/성인 등 여러 소리로 변환하는 음성전처리부를 더 포함하는 것을 특징으로 한다.In addition, this multimedia animal training device includes an image pre-processing unit that overrides the trainer (101) in the video with various images such as the owner, woman, man, child, or adult of the training target, and an image preprocessor that overrides the image with various images such as the owner, woman, man, child, or adult. It is characterized by further including a voice preprocessor that converts it into various sounds, such as adult sounds.
100 : 영상출력부
101 : 영상 속 훈련사
102 : 영상 속 유인수단
103 : 영상 속 보상물
104 : 영상 속 훈련대상
200 : 소리출력부
201 : 소리출력부1
202 : 소리출력부2
203 : 소리출력부3
204 : 소리출력부4
300 : 급식부
301 : 급식부1
302 : 급식부2
303 : 급식부3
400 : 보상물
401 : 보상물받침
500 :영상입력부
501 : 훈련데이터 제공부
502 : 메인보드부
503 : 객체인식부
504 : 행위판단부
510 : 데이터저장부
600 : 훈련대상100: video output unit
101: Trainer in the video
102: Attractive means in the video
103: Reward in the video
104: Training target in the video
200: Sound output unit
201: Sound output unit 1
202: Sound output unit 2
203: Sound output unit 3
204: Sound output unit 4
300: Feeding department
301: Meal section 1
302: Meal section 2
303: Meals section 3
400: reward
401: Compensation holder
500: video input unit
501: Training data provision unit
502: Main board part
503: Object recognition unit
504: Behavior judgment department
510: data storage unit
600: Training target
Claims (7)
상기 훈련 대상에게 훈련 영상을 출력하는 영상 출력부;
상기 훈련 대상에게 소리 신호를 출력하도록 상기 영상 출력부를 중심으로 각각 상이한 위치에 배치된 복수의 소리 출력부들을 포함하는 소리 출력 수단;
상기 영상 출력부와 인접하게 배치되고, 상기 훈련 영상과 연계되어 동작하도록 상이한 위치에 배치되어 보상물이 토출되는 복수의 급식부들이 구비된 보상 수단; 및
상기 훈련 대상에 대한 훈련 데이터를 기반으로 상기 영상 출력부, 상기 소리 출력 수단 및 상기 보상 수단을 제어하는 메인보드부를 포함하는 동물 훈련 장치.A training target detection unit that detects a training target;
an image output unit that outputs a training image to the training subject;
Sound output means including a plurality of sound output units disposed at different positions around the image output unit to output a sound signal to the training subject;
Compensation means disposed adjacent to the image output unit and provided with a plurality of feeding units disposed at different positions to operate in conjunction with the training image and discharging rewards; and
An animal training device comprising a main board unit that controls the image output unit, the sound output unit, and the compensation unit based on training data for the training target.
상기 메인보드부는,
상기 복수의 급식부들 중 상기 훈련 영상에 포함된 훈련사 이미지의 상기 영상 출력부 상의 훈련 위치, 훈련 방향에 대응하는 급식부를 선택하고, 선택된 상기 급식부를 통해 보상물을 제공하도록 상기 보상 수단을 제어하는 것을 특징으로 하는 동물 훈련 장치.According to paragraph 1,
The main board part,
Selecting a feeding unit corresponding to the training position and training direction on the image output unit of the trainer image included in the training image among the plurality of feeding units, and controlling the compensation means to provide a reward through the selected feeding unit. Featured animal training device.
상기 훈련 대상 감지부는,
상기 훈련 대상이 상기 훈련 영상에서의 훈련 대상을 따라 상기 소리 출력 수단을 통해 출력된 명령어에 부합하는 행위를 하는지 여부를 확인하고,
상기 메인보드부는,
상기 훈련 대상이 상기 명령어에 부합하는 행위를 하는 때에, 상기 훈련 영상에서의 훈련사가 상기 훈련 대상을 칭찬하고, 보상물을 지급하는 영상을 생성하며,
상기 보상 수단은,
상기 급식부들 중 상기 훈련 영상에서의 상기 훈련사의 위치와 매칭되는 급식부를 통해 보상물을 토출시키는 것을 특징으로 하는 동물 훈련 장치.According to paragraph 2,
The training target detection unit,
Confirm whether the training target performs an action that conforms to the command output through the sound output means according to the training target in the training video,
The main board part,
When the training target performs an action that conforms to the command, an image is created in which the trainer in the training video praises the training target and provides a reward,
The compensation means are,
An animal training device characterized in that among the feeding units, a reward is dispensed through a feeding unit that matches the position of the trainer in the training image.
상기 소리 출력 수단은,
상기 훈련 대상 감지부로부터 상기 훈련 대상의 금지 행위에 부합하는 상기 훈련 대상의 행위가 상기 훈련 대상 감지부로부터 감지된 때에, 상기 금지 행위를 방해하기 위한 경고 소리를 출력하는 것을 특징으로 하는 동물 훈련 장치.According to paragraph 1,
The sound output means is,
An animal training device that outputs a warning sound to interrupt the prohibited behavior when the training object's behavior that matches the prohibited behavior of the training object is detected by the training object detection unit. .
상기 메인보드부는,
상기 훈련 영상에서의 훈련사의 이미지를 상기 훈련 대상의 주인의 이미지로 오버라이딩 처리하고, 상기 소리 신호에서의 상기 훈련사의 목소리를 상기 훈련 대상의 상기 주인의 목소리로 변환하는 것을 특징으로 하는 동물 훈련 장치.According to paragraph 1,
The main board part,
An animal training device that overrides the image of the trainer in the training video with the image of the owner of the training target and converts the voice of the trainer in the sound signal into the voice of the owner of the training target. .
상기 훈련 영상은, 상기 훈련 영상에 집중하도록 유인하기 위해 움직이는 유인 수단 영상을 포함하고,
상기 소리 신호는, 상기 유인 수단 영상의 상기 영상 출력부 상의 이동을 기반으로 상기 복수의 소리 출력부들 중 선택된 적어도 하나로부터 소리 크기 비중이 제어되어 출력되는 상기 유인 수단 영상에 대응하는 소리 신호를 포함하며,
상기 보상물은, 상기 훈련 대상이 상기 훈련 영상과 부합하는 행위를 한 때에, 상기 급식부들 중 상기 유인 수단 영상의 위치에 가까운 급식부를 통해 토출되는 것을 특징으로 하는 동물 훈련 장치.According to paragraph 1,
The training image includes an image of an attractive means that moves to entice people to focus on the training image,
The sound signal includes a sound signal corresponding to the attracting means image whose sound volume ratio is controlled and output from at least one selected among the plurality of sound output units based on the movement of the attracting means image on the image output unit, ,
The reward is an animal training device characterized in that, when the training subject performs an action that matches the training image, the reward is discharged through a feeding unit close to the location of the attracting means image among the feeding units.
상기 영상 출력부 상의 상기 유인 수단 영상의 움직임을 기반으로 소리 출력의 위치 및 출력 비중이 제어된 소리 신호를 상기 훈련 대상에게 출력하는 소리 출력부;
상기 훈련 대상이 훈련을 성공한 때에, 상기 유인 수단 영상에서 가까운 위치에서 보상물이 토출되도록 구성된 보상 수단; 및
상기 훈련 대상에 대한 훈련 데이터를 기반으로 상기 영상 출력부, 상기 소리 출력 수단 및 상기 보상 수단을 제어하는 메인보드부를 포함하는 동물 훈련 장치.An image output unit that outputs a training image including an image of an attractive means moving to a training target;
a sound output unit that outputs a sound signal whose location and output proportion of the sound output is controlled based on the movement of the image of the attracting means on the image output unit to the training subject;
Compensation means configured to discharge a reward at a position close to the image of the attraction means when the training target succeeds in training; and
An animal training device comprising a main board unit that controls the image output unit, the sound output unit, and the compensation unit based on training data for the training target.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190071180A KR102617425B1 (en) | 2019-06-15 | 2019-06-15 | animal training device using multimedia |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190071180A KR102617425B1 (en) | 2019-06-15 | 2019-06-15 | animal training device using multimedia |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200143174A KR20200143174A (en) | 2020-12-23 |
| KR102617425B1 true KR102617425B1 (en) | 2023-12-26 |
Family
ID=74089358
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190071180A Active KR102617425B1 (en) | 2019-06-15 | 2019-06-15 | animal training device using multimedia |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102617425B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102585153B1 (en) * | 2021-05-07 | 2023-10-05 | 한스산업 주식회사 | Pet management robot with human interaction function |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170263032A1 (en) | 2016-03-10 | 2017-09-14 | Nokia Technologies Oy | Avatar-enforced spatial boundary condition |
| US20190174719A1 (en) * | 2017-12-11 | 2019-06-13 | Dan Perata | Virtual Environment For Animal Training And Rehabilitation |
| KR101991039B1 (en) | 2017-08-25 | 2019-06-19 | 울산과학기술원 | Display apparatus for companion animal |
| US10375931B2 (en) | 2010-04-29 | 2019-08-13 | Ptv Media Ltd. | Videos for pets and methods for the creation thereof |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7424867B2 (en) * | 2004-07-15 | 2008-09-16 | Lawrence Kates | Camera system for canines, felines, or other animals |
| KR101638260B1 (en) * | 2014-12-18 | 2016-07-08 | 울산대학교 산학협력단 | Animal Training Apparatus and Method Thereof |
| KR20180089720A (en) * | 2017-02-01 | 2018-08-09 | 송수한 | Pet management robot |
-
2019
- 2019-06-15 KR KR1020190071180A patent/KR102617425B1/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10375931B2 (en) | 2010-04-29 | 2019-08-13 | Ptv Media Ltd. | Videos for pets and methods for the creation thereof |
| US20170263032A1 (en) | 2016-03-10 | 2017-09-14 | Nokia Technologies Oy | Avatar-enforced spatial boundary condition |
| KR101991039B1 (en) | 2017-08-25 | 2019-06-19 | 울산과학기술원 | Display apparatus for companion animal |
| US20190174719A1 (en) * | 2017-12-11 | 2019-06-13 | Dan Perata | Virtual Environment For Animal Training And Rehabilitation |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200143174A (en) | 2020-12-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10957325B2 (en) | Method and apparatus for speech interaction with children | |
| CN111597942B (en) | Smart pet training and accompanying method, device, equipment and storage medium | |
| US11000952B2 (en) | More endearing robot, method of controlling the same, and non-transitory recording medium | |
| US20190174719A1 (en) | Virtual Environment For Animal Training And Rehabilitation | |
| US10157550B2 (en) | Method and system for presenting interactive, three-dimensional learning tools | |
| JP2024050567A (en) | Light Field Display System | |
| US6533584B1 (en) | Uniform motivation for multiple computer-assisted training systems | |
| US20130046206A1 (en) | System and method for neurocognitive training and/or neuropsychological assessment | |
| JP6468274B2 (en) | Robot control apparatus, student robot, teacher robot, learning support system, robot control method and program | |
| Ljubičić et al. | Social influences on song learning | |
| US20090104592A1 (en) | Lights Out Learning | |
| US20150109439A1 (en) | Digital activity center for pets | |
| JP7492294B2 (en) | Learning system, learning lecture delivery method, and program | |
| KR102617425B1 (en) | animal training device using multimedia | |
| Alnajjar et al. | A low-cost autonomous attention assessment system for robot intervention with autistic children | |
| US20190051200A1 (en) | Learning aid apparatus and system | |
| JP4513143B2 (en) | Video display system | |
| WO2019190817A1 (en) | Method and apparatus for speech interaction with children | |
| US20190130775A1 (en) | Interactive device for object, playpen enclosure for child, and crib | |
| US20150107530A1 (en) | Assisted animal activities | |
| JP2017223812A (en) | Device control system, device control method, and control program | |
| Toda et al. | Discrimination of moving video images of self by pigeons (Columba livia) | |
| CN112637678A (en) | Video playing method, device, storage medium and equipment | |
| André et al. | Ethorobotics applied to human behaviour: can animated objects influence children's behaviour in cognitive tasks? | |
| KR20210111953A (en) | Customer reaction apparatus using digital signage |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20190615 |
|
| AMND | Amendment | ||
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20200824 Comment text: Request for Examination of Application Patent event code: PA02011R01I Patent event date: 20190615 Comment text: Patent Application |
|
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20220524 Patent event code: PE09021S01D |
|
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| PE0601 | Decision on rejection of patent |
Patent event date: 20230328 Comment text: Decision to Refuse Application Patent event code: PE06012S01D Patent event date: 20220524 Comment text: Notification of reason for refusal Patent event code: PE06011S01I |
|
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| PX0901 | Re-examination |
Patent event code: PX09011S01I Patent event date: 20230328 Comment text: Decision to Refuse Application Patent event code: PX09012R01I Patent event date: 20221024 Comment text: Amendment to Specification, etc. Patent event code: PX09012R01I Patent event date: 20200814 Comment text: Amendment to Specification, etc. |
|
| PX0701 | Decision of registration after re-examination |
Patent event date: 20230919 Comment text: Decision to Grant Registration Patent event code: PX07013S01D Patent event date: 20230731 Comment text: Amendment to Specification, etc. Patent event code: PX07012R01I Patent event date: 20230328 Comment text: Decision to Refuse Application Patent event code: PX07011S01I Patent event date: 20221024 Comment text: Amendment to Specification, etc. Patent event code: PX07012R01I Patent event date: 20200814 Comment text: Amendment to Specification, etc. Patent event code: PX07012R01I |
|
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20231219 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20231220 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration |