[go: up one dir, main page]

KR101337383B1 - Mobile terminal and method for editing image thereof - Google Patents

Mobile terminal and method for editing image thereof Download PDF

Info

Publication number
KR101337383B1
KR101337383B1 KR1020070136253A KR20070136253A KR101337383B1 KR 101337383 B1 KR101337383 B1 KR 101337383B1 KR 1020070136253 A KR1020070136253 A KR 1020070136253A KR 20070136253 A KR20070136253 A KR 20070136253A KR 101337383 B1 KR101337383 B1 KR 101337383B1
Authority
KR
South Korea
Prior art keywords
image
fragment
images
mosaic
color average
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020070136253A
Other languages
Korean (ko)
Other versions
KR20090068576A (en
Inventor
김수균
손병준
오상욱
조성대
홍태화
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070136253A priority Critical patent/KR101337383B1/en
Publication of KR20090068576A publication Critical patent/KR20090068576A/en
Application granted granted Critical
Publication of KR101337383B1 publication Critical patent/KR101337383B1/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 휴대 단말기 및 그 휴대 단말기에서 이미지를 편집하는 방법에 관한 것으로 모자이크 이미지로 처리할 이미지가 선택되면, 상기 선택된 이미지를 블록 이미지로 분할하는 과정; 상기 분할된 블록 이미지별 색상 평균값을 산출하고, 상기 모자이크 이미지를 생성하기 위한 상위 조각 이미지가 선택되는지 판단하는 과정; 및 상기 선택된 상위 조각 이미지에서 상기 산출된 색상 평균값에 해당하는 조각 이미지를 검색하고, 상기 블록 이미지를 상기 검색된 조각 이미지로 대체하여 모자이크 이미지를 표시하는 과정을 갖는다. 이에 따라 휴대 단말기는 사용자의 선택에 의해 저장된 이미지를 다양한 조각 이미지로 합성하여, 색다른 분위기의 이미지를 생성할 수 있다.The present invention relates to a mobile terminal and a method for editing an image in the mobile terminal, when an image to be processed as a mosaic image is selected, dividing the selected image into a block image; Calculating a color average value for each of the divided block images, and determining whether an upper fragment image for generating the mosaic image is selected; And searching for a fragment image corresponding to the calculated color average value in the selected upper fragment image, and replacing the block image with the found fragment image to display a mosaic image. Accordingly, the portable terminal may generate images having a different atmosphere by synthesizing the images stored by the user's selection into various pieces of images.

휴대 단말기, 조각 이미지, 색상, 모자이크 Handset, sculpture image, color, mosaic

Description

휴대 단말기 및 그 이미지 편집 방법{MOBILE TERMINAL AND METHOD FOR EDITING IMAGE THEREOF}MOBILE TERMINAL AND METHOD FOR EDITING IMAGE THEREOF}

본 발명은 휴대 단말기와 그 이미지를 편집하는 방법에 관한 것으로 특히 조각 이미지를 이용한 모자이크 이미지를 생성하는 방법 및 이를 수행하는 휴대 단말기에 관한 것이다.The present invention relates to a portable terminal and a method for editing the image thereof, and more particularly, to a method for generating a mosaic image using a fragment image and a portable terminal for performing the same.

사용자는 휴대 단말기에서 다양한 기능들을 사용할 수 있다. 여기서 다양한 기능들은 통화 기능, 메시지 송수신 기능뿐만 아니라 화상 통화 기능, 카메라 기능, 디지털 이동 방송 기능(DMB 또는 DVB), 인터넷 기능 등이 될 수 있다. 이 중 카메라 기능은 사용자가 디지털 카메라를 따로 구비하지 않고도, 언제 어디서나 사진을 찍을 수 있다는 장점으로 많이 사용되고 있다.The user can use various functions in the mobile terminal. Here, the various functions may be a video call function, a camera function, a digital mobile broadcasting function (DMB or DVB), an internet function, as well as a call function and a message transmission / reception function. Among them, the camera function is widely used as an advantage that a user can take a picture anytime and anywhere without having a digital camera.

이러한 이유로 휴대 단말기에서의 카메라 기능은 디지털 카메라와 비슷한 성능을 구비하고 있는 추세이다. 또한 디지털 카메라에서 사용할 수 있는 다양한 기능들이 휴대 단말기의 카메라 기능에서도 사용할 수 있는 추세이다. For this reason, camera functions in portable terminals have tended to have similar performance as digital cameras. In addition, various functions that can be used in the digital camera is also available in the camera function of the mobile terminal.

이렇게 휴대 단말기의 카메라를 이용하여 다양한 기능을 사용할 수 있음에 따라 사용자는 휴대 단말기의 카메라 기능을 통해 좀 더 다양한 기능들(예를 들어 사진 합성, 편집 등)이 사용될 수 있도록 요구하고 있다. 특히 휴대 단말기의 카메라 기능 중에서 이미지를 편집하기 위한 기능은 단순하게 몇 개의 이미지만을 합성하는 기능만을 제공하기 때문에, 사용자가 다양한 방법으로 이미지를 편집하지 못한다는 문제점이 있다. As various functions can be used by using the camera of the portable terminal, the user requires that more various functions (for example, photo synthesis and editing) be used through the camera function of the portable terminal. In particular, since a function for editing an image among the camera functions of the mobile terminal provides only a function of synthesizing only a few images, there is a problem that a user cannot edit an image in various ways.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 조각 이미지를 이용한 이미지 편집 방법 및 그를 수행하는 휴대 단말기를 제공하는데 있다.An object of the present invention for solving the above problems is to provide an image editing method using a fragment image and a portable terminal for performing the same.

상기와 같은 목적을 달성하기 위해 본 발명의 실시예에 따른 이미지 편집 방법은 모자이크 이미지로 처리할 이미지가 선택되면, 상기 선택된 이미지를 블록 이미지로 분할하는 과정; 상기 분할된 블록 이미지별 색상 평균값을 산출하고, 상기 모자이크 이미지를 생성하기 위한 상위 조각 이미지가 선택되는지 판단하는 과정; 및 상기 선택된 상위 조각 이미지에서 상기 산출된 색상 평균값에 해당하는 조각 이미지를 검색하고, 상기 블록 이미지를 상기 검색된 조각 이미지로 대체하여 모자이크 이미지를 표시하는 과정을 포함한다.In order to achieve the above object, an image editing method according to an embodiment of the present invention comprises: dividing the selected image into a block image when an image to be processed as a mosaic image is selected; Calculating a color average value for each of the divided block images, and determining whether an upper fragment image for generating the mosaic image is selected; And searching for a fragment image corresponding to the calculated color average value in the selected upper fragment image, and replacing the block image with the found fragment image to display a mosaic image.

또한 상기와 같은 목적을 달성하기 위해 본 발명의 실시예에 따른 휴대 단말기는 상위 조각 이미지 및 상기 상위 조각 이미지에 포함되는 조각 이미지들을 저 장하는 저장부; 모자이크 이미지로 처리하기 위해 선택된 이미지를 블록 이미지로 분할하여, 상기 블록 이미지의 색상 평균값을 산출하고, 모자이크 이미지를 생성하기 위한 상기 상위 조각 이미지가 선택되면, 상기 상위 조각 이미지에서 상기 산출된 색상 평균값에 해당하는 조각 이미지를 검색하고, 상기 블록 이미지를 상기 검색된 조각 이미지로 대체하여 모자이크 이미지를 생성하는 제어부; 및 상기 제어부의 제어 하에 상기 생성된 모자이크 이미지를 표시하는 표시부를 포함한다.In addition, a portable terminal according to an embodiment of the present invention to achieve the above object is a storage unit for storing the upper fragment image and the fragment image included in the upper fragment image; The color image of the block image is calculated by dividing the selected image into a block image for processing into a mosaic image, and when the upper fragment image for generating a mosaic image is selected, the calculated color average value is calculated from the upper fragment image. A controller for searching for a corresponding fragment image and generating a mosaic image by replacing the block image with the found fragment image; And a display unit which displays the generated mosaic image under the control of the controller.

본 발명에 따르면, 사용자가 원하는 조각 이미지를 이용하여 휴대 단말기에 표시되는 이미지를 모자이크로 표시할 수 있다. 또한 휴대 단말기는 사용자의 선택에 의해 저장된 이미지를 다양한 조각 이미지로 합성하여, 색다른 분위기의 모자이크 이미지를 생성할 수 있다.According to the present invention, an image displayed on the portable terminal can be displayed as a mosaic using a fragment image desired by the user. In addition, the portable terminal may generate a mosaic image having a different atmosphere by synthesizing an image stored by a user's selection into various pieces of images.

'이미지'는 휴대 단말기의 카메라를 통해 입력된 인물, 풍경 및 정물 등의 사진과 여러 장의 이미지를 연결하여 생성되는 파노라마 사진가 포함될 수 있다. 또한 이미지는 인터넷을 통해 다운로드하거나, 다른 휴대 단말기나 단말기로부터 다운로드된 사진, 그림 등도 포함될 수 있다. The image may include a panorama picture generated by connecting a plurality of images and a picture of a person, a landscape, and a still life input through a camera of the mobile terminal. In addition, the image may include a picture or a picture downloaded from the Internet or downloaded from another mobile terminal or the terminal.

'모자이크 이미지'는 여러 개의 조각 이미지를 모아서 생성되는 이미지를 의미한다.'Mosaic image' refers to an image generated by collecting several pieces of images.

'조각 이미지'는 모자이크 이미지를 생성하기 위해 저장된 이미지를 의미한다. 여기서 조각 이미지는 동전 이미지, 색종이 이미지, 꽃 이미지, 사진 등 다양 한 색상을 갖을 수 있는 이미지는 모두 포함될 수 있다.'Fragment image' means an image stored to generate a mosaic image. Here, the fragment image may include all images that may have various colors such as coin images, confetti images, flower images, and photographs.

'상위 조각 이미지'는 조각 이미지를 종류별로 나타내기 위해 썸네일 형태로 저장되어지는 이미지를 의미한다. The upper fragment image refers to an image that is stored in thumbnail form to represent fragment images by type.

'블록 이미지'는 임의의 이미지를 모자이크 이미지로 변환하기 위해 일정한 픽셀 단위의 블록으로 분할하였을 때, 분할된 블록별 해당되는 이미지를 의미한다. 'Block image' refers to an image corresponding to each divided block when a predetermined image is divided into blocks of a predetermined pixel unit to convert an arbitrary image into a mosaic image.

'픽셀 단위'는 여러 개의 픽셀을 묶어 그룹으로 나타낸 것을 의미한다. 'Pixel unit' means grouping several pixels together.

이하 본 발명의 바람직한 실시 예들을 첨부한 도면을 참조하여 상세히 설명한다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 휴대 단말기의 구성을 나타낸 블록도이다.1 is a block diagram showing the configuration of a portable terminal according to the present invention.

도 1을 참조하면, 휴대 단말기는 카메라부(110), 입력부(120), 제어부(130), 표시부(140), 저장부(150)로 구성된다. Referring to FIG. 1, a portable terminal includes a camera unit 110, an input unit 120, a controller 130, a display unit 140, and a storage unit 150.

카메라부(110)는 영상 데이터를 촬영하는 기능을 수행한다. 여기서 카메라부(110)는 촬영된 광 신호를 아날로그 영상 신호로 변환하는 카메라 센서와 카메라 센서로부터 변환된 아날로그 영상 신호를 디지털 데이터로 변환하는 신호 처리부를 구비한다. 카메라 센서는 CCD 센서로, 신호 처리부는 DSP(Digital Signal Processor)로 구현될 수 있다. 또한 카메라 센서 및 신호 처리부는 일체형으로 구현되거나, 따로 분리해서 구현될 수 있다.The camera unit 110 performs a function of photographing image data. The camera unit 110 includes a camera sensor that converts the photographed optical signal into an analog image signal, and a signal processor that converts the analog image signal converted from the camera sensor into digital data. The camera sensor may be a CCD sensor, and the signal processing unit may be implemented by a DSP (Digital Signal Processor). In addition, the camera sensor and the signal processing unit may be integrated or separately implemented.

입력부(120)는 숫자 또는 문자를 입력하기 위한 입력키들과 각종 기능들을 설정하기 위한 기능키들을 포함한다. 상기 기능키들은 특정 기능들을 수행하도록 설정된 방향키, 측면키 및 단축키 등을 포함할 수 있다. 여기서 입력부(120)는 카 메라 기능을 실행할 수 있는 기능키 및 이미지 편집 모드를 선택할 수 있는 단축키를 구비할 수 있다.The input unit 120 includes input keys for inputting numbers or characters and function keys for setting various functions. The function keys may include a direction key, a side key, and an accelerator key set to perform specific functions. The input unit 120 may include a function key for executing a camera function and a shortcut key for selecting an image editing mode.

제어부(130)는 휴대 단말기를 구성하는 구성들의 전반적인 상태 및 동작을 제어한다. 특히 제어부(130)는 입력부(120)를 통해 모자이크 합성 모드가 선택되면, 모자이크 이미지로 생성할 이미지를 설정된 픽셀 단위의 블록으로 분할하고, 분할된 블록에 해당하는 블록 이미지의 색상 평균값을 산출한다. 또한 제어부(130)는 저장부(150)에 저장된 조각 이미지 그룹 중에서 산출된 색상 평균값이 포함되는 조각 이미지 그룹을 검색하고, 검색된 조각 이미지 그룹에서 산출된 색상 평균값과 유사한 조각 이미지를 검색한다. 그리고 제어부(130)는 표시부(140)를 제어하여 블록 이미지를 검색된 조각 이미지로 대체하여 생성된 모자이크 이미지를 표시한다.The controller 130 controls the overall state and operation of the components constituting the portable terminal. In particular, when the mosaic composition mode is selected through the input unit 120, the controller 130 divides an image to be generated as a mosaic image into blocks of a predetermined pixel unit, and calculates a color average value of a block image corresponding to the divided block. In addition, the controller 130 searches for a fragment image group including a calculated color average value among the fragment image groups stored in the storage 150, and searches for a fragment image similar to the color average value calculated from the found fragment image group. The controller 130 controls the display unit 140 to display the mosaic image generated by replacing the block image with the retrieved fragment image.

표시부(140)는 휴대 단말기의 상태 및 동작에 관련된 각종 정보를 표시할 수 있다. 표시부(140)는 LCD를 사용할 수 있으며, 이러한 경우 표시부(140)는 LCD 제어부, 영상 데이터를 저장할 수 있는 메모리 및 LCD 표시 소자 등을 구비하여, 터치스크린(Touch screen)방식으로 구현될 수 있다. 이렇게 터치스크린 방식으로 구현된 경우에 표시부(140)는 입력부(120)로도 동작할 수 있다. 여기서 표시부(140)는 카메라부(110)를 통해 촬영되는 이미지를 표시할 수 있으며, 모자이크 합성 모드에서 생성된 모자이크 이미지를 표시할 수 있다.The display unit 140 may display various information related to the state and operation of the portable terminal. The display unit 140 may use an LCD. In this case, the display unit 140 may include an LCD controller, a memory capable of storing image data, an LCD display element, and the like, and may be implemented using a touch screen method. When the touch screen is implemented as described above, the display unit 140 may also operate as the input unit 120. Here, the display unit 140 may display an image photographed by the camera unit 110 and display a mosaic image generated in the mosaic composition mode.

저장부(150)는 휴대 단말기의 일반적인 동작들을 제어하기 위한 각종 프로그램과 휴대 단말기의 동작 중 발생되는 각종 데이터를 저장한다. 특히 저장부(150)는 제어부(130)의 제어 하에 모자이크 이미지를 생성하기 위해 필요한 조각 이미지 들을 비슷한 색상끼리 그룹핑하여 저장할 수 있다. 또한 저장부(150)는 제어부(130)의 제어 하에 저장된 각각의 조각 이미지들을 대표하는 상위 조각 이미지를 썸네일로 저장할 수 있다. 다시 말해 조각 이미지들로 동전 이미지, 색종이 이미지들이 입력되었으며, 동전 이미지 중에서 비슷한 색상을 갖는 동전 이미지끼리 그룹핑되어 저장되고, 색종이 이미지 중에서 비슷한 색상을 갖는 색종이 이미지끼리 그룹핑되어 저장되었다면, 저장부(150)는 제어부(130)의 제어 하에 동전 이미지 그룹을 대표로 하여 표시할 수 있는 동전 이미지, 색종이 이미지 그룹을 대표하여 표시할 수 있는 색종이 이미지 각각을 상위 조각 이미지들로 저장한다. The storage unit 150 stores various programs for controlling general operations of the portable terminal and various data generated during operation of the portable terminal. In particular, the storage unit 150 may store pieces of similar colors by grouping pieces of images necessary for generating a mosaic image under the control of the controller 130. In addition, the storage 150 may store the upper fragment image representing the fragment images stored under the control of the controller 130 as thumbnails. In other words, when the coin image and the confetti images are input as pieces images, the coin images having similar colors among the coin images are stored in groups, and the confetti images having similar colors among the confetti images are stored in the storage unit 150. Under the control of the controller 130 stores the coin image that can be displayed on behalf of the coin image group, the confetti image that can be displayed on behalf of the confetti image group as upper pieces of the image.

이와 같은 구성을 구비한 휴대 단말기에서 제어부(130)는 카메라부(110)를 통해 입력된 이미지 또는 인터넷을 통해 다운로드하거나, 다른 휴대 단말기나 단말기로부터 다운로드된 이미지를 모자이크 이미지로 생성할 수 있다. 좀 더 자세하게 설명하면, 제어부(130)는 모자이크 이미지로 변환할 이미지가 선택되면, 선택된 이미지를 설정된 픽셀 단위로 분할하고, 분할된 픽셀 단위에 표시되는 블록 이미지의 색상 평균값을 산출하여, 저장부(150)에 저장된 조각 이미지 그룹 중에서 산출된 색상 평균값이 포함되는 조각 이미지 그룹을 검색하고, 다시 검색된 조각 이미지 그룹에서 산출된 색상 평균값과 유사한 색상 값을 갖는 조각 이미지를 검색한다. 그리고 제어부(130)는 블록 이미지를 검색된 조각 이미지로 대체하여 모자이크 이미지로 생성하여 표시부(140)에 표시하고, 사용자의 선택에 따라 생성된 모자이크 이미지를 저장부(150)에 저장할 수 있다. In the portable terminal having the above configuration, the controller 130 may download an image input through the camera unit 110 or the Internet, or generate a mosaic image downloaded from another portable terminal or the terminal. In more detail, when an image to be converted into a mosaic image is selected, the controller 130 divides the selected image by a predetermined pixel unit, calculates a color average value of the block image displayed on the divided pixel unit, and stores the storage unit ( The fragment image group including the calculated color average value is searched among the fragment image groups stored in 150, and the fragment image having a color value similar to the color average value calculated from the retrieved fragment image group is searched again. The controller 130 may generate a mosaic image by replacing the block image with the retrieved fragment image and display the mosaic image on the display unit 140, and store the mosaic image generated according to a user's selection in the storage unit 150.

도 2a는 본 발명의 실시예에 따른 조각 이미지를 설정하는 방법을 나타낸 흐 름도이다. 여기서 도 2a는 도 2b을 참조하여 설명한다. 도 2b은 본 발명에 따른 조각 이미지를 설정하는 방법을 예시한 화면 예시도이다. 2A is a flowchart illustrating a method of setting a fragment image according to an exemplary embodiment of the present invention. Here, FIG. 2A will be described with reference to FIG. 2B. 2B is an exemplary screen illustrating a method of setting a piece image according to the present invention.

도 2a를 참조하면, 사용자가 메뉴 등을 통해 조각 이미지 설정 모드를 선택하면, 제어부(130)는 이를 감지하고, 210단계에서 휴대 단말기의 모드를 조각 이미지 설정 모드로 전환한다. 이때 제어부(130)는 표시부(140)에 조각 이미지 입력창을 표시하여, 사용자가 표시된 조각 이미지 입력창을 통해 조각 이미지를 등록할 수 있도록 한다. 다음으로 제어부(130)는 220단계에서 조각 이미지로 사용될 다수개의 이미지가 입력되는지 판단한다. 여기서 조각 이미지로 인터넷, 다른 휴대 단말기 또는 단말기로부터 다운로드된 이미지가 사용될 수 있고, 사용자가 카메라부(110)를 통해 촬영한 후 저장부(150)에 저장한 이미지가 사용될 수 있다. 특히 조각 이미지로 사용될 이미지는 동전 이미지, 색종이 이미지, 꽃 이미지, 동물 이미지 등 다양한 색상을 포함할 수 있는 이미지가 바람직하다. Referring to FIG. 2A, when the user selects the fragment image setting mode through a menu, the controller 130 detects this and switches the mode of the mobile terminal to the fragment image setting mode in step 210. In this case, the controller 130 displays the fragment image input window on the display unit 140 so that the user can register the fragment image through the displayed fragment image input window. Next, the controller 130 determines whether a plurality of images to be used as fragment images are input in step 220. The fragment image may be an image downloaded from the Internet, another mobile terminal, or a terminal, and an image stored by the user 150 after being photographed through the camera unit 110 may be used. In particular, the image to be used as a sculpture image is preferably an image that can include a variety of colors, such as coin image, confetti image, flower image, animal image.

조각 이미지로 사용될 이미지가 입력되면, 제어부(130)는 230단계에서 입력된 이미지의 크기를 확인하여, 확인된 이미지의 크기를 설정된 픽셀 단위의 크기로 리사이징한다. 여기서 설정된 픽셀 단위의 크기는 32x32 또는 24x24의 크기가 될 수 있다. When the image to be used as the fragment image is input, the controller 130 checks the size of the input image in step 230 and resizes the size of the checked image to the size of a predetermined pixel unit. The size of the pixel unit set here may be 32x32 or 24x24.

다음으로 제어부(130)는 240단계에서 리사이징된 이미지별로 RGB 색상값을 확인한다. 다시 말해 제어부(130)는 조각 이미지를 설정하기 위해 두 개 이상으로 입력된 이미지의 색상값을 산출한다. 색상값을 확인한 제어부(130)는 250단계에서 확인된 색상값에 따른 이미지별 색상 평균값을 산출한다. 240단계 및 250단계를 도 2b을 참조하여 좀 더 상세히 설명한다. 도 2b을 참조하면, 제어부(130)는 도 2b와 같이 동전 이미지를 구성하는 각각의 픽셀로 분할하고, 분할된 픽셀별로 색상값을 산출한다. 그리고 제어부(130)는 산출된 픽셀별 색상값의 평균값을 구한다. 이에 따라 도 2b를 참조하면, 동전 이미지 하나의 색상 평균값은 F6F1ED가 되며, 다른 하나의 동전 이미지 색상 평균값은 F7F7F7이 된다. 여기서 이러한 색상 평균값을 산출하는 과정은 조각 이미지로 설정하기 위해 입력된 모든 이미지들의 색상 평균값이 산출될 때까지 반복한다.Next, the controller 130 checks an RGB color value for each resized image in step 240. In other words, the controller 130 calculates color values of two or more input images to set the fragment image. The controller 130 confirming the color value calculates a color average value for each image according to the color value identified in step 250. Steps 240 and 250 will be described in more detail with reference to FIG. 2B. Referring to FIG. 2B, the controller 130 divides each pixel constituting the coin image as shown in FIG. 2B and calculates a color value for each divided pixel. The controller 130 obtains an average value of the calculated color values for each pixel. Accordingly, referring to FIG. 2B, the color average value of one coin image is F6F1ED and the color average value of the other coin image is F7F7F7. In this case, the process of calculating the color average value is repeated until the color average value of all the input images is calculated to set the fragment image.

다음으로 제어부(130)는 260단계에서 산출된 색상 평균값에 따른 그룹별로 조각 이미지를 분류한다. 다시 말해, 제어부(130)는 색상 평균값이 유사한 이미지들끼리 그룹핑하여 조각 이미지 그룹을 생성한다. 다음으로 제어부(130)는 270단계에서 저장부(150)를 제어하여 분류된 조각 이미지 그룹을 저장한다. 예를 들면, 색상 평균값에 많이 포함되는 색상에 따라 이미지를 그룹핑한다면, 제어부(130)는 저장부(150)를 제어하여 빨강색이 많이 포함되는 이미지끼리, 파랑색이 많이 포함되는 이미지끼리, 노란색이 많이 포함되는 이미지끼리 그룹핑하여 저장한다. 여기서 색상 평균값을 16진수의 값으로 표시함이 바람직하다. 그리고 제어부(130)은 저장된 조각 이미지들을 구분하기 위한 상위 조각 이미지를 썸네일 등으로 저장부(150)를 제어하여 저장할 수 있다. 이에 따라 모자이크 이미지 생성시, 제어부(130)는 저장부(150)에 저장된 상위 조각 이미지를 표시부(140)에 표시하여, 사용자가 모자이크 이미지를 생성하기 위한 조각 이미지를 선택할 수 있도록 한다. Next, the controller 130 classifies the fragment image for each group according to the color average value calculated in step 260. In other words, the controller 130 generates fragmented image groups by grouping images having similar color average values. Next, the controller 130 controls the storage unit 150 in step 270 to store the classified image group. For example, if the images are grouped according to the colors included in the color average value, the controller 130 controls the storage unit 150 so that the images containing a lot of red, the images containing a lot of blue, the yellow, This includes a lot of images are grouped and stored. It is preferable to express the color average value as a hexadecimal value here. In addition, the controller 130 may control and store the upper fragment image for distinguishing the stored fragment images by a thumbnail or the like. Accordingly, when generating the mosaic image, the controller 130 displays the upper fragment image stored in the storage unit 150 on the display unit 140 so that the user can select the fragment image for generating the mosaic image.

다음으로 휴대 단말기에서 모자이크 이미지를 생성하는 과정에 대해 설명한 다. 여기서 모자이크 이미지를 생성하는 과정은 도 3을 참조하여 설명한다.Next, a process of generating a mosaic image in the mobile terminal will be described. Here, the process of generating the mosaic image will be described with reference to FIG. 3.

도 3은 본 발명의 실시예에 따른 이미지를 편집하는 방법을 나타낸 흐름도이다. 3 is a flowchart illustrating a method of editing an image according to an embodiment of the present invention.

도 3을 참조하면, 사용자가 모자이크 이미지를 생성하기 위해 메뉴 또는 단축키를 입력하여, 이미지 편집 모드를 선택하면, 제어부(130)는 이를 감지하고 310단계에서 휴대 단말기의 모드를 이미지 편집 모드로 전환한다. 이때 제어부(130)는 모자이크 합성을 선택할 수 있는 선택창을 표시하거나, 모자이크 합성을 포함한 이미지 편집 메뉴(사진 보정, 동영상 캡쳐, 포토 스티커 제작, 사진 장식 등)들을 목록으로 표시한다. 또한 도면에 도시되지 않았지만, 제어부(130)는 모자이크 합성 모드가 선택되지 않으면, 조각 이미지 설정 모드가 선택되는지 판단할 수도 있다. 만약 조각 이미지 설정 모드가 선택된다면, 제어부(130)는 도 2의 상세한 설명과 같이 조각 이미지를 설정하는 과정을 수행할 수도 있다. Referring to FIG. 3, when a user selects an image editing mode by inputting a menu or a shortcut key to generate a mosaic image, the controller 130 detects this and switches the mode of the mobile terminal to the image editing mode in step 310. . In this case, the controller 130 displays a selection window for selecting a mosaic composition, or displays a list of image editing menus (photo correction, video capture, photo sticker making, photo decoration, etc.) including the mosaic composition. Also, although not shown in the drawing, the controller 130 may determine whether the fragment image setting mode is selected when the mosaic composition mode is not selected. If the fragment image setting mode is selected, the controller 130 may perform a process of setting the fragment image as described in detail of FIG. 2.

모자이크 합성 모드가 선택되면, 제어부(130)는 이를 감지하고, 320단계에서 저장부(150)에 저장된 이미지를 표시한다. 이 때 저장된 이미지를 표시하는 방법으로는 이미지를 미리 확인할 수 있도록 썸네일로 표시되거나, 목록으로 나열되어 표시될 수 있다. 다음으로 제어부(130)는 325단계에서 모자이크 이미지로 처리할 이미지가 선택되는지 판단한다. 사용자가 입력부(120)를 통해 표시된 이미지 중에서 모자이크 이미지로 처리할 이미지를 선택하면, 제어부(130)는 이를 감지하고, 330단계에서 선택된 이미지를 설정된 픽셀 단위의 블록으로 분할한다. 설정된 픽셀 단위의 블록으로 분할하는 방법은 미리 저장된 조각 이미지의 크기로 분할할 수 있 고, 사용자에 의해 설정되는 픽셀 단위의 블록으로 분할될 수도 있다. 모자이크 이미지로 처리할 이미지를 미리 저장된 조각 이미지의 크기 블록으로 분할하는 경우, 블록 이미지와 조각 이미지가 동일한 크기이므로, 제어부(130)는 모자이크 이미지를 생성하기 위해 블록 이미지와 조각 이미지의 색상 평균값만을 비교하면 된다. When the mosaic composition mode is selected, the controller 130 detects this and displays the image stored in the storage 150 in step 320. In this case, the stored images may be displayed as thumbnails or listed in a list so that the images can be checked in advance. In operation 325, the controller 130 determines whether an image to be processed as a mosaic image is selected. When the user selects an image to be processed as a mosaic image from among the images displayed through the input unit 120, the controller 130 detects this and divides the selected image into blocks of a predetermined pixel unit in step 330. The method of dividing into a predetermined block of pixels may be divided into a size of a pre-stored fragment image, or may be divided into blocks of a pixel unit set by a user. When dividing an image to be processed as a mosaic image into size blocks of a pre-stored fragment image, since the block image and the fragment image are the same size, the controller 130 compares only the color average values of the block image and the fragment image to generate a mosaic image. Just do it.

모자이크 이미지로 처리할 이미지를 블록 이미지로 분할한 제어부(130)는 335단계에서 모자이크 이미지를 생성하기 위한 상위 조각 이미지가 선택되는지 판단한다. 이때 제어부(130)는 표시부(140)에 조각 이미지로 미리 설정된 이미지들을 썸네일이나 목록으로 표시하여, 사용자가 입력부(120)을 통해 모자이크 이미지를 생성하기 위한 조각 이미지를 선택할 수 있도록 한다. 여기서 조각 이미지는 동전 이미지뿐만 아니라, 색상으로 표시되는 모든 이미지를 포함한다. 상위 조각 이미지가 선택되면, 제어부(130)는 340단계에서 분할된 픽셀 단위별 블록 이미지를 확인한다. 그리고 제어부(130)는 345단계에서 블록 이미지별 색상 평균값을 산출한다. 다시 말해 제어부(130)는 블록 이미지별로 색상값을 확인하고, 확인된 색상값 별로 색상 평균값을 산출한다. 블록 이미지별로 색상 평균값을 산출한 제어부(130)는 350단계에서 상위 조각 이미지에 포함된 조각 이미지 중에서 산출된 색상 평균값에 해당하는 조각 이미지를 검색한다. 여기서 350단계는 도 4를 참조하여 상세히 설명한다. In operation 335, the controller 130 dividing an image to be processed into a mosaic image into a block image determines whether an upper fragment image for generating a mosaic image is selected. In this case, the controller 130 displays thumbnails or a list of preset images as a fragment image on the display unit 140 so that a user can select a fragment image for generating a mosaic image through the input unit 120. The engraving image here includes not only a coin image, but also all images that are displayed in color. When the higher fragment image is selected, the controller 130 checks the block image for each pixel unit divided in step 340. In operation 345, the controller 130 calculates a color average value for each block image. In other words, the controller 130 checks the color values for each block image and calculates a color average value for each of the identified color values. In operation 350, the control unit 130 that calculates a color average value for each block image searches for a piece image corresponding to the calculated color average value among the pieces of images included in the upper piece image. Here, step 350 will be described in detail with reference to FIG. 4.

도 4는 본 발명의 실시예에 따른 조각 이미지를 검색하는 방법을 나타낸 흐름도이다. 4 is a flowchart illustrating a method of searching for a fragment image according to an embodiment of the present invention.

도 4를 참조하면, 제어부(130)는 저장부(150)에 410단계에서 상위 조각 이미 지에 포함된 조각 이미지 그룹 중에 산출된 색상 평균값을 포함하는 조각 이미지 그룹을 검색한다. 그리고 제어부(130)는 420단계에서 검색된 조각 이미지 그룹에서 블록 이미지의 색상 평균값과 유사한 색상 평균값을 갖는 조각 이미지를 선택한다. 예를 들어 블록 이미지의 색상 평균값이 노란색 75%이고, 조각 이미지 그룹은 조각 이미지의 색상 평균값이 노란색 60% 이상 70% 미만인 제1 조각 이미지 그룹, 노란색 70% 이상 80% 미만인 제2 조각 이미지 그룹으로 분류되었다고 가정한다. 그러면 제어부(130)는 블록 이미지의 색상 평균값인 노란색 75%를 확인하고, 저장부(150)에 저장된 조각 이미지 그룹을 검색한다. 제어부(130)는 색상 평균값이 노란색 70% 이상 80% 미만인 제2 조각 이미지 그룹을 확인하고, 확인한 제2 조각 이미지 그룹에 포함된 조각 이미지 중에서 블록 이미지의 색상 평균값과 비슷한 색상 평균값을 갖는 조각 이미지를 검색하여 선택한다. 블록 이미지의 색상 평균값과 비슷한 색상 평균값을 갖는 조각 이미지가 선택되면, 제어부(130)는 도 3으로 되돌아간다.Referring to FIG. 4, the controller 130 searches for the fragment image group including the color average value calculated among the fragment image groups included in the upper fragment image in step 410. In operation 420, the controller 130 selects a fragment image having a color average value similar to the color average value of the block image from the found fragment image group. For example, a block image has a color average of 75% yellow and a slice image group is a group of first slice images with a color average of 60% or more and less than 70% yellow, and a second slice image group with more than 70% and less than 80% yellow. Assume that it is classified. Then, the controller 130 checks 75% of the average color value of the block image, and searches for the fragment image group stored in the storage 150. The controller 130 checks the second fragment image group having a color average value of 70% or more and less than 80%, and selects a fragment image having a color average value similar to the color average value of the block image among the fragment images included in the identified second fragment image group. Search and select. When the fragment image having a color average value similar to the color average value of the block image is selected, the controller 130 returns to FIG. 3.

조각 이미지가 검색되면, 제어부(130)는 355단계에서 블록 이미지를 검색된 조각 이미지로 대체한다. 이와 같은 과정들은 모든 블록 이미지가 검색된 조각 이미지로 대체될 때까지 반복한다. 모든 블록 이미지가 검색된 조각 이미지로 대체되면, 제어부(130)는 360단계에서 표시부(140)를 제어하여 조각 이미지로 대체되어 생성된 모자이크 이미지를 표시한다. 다음으로 도면에는 도시되지 않았지만, 제어부(130)는 저장부(150)를 제어하여 사용자의 선택에 의해 표시된 모자이크 이미지를 저장하거나, 모자이크 이미지 생성시 자동으로 저장할 수 있다. If the fragment image is found, the controller 130 replaces the block image with the found fragment image in step 355. These processes are repeated until all block images are replaced with the retrieved fragment images. If all of the block images are replaced with the retrieved fragment image, the controller 130 controls the display unit 140 to display the mosaic image generated by replacing the fragment image in step 360. Next, although not shown in the drawing, the controller 130 may control the storage unit 150 to store the mosaic image displayed by the user's selection or automatically generate the mosaic image.

본 발명에서 이미지 편집 모드에서 모자이크 이미지를 생성하는 방법을 설명 했으나, 이에 한정되지 않고, 모자이크 이미지 생성을 미리 설정하여, 카메라 촬영시, 촬영되는 이미지를 조각 이미지를 이용하여 모자이크 이미지로 표시할 수 있다. In the present invention, a method of generating a mosaic image in the image editing mode has been described. However, the present invention is not limited thereto, and the mosaic image generation may be set in advance so that the photographed image may be displayed as a mosaic image by using a fragment image during camera shooting. .

이상에서는 본 발명에서 특정의 바람직한 실시 예에 대하여 도시하고 또한 설명하였다. 그러나 본 발명은 상술한 실시 예에 한정되지 아니하며, 특허 청구의 범위에서 첨부하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능할 것이다. In the foregoing, certain preferred embodiments of the present invention have been shown and described. However, the present invention is not limited to the above-described embodiments, and various modifications can be made by any person having ordinary skill in the art without departing from the gist of the present invention attached to the claims. .

도 1은 본 발명에 따른 휴대 단말기의 구성을 나타낸 블록도.1 is a block diagram showing the configuration of a portable terminal according to the present invention;

도 2a는 본 발명의 실시예에 따른 조각 이미지를 설정하는 방법을 나타낸 흐름도.2A is a flow chart illustrating a method of setting a fragment image according to an embodiment of the present invention.

도 2b은 본 발명에 따른 조각 이미지를 설정하는 방법을 예시한 화면 예시도. Figure 2b is a screen example illustrating a method of setting a piece image in accordance with the present invention.

도 3는 본 발명의 실시예에 따른 이미지를 편집하는 방법을 나타낸 흐름도.3 is a flowchart illustrating a method of editing an image according to an embodiment of the present invention.

도 4는 본 발명의 실시예에 따른 조각 이미지를 검색하는 방법을 나타낸 흐름도.4 is a flowchart illustrating a method of retrieving a fragment image according to an embodiment of the present invention.

Claims (10)

모자이크 이미지로 처리할 이미지가 선택되면, 상기 선택된 이미지를 블록 이미지로 분할하는 과정;If an image to be processed as a mosaic image is selected, dividing the selected image into a block image; 상기 분할된 블록 이미지별 색상 평균값을 산출하고, 상기 모자이크 이미지를 생성하기 위한 상위 조각 이미지가 선택되는지 판단하는 과정; 및Calculating a color average value for each of the divided block images, and determining whether an upper fragment image for generating the mosaic image is selected; And 상기 선택된 상위 조각 이미지에서 상기 산출된 색상 평균값에 해당하는 조각 이미지를 검색하고, 상기 블록 이미지를 상기 검색된 조각 이미지로 대체하여 모자이크 이미지를 표시하는 과정을 포함하는 이미지 편집 방법.Searching for a fragment image corresponding to the calculated color average value in the selected upper fragment image, and replacing the block image with the found fragment image to display a mosaic image. 제1 항에 있어서, 상기 모자이크 이미지를 표시하는 과정은The method of claim 1, wherein the displaying of the mosaic image is performed. 상기 상위 조각 이미지에 포함된 조각 이미지 그룹 중에서 상기 색상 평균값이 포함되는 조각 이미지 그룹을 검색하는 과정; 및Searching for a fragment image group including the color average value among fragment image groups included in the upper fragment image; And 상기 검색된 조각 이미지 그룹에서 상기 색상 평균값과 유사한 조각 이미지를 선택하는 과정을 더 구비함을 특징으로 하는 이미지 편집 방법. And selecting a fragment image similar to the color average value from the found fragment image group. 제1 항에 있어서, 상기 블록 이미지로 분할하는 과정은The method of claim 1, wherein the dividing into the block image 상기 선택된 이미지를 기 설정된 픽셀 단위의 블록으로 분할하는 과정임을 특징으로 하는 이미지 편집 방법.And dividing the selected image into blocks in predetermined pixel units. 제3 항에 있어서, 상기 설정된 픽셀 단위는The pixel unit of claim 3, wherein the set pixel unit 조각 이미지의 크기와 동일한 픽셀 단위임을 특징으로 하는 이미지 편집 방법.An image editing method, characterized in that it is the same pixel unit as the size of the fragment image. 제1 항에 있어서,The method according to claim 1, 상기 조각 이미지를 설정하는 과정을 더 구비하고,Further comprising setting the fragment image, 상기 조각 이미지를 설정하는 과정은The process of setting the fragment image 두 개 이상 입력된 이미지별 색상 평균값을 산출하는 과정; 및Calculating a color average value for each of two or more input images; And 상기 산출된 색상 평균값에 따라 상기 이미지를 그룹별 조각 이미지로 분류하고, 상기 분류된 그룹별 조각 이미지를 저장하는 과정임을 특징으로 하는 이미지 편집 방법. And classifying the image into fragment images for each group according to the calculated color average value, and storing the classified fragment images for each group. 제5 항에 있어서, 6. The method of claim 5, 상기 두 개 이상 입력된 이미지별 크기를 기 설정된 픽셀 단위로 리사이징하는 과정을 더 구비함을 특징으로 하는 이미지 편집 방법.And resizing the size of each of the two or more input images by a predetermined pixel unit. 제1 항에 있어서, The method according to claim 1, 상기와 같은 과정들을 반복하여 상기 분할된 블록 이미지 모두를 조각 이미지들로 대체하여 모자이크 이미지로 표시하는 과정을 더 구비함을 특징으로 하는 이미지 편집 방법.And repeating the above steps and replacing all of the divided block images with pieces of images to display the mosaic images. 상위 조각 이미지 및 상기 상위 조각 이미지에 포함되며 색상 평균값별 그룹으로 분류된 조각 이미지들을 저장하는 저장부;A storage unit for storing fragment images included in an upper fragment image and the upper fragment image and classified into groups by color average values; 모자이크 이미지로 처리하기 위해 선택된 이미지를 블록 이미지로 분할하여, 상기 블록 이미지의 색상 평균값을 산출하고, 모자이크 이미지를 생성하기 위한 상기 상위 조각 이미지가 선택되면, 상기 상위 조각 이미지에서 상기 산출된 색상 평균값에 해당하는 조각 이미지를 검색하고, 상기 블록 이미지를 상기 검색된 조각 이미지로 대체하여 모자이크 이미지를 생성하는 제어부; 및The color image of the block image is calculated by dividing the selected image into a block image for processing into a mosaic image, and when the upper fragment image for generating a mosaic image is selected, the calculated color average value is calculated from the upper fragment image. A controller for searching for a corresponding fragment image and generating a mosaic image by replacing the block image with the found fragment image; And 상기 제어부의 제어 하에 상기 생성된 모자이크 이미지를 표시하는 표시부를 포함하는 휴대 단말기. And a display unit which displays the generated mosaic image under the control of the controller. 제8 항에 있어서, 상기 제어부는9. The apparatus of claim 8, wherein the control unit 조각 이미지 설정 모드시, 두 개 이상의 입력된 이미지별 색상 평균값을 산출하여, 상기 산출된 색상 평균값에 따라 상기 입력된 이미지들을 그룹별 조각 이미지로 분류하고, 상기 저장부를 제어하여 상기 그룹별 조각 이미지를 저장함을 특징으로 하는 휴대 단말기.In the fragment image setting mode, color average values of two or more input images are calculated, the input images are classified into fragment images for each group according to the calculated color average values, and the storage unit is controlled to display the fragment images for each group. A mobile terminal, characterized in that the storage. 제9 항에 있어서, 상기 제어부는The method of claim 9, wherein the control unit 상기 두 개 이상 입력된 이미지별 크기를 기 설정된 픽셀 단위로 리사이징함을 특징으로 하는 휴대 단말기.And resizing the size of each of the two or more input images by a predetermined pixel unit.
KR1020070136253A 2007-12-24 2007-12-24 Mobile terminal and method for editing image thereof Expired - Fee Related KR101337383B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070136253A KR101337383B1 (en) 2007-12-24 2007-12-24 Mobile terminal and method for editing image thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070136253A KR101337383B1 (en) 2007-12-24 2007-12-24 Mobile terminal and method for editing image thereof

Publications (2)

Publication Number Publication Date
KR20090068576A KR20090068576A (en) 2009-06-29
KR101337383B1 true KR101337383B1 (en) 2013-12-06

Family

ID=40995953

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070136253A Expired - Fee Related KR101337383B1 (en) 2007-12-24 2007-12-24 Mobile terminal and method for editing image thereof

Country Status (1)

Country Link
KR (1) KR101337383B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101264358B1 (en) * 2011-11-02 2013-05-14 금오공과대학교 산학협력단 Method and System for Automated Photomosaic Image Generation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005269645A (en) 2004-03-15 2005-09-29 Microsoft Corp High-quality gradient-corrected linear interpolation for demosaicing color images
KR20060052353A (en) * 2004-11-01 2006-05-19 애질런트 테크놀로지스, 인크. System and Method for White Point Estimation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005269645A (en) 2004-03-15 2005-09-29 Microsoft Corp High-quality gradient-corrected linear interpolation for demosaicing color images
KR20060052353A (en) * 2004-11-01 2006-05-19 애질런트 테크놀로지스, 인크. System and Method for White Point Estimation

Also Published As

Publication number Publication date
KR20090068576A (en) 2009-06-29

Similar Documents

Publication Publication Date Title
CN101600054B (en) Camera, and camera control method
KR100827089B1 (en) How to take a panoramic photo
CN102811313A (en) Imaging apparatus and imaging method
US20100225785A1 (en) Image processor and recording medium
US20120047459A1 (en) Information processing apparatus
US9262062B2 (en) Method of providing thumbnail image and image photographing apparatus thereof
CN112954196A (en) Shooting method, shooting device, electronic equipment and readable storage medium
CN103312981A (en) Synthetic multi-picture taking method and shooting device
US6912002B1 (en) Digital still camera and method of controlling the same
JP2003289549A (en) Image processing system, imaging device, and parameter deciding program for the device
JP2010097449A (en) Image composition device, image composition method and image composition program
KR100776433B1 (en) Mobile terminal capable of improved image synthesis
KR101337383B1 (en) Mobile terminal and method for editing image thereof
JP3324986B2 (en) Image reproducing apparatus and image reproducing method
JP2002112079A (en) Electronic camera
JP2005055743A (en) Image display method
JP2002084440A (en) Digital camera, image processing method and recording medium
JP7651306B2 (en) Image capture device, image capture device control method and program
KR100735330B1 (en) Editing method of video screen in mobile terminal
CN104899915A (en) Picture processing method and terminal
JP2004134872A (en) Data searching and displaying system
US20050041110A1 (en) Digital camera user interface and method
CN111164961A (en) Image processing system and image processing method of intelligent terminal
KR100797482B1 (en) Mobile communication terminal and shooting method using the same
JP2019121914A (en) Image processing device and image processing method

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20071224

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20121220

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20071224

Comment text: Patent Application

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20131126

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20131129

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20131202

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20170909