[go: up one dir, main page]

KR102032347B1 - 이미지 센서 위치를 이용한 이미지 영역 설정 장치 및 방법 - Google Patents

이미지 센서 위치를 이용한 이미지 영역 설정 장치 및 방법 Download PDF

Info

Publication number
KR102032347B1
KR102032347B1 KR1020130020757A KR20130020757A KR102032347B1 KR 102032347 B1 KR102032347 B1 KR 102032347B1 KR 1020130020757 A KR1020130020757 A KR 1020130020757A KR 20130020757 A KR20130020757 A KR 20130020757A KR 102032347 B1 KR102032347 B1 KR 102032347B1
Authority
KR
South Korea
Prior art keywords
image
display
image sensor
preview
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020130020757A
Other languages
English (en)
Other versions
KR20140106333A (ko
Inventor
김문수
최홍석
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020130020757A priority Critical patent/KR102032347B1/ko
Priority to US14/178,797 priority patent/US9674444B2/en
Priority to CN201480010711.5A priority patent/CN105103535B/zh
Priority to PCT/KR2014/001302 priority patent/WO2014133278A1/en
Priority to AU2014221568A priority patent/AU2014221568B2/en
Priority to EP14156084.7A priority patent/EP2770724B1/en
Publication of KR20140106333A publication Critical patent/KR20140106333A/ko
Priority to US15/614,116 priority patent/US10136069B2/en
Application granted granted Critical
Publication of KR102032347B1 publication Critical patent/KR102032347B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Facsimiles In General (AREA)
  • Image Processing (AREA)

Abstract

전자 장치를 이용하여 복수개의 이미지를 처리하는 방법 및 장치에 관한 다양한 실시예들이 기술되었다. 한 실시예에 따르면, 전자 장치를 이용한 이미지 처리방법이, 전자 장치에 기능적으로 연결된 제 1 이미지 센서를 통하여 얻은 제 1 이미지의 적어도 일부를 전자 장치에 기능적으로 연결된 디스플레이에 제 1 프리뷰 이미지로 표시하고, 전자 장치에 기능적으로 연결된 제 2 이미지 센서를 통하여 얻은 제 2 이미지의 적어도 일부를 디스플레이에 제 1 프리뷰 이미지와 동시에 제 2 프리뷰 이미지로 표시하되, 제 2 프리뷰 이미지가 표시되는 디스플레이 상의 영역은 적어도 상기 디스플레이에 대한 제 2 이미지 센서의 위치에 따라서 결정될 수 있다.

Description

이미지 센서 위치를 이용한 이미지 영역 설정 장치 및 방법{IMAGE DISPLAY POSITIONING USING IMAGE SENSOR LOCATION}
본 발명의 다양한 실시예들은 카메라 기능을 구비한 휴대- 전자장치(예컨데 휴대전화기, 태블릿, 컴퓨터 등)를 이용하여 동적 호극 정적 영상을 촬영하는 장치 및 방법에 관한 것으로, 휴대용 전자장치를 이용하여 복수의 이미지센서들을 동시에 구동하여 이미지를 촬영할 수 있는 장치 및 방법에 관한 것이다.
일반적으로 카메라 장치에서 촬영을 하는 방법은 각각의 카메라의 이미지 센서에서 획득되는 이미지 데이터를 디스플레이에 표시하고, 사용자가 촬영을 제어하는 명령을 내리면 획득된 이미지 데이터를 압축부호화하여 메모리에 저장한다.
현재 카메라장치 및 카메라 기능을 구비하는 휴대용 전자장치(예컨데 휴대전화기, 태블릿 또는 컴퓨터 등의 휴대단말기)는 고화소 또는 저화소의 복수의 이미지센서들을 구비할 수 있다. 이런 경우, 상기 복수의 이미지센서들은 각각 장치의 전면 및 후면에 장착하고 있다. 그리고 상기 복수의 이미지센서들을 구비하는 장치는 전면 및 후면의 이미지센서들을 각각 독립적으로 선택하여 전면 피사체를 찍거나 후면피사체를 촬영할 수 있다. 즉, 전자장치는 복수의 이미지센서들을이용하여 각각 서로 다른 이미지를 따로 촬영하고, 촬영된 이미지들을 따로 저장 관리할 수 있다.
복수의 이미지 센서들을 구비하는 장치는 상기 복수의 이미지 센서들 중 적어도 하나의 이미지 센서를 구동하여 촬영하여 복수의 이미지들을 획득하고, 획득된 이미지들을 PIP(picture in picture)로 합성하여 저장할 수 있다. 이때 복수의 카메라들을 동시에 구동하는 경우, 예컨데[즉], 프리뷰 모드에서 상기 장치는 하나의 카메라에서 촬영되는 이미지를 주 화면으로 표시하고, 나머지 카메라들에서 촬영되는 이미지들을 부화면(PIP 화면)으로 표시할 수 있다. 이때 프리뷰모드를 수행하는 경우, 상기 부화면의 위치는 표시부의 전체 화면에서 설정된 위치에 고정되어 표시할 수 있다. 예를들면, 듀얼 카메라를 구비하는 장치에서, 프리뷰 모드시 장치는 부화면의 이미지를 표시부의 우측하단에 위치시키며, 촬영모드시 주화면과 주화면의 우측 하단에 표시되는 부화면(PIP)을 합성하여 저장할 수 있다.
여기서 상기 복수의 이미지 센서들을[듀얼 카메라를] 구비하는 장치에서 전면 카메라의 피사체는 촬영자(사용자)가 될 수 있으며, 예컨데, 듀얼 샷 모드에서 사용자는 화면을 보면서 촬영할 수 있다. 이런 경우 촬영자의 시선은 화면을 보게 되므로, 전면 카메라의 촬영 방향과 촬영자의 시선 방향이 서로 다르게 되며, 이와같은 시선의 차이에 의해 촬영되는 인물의 이미지는 부자연스러운 시선을 가지는 이미지로 촬영되는 경우가 발생할 수 있다
본 발명의 다양한 실시예들은 복수의 이미지센서들을 구비하는 장치에서 카메라들로부터 획득되는 복수의 이미지를 촬영하여 처리할 수 있는 장치 및 방법을 제안한다. 이를 위하여 본 발명의 실시예에 따른 장치는 프리뷰 모드에서 카메라와 근접하는 표시부에 부화면을 표시하고, 복수의 이미지를 합성하여 저장할 때 주화면의 설정된 위치에 부화면의 이미지를 합성하여 저장할 수 있는 장치 및 방법을 제안한다.
다양한 실시예에 따르면, 전자 장치를 이용한 이미지 처리방법은, 상기 전자 장치에 기능적으로 연결된 제 1 이미지 센서를 통하여 얻은 제 1 이미지의 적어도 일부를 상기 전자 장치에 기능적으로 연결된 디스플레이에 제 1 프리뷰 이미지로 표시하고, 상기 전자 장치에 기능적으로 연결된 제 2 이미지 센서를 통하여 얻은 제 2 이미지의 적어도 일부를 상기 디스플레이에 상기 제 1 프리뷰 이미지와 동시에 제 2 프리뷰 이미지로 표시하되, 상기 제 2 프리뷰 이미지가 표시되는 상기 디스플레이 상의 영역은 적어도 상기 디스플레이에 대한 상기 제 2 이미지 센서의 위치에 따라서 결정될 수 있다.
다양한 실시예에 따르면, 전자 장치는, 상기 전자 장치의 제 1 면의 적어도 일부에 대응되는 제 1 이미지를 얻는 제 1 이미지 센서와, 상기 전자 장치의 제 2 면의 적어도 일부에 대응되는 제 2 이미지를 얻는 제 2 이미지 센서와, 상기 제 1 이미지의 적어도 일부를 상기 전자 장치에 기능적으로 연결된 디스플레이에 제 1 프리뷰 이미지로 표시하고, 상기 제 2 이미지의 적어도 일부를 상기 디스플레이에 상기 제 1 프리뷰 이미지와 동시에 제 2 프리뷰 이미지로 표시하되, 상기 제 2 프리뷰 이미지가 표시되는 상기 디스플레이 상의 영역은 적어도 상기 디스플레이에 대한 상기 제 2 이미지 센서의 위치에 따라서 결정하는 제어부를 포함할 수 있다.
본 발명의 다양한 실시예들에 따르면 이미지 처리장치는 복수의 카메라를 구비하며, 복수의 카메라들을 동시에 구동하여 복수의 이미지들을 주화면 및 부화면으로 프리뷰 및 촬영할 때, 프리뷰 모드에서 부화면 이미지를 촬영하는 카메라에 근접한 위치에 캡쳐 포지션의 부화면 표시영역을 설정하고, 촬영요구시 캡쳐 포지션에 캡쳐된 부화면 이미지를 지정된 부화면 표시영역의 주화면 위치에서 합성한다. 이와 같이 복수의 이미지들을 촬영하면, 사용자의 시선과 카메라의 촬영 각도의 차이를 최소화할 수 있으며, 이로인해 시선차이로 인한 사용자 방향 틀어짐을 줄일 수 있어 주화면 이미지에 합성되는 부화면 이미지를 자연스러운 이미지로 촬영할 수 있다.
도 1은 본 발명의 실시예에 따른 전자 장치의 구성을 도시하는 도면
도 2a - 도 2c는 본 발명의 실시예에 따른 듀얼 촬영모드에서 제2이미지를 획득 및 처리하는 절차를 설명하기 위한 도면
도 3은 본 발명의 실시예에 따른 전자 장치에서 이미지를 촬영하는 절차를 도시하는 흐름도
도 4는 본 발명의 실시예에서 제2이미지센서125에서 촬영되는 제2이미지를 표시하는 영역(즉, 부화면 표시영역)을 결정하는 방법을 설명하기 위한 도면
제 5도는 본 발명의 실시예에 따른 전자 장치가 듀얼모드에서 제1 및 제2이미지를 촬영하는 절차를 도시하는 흐름도
도 6a 및 도 6b는 본 발명의 실시예에 따라 촬영모드에서 부화면 표시영역이 이동되는 것을 설명하기 위한 도면
도 7은 본 발명의 실시예에 따라 촬영 동작을 수행하는 휴대단말기의 구성을 도시하는 도면
이하, 본 발명의 바람직한 실시 예들의 상세한 설명이 첨부된 도면을 참조하여 상세히 설명한다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다.
본 발명의 실시예에 따른 카메라장치 또는 이미지센서를 구비하는 휴대단말기는 복수의 이미지센서들을 구비하며, 복수의 이미지센서들을 구동할 때 프리뷰 모드에서 복수의 이미지센서로부터 획득되는 이미지들을 하나의 화면에 주화면 및 부화면의 형태로 표시할 수 있다. 이때 상기 프리뷰 이미지를 표시할 때, 상기 장치는 표시부 측에 장착된 이미지센서에 근접한 위치에 부화면 표시영역을 설정하고, 상기 이미지센서로부터 획득되는 이미지를 부화면 표시 영역에 표시할 수 있다. 상기 프리뷰 이미지를 하는 중에 촬영요구신호가 감지되면, 상기 장치는 촬영 요구시점에서 프리뷰 상태의 주화면 이미지 및 부화면 이미지를 획득하며, 주화면의 설정된 부화면 위치에 부화면 이미지를 합성한 후 이를 처리하여 저장할 수 있다. . 이하의 설명에서 카메라장치 또는 이미지센서를 구비하는 장치는 전자장치로 설명될 것이며, 여기서 전자장치는 스마트폰, 태블릿, 컴퓨터, 카메라 장치등을 포함하는 장치가 될 수 있다. 또한 상기 전자장치는 두개 이상의 이미지센서들을 포함하는 장치가 될 수 있다. 이하의 설명에서 상기 카메라장치 또는 이미지센서를 구비하는 휴대단말기는 전자 장치로 설명될 것이며, 상기 전자장치는 듀얼 이미지센서를 구비하는 것으로 가정하여 설명될 것이다. 또한 상기 전자장치의 듀얼 이미지센서는 장치의 후면 및 표시부가 장착되는 전면에 각각 장착되는 것으로 가정하며, 전면 이미지센서는 표시부의 베젤 영역에 위치되는 것으로 설명한다.
여기서 장치의 후면에 장착되는 이미지센서는 장치의 제1면에 장착되는 제1이미지센서가 될 수 있으며, 장치의 전면에 장착되는 전면 이미지센서는 장치의 제2면에 장착되는 제2이미지센서가 될 수 있다.또한 상기 이미지센서는 단말에 연결된 이미지센서 이외에 NFC(Near Field Communication), WIFI(wireless fidelity) 등과 같이 무선 연결을 이용하여 기능적으로 연결되는 이미지센서들을 포함할 수 있다.따라서 본 발명의 실시예에 따른 전자장치는 장치의 후면에 장착되는 제1이미지센서 및 표시부가 구비되는 장치의 전면에 장착되는 제2이미지센서들을 구비하며, 듀얼 촬영모드에서 프리뷰 모드시 제1이미지센서로부터 촬영되는 이미지를 주화면으로 표시하고, 제2이미지센서로부터 촬영되는 이미지들을 상기 주화면의 부화면(PIP 화면)으로 표시할 수 있다. 이때 상기 부화면의 표시영역은 상기 주화면에서 제2이미지센서에 근접된 영역으로 이동시켜 표시할 수 있다. 상기와 같은 프리뷰모드에서 사용자의 촬영요구가 발생되면, 전자장치는 상기 부화면 이미지를 주화면 이미지에 합성하여 저장할 수 있다. 이때 상기 전자장치는 부화면 이미지를 이미지를 합성할 때 주화면의 설정된 위치로 이동시킨 후 합성할 수 있다.
이때 상기 전자장치는 프리뷰모드에서 상기 제1이미지센서에서 촬영되는 주화면 이미지는 표시부 전체에 표시할 수 있으며, 또는 표시부의 일부분에 표시할 수 있다. 또한 상기 전자장치는 상기 제2이미지센서에서 촬영되는 부화면 이미지는 제2이미지센서의 기구적인 위치와 가까운 위치에 표시할 수 있으며, 또는 실제 저장되는 위치와 제2이미지센서의 기구적인 위치와 가까운 위치 양쪽에 표시할 수 있다. 또한 상기 전자장치는 프리뷰 모드에서 상기 제2이미지센서의 기구적인 위치와 가까운 곳에 부화면 이미지를 표시하고, 듀얼이미지를 저장하기 위하여 부화면 이미지를 주화면 이미지에 합성할 때 실제 저장되는 위치는 프레임만 표시할 수 있다. 이런 경우 상기 프레임 표시 방법은 프레임 내부 또는 테두리를 주변과 다른 색상, 점선 등을 이용하여 다르게 표시할 수 있다.
그리고 듀얼 이미지의 프리뷰 모드에서 촬영 요구시 전자장치는 제2이미지센서에서 촬영되는 부화면의 제2이미지를 주화면의 설정된 위치(지정된 위치)로 이동시켜 합성한 후 저장하며, 상기 주화면 및 부화면의 합성이미지는 1프레임 이상 표시부에 표시할 수 있다. 또한 듀얼 이미지의 프리뷰 모드에서 촬영 요구시 전자장치는 제2이미지센서의 부화면 이미지를 제1이미지센서의 주화면 이미지에 합성할 때, 사용자로부터 저장될 위치를 입력받아 부화면의 합성 위치를 결정할 수 있으며, 또는 이미지 분석을 통해 제1이미지센서의 이미지의 배경을 탐색한 후, 탐색된 배경에 부화면 이미지의 합성 위치를 결정할 수 있다.
도 1은 본 발명의 실시예에 따른 전자장치의 구성을 도시하는 도면이다.
상기 도 1을 참조하면, 제1이미지센서120(후면 이미지센서)은 장치의 후면에 장착되며, 제2이미지센서125(전면 이미지센서)는 장치의 전면 베젤 영역에 장착될 수 있다. 여기서 상기 제1이미지센서120은 상기 제2이미지센서125 보다 더 큰 화소수를 가지는 고화소의 이미지센서가 될 수 있다. 상기 제1이미지센서120 및 제2이미지센서125는 제어부100의 제어하에 각각 독립적으로 구동될 수 있으며, 동시에 구동될 수 있다. 또한 상기 제1이미지센서120 및 제2이미지센서125는 제어부100에 의해 정지 영상 및 동영상을 촬영할 수 있다.
제어부100은 전자장치의 전반적인 동작을 제어할 수 있다. 또한 상기 제어부100은 상기 제1이미지센서120 및/또는 제2이미지센서125를 각각 구동할 수 있으며 또한 동시에 구동할 수 있고, 본 발명의 실시예에 따라 동시에 구동될 때 촬영되는 이미지들을 주화면 및 부화면의 듀얼 화면으로 표시되도록 제어하며, 상기 듀얼 화면의 촬영 및 편집을 제어할 수 있다. 여기서 상기 부화면은 PIP(Picture In Picture)가 될 수 있다.
저장부110은 전자장치의 동작 프로그램 및 본 발명의 실시예에 따른 프로그램을 저장하는 프로그램 메모리와, 촬영되는 이미지들을 저장하는 데이터 메모리를 구비할 수 있다.
표시부130은 상기 제2이미지센서125와 같이 장치의 전면에 장착될 수 있으며, 상기 제어부100의 제어하에 상기 제1이미지센서120 및/또는 제2이미지센서125에 촬영되는 촬영되는 이미지를 표시할 수 있다. 상기 표시부130은 LCD 또는 OLED가 될 수 있다. 입력부140은 전자장치의 촬영을 제어하기 위한 입력들을 발생할 수 있다. 여기서 상기 표시부130 및 입력부140은 일체형의 터치 스크린으로 구성될 수 있다.
센서150은 전자장치의 상태를 감지하기 위한 적어도 하나의 센서를 구비할 수 있다. 여기서 상기 센서는 지자기센서, 가속도센서 및/또는 자이로 센서들이 될 수 있으며, 장치의 회전 및/또는 놓여진 상태 등에 따른 변화를 감지하는 신호를 발생하여 상기 제어부100에 출력할 수 있다.
상기와 같은 구성을 가지는 전자장치의 제어부100은 제1이미지센서120 및 제2이미지센서125를 동시 구동(dual mode)하여 복수의 이미지를 획득하고, 획득된 이미지를 표시부130에 주화면 및 부화면으로 표시할 수 있다. 이때 상기 제어부100은 주화면 및 부화면을 사용자의 선택에 의해 변경할 수 있다. 또한 상기 전자장치는 듀얼 모드에서 촬영 요구(dual shot)시 상기 제1이미지센서120 및 제2이미지센서125를 동시에 구동하여 촬영하거나 또는 설정된 순서에 따라 듀얼 이미지센서를 순차적으로 구동하여 촬영할 수 있으며, 촬영된 주화면 및 부화면 이미지를 합성하여 하나의 정지이미지로 생성할 수 있다.
이때 제1이미지센서120 및 제2이미지센서125를 구비하는 전자장치는 제1이미지센서120을 이용하여 주화면(풍경 및/또는 인물, 제1이미지)을 촬영하고 제2이미지센서125를 이용하여 촬영자(사용자, 제2이미지)를 촬영하는 것이 일반적이다. 이런 경우 사용자는 표시부130을 보면서 제1이미지센서120에서 촬영되는 제1이미지 및 제2이미지센서125에서 촬영되는 제2이미지를 확인할 수 있다. 이때 프리뷰 모드에서 제1이미지센서120에서 촬영되는 제1이미지 및 제2이미지센서125에서 촬영되는 제2이미지를 표시부130에서 표시하는 경우, 부화면은 표시부130의 특정 위치에 고정되어 표시될 수 있다. 이런 경우 상기 부화면의 표시 위치와 제2이미지센서125의 거리가 멀리 떨어져 있으면 원하는 시선 방향을 가지는 제2이미지를 촬영하기가 어렵다.
도 2a - 도 2c는 본 발명의 실시예에 따른 듀얼 촬영모드에서 제2이미지를 획득 및 처리하는 절차를 설명하기 위한 도면이다.
상기 도 2a - 도 2c를 참조하면, 제1이미지센서120 및 제2이미지센서125가 구동되는 프리뷰모드에서 상기 제어부100은 제1이미지센서120에서 촬영되는 제1이미지를 주화면210으로 표시하고, 상기 제2이미지센서125에서 촬영되는 제2이미지를 부화면220으로 표시할 수 있다. 이때 상기 제어부100은 상기 제2이미지센서125에서 촬영되는 제2이미지를 표시하는 부화면220의 표시영역은 도 2a와 같이 표시부130의 좌측 하단 영역에 설정할 수 있다. 이때 상기 도 2a와 같은 경우, 상기 제2이미지센서125와 상기 부화면220은 멀리 떨어져 있는 상태가 될 수 있다. 또한 듀얼 촬영모드시 사용자230은 표시부130에 표시되는 이미지210 및/또는 이미지220을 보면서 촬영할 수 있다. 이런 경우 제2이미지센서125의 촬영 각도는 250과 같이 형성되며, 사용자는 255와 같이 촬영되는 부화면220을 보게 될 수 있다. 따라서 제2이미지센서125와 부화면220이 멀리 떨어져 표시되는 경우, 이미지센서125에서 실제 촬영되는 영역 250과 사용자230이 바라보는 영역255의 각도 차이가 발생하게 되며, 이로인해 이미지센서125에 촬영되는 영상은 실제 영상의 왼쪽부분을 바라보게 될 수 있다. 이는 표시부130이 커질수록 상기 차이는 더욱더 크게 발생하게 될 수 있다. 여기서 참조번호 250은 제2이미지센서125가 피사체(촬영자)를 실제로 촬영하는 영역이며, 참조번호 255는 촬영시 촬영자가 바라보는 영역, 즉 얼굴과 시선이 향하는 영역이 될 수 있다.
이런 경우, 전자장치에서 듀얼 이미지센서를 이용하여 제1이미지 및 제2이미지를 촬영할 때, 부화면220으로 표시되는 상기 제2이미지의 표시위치를 상기 제2이미지센서125에 근접시켜 표시하면, 촬영자가 제2이미지센서125를 보는 상태에서 촬영할 수 있게 되며, 이로인해 자연스러운 시선 방향을 가지는 제2이미지를 획득할 수 있다. 도 2b는 본 발명의 실시예에서 부화면220의 표시위치를 제2이미지센서125에 근접시켜 위치시키는 예를 도시하고 있다. 그러면 상기 도 2b에 도시된 바와 같이, 사용자230이 바라보는 영역255와 실제 촬영되는 영역250의 차이가 크지 않게되며, 이로인해 사용자230이 바라보는 대로 촬영을 할 수 있게 될 수 있다.
이를 위하여 본 발명의 실시예에서 제어부100은 프리뷰 모드에서 센서150을 통해 장치의 상태(회전 및/또는 놓여진 상태)를 감지하고, 상기 감지된 장치의 위치에 따라 제2이미지센서125가 놓여진 상태를 판별한 후, 부화면220의 표시 위치를 도 2b와 같이 상기 제2이미지센서125에 근접한 위치로 이동시켜 부화면200을 표시할 수 있다.
상기 도 2b와 같이 듀얼 이미지(주화면 및 부화면 이미지)를 표시하는 상태에서 사용자가 입력부140을 통해 촬영 명령(셔터 스위치 온)을 발생하면, 상기 제어부100은 이를 감지하고 상기 제1이미지센서120에서 출력되는 제1이미지 및 상기 제2이미지센서125에서 출력되는 제2이미지를 캡쳐한 후 합성하여 상기 저장부110에 저장할 수 있다. 이때 상기 제2이미지센서125의 위치에 따라 부화면220의 표시위치를 변경하는 경우, 주화면210에 합성되는 부화면220의 위치는 다르게 될 수 있다. 이런 경우 상기 제어부100은 상기 도 2b와 같이 프리뷰모드에서 표시되는 형태대로 제2이미지를 합성하여 저장할 수 있으며, 도 2a에 표시되는 형태로 부화면220의 이미지를 이동시켜 합성한 후 저장할 수도 있다.
본 발명의 실시예에서는 후자의 방법으로 부화면 이미지를 합성하여 저장하는 것으로 가정하여 설명한다. 즉, 듀얼이미지 촬영요구시 상기 제어부100은 도 2b와 같이 표시되는 듀얼 이미지를 도 2a와 같은 형태로 합성하여 저장하며, 이때 상기 제어부100은 도 제2이미지가 표시부130에서 이동하는 효과를 넣을 수도 있고 그렇지 않을 수도 있다. 즉, 상기 도 2c에 도시된 바와 같이 프리뷰모드에서 220a와 같이 표시되는 부화면 이미지를 260과 같이 이동시키는 형태의 표시(예를들면 에니메이션 표시 등)하면서 220b와 같이 위치되며, 실제 저장되는 부화면 이미지는 주화면 이미지210에 220b와 같이 표시됨을 표시할 수도 있다. 그리고 상기 제어부100은 상기 저장부110에 저장된 듀얼이미지를 표시부130에 표시할 수 있다.
이때 상기 프리뷰 모드에서 상기 제어부100은 상기 부화면을 도 2b와 같이 제2이미지센서125에 근접한 위치로 이동시켜 표시할 때, 원래 합성되어야 할 부화면의 위치를 표시할 수도 있다. 즉, 상기 제어부100은 도 2c에 도시된 바와 같이 제2이미지센서125에 근접한 위치에서 부화면220a를 표시하는 상태에서 220b와 같이 부화면이 합성될 위치를 표시할 수도 있다. 이런 경우 부화면의 합성될 위치220b는 부화면 이미지의 합성 영역을 이미지 프레임(frame)으로 표시할 수 있으며, 이때 상기 이미지 프레임은 테두리 선(예를들면 점선)으로 표현할 수 있으며, 이미지 프레임의 내부 또는 테두리 주변을 다른 색상으로 표시할 수도 있다.
도 3은 본 발명의 실시예에 따른 전자장치에서 이미지를 촬영하는 절차를 도시하는 흐름도이다.
상기 도 3을 참조하면, 입력부140을 통해 듀얼 이미지센서 구동이 요구되면, 상기 제어부100은 211동작에서 이를 감지하고, 313동작에서 상기 센서150의 출력을 분석하여 장치의 위치를 분석한 후 제2이미지센서125의 위치를 확인할 수 있다. 이후 상기 제어부100은 315동작에서 상기 확인된 제2이미지센서125에 근접한 위치에 제2이미지의 표시영역, 즉 부화면의 표시위치를 설정할 수 있다. 도 4는 본 발명의 실시예에서 제2이미지센서125에서 촬영되는 제2이미지를 표시하는 영역(즉, 부화면 표시영역)을 결정하는 방법을 설명하기 위한 도면이다.
도 4를 참조하면, 제어부100은 듀얼모드시 센서150의 출력을 분석하여 장치의 놓여진 상태(회전 상태 등)를 분석하며, 상기 확인된 장치의 상태에 따라 제2이미지센서125의 위치를 결정할 수 있다. 이때 상기 장치는 도 4의 410 - 440과 같이 4가지 상태가 될 수 있다. 여기서 410 및 430은 landscape 표시모드의 예가 될 수 있으며, 420 및 440은 portrait 표시모드의 예가 될 수 있다. 여기서 도4의 430은 410과 같이 표시하는 장치가 180도의 회전된 상태이며, 장치가 180도 회전되면 제2이미지센서125의 위치도 180도 회전되어 반대편 끝단에 위치됨을 알 수 있다. 또한 도 4의 440은 420과 같이 표시하는 장치가 180도의 회전된 상태이며, 장치가 180도 회전되면 제2이미지센서125의 위치도 180도 회전되어 반대편 끝단에 위치됨을 알 수 있다. 상기와 같이 장치의 회전 상태에 따른 이미지센서125의 위치를 확인하면, 상기 제어부100은 315동작에서 도 4의 410 - 400에 도시된 바와 같이 부화면220의 표시위치를 제2이미지센서125에 근접한 위치로 이동시켜 설정할 수 있다.
상기와 같이 제어부100은 제2이미지센서125의 위치를 확인한 후 이에 대응되는 위치에 부화면220의 표시영역을 결정한 후, 317동작에서 듀얼모드의 프리뷰 모드를 수행할 수 있다. 상기 프리뷰모드에서 상기 제어부100은 제1이미지센서120 및 제2이미지센서125를 모두 구동하며, 상기 제1이미지센서120에서 출력되는 제1이미지를 처리하여 표시부130에 주화면으로 표시하고, 상기 제2이미지센서125에서 촬영되는 제2이미지를 처리하여 상기 315동작에서 설정된 부화면 표시영역에 표시할 수 있다. 이때 상기 제어부100은 이미지처리부(image signal processor)를 구비할 수 있으며, 상기 이미지처리부는 영상 전처리부, 후처리부, 이미지 스케일러 및 CODEC 등을 구비할 수 있다. 이런 경우, 상기 제1이미지센서120에서 출력되는 제1이미지는 이미지처리부에서 영상 전처리 및 후처리되며, 또한 이미지스케일러에 의해 표시부130의 주화면 사이즈로 스케일링되어 출력할 수 있다. 또한 상기 제2이미지센서125에서 출력되는 제2이미지는 이미지처리부에서 영상 전처리 및 후처리되며, 이미지스케일러에 의해 부화면 사이즈로 스케일링되어 출력될 수 있다.
또한 상기 듀얼모드의 프리뷰 모드에서 상기 제어부100은 사용자의 선택에 따라 주화면의 이미지로 표시하기 위한 이미지센서를 선택할 수 있다. 즉, 사용자는 이미지센서 선택 버튼에 의해 상기 제1이미지센서120 또는 제2이미지센서120의 출력이미지를 주화면으로 선택할 수 있다. 이런 경우, 상기 제어부100은 사용자에 의해 선택되는 이미지센서의 출력을 주화면 이미지로 처리하고 다른 이미지센서의 출력을 부화면 이미지로 처리할 수 있다. 이때 상기 제어부100은 상기 주화면 이미지를 처리하여 표시부130에 출력하며, 상기 부화면 이미지를 처리하여 상기 주화면의 설정된 위치에 표시하며, 이때 주화면에 설정된 사이즈의 크기로 상기 부화면 이미지를 리사이즈하여 출력할 수 있다.
본 발명의 실시예에서는 상기 듀얼 모드시 상기 제2이미지센서125의 출력을 부화면으로 선택한 경우에 상기 제2이미지센서125에 근접하는 위치로 부화면의 표시위치를 변경하며, 상기 제1이미지센서120의 출력을 부화면으로 선택한 경우에는 부화면 위치를 고정하여 표시할 수 있다. 따라서 상기 제2이미지센서125의 출력을 부화면 이미지로 선택한 경우, 상기 제어부100은 상기 제2이미지센서125의 위치에 따라 표시부130에 상기 제1 및 제2이미지를 도 4의 410 - 440 중의 어느 한 상태로 표시할 수 있다.
상기와 같이 프리뷰 모드를 수행하는 중에 상기 제어부100은 센서150의 출력을 분석하여 장치의 위치 변경 여부를 분석하며, 상기 장치의 회전이 발생되면 상기 제어부100은 331동작에서 이를 감지하고, 상기 313동작 및 315동작을 수행하면서 제2이미지센서125의 위치 변경에 따라 부화면200의 표시영역을 설정할 수 있다.
또한 상기와 같이 프리뷰 모드를 수행하는 상태에서 사용자가 입력부140을 통해 촬영을 요구(shutter button on)하면, 상기 제어부100은 319동작에서 이를 감지하고, 321동작에서 상기 제1이미지센서120에서 출력되는 제1이미지 및 상기 제2이미지센서125에서 촬영되는 제2이미지를 캡쳐할 수 있다. 이때 상기 제1이미지 및 제2이미지를 캡쳐하는 동작은 도 5와 같은 절차로 수행될 수 있다.
제 5도는 본 발명의 실시예에 따른 전자장치가 듀얼모드에서 제1 및 제2이미지를 촬영하는 절차를 도시하는 흐름도이다.
상기 도 5를 참조하면, 듀얼모드에서 촬영은 동시촬영 및 순차촬영 방법을 사용할 수 있으며, 이는 설정모드에서 촬영방법을 설정할 수 있다. 사용자가 설정모드에서 이미지센서를 설정하면 상기 제어부100은 촬영모드 메뉴를 표시하며, 상기 제어부100은 상기 표시부130에 dual shot mode를 포함하는 촬영모드 메뉴를 표시할 수 있다. 이때 사용자가 dual shot 모드를 선택하면, 상기 제어부100은 dual shot menu를 표시하며, 상기 dual shot menu는 동시촬영(sync) 또는 순차촬영(async)을 표시할 수 있다. 여기서 동시촬영은 제1이미지센서120 및 제2이미지센서125로부터 동시에 제1 및 제2이미지를 획득하는 촬영모드이며, 순차촬영은 먼저 주화면의 이미지센서로부터 이미지를 획득한 후 부화면의 이미지센서로부터 이미지를 획득하는 촬영모드를 의미할 수 있다. 상기 동시촬영은 촬영요구시 두 개의 이미지센서에서 출력되는 이미지를 동시에 정지이미지로 처리할 수 있다. 이때 듀얼샷 촬영시 사용자는 주화면 이미지를 촬영구도에 맞도록 설정하는 것이 일반적이며, 이런 경우 부화면 이미지의 촬영구도는 원하는 상태가 아닐 수 있다. 따라서 이런 경우에는 순차촬영 방법을 사용하는 것이 바람직할 수 있다. 상기 순차촬영방법은 먼저 주화면 이미지를 원하는 촬영구도로 설정하여 촬영하고, 이후 부화면 이미지를 원하는 촬영구도로 설정하여 촬영할 수 있다. 본 발명의 실시예에서는 듀얼샷 모드 설정시 사용자의 선택에 따라 동시촬영 또는 순차촬영을 선택할 수 있다.
사용자로부터 촬영요구가 발생되면, 상기 제어부511동작에서 촬영모드를 검사할 수 있다. 이때 동시촬영모드이면, 상기 제어부100은 511동작에서 이를 감지하고, 531동작에서 현재 구동되는 이미지센서(제1이미지센서120 또는 제2이미지센서125)에서 획득되는 이미지를 캡쳐할 수 있다.
또한 상기 511동작에서 순차촬영모드임을 감지하면, 상기 제어부100은 순차촬영모드를 수행할 수 있다. 이때 상기 제어부100은 현재 표시되는 주화면 및 부화면이 순차적으로 촬영됨을 표시부130에 표시하여 가이드할 수도 있다. 순차촬영 모드시 상기 제어부100은 513동작에서 주화면 이미지를 촬영하고 부화면 이미지는 프리뷰 상태로 표시할 수 있다. 이때 상기 프리뷰 상태로 표시되는 부화면은 제2이미지센서125에서 촬영되는 이미지가 될 수 있으며, 부화면의 표시위치는 상기한 바와 같이 제2이미지센서125에 근접된 위치가 될 수 있다. 이대 상기 제어부100은 표시부130을 제어하여 주화면의 제1이미지를 정지이미지로 표시하고, 부화면의 제2이미지를 프리뷰 이미지를 표시할 수 있다.
상기 주화면 이미지를 캡쳐한 후, 상기 제어부100은 515동작에서 타이머를 구동하며, 517동작에서 설정된 액션이 감지되는가 검사할 수 있다. 즉, 상기 제어부100은 타이머를 구동한 후 타이머가 종료(timer expire)되기 전에 설정된 액션이 감지되면 부화면 이미지를 캡쳐할 수 있다. 여기서 설정된 액션은 셔터스위치 온(즉, 제2이미지를 캡쳐하기 위한 촬영요구), 설정된 장치의 조작(예를들면 특정 영역의 hovering 또는 touch interaction, 장치의 shaking, rotating, motion 등) 등이 될 수 있다.
이때 타이머가 구동되는 상태이며 설정된 액션이 감지되지 않으면 상기 제어부100은 527동작에서 이를 감지하고 529동작에서 상기 캡쳐된 제1이미지를 정지이미지로 처리하여 주화면에 표시하며, 상기 제2이미지센서125에서 촬영되는 제2이미지를 부화면 표시영역에 프리뷰 이미지로 표시할 수 있다. 여기서 상기 515동작에서 구동되는 제1타이머는 사용자가 주화면 이미지를 캡쳐한 후 제2이미지센서125를 통해 캡쳐하고자 하는 제2이미지의 구도를 설정할 수 있는 시간을 제공할 수 있다. 그러나 제1타이머가 구동된 후 설정된 액션이 감지되지 않은 상태에서 제1타이머의 구동이 종료되면, 상기 제어부100은 527동작에서 이를 감지하고 525동작에서 제2이미지를 캡쳐할 수 있다. 여기서 상기 제2이미지는 부화면 이미지가 될 수 있다. 이때 상기 주화면 이미지는 정지 이미지로 캡쳐된 상태이며, 따라서 상기 주화면은 정지이미지로 표시될 수 있다.
그러나 상기 515동작에서 구동된 제1타이머가 종료되기 전에 설정된 액션이 감지되면, 상기 제어부100은 517동작에서 이를 감지하고 519동작에서 제2타이머를 다시 구동할 수 있다. 이때 상기 519동작에서 구동되는 제2타이머는 사용자가 설정된 액션을 수행한 후 제2이미지센서125를 통해 캡쳐하고자 하는 제2이미지의 구도를 설정할 수 있는 시간을 제공하기 위함이다. 여기서 상기 519동작에서 구동되는 제2타이머의 주기는 상기 515동작에서 구동되는 제1타이머의 주기와 동일한 주기로 설정할 수 있으며, 또한 다른 주기를 갖도록 설정할 수도 있다. 그리고 상기 제2타이머의 구동이 종료되기 전까지 상기 제어부100은 521동작에서 캡쳐된 제1이미지를 정지이미지로 처리하여 주화면에 표시하며, 상기 제2이미지센서125에서 촬영되는 제2이미지를 부화면 표시영역에 프리뷰 이미지로 표시할 수 있다. 그리고 상기 제1타이머의 구동이 종료되면, 상기 제어부100은 523동작에서 이를 감지하고 525동작에서 제2이미지를 캡쳐할 수 있다.
상기 도 5와 같은 절차를 수행하면서 상기 제어부100은 상기 제1이미지센서120으로부터 출력되는 제1이미지(주화면 이미지) 및 상기 제2이미지센서125로부터 출력되는 제2이미지(부화면 이미지)를 캡쳐할 수 있다. 이때 상기 부화면 이미지는 프리뷰 모드시 도 6a에 도시된 바와 같이 제2이미지센서125의 위치에 따라 가변적으로 설정되며, 촬영요구시 상기 제어부100은 상기 제2이미지센서125의 근접 위치(capture position)에서 제2이미지를 캡쳐할 수 있다. 그리고 상기 캡쳐된 제2이미지를 합성할 때 상기 제어부100은 상기 캡쳐된 부화면 이미지를 도 6b와 같이 설정된 부화면의 위치(save position)에서 합성할 수 있다. 따라서 상기 제어부100은 도 3의 321동작에서 상기 도 5와 같은 절차로 제1이미지 및 제2이미지를 capture position에서 캡쳐한 후, 323동작에서 캡쳐된 제2이미지를 도 6b와 같이 설정된 부화면 위치(save position)로 이동시키며, 325동작에서 상기 제1이미지에 합성한 후 저장부110에 저장할 수 있다 이때 상기 제어부100은 상기 323동작에서 제2이미지를 설정된 부화면 위치로 이동됨을 표시부130에 표시할 수 있으며, 또는 표시하지 않을 수도 있다.
도 7은 본 발명의 실시예에 따라 촬영 동작을 수행하는 휴대단말기의 구성을 도시하는 도면이다. 여기서 상기 휴대단말기는 스마트 폰을 포함하는 휴대전화기, MP3단말기, 타블렛, 컴퓨터 등의 다양한 디지털 기기들이 될 수 있다.
상기 도 7을 참조하면, 통신부170은 기지국 또는 인터넷 서버 등과 무선 통신 기능을 수행한다. 여기서 상기 통신부170은 송신신호의 주파수를 상승변환(frequency up converter) 및 전력 증폭하는 송신부와, 수신신호를 저잡음 증폭 및 주파수를 하강변환(frequency down converter)하는 수신부 등으로 구성될 수 있다. 또한 상기 통신부170은 변조부 및 복조부를 구비할 수 있다. 여기서 변조부는 송신신호를 변조하여 송신부에 전달하며, 복조부는 수신부를 통해 수신되는 신호를 복조할 수 있다. 이런 경우, 상기 변복조부는 LTE, WCDMA, GSM 등이 될 수 있으며, 또한 WIFI, WIBRO 등이 될 수 있고, NFC, Bluetooth 등이 될 수 있다. 본 발명의 실시예에서는 상기 통신부170이 LTE, WIFI, bluetooh 통신부들을 구비한다고 가정한다.
제1이미지센서120은 단말기 장치의 후면에 장착되는 후면 이미지센서로써 고 해상도의 이미지를 촬영할 수 있다. 제2이미지센서125는 단말기 장치의 전면에 장착되는 전면 이미지센서로써, 상기 제1이미지센서120에 비해 상대적으로 낮은 저해상도 이미지를 촬영할 수 있다.
제어부100은 휴대단말기의 전반적인 동작을 제어하며, 휴대단말기의 다양한 어플리케이션의 처리를 제어하는 어플리케이션 프로세서(application processor, AP)710과, 휴대단말기의 통신 기능을 제어하는 통신 프로세서(communication processor, CP)720을 구비할 수 있다. 그리고 상기 어플리케이션처리부710은 본 발명의 실시예에 따른 듀얼 모드에서 상기 제1이미지센서120 및 제2이미지센서125의 이미지를 처리하며, 프리뷰 모드시 상기 제2이미지센서125에 근접한 위치(capture position)에 부화면 표시영역을 설정하여 제2이미지를 표시하고, 캡쳐 모드시 상기 제2이미지센서125에서 근접한 위치(capture position)에 제2이이미지를 캡쳐한 후 설정된 주화면의 위치(save position)에서 합성한 후 저장하는 동작을 제어할 수 있다.
저장부110은 단말기의 동작 프로그램 및 본 발명의 실시예에 따른 프로그램을 저장하는 프로그램 메모리와, 단말기의 동작을 위한 테이블들 및 프로그램 수행 중에 발생되는 데이터를 저장하는 데이터 메모리를 구비할 수 있다.
표시부130은 상기 제어부100의 제어하에 실행중인 어플리케이션의 정보를 표시할 수 있다. 그리고 상기 표시부130은 듀얼 이미지센서 모드에서 상기 제어부100의 제어하에 주화면 및 부화면의 이미지들을 표시할 수 있다. 상기 표시부130은 LCD 또는 OLED가 될 수 있다. 입력부140은 정정용량 방식 또는 저항막 방식으로 구현할 될 수 있으며, 사용자의 터치(이하 손가락 터치라고 가정한다)의 위치정보를 상기 제어부100에 출력할 수 있다. 또한 상기 입력부140은 EMR센서 패드를 더 구비할 수 있으며, 펜 터치입력을 감지하여 상기 제어부100에 출력할 수 있다. 여기서 상기 표시부130 및 입력부140은 일체형으로 구성할 수 있다.
센서150은 휴대단말기의 움직임을 감지하기 위한 센서들을 구비할 수 있다. 여기서 상기 센서들은 가속도센서, 지자기센서, 자이로센서 및/또는 위치감지 센서들로 구성될 수 있다. 오디오처리부180은 상기 제어부100의 제어하에 통신모드에서 발생되는 음성 신호를 처리할 수 있다.
상기와 같은 구성을 가지는 휴대단말기의 제어부100은 상기 이미지센서120 및/또는 125 구동시 상기 제어부100은 이미지센서120 및/또는 125에 출력되는 이미지를 표시부130에 표시하며, 이때 상기 표시부130에 주화면 이미지로 표시하기 위한 이미지센서를 선택하기 위한 이미지센서버튼 및 듀얼 모드를 설정을 온/오프하는 듀얼버튼을 표시하며, 상기 버튼 터치시 상기 제어부100은 입력부140을 통해 해당 버턴의 온/오프를 감지할 수 있다. 따라서 상기 제어부100은 사용자의 듀얼 버튼 온시 상기 제1이미지센서120 및 제2이미지센서125를 구동하는 듀얼모드를 수행하며, 상기 듀얼모드에서 상기 제어부100은 상기 이미지센서120 및 125에서 출력되는 이미지들을 상기 표시부130에 주화면 및 부화면의 듀얼 이미지로 표시할 수 있다. 또한 상기 제어부100은 듀얼모드에서 이미지센서 버튼의 선택에 의해 주화면 이미지를 출력하는 이미지센서를 선택할 수 있다. 본 발명의 실시예에서는 상기 휴대단말기를 듀얼모드로 구동할 때, 제1이미지센서120을 주화면 이미지센서로 선택하고 상기 제2이미지센서125를 부화면 이미지센서로 선택하는 경우를 가정하여 설명한다.
상기와 같은 구성을 가지는 휴대단말기에서 제어부100은 듀얼모드를 수행할 수 있다. 이때 듀얼 모드의 프리뷰 모드시 상기 제어부100은 도 3에 도시된 바와 같이 제2이미지센서125의 위치를 확인하며, 확인된 제2이미지센서125의 위치에 근접하는 표시부130의 영역에 부화면 표시영역을 설정할 수 있다. 이는 상기 도 2a에 도시된 바와 같이 제2이미지센서125와 부화면 표시영역이 멀리 떨어져 있으면 제2이미지센서125에서 촬영되는 사용자의 얼굴 및 시선 방향이 부화면 표시영역으로 향하기 때문이며, 이런 경우 촬영되는 제2이미지는 부자연스러운 구도를 가지기 때문이다. 따라서 본 발명의 실시예에서는 상기 도 2b와 같이 제2이미지센서125의 촬영 각도(shooting angle)와 사용자의 얼굴 및 시선이 일치할 수 있도록 부화면의 표시영역을 설정하는 방법을 제안한다. 즉, 본 발명의 실시예에서 듀얼모드시 제어부100은 장치의 전면에 장착되는 제2이미지센서125와 최대한으로 근접하는 표시부130의 영역에 부화면 표시영역을 설정하는 방법을 사용할 수 있다. 그리고 상기 프리뷰 모드에서 휴대단말기가 회전되면, 상기 도 4에 도시된 바와 같이 제2이미지센서125의 회전에 따른 방향으로 부화면의 표시영역도 가변적으로 이동시킨다. 여기서 상기 제2이미지센서125에 근접한 위치에 설정되는 부화면 표시영역은 제2이미지를 캡쳐하기 위한 위치(capture position)가 될 수 있다.
그리고 상기 프리뷰 모드에서 촬영요구시 상기 제어부100은 도 5와 같은 절차로 제1이미지 및 제2이미지를 캡쳐할 수 있다. 이때 상기 제1이미지 및 제2이미지의 촬영모드는 동시 촬영 및 순차 촬영 방법을 사용할 수 있으며, 상기 제2이미지는 상기한 바와 같이 상기 제2이미지센서125에 근접한 위치(capture position)에서 캡쳐할 수 있다. 이후 상기 제어부100은 상기 제1이미지에 상기 제2이미지를 합성하며, 이때 상기 제2이미지의 합성 위치(save position)는 설정된 위치(상기 도 6b에서는 주화면 이미지의 좌측 하단)가 될 수 있으며, 따라서 상기 캡쳐된 제2이미지를 상기 합성위치로 이동시켜 제1이미지에 합성할 수 있다. 그리고 상기 제어부100은 합성된 제1이미지 및 제2이미지는 주화면 및 부화면으로 상기 표시부130에 표시하며, 이때 저장되는 이미지는 상기 표시부130에 표시되는 합성 이미지가 될 수 있다.
본 명세서와 도면에 개시 된 본 발명의 실시예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims (20)

  1. 전자 장치를 이용한 이미지 처리방법에 있어서,
    상기 전자 장치에 기능적으로 연결된 제 1 이미지 센서를 통하여 얻은 제 1 이미지의 적어도 일부를 상기 전자 장치에 기능적으로 연결된 디스플레이에 제 1 프리뷰 이미지로 표시하고,
    상기 전자 장치에 기능적으로 연결된 제 2 이미지 센서를 통하여 얻은 제 2 이미지의 적어도 일부를 상기 디스플레이에 상기 제 1 프리뷰 이미지와 동시에 제 2 프리뷰 이미지로 표시하되,
    상기 제 2 프리뷰 이미지가 표시되는 상기 디스플레이 상의 영역은 적어도 상기 디스플레이에 대한 상기 제 2 이미지 센서의 위치에 따라서 결정되는 방법.
  2. 제 1항에 있어서,
    상기 제 1 프리뷰 이미지를 표시하는 동작은 상기 제 1 프리뷰 이미지를 상기 디스플레이 상의 제 1 화면으로 표시하는 동작을 포함하고,
    상기 제 2 프리뷰 이미지를 표시하는 동작은 상기 제 2 프리뷰 이미지를 상기 디스플레이 상의 제 2 화면으로 표시하는 동작을 포함하는 방법.
  3. 제 1항에 있어서,
    촬영 요구 감지시, 상기 제 2 프리뷰 이미지를 저장하고, 상기 제 2 프리뷰 이미지를 상기 제 1 프리뷰 이미지의 적어도 하나의 미리 설정된 위치에 합성하여 표시하는 동작을 더 포함하는 방법.
  4. 제1항에 있어서, 상기 제 2 프리뷰 이미지를 표시하는 동작은,
    상기 전자 장치의 적어도 일부 회전 감지시 상기 제 2 이미지 센서의 위치를 결정하는 동작과,
    상기 제 2 이미지 센서의 위치에 근접하는 상기 디스플레이 상의 영역을 상기 제 2 프리뷰 이미지가 표시되는 상기 디스플레이 상의 영역으로 표시하는 동작을 포함하는 방법.
  5. 제4항에 있어서,
    상기 제 2 프리뷰 이미지가 표시되는 상기 디스플레이 상의 영역은 프리뷰 모드시 상기 제 2 이미지 센서와 근접한 위치에 캡쳐 포지션으로 설정하고, 촬영모드시 상기 제 1 프리뷰 이미지가 표시되는 상기 디스플레이 상의 영역의 지정된 위치에 저장 포지션으로 설정하는 동작을 포함하는 방법.
  6. 제5항에 있어서,
    상기 저장 포지션은 사용자에 의해 이동될 수 있는 방법
  7. 제 5항에 있어서, 상기 저장 포지션으로 설정하는 동작은
    상기 저장포지션의 상기 제 2 프리뷰 이미지가 표시되는 상기 디스플레이 상의 영역을 사용자가 설정한 형태로 표시하는 동작을 포함하는 방법.
  8. 제 7항에 있어서, 상기 사용자가 설정한 형태로 표시하는 동작은,
    상기 저장포지션의 상기 제 2 프리뷰 이미지가 표시되는 상기 디스플레이 상의 영역을 특정 테두리선 또는 색상 중 적어도 하나로 표시하는 방법.
  9. 제5항에 있어서,
    촬영요구 감지시 상기 제1이미지 및 제2이미지를 저장하고, 상기 제2이미지를 상기 저장포지션에서 합성하여 표시하도록 설정하는 방법.
  10. 제5항에 있어서,
    촬영요구 감지시 상기 제1이미지를 저장하고 상기 제2이미지를 프리뷰 표시하면서 타이머를 구동하는 동작과,
    상기 타이머 구동 종료시 상기 제2이미지를 저장하는 동작과,
    상기 제2이미지를 상기 제1이미지의 저장 포지션에 합성하여 저장하는 동작을 포함하는 방법.
  11. 전자 장치에 있어서,
    상기 전자 장치의 제 1 면의 적어도 일부에 대응되는 제 1 이미지를 얻는 제 1 이미지 센서,
    상기 전자 장치의 제 2 면의 적어도 일부에 대응되는 제 2 이미지를 얻는 제 2 이미지 센서,
    상기 제 1 이미지의 적어도 일부를 상기 전자 장치에 기능적으로 연결된 디스플레이에 제 1 프리뷰 이미지로 표시하고, 상기 제 2 이미지의 적어도 일부를 상기 디스플레이에 상기 제 1 프리뷰 이미지와 동시에 제 2 프리뷰 이미지로 표시하되, 상기 제 2 프리뷰 이미지가 표시되는 상기 디스플레이 상의 영역은 적어도 상기 디스플레이에 대한 상기 제 2 이미지 센서의 위치에 따라서 결정하는 제어부를 포함하는 장치.
  12. 제11항에 있어서,
    장치의 회전을 감지하는 센서를 더 포함하며,
    상기 제어부는 상기 장치의 회전을 감지하면 회전된 상기 제2이미지센서에 근접하는 제1이미지 표시영역에 제2이미지 프리뷰 표시영역을 표시하도록 설정된 장치.
  13. 제12항에 있어서,
    상기 제어부는 촬영요구 감지시 상기 제2이미지를 상기 제1이미지의 지정된 위치에 저장하도록 설정된 장치.
  14. 제12항에 있어서,
    상기 제어부는 상기 제2이미지센서의 근접 위치에 상기 제2이미지를 프리뷰 표시하며, 상기 제1이미지에 지정된 제2이미지 표시영역을 설정된 형태로 표시하도록 설정된 장치.
  15. 제14항에 있어서,
    상기 제1이미지의 지정된 제2이미지 표시영역은 테두리선 또는 색상 중 적어도 하나로 표시하도록 설정된 장치.
  16. 제13항에 있어서,
    상기 제어부는 상기 제2이미지를 저장할 때 상기 제2이미지의 이동을 표시하도록 설정된 장치.
  17. 제12항에 있어서,
    상기 제어부는 촬영요구 감지시 상기 제1이미지 및 제2이미지를 각각 저장하며, 상기 제2이미지를 상기 제1이미지의 지정된 위치에 합성하여 저장할 수 있는 장치.
  18. 제12항에 있어서,
    상기 제어부는 촬영요구 감지시 상기 제1이미지를 저장하고 상기 제2이미지를 프리뷰 표시한 후 타이머를 구동하며, 상기 타이머 구동 종료시 상기 제2이미지를 저장하고, 상기 제2이미지를 설정된 상기 제1이미지의 지정된 위치에 합성하여 저장할 수 있는 장치.
  19. 제12항에 있어서,
    상기 제어부는 촬영요구 감지시 상기 제1이미지를 저장하고 제2이미지를 프리뷰 표시하며, 액션 감지시 타이머를 구동하며, 상기 타이머 구동 종료시 상기 제2이미지를 저장하고, 상기 제2이미지를 제1이미지의 지정된 위치에 합성하여 저장할 수 있는 장치.
  20. 이미지 저장매체에 있어서,
    전자 장치에 기능적으로 연결된 제 1 이미지 센서를 통하여 얻은 제 1 이미지의 적어도 일부를 저장하고, 상기 전자 장치에 기능적으로 연결된 제 2 이미지 센서를 통하여 얻은 제 2 이미지의 적어도 일부를 저장하며, 상기 제1이미지의 지정된 위치에 상기 제2이미지를 합성하여 저장하도록 설정되며, 상기 제1이미지의 지정된 위치는 상기 제2 이미지 센서의 위치에 따라 변경되는 특징을 포함하는 저장매체.
KR1020130020757A 2013-02-26 2013-02-26 이미지 센서 위치를 이용한 이미지 영역 설정 장치 및 방법 Active KR102032347B1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1020130020757A KR102032347B1 (ko) 2013-02-26 2013-02-26 이미지 센서 위치를 이용한 이미지 영역 설정 장치 및 방법
US14/178,797 US9674444B2 (en) 2013-02-26 2014-02-12 Apparatus and method for positioning image area using image sensor location
PCT/KR2014/001302 WO2014133278A1 (en) 2013-02-26 2014-02-18 Apparatus and method for positioning image area using image sensor location
AU2014221568A AU2014221568B2 (en) 2013-02-26 2014-02-18 Apparatus and method for positioning image area using image sensor location
CN201480010711.5A CN105103535B (zh) 2013-02-26 2014-02-18 用于使用图像传感器位置来定位图像区域的设备和方法
EP14156084.7A EP2770724B1 (en) 2013-02-26 2014-02-21 Apparatus and method for positioning image area using image sensor location
US15/614,116 US10136069B2 (en) 2013-02-26 2017-06-05 Apparatus and method for positioning image area using image sensor location

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130020757A KR102032347B1 (ko) 2013-02-26 2013-02-26 이미지 센서 위치를 이용한 이미지 영역 설정 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140106333A KR20140106333A (ko) 2014-09-03
KR102032347B1 true KR102032347B1 (ko) 2019-10-15

Family

ID=50193218

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130020757A Active KR102032347B1 (ko) 2013-02-26 2013-02-26 이미지 센서 위치를 이용한 이미지 영역 설정 장치 및 방법

Country Status (6)

Country Link
US (2) US9674444B2 (ko)
EP (1) EP2770724B1 (ko)
KR (1) KR102032347B1 (ko)
CN (1) CN105103535B (ko)
AU (1) AU2014221568B2 (ko)
WO (1) WO2014133278A1 (ko)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9741150B2 (en) * 2013-07-25 2017-08-22 Duelight Llc Systems and methods for displaying representative images
US20170039867A1 (en) * 2013-03-15 2017-02-09 Study Social, Inc. Mobile video presentation, digital compositing, and streaming techniques implemented via a computer network
US9798708B1 (en) * 2014-07-11 2017-10-24 Google Inc. Annotating relevant content in a screen capture image
US9936138B2 (en) * 2015-07-29 2018-04-03 Samsung Electronics Co., Ltd. User terminal apparatus and control method thereof
US11284003B2 (en) 2015-07-29 2022-03-22 Samsung Electronics Co., Ltd. User terminal apparatus and control method thereof
WO2017195034A1 (en) * 2016-05-07 2017-11-16 Smart Third-I Ltd Systems and methods involving edge camera assemblies in handheld devices
US9832368B1 (en) * 2016-05-31 2017-11-28 Motorola Mobility Llc Managing unintended camera clicks
US9876957B2 (en) * 2016-06-21 2018-01-23 Hand Held Products, Inc. Dual mode image sensor and method of using same
KR20180023310A (ko) * 2016-08-25 2018-03-07 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN107592459A (zh) * 2017-09-22 2018-01-16 维沃移动通信有限公司 一种拍照方法及移动终端
JP2019080166A (ja) * 2017-10-24 2019-05-23 株式会社東芝 画像処理装置、及び制御方法
CN108200332A (zh) * 2017-12-27 2018-06-22 努比亚技术有限公司 一种拼图方法、移动终端及计算机可读存储介质
CN108234891B (zh) * 2018-04-04 2019-11-05 维沃移动通信有限公司 一种拍照方法及移动终端
JP7183597B2 (ja) * 2018-07-12 2022-12-06 京セラドキュメントソリューションズ株式会社 プレビュー画像表示装置及びプレビュー画像表示プログラム
CN111586282B (zh) * 2019-02-18 2021-08-10 北京小米移动软件有限公司 拍摄方法、装置、终端及可读存储介质
US11409434B2 (en) 2019-06-30 2022-08-09 Lenovo (Beijing) Co., Ltd. Image collection and processing method, apparatus, and storage medium
CN110266983A (zh) * 2019-06-30 2019-09-20 联想(北京)有限公司 一种图像处理方法、设备及存储介质
CN110505428B (zh) * 2019-08-28 2021-06-15 联想(北京)有限公司 一种信息处理方法及电子设备
WO2021083146A1 (zh) 2019-10-30 2021-05-06 北京字节跳动网络技术有限公司 视频处理方法、装置、终端及存储介质
CN110784674B (zh) 2019-10-30 2022-03-15 北京字节跳动网络技术有限公司 视频处理的方法、装置、终端及存储介质
US20210144297A1 (en) * 2019-11-12 2021-05-13 Shawn Glidden Methods System and Device for Safe-Selfie
US11297260B1 (en) 2020-11-20 2022-04-05 Donald Siu Techniques for capturing video in landscape mode by a handheld device
JP7287379B2 (ja) * 2020-12-10 2023-06-06 セイコーエプソン株式会社 表示方法、検出装置、および、プログラム
US12001658B2 (en) * 2022-05-23 2024-06-04 Snap Inc. Content collections linked to a base item
CN117425057A (zh) 2022-07-07 2024-01-19 抖音视界(北京)有限公司 用于影像拍摄的方法、装置、设备和存储介质
CN117407596A (zh) 2022-07-07 2024-01-16 抖音视界(北京)有限公司 用于内容呈现的方法、装置、设备和存储介质
CN115334246B (zh) * 2022-09-06 2025-07-01 抖音视界有限公司 用于影像拍摄的方法、装置、设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004180107A (ja) * 2002-11-28 2004-06-24 Matsushita Electric Ind Co Ltd 電子カメラおよび電子カメラ付き携帯電話装置
US20110249073A1 (en) 2010-04-07 2011-10-13 Cranfill Elizabeth C Establishing a Video Conference During a Phone Call
US20120274808A1 (en) 2011-04-26 2012-11-01 Sheaufoong Chong Image overlay in a mobile device

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09107531A (ja) 1995-10-09 1997-04-22 Matsushita Electric Ind Co Ltd ビデオ会議システム
JPH11225319A (ja) * 1998-02-09 1999-08-17 Olympus Optical Co Ltd 画像入出力装置
US6867807B2 (en) * 2001-09-04 2005-03-15 Eastman Kodak Company Camera having single-button timed display of most-recently viewed image and default display of last verification image and method
JP2003189168A (ja) 2001-12-21 2003-07-04 Nec Corp 携帯電話用カメラ
JP2004062565A (ja) 2002-07-30 2004-02-26 Canon Inc 画像処理装置及び方法並びにプログラム記憶媒体
JP2004145291A (ja) 2002-10-03 2004-05-20 Casio Comput Co Ltd 画像表示装置、画像表示方法及びプログラム
JP3948387B2 (ja) 2002-10-24 2007-07-25 松下電器産業株式会社 ディジタルカメラおよびディジタルカメラ付き携帯電話装置
KR100663478B1 (ko) 2003-01-30 2007-01-02 삼성전자주식회사 휴대단말기의 화면표시 장치 및 방법
JP2004260433A (ja) 2003-02-25 2004-09-16 Hitachi Ltd ビデオカメラ付き携帯電話機
KR100566184B1 (ko) 2005-04-22 2006-03-29 삼성전자주식회사 이동통신단말기에서 이미지를 표시하는 방법 및 그이동통신단말기
US20080084482A1 (en) 2006-10-04 2008-04-10 Sony Ericsson Mobile Communications Ab Image-capturing system and method
KR101335626B1 (ko) 2007-01-03 2013-12-03 삼성전자주식회사 사용자의 얼굴이 모니터링되는 디지털 영상 처리 장치
JP4853425B2 (ja) 2007-08-14 2012-01-11 ソニー株式会社 撮像装置、撮像方法およびプログラム
KR101405948B1 (ko) 2007-10-22 2014-06-12 엘지전자 주식회사 이동 단말기 및 이동 단말기의 화면 표시 방법
US7880807B2 (en) 2007-12-26 2011-02-01 Sony Ericsson Mobile Communications Ab Camera system with mirror arrangement for generating self-portrait panoramic pictures
ES2313860B1 (es) 2008-08-08 2010-03-16 Nilo Garcia Manchado Camara digital y procedimiento asociado.
KR20100071754A (ko) 2008-12-19 2010-06-29 삼성전자주식회사 터치와 키조작에 의한 멀티 입력 방식을 이용한 촬영방법 및 이를 적용한 촬영장치
KR101255284B1 (ko) 2008-12-29 2013-04-15 엘지디스플레이 주식회사 액정표시장치
KR101649098B1 (ko) 2009-06-30 2016-08-19 삼성전자주식회사 휴대용 단말기에서 센서를 이용한 렌더링 방법 및 장치
JP5423183B2 (ja) 2009-07-03 2014-02-19 ソニー株式会社 表示制御装置および表示制御方法
KR101594295B1 (ko) 2009-07-07 2016-02-16 삼성전자주식회사 촬영 장치 및 촬영 방법
CN102055834B (zh) * 2009-10-30 2013-12-11 Tcl集团股份有限公司 一种移动终端的双摄像头拍照方法
JP2011166442A (ja) 2010-02-09 2011-08-25 Sanyo Electric Co Ltd 撮像装置
US9584735B2 (en) 2010-11-12 2017-02-28 Arcsoft, Inc. Front and back facing cameras
US8687807B2 (en) * 2011-01-26 2014-04-01 Nagrastar, L.L.C. Cascading dynamic crypto periods
KR101764372B1 (ko) * 2011-04-19 2017-08-03 삼성전자주식회사 휴대용 단말기에서 영상 합성 방법 및 장치
KR20130010590A (ko) * 2011-07-19 2013-01-29 엘지전자 주식회사 전자기기 및 전자기기의 동작 방법
CN102938796A (zh) * 2011-08-15 2013-02-20 中兴通讯股份有限公司 一种手机
US20130120602A1 (en) 2011-11-14 2013-05-16 Microsoft Corporation Taking Photos With Multiple Cameras
US20130155308A1 (en) 2011-12-20 2013-06-20 Qualcomm Incorporated Method and apparatus to enhance details in an image
KR101864452B1 (ko) 2012-01-12 2018-06-04 삼성전자주식회사 이미지 촬영 및 화상 통화 장치와 방법
US8866943B2 (en) 2012-03-09 2014-10-21 Apple Inc. Video camera providing a composite video sequence
KR101545883B1 (ko) 2012-10-30 2015-08-20 삼성전자주식회사 단말의 카메라 제어 방법 및 그 단말

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004180107A (ja) * 2002-11-28 2004-06-24 Matsushita Electric Ind Co Ltd 電子カメラおよび電子カメラ付き携帯電話装置
US20110249073A1 (en) 2010-04-07 2011-10-13 Cranfill Elizabeth C Establishing a Video Conference During a Phone Call
US20120274808A1 (en) 2011-04-26 2012-11-01 Sheaufoong Chong Image overlay in a mobile device

Also Published As

Publication number Publication date
WO2014133278A1 (en) 2014-09-04
US9674444B2 (en) 2017-06-06
KR20140106333A (ko) 2014-09-03
AU2014221568A1 (en) 2015-07-16
US20170272659A1 (en) 2017-09-21
CN105103535B (zh) 2019-06-07
AU2014221568B2 (en) 2017-03-23
EP2770724A3 (en) 2017-04-19
US20140240543A1 (en) 2014-08-28
EP2770724B1 (en) 2022-11-09
US10136069B2 (en) 2018-11-20
EP2770724A2 (en) 2014-08-27
CN105103535A (zh) 2015-11-25

Similar Documents

Publication Publication Date Title
KR102032347B1 (ko) 이미지 센서 위치를 이용한 이미지 영역 설정 장치 및 방법
KR102032541B1 (ko) 이미지 촬영장치 및 방법
US11330194B2 (en) Photographing using night shot mode processing and user interface
KR102090624B1 (ko) 이미지 촬영장치 및 방법
JP6205072B2 (ja) 撮像制御装置、撮像制御方法、カメラ、カメラシステム及びプログラム
KR20220005087A (ko) 촬영 방법 및 단말
CN106210539A (zh) 一种获取全景图像的方法及终端
CN111355998B (zh) 视频处理方法及装置
CN103002244B (zh) 一种交互式视频通话的方法和通话终端
CN108449546A (zh) 一种拍照方法及移动终端
CN110992268A (zh) 背景设置方法、装置、终端及存储介质
KR102241840B1 (ko) 이미지 촬영장치 및 방법
KR101324809B1 (ko) 휴대용 단말기 및 그 제어방법
KR20140089134A (ko) 듀얼 카메라를 구비하는 장치의 이미지 처리 장치 및 방법
HK1232044B (zh) 一種獲取全景圖像的方法及終端

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20130226

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20180206

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20130226

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190425

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20190708

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20191008

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20191010

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220929

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20240927

Start annual number: 6

End annual number: 6