[go: up one dir, main page]

KR102573302B1 - 영상의 안정화를 위한 카메라 모듈, 그것을 포함하는 전자 장치 및 전자 장치의 영상 안정화 방법 - Google Patents

영상의 안정화를 위한 카메라 모듈, 그것을 포함하는 전자 장치 및 전자 장치의 영상 안정화 방법 Download PDF

Info

Publication number
KR102573302B1
KR102573302B1 KR1020180120592A KR20180120592A KR102573302B1 KR 102573302 B1 KR102573302 B1 KR 102573302B1 KR 1020180120592 A KR1020180120592 A KR 1020180120592A KR 20180120592 A KR20180120592 A KR 20180120592A KR 102573302 B1 KR102573302 B1 KR 102573302B1
Authority
KR
South Korea
Prior art keywords
motion data
filtered
electronic device
data
rotational motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020180120592A
Other languages
English (en)
Other versions
KR20200040541A (ko
Inventor
카이 구어
최승원
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020180120592A priority Critical patent/KR102573302B1/ko
Priority to US16/516,850 priority patent/US10812720B2/en
Priority to CN201910809891.8A priority patent/CN111031200B/zh
Priority to TW112143251A priority patent/TWI863692B/zh
Priority to TW108136560A priority patent/TWI848988B/zh
Publication of KR20200040541A publication Critical patent/KR20200040541A/ko
Priority to US17/068,138 priority patent/US11218636B2/en
Application granted granted Critical
Publication of KR102573302B1 publication Critical patent/KR102573302B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

본 개시에 따르면, 전자 장치는, 렌즈를 통해 전자 장치로 입사되는 빛을 전기적 신호로 변환함으로써 이미지 데이터를 생성하도록 구성되는 이미지 센서, 전자 장치의 회전 움직임 데이터를 생성하도록 구성되는 자이로스코프, 및 이미지 센서로부터 수신된 이미지 데이터를 기초로 전자 장치의 병진 움직임 데이터를 생성하고, 병진 움직임 데이터에 제1 필터링 동작을 수행함으로써 얻어낸 필터링 된 병진 움직임 데이터 및 자이로스코프로부터 수신된 회전 움직임 데이터에 제2 필터링 동작을 수행함으로써 얻어낸 필터링 된 회전 움직임 데이터를 기초로 이미지 데이터에 전자 장치의 움직임을 보상하도록 구성되는 영상 안정화기를 포함할 수 있다.

Description

영상의 안정화를 위한 카메라 모듈, 그것을 포함하는 전자 장치 및 전자 장치의 영상 안정화 방법{CAMERA MODULE FOR STABILIZING VIDEO, ELECTRICAL VIDEO INCLUDING THE SAME AND VIDEO STABILIZING METHOD OF THE ELECTRICAL DEVICE}
본 개시의 기술적 사상은 카메라 모듈, 전자 장치 및 전자 장치의 영상 안정화 방법에 관한 것으로서, 자세하게는 영상을 안정화하기 위한 카메라 모듈, 전자 장치 및 전자 장치의 영상 안정화 방법에 관한 것이다.
IT 기술이 발달함에 따라 다양한 유형의 전자 장치들이 개발 및 보급되고 있다. 특히, 최근에는 스마트폰, 태블릿 PC, 스마트 워치 등과 같이 다양한 기능을 가지는 휴대용 전자 장치의 보급이 확대되고 있다. 또한, 최근에는 스마트폰, 태블릿 PC 등의 휴대용 전자 장치에 카메라가 장착되어, 사용자들은 이를 이용해 일상 생활에서 사진을 촬영하는 일이 많아지고 있다.
사용자(촬영자)가 카메라가 포함된 전자 장치를 손으로 들고 외부 객체를 촬영하는 경우, 손떨림이 발생할 수 있다. 촬영시에 손떨림이 발생하는 경우, 생성되는 이미지의 화질이 열화될 수 있다. 최근 카메라가 장착된 전자 장치들이 고배율 및 고화소를 갖도록 진화됨에 따라 선명한 영상을 얻는 것이 중요해지고 있는데, 고배율 및 고화소 카메라를 포함하는 전자 장치의 경우 손떨림에 따른 성능 열화 문제가 더욱 커지고 있다. 이에 따라, 사용자(촬영자)의 손떨림에 따른 전자 장치의 움직임을 보상하여 영상을 보정하기 위한 기술이 요구되고 있다.
본 개시의 기술적 사상은 카메라 모듈, 전자 장치 및 전자 장치의 영상 안정화 방법에 있어서, 영상에 대해 빠르고 효율적으로 전방향에 대한 전자 장치의 움직임을 보상하기 위한 방법 및 장치를 제공한다.
상기와 같은 목적을 달성하기 위하여, 본 개시의 기술적 사상의 일측면에 따른 전자 장치는, 렌즈를 통해 전자 장치로 입사되는 빛을 전기적 신호로 변환함으로써 이미지 데이터를 생성하도록 구성되는 이미지 센서, 전자 장치의 회전 움직임 데이터를 생성하도록 구성되는 자이로스코프, 및 이미지 센서로부터 수신된 이미지 데이터를 기초로 전자 장치의 병진 움직임 데이터를 생성하고, 병진 움직임 데이터에 제1 필터링 동작을 수행함으로써 얻어낸 필터링 된 병진 움직임 데이터 및 자이로스코프로부터 수신된 회전 움직임 데이터에 제2 필터링 동작을 수행함으로써 얻어낸 필터링 된 회전 움직임 데이터를 기초로 이미지 데이터에 전자 장치의 움직임을 보상하도록 구성되는 영상 안정화기를 포함할 수 있다.
본 개시의 기술적 사상의 일측면에 따른 카메라 모듈은, 외부의 빛을 광학적 방식에 의해 집광하는 렌즈, 렌즈에 의해 집광된 빛을 전기적 신호로 변환함으로써 이미지 데이터를 생성하도록 구성되는 이미지 센서, 및 이미지 센서로부터 수신되는 이미지 데이터를 이용해 병진 움직임 데이터를 생성하고, 병진 움직임 데이터 및 카메라 모듈 외부로부터 수신되는 회전 움직임 데이터를 기초로 이미지 데이터를 보정하도록 구성되는 영상 안정화기를 포함할 수 있고, 영상 안정화기는 병진 움직임 데이터 및 회전 움직임 데이터에 각각 서로 상보적인 필터링 동작을 수행하도록 구성될 수 있다.
본 개시의 기술적 사상의 일측면에 따른 렌즈를 포함하는 전자 장치의 영상 안정화 방법은, 병진 움직임 데이터 및 자이로스코프에 의해 얻어진 회전 움직임 데이터 각각을 누적함으로써 누적 병진 움직임 데이터 및 누적 회전 움직임 데이터를 생성하는 단계, 누적 병진 움직임 데이터를 제1 필터를 이용해 필터링 함으로써 필터링 된 병진 움직임 데이터를 생성하는 단계, 누적 회전 움직임 데이터를 제2 필터를 이용해 필터링 함으로써 필터링 된 회전 움직임 데이터를 생성하는 단계, 필터링 된 병진 움직임 데이터 및 필터링 된 회전 움직임 데이터를 이용해 연산을 수행함으로써 움직임 정보를 생성하는 단계, 및 움직임 정보를 기초로 전자 장치의 이미지 센서에 의해 얻어진 이미지 데이터를 보정하는 단계를 포함할 수 있다.
본 개시의 예시적 실시 예에 따른 카메라 모듈, 전자 장치 및 전자 장치의 영상 안정화 방법에 의하면, 이미지 데이터들로부터 얻어낸 병진 움직임 데이터에 제1 필터링 동작을 수행하고, 자이로스코프로부터 얻어낸 회전 움직임 데이터에 제2 필터링 동작을 수행한 뒤, 필터링 된 데이터들을 연산함으로써 빠르고 효율적으로 전자 장치의 전방향 움직임 정보를 얻어낼 수 있으며, 이를 이용해 빠르고 효율적으로 전자 장치의 전방향 움직임을 보상할 수 있다.
뿐만 아니라, 경우에 따라, 기존의 전자 장치가 자이로스코프를 포함하기만 한다면, 상기 전자 장치에 간단한 소프트웨어 및/또는 펌웨어의 업데이트를 통해 본 개시의 예시적 실시 예에 따른 영상 안정화 방법을 구현할 수 있다는 장점이 있다.
도 1은 본 개시의 예시적 실시 예에 따른 전자 장치를 나타낸다.
도 2a 내지 도 2c는 전자 장치의 병진 움직임 및 회전 움직임에 대해 설명하기 위한 전자 장치를 나타낸다.
도 3은 본 개시의 예시적 실시 예에 따른 센서 모듈 및 카메라 모듈을 나타낸다.
도 4는 본 개시의 예시적 실시 예에 따른 움직임 정보 생성기를 나타낸다.
도 5는 본 개시의 예시적 실시 예에 따른 전자 장치의 움직임 정보 생성 방법의 순서도를 나타낸다.
도 6은 본 개시의 예시적 실시 예에 따른 움직임 정보 생성기를 나타낸다.
도 7은 본 개시의 예시적 실시 예에 따른 전자 장치의 움직임 정보 생성 방법의 순서도를 나타낸다.
도 8a는 본 개시의 예시적 실시 예에 따른 시간에 대한 누적 병진 움직임 데이터 및 필터링 된 병진 움직임 데이터의 그래프를 나타낸다.
도 8b는 본 개시의 예시적 실시 예에 따른 누적 병진 움직임 데이터를 나타낸다.
도 9는 본 개시의 예시적 실시 예에 따른 누적 회전 움직임 데이터를 나타낸다.
도 10은 본 개시의 예시적 실시 예에 따른 움직임 정보 생성기를 나타낸다.
도 11은 본 개시의 예시적 실시 예에 따른 움직임 정보 생성기를 나타낸다.
도 12는 본 개시의 예시적 실시 예에 따른 전자 장치의 움직임 정보 생성 방법의 순서도를 나타낸다.
도 13은 본 개시의 예시적 실시 예에 따른 덧셈기를 나타낸다.
도 14는 본 개시의 예시적 실시 예에 따른 전자 장치의 움직임 정보 생성 방법의 순서도를 나타낸다.
도 15는 본 개시의 예시적 실시 예에 따른 전자 장치를 나타낸다.
이하, 첨부한 도면을 참조하여 본 발명의 실시예에 대해 상세히 설명한다.
도 1은 본 개시의 예시적 실시 예에 따른 전자 장치(10)를 나타낸다. 전자 장치(10)는 버스(100), 프로세서(200), 메모리(300), 센서 모듈(400) 및 카메라 모듈(500)을 포함할 수 있다. 비제한적인 예시로서, 전자 장치(10)는 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 영상 전화기, 전자책 리더기(e-book reader), 데스크톱 PC(desktop PC), 랩탑 PC(laptop PC), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라, 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함할 수 있다. 웨어러블 장치는 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈 및 머리 착용형 장치(head-mounted-device(HMD))와 같은 액세서리 형 웨어러블 장치 및 implantable circuit과 같은 생체 이식 형 웨어러블 장치를 포함할 수 있다.
버스(100)는 전자 장치(10) 내에 포함된 다양한 구성들 간의 통신을 지원하는 통신 수단을 나타낼 수 있다. 도 1은 하나의 버스(100)를 포함하는 전자 장치(10)를 도시하지만, 이에 제한되는 것은 아니며, 전자 장치(10)는 복수의 버스들을 포함할 수 있다.
프로세서(200)는 전자 장치(10)의 전반적인 동작을 제어할 수 있으며, 일 예로서 프로세서(200)는 중앙 프로세싱 유닛(Central Processing Unit; CPU)일 수 있다. 프로세서(200)는 하나의 프로세서 코어(Single Core)를 포함하거나, 복수의 프로세서 코어들(Multi-Core)을 포함할 수 있다. 프로세서(200)는 메모리(300)에 저장된 프로그램들 및/또는 데이터를 처리 또는 실행할 수 있다. 일 실시 예에서, 프로세서(200)는 메모리(300)에 저장된 프로그램들을 실행함으로써 전자 장치(10)의 기능을 제어할 수 있다.
메모리(300)는 데이터를 저장하기 위한 저장 장소로서, 예를 들어, OS(Operating System), 각종 프로그램들 및 각종 데이터를 저장할 수 있다. 메모리(300)는 휘발성 메모리(volatile memory) 또는 비휘발성 메모리(non-volatile memory) 중 적어도 하나를 포함할 수 있다. 비휘발성 메모리는 ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Electrically Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), 플래시 메모리, PRAM(Phase-change RAM), MRAM(Magnetic RAM), RRAM(Resistive RAM), FRAM(Ferroelectric RAM) 등을 포함할 수 있다. 휘발성 메모리는 DRAM(Dynamic RAM), SRAM(Static RAM), SDRAM(Synchronous DRAM), PRAM(Phase-change RAM), MRAM(Magnetic RAM), RRAM(Resistive RAM), FeRAM(Ferroelectric RAM) 등을 포함할 수 있다. 또한 일 실시 예에 있어서, 메모리(300)는 HDD(Hard Disk Drive), SSD(Solid State Drive), CF(Compact Flash), SD(Secure Digital), Micro-SD(Micro Secure Digital), Mini-SD(Mini Secure Digital), xD(extreme digital) 또는 Memory Stick 중 적어도 하나를 포함할 수도 있다. 일 실시 예에서, 메모리(300)는 프로세서(200)에 의해 실행되는 프로그램들 및 복수의 인스트럭션들을 반영구적으로 또는 일시적으로 저장할 수 있다.
센서 모듈(400)은 전자 장치(10) 주변의 다양한 정보를 수집할 수 있다. 예컨대, 일 실시 예에서, 센서 모듈(400)은 전자 장치(10)의 회전 움직임에 관한 데이터를 얻기 위해 자이로스코프(gyroscope)를 포함할 수 있다. 뿐만 아니라, 비제한적인 예시로서, 센서 모듈(400)은 초음파 센서, 적외선 센서, 가속도 센서 및 중력 센서와 같은 다양한 센서들 중 적어도 하나를 포함할 수 있다. 또한, 전자 장치(10)의 구현에 따라, 카메라 모듈(500) 또한 센서 모듈(400)에 포함되는 구성인 것으로 볼 수 있는 경우도 있다.
카메라 모듈(500)은 전자 장치(10) 외부의 객체를 촬영하고, 이미지 데이터를 생성하고, 이미지 데이터에 다양한 영상 처리들 중 적어도 하나의 영상 처리를 수행할 수 있다. 이를 위해, 카메라 모듈(500)은 렌즈(520) 및 이미지 센서(540)를 포함할 수 있으며, 영상 처리기(image signal processor)를 포함할 수 있다. 영상 처리기는 영상 안정화기(video stabilizer; 560)를 포함할 수 있는데, 설명의 편의상 도 1은 영상 처리기에 포함된 구성들 중 영상 안정화기(560) 만을 도시한다.
렌즈(520)는 전자 장치(10) 외부의 객체에 의해 반사된 빛을 집광하는 역할을 수행한다. 렌즈(520)는 집광된 빛을 이미지 센서(540)에 제공할 수 있다.
이미지 센서(540)는 렌즈(520)에 의해 집광된 빛을 전기적 신호로 변환함으로써 이미지 데이터를 생성해낼 수 있다. 이를 위해, 이미지 센서(540)는 복수의 화소들이 2차원적으로 배열된 화소 배열을 포함할 수 있다. 예를 들어, 복수의 화소들 각각에는 복수의 기준색들 중 하나의 색이 할당될 수 있다. 예를 들어, 복수의 기준색들은 RGB(red, green, blue), 또는 RGBW(red, green, blue, white)를 포함할 수 있다. 비제한적인 예시로서, 이미지 센서(540)는 전하결합소자(charge-coupled device; CCD) 또는 상보성 금속 산화막 반도체(complementary metal-oxide-semiconductor; CMOS)를 이용해 구현될 수 있다. 이미지 센서(540)가 생성해내는 이미지 데이터는 이미지 프레임 및 프레임 데이터와 같이 다양한 형태로 칭해질 수 있다. 이미지 센서(540)는 사전 결정된(predetermined) 시간 간격 마다 새로운 이미지 데이터를 생성해낼 수 있는데, 새로운 이미지가 생성되는 주기에 대응되는 주파수를 프레임 레이트(frame rate)라 칭할 수 있다. 다시 말해, 프레임 레이트는 단위 시간당 새롭게 생성되는 이미지 데이터의 개수를 나타낼 수 있다.
영상 안정화기(560)는 이미지 센서(540)로부터 제공되는 이미지 데이터에 영상 처리(image processing)를 수행할 수 있다. 특히, 영상 안정화기(560)는 카메라 모듈(500)이 포함된 전자 장치(10)의 움직임에 관한 정보를 얻어냄으로써 이미지 데이터에 전자 장치(10)의 움직임을 보상할 수 있다. 일 실시 예에서, 영상 안정화기(560)는 전자 장치(10)의 동영상 촬영 모드, 타임랩스 촬영 모드 및 파노라마 촬영 모드와 같은 복수의 이미지 데이터를 얻는 촬영 모드에서 그 동작이 활성화 될 수 있다.
일 실시 예에서, 영상 안정화기(560)는 이미지 센서(540)로부터 제공되는 이미지 데이터를 이용해 전자 장치(10)의 병진 움직임 데이터를 얻어낼 수 있다. 병진 움직임 데이터는 제1 축 방향 병진 움직임 데이터 및 제2 축 방향 병진 움직임 데이터를 포함할 수 있으며, 전자 장치(10)의 병진 움직임에 대해서는 도 2a 내지 도 2c를 참조해 보다 자세히 설명된다. 영상 안정화기(560)는 얻어낸 병진 움직임 데이터에 제1 필터링 동작을 수행함으로써 필터링 된 병진 움직임 데이터를 얻어낼 수 있다. 보다 구체적으로는, 영상 안정화기(560)는 병진 움직임 데이터를 누적함으로써 누적 병진 움직임 데이터를 얻어낼 수 있고, 누적 병진 움직임 데이터를 렌즈(520)의 초점 거리로 나눔으로써 조정된 병진 움직임 데이터를 얻어낼 수 있으며, 조정된 병진 움직임 데이터에 제1 필터링 동작을 수행함으로써 필터링 된 병진 움직임 데이터를 얻어낼 수 있다.
일 실시 예에서, 영상 안정화기(560)는 센서 모듈(400)에 포함된 자이로스코프로부터 전자 장치(10)의 회전 움직임 데이터를 수신할 수 있다. 회전 움직임 데이터는 제1 축 방향 회전 움직임 데이터, 제2 축 방향 회전 움직임 데이터 및 제3 축 방향 회전 움직임 데이터를 포함할 수 있으며, 전자 장치(10)의 회전 움직임에 대해서는 도 2a 내지 도 2c를 참조해 보다 자세히 설명된다. 영상 안정화기(560)는 수신된 회전 움직임 데이터에 제2 필터링 동작을 수행함으로써 필터링 된 회전 움직임 데이터를 얻어낼 수 있다. 제2 필터링 동작은 상기 제1 필터링 동작과 서로 상보적인 관계에 있는 필터링 동작일 수 있다. 일 실시 예에서, 제1 필터링 동작은 저역 통과 필터링(low pass filtering) 동작일 수 있고, 제2 필터링 동작은 고역 통과 필터링(high pass filtering) 동작일 수 있다. 비제한적인 예시로서, 저역 통과 필터링 동작은 가우시안 저역 통과 필터링(Gaussian low pass filtering) 동작 및 IIR 필터링(infinite impulse response filtering) 동작을 포함할 수 있으며, 고역 통과 필터링 동작은 가우시안 고역 통과 필터링(Gaussian high pass filtering) 동작 및 버터워스 필터링(Butterworth filtering)을 포함할 수 있다.
일 실시 예에서, 영상 안정화기(560)는 필터링 된 병진 움직임 데이터 및 필터링 된 회전 움직임 데이터를 이용해 연산을 수행함으로써 전자 장치(10)의 움직임 정보를 생성해낼 수 있으며, 생성된 움직임 정보를 기초로 이미지 데이터를 보정할 수 있다. 다시 말해, 영상 안정화기(560)는 움직임 정보를 기초로 이미지 데이터에 전자 장치(10)의 움직임을 보상할 수 있다.
영상 안정화기(560)는 다양한 형태로 구현될 수 있으며, 일 실시 예에 따라 영상 안정화기(560)는 하드웨어 형태로 구현되거나 또는 소프트웨어 형태로 구현될 수 있다. 예를 들어, 영상 안정화기(560)가 하드웨어의 형태로 구현되는 경우, 영상 안정화기(560)는 이미지 데이터를 수신하고, 이미지 데이터에 영상 처리를 수행하기 위한 회로들을 포함할 수 있다. 또한 예를 들어, 영상 안정화기(560)가 소프트웨어로 구현되는 경우, 메모리(300)에 로딩된 프로그램 및/또는 인스트럭션들이 프로세서(200) 또는 카메라 모듈(500)에 포함된 별개의 프로세서(미도시)에 의해 실행됨으로써 영상 처리 동작이 수행될 수 있다. 다시 말해, 전술한 영상 처리 동작은 프로세서(200) 또는 카메라 모듈(500)에 포함된 별개의 프로세서가 영상 안정화기(560)에 포함되는 프로그램들을 실행함으로써 수행되는 것으로 설명될 수 있을 것이다. 하지만 상기 실시 예들에 한정되는 것도 아니며, 영상 안정화기(560)는 펌웨어와 같이 소프트웨어와 하드웨어가 결합된 형태로 구현될 수도 있다.
본 개시의 예시적 실시 예에 따른 전자 장치(10)에 의하면, 전자 장치(10)는 이미지 데이터로부터 얻어낸 병진 움직임 데이터에 제1 필터링 동작을 수행하고, 자이로스코프로부터 얻어낸 회전 움직임 데이터에 제2 필터링 동작을 수행한 뒤, 필터링 된 데이터들을 연산함으로써 빠르고 효율적으로 전자 장치(10)의 전방향 움직임 정보를 얻어낼 수 있으며, 이를 이용해 빠르고 효율적으로 전자 장치(10)의 전방향 움직임을 보상할 수 있다. 뿐만 아니라, 영상 안정화기(560)의 영상 처리 동작이 소프트웨어로 구현될 수 있는 경우, 기존의 전자 장치(10)가 자이로스코프를 포함하기만 한다면, 기존의 전자 장치(10)에 간단한 소프트웨어 및/또는 펌웨어의 업데이트를 통해 본 개시의 예시적 실시 예에 따른 영상 안정화 방법을 구현할 수 있다.
도 2a 내지 도 2c는 전자 장치의 병진 움직임 및 회전 움직임에 대해 설명하기 위한 전자 장치를 나타낸다. 도 2a 내지 도 2c에 따른 전자 장치의 모양, 카메라 렌즈의 위치 및 크기와 같은 전자 장치의 외형적 특징은 설명의 편의를 위한 예시적인 것일 뿐, 본 개시의 기술적 사상이 이에 제한되는 것은 아니다.
도 2a를 참조하면, 전자 장치가 존재하는 공간은 제1 축 방향, 제2 축 방향 및 제3 축 방향을 포함하는 3차원 공간일 수 있다. 본 명세서에서는, 설명의 편의상, 공간 상에서 제1 축 방향의 축을 x축으로, 공간 상에서 제2 축 방향의 축을 y축으로, 공간 상에서 제3 축 방향의 축을 z축으로 사용한다. 또한, x축 및 y축 방향의 합성을 통해 표현되는 평면이 전자 장치의 카메라가 위치하는 평면과 평행해지도록, x축, y축 및 z축을 정의할 수 있다. 다시 말해, z축을 따른(along) 방향은 카메라에 정방향으로 빛이 입사되는 방향과 평행할 수 있다. 전자 장치는 전자 장치의 사용자(촬영자)에 의해 조작될 수 있고, 이런 경우 전자 장치는 예상치 못하게 움직일 수 있다.
도 2b를 참조하면, 전자 장치는 x축 방향을 따라 이동하거나 x축 방향을 따라 회전할 수 있다. 전자 장치의 x축 방향의 병진 움직임은, 전자 장치의 무게 중심이 x 축 방향을 따라 이동하는 움직임을 나타낼 수 있다. 전자 장치의 x축 방향의 회전 움직임은, 전자 장치가 전자 장치의 무게 중심을 중심으로 하여 x축 방향을 따라 회전하는 움직임을 나타낼 수 있다. 설명의 편의상, x축 방향을 따라 회전하는 움직임을 x축 방향의 회전 움직임이라 칭하기로 한다.
도 2c를 참조하면, 전자 장치는 y축 방향을 따라 이동하거나 y축 방향을 따라 회전할 수 있다. 전자 장치의 y축 방향의 병진 움직임은, 전자 장치의 무게 중심이 y축 방향을 따라 이동하는 움직임을 나타낼 수 있다. 전자 장치의 y축 방향의 회전 움직임은, 전자 장치가 전자 장치의 무게 중심을 중심으로 하여 y축 방향을 따라 회전하는 움직임을 나타낼 수 있다. 설명의 편의상, y축 방향을 따라 회전하는 움직임을 y축 방향의 회전 움직임이라 칭하기로 한다.
도 2b 및 도 2c에 도시되지 않았지만, 전자 장치는 z축을 따라서도 회전할 수 있다. 전자 장치가 전자 장치의 무게 중심을 중심으로 하여 z축 방향을 따라 회전하는 움직임을 전자 장치의 z축 방향의 회전 움직임이라 칭할 수 있다.
도 3은 본 개시의 예시적 실시 예에 따른 센서 모듈(400) 및 카메라 모듈(500)을 나타낸다. 도 3의 센서 모듈(400) 및 카메라 모듈(500)에 관해 도 1과 중복되는 설명은 생략한다. 도 3은 도 1을 함께 참조하여 설명된다.
센서 모듈(400)은 자이로스코프(420)를 포함할 수 있다. 자이로스코프(420)는 각운동량 원리를 이용해 자이로스코프(420)가 포함된 전자 장치(10)의 회전 움직임에 관한 정보를 측정할 수 있다. 자이로스코프(420)는 전자 장치(10)가 기준 상태를 기준으로 회전 운동한 각도에 관한 정보를 포함하는 회전 움직임 데이터(RMD)를 생성할 수 있다. 일 실시 예에서, 회전 움직임 데이터(RMD)는 제1 축 방향의 회전 움직임 데이터, 제2 축 방향의 회전 움직임 데이터 및 제3 축 방향의 회전 움직임 데이터를 포함할 수 있다.
카메라 모듈(500)은 렌즈(520), 이미지 센서(540) 및 영상 안정화기(560)를 포함할 수 있다. 영상 안정화기(560)는 움직임 추정기(561), 움직임 정보 생성기(562) 및 움직임 보상기(569)를 포함할 수 있다.
움직임 추정기(561)는 이미지 센서(540)로부터 수신되는 이미지 데이터(IMG)를 기초로 전자 장치(10)의 병진 움직임 데이터(TMD)를 생성해낼 수 있다. 구체적으로, 움직임 추정기(561)는 복수의 시점에서 수신된 복수의 이미지 데이터(IMG)를 이용해, 병진 움직임 데이터(TMD)를 생성해낼 수 있다. 비제한적인 예시로서, 움직임 추정기(561)는 이미지 데이터(IMG)에 포함된 특정 오브젝트(object)의 움직임 정도를 기초로 병진 움직임 데이터(TMD)를 얻어낼 수 있다. 움직임 추정기(561)는 생성된 병진 움직임 데이터(TMD)를 움직임 정보 생성기(562)에 제공할 수 있다.
움직임 정보 생성기(562)는 움직임 추정기(561)로부터 병진 움직임 데이터(TMD)를 수신할 수 있고, 자이로스코프(420)로부터 회전 움직임 데이터(RMD)를 수신할 수 있다. 움직임 정보 생성기(562)는 병진 움직임 데이터에 제1 필터링 동작을 수행하고, 회전 움직임 데이터에 제2 필터링 동작을 수행한 뒤, 필터링 된 병진 움직임 데이터 및 필터링 된 회전 움직임 데이터를 이용해 연산을 수행함으로써 움직임 정보(MI)를 생성해낼 수 있다. 움직임 정보(MI)는 전자 장치(10)의 병진 움직임 및 회전 움직임을 모두 고려한 전자 장치(10)의 움직임을 내포하는 정보를 나타낼 수 있다.
보다 구체적으로는, 움직임 정보 생성기(562)는 병진 움직임 데이터를 시간에 따라 누적함으로써 누적 병진 움직임 데이터를 생성할 수 있고, 누적 병진 움직임 데이터를 렌즈(520)의 초점 거리로 나눔으로써 조정된 병진 움직임 데이터를 생성할 수 있고, 조정된 병진 움직임 데이터에 제1 필터링 동작을 수행함으로써 필터링 된 병진 움직임 데이터를 생성할 수 있다. 마찬가지로, 움직임 정보 생성기(562)는 회전 움직임 데이터를 시간에 따라 누적함으로써 누적 회전 움직임 데이터를 생성할 수 있고, 누적 회전 움직임 데이터에 제2 필터링 동작을 수행함으로써 필터링 된 회전 움직임 데이터를 생성할 수 있다.
여기서, 제1 필터링 동작과 제2 필터링 동작은 상호간에 상보적인 필터링 동작을 나타낼 수 있으며, 비제한적인 예시로서, 제1 필터링 동작은 저역 통과 필터링 동작이고, 제2 필터링 동작은 고역 통과 필터링 동작일 수 있다.
움직임 정보 생성기(562)는 생성된 움직임 정보(MI)를 움직임 보상기(569)에 제공할 수 있다.
움직임 보상기(569)는 움직임 정보 생성기(562)로부터 제공된 움직임 정보(MI)를 기초로 이미지 데이터(IMG)를 보정함으로써 보상된 이미지 데이터(IMG_comp)를 생성할 수 있다. 다시 말해, 움직임 보상기(569)는 움직임 정보(MI)를 기초로, 이미지 데이터(IMG)에 전자 장치(10)의 움직임을 보상함으로써 보상된 이미지 데이터(IMG_comp)를 생성할 수 있다. 이로써, 움직임 보상기(569)는 보다 선명한 이미지를 출력할 수 있다. 다시 말해, 보상된 이미지 데이터(IMG_comp)는 이미지 데이터(IMG)에 비해 선명한 이미지일 수 있다.
본 개시의 예시적 실시 예에 따른 전자 장치(10)에 의하면, 전자 장치(10)는 이미지 데이터로부터 얻어낸 병진 움직임 데이터에 제1 필터링 동작을 수행하고, 자이로스코프로부터 얻어낸 회전 움직임 데이터에 제2 필터링 동작을 수행한 뒤, 필터링 된 데이터들을 연산함으로써 빠르고 효율적으로 전자 장치(10)의 전방향 움직임 정보를 얻어낼 수 있으며, 이를 이용해 빠르고 효율적으로 전자 장치(10)의 전방향 움직임을 보상할 수 있다. 뿐만 아니라, 영상 안정화기(560)의 영상 처리 동작이 소프트웨어로 구현될 수 있는 경우, 기존의 전자 장치(10)가 자이로스코프를 포함하기만 한다면, 기존의 전자 장치(10)에 간단한 소프트웨어 및/또는 펌웨어의 업데이트를 통해 본 개시의 예시적 실시 예에 따른 영상 안정화 방법을 구현할 수 있다.
또한, 일반적으로, 영상 안정화기(560)가 전자 장치(10)의 움직임을 보상하려 할 때, 병진 움직임 데이터 중에서는 비교적 낮은 주파수 대역의 데이터가 필요하고, 회전 움직임 데이터 중에서는 비교적 높은 주파수 대역의 데이터가 필요한데, 병진 움직임 데이터와 회전 움직임 데이터 각각에 상호간 상보적인 필터링 동작을 수행함으로써 이미지 보상에 필요한 최적화된 움직임 정보(MI)를 효율적으로 얻어낼 수 있다.
도 4는 본 개시의 예시적 실시 예에 따른 움직임 정보 생성기(562)를 나타낸다. 움직임 정보 생성기(562)에 관해 도 3과 중복되는 설명은 생략한다. 도 4는 도 1 및 도 3을 함께 참조하여 설명된다.
움직임 정보 생성기(562)는, 제1 움직임 축적기(563), 제2 움직임 축적기(564), 제1 필터(565), 제2 필터(566) 및 덧셈기(567)를 포함할 수 있다.
제1 움직임 축적기(563)는 병진 움직임 데이터(TMD)를 누적함으로써 누적 병진 움직임 데이터(TMD_acc)를 생성할 수 있다. 누적 병진 움직임 데이터(TMD_acc)는 1차원 매트릭스(matrix) 형태의 데이터일 수 있다. 제1 움직임 축적기(563)는 누적 병진 움직임 데이터(TMD_acc)의 n번째 요소(element)에 병진 움직임 데이터(TMD)를 합산함으로써 누적 병진 움직임 데이터(TMD_acc)의 (n+1)번째 요소를 생성해낼 수 있다. 누적 병진 움직임 데이터(TMD_acc)가 생성되는 식은 아래의 수학식 1과 같다.
Figure 112018099705205-pat00001
누적 병진 움직임 데이터(TMD_acc)에 데이터가 새롭게 누적되는 주파수를, 누적 병진 움직임 데이터의 주파수라 칭하기로 한다. 이 때, 누적 병진 움직임 데이터의 주파수는, 이미지 센서(540)가 이미지 데이터(IMG)를 제공하는 프레임 레이트와 같거나 프레임 레이트 보다 작을 수 있다.
제2 움직임 축적기(564)는 회전 움직임 데이터(RMD)를 누적함으로써 누적 회전 움직임 데이터(RMD_acc)를 생성할 수 있다. 누적 회전 움직임 데이터(RMD _acc)는 1차원 매트릭스(matrix) 형태의 데이터일 수 있다. 제2 움직임 축적기(564)는 누적 회전 움직임 데이터(RMD_acc)의 m번째 요소(element)에 병진 움직임 데이터(TMD)를 합산함으로써 누적 회전 움직임 데이터(RMD_acc)의 (m+1)번째 요소를 생성해낼 수 있다. 누적 회전 움직임 데이터(RMD_acc)가 생성되는 식은 아래의 수학식 2와 같다.
Figure 112018099705205-pat00002
제1 필터(565)는 누적 병진 움직임 데이터(TMD_acc)에 제1 필터링 동작을 수행함으로써 필터링 된 병진 움직임 데이터(TMD_filt)를 생성해낼 수 있다. 제1 필터(565)는 저역 통과 필터일 수 있다. 비제한적인 예시로서, 제1 필터(565)는 가우시안 저역 통과 필터(Gaussian low pass filter) 및 IIR 필터와 같은 다양한 저역 통과 필터들 중 하나일 수 있다.
제2 필터(566)는 누적 회전 움직임 데이터(RMD_acc)에 제2 필터링 동작을 수행함으로써 필터링 된 회전 움직임 데이터(RMD_filt)를 생성해낼 수 있다. 제2 필터(566)는 제1 필터(565)와 상보적인 관계에 있는 필터일 수 있다. 제2 필터(566)는 고역 통과 필터일 수 있다. 비제한적인 예시로서, 제2 필터(566)는 가우시안 고역 통과 필터(Gaussian high pass filter) 및 버터워스 필터와 같은 다양한 고역 통과 필터들 중 하나일 수 있다. 또한 일 실시 예에서, 제2 필터(566)는 저역 통과 필터 및 감산기를 이용해 구현된 고역 필터일 수도 있다.
덧셈기(567)는 필터링 된 병진 움직임 데이터(TMD_filt) 및 필터링 된 회전 움직임 데이터(RMD_filt)를 이용해 연산을 수행함으로써 움직임 정보(MI)를 생성해낼 수 있다. 이 때, 덧셈기(567)는 필터링 된 병진 움직임 데이터(TMD_filt) 중 적어도 일부 및 필터링 된 회전 움직임 데이터(RMD_filt) 중 적어도 일부를 합산하는 연산을 수행함으로써 움직임 정보(MI)를 생성해낼 수 있다. 일 실시 예에서, 필터링 된 병진 움직임 데이터(TMD_filt)는 필터링 된 제1 축 방향의 병진 움직임 데이터 및 필터링 된 제2 축 방향의 병진 움직임 데이터를 포함할 수 있고, 필터링 된 회전 움직임 데이터(RMD_filt)는 필터링 된 제1 축 방향의 회전 움직임 데이터, 필터링 된 제2 축 방향의 회전 움직임 데이터 및 필터링 된 제3 축 방향의 회전 움직임 데이터를 포함할 수 있다. 이 때, 덧셈기(567)는 필터링 된 제1 축 방향의 병진 움직임 데이터와 필터링 된 제1 축 방향의 회전 움직임 데이터를 합산함으로써 제1 움직임 정보를 생성할 수 있고, 필터링 된 제2 축 방향의 병진 움직임 데이터와 필터링 된 제2 축 방향의 회전 움직임 데이터를 합산함으로써 제2 움직임 정보를 생성할 수 있으며, 필터링 된 제3 축 방향의 회전 움직임 데이터를 제3 움직임 정보로서 생성할 수 있다. 덧셈기(567)는 제1 움직임 정보, 제2 움직임 정보 및 제3 움직임 정보를 움직임 정보(MI)로서 출력할 수 있다.
도 5는 본 개시의 예시적 실시 예에 따른 전자 장치의 움직임 정보 생성 방법의 순서도를 나타낸다. 도 5는 도 1, 도 3 및 도 4를 함께 참조하여 설명된다.
전자 장치(10)는 누적 병진 움직임 데이터(TMD_acc)를 제1 필터(565)를 이용해 필터링 할 수 있다(S120). 일 실시 예에서, 움직임 정보 생성기(562)에 포함된 제1 필터(565)는 누적 병진 움직임 데이터(TMD_acc)에 제1 필터링 동작을 수행함으로써 필터링 된 병진 움직임 데이터(TMD_filt)를 생성해낼 수 있다. 일 실시 예에서, 제1 필터(565)는 저역 통과 필터일 수 있다.
전자 장치(10)는 누적 회전 움직임 데이터(RMD_acc)를 제2 필터(566)를 이용해 필터링 할 수 있다(S140). 일 실시 예에서, 움직임 정보 생성기(562)에 포함된 제2 필터(566)는 누적 회전 움직임 데이터(RMD_acc)에 제2 필터링 동작을 수행함으로써 필터링 된 회전 움직임 데이터(RMD_filt)를 생성해낼 수 있다. 일 실시 예에서, 제2 필터링 동작은 제1 필터링 동작과 상보적인 관계에 있을 수 있다. 또한 일 실시 예에서, 제2 필터(566)는 고역 통과 필터일 수 있다.
전자 장치(10)는 필터링 된 병진 움직임 데이터(TMD_filt) 및 필터링 된 회전 움직임 데이터(RMD_filt)를 이용해 연산을 수행함으로써 움직임 정보(MI)를 생성할 수 있다(S160). 일 실시 예에서, 움직임 정보 생성기(562)에 포함된 덧셈기(567)는 필터링 된 병진 움직임 데이터(TMD_filt)의 적어도 일부 및 필터링 된 회전 움직이 데이터(RMD_filt)의 적어도 일부를 합산하는 연산을 수행함으로써 움직임 정보(MI)를 생성해낼 수 있다.
도 6은 본 개시의 예시적 실시 예에 따른 움직임 정보 생성기(562)를 나타낸다. 움직임 정보 생성기(562)에 관해 도 3 및 도 5와 중복되는 설명은 생략한다. 도 6은 도 1 및 도 3을 함께 참조하여 설명된다.
움직임 정보 생성기(562)는 도 5의 움직임 정보 생성기(562)의 구성에 추가적으로 나눗셈기(divider; 568)를 더 포함할 수 있다.
나눗셈기(568)는 제1 움직임 축적기(563)로부터 누적 병진 움직임 데이터(TMD_acc)를 수신할 수 있으며, 누적 병진 움직임 데이터(TMD_acc)를 렌즈(520)의 초점 거리(focal length)로 나누는 연산을 수행함으로써 조정된 병진 움직임 데이터(TMD_adj)를 생성할 수 있다. 이 때, 나눗셈기(568)는 누적 병진 움직임 데이터(TMD_acc)와 초점 거리의 단위(unit)를 일치시키는 동작을 먼저 수행할 수 있다. 예를 들어, 누적 병진 움직임 데이터(TMD_acc)에 포함된 데이터들의 단위(unit)가 '픽셀'일 경우, 렌즈의 초점 거리의 단위가 '픽셀'이 되도록 초점 거리의 단위를 변환한 뒤 나눗셈 연산을 수행할 수 있다. 결과적으로, 나눗셈기(568)는 누적 병진 움직임 데이터(TMD_acc) 및 누적 회전 움직임 데이터(RMD_acc)의 단위를 일치시키는 역할을 수행할 수 있다.
제1 필터(565)는 나눗셈기(568)에 의해 제공되는 조정된 병진 움직임 데이터(TMD_adj)에 제1 필터링 동작을 수행함으로써 필터링 된 병진 움직임 데이터(TMD_filt)를 생성해낼 수 있다.
본 개시의 예시적 실시 예에 따른 움직임 정보 생성기(562)에 의하면, 전자 장치(10)는 누적 병진 움직임 데이터 및 누적 회전 움직임 데이터 각각에 제1 필터링 동작 및 제2 필터링 동작을 수행할 수 있을 뿐 아니라, 덧셈기(567)에 의해 더해지는 필터링 된 병진 움직임 데이터 및 필터링 된 회전 움직임 데이터의 단위를 일치시킬 수 있다.
도 7은 본 개시의 예시적 실시 예에 따른 전자 장치의 움직임 정보 생성 방법의 순서도를 나타낸다. 도 5는 도 1, 도 3 및 도 6을 함께 참조하여 설명된다.
전자 장치(10)는 누적 병진 움직임 데이터(TMD_acc)를 렌즈(520)의 초점 거리로 나누어 조정된 병진 움직임 데이터(TMD_adj)를 생성할 수 있다(S210). 일 실시 예에서, 움직임 정보 생성기(562)에 포함된 나눗셈기(568)가 누적 병진 움직임 데이터(TMD_acc)를 렌즈(520)의 초점 거리로 나눔으로써 조정된 누적 병진 움직임 데이터(TMD_adj)를 생성해낼 수 있다.
전자 장치(10)는 조정된 병진 움직임 데이터(TMD_adj)를 제1 필터(565)를 이용해 필터링 할 수 있다(S220). 일 실시 예에서, 움직임 정보 생성기(562)에 포함된 제1 필터(565)는 조정된 병진 움직임 데이터(TMD_adj)에 제1 필터링 동작을 수행함으로써 필터링 된 병진 움직임 데이터(TMD_filt)를 생성해낼 수 있다. 일 실시 예에서, 제1 필터(565)는 저역 통과 필터일 수 있다.
전자 장치(10)는 누적 회전 움직임 데이터(RMD_acc)를 제2 필터(566)를 이용해 필터링 할 수 있다(S240). 일 실시 예에서, 움직임 정보 생성기(562)에 포함된 제2 필터(566)는 누적 회전 움직임 데이터(RMD_acc)에 제2 필터링 동작을 수행함으로써 필터링 된 회전 움직임 데이터(RMD_filt)를 생성해낼 수 있다. 일 실시 예에서, 제2 필터링 동작은 제1 필터링 동작과 상보적인 관계에 있을 수 있다. 또한 일 실시 예에서, 제2 필터(566)는 고역 통과 필터일 수 있다.
전자 장치(10)는 필터링 된 병진 움직임 데이터(TMD_filt) 및 필터링 된 회전 움직임 데이터(RMD_filt)를 이용해 연산을 수행함으로써 움직임 정보(MI)를 생성할 수 있다(S260). 일 실시 예에서, 움직임 정보 생성기(562)에 포함된 덧셈기(567)는 필터링 된 병진 움직임 데이터(TMD_filt)의 적어도 일부 및 필터링 된 회전 움직이 데이터(RMD_filt)의 적어도 일부를 합산하는 연산을 수행함으로써 움직임 정보(MI)를 생성해낼 수 있다.
도 8a는 본 개시의 예시적 실시 예에 따른 시간에 대한 누적 병진 움직임 데이터(TMD_acc) 및 필터링 된 병진 움직임 데이터(TMD_filt)의 그래프를 나타낸다.
누적 병진 움직임 곡선(601)은 시간에 따른 누적 병진 움직임 데이터(TMD_acc)의 그래프를 나타낼 수 있다. 그래프의 y축에서 '0'이라는 것은 전자 장치의 초기 위치를 나타낼 수 있으며, 누적 병진 움직임 곡선(601)은 특히 누적 병진 움직임 데이터(TMD_acc)에 포함된 데이터들 중 어느 한 방향에 대응되는 데이터들을 시간에 따라 플로팅(plotting)한 뒤 플로팅 된 점들을 연결한 그래프를 나타낼 수 있다.
필터링 된 병진 움직임 곡선(602)은 시간에 따른 필터링 된 병진 움직임 데이터(TMD_filt)의 그래프를 나타낼 수 있다. 필터링 된 병진 움직임 데이터(TMD_filt)는 누적 병진 움직임 데이터에 저역 통과 필터링 동작을 수행함으로써 얻어진 데이터일 수 있다.
전자 장치가 전자 장치의 병진 움직임을 고려해 이미지 데이터를 보상하려 하는 경우, 미세한 리플(ripple)이 배제된 병진 움직임을 고려할 수 있다. 따라서, 전자 장치는 누적 병진 움직임 곡선(601)에서 고주파 성분이 배제된 필터링 된 병진 움직임 곡선(601)과 같은 그래프를 나타내는 필터링 된 병진 움직임 데이터(TMD_filt)를 이미지 데이터 보상에 이용할 수 있다.
반면, 그래프에 도시되진 않았지만, 전자 장치가 전자 장치의 회전 움직임을 고려해 이미지 데이터를 보상하려 하는 경우에는, 미세한 회전 움직임을 고려할 수 있다. 따라서, 전자 장치는 누적 회전 움직임 데이터에서 저주파 성분을 배제시킨 뒤 필터링 된 회전 움직임 데이터를 이미지 데이터 보상에 이용할 수 있다.
도 8b는 본 개시의 예시적 실시 예에 따른 누적 병진 움직임 데이터(TMD_acc)를 나타낸다. 누적 병진 움직임 데이터(TMD_acc)는 1차원 매트릭스 형태를 나타낼 수 있다. 누적 병진 움직임 데이터(TMD_acc)는 n개의 요소(element)들을 포함할 수 있다(단, n은 자연수). 이와 같이, 전자 장치는 병진 움직임 데이터를 누적함으로써 누적 병진 움직임 데이터(TMD_acc)를 생성할 수 있고, 관리할 수 있다. 전자 장치는 누적 병진 움직임 데이터(TMD_acc)에 제1 필터링 동작을 수행함으로써 필터링 된 병진 움직임 데이터를 생성해낼 수 있다.
도 9는 본 개시의 예시적 실시 예에 따른 누적 회전 움직임 데이터(RMD_acc)를 나타낸다. 누적 회전 움직임 데이터(RMD_acc)는 1차원 매트릭스 형태를 나타낼 수 있다. 누적 회전 움직임 데이터(RMD_acc)는 m개의 요소(element)들을 포함할 수 있다(단, m은 자연수). 이와 같이, 전자 장치는 회전 움직임 데이터를 누적함으로써 누적 회전 움직임 데이터(RMD_acc)를 생성할 수 있고, 관리할 수 있다. 전자 장치는 누적 회전 움직임 데이터(RMD_acc)에 제2 필터링 동작을 수행함으로써 필터링 된 병진 움직임 데이터를 생성해낼 수 있다.
도 10은 본 개시의 예시적 실시 예에 따른 움직임 정보 생성기(562)를 나타낸다. 도 10의 움직임 정보 생성기(562)에 관해 도 6과 중복되는 설명은 생략한다.
도 10은, 도 6과 비교할 때, 제1 필터(565)가 저역 통과 필터(565)이고, 제2 필터(566)가 고역 통과 필터(566)인 것을 특징으로 한다.
도 8a를 참조해 설명되었듯이, 움직임 정보 생성기(562)는 움직임 정보(MI)를 생성함에 있어서, 누적 병진 움직임 데이터(TMD_acc) 중에서는 낮은 주파수 성분의 데이터들이 유용하고, 누적 회전 움직임 데이터(RMD_acc) 중에서는 높은 주파수 성분의 데이터들이 유용하게 이용될 수 있다.
따라서, 저역 통과 필터(565)는 조정된 병진 움직임 데이터(TMD_adj)에 저역 통과 필터링 동작을 수행함으로써 필터링 된 병진 움직임 데이터(TMD_filt)를 생성해낼 수 있다.
또한, 고역 통과 필터(566)는 누적 회전 움직임 데이터(RMD_acc)에 고역 통과 필터링 동작을 수행함으로써 필터링 된 회전 움직임 데이터(RMD_filt)를 생성해낼 수 있다.
도 11은 본 개시의 예시적 실시 예에 따른 움직임 정보 생성기(562)를 나타낸다. 도 11의 움직임 정보 생성기(562)에 관해 도 6 및 도 10과 중복되는 설명은 생략한다.
도 11은, 도 6과 비교할 때, 제1 필터(565)가 제1 저역 통과 필터(565)이고, 제2 필터(566)가 제2 저역 통과 필터(566-1) 및 감산기(566-2)를 포함하는 것을 특징으로 한다. 또한, 도 11은, 도 10과 비교할 때, 고역 통과 필터인 제2 필터(566)가 제2 저역 통과 필터(566-1)를 이용해 구현된 것을 특징으로 한다.
제1 저역 통과 필터(565)는 조정된 병진 움직임 데이터(TMD_adj)에 저역 통과 필터링 동작을 수행함으로써 필터링 된 병진 움직임 데이터(TMD_filt)를 생성해낼 수 있다.
제2 저역 통과 필터(566-1)는 누적 회전 움직임 데이터(RMD_acc)에 저역 통과 필터링 동작을 수행함으로써 저역 통과 회전 움직임 데이터(RMD_lpf)를 생성할 수 있다. 감산기(566-2)는 누적 회전 움직임 데이터(RMD_acc)에서 저역 통과 회전 움직임 데이터(RMD_lpf)를 감삼함으로써 필터링 된 회전 움직임 데이터(RMD_filt)를 생성해낼 수 있다. 제2 저역 통과 필터(566-1) 및 감산기(566-2)의 동작은 일체로서 하나의 고역 통과 필터(566)의 동작을 나타낼 수 있다.
도 12는 본 개시의 예시적 실시 예에 따른 전자 장치의 움직임 정보 생성 방법의 순서도를 나타낸다. 특히, 도 12는 도 11의 실시 예에 대응되는 순서도를 나타낸다. 도 12는 도 1 및 도 11을 함께 참조하여 설명된다.
전자 장치(10)는 병진 움직임 데이터(TMD)를 누적함으로써 누적 병진 움직임 데이터(TMD_acc)를 생성할 수 있다(S310). 일 실시 예에서, 움직임 정보 생성기(562)에 포함된 제1 움직임 축적기(563)는 병진 움직임 데이터(TMD)를 시간에 따라누적함으로써 누적 병진 움직임 데이터(TMD_acc)를 생성할 수 있다.
전자 장치(10)는 누적 병진 움직임 데이터(TMD_acc)를 렌즈(520)의 초점 거리로 나누어 조정된 병진 움직임 데이터(TMD_adj)를 생성할 수 있다(S320). 일 실시 예에서, 움직임 정보 생성기(562)에 포함된 나눗셈기(568)가 누적 병진 움직임 데이터(TMD_acc)를 렌즈(520)의 초점 거리로 나눔으로써 조정된 누적 병진 움직임 데이터(TMD_adj)를 생성해낼 수 있다.
전자 장치(10)는 조정된 병진 움직임 데이터(TMD_adj)를 제1 저역 통과 필터(565)를 이용해 필터링 할 수 있다(S330). 일 실시 예에서, 움직임 정보 생성기(562)에 포함된 제1 저역 통과 필터(565)는 조정된 병진 움직임 데이터(TMD_adj)에 저역 통과 필터링 동작을 수행함으로써 필터링 된 병진 움직임 데이터(TMD_filt)를 생성해낼 수 있다.
전자 장치(10)는 회전 움직임 데이터(RMD)를 누적함으로써 누적 회전 움직임 데이터(RMD_acc)를 생성할 수 있다(S340). 일 실시 예에서, 움직임 정보 생성기(562)에 포함된 제2 움직임 축적기(564)는 회전 움직임 데이터(RMD)를 시간에 따라누적함으로써 누적 회전 움직임 데이터(RMD_acc)를 생성할 수 있다.
전자 장치(10)는 누적 회전 움직임 데이터(RMD_acc)를 제2 저역 통과 필터(566-1)를 이용해 필터링 할 수 있다(S350). 일 실시 예에서, 움직임 정보 생성기(562)에 포함된 제2 저역 통과 필터(566-1)는 누적 회전 움직임 데이터(RMD_acc)에 저역 통과 필터링 동작을 수행함으로써 저역 통과 회전 움직임 데이터(RMD_lpf)를 생성해낼 수 있다.
전자 장치(10)는 누적 회전 움직임 데이터(RMD_acc)에서 저역 통과 회전 움직임 데이터(RMD_lpf)를 감산함으로써 필터링 된 회전 움직임 데이터(RMD_filt)를 생성할 수 있다(S360). 일 실시 예에서, 움직임 정보 생성기(562)에 포함된 감산기(566-2)는 누적 회전 움직임 데이터(RMD_acc)에서 저역 통과 회전 움직임 데이터(RMD_lpf)를 감산함으로써 필터링 된 회전 움직임 데이터(RMD_filt)를 생성할 수 있다.
전자 장치(10)는 필터링 된 병진 움직임 데이터(TMD_filt) 및 필터링 된 회전 움직임 데이터(RMD_filt)를 이용해 연산을 수행함으로써 움직임 정보(MI)를 생성할 수 있다(S370). 일 실시 예에서, 움직임 정보 생성기(562)에 포함된 덧셈기(567)는 필터링 된 병진 움직임 데이터(TMD_filt)의 적어도 일부 및 필터링 된 회전 움직이 데이터(RMD_filt)의 적어도 일부를 합산하는 연산을 수행함으로써 움직임 정보(MI)를 생성해낼 수 있다.
도 13은 본 개시의 예시적 실시 예에 따른 덧셈기(Adder; 567)를 나타낸다. 일 실시 예에서, 덧셈기(567)는 제1 덧셈기(567-1) 및 제2 덧셈기(567-2)를 포함할 수 있다.
일 실시 예에서, 병진 움직임 데이터는 제1 축 방향의 병진 움직임 데이터 및 제2 축 방향의 병진 움직임 데이터를 포함할 수 있고, 회전 움직임 데이터는 제1 축 방향의 회전 움직임 데이터, 제2 축 방향의 회전 움직임 데이터 및 제3 축 방향의 회전 움직임 데이터를 포함할 수 있다. 따라서, 필터링 된 병진 움직임 데이터(TMD_filt)는 필터링 된 제1 축 방향의 병진 움직임 데이터(TMD_filt_x) 및 필터링 된 제2 축 방향의 병진 움직임 데이터(TMD_filt_y)를 포함할 수 있고, 필터링 된 회전 움직임 데이터(RMD_filt)는 필터링 된 제1 축 방향의 회전 움직임 데이터(RMD_filt_x), 필터링 된 제2 축 방향의 회전 움직임 데이터(RMD_filt_y) 및 필터링 된 제3 축 방향의 회전 움직임 데이터(RMD_filt_z)를 포함할 수 있다.
제1 덧셈기(567-1)는 필터링 된 제1 축 방향의 병진 움직임 데이터(TMD_filt_x) 및 필터링 된 제1 축 방향의 회전 움직임 데이터(RMD_filt_x)를 합산함으로써 제1 축 방향의 움직임 정보(MI_x)를 생성할 수 있다. 제1 축 방향의 움직임 정보(MI_x)는 제1 움직임 정보라 칭해질 수 있다.
제2 덧셈기(567-2)는 필터링 된 제2 축 방향의 병진 움직임 데이터(TMD_filt_y) 및 필터링 된 제2 축 방향의 회전 움직임 데이터(RMD_filt_y)를 합산함으로써 제2 축 방향의 움직임 정보(MI_y)를 생성할 수 있다. 제2 축 방향의 움직임 정보(MI_y)는 제2 움직임 정보라 칭해질 수 있다.
덧셈기(567)는 필터링 된 제3 축 방향의 회전 움직임 데이터(RMD_filt_z)를 제3 축 방향의 움직임 정보(MI_z)로서 출력할 수 있다. 제3 축 방향의 움직임 정보(MI_z)는 제3 움직임 정보라 칭해질 수 있다.
최종적으로, 덧셈기(567)는 제1 축 방향의 움직임 정보(MI_x), 제2 축 방향의 움직임 정보(MI_y) 및 제3 축 방향의 움직임 정보(MI_z)를 움직임 정보(MI)로서 출력할 수 있다.
도 14는 본 개시의 예시적 실시 예에 따른 전자 장치의 움직임 정보 생성 방법의 순서도를 나타낸다. 도 14는 특히, 누적 병진 움직임 데이터와 누적 회전 움직임 데이터의 주파수가 다른 경우의 처리에 대한 실시 예를 나타낸다. 도 14는 도 1 및 도 4를 함께 참조해 설명된다.
누적 병진 움직임 데이터(TMD_acc)의 주파수는, 새로운 병진 움직임 데이터가 누적되는 주기에 대응되는 주파수를 나타내고, 누적 회전 움직임 데이터(RMD_acc)의 주파수는, 새로운 회전 움직임 데이터가 누적되는 주기에 대응되는 주파수를 나타낼 수 있다. 이 때, 일 실시 예에서, 누적 병진 움직임 데이터(TMD_acc)의 주파수는, 이미지 센서(540)가 이미지 데이터(IMG)를 생성하는 프레임 레이트와 같을 수 있고, 누적 회전 움직임 데이터(RMD_acc)의 주파수는, 자이로스코프(420)가 회전 움직임 데이터(RMD)를 생성하는 주파수와 같을 수 있다.
전자 장치(10)는 누적 병진 움직임 데이터(TMD_acc)의 주파수와 누적 회전 움직임 데이터(RMD_acc)의 주파수를 비교해, 더 높은 주파수의 데이터를 다운 샘플링 함으로써 더 낮은 주파수로 데이터의 주파수를 맞출 수 있다(S405). 예를 들어, 누적 병진 움직임 데이터(TMD_acc)의 주파수가 누적 회전 움직임 데이터(RMD_acc)의 주파수보다 큰 경우, 누적 병진 움직임 데이터(TMD_acc)를 다운 샘플링 함으로써 누적 회전 움직임 데이터(RMD_acc)의 주파수로 데이터의 주파수를 맞출 수 있다. 반대로 예를 들어, 누적 회전 움직임 데이터(RMD_acc)의 주파수가 누적 병진 움직임 데이터(TMD_acc)의 주파수보다 큰 경우, 누적 회전 움직임 데이터(RMD_acc)를 다운 샘플링 함으로써 누적 병진 움직임 데이터(TMD_acc)의 주파수로 데이터의 주파수를 맞출 수 있다.
이후 S410 단계, S420 단계, S440 단계 및 S460 단계 각각은 도 7의 S210 단계, S220 단계, S240 단계 및 S260 단계와 실질적으로 동일할 수 있다.
도 15는 본 개시의 예시적 실시 예에 따른 전자 장치(1000)를 나타낸다.
전자 장치(1000)는, 예를 들면, 도 1에 도시된 전자 장치(10)의 전체 또는 일부를 포함할 수 있다. 전자 장치(1000)는 하나 이상의 프로세서(예: AP)(1210), 통신 모듈(1220), 가입자 식별 모듈(1229), 메모리(1230), 센서 모듈(1240), 입력 장치(1250), 디스플레이(1260), 인터페이스(1270), 오디오 모듈(1280), 카메라 모듈(1291), 전력 관리 모듈(1295), 배터리(1296), 인디케이터(1297), 및 모터(1298)를 포함할 수 있다.
프로세서(1210)는, 예를 들면, 운영 체제 또는 응용 프로그램을 구동하여 프로세서(1210)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(1210)는, 예를 들면, SoC(system on chip)로 구현될 수 있다. 한 실시 예에 따르면, 프로세서(1210)는 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서(image signal processor)를 더 포함할 수 있다. 프로세서(1210)는 도 2에 도시된 구성요소들 중 적어도 일부(예: 셀룰러 모듈(1221))를 포함할 수도 있다. 프로세서(1210)는 다른 구성요소들(예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장(store)할 수 있다.
통신 모듈(1220)은, 도 1의 통신 인터페이스(170)와 동일 또는 유사한 구성을 가질 수 있다. 통신 모듈(1220)은, 예를 들면, 셀룰러 모듈(1221), Wi-Fi 모듈(1222), 블루투스 모듈(1223), GNSS 모듈(1224) (예: GPS 모듈, Glonass 모듈, Beidou 모듈, 또는 Galileo 모듈), NFC 모듈(1225), MST 모듈(1226) 및 RF(radio frequency) 모듈(1227)을 포함할 수 있다.
셀룰러 모듈(1221)은, 예를 들면, 통신망을 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈(1221)은 가입자 식별 모듈(예: SIM 카드)(1229)을 이용하여 통신 네트워크 내에서 전자 장치(1201)의 구별 및 인증을 수행할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈(1221)은 프로세서(1210)가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 한 실시 예에 따르면, 셀룰러 모듈(1221)은 커뮤니케이션 프로세서(CP)를 포함할 수 있다.
Wi-Fi 모듈(1222), 블루투스 모듈(1223), GNSS 모듈(1224), NFC 모듈(1225), 또는 MST 모듈(1226) 각각은, 예를 들면, 해당하는 모듈을 통해서 송수신되는 데이터를 처리하기 위한 프로세서를 포함할 수 있다. 어떤 실시 예에 따르면, 셀룰러 모듈(1221), Wi-Fi 모듈(1222), 블루투스 모듈(1223), GNSS 모듈(1224), NFC 모듈(1225), MST 모듈(1226) 중 적어도 일부(예: 두 개 이상)는 하나의 IC(integrated chip) 또는 IC 패키지 내에 포함될 수 있다.
RF 모듈(1227)은, 예를 들면, 통신 신호(예: RF 신호)를 송수신할 수 있다. RF 모듈(1227)은, 예를 들면, 트랜시버(transceiver), PAM(power amp module), 주파수 필터(frequency filter), LNA(low noise amplifier), 또는 안테나 등을 포함할 수 있다. 다른 실시 예에 따르면, 셀룰러 모듈(1221), Wi-Fi 모듈(1222), 블루투스 모듈(1223), GNSS 모듈(1224), NFC 모듈(1225), MST 모듈(1226) 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호를 송수신할 수 있다.
가입자 식별 모듈(1229)은, 예를 들면, 가입자 식별 모듈을 포함하는 카드 및/또는 내장 SIM(embedded SIM)을 포함할 수 있으며, 고유한 식별 정보(예: ICCID (integrated circuit card identifier)) 또는 가입자 정보(예: IMSI (international mobile subscriber identity))를 포함할 수 있다.
메모리(1230) (예: 메모리(130))는, 예를 들면, 내장 메모리(1232) 또는 외장 메모리(1234)를 포함할 수 있다. 내장 메모리(1232)는, 예를 들면, 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비-휘발성(non-volatile) 메모리 (예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), 마스크(mask) ROM, 플래시(flash) ROM, 플래시 메모리(예: 낸드플래시(NAND flash) 또는 노아플래시(NOR flash) 등), 하드 드라이브, 또는 SSD(solid state drive) 중 적어도 하나를 포함할 수 있다.
외장 메모리(1234)는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD, Mini-SD, xD(extreme digital), MMC(MultiMediaCard), 또는 메모리 스틱(memory stick) 등을 더 포함할 수 있다. 외장 메모리(1234)는 다양한 인터페이스를 통하여 전자 장치(1201)와 기능적으로 및/또는 물리적으로 연결될 수 있다.
보안 모듈(1236)은 메모리(1230)보다 상대적으로 보안 레벨이 높은 저장 공간을 포함하는 모듈로서, 안전한 데이터 저장 및 보호된 실행 환경을 보장해주는 회로일 수 있다. 보안 모듈(1236)은 별도의 회로로 구현될 수 있으며, 별도의 프로세서를 포함할 수 있다. 보안 모듈(1236)은, 예를 들면, 탈착 가능한 스마트 칩, SD(secure digital) 카드 내에 존재하거나, 또는 전자 장치(1201)의 고정 칩 내에 내장된 내장형 보안 요소(embedded secure element(eSE))를 포함할 수 있다. 또한, 보안 모듈(1236)은 전자 장치(1201)의 운영 체제(OS)와 다른 운영 체제로 구동될 수 있다. 예를 들면, 보안 모듈(1236)은 JCOP(java card open platform) 운영 체제를 기반으 로 동작할 수 있다.
센서 모듈(1240)은, 예를 들면, 물리량을 계측하거나 전자 장치(1201)의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈(1240)은, 예를 들면, 제스처 센서(1240A), 자이로 센서(1240B), 기압 센서(1240C), 마그네틱 센서(1240D), 가속도 센서(1240E), 그립 센서(1240F), 근접 센서(1240G), 컬러 센서 (1240H)(예: RGB 센서), 생체 센서(1240I), 온/습도 센서(1240J), 조도 센서(1240K), 또는 UV(ultra violet) 센서 (1240M) 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로, 센서 모듈(1240)은, 예를 들면, 후각 센서(E-nose sensor), EMG(electromyography) 센서, EEG(electroencephalogram) 센서, ECG(electrocardiogram) 센서, IR(infrared) 센서, 홍채 센서 및/또는 지문 센서를 포함할 수 있다. 센서 모듈(1240)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(1201)는 프로세서(1210)의 일부로서 또는 별도로, 센서 모듈(1240)을 제어하도록 구성된 프로세서를 더 포함하여, 프로세서(1210)가 슬립(sleep) 상태에 있는 동안, 센서 모듈(1240)을 제어할 수 있다.
입력 장치(1250)는, 예를 들면, 터치 패널(touch panel)(1252), (디지털) 펜 센서(pen sensor)(1254), 키 (key)(1256), 또는 초음파(ultrasonic) 입력 장치(1258)를 포함할 수 있다. 터치 패널(1252)은, 예를 들면, 정전 식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널(1252)은 제어 회로를 더 포함할 수도 있다. 터치 패널(1252)은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다.
(디지털) 펜 센서(1254)는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 시트(sheet)를 포함할 수 있다. 키(1256)는, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키 패드를 포함할 수 있다. 초음파 입력 장치(1258)는 마이크(예: 마이크(1288))를 통해, 입력 도구에서 발생된 초음파를 감지하여, 상기 감지된 초음파에 대응하는 데이 터를 확인할 수 있다.
디스플레이(1260)(예: 디스플레이(160))는 패널(1262), 홀로그램 장치(1264), 또는 프로젝터(1266)를 포함할 수 있다. 패널(1262)은, 도 1의 디스플레이(160)와 동일 또는 유사한 구성을 포함할 수 있다. 패널(1262)은, 예를 들면, 유연하게(flexible), 투명하게(transparent), 또는 착용할 수 있게(wearable) 구현될 수 있다. 패널(1262)은 터치 패널(1252)과 하나의 모듈로 구성될 수도 있다. 홀로그램 장치(1264)는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터(1266)는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 스크린은, 예를 들면, 전자 장치(1201)의 내부 또는 외부에 위치할 수 있다. 한 실시 예에 따르면, 패널(1262)은 사용자의 터치에 대한 압력의 세기를 측정할 수 있는 압력 센서 (또는 포스 센서)를 포함할 수 있다. 상기 압력 센서는 상기 터치 패널(1252)과 일체형으로 구현되거나, 또는 상기 터치 패널(1252)과는 별도의 하나 이상의 센서로 구현될 수 있다. 한 실시 예에 따르면, 디스플레이(1260)는 상기 패널(1262), 상기 홀로그램 장치(1264), 또는 프로젝터(126)를 제어하기 위한 제어 회로를 더 포함할 수 있다.
인터페이스(1270)는, 예를 들면, HDMI(1272), USB(1274), 광 인터페이스(optical interface)([0052] 276), 또는 D-sub(Dsubminiature)(1278)를 포함할 수 있다. 인터페이스(1270)는, 예를 들면, 도 1에 도시된 통신 인터페이스(170)에 포함될 수 있다. 추가적으로 또는 대체적으로, 인터페이스(1270)는, 예를 들면, MHL(mobile high-definition link) 인터페이스, SD 카드/MMC 인터페이스, 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다.
오디오 모듈(1280)은, 예를 들면, 소리(sound)와 전기 신호를 쌍방향으로 변환시킬 수 있다. 오디오 모듈(1280)의 적어도 일부 구성요소는, 예를 들면, 도 1에 도시된 입출력 인터페이스(150)에 포함될 수 있다. 오디오 모듈(1280)은, 예를 들면, 스피커(1282), 리시버(1284), 이어폰(1286), 또는 마이크(1288) 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다.
카메라 모듈(1291)은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 한 실시 예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, ISP(image signal processor), 또는 플래시 (flash)(예: LED 또는 제논 램프(xenon lamp))를 포함할 수 있다. 카메라 모듈(1291)은, 도 1 내지 도 14를 참조해 설명된 실시 예와 같이, 영상 안정화(video stabilizing) 동작을 수행할 수 있다.
전력 관리 모듈(1295)은, 예를 들면, 전자 장치(1201)의 전력을 관리할 수 있다. 한 실시 예에 따르면, 전력 관리 모듈(1295)은 PMIC(power management integrated circuit), 충전 IC(charger integrated circuit), 또는 배터 리 또는 연료 게이지(battery or fuel gauge)를 포함할 수 있다. PMIC는, 유선 및/또는 무선 충전 방식을 가질 수 있다. 무선 충전 방식은, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등을 포함하며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 또는 정류기 등을 더 포함할 수 있다. 배터리 게이지는, 예를 들면, 배터리(1296)의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다. 배터리(1296) 는, 예를 들면, 충전식 전지(rechargeable battery) 및/또는 태양 전지(solar battery)를 포함할 수 있다.
인디케이터(1297)는 전자 장치(1000) 혹은 그 일부(예: 프로세서(1210))의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 모터(1298)는 전기적 신호를 기계적 진동으로 변환할 수 있고, 진동(vibration), 또는 햅틱(haptic) 효과 등을 발생시킬 수 있다. 도시되지는 않았으나, 전자 장치(1000)는 모바일 TV 지원을 위한 처리 장치(예: GPU)를 포함할 수 있다. 모바일 TV 지원을 위한 처리 장치는, 예를 들면, DMB(Digital Multimedia Broadcasting), DVB(Digital Video Broadcasting), 또는 미디어플로(MediaFLO TM) 등의 규격에 따른 미디어 데이터를 처리할 수 있다.
이상에서와 같이 도면과 명세서에서 예시적인 실시 예들이 개시되었다. 본 명세서에서 특정한 용어를 사용하여 실시 예들을 설명되었으나, 이는 단지 본 개시의 기술적 사상을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 개시의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 개시의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (10)

  1. 전자 장치에 있어서,
    렌즈를 통해 상기 전자 장치로 입사되는 빛을 전기적 신호로 변환함으로써 이미지 데이터를 생성하도록 구성되는 이미지 센서;
    상기 전자 장치의 회전 움직임 데이터(rotation motion data)를 생성하도록 구성되는 자이로스코프(gyroscope); 및
    상기 이미지 센서로부터 수신된 상기 이미지 데이터를 기초로 상기 전자 장치의 병진 움직임 데이터(translation motion data)를 생성하고, 상기 병진 움직임 데이터를 누적함으로써 누적 병진 움직임 데이터를 생성하고, 상기 누적 병진 움직임 데이터에 제1 필터링 동작을 수행함으로써 얻어낸 필터링 된 병진 움직임 데이터 및 상기 자이로스코프로부터 수신된 회전 움직임 데이터에 제2 필터링 동작을 수행함으로써 얻어낸 필터링 된 회전 움직임 데이터를 기초로 상기 이미지 데이터에 상기 전자 장치의 움직임을 보상하도록 구성되는 영상 안정화기(video stabilizer)를 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 누적 병진 움직임 데이터는 1차원 매트릭스 형태의 누적 병진 움직임 데이터이고,
    상기 영상 안정화기는,
    상기 1차원 매트릭스 형태의 누적 병진 움직임 데이터를 상기 렌즈의 초점 거리로 나눈 뒤, 상기 제1 필터링 동작을 수행함으로써 상기 필터링 된 병진 움직임 데이터를 생성하도록 구성되는 것을 특징으로 하는 전자 장치.
  3. 제1항에 있어서,
    상기 영상 안정화기는,
    상기 회전 움직임 데이터를 누적함으로써 1차원 매트릭스 형태의 누적 회전 움직임 데이터를 생성하고, 상기 누적 회전 움직임 데이터에 상기 제2 필터링 동작을 수행함으로써 상기 필터링 된 회전 움직임 데이터를 생성하도록 구성되는 것을 특징으로 하는 전자 장치.
  4. 제3항에 있어서,
    상기 제1 필터링 동작은 제1 저역 통과 필터링 동작이고,
    상기 영상 안정화기는,
    상기 누적 회전 움직임 데이터에 제2 저역 통과 필터링 동작을 수행함으로써 저역 통과 회전 움직임 데이터를 생성하고, 상기 누적 회전 움직임 데이터에서 상기 저역 통과 회전 움직임 데이터를 감산함으로써 상기 필터링 된 회전 움직임 데이터를 생성하도록 구성되는 것을 특징으로 하는 전자 장치.
  5. 제1항에 있어서,
    상기 제1 필터링 동작은 저역 통과 필터링 동작이고,
    상기 제2 필터링 동작은 고역 통과 필터링 동작인 것을 특징으로 하는 전자 장치.
  6. 제1항에 있어서,
    상기 영상 안정화기는,
    상기 이미지 데이터를 기초로 상기 병진 움직임 데이터를 생성하도록 구성되는 움직임 추정기(motion estimator);
    상기 움직임 추정기로부터 수신되는 상기 병진 움직임 데이터를 누적한 뒤, 상기 제1 필터링 동작을 수행함으로써 상기 필터링 된 병진 움직임 데이터를 생성하고, 상기 자이로스코프로부터 수신되는 상기 회전 움직임 데이터에 제2 필터링 동작을 수행함으로써 상기 필터링 된 회전 움직임 데이터를 생성하고, 상기 필터링 된 병진 움직임 데이터 및 상기 필터링 된 회전 움직임 데이터를 이용해 연산을 수행함으로써 움직임 정보를 생성하도록 구성되는 움직임 정보 생성기; 및
    상기 움직임 정보 생성기로부터 수신되는 상기 움직임 정보를 기초로, 상기 이미지 데이터에 상기 전자 장치의 움직임을 보상함으로써 보상된 이미지 데이터를 생성하도록 구성되는 움직임 보상기를 포함하는 것을 특징으로 하는 전자 장치.
  7. 제1항에 있어서,
    상기 병진 움직임 데이터는 제1 축 방향 병진 움직임 데이터 및 제2 축 방향 병진 움직임 데이터를 포함하고,
    상기 회전 움직임 데이터는 제1 축 방향 회전 움직임 데이터, 제2 축 방향 회전 움직임 데이터 및 제3 축 방향 회전 움직임 데이터를 포함하고,
    상기 필터링 된 병진 움직임 데이터는 필터링 된 제1 축 방향 병진 움직임 데이터 및 필터링 된 제2 축 방향 병진 움직임 데이터를 포함하고,
    상기 필터링 된 회전 움직임 데이터는 필터링 된 제1 축 방향 회전 움직임 데이터, 필터링 된 제2 축 방향 회전 움직임 데이터 및 필터링 된 제3 축 방향 회전 움직임 데이터를 포함하고,
    상기 영상 안정화기는,
    상기 필터링 된 제1 축 방향 병진 움직임 데이터 및 상기 필터링 된 제1 축 방향 회전 움직임 데이터를 합산함으로써 제1 움직임 정보를 생성하고, 상기 필터링 된 제2 축 방향 병진 움직임 데이터 및 상기 필터링 된 제2 축 방향 회전 움직임 데이터를 합산함으로써 제2 움직임 정보를 생성하고, 상기 필터링 된 제3 축 방향 회전 움직임 데이터를 제3 움직임 정보로서 생성하도록 구성되는 것을 특징으로 하는 전자 장치.
  8. 제1항에 있어서,
    상기 영상 안정화기는,
    상기 이미지 센서가 상기 이미지 데이터를 제공할 때의 프레임 레이트와 상기 자이로스코프의 센싱 주파수를 비교하고, 상기 프레임 레이트가 상기 센싱 주파수보다 큰 경우, 상기 병진 움직임 데이터를 다운 샘플링하고, 상기 센싱 주파수가 상기 프레임 레이트보다 큰 경우, 상기 회전 움직임 데이터를 다운 샘플링하는 것을 특징으로 하는 전자 장치.
  9. 렌즈를 포함하는 전자 장치의 영상 안정화 방법에 있어서,
    병진 움직임 데이터 및 자이로스코프에 의해 얻어진 회전 움직임 데이터 각각을 누적함으로써 누적 병진 움직임 데이터 및 누적 회전 움직임 데이터를 생성하는 단계;
    상기 누적 병진 움직임 데이터를 제1 필터를 이용해 필터링 함으로써 필터링 된 병진 움직임 데이터를 생성하는 단계;
    상기 누적 회전 움직임 데이터를 제2 필터를 이용해 필터링 함으로써 필터링 된 회전 움직임 데이터를 생성하는 단계;
    상기 필터링 된 병진 움직임 데이터 및 상기 필터링 된 회전 움직임 데이터를 이용해 연산을 수행함으로써 움직임 정보를 생성하는 단계; 및
    상기 움직임 정보를 기초로 상기 전자 장치의 이미지 센서에 의해 얻어진 이미지 데이터를 보정하는 단계를 포함하는 전자 장치의 영상 안정화 방법.
  10. 제9항에 있어서,
    상기 누적 병진 움직임 데이터 및 상기 누적 회전 움직임 데이터 각각은 1차원 매트릭스 형태의 데이터인 것을 특징으로 하고,
    상기 필터링 된 병진 움직임 데이터를 생성하는 단계는,
    상기 누적 병진 움직임 데이터를 상기 렌즈의 초점 거리로 나눔으로써 조정된 병진 움직임 데이터를 생성하고, 1차원 매트릭스 형태의 상기 조정된 병진 움직임 데이터를 상기 제1 필터를 이용해 필터링하는 것을 특징으로 하는 전자 장치의 영상 안정화 방법.
KR1020180120592A 2018-10-10 2018-10-10 영상의 안정화를 위한 카메라 모듈, 그것을 포함하는 전자 장치 및 전자 장치의 영상 안정화 방법 Active KR102573302B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020180120592A KR102573302B1 (ko) 2018-10-10 2018-10-10 영상의 안정화를 위한 카메라 모듈, 그것을 포함하는 전자 장치 및 전자 장치의 영상 안정화 방법
US16/516,850 US10812720B2 (en) 2018-10-10 2019-07-19 Image stabilization for electronic devices such as cameras
CN201910809891.8A CN111031200B (zh) 2018-10-10 2019-08-29 电子装置、摄像机及图像稳定化方法
TW112143251A TWI863692B (zh) 2018-10-10 2019-10-09 電子裝置以及圖像穩定化方法
TW108136560A TWI848988B (zh) 2018-10-10 2019-10-09 電子裝置以及圖像穩定化方法
US17/068,138 US11218636B2 (en) 2018-10-10 2020-10-12 Image stabilization for electronic devices such as cameras

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180120592A KR102573302B1 (ko) 2018-10-10 2018-10-10 영상의 안정화를 위한 카메라 모듈, 그것을 포함하는 전자 장치 및 전자 장치의 영상 안정화 방법

Publications (2)

Publication Number Publication Date
KR20200040541A KR20200040541A (ko) 2020-04-20
KR102573302B1 true KR102573302B1 (ko) 2023-08-31

Family

ID=70160641

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180120592A Active KR102573302B1 (ko) 2018-10-10 2018-10-10 영상의 안정화를 위한 카메라 모듈, 그것을 포함하는 전자 장치 및 전자 장치의 영상 안정화 방법

Country Status (4)

Country Link
US (2) US10812720B2 (ko)
KR (1) KR102573302B1 (ko)
CN (1) CN111031200B (ko)
TW (2) TWI863692B (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2758460C1 (ru) * 2018-03-23 2021-10-28 Хуавей Текнолоджиз Ко., Лтд. Оконечное устройство и способ стабилизации видеоизображения
US11412142B2 (en) * 2019-03-07 2022-08-09 Invensense, Inc. Translation correction for optical image stabilization
EP4009623B1 (en) * 2020-12-07 2023-01-25 Axis AB Electronic image stabilization of a video stream captured by a pannable and/or tiltable video camera
CN115683112B (zh) * 2022-10-24 2024-04-09 中国航空工业集团公司洛阳电光设备研究所 一种基于互补滤波器的光电跟踪系统量化误差抑制方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012199803A (ja) 2011-03-22 2012-10-18 Canon Inc 撮像装置、及びその制御方法、プログラム
JP2017225039A (ja) * 2016-06-16 2017-12-21 株式会社ザクティ 撮像装置及び画像処理方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2983354B2 (ja) * 1991-10-25 1999-11-29 富士通株式会社 運動パラメータ抽出方式
KR101442612B1 (ko) * 2008-03-31 2014-10-30 삼성전자주식회사 흔들림 감지 유닛, 이를 구비한 흔들림 보정 장치, 및흔들림 보정 방법
KR100968974B1 (ko) * 2008-08-26 2010-07-14 삼성전기주식회사 손떨림 보정 장치
JP2010258494A (ja) * 2009-04-21 2010-11-11 Sanyo Electric Co Ltd 防振制御回路
CN101951463A (zh) * 2010-05-19 2011-01-19 上海稳像信息技术有限公司 基于简易快速全局运动参数估计的实时视频稳像方法
JP5707745B2 (ja) * 2010-06-08 2015-04-30 ソニー株式会社 画像安定化装置、画像安定化方法、及びプログラム
JP5519077B2 (ja) 2011-04-12 2014-06-11 富士フイルム株式会社 撮像装置
EP2533518B1 (en) * 2011-06-10 2014-09-10 Canon Kabushiki Kaisha Shake compensation apparatus, shake compensation control method, and image capturing apparatus and control method thereof
EP3865875A1 (en) * 2011-09-25 2021-08-18 Labrador Diagnostics LLC Systems and methods for multi-analysis
GB201116566D0 (en) 2011-09-26 2011-11-09 Skype Ltd Video stabilisation
CN106569310B (zh) * 2011-09-28 2019-11-22 数位光学Mems有限公司 基于mems的光学图像稳定
US8810666B2 (en) 2012-01-16 2014-08-19 Google Inc. Methods and systems for processing a video for stabilization using dynamic crop
US8860825B2 (en) 2012-09-12 2014-10-14 Google Inc. Methods and systems for removal of rolling shutter effects
US9071756B2 (en) 2012-12-11 2015-06-30 Facebook, Inc. Systems and methods for digital video stabilization via constraint-based rotation smoothing
US9374532B2 (en) * 2013-03-15 2016-06-21 Google Inc. Cascaded camera motion estimation, rolling shutter detection, and camera shake detection for video stabilization
US8908102B1 (en) * 2013-09-03 2014-12-09 Google Inc. Generating and/or modifying motion compensation parameters for video stabilization
JP6170395B2 (ja) 2013-09-26 2017-07-26 キヤノン株式会社 撮像装置およびその制御方法
US9204048B2 (en) 2014-03-27 2015-12-01 Facebook, Inc. Stabilization of low-light video
KR102397034B1 (ko) * 2015-11-02 2022-05-16 삼성전자주식회사 전자 장치 및 전자 장치의 손떨림 보정 방법
EP3522519B1 (en) * 2016-10-17 2022-11-30 Huawei Technologies Co., Ltd. Image acquiring method and terminal device
CN106534692A (zh) * 2016-11-24 2017-03-22 腾讯科技（深圳）有限公司 一种视频稳像方法及装置
KR102608782B1 (ko) 2016-12-30 2023-12-04 삼성전자주식회사 이미지에서 전자 장치의 흔들림 영향을 보정하기 위한 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012199803A (ja) 2011-03-22 2012-10-18 Canon Inc 撮像装置、及びその制御方法、プログラム
JP2017225039A (ja) * 2016-06-16 2017-12-21 株式会社ザクティ 撮像装置及び画像処理方法

Also Published As

Publication number Publication date
US10812720B2 (en) 2020-10-20
TW202415084A (zh) 2024-04-01
US20210029296A1 (en) 2021-01-28
CN111031200A (zh) 2020-04-17
TWI848988B (zh) 2024-07-21
US11218636B2 (en) 2022-01-04
TW202029728A (zh) 2020-08-01
US20200120282A1 (en) 2020-04-16
CN111031200B (zh) 2023-05-23
TWI863692B (zh) 2024-11-21
KR20200040541A (ko) 2020-04-20

Similar Documents

Publication Publication Date Title
US10447908B2 (en) Electronic device shooting image
US10491826B2 (en) Method for obtaining panning shot image and electronic device supporting the same
EP3264744B1 (en) Electronic device and image capturing method thereof
KR102573302B1 (ko) 영상의 안정화를 위한 카메라 모듈, 그것을 포함하는 전자 장치 및 전자 장치의 영상 안정화 방법
KR102491564B1 (ko) 플렉서블 디스플레이를 포함하는 접을 수 있는 전자 장치
KR102618376B1 (ko) 광학 이미지 안정화 기능을 제공하는 카메라 모듈 및 이를 포함하는 전자 장치
KR102469426B1 (ko) 이미지 처리 장치 및 이의 동작 방법
US10067319B2 (en) Single focus lens and photographing apparatus having the same
CN105554369A (zh) 用于处理图像的电子设备和方法
EP3471400B1 (en) Image signal processor, and electronic device
KR20180086722A (ko) 이미지 센서 및 이를 포함한 전자 장치
CN106921836B (zh) 电子装置及其控制方法
EP3718296B1 (en) Electronic device and method for controlling autofocus of camera
US9584728B2 (en) Apparatus and method for displaying an image in an electronic device
KR102476175B1 (ko) 촬상 광학계
US10491821B2 (en) Apparatus of stabilizing shaking image and controlling method thereof
KR102739958B1 (ko) 전자 장치 및 그 제어 방법
CN110533666B (zh) 一种获取数据块尺寸的方法、处理数据的方法及装置

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20181010

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20211008

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20181010

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20221108

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20230525

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20230828

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20230829

End annual number: 3

Start annual number: 1

PG1601 Publication of registration