[go: up one dir, main page]

KR102652437B1 - 전자 기기, 기억 매체, 프로그램, 및 표시 방법 - Google Patents

전자 기기, 기억 매체, 프로그램, 및 표시 방법 Download PDF

Info

Publication number
KR102652437B1
KR102652437B1 KR1020227020927A KR20227020927A KR102652437B1 KR 102652437 B1 KR102652437 B1 KR 102652437B1 KR 1020227020927 A KR1020227020927 A KR 1020227020927A KR 20227020927 A KR20227020927 A KR 20227020927A KR 102652437 B1 KR102652437 B1 KR 102652437B1
Authority
KR
South Korea
Prior art keywords
display screen
electronic device
display
sensor
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020227020927A
Other languages
English (en)
Other versions
KR20220088816A (ko
Inventor
쿠니오 호소야
Original Assignee
가부시키가이샤 한도오따이 에네루기 켄큐쇼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 한도오따이 에네루기 켄큐쇼 filed Critical 가부시키가이샤 한도오따이 에네루기 켄큐쇼
Priority to KR1020247009984A priority Critical patent/KR20240045365A/ko
Publication of KR20220088816A publication Critical patent/KR20220088816A/ko
Application granted granted Critical
Publication of KR102652437B1 publication Critical patent/KR102652437B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1652—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being flexible, e.g. mimicking a sheet of paper, or rollable
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/13338—Input devices, e.g. touch panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K59/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic light-emitting element covered by group H10K50/00
    • H10K59/40—OLEDs integrated with touch screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163—Indexing scheme relating to constructional details of the computer
    • G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04102—Flexible digitiser, i.e. constructional details for allowing the whole digitising part of a device to be flexed or rolled like a sheet of paper
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0266—Details of the structure or mounting of specific components for a display module assembly
    • H04M1/0268—Details of the structure or mounting of specific components for a display module assembly including a flexible display panel

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Nonlinear Science (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Digital Computer Display Output (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

표시 화면의 가요성을 이용하여, 표시 화면의 입체 형상에 따라 가요성 표시 화면에 오브젝트(물체)를 표시하는 전자 기기가 제공된다. 표시 화면에 오브젝트를 표시하는, 가요성 표시 장치를 포함하는 표시부, 표시 화면의 소정의 일부의 위치 정보를 검출하는 검출부, 및 위치 정보에 기초하여 표시 화면의 입체 형상을 산출하고, 산출된 표시 화면의 입체 형상에 따라, 소정의 법칙에 따라 오브젝트를 이동시키도록 오브젝트의 동작을 연산하는 연산부를 포함하는, 전자 기기.

Description

전자 기기, 기억 매체, 프로그램, 및 표시 방법{ELECTRONIC DEVICE, STORAGE MEDIUM, PROGRAM, AND DISPLAYING METHOD}
본 발명은, 표시 화면이 가요성을 갖는 전자 기기, 이 전자 기기에서 표시를 수행하기 위한 프로그램을 저장하는 기억 매체, 이 전자 기기에서 표시를 수행하기 위한 프로그램, 및 이 전자 기기에서 표시를 수행하기 위한 방법에 관련된다.
근년, 휴대 전화 또는 스마트폰 등의 휴대 정보 단말, 휴대 음악 재생 기기, 휴대용 게임기, 및 표시 장치를 포함하는 기타 고성능 민생용 휴대 전자 기기는 현대 사람들의 생활을 바꿀 만큼 널리 보급되어 있다.
이와 같은 휴대 전자 기기의 개발은 더 진전하고, 기기의 다기능화에 더하여 크기 또는 무게의 저감 등의 외형에 관한 개발도 활발히 수행된다. 또한, 차세대의 휴대 전자 기기로서, 시트 형상의 가요성 전자 기기가 활발히 연구 개발되고 있다.
특허문헌 1에 개시(開示)된 전자책 단말기는 가요성 하우징과, 전자책 단말기의 구부러진 부분을 검출하는 위치 센서 및 벤딩 센서를 갖는다. 이 위치 센서 및 벤딩 센서에 의한 검출 결과에 기초하여 표시부에 표시된 내용이 전환됨으로써, 하우징의 가요성에 의하여 사용자가 마우스 또는 버튼을 사용하지 않고 표시를 조작할 수 있다.
일본국 특개2010-157060호 공보
한편, 이와 같은 가요성 휴대 전자 기기에서, 이 가요성을 이용하는 조작이 가능하더라도 표시되는 정지 화상 또는 동영상은 평면이어서, 표시 화면 및 표시 화면을 포함하는 전자 기기의 가요성이 충분히 활용되지 않는다. 따라서, 상품 기획은, 표시 화면의 가요성과 전자 기기의 다기능성의 상승 효과를 달성할 수 없어, 가요성 표시부를 포함하는 전자 기기는 사용자에게 덜 매력적인 것이 된다.
상술한 것을 감안하여, 본 발명의 일 형태의 목적은 표시 화면의 가요성을 이용하여 이 표시 화면의 입체 형상에 따라 가요성 표시 화면에 오브젝트(물체)를 표시하는 전자 기기를 제공하는 것이다.
본 발명의 일 형태의 다른 목적은 표시 화면의 가요성을 이용하여 이 표시 화면의 입체 형상에 따라 가요성 표시 화면에 오브젝트를 표시하는 프로그램을 제공하는 것이다.
따라서, 본 명세서에 개시된 발명의 구성의 일 형태는, 표시 화면에 오브젝트를 표시하는, 가요성 표시 장치를 포함하는 표시부, 표시 화면의 소정 부분의 위치 정보를 검출하는 검출부, 및 위치 정보에 기초하여 표시 화면의 입체 형상을 산출하고 산출된 표시 화면의 입체 형상에 따라, 오브젝트를 소정의 법칙에 따라 이동하도록 표시시키기 위하여 오브젝트의 동작을 연산하는 연산부를 포함하는 전자 기기다.
본 명세서에 개시된 발명의 구성의 다른 일 형태는, 표시 화면에 오브젝트를 표시하는, 가요성 표시 장치를 포함하는 전자 기기에, 표시 화면의 소정 부분의 위치 정보를 검출하는 제 1 스텝, 위치 정보에 기초하여 표시 화면의 입체 형상을 산출하는 제 2 스텝, 산출된 표시 화면의 입체 형상에 따라, 오브젝트를 소정의 법칙에 따라 이동하도록 표시시키기 위하여 오브젝트의 동작을 연산하는 제 3 스텝, 및 연산된 오브젝트의 동작을 표시 화면에 표시하는 제 4 스텝을 실행시키기 위한 프로그램을 저장하는 컴퓨터 판독 가능 기억 매체다.
본 명세서에 개시된 발명의 구성의 또 다른 일 형태는, 표시 화면에 오브젝트를 표시하는, 가요성 표시 장치를 포함하는 전자 기기에, 표시 화면의 소정 부분의 위치 정보를 검출하는 제 1 스텝, 위치 정보에 기초하여 표시 화면의 입체 형상을 산출하는 제 2 스텝, 산출된 표시 화면의 입체 형상에 따라, 오브젝트를 소정의 법칙에 따라 이동하도록 표시시키기 위하여 오브젝트의 동작을 연산하는 제 3 스텝, 및 연산된 오브젝트의 동작을 표시 화면에 표시하는 제 4 스텝을 실행시키기 위한 프로그램이다.
본 명세서에 개시된 발명의 구성의 또 다른 일 형태는, 표시 화면에 오브젝트를 표시하는, 가요성 표시 장치를 포함하는 전자 기기를 사용하고, 표시 화면의 소정 부분의 위치 정보를 검출하는 스텝, 위치 정보에 기초하여 표시 화면의 입체 형상을 산출하는 스텝, 산출된 표시 화면의 입체 형상에 따라, 오브젝트를 소정의 법칙에 따라 이동하도록 표시시키기 위하여 오브젝트의 동작을 연산하는 스텝, 및 연산된 오브젝트의 동작을 표시 화면에 표시하는 스텝을 포함하는 표시 방법이다.
본 발명의 일 형태에 따른 전자 기기는, 휴대 전화, PHS, 스마트폰, 퍼스널 컴퓨터, 개인 휴대 정보 단말기(PDA), 태블릿 PC, 랩톱 PC, 미니 컴퓨터, 전자책 단말기(전자 종이), 전자 사전, 전자 공책, 계산기, 내비게이션 시스템, 디지털 액자, 화상 재생 장치, IC 레코더, 또는 휴대용 게임기 등의 휴대 전자 기기를 그 범주에 포함한다.
가요성 표시 화면 및 가요성 표시 화면을 포함하는 전자 기기에서, 복수의 센서가 예컨대 매트릭스로 제공된 검출부가, 가요성 표시 화면을 포함하는 전자 기기 바로 아래에 제공된다. 센서에 의하여 검출된 위치 정보 등이 조합되고, 표시부의 만곡 형상이 산출된다. 오브젝트는, 표시 화면의 만곡 형상(표시 화면의 입체 형상)에 따라, 소정의 법칙에 따라 이동하도록 표시된다.
또한, "표시 화면의 입체 형상"이란 3차원 공간 좌표로 정의될 수 있는, 전자 기기 또는 표시 장치에 대한 외력의 인가에 의하여 변형(예를 들어, 만곡 또는 굴곡)되는 표시 화면의 물리적 형상을 말한다. 따라서, 입체 형상에는 변형하기 전과 변형한 후의 2차원 형상(즉 만곡이 없는 평면 형상)도 그 범주에 포함된다.
"표시 화면의 입체 형상에 따라, 오브젝트가 소정의 법칙에 따라 이동하도록 표시된다"란 예를 들어, 표시 화면이 아래로 구부러지는 경우에, 표시 화면에 표시된 오브젝트(물체)가, 오브젝트에 주어진 가상의 힘, 예컨대 중력 등의 자연계의 힘에 따라 이동하도록 표시되는 것을 의미한다. 오브젝트는 고체(예를 들어, 주사위, 낙엽, 유리 구슬) 또는 액체(예를 들어, 물)라도 좋다. 또한, 가스나 분말을 포함하는 자연에 있는 모든 것은 오브젝트라고 규정할 수 있다. 이로써 사용자는 전자 기기의 표면에서 마치 오브젝트가 존재하는 것처럼 리얼리티를 느낄 수 있다.
또한, 오브젝트는 생물이라도 좋다. 예를 들어, 전자 게임 등에서 오브젝트는 사람, 동물, 식물, 또는 상상동물의 형상의 캐릭터일 수 있다.
"소정의 법칙"이란, 소정의 방정식에 의하여 나타낼 수 있는 법칙을 말한다. 예를 들어, 자연계의 물리 법칙, 특히, 물체의 운동을 규정하는 법칙을 말한다. 더 구체적인 예로서는, 중력, 인력, 마찰력, 공기 저항, 강체 또는 유체의 운동 등, 역학을 시각적으로 나타내는 운동 방정식에 의하여 나타낼 수 있는 법칙을 들 수 있다. 하지만 "소정의 법칙"이란 자연계의 물리 법칙에 한정되지 않는다. 예를 들어, 시각적 효과를 증가하기 위하여, 소정의 법칙은, 자연계의 물리 법칙으로부터 벗어나서 강조된 법칙 또는 예컨대 중력에 역행하여 오브젝트가 부유함으로써 자연 법칙에 반하는 법칙이라도 좋다. 또한, 이와 같은 방정식은 정확히 자연계의 물리 법칙을 나타낼 필요는 없고 의사적인 방정식이나 단순화된 방정식이라도 좋다.
검출부는 전자 기기의 표시 화면의 입체 형상을 산출하기 위하여 복수의 소정의 위치에 제공되는 센서를 갖는다. 예를 들어, 센서로서 표시 화면 근방에 복수의 위치 센서를 매트릭스로 제공함으로써 위치 센서는 위치 좌표를 상대적으로 검출할 수 있다. 또한, 센서로서 표시 화면 근방에 복수의 가속도 센서를 매트릭스로 제공함으로써 표시 화면의 변형에 따른 각 부분의 가속도 변화를 가속도 센서가 상대적으로 검출할 수도 있다. 센서는 상술한 것에 한정되지 않고 표시 화면의 입체 형상을 산출하기 위하여 필요한 파라미터를 검출할 수 있으면 예컨대, 기계적, 전자기적, 열적, 음향적, 또는 화학적 수단이 센서에 응용될 수 있다. 예를 들어, 센서로서 가속도 센서, 각속도 센서, 진동 센서, 압력 센서, 자이로스코프 센서 등이 사용될 수 있다. 또한, 이들 센서는 조합되어 사용될 수도 있다.
또한, 본 발명은, 본 발명의 작용이 달성되는, 방법, 하드웨어(예컨대, 전자 기기, 컴퓨터, 반도체 장치, 또는 기억 매체), 시스템, 프로그램, 소프트웨어 등을 그 범위에 포함한다.
표시 화면의 가요성을 이용함으로써 표시 화면의 입체 형상에 따라 가요성 표시 화면에 오브젝트를 표시하는 전자 기기를 제공할 수 있다.
표시 화면의 가요성을 이용함으로써 표시 화면의 입체 형상에 따라 가요성 표시 화면에 오브젝트를 표시하기 위한 프로그램을 제공할 수 있다.
따라서, 표시 화면에 표시된 오브젝트가 마치 전자 기기의 표면에 존재하는 것처럼 리얼리티를 사용자에 제공할 수 있는 유저 인터페이스(UI)를 제공할 수 있다.
도 1의 (A)~(D)는 전자 기기의 일 형태를 설명하기 위한 도면이다.
도 2는 전자 기기의 하드웨어 구성의 일 형태를 설명하기 위한 블록도.
도 3은 메모리의 구성을 설명하기 위한 블록도.
도 4는 전자 기기의 일 형태를 설명하기 위한 기능 블록도.
도 5의 (A) 및 (B)는 데이터 구조를 설명하기 위한 것.
도 6의 (A)~(C)는 표시 화면에 표시되는 오브젝트의 동작을 설명하기 위한 도면.
도 7은 오브젝트를 표시하는 스텝을 설명한 흐름도.
도 8은 오브젝트를 표시하는 스텝을 설명한 흐름도.
도 9는 오브젝트를 표시하는 스텝을 설명한 흐름도.
도 10은 오브젝트를 표시하는 스텝을 설명한 흐름도.
도 11은 오브젝트를 표시하는 스텝을 설명한 흐름도.
도 12는 오브젝트를 표시하는 스텝을 설명한 흐름도.
도 13은 오브젝트를 표시하는 스텝을 설명한 흐름도.
도 14의 (A)~(C)는 표시 화면에 표시된 오브젝트의 동작을 설명하기 위한 도면.
도 15의 (A) 및 (B)는 표시 화면에 표시된 오브젝트의 동작을 설명하기 위한 도면.
도 16의 (A) 및 (B)는 표시 화면에 표시된 오브젝트의 동작을 각각 설명하기 위한 도면.
도 17의 (A) 및 (B)는 표시 화면에 표시된 오브젝트의 동작을 각각 설명하기 위한 도면.
도 18의 (A) 및 (B)는 표시 화면에 표시된 오브젝트의 동작을 각각 설명하기 위한 도면.
도 19는 오브젝트를 표시하는 스텝을 설명한 흐름도.
도 20의 (A) 및 (B)는 표시 화면에 표시된 오브젝트의 동작을 설명하기 위한 도면.
이하에서는 본 명세서에 개시된 발명의 실시형태에 대하여 첨부된 도면을 참조하여 설명한다. 또한, 본 명세서에 개시된 발명은 이하의 설명에 한정되지 않고, 본 발명의 취지 및 범위로부터 벗어남이 없이 형태 및 자세한 사항이 다양하게 변경될 수 있는 것은 당업자에 의하여 쉽게 이해될 수 있다. 따라서, 본 명세서에 개시된 발명은 이하의 실시형태의 설명에 한정되어 해석되는 것이 아니다.
(실시형태 1)
본 실시형태에서, 가요성 표시 화면을 갖는 전자 기기의 구성, 및 이 표시 화면에 표시를 수행하는 방법의 일 형태를 도 1의 (A)~(D), 도 2, 도 3, 도 4, 도 5의 (A) 및 (B), 도 6의 (A)~(C), 도 7, 도 8, 도 9, 도 10, 도 11, 도 12, 및 도 13을 참조하여 설명한다.
(전자 기기의 구조)
본 발명의 일 형태에 따른 가요성 표시 화면을 갖는 전자 기기의 구성의 일례를 도 1의 (A)~(D)를 참조하여 설명한다. 본 실시형태에서는 전자 기기가 휴대 전화, 전자 메일, 문장 열람 및 작성, 음악 재생, 인터넷 통신, 및 컴퓨터 게임 등의 다양한 애플리케이션을 실행할 수 있는 휴대 정보 단말인 예를 설명한다. 도 1의 (A)는 전자 기기(100)의 상면도다. 전자 기기(100)는 하우징(101), 표시 화면(102), 및 홈 버튼(103)을 포함한다.
표시 화면(102)은 정지 화상 및 동영상을 포함하는 화상을 표시하는 표시 장치의 일부다. 표시 화면(102)을 포함하는 표시 장치로서는, 각 화소가 유기 발광 소자(OLED)로 대표되는 발광 소자를 포함하는 발광 장치, 액정 표시 장치, 전기 영동 방식, 전자 분류체(粉流體)(등록 상표) 방식 등에 의하여 표시를 수행하는 전자 종이, DMD(Digital Micromirror Device), PDP(Plasma Display Panel), FED(Field Emission Display), SED(Surface conduction Electron-emitter Display), LED(Light Emitting Diode) 디스플레이, 카본나노튜브 디스플레이, 나노 결정 디스플레이, 양자 도트 디스플레이 등이 있다. 본 발명의 일 형태에 따른 표시 화면은 이들 표시 장치 중 어느 하나의 일부이고, 가요성 표시 장치는 상기 표시 화면을 포함하는 표시 장치로서 사용된다.
본 실시형태에서는, 손가락이나 펜 등의 지시 수단에 의하여 데이터가 입력될 수 있는 터치 패널이 표시 화면(102)상에 입력 수단으로서 제공된다. 터치 패널이 제공됨으로써 전자 기기상에 키보드를 위한 영역이 필요 없게 되어, 표시 화면이 넓은 영역에 제공될 수 있다. 또한, 펜이나 손가락으로 데이터가 입력될 수 있기 때문에, 사용하기 쉬운 인터페이스를 얻을 수 있다. 터치 패널은, 저항막 방식, 정전용량 방식, 적외선 방식, 전자 유도 방식, 표면 탄성파 방식 등의 다양한 방식 중 어느 하나가 되어도 좋지만, 본 발명의 일 형태에 따른 표시 화면(102)은 만곡될 수 있는 것이기 때문에, 저항막 방식 또는 정전용량 방식이 특히 바람직하다.
표시 화면(102)은 가요성이기 때문에 하우징(101)도 변형성을 가질 필요가 있다. 하우징(101)은 탄성 수지 재료, 소성(塑性) 변형 가능한 금속 재료, 이들의 조합 등을 사용하여 형성되는 것이 바람직하다. 예를 들어, 하우징(101)의 네 구석에 프레스된 금속판이 사용될 수 있고, 그 외 부분에 플라스틱 성형체가 사용될 수 있다. 또한, 도시되지 않았지만, 표시 화면(102)을 포함하는 표시 장치만이 가요성을 갖고, 표시 장치와 하우징(101) 사이에 간격이 제공되는 경우, 하우징(101)에 가요성이 아닌 재료를 사용할 수도 있다. 이 경우, 예컨대, 표시 화면(102)이 만곡됨에 따라 하우징(101)이 신축될 수 있도록 하우징(101)은 부분적으로 주름을 가져도 좋다.
도 1의 (A)에 도시된 바와 같이, 본 실시형태에 기재된 전자 기기(100)는 긴 변이 짧은 변보다 긴 직사각형을 갖는다. 이것은, 전자 기기(100)의 가요성의 특징을 사용자가 더 강하게 느낄 수 있도록 긴 변에 수직인 방향으로의 만곡이 특히 일어나기 쉬운 형상으로 하기 때문이다. 하지만, 전자 기기(100)를 90도 회전시킴으로써 짧은 변을 밑으로 하여, 수직으로 세운 표시 장치로서 사용될 수도 있다. 이를 실현하기 위하여 가속도 센서 등이 전자 기기(100)에 제공되어도 좋고, 이 경우에는 가속도 센서가 전자 기기(100)의 회전을 검출하고 표시 화면(102)의 표시가 가로 방향으로부터 세로 방향으로 전환된다.
또한, 전자 기기(100)의 네 구석은 동그스름하게 된다. 전자 기기(100)가 동그스름하게 된 네 구석을 가짐으로써 굴곡이나 비틀림으로 인한 응력이 네 구석 끝에 집중하는 것이 완화되어, 표시 장치 및 전자 기기(100)의 내구성을 향상시킬 수 있다.
또한, 전자 기기(100)가 쉽게 만곡될 수 있도록 전자 기기(100)의 두께는 일정한 강도를 확보하는 범위 내에서 가능한 한 얇은 것이 바람직하다.
도 1의 (A)에 도시된 전자 기기(100)의 형상은 일례에 불과하고 본 발명은 이것에 한정되지 않고, 사용자의 수요에 따라 정방형, 원형, 타원형 등이 사용될 수 있다.
홈 버튼(103)은 전자 기기(100)의 하우징 상면 중 아래 중앙 부분에 제공된다. 홈 버튼(103)이 눌리면 표시 화면(102)에 홈 화면이 표시된다. 또한, 전자 기기(100)는 홈 버튼(103)을 소정 시간 누름으로써 전자 기기(100)의 주전원이 오프되는 바와 같이 구성되어도 좋다. 홈 버튼(103)을 누름으로써 슬립 모드의 기기를 슬립 모드로부터 복귀시키는 구조가 사용되어도 좋다. 그 외에, 홈 버튼은, 예컨대 누르는 시간의 길이에 따라서, 또는 홈 버튼과 다른 버튼을 동시에 누름으로써 다양한 기능을 기동하기 위한 스위치로서 사용될 수 있다. 홈 버튼(103)이 상술한 바와 같은 다양한 기능을 기지면, 전자 기기(100)의 구조 및 디자인을 간소화하기 위하여 하우징(101)에 실제로 제공되는 버튼의 개수를 줄일 수 있다. 본 발명의 일 형태에 따른 가요성을 갖는 전자 기기(100)의 고장을 저감하고 신뢰성을 향상시키도록 하우징(101)에 제공되는 버튼의 개수는 가능한 한 적게 하는 것이 바람직하다.
도 1의 (B)는 전자 기기(100)의 하면(저면)이 도시된 것이다. 전자 기기(100)의 하면은 상면보다 약간 면적이 작다. 즉 전자 기기(100)의 측면은 상면으로부터 하면으로 경사진 형상을 갖는다. 도 1의 (B)에 도시된 바와 같이, 전자 기기(100)의 측면에는 버튼을 포함하는 복수의 입출력 기능이 제공된다.
음량 조정 버튼(104) 및 뮤트 버튼(105)은 전자 기기(100)의 측면 중 상부 오른쪽 구석에 제공된다. 음성을 출력하기 위한 스피커(107)는 전자 기기(100)의 측면 중 하부 왼쪽 구석에 제공된다. 스피커(107)는, OS(Operating System)의 기동음 등 특정한 처리에 대하여 설정된 음성, 음악 재생 애플리케이션 소프트웨어로부터의 음악 등 다양한 애플리케이션에서 실행되는 음성 파일로부터의 음성, 및 전자 메일의 착신음 등 각종 음성을 출력한다. 특히, 본 발명의 일 형태에 따른 전자 기기(100)에서 스피커(107)는 표시 화면(102)의 만곡에 따른 음성을 출력하여도 좋고, 또는 나중에 설명될 오브젝트의 동작에 따른 음성을 출력하여도 좋다.
또한, 스피커(107)로부터 출력되는 음성의 음량은 음량 조정 버튼(104)에 의하여 조정될 수 있다. 스피커(107)로부터의 음성은 뮤트 버튼(105)을 누름으로써 순식간에 무음으로 할 수 있다. 또한, 도시되지 않았지만, 음성을 출력하기 위한 스피커(107)와 함께, 또는 스피커(107) 대신, 헤드폰, 이어폰, 또는 헤드셋 등의 장치에 음성을 출력하기 위한 커넥터가 제공되어도 좋다.
전자 기기(100)의 측면 중 하부 오른쪽 구석에 음성 입력 또는 녹음을 위하여 사용될 수 있는 마이크로폰(106)이 제공된다. 또한, 슬립 버튼(108)이 전자 기기(100)의 측면 중 상부 왼쪽 구석에 제공된다. 전자 기기(100)는 슬립 버튼(108)이 눌리면 슬립 모드로 이행되고, 이 경우 주전원이 온인 채 표시 화면(102)의 표시 등 소정의 기능을 정지함으로써 전력을 절약할 수 있다. 이로써 전자 기기(100)에 내장된 전지의 전력 소비를 억제할 수 있다.
다양한 입출력 장치가 상술한 전자 기기(100)의 네 구석에 집중적으로 제공되면, 가요성을 갖지 않는 부품을 네 구석에 모을 수 있어 전자 기기(100) 전체로서 가요성을 갖게 하는 것이 가능하다. 네 구석에 비가요성 부재가 사용되는 경우, 전자 기기(100)의 구조적 강도가 증가되고 전자 기기(100)의 유용성이 향상된다. 따라서 전자 기기(100)의 하우징(101)의 네 구석에, 다른 부분의 재료와 상이한 비가요성 부재가 바람직하게 사용된다.
한편, 카메라(109)는 전자 기기(100)의 하면 중 상부 중앙 부분에 제공된다. 카메라(109)의 사용으로 얻은 화상을 표시 화면(102)에 표시될 수 있다. 또한, 중앙 부분에 카메라(109)를 제공함으로써 사용자가 전자 기기(100)의 상면을 보면서 조작하는 경우라도 사용자는 카메라(109)가 어디에 있는지를 알 수 있다. 본 발명의 일 형태에 따른 전자 기기(100)는 가요성을 가지기 때문에, 테이블 등 위에, U자 형상으로 만곡된 전자 기기(100)를 세움으로써 삼각 받침대 등의 고정 치구(治具) 없이 흔들리지 않게 촬영할 수 있다.
또한, 도시되지 않았지만, 전자 기기(100)는 외부 메모리 드라이브에 접속시키기 위한 단자를 포함하여도 좋다. 외부 메모리 드라이브의 예로서는, 외장형 하드 디스크 드라이브(HDD), 플래시 메모리 드라이브, DVD(Digital Versatile Disk) 드라이브, DVD-R(DVD-Recordable) 드라이브, DVD-RW(DVD-ReWritable) 드라이브, CD(Compact Disc) 드라이브, CD-R(Compact Disc Recordable) 드라이브, CD-RW(Compact Disc Rewritable) 드라이브, MO(Magneto-Optical) 디스크 드라이브, FDD(Floppy Disk Drive), 및 상술한 플래시 메모리 드라이브와 상이한 불휘발성 솔리드 스테이트 드라이브(SSD) 디바이스 등의 기억 매체 드라이브가 있다. 전자 기기(100)는 표시 화면(102)상에 터치 패널을 가지고 있지만, 터치 패널 대신 하우징(101)상에 키보드가 제공되어도 좋고, 또는 키보드가 외부 부착되어도 좋다.
상술한 전자 기기(100)는 도 1의 (C) 및 (D)에 도시된 바와 같이, 가요성을 갖는다. 예를 들어, 도 1의 (D)는 전자 기기(100)의 오른쪽 및 왼쪽 단부가 위로 만곡된 것이 도시된 것이다. 따라서 하우징(101) 및 표시 화면(102)이 만곡될 수 있다. 또한, 본 명세서에서의 전자 기기의 가요성은 본 명세서에 개시된 발명의 효과의 적어도 일부를 달성하고, 전자 기기의 만곡의 정도나 방향 등은 특별히 한정되지 않는다.
도 2는 본 실시형태에서의 가요성을 갖는 전자 기기(100)의 하드웨어 구성을 도시한 블록도다. 전자 기기(100)는 프로세서(151), 메인 메모리(152), 메모리 컨트롤러(153), 보조 메모리(154), 센서 컨트롤러(155), 센서(156), 디스플레이 컨트롤러(157), 표시 장치(158), 전원 컨트롤러(159), 전원(160), 통신 컨트롤러(161), 통신 인터페이스(I/F)(162), 사운드 컨트롤러(163), 스피커(164), 음성 출력 커넥터(165), 마이크로폰(166), 입력 인터페이스(167), 하우징 스위치(168), 터치 패널(169), 키보드(170), 카메라(171), 외부 포트(172), 출력 인터페이스(173), 및 진동 모터(174)를 포함한다. 이들 중 프로세서(151), 메인 메모리(152), 메모리 컨트롤러(153), 센서 컨트롤러(155), 디스플레이 컨트롤러(157), 전원 컨트롤러(159), 통신 컨트롤러(161), 사운드 컨트롤러(163), 입력 인터페이스(167), 및 출력 인터페이스(173)는 하나 이상의 시스템 버스(150)를 통하여 각각 접속되고 서로 통신할 수 있다.
상술한 전자 기기(100)의 구성은 일례에 불과하고, 일부 구성 요소는 생략될 수 있어, 예컨대 터치 패널(169) 및 표시 장치(158)를 사용한 가상의 키보드가 소프트웨어로 제공되는 경우에, 키보드(170)는 생략될 수 있다. 또한, 상술한 것 이외의 구성 요소가 상기 구성에 추가되어도 좋다.
프로세서(151)에는 CPU(Central Processing Unit)에 더하여, DSP(Digital Signal Processor) 또는 GPU(Graphics Processing Unit) 등의 마이크로 프로세서가 사용될 수 있다. 프로세서(151)는 다양한 프로그램으로부터의 지시를 해석하고 실행하여 각종 데이터 처리 및 프로그램 제어를 수행한다.
또한, 채널 형성 영역에 산화물 반도체를 포함하는 박막 트랜지스터를 프로세서(151)에 사용할 수 있다. 상기 트랜지스터는 매우 낮은 오프 전류를 가지기 때문에 기억 소자에 흐른 전하(데이터)를 유지하기 위한 스위치로서 상기 트랜지스터를 사용함으로써 긴 데이터 유지 기간을 확보할 수 있다. 상술한 특성을 프로세서(151)의 레지스터 등에 이용함으로써 필요가 될 때에만 프로세서(151)가 동작하고 다른 때에는 직전의 처리 내용이 상기 기억 소자에 저장됨으로써 노멀리 오프 컴퓨팅이 가능하게 되어 전자 기기의 전력 소비를 저감할 수 있다.
메인 메모리(152)는 주기억 장치로서 사용된다. 도 3은 메인 메모리(152)의 구성을 도시한 블록도다. 메인 메모리(152)는 RAM(Random Access Memory)(180) 등의 휘발성 메모리 및 ROM(Read Only Memory)(181) 등의 불휘발성 메모리를 갖는다.
DRAM(Dynamic Random Access Memory)은, 예컨대 RAM(180)에 사용되고, 프로세서(151)를 위한 작업 공간으로서 메모리 공간이 가상적으로 분배되고 사용된다. 도 3에 도시된 바와 같이, HDD 등의 보조 메모리(154)에 저장된 오퍼레이팅 시스템(182), 애플리케이션 프로그램(183), 프로그램 모듈(184), 프로그램 데이터(185) 등은 실행하기 위하여 RAM(180)에 로드(load)된다. RAM(180)에 로드된 데이터, 프로그램, 프로그램 모듈은 프로세서(151)에 직접 액세스되고 조작된다. 또한, 도 3에서, RAM(180)에 저장된 데이터 등을 제어하기 위한 메모리 컨트롤러는 프로세서(151)에 내장되기 때문에 생략하였지만, 메인 메모리(152)를 제어하기 위한 메모리 컨트롤러를 별도 제공하여도 좋다.
ROM(181)에서, 재기록할 필요가 없는 BIOS(Basic Input/Output System)(186)나 펌웨어(firmware) 등이 저장된다. 또한, 본 발명의 일 형태에 따른 가요성을 갖는 표시 화면(102)의 물리적 파라미터를 포함하는 표시부 물성 데이터(187) 및 위치 정보를 검출하는 센서(156)의 특성에 관한 센서 특성 데이터(188)는 ROM(181)에 미리 저장될 수 있다. ROM(181)으로서는 마스크 ROM, OTPROM(One Time Programmable Read Only Memory), 또는 EPROM(Erasable Programmable Read Only Memory)이 사용될 수 있다. EPROM으로서는 자외선을 조사함으로써 저장된 데이터를 지울 수 있는 UV-EPROM(Ultra-Violet Erasable Programmable Read Only Memory)나, EEPROM(Electrically Erasable Programmable Read Only Memory), 플래시 메모리 등을 들 수 있다.
전자 기기(100)에 내장되는 보조 메모리(154)는 보조 기억 장치로서 기능한다. 보조 메모리(154)는 메인 메모리(152)보다 대용량을 갖는 기억 매체이고, 메모리 컨트롤러(153)를 통하여 시스템 버스(150)에 접속된다. 메모리 컨트롤러(153)는 예컨대, 보조 메모리(154)로부터의 데이터의 판독이나, 보조 메모리(154)로의 데이터의 기록을 제어하는 인터페이스로서 기능한다. 보조 메모리(154)에는 예컨대, HDD(Hard Disc Drive)나 불휘발성 솔리드 스테이트 드라이브(SSD) 디바이스 등의 기억 매체 드라이브가 사용될 수 있다.
또한, 도 2에서는 전자 기기(100)에 내장되지만, 보조 메모리(154)는 외부 포트(172)를 통하여 접속되고 전자 기기(100) 외부에 제공된 외부 기억 장치라도 좋고, 또한, 외부 기억 장치 및 보조 메모리(154)는 조합되어 보조 기억 장치로서 사용되어도 좋다.
센서(156)는 전자 기기(100)의 표시 화면의 입체 형상을 산출하기 위하여 필요한 파라미터를 검출한다. 예를 들어, 센서(156)로서, 서로 상대적인 위치 관계를 특정할 수 있는 복수의 위치 센서는, 표시 화면 근방에 매트릭스로 제공되어 다른 위치 센서와의 상대적인 위치 정보를 검출한다. 또한, 센서(156)로서 복수의 가속도 센서를 표시 화면 근방에 매트릭스로 제공하여 표시 화면의 변형에 따른 각 부분의 가속도 변화를 가속도 센서가 상대적으로 검출할 수도 있다. 센서(156)는 상술한 것에 한정되지 않고 표시 화면의 입체 형상을 산출하기 위하여 필요한 파라미터를 검출할 수 있으면 예를 들어, 기계적, 전자기적, 열적, 음향적, 또는 화학적 수단이 적용된 센서일 수 있다. 예를 들어, 센서로서 가속도 센서, 각속도 센서, 진동 센서, 압력 센서, 자이로스코프 센서 등이 사용될 수 있다. 또한, 이들 센서는 조합되어 사용될 수 있다. 또한, 센서(156)는 표시 화면(102)에 제공된 터치 센서에 내장되어도 좋다. 터치 센서와 위치 센서를 한 구성 요소로 합침으로써 부품 개수를 저감할 수 있어 전자 기기(100)의 두께 저감에 기여할 수 있다.
센서 컨트롤러(155)는 복수의 센서(156)의 집중 제어를 수행하는 인터페이스다. 센서 컨트롤러(155)는 전원(160)으로부터 복수의 센서(156)에 전력을 공급하고, 센서(156)로부터의 입력을 받고 제어 신호로 변환하고 시스템 버스(150)에 상기 신호를 출력한다. 센서 컨트롤러(155)는 센서(156)에 의하여 생긴 에러를 관리하여도 좋고, 또는 센서(156)를 교정(較正)하여도 좋다.
표시 장치(158)는 디스플레이 컨트롤러(157)를 통하여 시스템 버스(150)에 접속된다. 표시 장치(158)로서는, 유기 발광 소자(OLED)로 대표되는 발광 소자를 각 화소가 포함하는 발광 장치, 액정 표시 장치, 전기 영동 방식, 전자 분류체(등록 상표) 방식 등에 의하여 표시를 수행하는 전자 종이, DMD(Digital Micromirror Device), PDP(Plasma Display Panel), FED(Field Emission Display), SED(Surface conduction Electron-emitter Display), LED(Light Emitting Diode) 디스플레이, 카본나노튜브 디스플레이, 나노 결정 디스플레이, 양자 도트 디스플레이 등으로부터 선택되고 가요성을 갖는 표시 장치가 사용된다. 시스템 버스(150)를 통하여 프로세서(151)로부터 입력되는 묘화 지시에 응하여 디스플레이 컨트롤러(157)는 표시 장치(158)를 제어하여 소정의 화상이 표시 장치(158)의 표시 화면(102)에 표시된다.
전원(160)은 전자 기기(100)의 복수의 구성 요소에 전력을 공급한다. 전원(160)으로서는 예컨대, 하나 이상의 1차 전지나 2차 전지가 포함된다. 또한, 실내 등에서 사용하는 경우에는 외부 전원으로서 교류(AC) 전원이 사용되어도 좋다. 특히, 전자 기기(100)를 외부 전원과 분리하여 사용하는 경우에는 오랫동안에 걸쳐 전자 기기(100)가 사용될 수 있도록 전원이 큰 충방전 용량을 갖는 것이 바람직하다. 전원(160)이 충전될 때, 전자 기기(100)와 분리된 충전기가 사용되어도 좋다. 또한, 본 실시형태에서의 전자 기기(100)는 가요성이기 때문에 전원(160)도 가요성인 것이 바람직하다. 이와 같은 특징을 갖는 2차 전지로서 예컨대, 리튬 이온 2차 전지 및 리튬 이온 폴리머 2차 전지를 들 수 있다. 또한 전지가 가요성을 갖도록 전지의 외장 용기로서 라미네이트 패키지가 사용되는 것이 바람직하다.
또한, 도시되지 않았지만 전원(160)은 전원 관리 장치(배터리 매니지먼트 유닛: BMU)를 가져도 좋다. BMU는, 예컨대 전지의 셀 전압 또는 셀 온도에 관한 데이터의 수집, 과충전 및 과방전의 감시, 셀 밸런서(cell balancer)의 제어, 전지의 열화 상태의 관리, 전지 잔량(State Of Charge: SOC)의 산출, 및 고장 검출의 제어를 한다.
전원 컨트롤러(159)는 전원(160)으로부터 시스템 버스(150) 또는 전원 공급 라인을 통하여 각 구성 요소로의 전력의 이송을 제어한다. 전원 컨트롤러(159)는 복수의 채널의 전력 컨버터 또는 인버터, 보호 회로 등을 갖는다. 또한, 전원 컨트롤러(159)는 소비 전력을 저감하는 기능을 갖는다. 예를 들어, 전자 기기(100)에 소정의 기간 입력이 없는 것을 검출하고 나서 전원 컨트롤러(159)는 프로세서(151)의 클록 주파수를 저하 또는 클록의 입력을 정지하거나, 프로세서(151) 자체의 동작을 정지하거나, 또는 HDD의 회전을 정지시킴으로써 전력 소비를 저감한다. 이와 같은 기능은 전원 컨트롤러(159)만 또는 프로세서(151)와 연동하는 전원 컨트롤러(159)로 수행된다.
통신 인터페이스(I/F)(162)는 통신 컨트롤러(161)를 통하여 시스템 버스(150)와 접속된다. 통신 컨트롤러(161) 및 통신 I/F(162)는, 프로세서(151)로부터의 지시에 응하여, 전자 기기(100)를 컴퓨터 네트워크에 접속시키기 위한 접속 신호를 제어하고 상기 신호를 컴퓨터 네트워크로 전송한다. 이로써 통신은, 인터넷(World Wide Web(WWW)의 기반), 인트라넷(intranet), 엑스트라넷(extranet), PAN(Personal Area Network), LAN(Local Area Network), CAN(Campus Area Network), MAN(Metropolitan Area Network), WAN(Wide Area Network), 또는 GAN(Global Area Network) 등의 컴퓨터 네트워크와 전자 기기(100)를 접속시킴으로써 수행될 수 있다.
전자 기기(100)와 다른 기기 사이의 통신이 전송로 없이, 즉 무선으로 수행되는 경우, RF(Radio-Frequency) 회로는 통신 인터페이스(I/F)(162)에 제공되어 RF 신호가 송수신되어도 좋다. RF 회로는 각국 법제로 설정된 주파수대역의 전자기 신호와 전기 신호 사이를 변환하고, 상기 전자기 신호를 사용하여 무선으로 다른 통신 기기와 통신을 수행한다. 수십 킬로헬즈~수십 기가헬즈가 일반적으로 사용되는 실용적인 주파수 대역이다. RF 회로는 복수의 주파수대역에 대응한 RF 회로부와 안테나를 포함하고, RF 회로부는 증폭기, 믹서, 필터, DSP(Digital Signal Processor), RF 트랜스시버 등을 포함한다. 무선 통신을 수행하는 경우, 통신 프로토콜 또는 통신 기술로서 GSM(Global System for Mobile Communication)(등록 상표), EDGE(Enhanced Data Rates for GSM Evolution), CDMA2000(Code Division Multiple Access 2000), 또는 W-CDMA(Wideband Code Division Multiple Access) 등의 통신 규격이나, 또는 Wi-Fi(Wireless Fidelity)(등록 상표), Bluetooth(등록 상표), 또는 ZigBee(등록 상표) 등의 IEEE에 의하여 개발된 통신 규격을 사용할 수 있다.
또한, 전자 기기(100)가 통화를 위한 전화로서 사용되는 경우, 통신 컨트롤러(161) 및 통신 I/F(162)는, 프로세서(151)로부터의 지시에 응하여, 전자 기기(100)를 전화 회선에 접속하기 위한 접속 신호를 제어하고 상기 신호를 전화 회선으로 전송한다.
음향에 관한, 스피커(164), 음성 출력 커넥터(165), 및 마이크로폰(166)은 사운드 컨트롤러(163)에 접속되어 시스템 버스(150)를 통하여 프로세서(151)와 접속된다. 사운드 컨트롤러(163)는 프로세서(151)로부터의 지시에 응하여 사용자가 들을 수 있는 아날로그 음성 신호를 생성하고 스피커(164) 또는 음성 출력 커넥터(165)에 상기 신호를 출력한다. 마이크로폰(166)에 입력된 음성 데이터는 사운드 컨트롤러(163)에서 디지털 신호로 변환되고 사운드 컨트롤러(163) 및 프로세서(151)에서 처리된다. 음성 출력 커넥터(165)에 헤드폰, 이어폰, 및 헤드셋 등의 음성 출력 장치가 접속되고, 사운드 컨트롤러(163)에서 생성된 음성이 상기 장치에 출력된다.
하우징에 제공된 하나 이상의 스위치(이하에서는 편의상 하우징 스위치(168)라고 함), 표시 화면(102) 근방에 제공된 터치 패널(169), 하우징(101)에 제공된 키보드(170), 하우징(101) 하면에 제공된 카메라(171), 및 기타 입력 컴포넌트가 접속될 수 있는 외부 포트(172)는 입력 인터페이스(167)에 의하여 제어되고, 입력 인터페이스(167)는 시스템 버스(150)를 통하여 프로세서(151) 등에 접속된다.
하우징 스위치(168)는, 예컨대 도 1의 (A)~(D)에 도시된, 홈 버튼(103), 음량 조정 버튼(104), 뮤트 버튼(105), 슬립 버튼(108) 등에 대응한다. 이들 하우징 스위치(168), 터치 패널(169), 키보드(170), 카메라(171), 및 외부 포트(172)에 더하여, 음성을 입력하기 위한 마이크로폰(166) 및 표시 화면(102)의 형상 변화를 검출하는 센서(156)는 전자 기기(100)와 사용자 사이의 인터페이스의 역할을 갖는다.
터치 패널(169)은 표시 화면(102)상에 제공되고, 손가락이나 펜 등의 지시 수단으로 데이터가 입력됨으로써 입력 장치로서 사용될 수 있다. 터치 패널(169)이 제공됨으로써 전자 기기상에 키보드를 위한 영역이 필요 없게 되어, 넓은 영역에 표시 화면이 제공될 수 있다. 또한, 펜이나 손가락으로 데이터가 입력될 수 있기 때문에, 사용하기 쉬운 인터페이스를 얻을 수 있다. 터치 패널(169)은, 저항막 방식, 정전용량 방식, 적외선 방식, 전자 유도 방식, 및 표면 탄성파 방식 등의 다양한 방식 중 어느 하나가 되어도 좋지만, 본 발명의 일 형태에 따른 표시 화면(102)은 만곡될 수 있기 때문에, 저항막 방식 또는 정전용량 방식이 특히 바람직하다. 또한, 터치 패널(169)이 한 구성 요소로서의 역할을 갖도록 센서(156)를 포함하여도 좋다. 이 구성은 부품 개수가 저감되고 전자 기기(100)의 두께의 저감에 기여하게 한다.
진동 모터(174)는 출력 인터페이스(173)를 통하여 시스템 버스(150)에 접속된다. 프로세서(151)로부터의 지시에 응하여 출력 인터페이스(173)가 진동 기간 등을 제어하고 진동 모터(174)를 진동시킨다. 이로써 전자 기기(100)를 진동시키고, 이 진동이, 컴퓨터 게임 등의 애플리케이션의 실행 또는 전자 메일 작신 시에 사용자에 대한 촉각 효과로서 사용된다. 표시 화면(102)의 만곡 정도에 따라 진동 모터(174)를 진동시켜도 좋고, 예컨대, 표시 화면(102)의 가요성이 소정의 정도에 한정될 때, 진동 모터(174)는 문턱 값이 초과한 것을 사용자에 알리기 위하여 사용된다. 도시되지 않았지만, 진동 모터(174)에 더하여 사용자가 오감을 사용하여 인지할 수 있는 다양한 출력 장치가 출력 인터페이스(173)에 접속될 수 있다. 예를 들어, 전자 기기(100)의 동작 상태를 나타내기 위한 발광 장치, 진동에 응하여 향기를 산포하는 아로마 디퓨저 등이 출력 인터페이스(173)에 접속될 수 있다.
(전자 기기의 기능)
다음에, 도 4는 본 실시형태에서의 전자 기기(100)의 주요 기능을 도시한 블록도다. 전자 기기(100)는 표시부(201), 검출부(202), 연산부(203), 및 저장부(204)의 네 개의 기능 블록을 적어도 갖는다. 입력부(205) 및 출력부(206)가 추가적으로 포함되어도 좋다.
표시부(201)는, 도 2를 참조하여 설명된 표시 장치(158) 및 디스플레이 컨트롤러(157) 등을 포함하고, 표시 장치(158)의 표시 화면에 필드, 오브젝트 등을 표시한다. 적어도 표시 장치(158)는 가요성을 갖고 변형될 수 있다. 표시 장치(158)의 표시 화면(102)에, 표시 화면(102)의 형상 변화에 따라 이동하는 오브젝트가 표시된다. 여기서 오브젝트란 표시 화면(102)에 표시된 물체이고 표시 화면(102)의 변형에 응하여 동작하는 것이다. 또한, 필드는 동작 상태에 있는 오브젝트의 배경이고 오브젝트의 동작에 영향을 미치는 하지(下地)다. 필드의 그래픽 표현은 소재를 표현한 텍스처의 배치이어도 좋고 또는 투명이어도 좋다.
검출부(202)는 도 2를 참조하여 설명된 센서(156) 및 센서 컨트롤러(155) 등을 포함하고, 표시 장치(158)의 표시 화면(102)의 검출 위치 정보를 검출한다. 예를 들어, 복수의 센서(156)는 매트릭스로 제공되고, 각각 제공된 장소에서 센서(156) 각각은 다른 센서(156)와의 상대적인 위치 정보를 얻는다. 센서(156)에 의하여 얻은 위치 정보는 센서 컨트롤러(155)를 통하여 연산부(203)에 출력된다.
연산부(203)는 도 2를 참조하여 설명된 프로세서(151) 등을 포함한다. 연산부(203)에, 검출부(202)로부터 출력되는, 표시 화면(102)의 부위의 위치 정보가 입력되고, 연산부(203)는 상기 정보에 기초하여 표시 화면(102)의 입체 형상을 산출한다. 표시 화면(102)의 입체 형상의 산출은 사용되는 센서(156) 또는 산출 방법을 고려하여 적절히 수행되어도 좋다. 표시 화면(102)의 입체 형상의 산출 시에는 이미 산출된 표시 화면(102)의 입체 형상의 데이터와 최신 데이터와의 비교가 수행되고, 표시 화면(102)의 새로운 입체 형상을 얻도록 변화량이 연산되면 프로세서(151)에 대하여 부담이 되는 연산이 감소될 수 있다. 이미 산출된 표시 화면(102)의 입체 형상에 따른 데이터 중 적어도 최신 데이터는 저장부(204)에 저장된다. 또한, 센서(156)에 의하여 이미 취득된 위치 정보와 센서(156)에 의하여 새로 취득된 위치 정보가 비교되고 표시 화면(102)의 입체 형상에 그 변화량이 추가됨으로써 표시 화면(102)의 입체 형상을 산출할 수도 있다. 이 경우, 센서(156)에 의하여 이미 취득된 위치 정보 중 적어도 최신 데이터는 저장부(204)에 저장된다.
표시 화면(102)의 입체 형상을 산출한 후, 연산부(203)는 산출된 표시 화면(102)의 입체 형상에 따라 필드상에서 오브젝트를 이동시킨다.
저장부(204)는 도 2를 참조하여 설명된 메인 메모리(152), 보조 메모리(154), 및 메모리 컨트롤러(153) 등을 포함한다. 저장부(204)에서 적어도 오브젝트에 따른 데이터, 필드에 따른 데이터, 오브젝트의 이동을 규정하는 법칙에 따른 데이터가 저장된다. 이들 데이터는 오퍼레이팅 시스템에 포함되어도 좋고, 또는 애플리케이션 프로그램, 프로그램 모듈, 또는 프로그램 데이터로서 저장부(204)에 저장되어도 좋다. 이들 데이터는 예컨대, 보조 메모리(154)로서 사용되는 HDD에 저장되고, 전자 기기(100)의 기동에 의하여 필요에 따라 DRAM 등을 포함하는 메인 메모리(152)에 로드된다.
도 5의 (A)에 도시된 바와 같이, 오브젝트에 따른 데이터(오브젝트 데이터(250))는 오브젝트 ID(251), 오브젝트 형상(252), 설정된 질량 또는 설정된 표면 상태(마찰 계수) 등의 오브젝트 물리량(253), 오브젝트 화상(254), 및 초기 위치 등의 오브젝트의 초기 설정(255)이고, 이들 데이터는 구조화된 리스트, 테이블, 또는 데이터베이스로서 저장부(204)에 저장될 수 있다. 도 5의 (A)에 도시된 예에서, 데이터는 층상 구조를 형성하도록 오브젝트 ID(251)에 관련된다.
도 5의 (B)에 도시된 바와 같이, 필드에 따른 데이터(필드 데이터(260))는 필드 ID(261), 필드 형상(262), 필드 물리량(263), 필드 화상(264), 및 필드의 초기 설정(265)이고, 이들 데이터는 구조화된 리스트, 테이블, 또는 데이터베이스로서 저장부(204)에 저장될 수 있다. 도 5의 (B)에 도시된 예에서, 데이터는 층상 구조를 형성하도록 필드 ID(261)에 관련된다.
오브젝트의 이동을 규정하는 법칙은 오브젝트의 이동을 규정하는 소정의 방정식에 의하여 나타낼 수 있는 법칙을 말한다. 예를 들어, 자연계의 물리 법칙, 특히, 물체의 운동을 규정하는 법칙을 말한다. 중력, 인력, 마찰력, 공기 저항, 강체 또는 유체의 운동 등의, 역학을 시각적으로 나타내는 운동 방정식에 의하여 나타낼 수 있는 법칙을 예로서 특히 들 수 있다. 하지만 "소정의 법칙"이란 자연계의 물리 법칙에 한정되지 않는다. 예를 들어, 시각적 효과를 증가하기 위하여, 소정의 법칙은 자연계의 물리 법칙으로부터 벗어나는 법칙이라도 좋고, 또는 예컨대 중력에 역행하여 부유하는 물체에 의하여 자연 법칙에 반하는 법칙이라도 좋다. 또한, 이와 같은 방정식은 정확히 자연계의 물리 법칙을 나타낼 필요는 없고 의사적인 방정식이나 단순화된 방정식이라도 좋다. 오브젝트의 이동을 규정하는 법칙에 따른 데이터는 오브젝트의 동작의 시뮬레이션을 위한 기초를 형성하는 방정식의 그룹이다. 도시되지 않았지만, 오브젝트의 이동을 규정하는 법칙에 따른 데이터는 구조화된 리스트, 테이블, 또는 데이터베이스로서 저장부(204)에 저장될 수도 있다.
연산부(203)는 저장부(204)에 저장된 오브젝트 ID 및 필드 ID에 관련된 물리량, 위치 정보 등, 및 검출부(202)로부터의 데이터에 기초하여 산출된 표시 화면(102)의 입체 형상을 참조하고, 상술한 법칙에 따라 오브젝트가 이동하도록 오브젝트의 이동을 규정하는 법칙에 따른 데이터에 기초하여 오브젝트의 동작을 시뮬레이트한다. 즉, 표시 화면(102)의 형상 변화에 응하여, 연산부(203)는 오브젝트 데이터, 필드 데이터, 오브젝트의 이동을 규정하는 법칙에 따른 데이터 등을 형상 변화에 따른 데이터와 함께 작업 공간에 불러오고, 오브젝트의 이동을 규정하는 법칙에 따른 데이터의 방정식에 파라미터를 삽입하고, 오브젝트의 동작을 산출한다. 오브젝트의 동작의 산출이 오브젝트의 동작이 실질적으로 약해질 때까지 수행되는 동안, 검출부(202)는 표시 화면(102)의 형상 변화를 더 감시하고, 형상 변화가 검출되자마자 오브젝트의 동작을 수정한다.
상술한 바와 같이, 표시 화면(102)의 형상 변화에 수반하는 수정은 반복하여 수행되고 오브젝트의 동작이 약해질(즉 오브젝트의 동작이 정지될) 때까지 시뮬레이션은 계속되어, 표시 화면(102)의 변형에 따른 오브젝트의 리얼한 동작을 사용자가 느낄 수 있다. 연산부(203)에 의하여 시뮬레이트된 오브젝트의 동작은 표시부(201)에 출력되고, 표시 화면(102)에 표시된다. 또한, 표시 화면(102)의 형상 변화는 소정의 문턱 값을 가지고, 문턱 값이 초과한 경우에만 연산부(203)가 연산을 수행하는 것이 바람직하다. 이 경우, 연산부(203)의 산출량의 증가가 억제될 수 있고 오브젝트의 동작이 소정의 레벨에서 정지될 수 있다.
입력부(205)는, 도 2를 참조하여 설명된 마이크로폰(166), 하우징 스위치(168), 터치 패널(169), 키보드(170), 카메라(171), 외부 포트(172), 사운드 컨트롤러(163), 및 입력 인터페이스(167) 등을 포함한다. 예를 들어, 표시 화면(102)에 표시된 오브젝트는 마이크로폰(166)으로 입력된 음성에 응하여 이동할 수 있다. 또한, 센서(156)로서 표시 화면(102)의 형상을 산출하기 위한 센서를 나타냈지만 이들 센서 외에 입력 인터페이스로서 센서가 사용된다. 예를 들어, 전자 기기(100)에 가속도 센서를 사용함으로써 오브젝트는 전자 기기(100)의 기울기에 따라 이동시킬 수 있다. 센서(156)는 입력을 위한 이와 같은 센서로서 사용되어도 좋다.
출력부(206)는 도 2를 참조하여 설명된 스피커(164), 음성 출력 커넥터(165), 사운드 컨트롤러(163), 진동 모터(174), 및 출력 인터페이스(173) 등을 포함한다. 예를 들어, 상기에서 설명된 바와 같이, 동작이 결정된 오브젝트가 이동하는 동안, 진동 모터(174)의 제어에 의하여 전자 기기(100)를 진동시켜 촉각을 통하여 리얼리티를 사용자에게 느끼게 할 수 있다.
(전자 기기의 동작예)
다음에 도 6의 (A)~(C)를 참조하여 전자 기기(100)의 동작예를 설명한다.
도 6의 (A)는 전자 기기(100)의 상면을 도시한 사시도이고 오브젝트(301)가 전자 기기(100)의 표시 화면(102)에 표시된다. 오브젝트(301)를 위한 표시 동작을 설명하기 위하여 다른 표시는 도면에 도시되지 않았지만 실제로는 배경 화상, 아이콘, 툴바, 포인터, 윈도, 텍스트, 동영상, 또는 웹브라우저 등의 어느 표시물이 상기 오브젝트(301)와 동시에 표시될 수 있다.
도 6의 (A) 중의 오브젝트(301)는 구상 고체와 같이 디자인되고 소정의 위치에서 정지 상태에 있다. 오브젝트(301)의 동작 범위는 필드로서 정의되고 오브젝트(301)의 동작에 영향을 미치는 하지로서 기능한다.
도 6의 (B)는, 오른쪽 단부가 들림으로써 만곡된 전자 기기(100)를 도시한 것이다. 전자 기기(100)의 변형에 의하여 표시 화면(102)도 변형된다. 변형을 검출한 복수의 센서(156)로부터의 데이터는 조합되고, 연산부(203)는 표시 화면(102)의 변화된 형상을 산출한다. 또한, 각종 데이터가 저장부(204)로부터 불러오게 되고 상술한 방법에 의하여 오브젝트의 동작이 시뮬레이트된다. 시뮬레이션 결과는 오브젝트의 동작으로서 표시 화면(102)에 표시된다. 도 6의 (B)에서, 표시 화면(102)의 오른쪽이 들리기 때문에 오브젝트(301)는 표시 화면(102)의 중앙부에 마치 중력에 의하여 끌리는 것처럼(도면 중 화살표로 나타내어진 방향으로) 이동한다.
도 6의 (B)에서 오브젝트(301)는 고체의 구체다. 그러므로 뉴톤 역학에 따르면, 오브젝트(301)는 표시 화면(102)의 중앙에 구른다. 여기서 오브젝트(301)는 소정의 물리량을 갖는다. 따라서 이동 속도 및 회전 속도는 질량 등에 따른다. 필드도 소정의 물리량 등을 갖는다. 예를 들어, 오브젝트(301)는 필드에 설정된 공기 저항, 필드에 설정된 중력 가속도, 및 필드에 설정된 마찰을 받으면서 이동한다.
상술한 바와 같이 오브젝트(301)의 동작에 다양한 법칙을 적용함으로써 사용자에게 리얼리티를 느끼게 할 수 있다.
또한, 오브젝트(301) 및 필드의 물리량 등은 모두 참조할 필요는 없고 이들의 일부만이 참조에 사용되어도 좋다. 일부만이 참조될 때, 연산부(203)에 대한 부담이 저감될 수 있다. 마찬가지로 저장부(204)에 저장된 방정식의 그룹 중 일부만이 시뮬레이션에서 사용되어도 좋다. 도 6의 (B)에서는 필드상에 한 오브젝트(301)만이 표시되지만, 복수의 오브젝트(301)가 표시되어도 좋다. 이 경우, 표시 화면(102)에 표시된 오브젝트(301)의 개수에 따라, 참조되는 물리량이나 방정식의 그룹 등의 데이터 또는 파라미터의 개수는 적절히 조정된다.
도 6의 (C)에는 전자 기기(100)가 아래로 돌출되도록 더 만곡됨으로써 변형되는 경우에서의 오브젝트(301)의 동작을 도시하였다. 예를 들어, 도 6의 (B)에 도시된 바와 같이 위치된 구상 오브젝트(301)는 표시 화면(102)의 만곡에 의하여 형성된 움푹 들어간 곳에 떨어진다. 움푹 들어간 곳에 떨어진 오브젝트(301)는 표시 화면(102)의 높은 벽에 의하여 양측이 둘러싸여 좌우로 이동할 수 없고, 오브젝트(301)는 움푹 들어간 곳의 바닥을 이동하고 나서 한참 이따가 정지된다.
상술한 바와 같이, 표시 화면(102)의 입체 형상에 따른 데이터가 센서(156) 및 프로세서(151)를 사용하여 산출되어, 형상에 따라 이동하는 오브젝트(301)가 표시될 수 있다. 이로써 표시 화면(102)에 표시되는 오브젝트(301)가 마치 전자 기기(100)의 표면에 존재하는 것처럼, 사용자가 리얼리티를 느낄 수 있다.
또한, 여기서 표시 화면(102)의 변형이, 오브젝트(301)가 이동을 시작하기 위한 조건이었지만, 이 조건은 이에 한정되지 않는다. 예를 들어, 가속도 센서가 전자 기기(100)의 입력 인터페이스(167)로서 제공될 때, 가속도 센서에 의한 가속도의 검출이 오브젝트(301)가 이동을 시작하기 위한 조건이 되어도 좋다. 오브젝트(301)는 가속도 센서에 의하여 검출된 기울기에 따른 방향으로 이동시킬 수 있다. 또한, 마이크로폰(166)이 입력 인터페이스(167)로서 사용될 때, 오브젝트(301)는 예컨대 입력된 음성의 음량에 따라 이동시킬 수 있다. 또한, 오브젝트(301)는, 키보드(170)에 의한 직접 입력에 따른 방향으로 이동시킬 수 있다. 또한, 오브젝트(301)는 전자 기기(100)의 하우징(101)에 제공된 홈 버튼(103)을 누름으로써 초기 위치로 되돌아가도 좋다.
(오브젝트의 표시 처리를 위한 절차)
다음에, 본 발명의 일 형태에 따른 전자 기기(100)의 오브젝트의 표시 처리를 위한 절차에 대하여 도 7, 도 8, 도 9, 도 10, 도 11, 도 12, 및 도 13을 참조하여 설명한다.
도 7은 본 발명의 일 형태에 따른 전자 기기(100)의 오브젝트의 표시 처리를 위한 절차(500)를 나타낸 흐름도다. 여기서는, 오브젝트의 표시 처리를 위한 절차의 예로서, 오브젝트를 표시하는 애플리케이션을 설명한다. 이와 같은 애플리케이션의 예는 전자 기기(100)의 홈 화면의 배경 등이다.
따라서 하기에 설명되는 오브젝트의 표시 처리를 위한 절차는 애플리케이션 프로그램에 의하여 실행된다. 상기 프로그램은 보조 메모리(154) 또는 메인 메모리(152) 등의 컴퓨터 판독 가능한 기억 매체에 저장된다.
또한, 여기서는 상기 프로그램은 소프트웨어에 상당하지만 이와 같은 처리 수단은 전자 회로나 기계적인 하드웨어일 수도 있다.
먼저, 본 발명의 일 형태에 따른 전자 기기(100)에서의 오브젝트를 표시하기 위한 애플리케이션이 기동한다(S001). 여기서, 보조 메모리(154)에 저장된 애플리케이션 프로그램 등이 메인 메모리(152)에 로드된다. 또한, 이 애플리케이션의 기동은 오퍼레이팅 시스템의 기동과 동시에 수행되도록 설정되어도 좋다.
다음에, 오브젝트 및 필드에 관한 초기 조건을 설정한다(S002 및 S003). 오브젝트 및 필드에 관한 초기 조건은, 전번에 사용하였을 때의 애플리케이션 종료 시의 조건이 이전되도록 설정되거나 또는 사용 시에 매번 초기 설정으로 재설정되어도 좋다. 또한, 사용자가 이들 설정 중 어느 것을 선택할 수 있게 하여도 좋다.
오브젝트의 초기 조건은, 저장부(204)에 저장된 오브젝트 데이터(250)인 오브젝트 ID(251)나, 표시 위치 등을 설정한다. 또한, 필드의 초기 조건은, 저장부(204)에 저장된 필드 데이터(260)인 필드 ID(261) 등을 설정한다. 구체적으로 설정이란, 오브젝트 ID(251) 및 이에 관련된 오브젝트 물리량(253) 등의 보조 메모리(154)로부터의 판독과, 메인 메모리(152)에서의 이들의 저장을 말한다. 마찬가지로 필드 데이터(260)를 위한 파라미터도 설정된다.
오브젝트에 관한 초기 조건의 설정(S002) 및 필드에 관한 초기 조건의 설정(S003)이 수행되는 순서는 상술한 것에 한정되지 않는다. 필드에 관한 초기 조건의 설정이 먼저 수행되어도 좋고, 또는 오브젝트에 관한 초기 조건의 설정(S002) 및 필드에 관한 초기 조건의 설정(S003)이 동시에 수행되어도 좋다.
다음에 표시 화면(102)의 근방에 제공되는 복수의 센서(156)에 의하여, 각 위치에서의 위치 정보가 취득된다(S004). 이 후, 복수의 센서(156)에 의하여 취득된 위치 정보에 기초하여 연산부(203)에서 표시 화면(102)의 입체 형상이 산출된다(S005). 전자 기기(100)의 기동 후 및 애플리케이션의 기동 전에, 표시 화면(102)의 형상이 이미 다른 시스템이나 애플리케이션에 의하여 취득된 경우에는, 표시 화면(102)의 입체 형상은 취득된 형상에 따른 데이터를 사용하여 산출되어도 좋다.
다음에 스텝 S005에서 산출된 표시 화면(102)의 형상이 오브젝트의 초기 상태와 비교되고, 오브젝트를 이동시키는지가 판단된다(S006). 예를 들어, 스텝 S002에서 설정된 오브젝트의 초기 위치가, 표시 화면(102)의 만곡 형상으로 인하여 수평 면에 대하여 소정의 문턱 값을 초과하는 기울기를 갖는 위치에 상당하는 경우, 연산부(203)는 오브젝트의 이동이 필요하다고 판단한다. 한편, 오브젝트의 초기 위치가, 표시 화면(102)이 만곡부를 가져도 수평면에 대하여 평행한 위치에 상당하는 경우, 오브젝트는 정지 상태에 있어, 연산부(203)는 오브젝트의 이동이 필요하지 않다고 판단한다. 연산부(203)가 오브젝트의 이동이 필요하다고 판단할 때, 처리는 오브젝트 이동 모드(510)(또는 다른 예로서 설명될 오브젝트 이동 모드(520))로 이행한다(S007). 연산부(203)가 오브젝트의 이동이 필요하지 않다고 판단할 때, 처리는 오브젝트 대기 모드(530)로 이행한다(S008).
오브젝트 대기 모드(530)가 종료될 때, 애플리케이션을 종료하는지가 스텝 S009에서 판단되고, 조건이 맞는 경우(즉 나중에 기재될 애플리케이션 종료 플래그가 "1"인 경우), 애플리케이션이 종료되고(S010), 조건이 안 맞는 경우(즉 나중에 기재될 애플리케이션 종료 플래그가 "0"인 경우), 처리가 스텝 S004로 되돌아간다.
애플리케이션을 종료할 때, 메인 메모리(152)에 저장된 각종 데이터는 보조 메모리(154)에 저장되는 것이 바람직하다. 따라서 상기 데이터는 애플리케이션의 다음 기동 시에 초기 설정으로서 사용될 수 있다.
도 8은 본 발명의 일 형태에 따른 전자 기기(100)에서의 오브젝트의 표시 처리를 위한 절차에서의 오브젝트 이동 모드(510)를 나타낸 흐름도다. 오브젝트 이동 모드(510)에서, 오브젝트의 동작 시뮬레이션은 반복되고 이 결과는 표시 화면(102)에 매번 표시된다. 시뮬레이션의 반복과 오브젝트의 표시는 소정의 기간(이하, Δt로 함)마다 수행된다.
오브젝트 이동 모드가 시작한 후(S020), 오브젝트의 동작은 이미 산출된 표시 화면의 형상에 따라 결정된다(S021). 여기서, 오브젝트의 동작은 Δt까지 결정된다.
오브젝트의 동작은 연산부(203)의 소정의 법칙에 따라 시뮬레이트된다. 시뮬레이션은 스텝 S002 및 스텝 S003에서 설정된 오브젝트의 물리량, 필드의 물리량 등을 사용하여 실행된다. 이 시뮬레이션을 통하여, 오브젝트의 이동 방향, 속도 등이 결정된다. 오브젝트의 이동 방향, 속도 등의 시뮬레이션에는 관련된 필드 ID(261)에 따른 필드 데이터(260)도 참조된다. 예를 들어, 선택된 필드 ID(261)의 필드 물리량(263)이 고무 등의 탄성 재료에 따른 데이터를 포함하는 경우, 표시 화면(102)을 만곡함으로써 형성된 움푹 들어간 곳에 떨어진 후 뛰는 오브젝트의 동작이 시뮬레이트된다. 시뮬레이트된 오브젝트의 동작에 따른 데이터는 저장부(204)의 메인 메모리(152)에 저장된다.
오브젝트의 표시 전환, 변형 등의 시뮬레이션이 사용자에게 리얼리티를 더 제공하도록 수행되어도 좋다. 하지만, 시뮬레이션이 복잡하면 연산부(203)에 과부하가 걸려, 연산부(203)의 처리 지연이 적절한 표시를 저해하고, 결과적으로 사용자에 제공되는 리얼리티가 감소된다. 이 점을 감안하여, 연산 속도의 둔화를 피하기 위하여 예를 들어, 연산이 간략화되거나 또는 연산 결과의 데이터베이스가 작성되는 것이 바람직하다.
다음에, 시뮬레이션에 의하여 결정된 오브젝트의 동작에 따라, 오브젝트의 동작이 Δt의 기간만큼 표시 화면(102)에 표시된다(S022). 오브젝트의 동작은, 필드 물리량(263)에 따라 마찰 계수, 공기 저항, 중력 등으로부터 영향을 받는다. 또한, 오브젝트의 동작은 오브젝트의 정지를 포함한다. 따라서 스텝 S023은 오브젝트의 정지로부터 오브젝트의 이동까지, 및 오브젝트의 이동으로부터 오브젝트의 정지까지의 동작 시퀀스를 포함한다.
다음에, 표시 화면(102)의 입체 형상이 재산출(recalculate)된다(스텝 S023). 구체적으로는 이 스텝에서, 저장부(204)에 저장된, 전번에 산출된 표시 화면(102)의 입체 형상에 따른 데이터가, 표시 화면의 입체 형상에 대한 재산출 시퀀스(511)에 의하여 새로 취득된 표시 화면(102)의 입체 형상에 따른 데이터로 재기록된다.
여기서, 표시 화면의 입체 형상에 대한 재산출 시퀀스(511)는 도 9를 참조하여 설명된다. 표시 화면의 입체 형상에 대한 재산출 시퀀스(511)가 시작될 때(S040), 표시 화면(102)의 일부의 소정의 위치 정보가 센서(156)에 의하여 다시 취득된다(S041). 다음에, 표시 화면(102)의 입체 형상은 위치 정보에 기초하여 재산출된다(S042). 재산출됨과 동시에 표시 화면(102)의 입체 형상에 따른 데이터는 저장부(204)에 저장되고, 이 후, 표시 화면의 입체 형상에 대한 재산출 시퀀스(511)는 종료된다(S043).
표시 화면의 입체 형상에 대한 재산출 시퀀스(511)에 의하여, 전번에 산출된 표시 화면(102)의 입체 형상에 따른 데이터는, 표시 화면(102)의 입체 형상에 따른 새로 취득된 데이터에 의하여 겹쳐 기록됨으로써 업데이트된다. 또는, 겹쳐 기록하지 않고, 전번에 산출된 표시 화면(102)의 입체 형상에 따른 데이터가 저장된 저장부(204)의 어드레스와 다른 어드레스가 지정되어 새로 취득된 데이터를 저장하여도 좋다.
또한, 표시 화면의 입체 형상에 대한 재산출 시퀀스(511)와 동시에, 터치 패널 등의 입력 장치에 의하여 입력된 데이터가 스텝 S023에서 입력 인터페이스(167)로부터 판독되어도 좋다.
그리고, 메인 메모리(152)에 저장된 오브젝트의 동작에 따른 데이터를 업데이트하기 위하여, 오브젝트의 동작이 다시 시뮬레이트된다(S024). 오브젝트의 동작의 시뮬레이션은 예외 없이 수행되어도 좋고, 또는, 전번에 산출된 표시 화면(102)의 입체 형상에 따른 데이터와 스텝 S023에서 재산출된 표시 화면(102)의 입체 형상에 따른 데이터가 서로 비교되어 차이가 있는 경우에만 오브젝트의 동작의 시뮬레이션을 수행할 수 있다. 이 경우에서, 입체 형상에 따른 각 데이터를 비교하기 위하여 변화량이 소정의 문턱 값을 가지는 경우, 노이즈나, 사용자가 인지할 수 없는 영역에서의 연산부(203)에 의한 불필요한 비교로 인한 부담이 감소될 수 있어 바람직하다. 즉, 표시 화면(102)의 전번에 산출된 입체 형상에 따른 데이터로부터의 표시 화면(102)의 재산출된 입체 형상에 따른 데이터의 변화량이 소정의 문턱 값을 초과하는 경우에만, 표시 화면(102)의 입체 형상이 변화된다고 판단되고, 처리가 스텝 S024로 진행하는 것이 바람직하다. 변화가 없을 때에는 처리는 스텝 S025로 진행한다.
다음에, 스텝 S025에서, 오브젝트가 동작 상태에 있는지 정지 상태에 있는지가 판단된다. 오브젝트 이동 모드(510)에서, 오브젝트의 동작의 시뮬레이션이 Δt 기간마다 수행된다. 따라서 스텝 S021에서의 시뮬레이션의 결과는 Δt 후의 오브젝트가 동작 상태에 있는 것으로 나타내는 경우가 있다. 또한, 스텝 S023에서의 표시 화면(102)의 입체 형상의 재산출의 결과 등에 따라, 스텝 S024에서의 시뮬레이션에 의하여 오브젝트의 다른 동작이 생기는 경우가 있다. 이 경우, 오브젝트가 정지 상태에 있지 않고 동작 상태에 있다고 판단되어 처리는 스텝 S022로 되돌아간다.
한편, 오브젝트가 정지 상태에 있다고 판단되는 경우, 오브젝트 이동 모드(510)가 종료된다(S026).
상술한 바와 같이, Δt의 길이를 각각 갖는 기간으로 분할된 오브젝트의 동작 기간을 따라 표시가 수행되고, 표시 화면의 형상이 변화됨과 함께 시뮬레이션이 반복되어 오브젝트의 동작은 각 기간에 수정 및 표시되어 사용자에게 리얼리티를 느끼게 할 수 있다.
도 10은, 도 8을 참조하여 설명된 처리 절차와 상이한 오브젝트 이동 모드(520)에서의 처리 절차를 나타낸 흐름도다.
상술한 오브젝트 이동 모드(510)에서의 처리에서, 오브젝트의 동작을 표시하기 위한 시간이 구분되고, 주어진 표시가 종료된 후, 다음 표시를 위한 시뮬레이션이 수행되는 한편으로, 오브젝트 이동 모드(520)에서의 처리에서 오브젝트의 동작은 소정의 기간 표시되고 이 기간에서 다음 표시를 위한 시뮬레이션이 수행된다.
오브젝트 이동 모드(520)가 시작될 때(S050), 이미 산출된 표시 화면(102)의 입체 형상에 따른 데이터에 기초하여 오브젝트의 동작이 시뮬레이션에 의하여 결정된다(S051).
다음에, 시뮬레이션에 의하여 결정된 동작은 소정의 기간(여기서는 Δt) 표시되고, 기간 Δt 동안, 다음 기간 Δt의 오브젝트의 동작이 시뮬레이트된다. 오브젝트의 동작의 표시는 오브젝트의 동작을 위한 표시 시퀀스(521)에 따라 실행되고, 오브젝트의 다음 동작은, 오브젝트의 동작을 위한 연산 시퀀스(522)에 따라 실행된다(S052).
여기서, 오브젝트의 동작을 위한 표시 시퀀스(521)를 도 11을 참조하여 설명한다. 이 시퀀스가 시작한 후(S060), 시간 t는 "0"에 초기화된다(S061). 다음에, 스텝 S062~S065에서, 오브젝트의 동작이 표시된다. 즉, 시간 t마다 오브젝트의 동작을 표시하고(S063), t의 추가에 의하여 t를 업데이트하고(S064), 오브젝트의 동작을 다시 표시하는 것은 시간 t가 Δt가 될 때까지 반복된다(S065). 따라서 오브젝트의 동작은 시간 t가 Δt가 될 때까지 계속 표시된다. 시간 t가 Δt가 될 때, 오브젝트의 동작을 위한 표시 시퀀스(521)는 종료된다(S066).
다음에 오브젝트의 동작을 위한 연산 시퀀스(522)를 도 12를 참조하여 설명한다. 오브젝트의 동작을 위한 표시 시퀀스(521)와 마찬가지로 시퀀스가 시작된 후(S070), 시간 t가 초기화된다(S071). 다음에 스텝 S072~S077에서, 기간 Δt에서의 표시 화면(102)의 입체 형상에 따른 오브젝트의 동작이 시뮬레이트된다.
센서(156)에 의하여 표시 화면(102)의 소정의 일부의 위치 정보가 취득된다(S073). 다음에 표시 화면(102)의 입체 형상이 취득된 위치 정보에 기초하여 산출된다(S074). 산출된 표시 화면(102)의 입체 형상에 따른 데이터에 따라, 기간 Δt만큼 오브젝트의 동작이 시뮬레이트되고 결정된다(S075). 이 후, t의 추가에 의하여 t가 업데이트된다(S076).
상술된 스텝 S073~S076은 t가 Δt가 될 때까지 반복된다(S077). 여기서 기간 Δt는 오브젝트의 동작을 위한 표시 시퀀스(521)에서 결정된 기간 Δt와 동일한 기간이다. 시퀀스들 사이의 동기에 의하여 같은 기간(Δt) 동안에 시퀀스들이 동시에 수행된다. 즉, 오브젝트의 동작을 위한 표시 시퀀스(521)에서, 오브젝트의 동작이 표시되는 동안에, 다음 기간을 위한 오브젝트의 동작이 오브젝트의 동작을 위한 연산 시퀀스(522)에 의하여 미리 결정될 수 있다.
오브젝트의 동작을 위한 연산 시퀀스(522)에서, 기간 Δt 동안에 표시 화면(102)의 형상이 변화될 때, 결정된 오브젝트의 동작은 겹쳐 기록됨으로써 수정된다. 또한, 도 12에서, 오브젝트의 동작의 시뮬레이션은 표시 화면(102)의 형상이 변화되는지 여부에 상관없이 반복되지만, 표시 화면(102)의 형상 변화를 판단하는 스텝이 삽입되어도 좋고, 이 경우에는, 형상이 변화되지 않을 때, 시뮬레이션은 생략되어도 좋다. 더구나, 표시 화면(102)의 입체 형상의 산출은 센서에 의하여 얻어진 위치 정보가 미리 설정된 값 이상의 변화를 나타낼 때만 수행되어도 좋다.
상술한 바와 같이 반복된 동작의 결과로서 t가 Δt가 될 때, 오브젝트의 동작을 위한 연산 시퀀스(522)는 종료된다(S078).
스텝 S052 후, 도 10에 도시된 바와 같이, 오브젝트가 동작 상태에 있는지 정지 상태에 있는지 여부가 판단된다(S053). 오브젝트가 동작 상태에 있다고 판단되는 경우, 처리는 스텝 S052로 되돌아가고, 한편으로 오브젝트가 정지 상태에 있는 경우, 오브젝트 이동 모드(520)는 종료되고(S054), 처리는 오브젝트 대기 모드(530)로 이행한다.
상술한 바와 같이, 도 10에 도시된 오브젝트 이동 모드(520)에서, 오브젝트의 동작의 표시와 다음 기간을 위한 오브젝트의 동작의 시뮬레이션은 소정의 기간에 병렬로 수행된다. 이와 같은 처리는 사용자에게 리얼리티를 느끼게 한다.
다음에, 오브젝트 대기 모드(530)를 설명한다. 도 13은 오브젝트 대기 모드(530)에서 처리하기 위한 절차를 나타낸 흐름도다. 오브젝트 대기 모드는, 이 애플리케이션이 기동하고 있는 상태에서, 표시 화면(102)에 표시된 오브젝트가 정지 상태에 있는 기간에 수행되는 전자 기기(100)의 내부 처리를 가리킨다.
오브젝트 대기 모드가 시작될 때(S030), 스텝 S031에서, 애플리케이션이 종료되는지 여부를 나타내는 애플리케이션 종료 플래그 및 오브젝트 대기 모드(530)가 종료되는지 여부를 나타내는 모드 종료 플래그가 초기화된다. 예를 들어, 양쪽 플래그는 "0"으로 설정된다.
다음에 표시 화면(102)이 변형되는지 여부가, 스텝 S005, 스텝 S042, 또는 스텝 S074에서 이미 산출된 표시 화면(102)의 입체 형상에 따른 데이터와, 스텝 S032(S032)에서 재산출된 표시 화면(102)의 입체 형상에 따른 데이터를 센서(156)를 사용하여 비교함으로써 확인된다(S032). 입체 형상에 따른 각 데이터를 비교하기 위하여, 변화량이 소정의 문턱 값을 가지는 경우, 노이즈나, 사용자가 인지할 수 없는 영역에서의 연산부(203)에 의한 불필요한 연산으로 인한 부담이 감소될 수 있어 바람직하다. 즉, 표시 화면(102)의 전번에 산출된 입체 형상에 따른 데이터로부터의 표시 화면(102)의 재산출된 입체 형상에 따른 데이터의 변화량이 소정의 문턱 값을 초과하는 경우에만, 표시 화면(102)의 입체 형상이 변화된다고 판단되고, 처리가 스텝 S034로 진행하는 것이 바람직하다.
표시 화면(102)의 입체 형상이 변화된다고 판단되는 경우, 모드 종료 플래그는 "1"로 설정된다(S034). 표시 화면(102)의 형상에 변화가 없는 경우, 입력 인터페이스(167)로부터의 입력이 있는지 여부가 다음에 확인된다. 여기서 입력 인터페이스(167)로부터의 입력은 오브젝트의 동작에 영향을 미치는 입력에 한정된다. 마찬가지로 입력이 있을 때, 모드 종료 플래그가 "1"로 설정된다(S034). 표시 화면(102)의 형상 변화나 입력 인터페이스(167)로부터의 입력 양쪽 모두 변화되지 않는 경우, 모드 종료 플래그가 "0"으로 유지되는 동안 처리는 다음 스텝에 진행된다.
스텝 S035에서, 애플리케이션을 종료하기 위한 지시의 통지가 있는지 여부가 확인된다. 통지가 있을 때, 애플리케이션을 위한 애플리케이션 종료 플래그가 "1"로 설정된다(S036). 애플리케이션을 종료하기 위한 지시는, 예컨대, 프로세서(151)를 통한 사용자로부터의 애플리케이션을 종료하기 위한 지시 및 다른 애플리케이션, 프로그램, 또는 오퍼레이팅 시스템으로부터의 애플리케이션을 종료하기 위한 지시를 포함한다. 애플리케이션을 종료하기 위한 지시의 통지가 없는 경우에는 애플리케이션 종료 플래그는 초기 값인 "0"으로 유지된다.
플래그는 스텝 S037에서 판단된다. 즉, 모드 종료 플래그 및 애플리케이션 종료 플래그 중 하나 또는 양쪽이 "1"로 설정되는 경우, 오브젝트 대기 모드는 종료된다(S038). 한편으로 양쪽 플래그가 "0"인 경우, 오브젝트 대기 모드는 계속된다. 바꿔 말하면 처리는 스텝 S032로 되돌아간다.
상술한 바와 같이, 오브젝트 대기 모드(530)에서, 입력 상황은 소정의 입력이 있는지 여부를 확인하는 것을 통한 루핑에 의하여 감시될 수 있다. 어느 한 종류의 입력이 있을 때, 오브젝트 대기 모드(530)는 종료되고 처리는 스텝 S009로 진행한다.
본 실시형태는 다른 실시형태 중 어느 것과 적절히 조합될 수 있다. 또한, 본 발명은, 본 발명의 작용이 달성되는, 방법, 하드웨어(예컨대, 전자 기기, 컴퓨터, 반도체 장치, 또는 기억 매체), 시스템, 프로그램, 소프트웨어 등을 그 범위에 포함한다.
(실시형태 2)
오브젝트의 예로서 실시형태 1에서는 구상 고체의 오브젝트(301)가 설명되지만, 오브젝트는 이에 한정되지 않는다. 본 실시형태에서, 도 14의 (A)~(C)를 참조하여 오브젝트가 액체와 같이 디자인되는 경우를 설명한다.
도 14의 (A)는, 액체 오브젝트(303)가 표시 화면(102)에 표시된 전자 기기(100)를 도시한 사시도다. 도 6의 (A)~(C)에 도시된 전자 기기(100)의 경우와 마찬가지로, 오브젝트(303)를 위한 표시 동작을 설명하기 위하여 다른 표시는 도면에 도시되지 않았지만 실제로는 배경 화상, 아이콘, 툴바, 포인터, 윈도, 텍스트, 동영상, 또는 웹브라우저, 등의 다른 표시물이 오브젝트(303)와 동시에 표시될 수 있다.
도 14의 (A) 중의 오브젝트(303)는 액체 물체와 같이 디자인되고 소정의 위치에서 정지 상태에 있다. 오브젝트(303)의 동작 범위는 필드로서 정의되고 오브젝트(303)의 동작에 영향을 미치는 하지로서 기능한다.
도 14의 (B)는, 들림으로써 오른쪽 단부가 만곡된 전자 기기(100)를 도시한 것이다. 전자 기기(100)의 변형에 의하여 표시 화면(102)도 변형된다. 액체 오브젝트(303)의 동작은, 표시 화면(102)의 형상에 따라 오브젝트가 이동하도록 연산부(203)에 의하여 시뮬레이트된다. 도 14의 (B)에서, 표시 화면(102)의 오른쪽이 들리기 때문에 액체 오브젝트(303)는 표시 화면(102)의 중앙부에 마치 중력에 의하여 끌리는 것처럼(도면 중 화살표로 나타내어진 방향으로) 이동한다.
오브젝트(303)는 오브젝트 데이터(250) 중의 오브젝트 물리량(253)에 의하여 액체로서 규정된다. 연산부(203)는 오브젝트 물리량(253)에 저장된, 오브젝트가 액체임을 가리키는 데이터 또는 파라미터를 참조함으로써 시뮬레이션을 수행한다. 오브젝트(303)가 유체역학(수리학)의 법칙에 따라 실제의 액체와 같이 이동하는 시뮬레이션이 수행됨으로써 오브젝트의 동작은, 마치 액체가 높은 영역으로부터 낮은 영역으로 흐르는 것처럼 표시된다. 오브젝트가 액체임을 가리키는 데이터 또는 파라미터로서 예를 들어, 밀도, 점성, 압축성, 표면 장력 등의 값이 물리량으로서 준비되어도 좋고, 또는 간략화를 위하여, 점성 등의 물리량의 정도가 몇 개의 데이터로서 준비되도록 몇 단계로 나뉘어도 좋다. 또한, 사용자에 액체의 흐름을 시각적으로 인식시키기 위하여 다양한 형상의 액체의 화상 설정이 오브젝트 화상(254)에 미리 저장되는 것이 바람직하다.
물리량 등은 필드에 대해서도 설정되고 예를 들어, 액체 오브젝트는 필드에 결정된 마찰을 받으면서 이동한다.
상술한 바와 같이 액체 오브젝트(303)의 동작에 다양한 법칙을 적용함으로써 사용자에 리얼리티를 느끼게 한다.
또한, 오브젝트(303) 및 필드의 물리량 등은 모두 참조할 필요는 없고 이들의 일부만이 참조에 사용되어도 좋다. 일부만이 참조될 때, 연산부(203)에 대한 부담이 저감될 수 있다. 마찬가지로 저장부(204)에 저장된 방정식의 그룹 중 일부만이 시뮬레이션에서 사용되어도 좋다. 도 14의 (B)에서는 필드상에 한 오브젝트(303)만이 표시되지만 복수의 오브젝트(303)가 표시되어도 좋다. 예를 들어, 더 복잡한 연산이 가능한 경우, 이동시킴으로써 액체 오브젝트(303)는 복수의 오브젝트로 나뉘거나 또는 복수의 오브젝트가 한 오브젝트로 결합될 수 있다. 이 경우, 각 오브젝트에는, 오브젝트의 생성 및 소멸에 따라 오브젝트 ID(251)가 제공되어 정의되어도 좋고, 또는 복수의 오브젝트로 나뉜 한 오브젝트 ID를 가진 한 오브젝트의 상태가, 오브젝트 형상(252) 등의 데이터로서 저장되어도 좋다. 또한, 연산을 간략화하기 위하여 비말을 나타내는 화상이 액체 오브젝트(303) 주위에 적절히 표시되어도 좋다.
도 14의 (C)에는 전자 기기(100)가 아래로 돌출되도록 더 만곡됨으로써 변형되는 경우의, 액체 오브젝트(303)의 동작을 도시하였다. 예를 들어, 도 14의 (B)에 도시된 바와 같이 위치된 액체 오브젝트(303)는 표시 화면(102)의 만곡에 의하여 형성된 움푹 들어간 곳에 흐른다. 움푹 들어간 곳에 흐른 오브젝트(303)는 표시 화면(102)의 높은 벽에 의하여 양측이 둘러싸임으로써 좌우로 이동할 수 없고, 오브젝트(303)는 움푹 들어간 곳의 바닥에 모이고, 한참 이따가 정지된다.
상술한 바와 같이, 표시 화면(102)의 입체 형상에 따른 데이터가 센서(156) 및 프로세서(151)를 사용하여 산출되어, 형상에 따라 이동하는 액체 오브젝트(303)가 표시될 수 있다. 이로써 표시 화면(102)에 표시되는 액체 오브젝트(303)가 마치 전자 기기(100)의 표면에 존재하는 것처럼, 사용자는 리얼리티를 느낄 수 있다.
본 실시형태는 다른 실시형태 중 어느 것과 적절히 조합될 수 있다. 또한, 본 발명은, 본 발명의 작용이 달성되는, 방법, 하드웨어(예컨대, 전자 기기, 컴퓨터, 반도체 장치, 또는 기억 매체), 시스템, 프로그램, 소프트웨어 등을 그 범위에 포함한다.
(실시형태 3)
본 실시형태에서, 입력부에 포함되는 입력 장치로서 터치 패널이 사용되고, 터치 패널로부터의 입력에 의하여 오브젝트가 조작될 수 있는 전자 기기를 도 15의 (A) 및 (B)를 참조하여 설명한다.
도 15의 (A)는 만곡된 전자 기기(100)를 도시한 사시도다. 구상 고체의 오브젝트(302)가 전자 기기(100)의 표시 화면(102) 오른쪽 단부에 표시된다. 예를 들어, 사용자는 자기 손가락으로 오브젝트(302)를 터치(실제로는 사용자는 오브젝트(302)가 표시된 표시 화면(102)상의 터치 패널을 터치)하고 왼쪽(도 15의 (A)에서 화살표로 가리켜진 방향)으로 표시 화면(102)을 플릭하면 오브젝트(302)는 손가락의 동작에 따라 플릭의 방향으로 회전한다. 도 15의 (B)에서, 표시 화면(102)은 오른쪽으로부터 왼쪽으로 가풀막을 가지도록 중앙부에서 만곡되기 때문에 오브젝트(302)는 마치 오브젝트(302)가 만곡으로 인하여 떨어지거나 회전하는 것처럼, 표시된다.
이와 같은, 전자 기기(100)가 입력부에 터치 패널을 포함하는 구성에서도, 오브젝트의 표시 처리를 위한 절차는 원칙으로서 실시형태 1에 설명된 것과 동일하다. 하지만 오브젝트의 동작을 시작하기 위한 조건은, 실시형태 1에서 설명한 표시 화면(102)의 변형의 검출에 더하여, 터치 패널을 통한 오브젝트에 대한 액세스다. 따라서 실시형태 1에 설명된 처리 절차에서, 오브젝트의 이동을 판단하는 스텝(S006, S025, 및 S053)은 터치 패널에 의한 입력의 검출이 있는지 여부의 확인을 포함한다.
마찬가지로 도 8에 도시된 오브젝트 이동 모드(510)에서, 터치 패널로부터의 입력에 따른 데이터는, 표시 화면의 입체 형상에서의 변화에 대한 업데이트를 위한 스텝(S023)에서 업데이트된다. 또한, 도 10에 도시된 오브젝트 이동 모드(520)에서, 터치 패널로부터의 입력에 따른 데이터는 센서에 의하여 위치 정보를 취득하기 위한 스텝(S073) 및 표시 화면의 입체 형상을 산출하기 위한 스텝(S074)에서 확인된다. 또한, 도 13에 도시된 오브젝트 대기 모드(530)에서, 터치 패널로부터의 입력에 따른 데이터는 입력 인터페이스(167)로부터의 입력이 있는지 여부를 확인하기 위한 스텝(S033)에서 확인된다.
또한, 본 실시형태에서 오브젝트(302)의 이동을 위하여 터치 패널이 사용된 예를 설명하지만, 터치 패널 외, 입력부(205)에 포함될 수 있는 다양한 입력 장치 중 어느 것을 사용하여 오브젝트(302)를 이동시켜도 좋고, 예를 들어, 하우징(101)에 제공된 하우징 스위치, 전자 기기(100)에 제공된 내장형 또는 외장형 키보드, 외부 포트에 접속된 포인팅 디바이스(예컨대 마우스 또는 컨트롤러), 음성 입력용 마이크로폰 등이 사용될 수 있다. 예를 들어, 마이크로폰이 사용되는 경우, 오브젝트(302)의 동작은 입력된 음성의 음량에 따라 표시되도록 적절히 조정될 수 있다(도 16의 (A) 참조). 또한, 예를 들어, 사용자의 "왼쪽으로 이동하라"라는 소리의 입력을 해석하고, 의미를 인식하고, 내용에 따라 오브젝트를 왼쪽으로 이동시킬 수도 있다(도 16의 (B) 참조). 또한, 사용자의 제스처(동작)를 검출하고 입력 신호로 변환하는 제스처 디바이스가 전자 기기(100)의 입력부(205)에 제공되어 오브젝트(302)를 이동하여도 좋다.
상술한 바와 같이, 입력부(205)는 표시 화면(102)에 표시된 오브젝트(302)를 이동시킬 수 있는 다양한 입력 장치를 포함할 수 있어, 사용자는 마치 전자 기기(100)의 표면에 오브젝트가 존재하는 것처럼, 리얼리티를 느낄 수 있다.
본 실시형태는 다른 실시형태 중 어느 것과 적절히 조합될 수 있다. 또한, 본 발명은, 본 발명의 작용이 달성되는, 방법, 하드웨어(예컨대, 전자 기기, 컴퓨터, 반도체 장치, 또는 기억 매체), 시스템, 프로그램, 소프트웨어 등을 그 범위에 포함한다.
(실시형태 4)
본 실시형태에서, 표시 화면에 오브젝트를 표시하기 위한 처리가 다른 애플리케이션과 동시에 실행되는 경우를 도 17의 (A) 및 (B)를 참조하여 설명한다.
도 17의 (A)에서 상이한 애플리케이션 소프트웨어가 기동하고 있고 전자 문서가 표시 화면(102)의 상기 애플리케이션 소프트웨어의 윈도(305)에 표시된다. 또한, 표시 화면(102)에, 전자 기기(100)의 오퍼레이팅 시스템에 의하여 표시된 홈 화면의 복수의 아이콘(304)이 표시된다.
도 17의 (A)에는 상이한 애플리케이션 소프트웨어로서 문장 작성 애플리케이션 소프트웨어가 도시되었지만, 본 발명은 이들에 한정되지 않고, 스프레드시트, 데이터베이스 관리, 통화, 전자 메일, 웹브라우저, 블로그, 비디오 회의, 음향 재생, 동영상 재생, 디지털 카메라, 디지털 비디오 카메라, 전자 서적, 컴퓨터 게임 등의 각종 애플리케이션 소프트웨어가 포함된다.
본 발명의 일 형태에 따른 오브젝트(306a) 및 오브젝트(306b)는 표시 화면(102)에 표시된다. 오브젝트(306a) 및 오브젝트(306b)는 실시형태 1~실시형태 3에 설명된 입력부 또는 센서로부터의 입력에 따라 이동한다. 여기서, 오브젝트(306a) 및 오브젝트(306b)는, 오브젝트를 표시 화면(102)의 모든 영역에서 이동시키지 않고, 또한 소정의 영역으로 진입할 수 없도록 설정된다. 즉, 도 17의 (A)에서, 복수의 아이콘(304) 및 애플리케이션 소프트웨어의 윈도(305)가 표시되는 영역은 오브젝트가 진입할 수 없는 영역으로서 설정되어, 오브젝트(306a) 및 오브젝트(306b)는 상기 영역을 피하면서 이동한다. 더구나 이들 오브젝트가 진입할 수 없는 영역이 소정의 물리량이 주어진 물체로서 간주될 때, 오브젝트의 동작은 상기 물리량에 따라 규정되도록 설정된다.
또한, 도 17의 (B)에 도시된 바와 같이, 표시 화면(102)의 변형에 따라 이동하는 오브젝트(306)의 동작도 아이콘(304)에 의한 영향을 받는다. 따라서 표시 화면(102)의 실제의 형상 및 가상 아이콘(304)의 형상은 마찬가지로 오브젝트(306)의 동작에 영향을 미쳐 사용자가 더 리얼리티를 느낄 수 있다.
이와 같이, 오브젝트 및 필드뿐만 아니라 아이콘 또는 애플리케이션 소프트웨어의 윈도 등의, 표시 화면(102)상에 표시되는 다양한 화상도 물체로서 취급하기 위한 물리량을 갖고, 오브젝트의 동작은 더 리얼리티하게 된다.
또한, 물리량이 제공되고 물체로서 취급되는 타깃은 표시 화면에 표시되는 화상에 한정되지 않고, 표시 화면의 단부(네 변), 터치 패널로 검출되는 사용자의 손가락 등이라도 좋다.
이와 같은 표시를 달성하기 위하여, 아이콘 또는 윈도 등의 화상이 제 2 오브젝트로서 간주될 수 있고, 오브젝트 ID, 오브젝트의 형상, 오브젝트의 물리량 등은 미리 설정될 수 있다. 제 2 오브젝트의 조건은 연산부에 의한 오브젝트의 동작 시뮬레이션에 조합되어도 좋다.
또는 아이콘 또는 윈도 등의 화상은 필드의 일부로서 정의되고 필드 데이터에 내장되어 오브젝트의 동작 시뮬레이션에 반영되어도 좋다.
또한, 아이콘 또는 윈도 등의 화상은 모두가 물체로서 간주될 필요는 없고, 소정의 아이콘 또는 윈도만이 물체로서 간주되어도 좋다. 또는, 화상이 물체로서 간주되지 않고 오브젝트를 위한 배경으로서 간주되도록 이들 화상상을 오브젝트가 이동하도록 표시되어도 좋다. 또한, 사용자가 이들 화상을 물체로서 간주하는지 여부를 결정할 수도 있다.
이와 같은, 아이콘 또는 애플리케이션 소프트웨어의 윈도 등의 화상 또는 표시 화면의 단부를 물체로서 내장하는 오브젝트의 동작 처리를 수행하는 경우, 이들 화상 등의 표시는 오퍼레이팅 시스템에 의하여 제어되기 때문에, 처리에는 오퍼레이팅 시스템과의 연동이 필요하다. 따라서 오브젝트의 표시 처리를 위한 절차를 모듈로서 오퍼레이팅 시스템에 내장함으로써 일련의 오브젝트의 표시 처리 스텝은 효율적으로 실행될 수 있다.
본 실시형태는 다른 실시형태 중 어느 것과 적절히 조합될 수 있다. 또한, 본 발명은, 본 발명의 작용이 달성되는, 방법, 하드웨어(예컨대, 전자 기기, 컴퓨터, 반도체 장치, 또는 기억 매체), 시스템, 프로그램, 소프트웨어 등을 그 범위에 포함한다.
(실시형태 5)
본 실시형태에서, 만곡된 표시 화면의 소정의 영역이 선택되고 상기 영역 내만을 오브젝트가 이동하는 표시 처리를 도 18의 (A) 및 (B)를 참조하여 설명한다.
도 18의 (A) 및 (B)는 오브젝트(307)가 만곡된 표시 화면(102)의 일부에 표시되는 전자 기기(100)의 사시도다. 표시 화면(102)은 오른쪽으로부터 왼쪽으로 가풀막을 가지도록 중앙부에서 만곡된다.
도 18의 (A)에서, 오브젝트(307)는 만곡된 표시 화면(102)의 높은 오른쪽 부분(영역(308a))에 표시된다. 오브젝트(307)는 만곡된 표시 화면(102)의 높은 부분, 즉 영역(308a)을 인식하고 영역(308a)에서 선택적으로 이동한다.
도 18의 (B)에서, 오브젝트(307)는 만곡된 표시 화면(102)의 낮은 왼쪽 부분(영역(308b))에 표시된다. 오브젝트(307)는 만곡된 표시 화면(102)의 낮은 부분, 즉 영역(308b)을 인식하고 영역(308b)에서 선택적으로 이동한다.
이와 같은 오브젝트의 표시는 오퍼레이팅 시스템의 홈 화면이나 스크린 세이버, 또는 각종 애플리케이션 소프트웨어에 사용될 수 있다.
상술한 오브젝트의 표시를 수행하기 위하여 실시형태 1에서 설명한 처리 절차가 사용될 수 있다. 하지만 상기 처리 절차의 오브젝트 이동 모드에서, 오브젝트가 이동할 수 있는 영역은 표시 화면(102)의 입체 형상에 따라 적절히 정의될 필요가 있다. 따라서 오브젝트 이동 모드에서, 예를 들어, 도 19에 도시된 처리 절차가 사용된다.
도 19는 본 실시형태에서의 오브젝트 이동 모드(540)에서의 처리를 위한 절차를 도시한 흐름도이고, 오브젝트 이동 모드(510)에 몇 개 스텝을 추가함으로써 얻어진다. 오브젝트 이동 모드가 시작(S080)한 후, 오브젝트가 이동할 수 있는 영역은 연산부(203)에 의하여 이미 산출된 표시 화면(102)의 입체 형상에 따른 데이터에 기초하여 스텝 S081에서 결정된다.
본 실시형태에서, 오브젝트가 이동할 수 있는 영역은 표시 화면(102)의 소정의 높이로서 정의된다. 예를 들어, 표시 화면의 중간 위치가 기준 위치로서 설정될 때, 소정의 높이만큼 기준 위치의 위쪽(또는 아래쪽)에 위치된 2차원 공간이 오브젝트가 이동할 수 있는 영역으로서 정의될 수 있다. 또는 소정의 높이만큼 기준 위치의 위쪽(또는 아래쪽)에 위치된 3차원 공간이 오브젝트가 이동할 수 있는 영역으로서 정의될 수 있다. 이와 같은 2차원 공간 또는 3차원 공간은 미리 수치로서 규정되어도 좋고, 또는 오브젝트가 표시된 부분을 포함하는 소정의 공간이, 오브젝트가 이동할 수 있는 영역으로서 정의되어도 좋다.
오브젝트가 이동할 수 있는 영역이 결정된 후, 상기 영역에서의 오브젝트의 동작이 스텝 S082에서 결정된다. 이 때, 오브젝트의 동작 시뮬레이션에는, 스텝 S081에서 결정된 영역에 따른 데이터가 경계 조건으로서 사용된다. 표시 등의 처리의 다음 스텝(S083~S089)은 도 8에 도시된 오브젝트 이동 모드(510)와 같다. 또한, 오브젝트의 동작 동안에 표시 화면(102)의 형상이 변화되는 경우, 오브젝트가 이동할 수 있는 영역이 스텝 S086에서 다시 결정되고 오브젝트의 동작의 표시가 겹쳐 기록된다.
본 실시형태는 다른 실시형태 중 어느 것과 적절히 조합될 수 있다. 또한, 본 발명은, 본 발명의 작용이 달성되는, 방법, 하드웨어(예컨대, 전자 기기, 컴퓨터, 반도체 장치, 또는 기억 매체), 시스템, 프로그램, 소프트웨어 등을 그 범위에 포함한다.
(실시형태 6)
본 실시형태에서, 도 20의 (A) 및 (B)를 참조하여, 표시 화면의 형상에 따라 이동하는 오브젝트의 표시를 이용한 컴퓨터 게임을 설명한다.
도 20의 (A) 및 (B)는 표시 화면(102)에 컴퓨터 게임의 화상이 표시된 전자 기기(100)를 도시한 사시도다. 도 20의 (A)에서 표시 화면(102)은 평탄하다. 강(309)이 표시 화면(102)의 중앙을 흐르고, 사용자에 의하여 조작 가능한 캐릭터(310a) 및 캐릭터(310b)가 강(309)의 왼쪽 강가에 표시된다. 이 컴퓨터 게임에서, 중앙을 흐르는 강(309)이 오른쪽 강가로의 캐릭터(310a) 및 캐릭터(310b)의 이동을 방해한다.
상술한 상황에서 도 20의 (B)에 도시된 바와 같이, 표시 화면(102)의 중앙이 밑으로 돌출되도록, 사용자가 표시 화면(102)을 만곡시키고(사용자는 도 20의 (B) 중의 화살표로 가리키는 방향으로 표시 화면(102)을 움직이고), 이로써 강(309)은 부분적으로 밑으로 구부러지고 양쪽 강가가 서로 가까워져, 캐릭터(310a) 및 캐릭터(310b)는 오른쪽 강가로 이동할 수 있게 된다.
여기서, 상술한 오브젝트로서 강(309)을 설정함으로써, 강(309)의 물 흐름을 표시 화면(102)의 변형과 연동시켜 사용자는 리얼리티를 느낄 수 있다. 더구나 센서(156)를 사용하여 표시 화면(102)의 형상을 산출함으로써, 캐릭터의 동작 범위를 형상에 따라 제어할 수 있다.
이와 같은 컴퓨터 게임을 구현하기 위하여, 실시형태 1~실시형태 5의 어느 것에서 설명된 오브젝트의 표시 처리를 위한 절차가 컴퓨터 게임의 캐릭터를 포함하는 물체에 적용될 수 있다. 오브젝트의 표시 처리를 위한 절차는 모듈로서 컴퓨터 프로그램에 내장되거나 또는 오브젝트의 표시 처리를 위한 절차가 내장된 오퍼레이팅 시스템과 연동하면서 실행되어도 좋다. 이와 같은 프로그램, 모듈 등은 보조 메모리(154) 또는 메인 메모리(152) 등의 컴퓨터 판독 가능 기억 매체에 저장되어도 좋고, 또는 이와 같은 처리 수단은 전자 회로 또는 기계적 하드웨어의 형성을 실현하여도 좋다.
상술한 바와 같이, 게임은 표시 화면(102)의 형상 변화에 따라 진행될 수 있어, 사용자는 컴퓨터 게임의 리얼리티를 즐길 수 있다.
본 실시형태는 다른 실시형태 중 어느 것과 적절히 조합될 수 있다. 또한, 본 발명은, 본 발명의 작용이 달성되는, 방법, 하드웨어(예컨대, 전자 기기, 컴퓨터, 반도체 장치, 또는 기억 매체), 시스템, 프로그램, 소프트웨어 등을 그 범위에 포함한다.
100: 전자 기기, 101: 하우징, 102: 표시 화면, 103: 홈 버튼, 104: 음량 조정 버튼, 105: 뮤트 버튼, 106: 마이크로폰, 107: 스피커, 108: 슬립 버튼, 109: 카메라, 150: 시스템 버스, 151: 프로세서, 152: 메인 메모리, 153: 메모리 컨트롤러, 154: 보조 메모리, 155: 센서 컨트롤러, 156: 센서, 157: 디스플레이 컨트롤러, 158: 표시 장치, 159: 전원 컨트롤러, 160: 전원, 161: 통신 컨트롤러, 162: 통신 인터페이스(I/F), 163: 사운드 컨트롤러, 164: 스피커, 165: 음성 출력 커넥터, 166: 마이크로폰, 167: 입력 인터페이스, 168: 하우징 스위치, 169: 터치 패널, 170: 키보드, 171: 카메라, 172: 외부 포트, 173: 출력 인터페이스, 174: 진동 모터, 180: RAM, 181: ROM, 182: 오퍼레이팅 시스템, 183: 애플리케이션 프로그램, 184: 프로그램 모듈, 185: 프로그램 데이터, 186: BIOS, 187: 표시부 물성 데이터, 188: 센서 특성 데이터, 201: 표시부, 202: 검출부, 203: 연산부, 204: 저장부, 205: 입력부, 206: 출력부, 250: 오브젝트 데이터, 251: 오브젝트 ID, 252: 오브젝트 형상, 253: 오브젝트 물리량, 254: 오브젝트 화상, 255: 오브젝트의 초기 설정, 260: 필드 데이터, 261: 필드 ID, 262: 필드 형상, 263: 필드 물리량, 264: 필드 화상, 265: 필드의 초기 설정, 301: 오브젝트, 302: 오브젝트, 303: 오브젝트, 304: 아이콘, 305: 윈도, 306: 오브젝트, 306a: 오브젝트, 306b: 오브젝트, 307: 오브젝트, 308a: 영역, 308b: 영역, 309: 강, 310a: 캐릭터, 310b: 캐릭터.
본 출원은 2012년 5월 11일에 일본 특허청에 출원된 일련 번호 2012-109132의 일본 특허 출원에 기초하고, 본 명세서에 그 전문이 참조로 통합된다.

Claims (7)

  1. 전자 기기로서,
    가요성을 갖는, 표시 화면 상에 액체 오브젝트를 표시하는 표시부;
    상기 표시부의 전체와 중첩하는, 변형성을 갖는 하우징;
    상기 표시 화면의 위치 정보를 검출하는 검출부; 및
    상기 위치 정보에 기초하여 상기 표시 화면의 형상을 산출하고, 상기 표시 화면의 상기 형상에 기초하여 상기 액체 오브젝트의 동작을 산출하는 연산부를 포함하고,
    상기 액체 오브젝트는 상기 연산부에 의해 산출된 상기 동작에 기초하여 변형되며,
    상기 액체 오브젝트는 상기 표시 화면의 만곡에 의해 형성된 움푹들어간 곳(hollow)으로 흘러 상기 움푹들어간 곳의 바닥에 모이는, 전자 기기.
  2. 제 1 항에 있어서,
    배경 화상, 아이콘, 툴바, 포인터, 윈도, 텍스트, 동영상, 및 웹브라우저 중 적어도 하나와 상기 액체 오브젝트는 상기 표시 화면 상에 표시되는, 전자 기기.
  3. 전자 기기로서,
    가요성을 갖는, 표시 화면 상에 제 1 액체 오브젝트 및 제 2 액체 오브젝트를 표시하는 표시부;
    상기 표시부의 전체와 중첩하는, 변형성을 갖는 하우징;
    상기 표시 화면의 위치 정보를 검출하는 검출부; 및
    상기 위치 정보에 기초하여 상기 표시 화면의 형상을 산출하고, 상기 표시 화면의 상기 형상에 기초하여 상기 제 1 액체 오브젝트의 제 1 동작을 산출하는 연산부를 포함하고,
    상기 제 1 액체 오브젝트는 상기 연산부에 의해 산출된 상기 제 1 동작에 기초하여 변형되며,
    상기 제 2 액체 오브젝트의 제 2 동작은 상기 연산부에 의해 산출된 상기 제 1 동작에 기초하여 제어되는, 전자 기기.
  4. 제 1 항 또는 제 3 항에 있어서,
    상기 검출부는 가속도 센서, 각속도 센서, 진동 센서, 압력 센서 및 자이로스코프 센서 중 적어도 하나를 포함하는, 전자 기기.
  5. 제 3 항에 있어서,
    배경 화상, 아이콘, 툴바, 포인터, 윈도, 텍스트, 동영상, 및 웹브라우저 중 적어도 하나와 상기 제 1 액체 오브젝트는 상기 표시 화면 상에 표시되는, 전자 기기.
  6. 제 1 항 또는 제 3 항에 있어서,
    상기 표시부는 발광 소자를 포함하는, 전자 기기.
  7. 제 1 항 또는 제 3 항에 있어서,
    마이크로폰, 카메라, 및 스피커를 더 포함하는, 전자 기기.
KR1020227020927A 2012-05-11 2013-04-24 전자 기기, 기억 매체, 프로그램, 및 표시 방법 Active KR102652437B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020247009984A KR20240045365A (ko) 2012-05-11 2013-04-24 전자 기기, 기억 매체, 프로그램, 및 표시 방법

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JPJP-P-2012-109132 2012-05-11
JP2012109132 2012-05-11
PCT/JP2013/062792 WO2013168686A1 (en) 2012-05-11 2013-04-24 Electronic device, storage medium, program, and displaying method
KR1020217020555A KR102413059B1 (ko) 2012-05-11 2013-04-24 전자 기기, 기억 매체, 프로그램, 및 표시 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020217020555A Division KR102413059B1 (ko) 2012-05-11 2013-04-24 전자 기기, 기억 매체, 프로그램, 및 표시 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020247009984A Division KR20240045365A (ko) 2012-05-11 2013-04-24 전자 기기, 기억 매체, 프로그램, 및 표시 방법

Publications (2)

Publication Number Publication Date
KR20220088816A KR20220088816A (ko) 2022-06-28
KR102652437B1 true KR102652437B1 (ko) 2024-03-27

Family

ID=49548275

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020227020927A Active KR102652437B1 (ko) 2012-05-11 2013-04-24 전자 기기, 기억 매체, 프로그램, 및 표시 방법
KR1020247009984A Pending KR20240045365A (ko) 2012-05-11 2013-04-24 전자 기기, 기억 매체, 프로그램, 및 표시 방법
KR1020147033328A Active KR102090062B1 (ko) 2012-05-11 2013-04-24 전자 기기, 기억 매체, 프로그램, 및 표시 방법
KR1020207007025A Active KR102273603B1 (ko) 2012-05-11 2013-04-24 전자 기기, 기억 매체, 프로그램, 및 표시 방법
KR1020217020555A Active KR102413059B1 (ko) 2012-05-11 2013-04-24 전자 기기, 기억 매체, 프로그램, 및 표시 방법

Family Applications After (4)

Application Number Title Priority Date Filing Date
KR1020247009984A Pending KR20240045365A (ko) 2012-05-11 2013-04-24 전자 기기, 기억 매체, 프로그램, 및 표시 방법
KR1020147033328A Active KR102090062B1 (ko) 2012-05-11 2013-04-24 전자 기기, 기억 매체, 프로그램, 및 표시 방법
KR1020207007025A Active KR102273603B1 (ko) 2012-05-11 2013-04-24 전자 기기, 기억 매체, 프로그램, 및 표시 방법
KR1020217020555A Active KR102413059B1 (ko) 2012-05-11 2013-04-24 전자 기기, 기억 매체, 프로그램, 및 표시 방법

Country Status (8)

Country Link
US (8) US9805494B2 (ko)
JP (6) JP2013254486A (ko)
KR (5) KR102652437B1 (ko)
CN (2) CN109240427B (ko)
DE (1) DE112013002430T5 (ko)
IN (1) IN2014DN09687A (ko)
TW (2) TWI585668B (ko)
WO (1) WO2013168686A1 (ko)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6222092B2 (ja) * 2012-07-09 2017-11-01 ソニー株式会社 表示装置および電子機器
KR20140036499A (ko) * 2012-09-17 2014-03-26 삼성전자주식회사 플렉서블 디스플레이 장치 및 그의 디스플레이 방법
JP2015035209A (ja) * 2013-07-12 2015-02-19 株式会社半導体エネルギー研究所 情報処理装置、情報処理システム
TWI671657B (zh) * 2013-09-18 2019-09-11 日商半導體能源研究所股份有限公司 顯示裝置、顯示裝置的驅動方法、程式以及儲存介質
KR102256677B1 (ko) * 2013-12-02 2021-05-28 삼성디스플레이 주식회사 플렉서블 표시장치 및 이의 영상 표시방법
US9229481B2 (en) 2013-12-20 2016-01-05 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device
US11045726B2 (en) * 2013-12-31 2021-06-29 Video Gaming Technologies, Inc. Gaming machine having a curved display
US10363480B2 (en) 2013-12-31 2019-07-30 Video Gaming Technologies, Inc. Gaming machine with a curved display
USD747284S1 (en) * 2014-03-13 2016-01-12 Semiconductor Energy Laboratory Co., Ltd. Image display device
USD750036S1 (en) * 2014-03-13 2016-02-23 Semiconductor Energy Laboratory Co., Ltd. Image display device
US9692860B2 (en) * 2014-05-15 2017-06-27 Apple Inc. One layer metal trace strain gauge
US20170294151A1 (en) * 2014-09-19 2017-10-12 Nec Corporation Device for preventing deformation of display device, deformation prevention method, and deformation prevention program
KR20160088764A (ko) * 2015-01-16 2016-07-26 삼성전자주식회사 플렉서블 디바이스 및 그 동작 방법
CN107534593B (zh) * 2015-04-01 2020-08-25 巴鲁夫公司 Io链路模块的信息显示
CN104808923B (zh) 2015-05-25 2018-07-06 联想(北京)有限公司 一种屏幕控制方法和电子设备
CN106371576B (zh) * 2015-12-11 2019-05-21 北京智谷睿拓技术服务有限公司 形变控制方法、形变控制装置及用户设备
USD850443S1 (en) 2015-12-22 2019-06-04 Lenovo (Beijing) Co., Ltd. Flexible electronic device
KR20170077670A (ko) * 2015-12-28 2017-07-06 삼성전자주식회사 컨텐츠를 제어하기 위한 방법 및 그 전자 장치
USD841612S1 (en) * 2016-03-31 2019-02-26 Lenovo (Beijing) Co., Ltd. Flexible electronic device
USD857645S1 (en) * 2016-08-23 2019-08-27 Lg Electronics Inc. Mobile phone
US10528079B2 (en) 2016-08-26 2020-01-07 Semiconductor Energy Laboratory Co., Ltd. Data processing device, display method, input/output method, server system, and computer program
CN110050254B (zh) 2016-09-09 2021-10-08 北京智谷睿拓技术服务有限公司 用于柔性显示设备的控件显示方法及装置
JP2018060404A (ja) * 2016-10-06 2018-04-12 株式会社ジャパンディスプレイ 表示装置およびタッチ操作の補正方法
DE102017000703A1 (de) 2017-01-26 2018-07-26 Bally Wulff Games & Entertainment Gmbh Rotierende symboltragende Anzeigemittel für Spielautomaten und Verfahren zur Steuerung der Anzeige
JP6946857B2 (ja) * 2017-08-24 2021-10-13 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
CN109144462B (zh) * 2018-07-23 2020-01-14 Oppo广东移动通信有限公司 发声控制方法、装置、电子装置及计算机可读介质
CN109491506B (zh) 2018-11-13 2020-06-09 云谷（固安）科技有限公司 一种显示终端以及显示控制方法
CN109806589B (zh) * 2019-02-19 2022-10-28 Oppo广东移动通信有限公司 虚拟对象控制方法及装置、电子设备以及存储介质
CN110300198B (zh) * 2019-06-28 2021-03-02 Oppo广东移动通信有限公司 壳体组件、电子设备及其控制方法
CN110300206B (zh) * 2019-06-28 2021-06-29 Oppo广东移动通信有限公司 壳体组件、电子设备及其控制方法
CN110227256A (zh) * 2019-07-22 2019-09-13 网易（杭州）网络有限公司 游戏中虚拟角色控制方法、装置、介质及电子设备
JP2021190034A (ja) * 2020-06-04 2021-12-13 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
US11488331B2 (en) 2020-11-03 2022-11-01 International Business Machines Corporation Smart interactive simulation-based content on a flexible display device
TWI812485B (zh) * 2022-09-26 2023-08-11 華碩電腦股份有限公司 折疊式電子裝置

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2827612B2 (ja) * 1991-10-07 1998-11-25 富士通株式会社 タッチパネル装置およびタッチパネル装置におけるオブジェクトの表示方法。
US6375572B1 (en) 1999-10-04 2002-04-23 Nintendo Co., Ltd. Portable game apparatus with acceleration sensor and information storage medium storing a game progam
JP3847058B2 (ja) 1999-10-04 2006-11-15 任天堂株式会社 ゲームシステム及びそれに用いられるゲーム情報記憶媒体
JP4434609B2 (ja) 2002-03-29 2010-03-17 株式会社東芝 表示入力システム
US7456823B2 (en) 2002-06-14 2008-11-25 Sony Corporation User interface apparatus and portable information apparatus
US20120084679A1 (en) 2010-10-01 2012-04-05 Imerj LLC Keyboard operation on application launch
US8504936B2 (en) 2010-10-01 2013-08-06 Z124 Changing stack when swapping
US20060062983A1 (en) * 2004-09-17 2006-03-23 Irvin Glen C Jr Coatable conductive polyethylenedioxythiophene with carbon nanotubes
WO2006123297A2 (en) 2005-05-20 2006-11-23 Polymer Vision Limited Protective cover for flexible display screen
JP4749764B2 (ja) 2005-05-23 2011-08-17 富士フイルム株式会社 湾曲検出装置及び可撓性装置
JP4739858B2 (ja) 2005-08-12 2011-08-03 株式会社リコー 表示装置、制御装置、情報処理装置及び表示制御方法、表示制御プログラム
US20070097014A1 (en) 2005-10-31 2007-05-03 Solomon Mark C Electronic device with flexible display screen
US20100045705A1 (en) 2006-03-30 2010-02-25 Roel Vertegaal Interaction techniques for flexible displays
US20070247422A1 (en) * 2006-03-30 2007-10-25 Xuuk, Inc. Interaction techniques for flexible displays
TWI384413B (zh) 2006-04-24 2013-02-01 Sony Corp An image processing apparatus, an image processing method, an image processing program, and a program storage medium
KR100781708B1 (ko) * 2006-10-12 2007-12-03 삼성전자주식회사 플렉서블 표시부 및 그를 갖는 휴대 단말기
JP2008181496A (ja) * 2006-12-27 2008-08-07 Seiko Epson Corp 割込み制御回路、回路基板、電気光学装置及び電子機器
US7730250B2 (en) 2006-12-27 2010-06-01 Seiko Epson Corporation Interrupt control circuit, circuit board, electro-optic device, and electronic apparatus
US20090002328A1 (en) * 2007-06-26 2009-01-01 Immersion Corporation, A Delaware Corporation Method and apparatus for multi-touch tactile touch panel actuator mechanisms
US8243064B1 (en) * 2007-11-15 2012-08-14 Nvidia Corporation System for providing scalable physics content
JP4909922B2 (ja) 2008-02-29 2012-04-04 株式会社日立製作所 可撓操作可能な情報表示端末装置、及び情報表示用インタフェース
KR20090107364A (ko) * 2008-04-08 2009-10-13 엘지전자 주식회사 이동 단말기 및 그 메뉴 제어방법
US8958848B2 (en) 2008-04-08 2015-02-17 Lg Electronics Inc. Mobile terminal and menu control method thereof
US20090262083A1 (en) 2008-04-16 2009-10-22 Jateen Parekh Systems and methods for receiving user input through a display with a flexible backplane via touch sensors
EP2313820B1 (en) 2008-07-15 2017-04-05 Immersion Corporation Systems and methods for physics-based tactile messaging
US20100214243A1 (en) 2008-07-15 2010-08-26 Immersion Corporation Systems and Methods For Interpreting Physical Interactions With A Graphical User Interface
KR101472021B1 (ko) * 2008-09-02 2014-12-24 엘지전자 주식회사 플렉서블 디스플레이부를 구비한 휴대 단말기 및 그 제어방법
KR102275487B1 (ko) * 2008-09-19 2021-07-12 가부시키가이샤 한도오따이 에네루기 켄큐쇼 반도체장치
US9459656B2 (en) * 2008-10-12 2016-10-04 Samsung Electronics Co., Ltd. Flexible devices and related methods of use
KR101521219B1 (ko) 2008-11-10 2015-05-18 엘지전자 주식회사 플렉서블 디스플레이를 이용하는 휴대 단말기 및 그 제어방법
CN101763143A (zh) * 2008-11-17 2010-06-30 靳未一 笔记本电脑
JP2010157060A (ja) 2008-12-26 2010-07-15 Sony Corp 表示装置
KR20180102708A (ko) 2009-01-29 2018-09-17 임머숀 코퍼레이션 그래픽 사용자 인터페이스와의 물리적 상호작용을 해석하는 시스템 및 방법
JP5157971B2 (ja) 2009-03-09 2013-03-06 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US8287386B2 (en) * 2009-06-08 2012-10-16 Cfph, Llc Electrical transmission among interconnected gaming systems
KR101602643B1 (ko) 2009-08-19 2016-03-11 삼성전자주식회사 전자 종이를 위한 사용자 인터페이스 제공 장치 및 방법
US20110078571A1 (en) * 2009-09-29 2011-03-31 Monstrous Company Providing visual responses to musically synchronized touch input
JP5707694B2 (ja) 2009-12-04 2015-04-30 ソニー株式会社 表示装置及び表示装置の制御方法
KR101078899B1 (ko) * 2010-01-29 2011-11-01 주식회사 팬택 플렉서블 디스플레이의 영상 출력 위치 제어 장치
JP5099158B2 (ja) 2010-03-24 2012-12-12 コニカミノルタビジネステクノロジーズ株式会社 画像表示装置
KR20120059823A (ko) 2010-12-01 2012-06-11 삼성전자주식회사 객체 제어 장치 및 방법
JP5654886B2 (ja) * 2011-01-26 2015-01-14 株式会社ソニー・コンピュータエンタテインメント 携帯端末、表示方法及びコンピュータプログラム
JP2012198454A (ja) * 2011-03-23 2012-10-18 Citizen Finetech Miyota Co Ltd 液晶表示素子
US8864583B1 (en) * 2011-05-03 2014-10-21 Open Invention Network, Llc Computing device independent and transferable game level design and other objects
KR101779504B1 (ko) * 2011-05-18 2017-09-18 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
KR101789625B1 (ko) 2011-06-23 2017-10-25 엘지전자 주식회사 플렉서블 디스플레이를 구비하는 영상 표시 장치 및 그 제어방법
US20130009882A1 (en) * 2011-07-07 2013-01-10 Nokia Corporation Methods and apparatuses for providing haptic feedback
US9007300B2 (en) * 2011-10-14 2015-04-14 Blackberry Limited Method and system to control a process with bend movements
KR101182922B1 (ko) * 2011-11-08 2012-09-13 아이리텍 잉크 홍채이미지를 이용한 보안이 강화된 잠금장치
US9952820B2 (en) 2011-12-20 2018-04-24 Intel Corporation Augmented reality representations across multiple devices
US9607422B1 (en) * 2011-12-22 2017-03-28 Msc.Software Corporation Interactive vertex manipulation system and methods for geometry repair
KR20130073621A (ko) 2011-12-23 2013-07-03 삼성전자주식회사 휴대용 단말기의 플렉시블 디스플레이 제어 방법 및 장치
US20130222276A1 (en) * 2012-02-29 2013-08-29 Lg Electronics Inc. Electronic device and method for controlling electronic device
KR101943435B1 (ko) 2012-04-08 2019-04-17 삼성전자주식회사 플렉서블 디스플레이 장치 및 그 동작 방법
US20130293481A1 (en) * 2012-05-03 2013-11-07 Tuming You Method, electronic device, and computer readable medium for accessing data files
US20130321373A1 (en) 2012-05-31 2013-12-05 Semiconductor Energy Laboratory Co., Ltd. Electronic device, program, and recording medium
US20140173471A1 (en) * 2012-12-19 2014-06-19 Nokia Corporation Method, apparatus, and computer program product for a curved user interface

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
미국공개특허 제2011-0227822호(2011.09.22.) 1부.*
일본공개특허 제2010-157060호(2010.07.15.) 1부.*
일본공표특허 제2011-528476호(2011.11.17.) 1부.*

Also Published As

Publication number Publication date
US9805494B2 (en) 2017-10-31
US11815956B2 (en) 2023-11-14
DE112013002430T5 (de) 2015-02-19
CN104272214A (zh) 2015-01-07
TWI585668B (zh) 2017-06-01
KR102273603B1 (ko) 2021-07-05
JP2018028953A (ja) 2018-02-22
US20190172248A1 (en) 2019-06-06
US10467797B2 (en) 2019-11-05
JP2020009506A (ja) 2020-01-16
TWI662465B (zh) 2019-06-11
US20210104089A1 (en) 2021-04-08
US12117872B2 (en) 2024-10-15
CN109240427A (zh) 2019-01-18
KR102413059B1 (ko) 2022-06-23
JP2024109602A (ja) 2024-08-14
KR20150012261A (ko) 2015-02-03
KR20210084697A (ko) 2021-07-07
KR20200029065A (ko) 2020-03-17
TW201413561A (zh) 2014-04-01
US20240077910A1 (en) 2024-03-07
IN2014DN09687A (ko) 2015-07-31
JP6827510B2 (ja) 2021-02-10
KR102090062B1 (ko) 2020-03-17
US20200020148A1 (en) 2020-01-16
JP2013254486A (ja) 2013-12-19
CN104272214B (zh) 2018-12-04
CN109240427B (zh) 2022-04-15
US20250028366A1 (en) 2025-01-23
KR20220088816A (ko) 2022-06-28
US20130300732A1 (en) 2013-11-14
US20220075420A1 (en) 2022-03-10
KR20240045365A (ko) 2024-04-05
TW201737052A (zh) 2017-10-16
WO2013168686A1 (en) 2013-11-14
US20180012393A1 (en) 2018-01-11
US10380783B2 (en) 2019-08-13
JP2021061067A (ja) 2021-04-15
US10719972B2 (en) 2020-07-21
US11216041B2 (en) 2022-01-04
JP2022159488A (ja) 2022-10-17

Similar Documents

Publication Publication Date Title
KR102652437B1 (ko) 전자 기기, 기억 매체, 프로그램, 및 표시 방법
US10606356B2 (en) Systems and methods for haptically-enabled curved devices
CN106104673B (zh) 深度神经网络的低资源占用适配和个性化
KR102141044B1 (ko) 복수의 터치스크린을 가지는 휴대 장치 및 복수의 터치스크린을 가지는 휴대 장치의 사운드 출력방법
KR102104463B1 (ko) 터치 감지 표면들에서의 다중 압력 상호 작용을 위한 시스템들 및 방법들
KR101245375B1 (ko) 능동적 플렉서블 디스플레이, 능동적 플렉서블 디스플레이의 제어 장치 및 방법
US9921737B2 (en) Flexible apparatus and control method thereof
KR20150049936A (ko) 디스플레이 장치의 기능 수행 방법 및 디스플레이 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
PA0104 Divisional application for international application

Comment text: Divisional Application for International Patent

Patent event code: PA01041R01D

Patent event date: 20220620

Application number text: 1020217020555

Filing date: 20210630

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20230208

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20231226

A107 Divisional application of patent
GRNT Written decision to grant
PA0104 Divisional application for international application

Comment text: Divisional Application for International Patent

Patent event code: PA01041R01D

Patent event date: 20240325

Application number text: 1020217020555

Filing date: 20210630

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20240325

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20240325

End annual number: 3

Start annual number: 1

PG1601 Publication of registration