[go: up one dir, main page]

CN109565548B - 控制多视场图像的方法和支持该方法的电子设备 - Google Patents

控制多视场图像的方法和支持该方法的电子设备 Download PDF

Info

Publication number
CN109565548B
CN109565548B CN201780050327.1A CN201780050327A CN109565548B CN 109565548 B CN109565548 B CN 109565548B CN 201780050327 A CN201780050327 A CN 201780050327A CN 109565548 B CN109565548 B CN 109565548B
Authority
CN
China
Prior art keywords
fov
image
electronic device
processor
event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201780050327.1A
Other languages
English (en)
Other versions
CN109565548A (zh
Inventor
黄镇佑
周佑泫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN109565548A publication Critical patent/CN109565548A/zh
Application granted granted Critical
Publication of CN109565548B publication Critical patent/CN109565548B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Astronomy & Astrophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

提供了一种电子设备。所述电子设备包括：存储器，所述存储器被配置为存储多视场(multi‑FOV)的图像，所述multi‑FOV的图像包括第一FOV的图像和第二FOV的图像；显示器，所述显示器被配置为输出所述multi‑FOV的图像；以及处理器，所述处理器被配置为与所述存储器和所述显示器电连接。所述处理器被配置为：控制以在所述显示器上输出所述第一FOV的图像；从所述第二FOV的图像中验证满足条件的至少一个事件；以及控制以提供与所述第一FOV的正被输出在所述显示器上的图像相关的与所述事件对应的通知。

Description

控制多视场图像的方法和支持该方法的电子设备
技术领域
本公开涉及控制多视场(multi-FOV)图像的方法和支持该方法的电子设备。
背景技术
近来，随着诸如头戴式显示器(HMD)的高性能图像显示设备的商业化的迅速普及，对三维(3D)内容的兴趣和需求已经增加。响应于此，需要一种用于观看多视场(multi-FOV)图像的平台，该平台在更优化的环境下成为3D内容的关键基础。
上述信息被呈现为背景信息仅仅是为了帮助理解本公开。关于上述内容中的任何一个是否可适用于作为关于本公开的现有技术，没有作出确定，也没有作出断言。
发明内容
技术问题
多视场(multi-FOV)图像可以对应于三维(3D)球形对象。与此相比，由于回放multi-FOV图像的电子设备具有有限大小或面积的显示器，因此可能需要改变FOV的单独的用户操作来通过电子设备观看multi-FOV图像。因此，在观看multi-FOV图像期间可能引起不便，并且可能降低观看图像时的沉浸程度。或者，如果并未执行与改变FOV相关联的用户操作，则multi-FOV图像的回放可能限于特定的FOV，并且用户可能无法体验在multi-FOV图像上同时生成的事件。
解决问题的方案
根据本公开的一方面，提供了一种电子设备。所述电子设备包括：存储器，所述存储器被配置为存储包括第一FOV的图像和第二FOV的图像的multi-FOV的图像；显示器，所述显示器被配置为输出所述multi-FOV的图像；以及处理器，所述处理器被配置为与所述存储器和所述显示器电连接。
根据实施例，所述处理器可以被配置为：控制以在所述显示器上输出所述第一FOV的图像；从所述第二FOV的图像中验证满足条件的至少一个事件；以及控制以提供与所述第一FOV的正被输出在所述显示器上的图像相关的与所述事件对应的通知。
本发明的有益效果
本公开的各方面旨在解决至少上述问题和/或缺点，并提供至少下述优点。因此，本公开的一方面是提供一种用于提供multi-FOV图像以提供针对出现在multi-FOV图像上的至少一个事件的通知，并且基于该通知容易地改变multi-FOV图像的FOV的方法，以及支持该方法的电子设备。
根据各种实施例，所述电子设备可以通过容易地识别出现在multi-FOV图像上的不同FOV中的事件来防止重要事件被遗漏。
此外，根据各种实施例，电子设备可以通过排除用于在multi-FOV图像上搜索事件的FOV改变操作来增加观看图像的便利性。
此外，可以提供通过本公开直接或间接确定的各种效果。
本领域技术人员将从以下结合附图公开本公开的各种实施例的详细描述中明白本公开的其他方面、优点和显著特征。
附图说明
通过以下结合附图的描述，本公开的某些实施例的上述和其他方面、特征和优点将更加明显，其中：
图1是示出了根据本公开的实施例的操作电子设备的环境的图；
图2是示出了根据本公开的实施例的回放多视场(multi-FOV)图像的环境的示例的图；
图3是示出了根据本公开的实施例的电子设备的配置的框图；
图4是示出了根据本公开的实施例的计算multi-FOV图像上的对象的相对位置的示例的图；
图5是示出了根据本公开的实施例的multi-FOV的第一FOV的图像的图；
图6是示出了根据本公开的实施例的multi-FOV的第二FOV的图像的图；
图7是示出了根据本公开的另一实施例的multi-FOV的第一FOV的图像的图；
图8是示出了根据本公开的实施例的用于在电子设备中控制multi-FOV的方法的流程图；以及
图9是示出了根据本公开的实施例的网络环境中的电子设备的配置的框图。
在整个附图中，应当注意，相同的附图标记用于描绘相同或相似的元件、特征和结构。
具体实施方式
提供参考附图的以下描述以帮助全面理解由权利要求及其等同形式所限定的本公开的各种实施例。它包括有助于这种理解的各种具体细节，但这些细节应被认为仅仅是示例性的。因此，本领域普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对本文描述的各种实施例进行各种改变和修改。另外，为了清楚和简明，可以省略对公知功能和结构的描述。
在以下描述和权利要求中使用的术语和词语不限于书目含义，而是仅由发明人使用以使得能够清楚和一致地理解本公开。因此，对于本领域技术人员来说显而易见的是，提供本公开的各种实施例的以下描述仅用于说明目的，而不是为了限制由所附权利要求及其等同形式所限定的本公开。
应当理解，除非上下文另有明确规定，否则单数形式的“一个”和“该”包括复数指示物。因此，例如对“组件表面”的引用包括对一个或更多个这样的表面的引用。
本文使用的术语“包括”、“包含”、“具有”或“可以包括”或“可以包含”和“可以具有”表示所公开的功能、操作或元件的存在，但不排除其他功能、操作或元件。
例如，表述“A或B”或“A和/或B中的至少一个”可以指示A和B、A或者B。例如，表述“A或B”或“A和/或B中的至少一个”可以指示：(1)至少一个A；(2)至少一个B；或(3)至少一个A和至少一个B二者。
本文使用的诸如“第一”、“第二”等术语可以指修饰本公开的各种实施例的各种不同元件，但不旨在限制这些元件。例如，“第一用户设备”和“第二用户设备”可以指示不同的用户而不管顺序或重要性。例如，在不脱离本公开的范围和精神的情况下，第一组件可以被称为第二组件，反之亦然。
在本公开的各种实施例中，意图是当组件(例如，第一组件)被称为“可操作地或通信地”与另一组件(例如，第二组件)“耦接”/“耦接到”另一组件(例如，第二组件)或“连接到”另一组件(例如，第二组件)，该组件可以直接连接到其他组件或通过另一组件(例如，第三组件)连接。在本公开的实施例中，意图是当组件(例如，第一组件)被称为“直接连接到”或“直接访问”另一组件(例如，第二组件)时，则在该组件(例如，第一组件)与另一组件(例如，第二组件)之间不存在其他组件(例如，第三组件)。
在本公开的各种实施例中使用的表述“被配置为”例如可以根据情况与“适合于”、“具有……的能力”、“被设计为”、“适应于”、“用作”、“能够……”互换使用。术语“被配置为”可能不一定表示在硬件方面“专门设计为”。相反，表述在某些情况下“被配置为……的设备”可以指示该设备和另一设备或部件“能够……”。例如，表述“被配置为执行A、B和C的处理器”可以指示用于执行相应操作的专用处理器(例如，嵌入式处理器)或通过运行存储在存储设备中的至少一个软件程序来执行相应的操作的通用处理器(例如，中央处理单元(CPU)或应用处理器(AP))。
本文使用的所有术语可以是本领域技术人员通常理解的相同含义。通常，词典中定义的术语应被视为具有与相关技术的上下文含义相同的含义，并且除非在本文中明确定义，否则不应被不同地理解或具有过于正式的含义。在任何情况下，甚至在本说明书中定义的术语也不旨在被解释为排除本公开的实施例。
根据本公开各种实施例的电子设备可以包括以下项中的至少一个：智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式PC、膝上型PC、上网本计算机、工作站、服务器，个人数字助理(PDA)、便携式多媒体播放器(PMP)、运动图像专家组(MPEG-1或MPEG-2)音频层3(MP3)播放器、移动医疗设备、照相机或可穿戴设备。可穿戴设备可以包括以下项中的至少一个：配饰型设备(例如，手表、戒指、手镯、脚镯、项链、眼镜、隐形眼镜、头戴式设备(HMD))、织物或服装整合型设备(例如，电子服装)、身体附着型设备(例如，皮肤垫或纹身)或生物可植入型设备(例如，可植入电路)。
在本公开的一些各种实施例中，电子设备可以是家用电器。智能家用电器例如可以包括以下项中的至少一个：电视(TV)、数字视频/多功能光盘(DVD)播放器、音频、冰箱、空调、清洁器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、电视(TV)盒(例如，Samsung HomeSyncTM、Apple TVTM或Google TVTM)、游戏机(例如，XboxTM或PlayStationTM)、电子词典、电子钥匙、便携式摄像机或电子相框。
在本公开的其他各种实施例中，电子设备可以包括以下项中的至少一个：各种医疗设备(例如，各种便携式医疗测量设备(例如，血糖测量设备、心率测量设备、血压测量装置、体温测量设备等)、磁共振血管造影(MRA)、磁共振成像(MRI)、计算机断层扫描(CT)、扫描仪、超声波设备等)、导航设备、全球导航卫星系统(GNSS)、事件数据记录器(EDR)、飞行数据记录器(FDR)、车辆信息娱乐设备、船舶电子设备(例如，导航系统、陀螺罗盘等)、航空电子设备、安全设备、汽车音响本体、工业或家庭机器人、自动柜员机(ATM)、商店的销售点(POS)设备或物联网(IoT)设备(例如，灯泡、各种传感器、电或燃气表、洒水器、火警、恒温器、路灯、烤面包机、健身器材、热水箱、加热器、锅炉等)。
根据本公开的各种实施例，电子设备可以包括以下项中的至少一个：家具或建筑物/结构的一部分、电子板、电子签名接收设备、投影仪或测量仪(例如，水表、电表、燃气表、波长表等)。电子设备可以是上述设备的一个或更多个的组合。根据本公开的一些各种实施例的电子设备可以是柔性设备。根据本公开的实施例的电子设备不限于上述设备，并且可以包括随着新技术的发展的新电子设备。
在下文中，将参照附图更详细地描述根据本公开的各种实施例的电子设备。本文使用的术语“用户”可以指使用电子设备的人或可以指使用电子设备的设备(例如，人工智能电子设备)。
图1是示出了根据本公开的实施例的操作电子设备的环境的图。
参照图1，电子设备100可以获得可以在来自内部设备或各种外部设备的多个FOV中回放的多视场(multi-FOV)图像。例如，电子设备100可以与图像捕获设备1、用于图像捕获的飞行设备2(例如，无人机)或服务器3中的至少一个建立网络，并且可以基于网络来执行有线或无线通信以便下载(或流式传输(stream))与multi-FOV图像相关联的程序或数据。
用于图像捕获的图像捕获设备1或飞行设备2可以包括可以捕获multi-FOV图像的设备或模块。例如，用于图像捕获的图像捕获设备1或飞行设备2可以包括多个相机模块，每个相机模块具有不同的视角。在各种实施例中，用于图像捕获的图像捕获设备1或飞行设备2可以具有编辑(例如，拼接)由多个相机模块捕获的多个图像的功能。或者，用于图像捕获的图像捕获设备1或飞行设备2可以将多个捕获到的图像发送到服务器3，并且可以请求服务器3来编辑多个图像。
在各种实施例中，可以将电子设备100安装在待操作的头戴式显示(HMD)设备4上。或者，可以将电子设备100的至少一部分以包括在HMD设备4中的形式进行集成，使得对电子设备100进行操作。因此，在电子设备100的显示器上回放的multi-FOV可以在佩戴HMD设备4的用户的可见性上进行显示，并且可以响应于身体(例如，用户的头部)的运动或移动来改变图像的FOV。在这种情况下，HMD设备4可以与电子设备100建立通信信道，并且可以基于通信信道来处理与控制multi-FOV图像相关联的用户输入(例如，用户的身体的触摸输入或运动或移动)。在各种实施例中，电子设备100可以被安装在除了待操作的HMD设备4之外的各种类型的可穿戴设备上(例如，手表、手镯和项链)。
实施例被例示为用于图像捕获的图像捕获设备1、飞行设备2，或者服务器3是外部设备。然而，实施例不限于此。例如，对可以与电子设备100通信图像数据的外部设备可以没有限制。此外，电子设备100可以是包括上述外部设备的构思，并且电子设备100本身可以被称为捕获multi-FOV图像的外部设备。
图2是示出了根据本公开的实施例的回放multi-FOV图像的环境的示例的图。
参照图2，由成像设备(例如，图1中的用于图像捕获的图像捕获设备1、飞行设备2或电子设备100)捕获的multi-FOV图像可以包括围绕该成像设备的360度外围区域10。与此相比，由于电子设备100的显示器120具有有限的显示区域(或有限的输出区域)，因此在multi-FOV图像中仅对应于特定FOV(例如，第一FOV 20)的图像可以被显示(或输出)到显示器120上。
在实施例中，存在于图像捕获空间上的至少一个对象21、31和/或41可以被包括在与multi-FOV图像相关联的外围区域10中。出现在与第一FOV 20不同的FOV(例如，第二FOV30或第三FOV 40)中的至少一个对象31或41可以出现在multi-FOV图像上的与第一FOV 20的图像的当前回放时间23不同的时间处。例如，出现在第二FOV 30中的第二对象31可以是在从第一FOV 20的图像的当前回放时间23经过一段时间之后出现的对象。或者，第二FOV30的第二对象31可以出现在与第一FOV 20的图像的当前回放时间23相同或相似的时间。在指定位置具有不动性(或不移动)的对象(诸如第三FOV 40的第三对象41(例如，建筑物))可以从第一FOV 20的图像的回放开始时出现在第三FOV 40中。
如上所述，至少一个对象21、31和/或41可以出现在multi-FOV图像上的不同的FOV中或不同时间处。因此，如果未执行与改变multi-FOV图像的FOV相关联的用户操作(例如，如果没有向FOV控制接口25提供输入信号)，则对使得用户观看multi-FOV图像的特定FOV(例如，第一FOV 20)的图像可能存在限制。或者，尽管基于FOV控制接口25改变multi-FOV图像的FOV，但是因为用户不知道关于出现在multi-FOV图像上的至少一个对象的信息(例如，出现特定对象的FOV或时间信息)，则可以以即兴方式改变FOV。在这种情况下，用户可能无法识别出现在multi-FOV图像上的至少一个对象的至少一部分，或者可能导致用于搜索特定对象的不方便的FOV改变操作。
在实施例中，电子设备100可以在特定FOV的图像的至少部分区域上显示(或输出)关于在显示器120上显示(或输出)的出现在与特定FOV不同的FOV中的至少一个对象的视觉信息。此外，电子设备100可以与显示视觉信息一起输出听觉信息或触觉信息。电子设备100可以基于视觉信息、听觉信息或触觉信息向观看multi-FOV图像的用户提供至少一个对象的出现的通知。
图3是示出了根据本公开的实施例的电子设备的配置的框图。
参照图3，电子设备100可以包括存储器110、显示器120、通信接口130、相机模块140和处理器150。在各种实施例中，电子设备100可以不包括以上提到的元件中的至少一个或者可以进一步包括其他元件。
存储器110可以存储与操作电子设备100的图像回放功能相关联的至少一个程序或数据。例如，存储器110可以存储从外部设备(例如，图1中的用于图像捕获的图像捕获设备1、飞行设备2，或服务器3)下载(或流式传输)的至少一个multi-FOV图像。此外，存储器110可以存储由相机模块140或电子设备100中包括的至少一个图像传感器(未示出)捕获的multi-FOV图像。
显示器120可以响应于用户输入信号或指定的调度信息来显示(或输出)各种内容(例如，文本、图像、视频、图标、符号等)。例如，显示器120可以基于用户输入信号在处理器150的控制下来显示存储在存储器110中的至少一个multi-FOV图像。显示器120可以显示multi-FOV图像的一个FOV的图像，并且可以基于与改变图像的FOV相关联的处理器150的控制将图像改变为不同的FOV。
通信接口130可以支持电子设备100与外部设备(例如，用于图像捕获的图像捕获设备1、飞行设备2，或服务器3)之间的通信。例如，通信接口130可以通过根据所定义的与外部设备的协议来建立有线或无线连接并且基于有线或无线通信访问网络来与外部设备进行通信。
在各种实施例中，除了从外部设备(例如，用于图像捕获的图像捕获设备1、飞行设备2，或者服务器3)获得的multi-FOV图像之外，电子设备100本身可以生成multi-FOV图像。在这种情况下，电子设备100可以包括多个相机模块140。多个相机模块140中的每一个相机模块可以被设置于电子设备100中以具有不同的视角(或者具有至少其中一部分是重叠的视角)。例如，多个相机模块140中的每一个相机模块可以被设置于电子设备100上以捕获以每120度进行划分的区域。或者，多个相机模块140可以被设置于电子设备100上的相对位置以捕获电子设备100的前部和后部。在各种实施例中，多个相机模块140可以被固定到电子设备100上的指定点，或者可以被设置成使得多个相机模块140中的至少一些相机模块可以响应于诸如用户输入的控制信号而移动。由多个相机模块140捕获的多个图像可以基于运行例如要实现为multi-FOV图像的图像编辑程序来进行拼接。
处理器150可以与电子设备100的元件中的至少一个元件(例如，存储器110、显示器120、通信接口130、相机模块140等)电连接，并且可以针对元件执行控制、通信、算术运算或数据处理。例如，处理器150可以对从外部设备(例如，用于图像捕获的图像捕获设备1、飞行设备2或服务器3)获得的或者由多个相机模块140生成的multi-FOV图像执行图像处理。在这种情况下，处理器150可以将构成multi-FOV图像的多个FOV中的每个图像(例如，图2的第一FOV 20的图像、第二FOV 30的图像、第三FOV 40的图像等)划分为多个帧。多个帧例如可以是静态图像，并且可以在指定时间的间隔(例如，秒)继续以构成特定FOV的图像。
在实施例中，处理器150可以基于边缘滤波器(例如，Sobel滤波器、Prewitt滤波器等)来分析多个FOV的每个图像(例如，第一FOV 20的图像、第二FOV 30的图像、第三FOV 40的图像等)的初始帧。例如，处理器150可以基于在每个初始帧上滤波的边缘来提取至少一个对象。处理器150可以执行例如针对至少一个提取出的对象的机器学习算法(例如，深度学习)。在该操作中，处理器150可以对从用户指定的或者存储在存储器110的数据库中的物体(例如，地标等)的边缘与从初始帧提取出的对象的边缘进行比较。处理器150可以指定对象，该对象在具有指定大小或更大的速率、形状或结构上与物体的边缘相同。
在实施例中，处理器150可以参考与多个FOV中的每个图像对应的多个帧之间的差异图像来提取动态对象。例如，处理器150可以比较第一FOV 20的图像的多个帧。如果存在像素被改变过的帧，则处理器150可以确定动态对象出现在第一FOV 20的图像上。如果动态对象的移动(或像素的改变率)大于或等于指定大小(或程度)，则处理器150可以将动态对象指定为事件。
在各种实施例中，可以响应于用户在基于外部设备(例如，用于图像捕获的图像捕获设备1或飞行设备2)或电子设备100捕获multi-FOV图像的操作中的控制来指定事件。或者，可以通过用户在与multi-FOV图像相关联的编辑操作(例如，拼接)中的控制来指定事件。
在实施例中，处理器150可以将FOV和时间范围存储在存储器110，其中被指定为事件的至少一个对象出现在multi-FOV图像上。此外，处理器150可以提取时间范围的至少一部分作为事件的显示对象(或通知)(例如，高亮图像)。例如，如果指定为事件的对象(例如，建筑物)是不动的(或未被移动)，则处理器150可以在该时间范围内提取时间范围(从对象最初出现的时间到经过指定时间的时间)作为显示对象。或者，如果指定为事件的对象具有移动性，则处理器150可以在该时间范围内提取包括具有对象的最大移动大小的时间的指定大小的时间范围作为显示对象。处理器150可以将提取出的显示对象存储在存储器110中。
在实施例中，上述显示对象可以在用户的可见性上显示的指定FOV的图像的一个区域上被输出，并且可以用作支持将图像改变为FOV(其中出现与显示对象对应的对象(或事件))的超链接。在各种实施例中，显示对象可以包括运动图像、缩略图图像或与事件相关联的图标中的至少一个。
图4是示出了根据本公开的实施例的计算multi-FOV图像上的对象的相对位置的示例的图。
参照图4，图3的处理器150可以分析存储在图3的存储器110中的multi-FOV图像，以获得出现在multi-FOV图像上的对象21和31中的每个对象的三维(3D)坐标。处理器150可以相对于与multi-FOV图像相关联的外围区域10的中心O的坐标(0，0，0)，计算到对象21和31的坐标P(x1，y1，z1)和Q(x2，y2，z2)中的每一个坐标的距离。或者，处理器150可以计算外围区域10的中心O的坐标(0，0，0)与包括在每个对象21和31的边缘中的至少一个坐标之间的最短距离。处理器150可以将计算出的距离信息替换为一系列算术过程，以获得关于对象21和31之间相对于外围区域的中心O的相对位置(例如，角度)的信息。在实施例中，可以将位置信息转换为与计算特定FOV的图像的一个区域上的显示对象的输出开始时的时间相关的指定时间单位。下面将给出位置信息的描述。
在下面的图5至图7中，为了描述方便起见，可以以单眼形式(例如，以在显示区域上输出一个屏幕的形式)示出在电子设备的显示区域上显示或输出的特定FOV的图像。本文中，单眼形式的特定FOV的图像可以结合安装在HMD设备上或与HMD设备集成的电子设备，改变为双眼形式(例如，将显示区域划分为多个区域并且在划分的多个区域中输出相同或相似屏幕的形式)。
图5是示出了根据本公开的实施例的multi-FOV的第一FOV的图像的图。
参照图5，存储在图3的存储器110中的multi-FOV图像可以响应于图3的处理器150的控制，显示(或输出)在图3的电子设备100的显示器120上。当开始multi-FOV图像的回放时，用户可以在multi-FOV图像中观看特定FOV(例如，第一FOV 20)的图像。
在实施例中，处理器150可以实时地或在指定时段监视存储器110，并且可以识别与第一FOV 20相关联的显示对象(例如，高亮图像)。例如，处理器150可以通过确定与显示对象相关联的对象(或事件)是否出现在相对于第一FOV 20的图像的当前回放时间23(例如，20秒)的指定时间范围(例如，相对于20秒的+20秒和-4秒的范围)内，识别与第一FOV 20相关联的显示对象。如果与显示对象相关联的对象(或事件)出现在指定时间范围内，则处理器150可以将显示对象确定为与第一FOV 20相关联的显示对象，并且可以在第一FOV 20的图像的至少一个区域上输出显示对象。在该操作中，处理器150可以确定第一FOV 20和与显示对象相关联的对象之间的相对方向。例如，处理器150可以基于第一FOV 20的图像中的中心点和与显示对象相关联的对象中的每一个的3D坐标来确定相互相对的方向。
在实施例中，处理器150可以基于关于相对方向的信息在第一FOV 20的图像中的特定区域输出与第一FOV 20相关联的显示对象。例如，如果确定根据与第一FOV 20相关联的第一显示对象33的第一对象31出现在相对于第一FOV 20的中心点的西南方向的不同FOV中，则处理器150可以将第一显示对象33输出在与第一FOV 20的图像的边缘区域中的西南方向相对应的区域。在与该操作相同或相似的操作中，如果第二对象41出现在与第一FOV20的中心点的西北方向的不同FOV中，则处理器150可以将与第二对象41相关联的第二显示对象43输出在第一FOV 20的图像的西北边缘区域。在各种实施例中，如果第一对象31和第二对象41出现在彼此相同或相似的方向上，则可以显示第一显示对象33和第二对象43，使得第一显示对象33的至少一部分和第二显示对象43的至少一部分彼此重叠。
在实施例中，如果确定上述显示对象33或43与除了第一FOV 20之外的特定FOV相关联并且被输出在特定FOV的图像上，则其可以被输出在第一FOV 20的图像上的与上述输出区域(例如，西南区域或西北区域)不同的区域上。例如，如果第二显示对象43被输出在特定FOV的图像的一个区域上，则由于基于特定FOV和与第二显示对象43相关联的第二对象41出现的FOV的中心点来确定相对的方向，相对方向可以被确定为相对于第一FOV 20的中心点的西南方向不同的方向。因此，第二显示对象43可以被输出在特定FOV的图像的边缘区域中的与第一FOV 20的图像的西南边缘区域不同的区域上。
在实施例中，与相对方向相关联的方向信息35或45可以被包括在被输出在第一FOV 20的图像的一个区域上的第一显示对象33或第二显示对象43的至少一个区域中。方向信息35或45可以是指示FOV的方向的视觉对象，沿该方向第一显示对象33或第二显示对象43的对象相对于第一FOV 20的中心点出现。在各种实施例中，方向信息35或45可以包括文本、图标或符号中的至少一种。
在各种实施例中，第一显示对象33或第二显示对象43可以与确保第一FOV 20的图像的可见性相关联地以指定级别的照度(例如，半透明度)被输出。此外，在各种实施例中，在输出当前正在回放的FOV图像上的至少一个显示对象的操作中，处理器150可以控制被包括在电子设备100或与电子设备100电连接的外部设备(例如，图1的HMD设备4等)中的声学设备以输出指定的通知声音(或通知)。
在实施例中，处理器150可以在第一FOV 20的图像上在不同时间输出第一显示对象33和第二显示对象43中的每一个显示对象。如参照图4所述，可以计算出现在第一FOV 20的图像上的对象与出现在除第一FOV 20之外的FOV中的对象之间的相对位置(例如，角度)。在实施例中，处理器150可以基于对象之间的位置信息来计算显示对象的先前显示时间。前一显示时间意味着如果在输出显示对象之后经过一段时间，则与显示对象(例如，与不同于第一FOV 20的FOV相对应的显示对象)相关联的对象出现在除第一FOV 20之外的FOV中。在这种情况下，可以假设出现在第一FOV 20的图像上的对象21和与第一FOV 20不同的FOV的第一显示对象33相关联的第一对象31之间的角度是30度。作为另一假设，可以假设与第一显示对象33相关联的第一对象31在30秒处出现在与第一FOV 20不同的FOV的图像上，该30秒处是在与第一FOV 20的图像的当前回放时间23(例如，20秒)相关联的时间范围内(例如，16秒到40秒)的时间。在这种情况下，处理器150可以通过每10度到30度施加1秒来将先前的显示时间计算为3秒，而后可以在27秒处在第一FOV 20的图像的一个区域上输出第一显示对象33，该27秒是这样的时间：在离与第一显示对象33相关联的第一对象31出现的时间30秒处的先前的显示时间(例如，3秒)之前的时间。该27秒可以在相对于第一FOV 20的图像的当前回放时间23(例如，20秒)的7秒之后。在实施例中，不具有移动性(或具有不动性)的对象(诸如与第二显示对象43相关联的第二对象41(例如，建筑物))可以在与第一FOV 20不同的FOV中的multi-FOV图像的回放时间期间连续出现。在这种情况下，处理器150可以从第一FOV 20的图像的回放开始时间在第一FOV 20的图像的一个区域上输出第二显示对象43。在各种实施例中，在第一FOV 20的图像上输出至少一个显示对象可以在从开始显示显示对象开始经过指定时间之后消失，或者可以响应于用于显示对象的至少一个点(例如，第二显示对象43的附图标记47)的用户的输入(例如，触摸)而消失。
在实施例中，上述先前的显示时间37可以被包括在第一显示对象33或第二显示对象43的至少一个区域中。例如，参照第一显示对象33，可以与在从第一FOV 20的图像的当前回放时间23(例如，20秒)起经过通过一系列算术运算而计算出的时间(例如，7秒)的时间(例如，27秒)处输出第一显示对象33，同时提供先前显示时间37。
在实施例中，相对于第一FOV 20的图像的当前回放时间23的指定时间范围(例如，16秒至40秒)可以响应于第一FOV的图像的回放而改变。因此，可以进一步输出在新的时间范围内出现的与第一FOV 20不同的FOV的显示对象。或者，可以更新先前的显示时间37。例如，如果第一FOV 20的图像的当前回放时间23改变(例如，增加)1秒，则先前的显示时间37也可以改变(例如，减小)1秒。因此，用负数表示先前的显示时间37的状态可以指在与第一FOV 20不同的FOV中完成与显示对象相关联的对象的出现的状态(或者从完成该出现经过时间的状态)。在各种实施例中，如果先前的显示时间37用正数指示，则处理器150可以使用第一显示效果(例如，以彩色对显示对象进行显示)来处理包括先前的显示时间37的显示对象。另一方面，如果用负数指示先前的显示时间37，则可以通过控制处理器150使用第二显示效果(例如，以黑白对显示对象进行显示)来处理包括先前的显示时间37的显示对象。
在实施例中，如果用户向上述显示对象的至少一个区域提供输入(例如，使用他或她的身体或触摸笔的触摸输入)，则处理器150可以改变multi-FOV图像的FOV。例如，如果用户输入被提供给在第一FOV 20的图像的一个区域上输出的第一显示对象33，则处理器150可以将第一FOV 20的图像改变为与第一显示对象22对应的FOV的图像。在该操作中，处理器150可以在改变之前存储关于第一FOV 20的图像的信息(例如，FOV信息和出现在第一FOV20的图像上的对象21的出现时间信息)。
图6是示出了根据本公开的实施例的multi-FOV的第二FOV的图像的图。
参照图6，图3的处理器150可以接收提供给特定显示对象(例如，图5的第一显示对象33)的至少一个区域的用户输入，并且可以控制显示器120以将在用户的可见性显示(或在显示器120上输出)的图5的第一FOV 20的图像改变为与第一显示对象33对应的FOV的图像(例如，第二FOV 30)。因此，第二FOV 30的图像可以在显示器120上显示(或输出)，并且可能会显示出现在第二FOV 30中的至少一个对象31。在各种实施例中，处理器150可以控制显示器120显示至少一个FOV的图像，该至少一个FOV的图像在将第一FOV 20的图像改变为第二FOV 30的图像的操作中以指定的速度(例如，延时拍摄)存在于例如第一FOV 20和第二FOV 30之间(或者伴随着将第一FOV 20改变为第二FOV 30的过程)。
在实施例中，如果改变为第二FOV 30的图像，则处理器150可以访问图3的存储器110，并且可以识别与第二FOV 30不同的FOV相关联的显示对象。处理器150可以确定与识别出的显示对象相关联的对象是否出现在相对于第二FOV 30的图像的当前回放时间39的指定时间范围内(例如，相对于当前回放时间39的+20秒和-4秒的范围)。如果对象出现在指定时间范围内，则处理器150可以在第二FOV 30的图像的至少一个区域上输出与对象相对应的显示对象(例如，显示对象51)。
在实施例中，处理器150可以在改变为第二FOV 30时，将存储在存储器110中的关于先前的FOV(例如，第一FOV 20)的图像的信息显示(或输出)到第二FOV 30的图像的至少部分区域上。例如，处理器150可以显示第一FOV 20的图像，该第一FOV 20的图像是先前的FOV的图像作为以与上述的显示对象相同或相似的形式的对象(例如，返回对象27)。如果用户的输入(例如，使用他或她的身体或触摸笔的触摸输入)被提供给返回对象27的至少一个区域，则正在显示(或输出)的第二FOV 30的图像可以被改变(或返回)为第一FOV 20的图像。
图7是示出了根据本公开的另一实施例的multi-FOV的第一FOV的图像的图。图7中示出的第一FOV 20的图像可以与参照图5描述的第一FOV的图像可操作地相同或相似。在下文中，将描述与图5的第一FOV的图像不同的元素。
参照图7，例如，multi-FOV图像的显影图像50可以按比例缩小并显示在第一FOV20的图像的至少一个区域上。显影图像50可以包括与出现在multi-FOV图像上的至少一个对象相关联的内容(例如，图标)。在各种实施例中，基于在至少一个对象出现在multi-FOV图像上时的相对时间的路径引导线52可以显示在显影图像50上。
在实施例中，例如，用于支持回放与当前正在回放的multi-FOV图像文件不同的单独的图像文件(例如，单个FOV图像文件、multi-FOV图像文件等)的界面60可以被显示在第一FOV 20的图像的至少一个区域上。在这种情况下，在一个实施例中，在从外部设备(例如，用于图像捕获的图像捕获设备1、飞行设备2或者图1的服务器3)下载(或流式传输)图像文件(或图像数据)的操作中，例如，图3的处理器150可以获得图像文件的外部设备的图像捕获位置信息。或者，如果电子设备100捕获图像，则处理器150可以基于全球定位系统(GPS)来获得电子设备100的图像捕获位置信息。图像捕获位置信息可以与图像文件一起被存储在图3的存储器110中。
在控制multi-FOV图像的回放的操作中，处理器150可以验证关于multi-FOV图像文件的图像捕获位置信息，并且可以将图像捕获位置信息与存储在存储器110中的至少一个图像捕获位置信息进行比较。在实施例中，如果存储在存储器110中的至少一个图像文件具有相对于当前要回放的multi-FOV图像文件的图像捕获位置在指定距离范围内的图像捕获位置信息，则处理器150可以将界面60(例如，用于支持回放具有与正在回放的multi-FOV图像的图像捕获位置类似的图像捕获位置的图像文件的界面)输出在开始要被回放的multi-FOV图像(例如，第一FOV 20的图像)的至少一个区域上。在各种实施例中，界面60可以包括上述超链接功能。
在各种实施例中，如果基于包括图3的多个相机模块140的电子设备100来实时捕获multi-FOV图像，则处理器150可以访问存储器110并且可以基于GPS来识别相对于电子设备100的图像捕获位置的指定范围内所捕获的图像文件。如果识别出具有与实时捕获图像的电子设备100的位置相同或相似的图像捕获位置信息的至少一个图像文件，则处理器150可以在实时捕获的图像的至少一个区域上显示用于支持回放识别出的图像文件的界面(或者改变为识别出的图像文件)。
例如，结合上述细节，用户可以将车辆停放在宽停车场中的指定区域，并且可以捕获停车区域的第一multi-FOV图像。在该操作中，可以响应于用户的控制将车辆指定为事件。所捕获的第一multi-FOV图像可以被存储在电子设备100的存储器110中。此后，如果用户捕获停车区域中的第二multi-FOV图像，则处理器150可以基于电子设备100的当前位置信息来识别在类似地方捕获到的第一multi-FOV图像的文件，并且可以将与回放第一multi-FOV图像文件相关联的界面显示在正被捕获(或者正被改变为第一multi-FOV图像文件)的第二multi-FOV图像的至少一个区域上。因此，用户可以参照第一multi-FOV图像容易地搜索车辆停放在其中的区域。
作为另一示例，可以将用于回放另一图像文件的支持(或改变为另一图像文件的支持)应用于多个图像捕获设备。在这种情况下，可以存在多个图像捕获设备，每个图像捕获设备捕获相同或相似位置中的特定FOV的图像。多个图像捕获设备可以包括在例如服务器(例如，图1的服务器3)与图像捕获设备之间建立的网络。由多个图像捕获设备中的每一个图像捕获设备所捕获的特定FOV的图像可以在指定的时间段或实时地通过网络发送到服务器。多个图像捕获设备中的第一图像捕获设备可以请求服务器基于网络发送由另一图像捕获设备捕获的FOV图像。在这种情况下，服务器可以基于多个图像捕获设备的图像捕获位置信息将与第一图像捕获设备相邻的图像捕获设备的FOV图像文件发送到第一图像捕获设备。第一图像捕获设备的处理可以将用于支持从服务器发送的至少一个FOV的图像文件的回放的界面输出到特定FOV的图像的至少一个区域上回放，该区域正在被回放。第一图像捕获设备(或改变为至少一个FOV的图像文件)。
根据各种实施例的电子设备可以包括：存储器，其被配置为存储包括第一FOV的图像和第二FOV的图像的multi-FOV的图像；显示器，其被配置为输出multi-FOV的图像；以及处理器，其被配置为与存储器和显示器电连接。
根据各种实施例，处理器可以控制以在显示器上输出第一FOV的图像，可以从第二FOV的图像验证满足指定条件的至少一个事件，以及可以控制以提供与第一FOV的正被输出在显示器上的图像相关的事件对应的通知。
根据各种实施例，处理器可以验证在相对于第一FOV的图像的当前回放时间的指定时间范围内发生的至少一个事件作为该事件。
根据各种实施例，处理器可以响应于用户对通知的输入，控制将被输出在显示器上的第一FOV的图像改变为第二FOV的图像的至少一部分。
根据各种实施例，处理器可结合第二FOV的图像的至少一部分来控制以提供用于支持对第一FOV的图像的改变的另一通知。
根据各种实施例，处理器可以将对第一FOV的图像的改变指定为返回事件。
根据各种实施例，当改变为第一FOV的图像或第二FOV的图像时，处理器可以控制在图像改变中以指定的速度提供multi-FOV的图像的至少一部分。
根据各种实施例，处理器可计算事件相对于第一FOV的相对位置，且可结合相对位置计算提供对应于事件的通知时的时间。
根据各种实施例，处理器可以指定在multi-FOV的图像中包括的具有指定大小或更大的移动性的对象或者与指定对象相同指定大小或更大的对象中的至少一个作为事件。
根据各种实施例，处理器可以进行控制以在事件发生在multi-FOV的图像上的时间范围内将从事件最初发生的时间到经过了指定时间的时间的范围设置为与事件对应的通知。
根据各种实施例，处理器可以进行控制以将关于在开始提供通知的时间与事件发生的时间之间的时间间隔的信息设置为与该事件对应的通知的至少一部分。
根据各种实施例，处理器可以进行控制以将关于与事件相关联的第一时间和第二时间之间的相对方向的信息设置为与该事件对应的通知的至少一部分。
根据各种实施例，处理器可以控制使用不同的效果来处理与在第一FOV的图像的当前回放时间之前发生的事件相对应的第一通知和与将在当前回放时间之后发生的事件相对应的第二通知。
根据各种实施例，处理器可以生成与multi-FOV对应的显影图像，可以控制在显示器的至少部分区域上输出显影图像，并且可以包括与显影图像上的事件相关联的至少一个信息。
根据各种实施例，电子设备可以被配置为可安装在HMD设备上。
根据各种实施例，电子设备可以被称为便携式通信设备。
根据各种实施例，便携式通信设备可以包括通信模块、存储器和被配置为与通信模块和存储器电连接的处理器。
根据各种实施例，处理器可以验证存储在存储器中的multi-FOV图像；可以控制输出与multi-FOV图像的第一FOV对应的第一图像；可以控制提供指示与输出第一图像相关的对应于multi-FOV图像的第二FOV的第二图像的一部分的通知；可以控制获得关于该通知的用户输入；以及可以响应于用户输入来控制输出第二图像的至少一部分。
根据各种实施例，如果第二图像包括相对于第一图像的当前回放时间在指定时间范围内发生的至少一个事件，则处理器可以控制将在第二图像上发生事件的时间范围内的从事件最初发生的时间到经过了指定时间的时间的范围设置为通知。
图8是示出了根据本公开的实施例的用于控制电子设备中的multi-FOV的方法的流程图。
参照图8，在操作801中，电子设备(例如，图3的电子设备100)的处理器(例如，图3的处理器150)可以对从外部设备(例如，用于图像捕获的图像捕获设备1、飞行设备2或图1的服务器3)获得的和由电子设备捕获的multi-FOV图像执行图像处理。在该操作中，处理器可以提取包括在multi-FOV图像中的至少一个对象。
在操作803中，处理器可以将与根据用户指定或被存储在存储器(例如，图3的存储器100)的数据库中的至少一个物体在指定大小或更大方面具有相似性(例如，在速率、形状或结构为指定大小或更大的方面对象的边缘和物体的边缘彼此是相同的)的至少一个对象，指定为事件。或者，处理器可以将在multi-FOV图像上移动指定大小或更大的至少一个动态对象指定为事件。处理器可以在存储器中存储FOV和指定为事件的至少一个对象出现在multi-FOV图像上的时间范围。
在操作805中，处理器可以提取至少一个指定事件(或对象)在multi-FOV图像上出现的时间范围的至少一部分作为显示对象(例如，高亮图像)，并且可以将提取出的显示对象存储在存储器中。例如，如果被指定为事件的对象(例如，建筑物)具有非移动性(或没有移动)时，处理器可以将在时间范围内的从对象最初出现的时间到经过了指定时间的时间的范围提取为显示对象。或者，如果被指定为事件的对象具有移动性(或者是动态对象)，则处理器可以将在该时间范围内的包括了具有对象的最大移动大小的时间的指定大小的时间范围提取为显示对象。
在操作807中，处理器可以监视存储器并且可以识别与不同于第一FOV的图像的FOV对应的显示对象，该第一FOV当前正在显示器(例如，图3的显示器120)上进行回放。处理器可以将识别出的显示对象中的与相对于第一FOV的图像的当前回放时间在时间范围(例如，+20秒和-4秒)内出现的事件(或对象)相关联的至少一个显示对象输出到第一FOV的图像的一个区域上。在该操作中，处理器可以基于关于出现在第一FOV中的对象与出现在另一FOV中的对象之间的相对位置(例如，角度)的信息来计算显示对象的先前的显示时间，并且可以反映输出显示对象时计算出的先前的显示时间。
在操作809中，如果用户的输入(例如，使用他或她的身体或触摸笔的触摸输入)被提供给被输出在第一FOV的图像的至少一个区域上的至少一个显示对象中的任何一个，则处理器可以将当前正在回放的第一FOV的图像改变为与提供输入的显示对象相关联的FOV图像。
根据各种实施例的用于控制电子设备中的multi-FOV图像的方法可以包括输出multi-FOV图像的第一FOV的图像，从multi-FOV图像的第二FOV图像中验证满足指定条件的至少一个事件，以及提供与该事件相对应的与第一FOV的图像相关的通知。
根据各种实施例，该方法还可以包括：响应于用户对通知的输入，将第一FOV的图像改变为第二FOV的图像的至少一部分。
根据各种实施例，提供通知可以包括在multi-FOV图像上发生事件的时间范围内提供从事件最初发生的时间到经过了指定时间的时间的范围，作为与事件对应的通知。
根据各种实施例，提供通知可以包括计算相对于第一FOV的事件的相对位置，并结合相对位置来计算提供与事件对应的通知的时间。
图9是示出了根据本公开的实施例的网络环境中的电子设备的配置的框图。
参照图9，在网络环境900下，电子设备901(例如，图3的电子设备100)可以通过本地无线通信998与电子设备902进行通信，或者可以通过网络999与电子设备904或服务器908进行通信。根据实施例，电子设备901可以通过服务器908与电子设备904通信。
根据实施例，电子设备901可以包括：总线910、处理器920(例如，图3的至少一个处理器150)、存储器930、输入设备950(例如，微型电话或鼠标)、显示器960、音频模块970、传感器模块976、接口977、触觉模块979、相机模块980、电源管理模块988、电池989、通信模块990和用户识别模块996。根据实施例，电子设备901可以不包括上述元件中的至少一个(例如，显示器960或相机模块980)，或者还可以包括其他元件。
例如，总线910可以互连上述元件920至990，并且可以包括用于在上述元件之间传送信号(例如，控制消息或数据)的电路。处理器920可以包括中央处理单元(CPU)、应用处理器(应用)、图形处理单元(GPU)、相机的相机图像信号处理器(ISP)或通信处理器(CP)中的一个或更多个。根据实施例，处理器920可以用片上系统(Soc)或系统级封装(SiP)来实现。例如，处理器920可以驱动操作系统(OS)或应用以控制连接到处理器920的另一元件(例如，硬件或软件元件)中的至少一个，并且可以处理和计算各种数据。处理器920可以将从其他元件(例如，通信模块990)中的至少一个接收到的指令或数据加载到非易失性存储器932以处理指令或数据，并且可以将处理结果数据存储到非易失性存储器934中。
存储器930可以包括例如易失性存储器932或非易失性存储器934。易失性存储器932可以包括例如随机存取存储器(RAM)(例如，动态随机存取存储器(DRAM)、静态RAM(SRAM)或同步动态RAM(SDRAM))。非易失性存储器934可以包括例如一次可编程只读存储器(OTPROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、掩模ROM、闪存ROM、闪存、硬盘驱动器或固态驱动器(SSD)。另外，非易失性存储器934可以根据电子设备901的连接形式，以内部存储器936的形式或外部存储器938的形式进行配置，该外部存储器938的形式仅在需要时通过连接是可用的。外部存储器938还可以包括闪存驱动器，诸如紧凑型闪存(CF)、安全数字(SD)、微安全数字(micro-SD)、迷你安全数字(迷你SD)、极端数字(xD)、多媒体卡(MMC)或记忆棒。外部存储器938可以以有线方式(例如，电缆或通用串行总线(USB))或无线(例如，蓝牙(BT))方式与电子设备901可操作地或物理地连接。
例如，存储器930可以存储例如电子设备901的至少一个不同的软件元件，诸如与程序940相关联的指令或数据。程序940可以包括例如内核941、库943、应用框架945或应用程序(可互换地称为“应用”)947。
输入设备950可以包括麦克风、鼠标或键盘。根据实施例，键盘可以包括通过显示器960物理连接的键盘或虚拟显示的键盘。
显示器960可以包括显示器、全息图设备或投影仪以及控制相关设备的控制电路。屏幕可以包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器、塑料OLED(POLED)、微机电系统(MEMS)显示器或电子纸显示器。根据实施例，显示器可以是柔性地、透明地或可穿戴地实现。显示器可以包括触摸电路，其能够检测到诸如手势输入、接近输入或悬停输入或能够测量触摸的压力强度的压力传感器(可互换地称为力传感器)之类的用户的触摸输入。触摸电路或压力传感器可以与显示器一体地实现，或者可以实现为至少一个传感器与显示器分开。全息图设备可以使用光的干涉在空间中显示立体图像。投影仪可以将光投射到屏幕上以显示图像。屏幕可以位于电子设备901的内部或外部。
音频模块970可以例如将声音转换为电信号或者将电信号转换为声音。根据实施例，音频模块970可以通过输入设备950(例如，麦克风)获取声音，或者可以通过电子设备901、或与电子设备901连接的外部电子设备(例如，电子设备902(例如，无线扬声器或无线耳机))或电子设备906(例如，有线扬声器或有线耳机)中包括的输出设备(未示出)(例如，扬声器或接收器)来输出声音。
传感器模块976可以测量或检测例如电子设备901的内部操作状态(例如，功率或温度)或外部环境状态(例如，海拔高度、湿度或亮度)以产生电信号或对应于测量到的状态或检测到状态的信息的数据值。传感器模块976可以包括以下项中的至少一个：例如手势传感器、陀螺仪传感器、气压传感器、磁传感器、加速度传感器、握持传感器、接近传感器、颜色传感器(例如，红色、绿色、蓝色(RGB)传感器)、红外传感器、生物计量传感器(例如，虹膜传感器、指纹传感器、心率监测(HRM)传感器、电子鼻传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、温度传感器、湿度传感器、照度传感器或UV传感器。传感器模块976还可以包括用于控制包括在其中的至少一个或更多个传感器的控制电路。根据实施例，可以通过使用处理器920或与处理器920分离的处理器(例如，传感器集线器)来控制传感器模块976。在单独的处理器(例如，传感器集线器)被使用，同时处理器920处于睡眠状态的情况下，单独的处理器可以在不唤醒处理器920的情况下进行操作以控制传感器模块976的操作或状态的至少一部分。
根据实施例，接口977可以包括高清晰度多媒体接口(HDMI)、通用串行总线(USB)、光学接口、推荐标准232(RS-232)、D-超小型(D-sub)、移动高清链路(MHL)接口、SD卡/MMC(多媒体卡)接口或音频接口。连接器978可以物理地连接电子设备901和电子设备906。根据实施例，连接器978可以包括例如USB连接器、SD卡/MMC连接器或音频连接器(例如，耳机连接器)。
触觉模块979可以将电信号转换为机械刺激(例如，振动或运动)或电刺激。例如，触觉模块979可以向用户施加触觉或动觉刺激。触觉模块979可以包括例如电机、压电元件或电刺激器。
相机模块980可以捕获例如静止图像和运动画面。根据实施例，相机模块980可以包括至少一个透镜(例如，广角透镜和远摄透镜或前置透镜和后置透镜)、图像传感器、图像信号处理器(ISP)或闪光灯(例如，发光二极管或氙灯)。
用于管理电子设备901的电力的电源管理模块988可以构成电源管理集成电路(PMIC)的至少一部分。
电池989可以包括主电池、副电池或燃料电池，并且可以通过外部电源再充电，以向电子设备901的至少一个元件供电。
通信模块990可以在电子设备901与外部设备(例如，第一外部电子设备902、第二外部电子设备904或服务器908)之间建立通信信道。通信模块990可以通过所建立的通信信道来进行有线通信或无线通信。根据实施例，通信模块990可以包括无线通信模块992或有线通信模块994。通信模块990可以通过无线通信模块992或有线通信模块994中的相关模块通过第一网络998(例如，诸如蓝牙(BT)或红外数据协会(lrDA)的无线局域网(LAN))或第二网络999(例如，诸如蜂窝网络的无线广域网)与外部设备(例如，第一外部电子设备902、第二外部电子设备904或服务器908)进行通信。
无线通信模块992可以支持例如蜂窝通信、无线局域通信、全球导航卫星系统(GNSS)通信。蜂窝通信可以包括例如长期演进(LTE)、高级LTE(LTE-A)、码分多址(CMA)、宽带CDMA(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)或全球移动通信系统(GSM)。无线局域通信可以包括无线保真度(Wi-Fi)、WiFi直接、光保真度、蓝牙、蓝牙低功耗(BLE)、Zigbee、近场通信(NFC)、磁安全传输(MST)、射频(RF)或体域网(BAN)。GNSS可以包括全球定位系统(GPS)、全球导航卫星系统(Glonass)、北斗导航卫星系统(Beidou)或伽利略、欧洲全球卫星导航系统等中的至少一个。在本公开中，“GPS”和“GNSS”可以互换使用。
根据实施例，当无线通信模块992支持蜂窝通信时，无线通信模块992例如可以使用用户识别模块(例如，SIM卡)996来识别或认证通信网络内的电子设备901。根据实施例，无线通信模块992可以包括处理器920(例如，应用处理器(AP)和单独的通信处理器(CP))。在这种情况下，当处理器920处于非活动(睡眠)状态时，通信处理器可以执行与电子设备901的元件910至996中的至少一个相关联的功能的至少一部分来代替处理器920，并且当处理器920处于活动状态时，通信处理器可以与处理器920一起执行功能的至少一部分。根据实施例，无线通信模块992可以包括多个通信模块，每个通信模块仅支持蜂窝通信、短程无线通信或GNSS通信方案中的相关通信方案。
有线通信模块994可以包括例如局域网(LAN)服务、电力线通信或普通老式电话服务(POTS)。
例如，第一网络998可以采用例如直接WiFi或蓝牙，以用于通过电子设备901与第一外部电子设备902之间的无线直接连接来发送或接收指令或数据。第二网络999可以包括用于在电子设备901与第二电子设备904之间发送或接收指令或数据的电信网络(例如，诸如LAN或WAN的计算机网络、因特网或电话网络)。
根据实施例，可以通过与第二网络连接的服务器908在电子设备901与第二外部电子设备904之间发送或接收指令或数据。第一外部电子设备902和第二外部电子设备904中的每一个外部电子设备可以是与电子设备901的类型不同或相同类型的设备。根据各种实施例，电子设备901将执行的全部或部分操作可以由另一个或多个电子设备(例如，电子设备902和904或服务器908)来执行。根据实施例，在电子设备901自动或响应于请求来执行任何功能或服务的情况下，电子设备901可以不在内部执行功能或服务，而是可以替代地或附加地将对与电子设备901相关联的功能的至少一部分的请求发送到另一设备(例如，电子设备902或904或者服务器908)。另一电子设备(例如，电子设备902或904或者服务器908)可以执行所请求的功能或附加功能，并且可以将执行结果发送到电子设备901。电子设备901可以使用接收到的结果提供所请求的功能或服务，或者可以另外地处理接收到的结果以提供所请求的功能或服务。为此，例如，可以使用云计算、分布式计算或客户端-服务器计算。
除非另有说明，否则单数形式的术语可以包括复数形式。在本公开中，表述“A或B”、“A和/或B中的至少一个”、“A、B或C”，或“A、B和/或C”中的至少一个可以包括一个或更多个相关所列项目的所有可能组合。本文使用的诸如“第一”、“第二”等术语可以指代各种元件而不管元件的顺序和/或优先级，并且可以用于将元件与另一元件区分开，而不是限制该元件。将理解的是，当元件(例如，第一元件)被称为“(可操作地或通信地)”与另一元件(例如，第二元件)“耦接”/“耦接到”另一元件(例如，第二元件)或“连接到”另一元件(例如，第二元件)时，该元件可以与另一元件直接耦接或连接到另一元件，或者可以在其之间存在中间元件(例如，第三元件)。
在本公开中，根据情况，本文使用的表述“适合于或被配置为”可以与例如表述“适合于”、“具有……的能力”、“改变为”、“用作”、“能够”或“设计为”、“适应于”、“用作”或“能够”互换使用。在某种情况下，表述“被配置为……的设备”可以意味着该设备“能够”与另一设备或其他组件一起操作。例如，“被配置为(或适于)执行A、B和C的处理器”可以表示用于执行相应操作的专用处理器(例如，嵌入式处理器)或者通用处理器(例如，中央处理单元(CPU)或应用处理器)，该通用处理器可以通过执行存储在存储器设备(例如930)中一个或更多个软件程序来执行相应操作。
如在本公开中使用的术语“模块”可以表示例如包括硬件、软件和固件的一个或更多个组合的单元。术语“模块”可以与术语“单元”、“逻辑”、“逻辑块”、“组件”和“电路”互换使用。“模块”可以是集成组件的最小单元，或者可以是其一部分。“模块”可以是用于执行一个或更多个功能或其一部分的最小单元。“模块”可以机械地或电子地实现。例如，“模块”可以包括已知的或将被开发的应用专用IC(ASIC)芯片、现场可编程门阵列(FPGA)和用于执行某些操作的可编程逻辑设备中的至少一个。
根据本公开的实施例的装置的至少一部分(例如，其模块或功能)或方法(例如，操作)可以例如通过以程序模块的形式存储在计算机可读存储介质中的指令来实现。当指令由处理器920执行时，该指令可以使一个或更多个处理器执行与该指令相对应的功能。计算机可读存储介质例如可以是存储器930。
计算机可读记录介质可以包括硬盘、软盘、磁介质(例如，磁带)、光学介质(例如，光盘只读存储器(CD-ROM)和数字多功能光盘(DVD)、磁光介质(例如，光盘))和硬件设备(例如，只读存储器(ROM)、随机存取存储器(RAM)或闪存)。而且，程序指令不仅可以包括诸如由编译器生成的机械代码，还可以包括使用解释器在计算机上可执行的高级语言代码。上述硬件单元可以被配置为经由一个或更多个软件模块操作以执行根据本公开的实施例的操作，且反之亦然。
根据本公开的实施例的模块或程序模块可以包括上述元件中的至少一个，或者可以省略上述元件的一部分，或者还可以包括其他元件。由模块、程序模块或其他元件执行的操作可以顺序地、并行地、重复地或以启发式方法执行。另外，一些操作可以以不同的顺序执行或者可以被省略。或者，可添加其它操作。
虽然已经参考本公开的各种实施例示出和描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求及其等同形式限定的本公开的精神和范围的情况下，可以在形式和细节上进行各种改变。

Claims (15)

1.一种电子设备，所述电子设备包括：
存储器，所述存储器被配置为存储多视场multi-FOV的图像，所述multi-FOV的图像包括第一FOV的图像和第二FOV的图像；
显示器，所述显示器被配置为输出所述multi-FOV的图像；以及
至少一个处理器，所述至少一个处理器被配置为与所述存储器和所述显示器电连接，
其中，所述至少一个处理器被配置为：
控制所述显示器输出所述第一FOV的图像；
从所述第二FOV的图像中识别满足条件的至少一个事件；以及
控制所述显示器提供与所述第一FOV的正被输出在所述显示器上的图像相关的与所述事件对应的通知，
其中，所述条件是通过分析从与所述第二FOV的图像相对应的多个帧中提取的动态对象来确定的，并且
其中，当所述动态对象的移动大于或等于指定水平时，所述动态对象被识别为所述事件。
2.根据权利要求1所述的电子设备，其中，所述至少一个处理器被进一步配置为：
将在相对于所述第一FOV的图像的当前回放时间的时间范围内发生的至少一个事件验证为所述事件。
3.根据权利要求1所述的电子设备，其中，所述至少一个处理器被进一步配置为：
响应于对所述通知的用户输入，控制所述显示器将在所述显示器上输出的所述第一FOV的图像改变为所述第二FOV的图像的至少一部分。
4.根据权利要求3所述的电子设备，其中，所述至少一个处理器被进一步配置为：
结合所述第二FOV的图像的所述至少一部分来提供用于支持对所述第一FOV的图像的改变的另一通知。
5.根据权利要求4所述的电子设备，其中所述至少一个处理器被进一步配置为：
将对所述第一FOV的图像的改变指定为返回事件。
6.根据权利要求4所述的电子设备，其中，所述至少一个处理器被进一步配置为：
基于改变为所述第一FOV的图像或所述第二FOV的图像，按照图像改变的速度提供所述multi-FOV的图像的至少一部分。
7.根据权利要求1所述的电子设备，其中，所述至少一个处理器被进一步配置为：
计算所述事件相对于所述第一FOV的相对位置；以及
结合所述相对位置来计算基于提供与所述事件对应的通知的时间。
8.根据权利要求1所述的电子设备，其中，所述至少一个处理器被进一步配置为：
将所述multi-FOV的图像中包括的具有一定或更大移动性的对象或者尺寸等于或大于某个物体的对象中的至少一个指定为所述事件。
9.根据权利要求1所述的电子设备，其中，所述至少一个处理器被进一步配置为：
提供在所述multi-FOV的图像上发生所述事件的时间范围内的从所述事件最初发生的时刻到经过了一段时间的时刻的范围，作为与所述事件对应的所述通知。
10.根据权利要求1所述的电子设备，其中，所述至少一个处理器被进一步配置为：
提供关于在开始提供所述通知的时刻与所述事件发生的时刻之间的时间间隔的信息，作为与所述事件对应的所述通知的至少一部分。
11.根据权利要求1所述的电子设备，其中，所述至少一个处理器被进一步配置为：
提供关于与所述事件相关联的第一时刻与第二时刻之间的相对方向的信息，作为与所述事件对应的所述通知的至少一部分。
12.根据权利要求1所述的电子设备，其中，所述至少一个处理器被进一步配置为：
使用不同效果来处理与在所述第一FOV的图像的当前回放时间之前发生的事件对应的第一通知和与所述当前回放时间之后将要发生的事件对应的第二通知。
13.根据权利要求1所述的电子设备，其中，所述至少一个处理器被进一步配置为：
生成与所述multi-FOV对应的显影图像；
控制所述显示器在所述显示器的至少一部分区域上输出所述显影图像；以及
在所述显影图像上包括与所述事件相关联的至少一个信息。
14.根据权利要求1所述的电子设备，其中，所述电子设备被配置为可安装在头戴式显示(HMD)设备上。
15.一种用于控制电子设备中的多视场multi-FOV图像的方法，所述方法包括：
输出所述multi-FOV图像的第一FOV的图像；
从所述multi-FOV图像的第二FOV图像中识别满足条件的至少一个事件；以及
提供与所述第一FOV的图像相关的与所述事件对应的通知，
其中，所述条件是通过分析从与所述第二FOV的图像相对应的多个帧中提取的动态对象来确定的，并且
其中，当所述动态对象的移动大于或等于指定水平时，所述动态对象被识别为所述事件。
CN201780050327.1A 2016-08-17 2017-08-17 控制多视场图像的方法和支持该方法的电子设备 Expired - Fee Related CN109565548B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020160104516A KR102745637B1 (ko) 2016-08-17 2016-08-17 다시점 영상 제어 방법 및 이를 지원하는 전자 장치
KR10-2016-0104516 2016-08-17
PCT/KR2017/008985 WO2018034521A1 (en) 2016-08-17 2017-08-17 Method for controlling multi-filed of view image and electronic device for supporting the same

Publications (2)

Publication Number Publication Date
CN109565548A CN109565548A (zh) 2019-04-02
CN109565548B true CN109565548B (zh) 2021-02-12

Family

ID=61192525

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780050327.1A Expired - Fee Related CN109565548B (zh) 2016-08-17 2017-08-17 控制多视场图像的方法和支持该方法的电子设备

Country Status (5)

Country Link
US (1) US10701337B2 (zh)
EP (1) EP3476119B1 (zh)
KR (1) KR102745637B1 (zh)
CN (1) CN109565548B (zh)
WO (1) WO2018034521A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9589000B2 (en) * 2012-08-30 2017-03-07 Atheer, Inc. Method and apparatus for content association and history tracking in virtual and augmented reality
KR102223296B1 (ko) 2016-03-11 2021-03-04 매직 립, 인코포레이티드 콘볼루셔널 신경 네트워크들에서의 구조 학습
DE112016007236T5 (de) * 2016-09-16 2019-07-04 Motorola Solutions, Inc. System und Verfahren für die Zusammenarbeit einer feststehenden Kamera und einer unbemannten mobilenVorrichtung zur Verbesserung der Identifikationssicherheit eines Objektes
KR102720618B1 (ko) * 2016-12-22 2024-10-21 엘지디스플레이 주식회사 증강 현실 기기
WO2020236993A1 (en) 2019-05-21 2020-11-26 Magic Leap, Inc. Hand pose estimation
CN110825088B (zh) * 2019-11-29 2021-10-01 燕山大学 一种多目视觉导引船体清洁机器人系统及清洁方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101770327A (zh) * 2009-01-06 2010-07-07 纬创资通股份有限公司 可切换启动多视角显示屏幕的执行程序的影像系统及方法
CN102736843A (zh) * 2011-04-08 2012-10-17 Lg电子株式会社 移动终端及其三维（3d）多角度视图控制方法
CN102819413A (zh) * 2011-06-08 2012-12-12 索尼公司 显示控制设备、显示控制方法、程序、以及记录介质
CN105519097A (zh) * 2013-08-27 2016-04-20 高通股份有限公司 用于显示画中画的系统、装置和方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008022105A (ja) * 2006-07-11 2008-01-31 Sharp Corp テレビジョン受像機
FR2951041A1 (fr) 2009-10-05 2011-04-08 Korea Electronics Telecomm Systeme de fourniture d'un service de diffusion a angles multiples
KR101367458B1 (ko) * 2009-10-05 2014-02-26 한국전자통신연구원 멀티 앵글 방송 서비스 제공 시스템
US9615064B2 (en) * 2010-12-30 2017-04-04 Pelco, Inc. Tracking moving objects using a camera network
JP5927856B2 (ja) * 2011-11-16 2016-06-01 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
KR101417614B1 (ko) 2013-03-27 2014-07-09 한국과학기술원 오브젝트형 멀티미디어 인터랙션 방법
KR102122339B1 (ko) 2013-12-30 2020-06-12 주식회사 케이티 Hmd 제어 방법, 컴퓨팅 장치 및 컴퓨터 판독가능 매체
KR102257621B1 (ko) 2014-05-19 2021-05-28 엘지전자 주식회사 썸네일 이미지를 디스플레이 하는 헤드 마운티드 디스플레이 디바이스 및 그 제어 방법
US9904055B2 (en) 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
US20160127695A1 (en) * 2014-10-30 2016-05-05 Motorola Solutions, Inc Method and apparatus for controlling a camera's field of view

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101770327A (zh) * 2009-01-06 2010-07-07 纬创资通股份有限公司 可切换启动多视角显示屏幕的执行程序的影像系统及方法
CN102736843A (zh) * 2011-04-08 2012-10-17 Lg电子株式会社 移动终端及其三维（3d）多角度视图控制方法
CN102819413A (zh) * 2011-06-08 2012-12-12 索尼公司 显示控制设备、显示控制方法、程序、以及记录介质
CN105519097A (zh) * 2013-08-27 2016-04-20 高通股份有限公司 用于显示画中画的系统、装置和方法

Also Published As

Publication number Publication date
KR102745637B1 (ko) 2024-12-24
CN109565548A (zh) 2019-04-02
EP3476119A4 (en) 2019-07-10
US20180054606A1 (en) 2018-02-22
US10701337B2 (en) 2020-06-30
KR20180020043A (ko) 2018-02-27
EP3476119B1 (en) 2021-04-21
WO2018034521A1 (en) 2018-02-22
EP3476119A1 (en) 2019-05-01

Similar Documents

Publication Publication Date Title
CN109565548B (zh) 控制多视场图像的方法和支持该方法的电子设备
KR102559625B1 (ko) 증강 현실 출력 방법 및 이를 지원하는 전자 장치
CN107807732B (zh) 用于显示图像的方法、存储介质和电子装置
US10827126B2 (en) Electronic device for providing property information of external light source for interest object
KR102349428B1 (ko) 이미지 처리 방법 및 이를 지원하는 전자장치
US10917552B2 (en) Photographing method using external electronic device and electronic device supporting the same
EP3469787B1 (en) Electronic device and computer-readable recording medium for displaying images
KR20170136920A (ko) 화면 출력 방법 및 이를 지원하는 전자 장치
KR20180013277A (ko) 그래픽 객체를 표시하기 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체
US10818057B2 (en) Spherical content editing method and electronic device supporting same
US11670022B2 (en) Electronic device and method for displaying and generating panoramic image
US20170134694A1 (en) Electronic device for performing motion and control method thereof
KR102407765B1 (ko) 전자 장치 및 전자 장치의 파노라마 영상 표시 제어 방법
EP3342162B1 (en) Electronic device and method for displaying and generating panoramic image
KR20170097884A (ko) 이미지를 처리하기 위한 방법 및 그 전자 장치
KR102457247B1 (ko) 이미지를 처리하는 전자 장치 및 그 제어 방법
KR102272753B1 (ko) 이미지를 표시하는 전자 장치 및 그 제어 방법
US11210828B2 (en) Method and electronic device for outputting guide
US10818075B2 (en) Content output method and electronic device for supporting same
US20200090704A1 (en) Electronic device and screen image display method for electronic device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210212

CF01 Termination of patent right due to non-payment of annual fee