[go: up one dir, main page]

RU2421776C2 - Способ управления позицией контрольной точки в командной области и способ управления устройством - Google Patents

Способ управления позицией контрольной точки в командной области и способ управления устройством Download PDF

Info

Publication number
RU2421776C2
RU2421776C2 RU2008104864/08A RU2008104864A RU2421776C2 RU 2421776 C2 RU2421776 C2 RU 2421776C2 RU 2008104864/08 A RU2008104864/08 A RU 2008104864/08A RU 2008104864 A RU2008104864 A RU 2008104864A RU 2421776 C2 RU2421776 C2 RU 2421776C2
Authority
RU
Russia
Prior art keywords
control
area
asm
ast
point
Prior art date
Application number
RU2008104864/08A
Other languages
English (en)
Other versions
RU2008104864A (ru
Inventor
Ян КНАЙССЛЕР (DE)
Ян КНАЙССЛЕР
Эрик ТЕЛЕН (DE)
Эрик ТЕЛЕН
Original Assignee
Конинклейке Филипс Электроникс Н.В.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=37499437&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=RU2421776(C2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Конинклейке Филипс Электроникс Н.В. filed Critical Конинклейке Филипс Электроникс Н.В.
Publication of RU2008104864A publication Critical patent/RU2008104864A/ru
Application granted granted Critical
Publication of RU2421776C2 publication Critical patent/RU2421776C2/ru

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • G06F3/0317Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Vehicle Body Suspensions (AREA)
  • Selective Calling Equipment (AREA)
  • Electrotherapy Devices (AREA)

Abstract

Изобретение относится к способу и системе определения позиции контрольной точки в командной области и к способу и системе управления устройством с электронным управлением. Технический результат заключается в повышении точности и простоты эксплуатации указательного устройства для направления контрольной точки. Способ определения позиции контрольной точки в командной области содержит этапы, на которых нацеливают указательное устройство (1), содержащее камеру (2), в направлении командной области (АСМ); генерируют изображение (I) целевой области (AI), на которую нацелено указательное устройство; обрабатывают изображение (I) целевой области, чтобы определить целевую точку (Т), на которую нацелено указательное устройство (l); определяют позицию (х', у') контрольной точки (С) в зависимости от позиции (х, у) целевой точки (Т) в текущей заданной области управления (АСТ), причем область управления (АСТ), по меньшей мере частично, включает в себя командную область (АСМ). Размеры и/или местоположение области управления (АСТ) задают в соответствии с мгновенными условиями указывания и/или ситуацией управления. Система реализует данный способ. 4 н. и 9 з.п. ф-лы, 6 ил.

Description

Это изобретение относится к способу управления позицией контрольной точки в командной области и к способу управления устройством. Кроме того, изобретение относится к соответствующей системе, предназначенной для управления позицией контрольной точки в командной области, и к соответствующей системе, предназначенной для управления устройством.
Для управления устройством, таким как любое пользовательское электронное устройство, например телевизор, DVD-плеер, тюнер и т.д., обычно используется пульт дистанционного управления. Однако в обычном домашнем хозяйстве может требоваться множество пультов дистанционного управления, часто один пульт для каждого пользовательского электронного устройства. Даже для человека, хорошо знакомого с пользовательскими электронными устройствами, которые он имеет, является проблемой помнить, для чего фактически предназначена каждая кнопка на каждом пульте дистанционного управления. Кроме того, навигация по экранному меню, доступная для некоторых пользовательских электронных устройств, часто является недостаточно интуитивной, в частности, для пользователей, которые могут не обладать глубоким знанием опций, доступных для устройства. Результатом является то, что пользователь должен постоянно изучать меню, представленное на экране, чтобы определить местонахождение опции, которую он ищет, а затем смотреть на пульт дистанционного управления, чтобы найти соответствующую кнопку. Очень часто кнопкам даются неинтуитивные названия или сокращения. Кроме того, кнопка на пульте дистанционного управления также может выполнять дополнительную функцию, доступ к которой сначала должен быть осуществлен с помощью нажатия кнопки режима.
Иногда пульт дистанционного управления может быть использован для управления рядом устройств. Так как пульт дистанционного управления сам не может отличать одно устройство от другого, пульт дистанционного управления должен быть снабжен специальной кнопкой, предназначенной для каждого устройства, и пользователь должен явно нажимать соответствующую кнопку перед взаимодействием с желаемым устройством.
Возможным альтернативным вариантом обычному пульту дистанционного управления может быть указательное устройство. Система пользовательского интерфейса, основанная на указательном устройстве, известна из WO 2004/047011 А2, раскрытие которого включено в настоящее описание посредством ссылки. Концепция такой системы заключается в том, что указательное устройство, соединенное с камерой, может быть использовано для управления любым устройством в его окружении с помощью нацеливания на объект, например корпус устройства, экран или любое другое приложение или вспомогательное устройство, связанное с устройством. Камера указательного устройства генерирует изображения целевой области, в которую его нацеливают, и эти изображение затем анализируются.
Во многих приложениях, предназначенных для управления устройством, ряд пользовательских опций для управляемого устройства визуально представлены в командной области или в графическом пользовательском интерфейсе. Если устройство, например телевизор, персональный компьютер или лэптоп, использует экран, устройство формирования луча или другое средство воспроизведения изображения, такая командная область может быть представлена с помощью средства воспроизведения изображения. Кроме того, командная область для управляемого устройства может быть представлена любым другим способом, на основе которого затем могут быть представлены опции для этого устройства. Например, центральное устройство управления могло бы предусматривать дисплей, на котором представлена командная область. Таким образом, точная позиция оси указывания (т.е. точка, видимая в центре захваченных изображений) может быть определена в командной области. Это дает возможность, например, управления контрольной точкой, например курсором, в командной области и, следовательно, навигации по меню и других видов взаимодействия, которые обычно возможны с помощью графического пользовательского интерфейса, таких как создание эскизов и т.д. Другие важные возможные способы взаимодействия могут содержать взаимодействие “вне экрана”, такое как прокрутка вверх и вниз при указывании сверху или снизу экрана, выполнение операций перетаскивания (drag-and-drop) между экранами и применение жестов с помощью выполнения предварительно определенных или определенных пользователем геометрических образов движения “в воздухе”.
Для обеспечения возможности такого “подобного мыши” управления контрольной точкой в командной области на расстоянии является существенным дать возможность точного взаимодействия до максимально возможного расстояния, задаваемого оптическими возможностями пользователя, т.е. разрешающей способностью глаз относительно размеров управляемого объекта. С помощью визуальных средств это обычно выходит за предел дальности, для которой возможна точная ручная координация. На самом деле, когда расстояние до командной области становится относительно большим, угловой диапазон, в котором имеет место прямое взаимодействие, т.е. угол, под которым командная область видна из позиции пользователя, становится относительно малым. В результате становится более трудно точно выполнять взаимодействие из-за сильного отрицательного влияния дрожания и невольных движений руки, держащей указательное устройство.
Вследствие этого задачей настоящего изобретения является предоставить легкий и приемлемый способ, который дает возможность точного управления контрольной точкой в командной области, также с больших расстояний.
С этой целью настоящее изобретение предоставляет способ управления позицией контрольной точки в командной области, который, как упомянуто выше, содержит этапы, на которых нацеливают указательное устройство, содержащее камеру, в направлении командной области, генерируют изображение целевой области, на которую нацелено указательное устройство, и обрабатывают изображение целевой области, чтобы определить целевую точку, на которую нацелено указательное устройство. Таким образом, в соответствии с изобретением позицию контрольной точки в командной области определяют в зависимости от позиции целевой точки, в текущей определенной области управления, причем область управления, по меньшей мере частично, включает в себя командную область. Вследствие этого в соответствии с изобретением всякий раз, когда пользователь нацеливает указательное устройство на реальную целевую точку (также называемую в дальнейшем “действительной целевой точкой”) в “виртуальной” области управления, реальная позиция указывания относительно виртуальной области управления будет преобразована в виртуальную позицию указывания относительно действительной командной области, причем эта виртуальная позиция указывания соответствует позиции контрольной точки. Таким образом, размеры и/или местоположение контрольной точки определяют в соответствии с моментальными условиями указывания и/или ситуацией управления.
С помощью устанавливания реальной целевой точки в виртуальной области управления способом в соответствии с изобретением и с помощью преобразования этой позиции целевой точки в текущую командную область можно адаптировать область управления, необходимую для определения местоположения контрольной точки, к текущей ситуации. В частности, область управления может быть выгодно увеличена относительно командной области, особенно в случае, когда пользователь расположен далеко от устройства. Использование виртуальной области управления, адаптированной к расстоянию между указательным устройством и командной областью, гарантирует, что небольшие перемещения указательного устройства не интерпретируются как соответственно большие перемещения в командной области, при этом пользователю предоставляется возможность более точно направлять указывающее устройство в командной области. Это, в частности, применяется к угловым перемещениям указательного устройства, которые с увеличением расстояния от командной области, дают в результате большие линейные перемещения реальной целевой точки в командной области.
Подразумевается, что “контрольная точка” означает не просто обычный курсор, но любой вид визуальной обратной связи, предназначенной для показа пользователю, на какую точку в командной области он нацеливается в текущий момент. Например, это могла бы быть световая точка, проецируемая на командную область, если необходимо, с помощью отдельного устройства. Также могли бы быть выделены определенные области, изображающие символы различных пунктов меню, что часто имеет место в пользовательских графических интерфейсах, управляемых с помощью меню, когда контрольная точка доводится до такой области.
Так как контрольная точка изображена посредством подходящей визуальной обратной связи, у пользователя способа в соответствии с изобретением даже на большом расстоянии не будет создаваться впечатление, что он указывает вне командной области, даже если это имеет место. Он только заметил бы различие, если бы взглянул вдоль длины указательного устройства. Вместо этого у него просто создается впечатление лучшей управляемости контрольной точки в командной области.
Как упомянуто выше, этот способ является выгодным, в частности, когда пользователь желает взаимодействовать с командной областью на большом расстоянии. Вследствие этого увеличение области управления относительно командной области является предпочтительным приложением изобретения. Однако также можно создать виртуальную область управления, которая меньше, чем действительная командная область. Примером могло бы быть управление конфигурированием презентации, где командную область воспроизводят сильно увеличенной в фоновой плоскости для представления и где человек, дающий презентацию, стоит относительно близко к фоновой плоскости. В такой ситуации было бы уместно назначить меньшую область для области управления таким образом, чтобы пользователь мог выбирать в качестве цели все участки в командной области с помощью контрольной точки, но с помощью меньших перемещений указательного устройства.
Соответствующая система, предназначенная для управления позицией контрольной точки в командной области, содержит модуль вычисления позиции контрольной точки, предназначенный для определения позиции контрольной точки в зависимости от позиции целевой точки в текущей заданной области управления, причем область управления, по меньшей мере частично, включает в себя командную область. Таким образом, размеры и/или местоположение области управления определяют в соответствии с мгновенными условиями указывания и/или ситуацией управления.
Зависимые пункты формулы изобретения и нижеследующее описание раскрывают конкретные преимущественные варианты осуществления и признаки изобретения.
Понятие “условия указывания” означает не только расстояние, но также угол между указательным устройством и командной областью. В зависимости от позиции указательного устройства относительно командной области могут быть определены не только размеры области управления, но также взаиморасположение, т.е. смещена ли область управления вверх, вниз или горизонтально относительно командной области. Понятие “ситуация управления” подразумевает, помимо прочего, тип меню, размер отдельных пунктов меню и т.д. в командной области. Например, в ситуации, в которой меню с большим числом пунктов меню воспроизводится в командной области, причем каждый пункт меню предлагает только относительно малый участок активации, т.е. области, в которую должно быть нацелено указательное устройство, для того чтобы выбрать пункт меню, имеет смысл предложить увеличенную виртуальную область управления, даже в случае относительно малых расстояний от командной области, для того чтобы сделать более легким для пользователя точно нацеливаться на отдельный пункт меню или его участок активации. С другой стороны, если только относительно небольшое число опций с относительно большими участками активации воспроизводится в командной области, достаточно, чтобы область управления оставалась того же самого размера, что и командная область, даже для больших расстояний.
Как упомянуто выше, предпочтительно, прежде всего, определяют размеры области управления в соответствии с расстоянием между указательным устройством и командной областью. Существует ряд возможностей для пути, которым увеличивают размеры области управления в соответствии с расстоянием между указательным устройством и командной областью.
В одном варианте осуществления размеры области управления расширяют или увеличивают, если расстояние между указательным устройством и командной областью превышает некоторый предел. В соответствии с этим способом, например, область управления может совпадать с командной областью для первого, относительно малого, расстояния. Если пользователь переместится с указательным устройством за некоторый порог расстояния от командной области, виртуальная область управления будет увеличена на некоторую величину. За другим дополнительным порогом расстояния виртуальная область управления может быть опять увеличена на некоторую величину. Таким образом, делается возможным возрастающее пошаговое увеличение области управления в зависимости от расстояния. При этом порог расстояния, по существу, может быть выбран таким малым, как требуется. Величины для порогов расстояния и соответствующие размеры области управления могут быть запомнены в таблице.
В качестве альтернативы, соответствующая непрерывная зависимость между размерами области управления и расстоянием от командной области может быть задана в подходящей функции. Например, может быть выбран коэффициент увеличения, зависящий от расстояния, который задает степень, с которой увеличиваются размеры виртуальной области управления по сравнению с действительным размером командной области.
Предпочтительно, по меньшей мере, для очень больших расстояний, коэффициент расширения, который определяет увеличение или изменение размера в отношении размеров области управления в соответствии с размерами командной области, должен быть пропорционален расстоянию между указательным устройством и командной областью.
В дополнительном предпочтительном варианте осуществления, если пользователь нацеливается на целевую точку вне текущей области управления, размеры области управления увеличивают таким образом, чтобы целевая точка находилась внутри новой области управления.
Одним возможным выбором использования этого признака было бы всегда давать возможность прямого взаимодействия, т.е. виртуальная область управления соответствует физической командной области для всех расстояний, пока пользователь нацеливает указательное устройство в точку в командной области. Только когда пользователь указывает вне командной области, будет применена другая величина для коэффициента увеличения, таким образом, давая возможность относительного масштабирования. Однако этот способ имеет недостаток, заключающийся в несплошности на границах дисплея.
В предпочтительном альтернативном варианте, как и в альтернативном варианте, упомянутом выше, взаимодействие является первоначально прямым. Если пользователь нацеливает указательное устройство в точку вне физического экрана, коэффициент расширения или увеличения увеличивают таким образом, чтобы действительная ось указывания и, следовательно, в конечном счете действительная целевая точка совпадали с точкой на границе (обновленной) виртуальной области управления. Следовательно, в этом альтернативном варианте коэффициент расширения является не просто функцией только расстояния, но также зависит от поведения пользователя. Такая операция может быть названа “продавливание”, так как виртуальная область управления ведет себя так, как будто ее границы были бы продавлены наружу, когда позиция указывания (явно) пытается пересечь их. Предпочтительно минимальное расстояние и/или минимальное время могло бы быть применено до того, как это условие срабатывает.
Для того чтобы дать возможность взаимодействия “за экраном”, например прокрутка вверх/вниз с помощью указывания вверху/внизу экрана, этот признак мог бы быть активным только в одном направлении (в этом случае ось Х), или могло бы быть, что просто одна из четырех сторон прямоугольной области управления является “продавливаемой”. В любом случае тот факт, что пользователь откладывает указательное устройство или начинает указывать на что-нибудь другое в комнате, может быть обнаружен таким образом, чтобы эти события не привели к продавливаниям виртуальной области экрана.
В предпочтительном варианте осуществления размеры области управления уменьшаются опять после некоторого периода времени, в течение которого пользователь не нацеливается на целевую точку вне некоторого участка текущей области управления. Например, если пользователь не выполняет продавливание в отношении границ мгновенной области управления, коэффициент расширения уменьшается медленно со временем, в конечном счете сходясь к величине 1. Предпочтительно временная константа является относительно большой, например порядка от секунд до минут. Следовательно, виртуальная область управления будет адаптироваться к предпочтительным для пользователя размерам. Этот альтернативный вариант также будет направлять пользователей, неопытных в этом прямом способе указывания, но которые могут иметь опыт с непрямыми способами управления, такими как с помощью компьютерной мыши, чтобы автоматически делать психологический переход от парадигмы относительного указывания к парадигме прямого манипулирования.
Так как указательное устройство дает возможность управления очень разными устройствами, в частности устройствами, которые могли бы быть в непосредственной близости друг от друга, должен быть устранен конфликт областей управления соседних устройств. Перекрытие областей управления двух разных устройств могло бы иметь в результате неопределенный вывод относительно того, на какое устройство действительно нацеливается пользователь. Имеется ряд возможностей для учета такой ситуации.
В первом очень простом решении области управления смежных командных областей выбираются таким образом, чтобы области управления не перекрывались. Это означает, что виртуальные области управления поддерживаются полностью отдельно.
В дополнительном предпочтительном варианте осуществления только некоторый участок командной области, например центр или центральная часть командной области, одного устройства оставляется в стороне от виртуальной области управления другого смежного устройства и наоборот. Затем предпочтительно командная область может быть активирована с помощью нацеливания на этот центральный участок соответствующей командной области, и расширенную область управления, связанную с текущей активной командной областью, выбирают таким образом, чтобы она не перекрывалась с упомянутым некоторым участком смежной командной области. Это означает в последнем случае, что неопределенность указывания может быть устранена с помощью постоянного выбора устройства, которое было выбрано в качестве цели ранее, т.е. только переключения на другое устройство, когда направление указывания однозначно определяет целевое устройство. Затем пользователь может испытывать некоторый вид эффекта гистерезиса: управление стремится придерживаться одного устройства, и только с помощью указывания на некоторый “участок активации”, например центральные части командной области, фокус может быть смещен на другое устройство.
В способе управления устройством в соответствии с изобретением указательное устройство с камерой нацеливают в направлении командной области, связанной с управляемым устройством, причем в этой командной области представлен ряд опций, предназначенных для управления этим устройством. Визуальную обратную связь позиции мгновенной контрольной точки предоставляют в этой командной области, например, в виде курсора. Затем, как объяснено выше, генерируют изображение целевой области, на которую нацелено указательное устройство, и обрабатывают изображение целевой области, чтобы определить целевую точку, на которую нацелено указательное устройство. В соответствии с изобретением выбранную опцию определяют в зависимости от позиции контрольной точки в командной области, причем позицией контрольной точки управляют в соответствии со способом, объясненным выше.
Соответствующая система для управления устройством содержит командную область для визуального представления пользовательских опций для управляемого устройства, систему, предназначенную для управления контрольной точкой, расположенной в командной области, как объяснено выше, и модуль интерпретирования, предназначенный для интерпретирования или определения выбранных опций в соответствии с позицией контрольной точки в командной области. Этот модуль интерпретирования также может генерировать управляющий сигнал, предназначенный для управляемого устройства, в соответствии с выбранной опцией.
Идентификация выбранной опции на основании текущей позиции контрольной точки и генерирование управляющего сигнала могут быть выполнены обычным способом, например как имеет место для приложения, управляемого с помощью мыши, известным специалисту в данной области техники.
Чтобы определить мгновенную действительную целевую точку в области управления, могут быть применены алгоритмы компьютерного зрения. Способ обработки данных изображения целевой области, использующий алгоритмы компьютерного зрения, мог бы содержать этапы, на которых обнаруживают отличительные точки в данных целевого изображения, определяют соответствующие точки в шаблоне командной области, например экрана, устройства или в (известных) окружениях командной области, и создают преобразование для отображения точек в данных изображения в соответствующие точки в упомянутом шаблоне. Затем это преобразование может быть использовано, чтобы определить позицию и взаиморасположение указательного устройства относительно виртуальной области управления, включающей в себя командную область, таким образом, чтобы точка пересечения оси указывания с областью управления могла находиться в шаблоне. Позиция этого пересечения в шаблоне соответствует целевой точке в области управления, которая может быть использована, чтобы легко определить соответствующую контрольную точку в командной области, например, чтобы идентифицировать, какая опция выбрана в качестве цели пользователем. Сравнение данных изображения с предварительно определенным шаблоном, таким образом, может быть ограничено идентификацией и сравнением только выступающих точек, таких как отличительные угловые точки. Понятие “сравнение”, как оно применяется в контексте этого изобретения, должно пониматься в широком смысле, т.е. в плане только сравнения достаточных признаков, чтобы быстро идентифицировать опцию, на которую нацеливается пользователь.
В конкретном предпочтительном варианте осуществления изобретения обработка изображений целевой области, чтобы идентифицировать целевую точку в области управления или контрольную точку в командной области, могла бы быть выполнена в самом указательном устройстве. Однако вычислительная мощность такого указательного устройства, которое обычно реализовано таким образом, чтобы удобно держать в руке, неизбежно ограничена мощностью, требуемой сложными вычислительными обработками. Вследствие этого целевые изображения предпочтительно передаются для дальнейшей обработки в модуль управления, ассоциированный с управляемым устройством. Модуль управления может идентифицировать целевую точку в области управления и контрольную точку в командной области и, кроме того, может посылать управляющий сигнал в устройство, которое генерирует командную область, для того чтобы предоставить визуальную обратную связь по позиции контрольной точки пользователю, например, в виде позиции курсора. Это устройство управления также может определять управляющий сигнал, предназначенный для управляемого устройства, на основании идентифицированной опции, выбранной пользователем.
Такой модуль управления, например, может быть частью упомянутого устройства и может быть включен в тот же самый корпус, что и само устройство. В другом варианте осуществления этот модуль управления может быть реализован как отдельный объект, который может взаимодействовать любым подходящим способом с управляемым устройством, при этом такой модуль управления может управлять более чем одним устройством.
Указательное устройство и модули управления, описанные выше, объединяются, чтобы предоставить мощную систему управления, предназначенную для использования практически в любом виде среды, такой как среда дома, офиса, музея, больницы или гостиницы. Способ в соответствии с изобретением может быть применен к устройству, управляемому электрическим или электронным способом. Кроме того, модуль управления и управляемое устройство могут содержать любое число блоков, компонентов или устройств и могут быть распределены любым способом.
Другие задачи и признаки настоящего изобретение станут понятными из следующего подробного описания, рассмотренного совместно с сопровождающими чертежами. Однако следует понимать, что чертежи предназначены только для целей иллюстрации, а не как определение ограничений изобретения.
Фиг.1 - схематическое представление в перспективе принципа расширенной виртуальной области управления, связанной с командной областью;
фиг.2 - схематическое представление указательного устройства, предназначенного для использования с изобретением;
фиг.3 - примерное схематическое представление устройства, управляемого в соответствии с изобретением;
фиг.4 - схематическое представление двух соседних командных областей и их соответствующих областей управления в соответствии с первым вариантом осуществления;
фиг.5 - схематическое представление двух соседних командных областей и их соответствующих областей управления в соответствии со вторым вариантом осуществления;
фиг.6 - принципиальная схема, изображающая командную область, реализованную с помощью экрана, ассоциированную с ней область управления, ассоциированный с ней шаблон и изображение целевой области, сгенерированное с помощью устройства в соответствии с вариантом осуществления настоящего изобретения.
На чертежах одинаковые номера относятся к одинаковым объектам по всем чертежам. Описанное указательное устройство, которое пользователь держит и эксплуатирует, не изображено на чертежах.
Основным принципом изобретения, как уже объяснено выше, является то, что некоторую командную область, в которой воспроизведены различные опции, предназначенные для управления устройством, преобразуют в виртуальную область управления. Таким образом, позиция реальной или действительной целевой точки в этой виртуальной области управления будет преобразована в координаты контрольной точки, например позицию курсора, в командной области. Обычно это является виртуальным увеличением командной области, которое будет выполнено, таким образом, делая более легким для пользователя направлять курсор или подобную точку в пределах командной области. Вследствие этого в дальнейшем пример увеличенной области управления, назначенной командной области, используется для целей иллюстрации, но без ограничения изобретения этим примером.
Как изображено на фиг.1, принципом преобразования из реальной целевой точки Т в виртуальной расширенной области управления АСТ в контрольную точку С в реальной командной области АСМ является отображение действительного луча s указывания в виртуальный луч s' указывания, который находится ближе к центру командной области АСМ. Обычно это выполняют с помощью задания отображения из сферических координат (θ, φ) действительной оси s указывания в сферические координаты (θ′, φ′) виртуальной оси s' указывания. Очень естественно допустить, что такое отображение должно обладать вращательной симметрией, т.е. быть зависящим только от θ. Следовательно, можно установить φ′=φ и θ′=fr(θ), причем некоторое семейство f функций параметризировано с помощью расстояния r между пользователем, т.е. указательным устройством 1, и командной областью АСМ.
Для того чтобы избежать тригонометрических сложностей, выгодно и в то же самое время очень естественно выбрать зависимость в виде
θ′=arctan (α(r)·tan(θ)),
так как это приводит, при допущении, что начало координат системы координат находится в центре командной области, к линейному преобразованию при изменении относительно двумерной системы координат в плоскости командной области АСМ. Затем применяется следующее:
x'=α(r)·x,
y'=α(r)·y.
Тем самым коэффициент α(r), зависимый от расстояния, можно рассматривать как масштабный коэффициент. Величина α(r) должна находиться между 0 и 1, причем чем меньше величина, тем больше коэффициент расширения или увеличения, на который увеличивают или расширяют размеры виртуальной области управления АСТ в связи с реальным размером командной области АСМ.
Для явного выбора зависимости α от r предпочтительно должны быть учтены следующие ограничения.
Для очень больших расстояний угол, под которым появляется виртуальная область управления, как видно с точки зрения пользователя, должен оставаться постоянным, так как, с одной стороны, было бы противоинтуитивным, если бы угол должен был увеличиваться с расстоянием, в то время как, с другой стороны, он не должен уменьшаться ниже некоторого критического предела. Следовательно, масштабный коэффициент предпочтительно должен быть выбран таким образом, чтобы:
α(r)~1/r для r→∞.
Для малых расстояний выгода расширения области управления АСТ в одной и той же точке перевешивается интуитивностью прямого взаимодействия (“на что вы указываете, то вы и контролируете”). Следовательно, для малых расстояний масштабный коэффициент предпочтительно должен приближаться к 1:
α(r)=1 для малого r.
Вероятно, наилучший способ объединить эти два ограничения - с помощью плавной инкрементальной комбинации в виде:
α(r)=min(1,r0/r).
Параметр r0 расстояния может быть интерпретирован как расстояние, на котором поведение плавно переключается из прямого взаимодействия в командной области АСМ во взаимодействие в виртуальной расширенной области управления АСТ. Этот параметр r0 расстояния, например, мог бы быть установлен в зависимости от устройства или текущего приложения.
В качестве альтернативы или дополнительно, параметр r0 расстояния также может быть выбран в зависимости от предпочтений пользователя и/или опыта способностей пользователя. Например, параметр r0 расстояния может регулироваться пользователем в соответствии с ожидаемой степенью дрожания, и/или могла бы быть измерена точность указывания пользователя (на этапе калибровки), и, соответственно, мог бы регулироваться r0.
Фиг.2 изображает очень упрощенный вариант осуществления указательного устройства 1, предназначенного для использования в способе в соответствии с изобретением. Это указательное устройство 1 с камерой 2 на его переднем конце характеризуется корпусом в форме жезла или ручки продолговатой формы, который может удобно захватываться рукой и легко переносится пользователем. Также указательному устройству могла бы быть придана форма пистолета.
Изображения I целевой области, сгенерированные с помощью камеры 2, передаются в модуль 3 обработки изображений, который обрабатывает изображения I целевой области, чтобы определить позицию действительной или реальной целевой точки Т, на которую пользователь нацеливает указательное устройство 1. Устанавливание целевой точки Т и расстояния r может быть выполнено с помощью шаблонов командной области АСМ или области, окружающей командную область АСМ, с помощью сравнения изображения I целевой области с этими шаблонами. Действительный способ определения целевой точки Т будет объяснен более подробно ниже с помощью фиг.6.
Затем целевую точку Т передают в модуль 4 вычисления позиции контрольной точки, который определяет позицию контрольной точки, т.е. координаты x', y' контрольной точки С в командной области АСМ, в соответствии с координатами x, y целевой точки Т в виртуальной области управления АСТ. Размеры и позиция текущей области управления АСТ также могут быть определены в этом модуле 4 обработки контрольной точки. Необходимые данные для этого вычисления, например расстояние между указательным устройством 1 и командной областью АСМ, также могут быть выведены из изображения I целевой области, например, из устройства 3 обработки изображений. Модуль 3 обработки изображений и модуль 4 обработки контрольной точки, например, могут быть реализованы в виде модулей программного обеспечения в программируемом процессоре указательного устройства 1.
Координаты x', y' контрольной точки С затем могут быть переданы с помощью интерфейса 5 связи в устройство 6 управления управляемого устройства D (сравни фиг.3). Интерфейс 5 связи, который мог бы быть стандартным интерфейсом, таким как Bluetooth, IEEE или подобным, также мог бы быть реализован с возможностью приема или передачи других данных для указательного устройства 1. Например, шаблоны для различных устройств и/или соответствующие командные области АСМ с их окружением могли бы быть поданы в указательное устройство 1 с использованием такого интерфейса 5 таким образом, чтобы в указательном устройстве 1 могли быть выполнены этапы обработки изображения. Поскольку в указательном устройстве 1 доступны другие компоненты, такие как клавиши, кнопки и другой тип пользовательского интерфейса, посредством которых могут быть сгенерированы дополнительные сигналы, предназначенные для использования в управлении устройством D1, конечно, они также могут быть переданы через интерфейс 5 связи.
Разумеется, указательное устройство 1 может содержать другие компоненты, помимо компонентов, упомянутых выше, например клавиши или тип пользовательского интерфейса, посредством которого пользователь может вводить дополнительные команды для генерирования управляющего сигнала для устройства. Относительно таких дополнительных компонентов ссылка делается еще один раз на WO 2004/047011 А2, где некоторое количество дополнительных компонентов для такого указательного устройства описаны подробно. Указательное устройство также может быть использовано для генерирования управляющих сигналов способом, описанным в настоящей заявке. Например, помимо простого указывания на цель, указательное устройство можно перемещать определенным образом или жестом, который может быть интерпретирован определенным образом для генерирования управляющих сигналов.
Фиг.3 изображает очень упрощенный схематический обзор компонентов, необходимых для разъяснения изобретения, управляемого устройства D1. В настоящем описании управляемое устройство D1 содержит монитор 10, на котором воспроизводится командная область АСМ с меню, характеризуемым некоторым числом пунктов М1, М2, М3, М4, М5, М6 меню для выбора пользователем. Дополнительным компонентом этого устройства D1 является модуль 6 управления, изображенный отдельно от монитора 10, как могло бы иметь место для персонального компьютера. Конечно, этот модуль 6 управления может быть объединен с монитором 10 в одном корпусе, как обычно имеет место в телевизоре.
Компонентом модуля 6 управления, необходимым для изобретения, например, является интерфейс 7 связи, который, в частности, может принимать сигналы и данные из интерфейса связи указательного устройства 1 или передавать сигналы и данные в указательное устройство 1. Дополнительными компонентами являются модуль 8 визуализации контрольной точки и модуль 9 интерпретирования, функции которых будут объяснены ниже.
Координаты x', y' контрольной точки С в командной области АСМ, принятые с помощью интерфейса 7 связи, сначала передаются в модуль 8 визуализации контрольной точки. С помощью этого модуля 8 курсором, например небольшим квадратом, крестом, стрелкой или т.п., управляют таким образом, чтобы пользователь мог видеть точку в командной области АСМ, на которую он, очевидно, нацеливает указательное устройство 1. Координаты x', y' контрольной точки С также передаются в модуль 9 интерпретирования. Этот модуль 9 интерпретирования служит для того, чтобы интерпретировать позицию контрольной точки С с целью определения того, какую из показанных опций М1, М2, М3, М4, М5, М6 в командной области АСМ выбирает пользователь. С этой целью модуль 9 интерпретирования должен знать статус меню, показываемого в текущий момент в командной области АСМ. Затем, используя координаты x', y' контрольной точки С, он может определить, на какую из опций М1, М2, М3, М4, М5, М6 в текущий момент указывает пользователь. Модуль 9 интерпретирования также может отвечать за текущий статус графического пользовательского интерфейса в командной области.
Модуль 8 визуализации контрольной точки и модуль 9 интерпретирования могли бы быть реализованы в виде модулей программного обеспечения программируемого процессора модуля 6 управления.
Очевидно, что модуль управления или управляемое устройство D1 будут характеризоваться некоторым числом дополнительных компонентов, необходимых или желательных для работы такого устройства, таких как источник питания, различные интерфейсы и компоненты, предназначенные для управления различными приложениями устройства, например приемник, предназначенный для приема телевизионных сигналов в случае телевизора, DVD-дисковод в случае устройства записи DVD и т.д. Для простоты эти компоненты не изображены на фиг.3. Однако специалист в данной области техники поймет, какие компоненты необходимы для каждого типа устройства.
Еще раз будет подчеркнуто, что необязательно реализовывать модуль 3 обработки изображений и модуль 4 обработки контрольной точки в указательном устройстве 1. Один или оба из этих модулей 3, 4 также могли бы быть успешно реализованы в модуле 6 управления. В этом случае, например, изображения I целевой области, сгенерированные с помощью камеры 2, будут непосредственно переданы, например, через модуль 5 передатчика в устройство 4 управления. Также модуль 3 обработки изображений и модуль 4 вычисления позиции контрольной точки могли бы быть реализованы вместе в едином объекте.
Фиг.4 и фиг.5 иллюстрируют ситуацию, в которой два устройства, каждое со своей собственной командной областью АСМ, АСМ', расположены непосредственно рядом друг с другом. В такой ситуации могла бы возникнуть проблема, когда области управления АСТ, АСТ', ассоциированные с командными областями АСМ, АСМ', перекрывались бы. Если бы пользователь указал на область перекрытия, это могло бы иметь в результате неопределенность принятия решения относительно того, каким из двух устройств пользователь желает управлять.
Фиг.4 изображает одно решение, которое гарантирует, что никакое перекрытие не возникает между областями управления АСТ, АСТ' соседних командных областей АСМ, АСМ'. Это может быть сделано с помощью передачи в упомянутые устройства или в указательные устройства местоположений различных АСМ, АСМ' и/или предварительного назначения определенных участков отдельным командным областям АСМ, АСМ', в которых разрешено перемещать области управления АСТ, АСТ'. Фиг.4 изображает, что это может привести к тому, что область управления АСТ, АСТ' командной области АСМ, АСМ' не симметрична по отношению к соответствующей ей командной области АСМ, АСМ'. Однако в идеальном случае область управления АСТ должна пропорционально простираться в каждом направлении относительно соответствующей командной области АСМ, так как это предлагает более интуитивное взаимодействие.
Перекрытия областей управления АСТ также можно избежать с помощью «отталкивания» разными виртуальными областями управления АСТ, АСТ' друг друга, т.е. с помощью принятия во внимание соседней области управления АСТ, АСТ' всякий раз, когда область управления АСТ, АСТ' увеличивается. Если соседняя область управления была бы затронута увеличиваемой областью управления АСТ, АСТ', то соседняя область управления будет сжата, когда область управления АСТ, АСТ' увеличена, или дополнительное увеличение области управления АСТ, АСТ' будет запрещено.
Фиг.5 изображает дополнительный альтернативный вариант. В данном случае областям управления АСТ, АСТ' разрешено расширяться до тех пор, пока они не коснутся некоторого участка, так называемого участка ААС, ААС' активации, соседних командных областей АСМ, АСМ'. Следовательно, только одна командная область АСТ, АСТ' является активной. Активация выполняется, когда пользователь нацеливает указательное устройство в участке ААС, ААС' активизации соответствующей командной области АСМ, АСМ'. Это значит, что пользователь может переключаться, как желает, между командной областью АСМ и командной областью АСМ' в зависимости от того, каким устройством он желает управлять в текущий момент.
На данном этапе будет объяснено более подробно, вместе с фиг.6, как позиция x, y реальной целевой точки, на которую нацеливаются с помощью указательного устройства 1, может быть определена с помощью шаблонов командной области и/или ее окружения.
Пользователь не всегда нацеливает указательное устройство 1 в командную область АСМ непосредственно вперед, более вероятно, что указательное устройство 1 будет нацелено под более или менее непрямым углом к командной области АСМ, так как часто более удобно нацеливать указательное устройство 1, чем изменять свое собственное положение. Это проиллюстрировано на фиг.6, которая изображает схематическое представление изображения I целевой области, сгенерированное с помощью указательного устройства 1, нацеленного на устройство D2, в этом случае экран телевизора или монитор компьютера, с некоторого расстояния и под непрямым углом, таким образом, что масштаб и перспектива устройства D2 в целевой области AI появляются искаженными в изображении I целевой области.
На дисплее устройства D2 можно видеть некоторое число опций М1, М2, М3. Пользователь (не изображен на схеме) может пожелать выбрать одну из этих опций М1, М2, М3 с помощью указательного устройства 1. Также на дисплее устройства D2 является видимым курсор в позиции мгновенной контрольной точки С, таким образом, помогая пользователю, который нацеливает указательное устройство 1. Как объяснено выше, текущую позицию контрольной точки С вычисляют в зависимости от позиции реальной целевой точки Т в виртуальной расширенной области управления АСТ.
Чтобы найти позицию реальной целевой точки Т, изображение I целевой области исследуют более детально. Независимо от угла указательного устройства 1 относительно устройства D2 изображение I целевой области всегда центрируется относительно целевой точки Т. Следовательно, эта точка достаточно легко определяется в изображении I целевой области. Остается только определить соотношение между координатами этой точки Т относительно командной области АСМ или центра командной области АСМ. В качестве альтернативы, конечно, координаты могут быть определены относительно другой точки в командной области АСМ, например относительно угловой точки отображенной пользовательской опции, или относительно любой заметной точки монитора, такой как угловая точка, при этом эти координаты затем могут быть преобразованы в желаемое начало координат. Так как измерения виртуальной расширенной области управления предпочтительно выполняются в одной и той же системе координат, следовательно, тривиально определить координаты действительной целевой точки Т в виртуальной расширенной области управления АСТ.
Для определения координат реальной целевой области Т в выбранной системе координат устройство 3 обработки изображений сравнивает изображение I целевой области с предварительно определенными шаблонами TD2.
Вследствие этого применяют алгоритмы компьютерного зрения, использующие способы обнаружения краев и углов, чтобы определить местоположение точек [(xa',ya'),(xb',yb'),(xc',yc')] в изображении I целевой области, которое соответствует точкам [(xa,ya),(xb,yb),(xc,yc)] в шаблоне TD2 устройства D1.
Каждая точка может быть выражена как вектор, например точка (xa,ya) может быть выражена как
Figure 00000001
. В качестве следующего шага создают функцию преобразования Тλ, чтобы отобразить изображение I целевой области в шаблон TD2:
Figure 00000002
где вектор
Figure 00000003
представляет пару (xi,yi) координат в шаблоне TD2, а вектор
Figure 00000004
представляет соответствующую пару (x'i,y'i) в изображении I целевой области. Набор λ параметров, содержащий параметры для поворота и трансляции изображения, дающего наиболее экономичное решение для функции, может быть применен, чтобы определить позицию и ориентацию указательного устройства 1 относительно командной области АСМ. Расстояние, например, между указательным устройством 1 и командной областью АСМ может быть определено этим способом. Кроме того, так как целевая точка Т всегда является центром изображения I целевой области, могут быть определены координаты целевой точки Т в шаблоне TD2 командной области АСМ.
Несмотря на то что настоящее изобретение раскрыто в виде предпочтительных вариантов осуществления и их вариантов, будет понятно, что в них могут быть сделаны многочисленные дополнительные модификации и изменения, не выходя за рамки объема изобретения. Указательное устройство может служить в качестве универсального устройства пользовательского интерфейса дома или в любой другой среде с устройствами, управляемыми электрическим или электронным способом. Короче говоря, оно может быть выгодным при любых условиях, при которых пользователь может выражать намерение с помощью указывания. Его малый формфактор и его удобная и интуитивная возможность указывания могут поднять такое простое указательное устройство до мощного универсального пульта дистанционного управления. В качестве альтернативы форме ручки указательное устройство, например, могло бы быть также персональным цифровым ассистентом (PDA) со встроенной камерой или мобильным телефоном со встроенной камерой. Для ясности также следует понимать, что упоминание в единственном числе не исключает множества и “содержащий” не исключает другие этапы или элементы. “Устройство” может содержать некоторое число блоков или устройств, если явно не описано как единый объект.

Claims (13)

1. Способ определения позиции (х', у') контрольной точки (С) в командной области (Асм), содержащий этапы, на которых
нацеливают указательное устройство (1), содержащее камеру (2), в направлении командной области (Асм);
генерируют изображение (I) целевой области (AI), на которую нацелено указательное устройство;
обрабатывают изображение (I) целевой области, чтобы определить целевую точку (Т), на которую нацелено указательное устройство (1);
определяют позицию (х', у') контрольной точки (С) в зависимости от позиции (х, у) целевой точки (Т) в текущей заданной области управления (Аст), причем эта область управления (Аст), по меньшей мере частично, включает в себя командную область (Асм),
при этом размеры и/или местоположение области управления (Аст) задают в соответствии с мгновенными условиями указывания и/или ситуацией управления.
2. Способ по п.1, в котором размеры области управления (Аст) задают в соответствии с расстоянием (r) между указательным устройством (l) и командной областью (Асм).
3. Способ по п.1, в котором размеры области управления (Аст) расширяют, если расстояние (r) между указательным устройством (1) и командной областью (Асм) превышает некоторый предел.
4. Способ по любому из пп.1-3, в котором коэффициент расширения α, который задает отношение размеров области управления (Аст) к размерам командной области (Асм), пропорционален по меньшей мере в некотором диапазоне расстояний расстоянию (r) между указательным устройством (l) и командной областью (Асм).
5. Способ по любому из пп.1-3, в котором размеры области управления (Аст) расширяют, если пользователь нацеливает указательное устройство (1) на целевую точку (Т) вне текущей области управления (Аст).
6. Способ по любому из пп.1-3, в котором размеры области управления (Аст) уменьшают после некоторого периода времени, в течение которого пользователь не нацеливает указательное устройство (1) на целевую точку (Т) вне некоторого участка текущей области управления (Аст).
7. Способ по любому из пп.1-3, в котором области управления (Аст, Аст') смежных командных областей (Асм, Асм') выбирают таким образом, чтобы эти области управления (Аст, Аст') не перекрывались.
8. Способ по любому из пп.1-3, в котором командные области (Асм, Асм') могут быть активированы с помощью нацеливания на некоторый участок (AAC, AAC') командной области (Асм, Асм'), и расширенную область управления (Аст, Аст'), ассоциированную с текущей активной командной областью (Асм, Асм'), выбирают таким образом, чтобы она не перекрывалась, по меньшей мере, с некоторым участком (AAC,AAC') смежной командной области (Асм, Асм').
9. Способ управления устройством (D1, D2) с электронным управлением, содержащий этапы, на которых
нацеливают указательное устройство (1), содержащее камеру (2), в направлении командной области (Асм), ассоциированной с устройством (D1, D2) с электронным управлением, в отношении которого выполняется управление, причем в этой командной области (Асм) представлено некоторое число опций (М1, М2, М3, М4, М5, М6) для управления устройством (D1, D2) с электронным управлением;
генерируют изображение (I) целевой области (AI), на которую нацелено указательное устройство (l);
обрабатывают изображение (I) целевой области, чтобы определить целевую точку (Т), на которую нацелено указательное устройство (l);
определяют выбранную опцию (Ms) в зависимости от позиции (х', у') контрольной точки (С) в командной области (Асм), причем позицией (х', у') контрольной точки управляют согласно способу по любому из пп.1-3.
10. Система для определения позиции (х', у') контрольной точки в командной области (Асм), содержащая
модуль (4) вычисления позиции контрольной точки, предназначенный для определения позиции (х', у') контрольной точки (С) в зависимости от позиции (х, у) целевой точки (Т) в текущей заданной области управления (Аст), причем эта область управления (Аст), по меньшей мере частично, включает в себя командную область (Асм), при этом размеры и/или местоположение области управления (Аст) определяются в соответствии с мгновенными условиями указывания и/или ситуацией управления.
11. Система по п.10, дополнительно содержащая
модуль (3) обработки изображений, предназначенный для обработки изображения (I) целевой области, чтобы определить целевую точку (Т), в которую нацелено указательное устройство (l) и модуль (8) визуализации контрольной точки (С), предназначенный для визуализации контрольной точки (С) в командной области (Асм).
12. Система по п.10, являющаяся указательным устройством (l), содержащим
камеру (2), предназначенную для генерирования изображений (I) целевой области (AI) в направлении (Р) указывания, и модуль (3) обработки изображений, предназначенный для обработки изображения (I) целевой области, чтобы определить целевую точку (Т), в которую нацелено указательное устройство (l).
13. Система для управления устройством (D1, D2) c электронным управлением, содержащая
командную область (Асм), предназначенную для визуального представления пользовательских опций (М1, М2, М3, М4, М5, М6) для устройства с электронным управлением, в отношении которого выполняется управление;
систему для определения позиции (х', у') контрольной точки (С) в командной области (Асм) по пп.10, 11 или 12; и
модуль (9) интерпретирования, предназначенный для определения выбранной опции (Ms) в зависимости от позиции (х', у') контрольной точки (С) в командной области (Асм).
RU2008104864/08A 2005-07-11 2006-07-03 Способ управления позицией контрольной точки в командной области и способ управления устройством RU2421776C2 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP05106316 2005-07-11
EP05106316.2 2005-07-11

Publications (2)

Publication Number Publication Date
RU2008104864A RU2008104864A (ru) 2009-08-20
RU2421776C2 true RU2421776C2 (ru) 2011-06-20

Family

ID=37499437

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2008104864/08A RU2421776C2 (ru) 2005-07-11 2006-07-03 Способ управления позицией контрольной точки в командной области и способ управления устройством

Country Status (9)

Country Link
US (2) US8610664B2 (ru)
EP (1) EP1904915B1 (ru)
JP (1) JP5558000B2 (ru)
CN (1) CN100565438C (ru)
AT (1) ATE457487T1 (ru)
DE (1) DE602006012187D1 (ru)
ES (1) ES2340069T3 (ru)
RU (1) RU2421776C2 (ru)
WO (1) WO2007007227A2 (ru)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8629836B2 (en) 2004-04-30 2014-01-14 Hillcrest Laboratories, Inc. 3D pointing devices with orientation compensation and improved usability
WO2005108119A2 (en) 2004-04-30 2005-11-17 Hillcrest Laboratories, Inc. Free space pointing devices with tilt compensation and improved usability
US7239301B2 (en) 2004-04-30 2007-07-03 Hillcrest Laboratories, Inc. 3D pointing devices and methods
US8137195B2 (en) 2004-11-23 2012-03-20 Hillcrest Laboratories, Inc. Semantic gaming and application transformation
US7796116B2 (en) 2005-01-12 2010-09-14 Thinkoptics, Inc. Electronic equipment for handheld vision based absolute pointing system
EP1904915B1 (en) 2005-07-11 2010-02-10 Philips Intellectual Property & Standards GmbH Method of controlling a control point position on a command area and method for control of a device
KR101261550B1 (ko) * 2006-02-01 2013-05-06 삼성전자주식회사 가상 영역을 이용한 포인팅 장치, 포인터 디스플레이 장치,포인팅 방법 및 포인터 디스플레이 방법
WO2007105130A2 (en) * 2006-03-14 2007-09-20 Koninklijke Philips Electronics N.V. Method of generating content on a display device
US8913003B2 (en) 2006-07-17 2014-12-16 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer using a projection marker system
US9176598B2 (en) 2007-05-08 2015-11-03 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer with improved performance
CN101398711A (zh) * 2007-09-29 2009-04-01 玴荣科技股份有限公司 手持摄影机的光标定位方法
WO2009157792A1 (ru) * 2008-06-24 2009-12-30 Rurin Oleg Stanislavovich Способ воздействия на виртуальные объекты
US8010313B2 (en) * 2008-06-27 2011-08-30 Movea Sa Hand held pointing device with roll compensation
US20140184509A1 (en) * 2013-01-02 2014-07-03 Movea Sa Hand held pointing device with roll compensation
JP2010282408A (ja) * 2009-06-04 2010-12-16 Sony Corp 制御装置、入力装置、制御システム、ハンドヘルド装置及び制御方法
TW201044262A (en) * 2009-06-10 2010-12-16 Nexcom Int Co Ltd Assembled display device and display frame control method and system thereof
JP5938638B2 (ja) * 2011-01-13 2016-06-22 パナソニックIpマネジメント株式会社 インタラクティブプレゼンシステム
US9332169B2 (en) * 2011-02-21 2016-05-03 Koninklijke Philips N.V. Estimating control feature from remote control with camera
KR101805922B1 (ko) * 2011-08-01 2017-12-07 엘지이노텍 주식회사 포인터 이동 값 보정 방법 및 이를 사용하는 3d 포인팅 디바이스
US9116555B2 (en) 2011-11-23 2015-08-25 Sony Computer Entertainment America Llc Gaming controller
US10960300B2 (en) 2011-11-23 2021-03-30 Sony Interactive Entertainment LLC Sharing user-initiated recorded gameplay with buffered gameplay
US10486064B2 (en) 2011-11-23 2019-11-26 Sony Interactive Entertainment America Llc Sharing buffered gameplay in response to an input request
US10241638B2 (en) * 2012-11-02 2019-03-26 Atheer, Inc. Method and apparatus for a three dimensional interface
US9645678B2 (en) * 2012-12-18 2017-05-09 Seiko Epson Corporation Display device, and method of controlling display device
US10147564B2 (en) * 2013-02-07 2018-12-04 Universal Electronics Inc. System and methods for providing orientation compensation in pointing devices
US9952684B2 (en) 2013-05-09 2018-04-24 Samsung Electronics Co., Ltd. Input apparatus, pointing apparatus, method for displaying pointer, and recordable medium
CN104731372B (zh) * 2013-12-20 2018-02-23 深圳市巨烽显示科技有限公司 鼠标光标指向控制方法、装置及系统
KR20150117018A (ko) * 2014-04-09 2015-10-19 삼성전자주식회사 컴퓨팅 장치, 컴퓨팅 장치 제어 방법 및 다중 디스플레이 시스템
CN107787497B (zh) * 2015-06-10 2021-06-22 维塔驰有限公司 用于在基于用户的空间坐标系中检测手势的方法和装置
EP3174026A1 (en) * 2015-11-24 2017-05-31 Hella KGaA Hueck & Co Remote control for automotive applications
TWI766239B (zh) * 2020-02-13 2022-06-01 系微股份有限公司 動態適配多廠牌及顯示解析度的電腦系統及其資訊處理方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3650119T2 (de) * 1985-08-14 1995-03-30 Hitachi Ltd Verfahren zur Anzeigesteuerung für ein System mit mehreren Bildausschnitten.
JPS63298433A (ja) 1987-05-29 1988-12-06 Hitachi Ltd 操作対象選択方式
JPH0630045B2 (ja) 1989-11-24 1994-04-20 セレクテック、リミテッド 光学的ポインティング装置
JPH04344515A (ja) 1991-05-21 1992-12-01 Fuji Xerox Co Ltd 位置指示装置
JP2790965B2 (ja) * 1992-08-19 1998-08-27 富士通株式会社 光学式ポインティングシステム
GB2289756B (en) * 1994-05-26 1998-11-11 Alps Electric Co Ltd Space coordinates detecting device and input apparatus using same
US6512507B1 (en) * 1998-03-31 2003-01-28 Seiko Epson Corporation Pointing position detection device, presentation system, and method, and computer-readable medium
FR2814026A1 (fr) * 2000-09-14 2002-03-15 Yves Jean Paul Guy Reza Dispositif de pilotage d'un curseur
JP2002215321A (ja) * 2001-01-19 2002-08-02 Nissan Motor Co Ltd 指示画像制御装置
JP3811025B2 (ja) * 2001-07-03 2006-08-16 株式会社日立製作所 ネットワーク・システム
WO2003056505A1 (en) * 2001-12-21 2003-07-10 British Telecommunications Public Limited Company Device and method for calculating a location on a display
JP2003208260A (ja) * 2002-01-10 2003-07-25 Nippon Hoso Kyokai <Nhk> ポインティング装置
JP2003288161A (ja) * 2002-03-28 2003-10-10 Nec Corp 携帯機器
US7176881B2 (en) * 2002-05-08 2007-02-13 Fujinon Corporation Presentation system, material presenting device, and photographing device for presentation
US7260257B2 (en) * 2002-06-19 2007-08-21 Microsoft Corp. System and method for whiteboard and audio capture
US7030856B2 (en) * 2002-10-15 2006-04-18 Sony Corporation Method and system for controlling a display device
US20040095317A1 (en) * 2002-11-20 2004-05-20 Jingxi Zhang Method and apparatus of universal remote pointing control for home entertainment system and computer
ES2425076T3 (es) 2002-11-20 2013-10-11 Koninklijke Philips N.V. Sistema de interfaz de usuario basado en dispositivo de puntero
CN1754200A (zh) * 2003-02-25 2006-03-29 孕龙科技股份有限公司 利用摄影方式进行光标定位的装置
US7038661B2 (en) 2003-06-13 2006-05-02 Microsoft Corporation Pointing device and cursor for use in intelligent computing environments
US6764185B1 (en) * 2003-08-07 2004-07-20 Mitsubishi Electric Research Laboratories, Inc. Projector as an input and output device
CN1545074A (zh) 2003-11-17 2004-11-10 炼 杨 一种具有视觉识别功能的遥控装置
US7420540B2 (en) * 2003-12-01 2008-09-02 Olbrich Craig A Determining positioning and/or relative movement of graphical-user interface element based on display images
CN1898708B (zh) 2003-12-18 2012-01-11 皇家飞利浦电子股份有限公司 对设备进行控制的方法和系统
US7496229B2 (en) * 2004-02-17 2009-02-24 Microsoft Corp. System and method for visual echo cancellation in a projector-camera-whiteboard system
US7893920B2 (en) * 2004-05-06 2011-02-22 Alpine Electronics, Inc. Operation input device and method of operation input
EP1904915B1 (en) 2005-07-11 2010-02-10 Philips Intellectual Property & Standards GmbH Method of controlling a control point position on a command area and method for control of a device

Also Published As

Publication number Publication date
WO2007007227A3 (en) 2007-05-03
US8994656B2 (en) 2015-03-31
US20080204404A1 (en) 2008-08-28
EP1904915B1 (en) 2010-02-10
EP1904915A2 (en) 2008-04-02
CN101223493A (zh) 2008-07-16
US8610664B2 (en) 2013-12-17
JP5558000B2 (ja) 2014-07-23
US20140071051A1 (en) 2014-03-13
ATE457487T1 (de) 2010-02-15
CN100565438C (zh) 2009-12-02
WO2007007227A2 (en) 2007-01-18
DE602006012187D1 (de) 2010-03-25
ES2340069T3 (es) 2010-05-28
JP2009500762A (ja) 2009-01-08
RU2008104864A (ru) 2009-08-20

Similar Documents

Publication Publication Date Title
RU2421776C2 (ru) Способ управления позицией контрольной точки в командной области и способ управления устройством
CN110603509B (zh) 计算机介导的现实环境中直接和间接交互的联合
US10528154B2 (en) System for projecting content to a display surface having user-controlled size, shape and location/direction and apparatus and methods useful in conjunction therewith
CN102906671B (zh) 手势输入装置及手势输入方法
JP5258558B2 (ja) 装置の制御のための方法
JP4281400B2 (ja) 通信装置、その表示方法、コンピュータプログラム、および通信方法
US11256413B2 (en) Non-contact gesture commands for touch screens
JP2011028366A (ja) 操作制御装置および操作制御方法
CN101006480B (zh) 与待控制设备相关联的物体的定位方法和控制该设备的方法
WO2008127847A1 (en) Method and apparatus for providing an interactive control system
CN112328158A (zh) 交互方法、显示装置、发射装置、交互系统及存储介质
WO2010011502A2 (en) Mapping detected movement of an interference pattern of a coherent light beam to cursor movement to effect navigation of a user interface
US20240192825A1 (en) Systems and Methods for Multi-Modality Interactions in a Spatial Computing Environment
KR20070043807A (ko) 디바이스를 제어하는 방법
WO2017043141A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN117311584A (zh) 头戴显示设备的控制系统、智能终端及头戴显示设备
TW201112105A (en) Method and system of dynamic operation of interactive objects
KR101621326B1 (ko) 그래픽 유저 인터페이스 제공 장치 및 방법