[go: up one dir, main page]

KR20060049938A - 디지털 정보 흐름을 인간의 지각 시스템에 매칭시키는 방법 - Google Patents

디지털 정보 흐름을 인간의 지각 시스템에 매칭시키는 방법 Download PDF

Info

Publication number
KR20060049938A
KR20060049938A KR1020050061364A KR20050061364A KR20060049938A KR 20060049938 A KR20060049938 A KR 20060049938A KR 1020050061364 A KR1020050061364 A KR 1020050061364A KR 20050061364 A KR20050061364 A KR 20050061364A KR 20060049938 A KR20060049938 A KR 20060049938A
Authority
KR
South Korea
Prior art keywords
digital information
peripheral
information
computer
providing
Prior art date
Application number
KR1020050061364A
Other languages
English (en)
Other versions
KR101150115B1 (ko
Inventor
윌리암 힐
그레고리 씨. 히치콕
케빈 라슨
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20060049938A publication Critical patent/KR20060049938A/ko
Application granted granted Critical
Publication of KR101150115B1 publication Critical patent/KR101150115B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Digital Computer Display Output (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

인간의 지각 시스템에 디지털를 정보 매칭시키는 방법 및 시스템은, 다양한 실시예에 있어서, 다른 작업들의 소자들을 정보 플레인들에 분리시키기 위해("트라이지 및 포커스(triage and focus)"의 개념에 기초됨) 복수 윈도우잉(multi windowing) 및 윈도우 포지셔닝(window positioning)의 이득을 얻기 위한 멀티-모니터(multimon) 지원이 이용된다. 트라이지는 인입 정보의 흐름을 보고 정보의 특성을 판정한다. 정보의 특성 및 인간의 지각의 원칙들에 기초하여, 포커스(또는 디포커스(defocus))는 정보가 가장 잘 뷰잉(viewing)되는 경우의 정보를 디스플레이한다.
복수 윈도우잉 및 윈도우 포지셔닝, 포컬/주변 전경 플레인, 포커스/디포커스 배경 플레인, JIT 픽셀 시스템

Description

디지털 정보 흐름을 인간의 지각 시스템에 매칭시키는 방법{MATCHING DIGITAL INFORMATION FLOW TO A HUMAN PERCEPTION SYSTEM}
도 1은 본 발명에 따른 인간의 지각 시스템으로 디지털 정보를 매칭시키는 시스템을 나타낸 도면.
도 2는 본 발명에 따른 인간의 지각 시스템으로 디지털 정보 흐름을 매칭시키는 방법의 흐름도.
도 3은 본 발명에 따라 중심에 포컬(또는 포커스) 전경 플레인(focal(focused) foreground plane)을 가진 주변(또는 디포커스) 배경 플레인(peripheral(defocused) background plane)을 포함한 뷰잉 관점을 나타낸 도면.
도 4는 본 발명에 따라 주변 플레인에 관련해서 중심을 벗어난 포컬(또는 포커스) 전경 플레인을 가진 주변(또는 디포커스) 배경 플레인을 포함한 뷰잉 관점을 나타낸 도면.
도 5는 본 발명에 따라 한 개의 벽을 사용하여 디지털 정보 흐름과 인간의 지각 시스템을 매칭시키는 시스템을 나타낸 사무실 배치도
도 6은 본 발명에 따라 복수 개의 벽들을 사용하여 디지털 정보 흐름과 인간의 지각 시스템을 매칭시키는 시스템을 나타낸 사무실 배치도.
도 7은 본 발명에 따라 사무실 벽들에 고정되거나 임베딩되는 복수 개의 디 스플레이들을 사용하여 디지털 정보 흐름과 인간의 지각 시스템을 매칭하는 시스템을 나타낸 사무실 배치도.
도 8은 본 발명에 따라 분류기(classifier)를 채택하며, 복수 개의 디스플레이들을 구동하는 JIT 픽셀 시스템(800)을 나타낸 블록도.
도 9는 개시된 아키텍쳐를 실행하기 위해 동작가능한 컴퓨터의 블록도.
도 10은 본 발명에 따른 일례의 컴퓨팅 환경을 나타낸 블록도.
<도면의 주요 부분에 대한 부호의 설명>
102 트라이지 컴포넌트 104 뷰잉 컴포넌트
106 오디오 컴포넌트 302 주변 플레인
304 포컬 플레인
본 발명은 인간의 지각 시스템(human perception systems)에 관한 것이고, 더 구체적으로는, 디지털 정보 흐름을 인간의 지각 시스템에 매칭시키는 것에 관한 것이다.
오늘날 컴퓨터 스크린들로부터 정보가 스트림되는 방식은 인간의 지각 시스템이 정보 흐름을 핸들링하기 위해 디자인되는 방식과 매칭하지 않는다. 흐름은 인간의 지각 시스템에 서투르게 매핑된다. "버스"에 비유하면, 인간들은 64-비트의 지각 시스템을 가지고 있지만, 컴퓨터 디스플레이는 단지 8 비트 폭이다.
컴퓨터들은 기인들을 위해 기인들이 개발한 툴들과 장난감들로서 시작했다. 대부분 사람들이 그들을 이해하거나, 또는 그들과 상호작용할 필요조차가 전혀 없었다. 숫자들이나 데이터는 데이터-프로세싱 부분에 주어지고, 당신은 인쇄물을 돌려 받을 때까지 기다린다. 컴퓨터들은 일반 사용자들에 의해 이해될 필요가 없었다. 그것은 모두 개인용 컴퓨터(PC)의 도래와 함께 변하고 있다. PC들을 수용가능하도록 만들기 위해, PC는 더욱 더 접근가능하도록 만들어져야 한다.
사람들은 한동안 어떻게 PC가 데이터를 생성하기 위해 사용하는 툴로부터 정보 소비를 위한 시스템으로 변화하고 있는지에 대해 얘기해 왔다. 컴퓨터들은 여전히, 예를 들어, 문서, 이메일, 스프레드쉬트, 및 데이터베이스의 형태로 정보를 생성하기 위해 사용된다. 그러나, 인터넷의 성장은 컴퓨터를, 사용자에게 또는 정보를 나가서 찾기 위해 사용되는 채널로 정보가 스트림되는 세계에 대한 창이 되게 만들었다.
사람들은 컴퓨터를 "정보 포탈(information portal)"이라고 말한다. 많은 이들에게, 인터넷은 뉴스를 찾는 장소로서 신문, 잡지, 및 TV를 대체했다. 그 프로세스는 정보 채널이 개선되고, 디스플레이의 품질이 향상되고, 및 전자 잡지 및 신문이 종이에서처럼 스크린에서도 읽기 좋게 됨에 따라 계속될 것이다.
그러나, 정보 포탈로서의 컴퓨터에 대한 이 모든 얘기에서, 한 가지 중요하고 기본적인 사실이 무시되었다. 사용자 인터페이스의 모든 개선들에도 불구하고, 그것은 인간의 지각 시스템에 매칭되지 않는다. 인터페이스는 인간이 처리하는 모든 정보를 너무 좁은 채널로 포커스한다.
예를 들어, 포비얼(foveal), 파라포비얼(parafoveal), 주변시(peripheral vision) 및 360도 오디오와 같은, 인간의 지각의 모든 속성들을 사용하는 대신, 채널이 현재 과부하된 고 해상도(그러나 좁은) 포비얼 비전 채널을 통해 정보가 강제되고 있다. 포비얼 비전에서 일어나는 모든 것은 높은 우선순위의 인터럽트이다. 시각적, 사전인지적 트라이지는 불가능하다. 거기에 나타나는 모든 정보에 관심이 주어져야 한다.
포비얼 비전은 객체에 포커스 하기 위해 사용되는 고 해상도 비전이다. 포비어는 단지 지름이 약 0.2mm이고 약 1.5도의 시각적 호(visual arc)를 가진 레티나(retina)의 영역이다. 포비어는 눈에서 단지 조금 작은 타원형 영역인 포비얼 비전을 용이하게 한다. 객체들이 이 영역에서 조사되고, 또한 이 영역은 인간들이 툴들을 생성하고, 읽고 쓰기 위해 사용하는 영역이다.
파라포비어는 포비어를 바로 둘러싸는 레티나의 영역이다. 이것은 그것의 주된 역할이 타겟 정보를 제공하여, 예를 들어, 각 후속 새카드(saccade)의 길이 및 방향과 같은, 다음 정착(fixation) 위치를 결정하는 것으로 나타나는 인간 비전의 저해상도 부분이다. 그러므로, 파라포비어는, 그것을 효과적으로 타겟팅하여, 여전히 포비얼 비전에서 역할을 한다. 다른 방식으로 생각해 보면, 포비어 및 파라포비어는 함께 인간 고해상도 비전 시스템을 만든다고 말해질 수 있다. 사용자가 포비어로부터 멀리 이동함에 따라 파라포비어의 해상도는 점차 떨어진다.
포비어/파라포비어는 약 2인치 내지 22 인치의 범위인 "정상 판독 거리"에 대략 12인치 높이 및 9인치 너비의 타원을 정의한다.
비전의 해상도는 포비어에서 가장 높고, 그 다음, 사람이 파라포비어로부터 멀리 이동함에 따라 떨어지기 시작한다. 처음에는 점차적으로 떨어지지만, 주변시의 가장자리에서 움직임만을 볼 수 있을 때까지, 크게 가속화한다.
인간들은 주변시를 사용하여, 주변에서 특히, 움직임에 믿지못할 만큼 민감하다. 연구자들은 여성과 남성이 세계를 내비게이트 하기 위해 다른 전략들을 사용한다고 오랫동안 보고해 왔다. 넓게 말하면, 여성들은 이정표들을 사용하여 내비게이트하는 한편, 남성들은, 여행 방향과 같은, 더 넓은 방위들을 사용하는 경향이 있다.
두 개의 연구에서, 울트라-와이드 시야각(ultra-wide field of view)을 가진 컴퓨터 디스플레이는 남성 및 여성 사용자들에게 모두 이득이 되고, 성 편견을 감소시킴이 발견되었다. 더욱이, 여성들은 유사한 가상 환경 내비게이션을 성취하기 위해 남성들보다 더 넓은 시야각을 취했다.
머리를 움직이지 않고, 인간들은 주변에 약 208도를 볼 수 있다. 연구들에서는, 어떻게 기존 컴퓨터 디스플레이들이 남성 인식에 편중되어, 주변시(peripheral vision)를 적절히 사용하는데 실패하는지에 대하여 제안한다. 그러므로, 208도 시야(field of vision)는 충분하지 않다. 전체 범위를 달성하기 위해, 사람의 머리를 돌릴 필요가 있다. 언제 머리를 돌릴지를 알고, 및 정면을 주시할 때도 커버리지를 부여하기 위하여, 사운드가 사용된다.
사운드는 인간의 지각 시스템의 핵심 부분이다. 사운드 프로세싱은 시각이 커버할 수 없는 영역들에 대한 추가의 커버리지를 제공한다. 사운드는 시각 외부 의 위와 뒷쪽의 모든 영역들을 커버한다. 특히, 잡초 또는 지형이 시계에 장애물들을 형성하는 지역들에서, 사람들이 시각 범위 이상으로 인지성을 또한 확장하도록 한다. 지금까지는, PC의 사운드는 경보음들을 생성하기 위해 주로 사용되어 왔다. 그러나, 그것은 인간의 통합적인 지각(integrated human perception)에서의 그 역할을 분석할 때 더욱 더 잠재성이 높다. 컴퓨터 출력을 인간의 지각 입력에 매칭시키는 부분으로서 고려되어야 하는 사운드의 일부 측면들이 있다. 자연적 사운드는 "서라운드 사운드(surround sound)"이다. 인간의 지각은 360도에 걸친 "사운드 스테이지(sound stage)"를 가진다. 사운드는 어디에 시각을 포커스 하는지를 지시하는 방향을 갖는다. 예를 들어, "여기, 메일 도착했습니다!"는 사용자 뒤로부터의 "메일 도착했습니다." 사운드보다 더 많은 것을 의미한다. 사용자 뒤편에서의 사운드, 특히 날카로운 사운드는 높은 우선순위의 인터럽트이다. 사운드는 비가시적인 영역들로 사용자가 인지를 확장하도록 한다. 현대 세계에서, 지구의 반대쪽에서의 이벤트들이 비지니스가 수행되는 방식에 영향을 미칠 수 있다.
독서할 때, 책에 지각적 주의력이 완전히 흡수될 수 있다. 그러나, 주변시는 인터럽트에 대하여 그 커버리지 영역을 여전히 스캔하고 있다. 주변시 내에 어떤 것이 움직이면, 그 움직임은 주의력을 자극시켜, 사용자가 독서로부터 산만하게 할 것이다.
그것이 웹 페이지들의 팝업 광고들이 그렇게 성가신 한 가지 이유이다 -산만한 측면 때문에-. 그것이 또한 광고주들이 그들을 사용하는 주된 이유이다 -뷰어(viewer)로 하여금 다른 내용으로 산만하게 하고, 그들의 메시지로 주목을 끔-. 팝업들은 주변이 아닌, 포커스 지역에 나타나기 때문에 성가시다. 특성적으로, 어떤 것에 포커스할 때, 포커스의 객체는 다소간 안정적으로 유지하고; 움직임의 주된 인터럽트 신호들이 주변시(peripheral vision)에 발생한다. 이에 비하여, 웹 팝업들은 포컬 플레인에 존재한다.
포컬 플레인, 주변시, 및 오디오 입력으로 인간의 지각이 분리되는 것은 어떻게 개인용 컴퓨터들이 지난 몇 십년간 인간의 정보 선별 체계(information triage system)을 퇴화시켜왔는지를 이해하는데 있어서 중요하다. 눈으로부터 다소간에 읽기 거리에 배치된 컴퓨터 스크린은 명백히 "포컬 플레인" 디바이스이다. 현재 스크린 사이즈들로는, 주변시에 입력을 갖지 않는다. 그래도, PC들은 뷰어에게 데이터 스트리밍의 양을 크게 증대시키기 위해 사용되어 왔다. 사실상, 데이터 흐름이 인간의 지각 체계에 대하여 증가해 온 한편, 그 대역폭은 감소시켰다.
인간의 지각 체계의 정보 선별법에 대하여 활용 가능한 대역폭을 증가시킬 필요가 있다.
다음은 본 발명의 몇몇 양태에 대한 기본적인 이해를 제공하기 위해 본 발명의 단순화된 개요를 제공한다. 본 개요는 본 발명의 확장 개관이 아니다. 본 발명의 중요 구성요소(elements)를 식별하거나, 본 발명의 범위를 제한하고자 하는 것은 아니다. 그 유일한 목적은 이후 제공되는 더 상세한 설명의 서두로서 간략한 형태로 본 발명의 일부 개념들을 제공하는 것이다.
본 명세서에 개시되고 청구되는 본 발명은, 그것의 일 양태에서, 인간의 지 각 시스템에 디지털 정보 흐름을 매칭하는 방법 및 시스템을 포함한다. 다양한 실시예들에서, 멀티-모니터(multimon) 지원은 다른 작업들의 구성요소들을 정보 플레인들로 구분하기 위한("트라이지(triage) 및 포커스"의 개념에 기초됨) 복수 윈도우잉 및 윈도우 포지셔닝의 이득을 얻기 위해 이용된다. 트라이지는 인입 정보의 흐름을 보고, 정보의 특성을 판정한다. 정보 특성 및 인간의 지각의 원칙들에 기초하여, 포커스(또는 디포커스)는 정보가 가장 잘 보이는 장소에 정보를 디스플레이한다.
이를 지원하기 위해, 본 발명에 따른 디지털 정보를 인간의 지각 시스템에 매칭시키는 시스템이 제공된다. 시스템은 인입 디지털 정보의 흐름을 관찰하고 그 정보의 한 개 이상의 특성들을 결정하는 트라이지 컴포넌트를 포함한다. 인간의 지각 데이터의 형태로 디지털 정보의 특성들 및 인간의 지각의 원칙들에 기초하여, 디지털 정보가 그것이 가장 잘 보이는 장소에 제공되도록 뷰잉 컴포넌트는 한 개 이상의 디스플레이들에 디지털 정보를 포커스하거나 디포커스한다. 다양한 실시예들에서, 멀티-모니터("멀티몬(multimon)") 지원은 다른 작업들의 소자들을 정보 플레인들(information plane)에 분리하기 위한 복수개의 윈도우잉 및 윈도우 포지셔닝의 이득을 얻기 위해 사용된다.
또 다른 양태에서는, 분류기는 본 발명의 양태들을 자동화한다. 전술되고 관련된 목적들을 성취하기 위해, 본 발명의 특정한 설명적 양태들은 본 명세서에 다음 설명 및 첨부된 도면들과 연결하여 기재된다. 그러나, 이들 양태들은 본 발명의 원칙들이 채택될 수 있는 다양한 방식들 중의 몇 개만을 지시하고, 본 발명은 모든 그런 양태들과 그들의 동등물들을 포함하려고 의도된다. 본 발명의 다른 이점들과 새 특징들은 도면들과 연결하여 고려될 때 다음의 본 발명의 상세한 설명으로부터 명백해질 것이다.
본 발명은 이제 도면들을 참조하여 기재되며, 여기서, 유사 참조 부호들은 도면 전반에 걸쳐 유사 소자들을 참조하기 위해 사용된다. 다음 설명에서, 설명 목적으로, 다수의 특정한 세부사항들이 본 발명의 철저한 이해를 제공하기 위해 기재된다. 그러나, 본 발명이 이들 특정한 세부사항들이 없이 실시될 수 있음이 명백할 것이다. 다른 예들에서, 잘 알려진 구조들 및 디바이스들이 본 발명의 기재를 용이하게 하기 위해 블록도 형태로 도시된다.
본 출원서에 사용되는 바와 같이, "컴포넌트" 및 "시스템"이라는 용어들은, 하드웨어, 소프트웨어, 하드웨어와 소프트웨어의 조합, 또는 실행의 소프트웨어와 같은, 컴퓨터-관련 개체를 참조하려고 의도된다. 예를 들어, 컴포넌트는 프로세서에 실행하는 프로세스, 프로세서, 객체, 실행파일, 실행 쓰레드, 프로그램, 및/또는 컴퓨터일 수 있지만, 이에 제한되지는 않는다. 설명으로서, 서버에서 실행하는 응용 프로그램 및 서버 모두는 컴포넌트일 수 있다. 한 개 이상의 컴포넌트들은 프로세스 및/또는 실행 쓰레드 내에 존재할 수 있고, 컴포넌트는 한 개의 컴퓨터에 위치될 수 있으며, 및/또는 2개 이상의 컴퓨터들 간에 분산될 수 있다.
본 명세서에 사용되는 바와 같이, "추론하다(infer)" 또는 "추론(inference)"의 용어는 일반적으로 이벤트들 및/또는 데이터를 통해 캡쳐된 바와 같이 관찰들의 세트로부터 시스템, 환경, 및/또는 사용자의 상태에 대한 추론의 프로세스를 언급한다. 추론은, 예를 들어, 특정 컨텍스트 또는 액션을 식별하기 위해 채택될 수 있거나, 또는 상태들에 대해 확률 분포를 생성할 수 있다. 추론은 확률적일 수 있다 -즉, 데이터와 이벤트들의 고려에 기초하여 관심 상태들에 대해 확률 분포의 계산-. 추론은 또한 이벤트들 및/또는 데이터의 세트로부터 더 높은 수준의 이벤트들을 구성하기 위해 채택되는 기술들을 언급할 수 있다. 이벤트들이 근접 시간에 서로 상관하는지에 무관하게, 및 이벤트들과 데이터가 한 개 또는 여러 개의 이벤트와 데이터 소스들로부터 오는지에 무관하게, 그런 추론은 관찰된 이벤트들 및/또는 저장된 이벤트 데이터의 세트로부터 새 이벤트들 또는 액션들의 구성의 결과를 가져온다.
이제 도 1의 참조에서, 본 발명에 따라서 디지털 정보를 인간의 지각 시스템에 매칭시키는 시스템(100)이 도시된다. 시스템(100)은 인입 디지털 정보의 흐름을 관찰하고 그 정보의 한 개 이상의 특성들을 결정하는 트라이지 컴포넌트(102)를 포함한다. 인간의 지각 데이터의 형태로 디지털 정보의 특성들 및 인간의 지각의 원칙들에 기초하여, 디지털 정보가 그것이 가장 잘 뷰잉되는 경우에 제공되도록 뷰잉 컴포넌트(104)가 한 개 이상의 디스플레이들에 디지털 정보를 포커스하거나 디포커스한다. 다양한 실시예들에서, 멀티모니터("멀티몬") 지원은 다른 작업들의 구성요소들을 정보 플레인들로 분리하기 위해 복수 개의 윈도우잉(windowing) 및 윈도우 포지셔닝(positioning)의 이득을 얻도록 이용된다.
시스템(100)은, 예를 들어, 비디오 정보의 제공을 보충하거나 또는 비디오 정보로부터의 분리된 출력으로서, 경고음, 톤, 음악, 및/또는 음성 신호의 형태로 오디오 신호들의 출력을 용이하게 하는 오디오 컴포넌트(106)를 포함한다.
도 2를 참조하면, 본 발명에 따라 디지털 정보를 인간의 지각 시스템에 매칭시키는 한 방법의 흐름도가 도시되어 있다. 설명을 간단화하기 위해, 예를 들어, 흐름도의 형태로, 본 명세서에 도시된 한 개 이상의 방법들은 일련의 동작들로서 도시되고 기재되는 한편, 본 발명에 따라 일부 동작들이 본 명세서에 도시되고 기재된 다른 동작들과 상이한 순서로 및/또는 동시에 발생할 수 있는 것과 같이, 본 발명은 동작들의 순서에 의해 제한되지 않음을 이해할 것이다. 예를 들어, 당업자들은 다른 경우에 방법이, 상태도에서와 같이, 일련의 상호 관련된 상태들이나 이벤트들로서 표현될 수 있음을 이해할 것이다. 더욱이, 도시된 모든 동작들이 본 발명에 따라 방법을 구현하기 위해 요구되지는 않을 것이다.
(200)에서, 포커스(예를 들어, 포비얼, 파라포비얼) 모드 및 디포커스(예를 들어, 주변(peripheral)) 모드를 모두 지원하는 비디오 시스템이 제공된다. 이메일 경고, 증권 시세 표시기, 교통 데이터 등과 같은 데이터는 주변 지역에 디스플레이될 수 있다. 추가로, 주변 영역은 물체들을 신속하고 쉽게 찾기 위해 유지하는 장소로서 사용될 수 있고, 그들과 작업하기 위해 포컬 영역으로 다시 불러올 수 있다. 그러나, 크기 자체에서 충분하지 않다. 사람이 주변 또는 포커스 디스플레이들에서 임의의 판독을 수행하려고 의도하면, 완전한 OSPREY(Optimized Serial Pattern Recognition) 요구사항들을 충분히 만족시키는 유형을 디스플레이할 수 있기 위해 충분한 해상도가 필요된다. OSPREY는 인간의 지각 시스템과 판독될 때 유 형 간의 복잡한 상호작용들의 설명이고, 그 전체 내용이 참조되는, 1999년 4월 날짜의, "독서의 마술(The Magic of Reading)"의 표제의, William Hill에 의해 작성된 문서에 상세히 기재된다. 포커스 및 디포커스 뷰잉을 위해 요구된 해상도는 다르다. 포커스 디스플레이들에 대한 일 실시예에서, 150ppi 정도의 최소 해상도가 제공된다. 포커스 디스플레이들의 다른 실시예에서, 200ppi가 제공된다. 더욱 낮은 해상도들이 디포커스 디스플레이들(예를 들어, 약 25ppi)을 구동하기 위해 사용될 수 있다.
(202)에서, 디지털 정보에 응답하여 및/또는 시스템-생성된 이벤트들에 응답하여 오디오 신호들을 출력하는 오디오 시스템이 제공된다. 오디오 시스템은 본 발명의 선택적 양태임을 이해할 것이다. (204)에서, 디지털 정보가 수신된다. (206)에서, 트라이지 컴포넌트는 디지털 정보에 트라이지를 수행하여, 예를 들어, 정보가 포커스되어야 하는지 또는 디포커스되어야 하는지를 지시하는 특성들을 판정한다. (208)에서, 비디오 컴포넌트는 특성들에 기초하여 포커스 또는 디포커스 모드에서 디지털 정보를 제공하기 위해 구동된다. 그 다음, 프로세스는 종료 블럭에 도착한다.
이제 도 3의 참조에서, 본 발명에 따라 중심 포컬(또는 포커스) 전경 플레인(304)을 가진 주변(또는 디포커스) 배경 플레인(302)을 포함하는 뷰잉 관점(300)의 다이아그램이 도시된다. 그런 시스템은 컴퓨터의 종래 멀티몬 능력들 및 그래픽 어댑터 구현을 사용하여 제공될 수 있다. 주변 플레인(302)는, 인간의 지각 시스템의 포비얼/파라포비얼(또는 주변에서) 외부의 시각적 정보의 인지와 매칭시키는, 포컬 플레인(304)의 주변 외부의 문서 이미지들(예를 들어, DOC1 및 DOC2) 및 섬네일(thumbnail) 이미지들(예를 들어, TN1 및 TN2)의 저해상도 그래픽을 투사하는 한 개의 그래픽 포트(또는 어댑터)에 의해 구동되는 투사 시스템에 의해 제공될 수 있다. 섬네일들은 실행 중의 응용 프로그램들의 것들일 수 있다. 그러므로, 섬네일에 한 번의 클릭은 포컬 플레인(304)에 전체-스크린으로 즉시 응용 프로그램을 연다. 멀티몬에서, 벽 디스플레이는 포컬 플레인(304) 위에 직접 위치될 수 있다.
포컬 플레인(304)는 인간 뷰어들의 포비얼/파라포비얼 범위 내에 가시적 정보를 제공하는 모니터에 의해 제공될 수 있다. 그러므로, 포컬 플레인(304)의 모니터와 주변 플레인(302)의 모니터 간의 어떤 측면 거리(lateral distance)가 있을 수 있다.
시스템(300)은 또한 본 명세서에 오디오 컴포넌트에서 2개의 스피커들(308)에 의해 표현될 수 있다. 그러나, 인간의 지각 시스템은 오디오를 서라운드 사운드로서 가장 잘 인지함을 이해할 것이다. 그러므로, 오디오 컴포넌트는 모든 출력 신호들에 대해 서라운드 사운드를 제공할 수 있다.
과부하된 정보를 최소화하기 위해, 단지 관심의 객체들만이 포컬 플레인(304)에 제공된다. 그러므로, 뷰어가 DOC1을 포컬 플레인(304)에 불러오기를 원할 때, 종래 멀티몬 소프트웨어 및 하드웨어 능력들에 의해 제공되는 바와 같이, 그(녀)는 단순히 거기에 DOC1을 드래그-앤-드롭(drag-and-drop)할 수 있다. 유사하게, 뷰가 DOC1를 포컬 플레인(304) 외부로 이동하기를 원할 때, 그들은 포컬 플레인(304)으로부터 주변 플레인(302)으로 DOC1를 단순히 드래그-앤-드롭한다.
오디오 신호들은 뷰어의 인지 시스템에 보충 피드백으로서 각 동작을 동반하기 위해 구성될 수 있다. 오디오 시스템이 서라운드 사운드를 제공할 수 있으므로, 오디오 신호는 문서 동작이 특정 방향에서 발생했음을 뷰어에게 지시하기 위해 공간적으로 제공될 수 있음을 이해할 것이다. 예를 들어, DOC1이, 좌측 포지션으로부터, 주변 플레인(302)으로부터 포컬 플레인으로의 이동을 위해 선택되어 뷰어의 인지를 형성할 때, 뷰어의 전면 및 좌측에 인지되는 대응하는 오디오 신호가 제공될 수 있고, 아마도, 디포커스 플레인(302)으로부터 포커스 플레인(304)으로 DOC1의 이동을 지시하는 저음 경보음에서 고음 경보음을 출력할 것이다. 반대로, DOC1이 포컬 플레인(304)으로부터 주변 플레인(302)으로 다시 이동되었을 때, 더 고음의 경보음(포컬 플레인)에서 더 저음의 경보음(디포커스 플레인)으로 뷰어의 전면과 좌측으로 인지되는 오디오 신호가 출력될 수 있다. 유사하게, 섬네일 객체들(예를 들어, TN1)에 동작할 때, 뷰어 상호작용은 전면 및 우측상단에 인지되는 오디오 신호에 의해 동반될 수 있고, DOC2와의 상호작용은 뷰어의 전면 및 우측하단으로 인지되는 동반하는 오디오 신호를 가질 것이다.
문서 또는 객체의 자동 크기 조정은 뷰어가, 예를 들어, 플레인들(302, 304) 간에 DOC1을 이동하면서 제공될 수 있다. 유사하게, 섬네일 객체들에게 능력이 제공될 수 있다. 섬네일 TN1이 포컬 플레인(304)으로 이동될 때, 그것은 뷰잉을 위한 사용자 파라미터들에 따라 자동으로 확대된다. 반대로, TN1은 주변 플레인(302)으로 다시 이동될 때 자동으로 감소될 수 있다. 추가로, 문서 또는 객체가 플레인들(302, 304) 간에 프로세스되면서 크기의 확대 및/또는 축소를 동반하는 사 운드들이 디자인될 수 있다. 채색 및/또는 애니메이션은 또한 사용자 정의가능한 방식들로 상호작용을 동반할 수 있다.
사용자 상호작용은 또한 오디오 신호들에 의해서만이 아니라, 또한 애니메이트된 그래픽에 의해서 동반될 수 있음을 이해할 것이다. 그러므로, DOC1의 선택은, 예를 들어, DOC1에 대한 플래쉬(flash)하는 경계로 결과될 수 있거나, 또는 전체 DOC1을 플래쉬하도록 할 수 있다. 색 스킴들(color schemes)은 또한 사용자 상호작용이 문서들 및 객체들과 발생할 때 출력을 위해 오디오 신호들과 함께 사용자 선택가능한 옵션들로서 채택될 수 있다.
기술 능력이 존재하는 경우, 더 낮은 해상도에 구동되는 포컬 플레인에 대해 고리형 지역인 주변 플레인(302)보다 더 높은 해상도에 더 높은 해상도 지역(예를 들어, 포컬 플레인)이 구동되도록 한 개의 모니터 또는 디스플레이가 채택될 수 있고, 그 둘 모두는 인간의 지각 시스템에 의한 뷰잉과 매칭함을 더 이해해야 한다.
이것은 또한 주변 플레인(302)에서 전경에 더 높은 해상도 포컬 윈도우 및 배경에 더 낮은 해상도 주변 윈도우를 제공하는 윈도우잉 시스템에 의해 용이하게 될 수 있다.
이제 도 4의 참조에서, 본 발명에 따라, 주변 플레인(302)과 관련하여 중심에서 벗어난 포컬(또는 포커스) 전경 플레인(304)을 가진 주변(또는 디포커스) 배경 플레인(302)을 포함한 뷰잉 관점(400)의 다이아그램이 도시된다. 그런 시스템은 종래 컴퓨터의 멀티몬 능력들 및 그래픽 어댑터 구현들을 사용하여 제공될 수 있다. 본 명세서에서, 뷰어는 주변 플레인(302)에 관련하여 임의의 위치에 포컬 플레인(304)을 조정할 수 있다.
도 3에 대해 기재된 다른 특징들 및 구현들은 도 4의 시스템(400)에 적용한다.
이제 도 5의 참조에서, 본 발명에 따라 한 개의 벽을 사용하여 디지털 정보 흐름과 인간의 지각 시스템을 매칭하는 시스템의 사무실 배치도(500)가 도시된다. 일 실시예에서, 뷰어는 포컬 플레인으로서 기능하는 디스플레이(504)인 책상 뒤에 앉는다. 인간의 지각에 따라 문서들 및/또는 객체들을 제공하기에 적절한 뷰어 전면에(즉, 앞벽에) 위치된 화이트보드 또는 스크린(508)에 투사하는 투사기 시스템(506)에 의해 주변(또는 디포커스) 플레인이 제공된다. 투사기(506)는 화이트보드에 투사하는 1024 x 768 LCD 투사기일 수 있고, 뷰어 위에 및 뒤에 책장(도시 안됨)이나 다른 붙박이대에 올려진다. 투사기(506)는 투사기가 책장에 높이 설치된 일반 화이트보드 높이에 이미지가 투사되도록 하기 위해 중추적 능력을 제공하는 NEC 전자회사의 NEC GT950일 수 있다.
시스템(500)은 랩톱 컴퓨터(510), 태블릿 PC(512), 및 데스크톱 컴퓨터(513)를 더 포함하고, 이들 모두는 컴퓨팅 디바이스들(510, 512, 또는 513) 중의 임의의 것으로부터 포컬 디스플레이(504) 또는 화이트보드(508) 상에 주변 투사로 비디오 신호들을 스위치하는 비디오 스위치(514)에 접속된다. 키보드 및/또는 다른 입력 디바이스들(516)은 그것과 함께 상호작용을 용이하게 하기 위해 랩톱(및/또는 데스크톱) 컴퓨터(들)에 접속될 수 있다.
컴퓨팅 디바이스들(510, 512, 및 513)은, 그것의 디스플레이(예를 들어, LCD), 및 디스플레이(504) 및 투사기 시스템(506) 모두를 구동하기 위해 외부 모니터 포트로부터 XGA 신호들을 구동하기 위해 종래 운영 체제들(예를 들어, Microsoft사의 WINDOWS XP-브랜드 운영 체제)에 제공되는 멀티몬 능력들 및 그래픽 카드, 또는 컴퓨팅 디바이스(예를 들어, 휴대형 컴퓨터(510))의 능력을 사용할 수 있다. 포커스 디바이스는 기본 포컬-플레인 디스플레이(504)로서 3840 x 2400, 204ppi를 가진 IBM의 IBM T221 플랫 패널 디스플레이일 수 있다. 오버헤드 투사기를 구동하기 위해 PCI(주변 컴포넌트 인터페이스) 슬롯에 제2 그래픽 카드를 또한 포함할 수 있는 IBM 듀얼-프로세서 타워 시스템(도시 안됨)의 AGP(accelerated graphics port) 슬롯에, ATI Technologies사의 FireGL4 카드를 사용하여 포컬 디스플레이가 구동될 수 있다.
시스템(500)은, 예를 들어, Microsoft사의 WORD-브랜드 문서 편집기를 사용하여 2-페이지 길이로 디스플레이되는 표준 US 문자 문서 형식으로 문서들을 판독하는 것을 용이하게 한다. 문서 페이지들은 실제 크기, 및 텍스트로서 제공되고, 종이 문서로서 ClearType으로 204ppi에 판독가능한 것으로 인지된다.
시스템(500)의 제2 실시예는 Dell사의 Inspiron 8500 랩톱에 의해 구동되는 동일 투사기 시스템(506)을 사용한다. 랩톱은 2.4GHZ Pentium 4 프로세서, 1Gb RAM, 및 64Mb의 비디오 RAM을 가진 NVIDIA사의 빌트-인 nVidia GeForce 4 그래픽 카드를 포함한다. 그래픽 카드는 빌트-인 147ppi(1920 x 1200) 랩톱 스크린 및 XGA 소켓으로부터의 1024 x 768 투사기 출력 모두를 얻기 위해 운영 체제에서 완전 멀티몬을 지원하기에 충분히 강력하다.
제3 실시예는 Acer사의 태블릿 PC 512를 사용하고, 그것의 표준 그래픽 출력 포트(예를 들어, XGA)로부터 투사기 시스템(506)을 구동한다.
디스플레이 스위치 박스(514)는 원하는 대로 3개 시스템들의 각각의 출력을 투사기(506)로 스위치하여, 3개 모두의 시스템들이 동시에 실행하도록 한다.
시스템(500)은 또한, 다수의 종래 서라운드 사운드 시스템들에 따라, 그리고, 데이터 흐름을 인간의 지각 시스템 요구사항들에 매칭시키는 것을 지원하는 서라운드 사운드를 제공하는 오디오 시스템(516)을 포함한다.
이제 도 6의 참조에서, 본 발명에 따라 복수의 사무실 벽들을 사용하여 디지털 정보 흐름과 인간의 지각 시스템을 매칭시키는 시스템의 사무실 배치도(600)가 도시된다. 이 구현에서, 복수의 그래픽 어댑터들은 복수 개의 벽들에 주변 플레인들을 제공하기 위해 투사기 시스템(506)을 구동하기 위해 채택될 수 있다. 예를 들어, 전면의 벽은 제1(주요) 디포커스 플레인(602)을 가질 수 있고, 제2(또는 우측) 벽에 제2 주변 플레인(604)이 제공될 수 있고, 제3(또는 후면) 벽에 제3 주변 플레인(606)이 제공될 수 있고, 제4(또는 좌측) 벽에 제4 주변 플레인(608)이 제공될 수 있다. 그런 구현은 컴퓨터 그래픽 정보의 4개의 채널들(P1, P2, P3, 및 P4)을 채택하는 투사기 시스템을 사용하여 제공될 수 있다.
전과 같이, 디스플레이(504)는, 하지만 이 경우에, 모든 주변 플레인들(602, 604, 606, 및 608)에 대해 포컬 플레인 디스플레이일 수 있다. 그런 구현은 디지털 정보로 모든 디스플레이들(포커스 또는 디포커스)을 구동하기 위해 그래픽 및 컴퓨팅 시스템 상에서 더 넓은 대역폭을 배치하고, 적절한 설비가 그 구현을 핸들 링하도록 요구한다.
이 구현에서, 뷰어가 돌아서 거기에 디스플레이된 다수의 책들과 문서들 중의 하나를 선택할 수 있도록, 가상 책장(610)은 주변 플레인들(예를 들어, 플레인(606)) 중의 하나에 랜더링될 수 있다. 그 다음, 그런 책이나 문서는 포컬 플레인 디스플레이(504)에 세로 형식으로 랜더링하거나 판독하기 위한 다른 컴퓨팅 디바이스(예를 들어, 태블릿 PC)로 이동될 수 있다. 디스플레이(504)에 추가하여, 랩톱과 태블릿 PC는 다른 포컬 플레인 디바이스들을 용이하게 함을 이해할 것이다.
투사기 채널들을 구동하기 위해 요구되는 증가된 그래픽 프로세싱 능력의 지원에서, 그래픽 프로세싱 서브시스템(612)은 증가된 그래픽 프로세싱 요구사항들을 핸들링하기 위해 제공될 수 있다. 서브시스템(612)은 컴퓨팅 디바이스들(510, 512, 및 513)로부터 투사기 채널들(P1, P2, P3, 및 P4)로 적절한 비디오 신호들을 수신하고, 프로세스하고, 및 전달하기 위해 스위치(614)에 접속한다. 그래픽 서브시스템(612)은 멀티몬 기능을 용이하게 하기 위해 컴퓨팅 디바이스들(510, 512, 및 513)의 운영 체제들과 통신한다.
이제 도 7의 참조에서, 본 발명에 따라 사무실 벽들에 부착되거나 임베딩되는 복수 개의 디스플레이들을 사용하여 디지털 정보 흐름과 인간의 지각 시스템을 매칭시키는 시스템의 사무실 배치도(700)가 도시된다. 본 명세서에, 벽들은 한 개 이상의 견고한 컴퓨팅 시스템들에 의해 분리되어 구동되는 평면 모니터들(예를 들어, LCD 또는 플라즈마)로 거의 커버된다.
그런 다수의 디스플레이 표면들은 정보 흐름을 인간의 지각 시스템에 매칭시 키는 새 접근법을 제공한다. 예를 들어, 그림이 Mona Lisa의 고해상도 디지털 표현의 "걸려있음(hung)" 일 수 있는 경우, 사용자는 반-영구의 지역들을 가질 수 있다. 더욱이, 그런 그림들은 다수의 상이한 방식들로 회전되고 조작될 수 있다. 본 명세서 위에 지시된 바와 같이, 사용자는 완전한 크기의 책 골격들을 가진 실제 책장같아 보이는 가상 "책장"을 가질 수 있다. 사용자가 책을 읽기 위해 선택할 때, 그(녀)는 편안한 홀딩 및 독서를 위해 경량의 태블릿 PC에 책을 로드하는 책장에서꺼내기(pull-it-off-the-self) 동작으로서 책의 드래그-앤-드롭을 수행한다.
추가로, 사용자는 태블릿 PC를 사용하여 쓸 수 있는 랜더링되는 "화이트보드"를 가질 수 있다. 사무실을 방문하는 다른 사용자들은 유선이나 무선 방식으로 시스템에 접속하여 이 공유된 영역에 쓰기 위해 그들 자신의 태블릿 PC들을 사용할 수 있다.
시스템은, 데이터가 항상 가시적이고 찾을 수 있는, 데이터를 저장하는 공간 메모리를 효과적으로 사용하기 위해 컴퓨팅을 위한 지역들 및 공간 저장소들을 사용자가 가지도록 허용한다. 사용자는 또한 동일한 방식으로 응용 프로그램들의 "클러스터들"과 연관된 데이터를 유지할 수 있고, 응용 프로그램과 데이터는 "프로젝트"또는 "작업"에 관련된다.
그러나, 그런 시스템에서 그런 대량의 비디오 데이터를 전송하는 대역폭 요구사항들은 터무니없을 수 있다. 그런 스케일에 디스플레이들은 새 그래픽 모델들을 요구한다. 종래에, 디스플레이를 구동할 때, 그래픽 계산은 컴퓨터 CPU를 통해 컴퓨터 격자에 근접한 픽셀 데이터로 바뀐다. 그 다음, 이 픽셀 데이터는 표현을 위한 디스플레이에 유선을 통해 프로세스되고 전달된다. 도 7의 개시된 디스플레이 표면들의 지원에서, 그런 초-대형 디스플레이들에서 픽셀 데이터의 완전한 볼륨은 이 "종래" 해결책을 배제한다. 더욱이, 오늘날의 디스플레이들과의 종래 해결책도 종래 무선 전송의 능력들을 압박하는 대역폭을 내포한다. 그러나, 화이트보드는 CPU로부터 디스플레이로 단지 소량의 데이터만을 프로세싱하고 전송하여 공유될 수 있다. 한 가지 가동하는 구현은, 종래에 수행된 바와 같이, CPU에 가깝게그래픽 프리미티브들(primitives)을 프로세스하는 것이지만, 미가공(raw) 픽셀 데이터의 계산은 디스플레이에 가깝게, 또는 그 자체에(또한, "just-in-time"(JIT) 픽셀들이라고 불림) 수행된다. 기본적으로, GDI(graphic device interface) 및/또는 연관된 전자기기들은 디스플레이에 동작적으로 임베딩되는 칩(예를 들어, ASIC-Applicaton Specific Integrated Circuit)으로서 통합된다.
태블릿 PC와 관련된 한 시나리오에서, 픽셀 데이터는 그 자체의 휴대용 디스플레이를 위해서만 계산되고, 다른 링크된 큰 디스플레이들은 디스플레이에서 로컬 픽셀 계산을 위해 거기에 그래픽 프리미티브들을 전달하여 구동된다. 이것은 태블릿 PC를 어느 곳에든지 가져갈 수 있고 공유 시스템에 접속될 수 있도록 태블릿 PC가 데이터와 응용 프로그램들의 한 개의 저장소가 되도록 하지만, 픽셀 계산과 거기에서 디스플레이들로의 전송으로 태블릿 PC를 부담주지 않고 필요할 때 대형 디스플레이들에 여전히 링크할 수 있게 할 것이다. 더욱이, JIT 픽셀들에 의해 가능한 감소된 부하는 그런 구현에 보통 요구될 매우 매우 넓은 대역폭들이 없이 무선 통신을 용이하게 한다. 디스플레이로 단지 그래픽 프리미티브들을 전송하는 것과 연관되는 크게 감소된 부하는 무선으로 핸들링될 수 있다.
도 7을 다시 참조하면, 시스템(700)은 대형 표면 주변 디스플레이들, 제1 주변 디스플레이(702)(VIDEO DISPLAY 1), 제2 주변 디스플레이(704)(VIDEO DISPLAY 2), 제3 주변 디스플레이(706)(VIDEO DISPLAY 3), 및 제4 주변 디스플레이(708)(VIDEO DISPLAY 4), 을 위한 JIT 픽셀들을 용이하게 한다. 각 디스플레이(702, 704 706, 및 708)는 온보드(on-board) 비디오 프로세싱 서브시스템(VPS)을 포함하여 디스플레이에 로컬인 픽셀 계산을 프로세스한다. 그러므로, 제1 디스플레이(702)는 제1 VPS1(710)을 포함하고, 제2 디스플레이(704)는 제2 VPS2(712)를 포함하고, 제3 디스플레이(706)는 제3 VPS3(714)를 포함하고, 및 제4 디스플레이(708)는 제4 VPS4(716)를 포함한다.
랩톱 컴퓨터(718), 태블릿 PC(720), 및 데스크톱 컴퓨터(721)의 각각은 포컬 플레인 디바이스 및 디스플레이(504)를 용이하게 할 수 있다. 더욱이, JIT 픽셀 기술이 채택되므로, 컴퓨팅 디바이스들(각각의 컴퓨팅 디바이스들 (510, 512, 513)에 유사한 (718, 720, 721))의 각각은, 직접적으로 또는 무선 송수신기(722)를 통해, 임의의 또는 전체 디스플레이들(702, 704, 706, 및 708)에 무선으로 비디오 신호들을 통신할 수 있다. 통신은 또한 4 개의 다른 디스플레이들(702, 704, 706, 및 708)에 4 개의 출력들(726)(접속되지 않은 것으로 도시됨)을 가진 비디오 스위치(724)를 통해서와 같이 유선 수단을 통할 수 있다.
비디오 시스템은 데이터 흐름을 인간의 지각 시스템에 매칭시키는 것을 지원한다. 추가로, 4 개의 스피커들(728)에 의해 지시된, 서라운드 사운드 오디오 시 스템은 오디오 신호들을 인간의 지각 시스템에 매칭하는 것을 용이하게 하는 방향성(directed) 오디오를 제공한다.
도 8을 참조하면, 본 발명에 따라 복수 개의 디스플레이들을 구동하고, 분류기를 채택하는 JIT 픽셀 시스템(800)의 블록도가 도시되어 있다. N 디스플레이들(802)의 각각(DISPLAY DEVICE1,...,DISPLAY DEVICEN으로 표시됨)은 각각 VPS1,...,VPSN을 포함한다. 분리된 내부 VPS가 각 디스플레이(802)와 함께 채택될 필요는 없고, 그 보다 2개의 디스플레이들을 지원하는 외부 VPS 유닛이 채택될 수 있다. 다른 그런 복수-지원 구현들은 적절한 높은 대역폭 접속들로 채택될 수 있다.
컴퓨팅 디바이스(804)는 비디오 I/O(input/output) 블럭(806)을 통해 디스플레이들의 각각을 구동할 수 있다. 디스플레이들(802)의 각각은 각각의 로컬 VPS에 의해 로컬에서 프로세싱하고 랜더링하는 미가공 그래픽 데이터를 수신하기 위해 컴퓨터 비디오 I/O 블럭(806)에 접속하는 디스플레이 비디오 I/O 블럭을 포함한다. JIT 픽셀 기술로, 컴퓨팅 디바이스(804)로의 접속은 이제 유선 또는 무선일 수 있다.
시스템(800)은 또한 본 발명에 따라서 데이터 정보 흐름을 인간의 지각 시스템에 매칭시키는 것을 용이하게 하기 위해 오디오 신호들만을 제공하거나 또는 비디오 신호들과 조합된 오디오 신호들을 제공하는 오디오 시스템(808)을 포함한다.
이 특정 실시예에서, 시스템(800)은 분류기(810)를 채택할 수 있다. 본 발 명은 다양한 양태들을 수행하는 다양한 인공 지능 기반의 구성(scheme)들을 채택할 수 있다. 예를 들어, 포컬 플레인 대 주변 플레인에서 어떤 문서들이나 객체들을 플레이할지를 결정하는 프로세스는 자동 분류기 시스템 및 프로세스를 통해 용이하게 될 수 있다.
분류기는 입력 속성 벡터, x = (x1, x2, x3, x4, xn),를 입력이 한 클래스에 속하는 신뢰도(confidence)로 매핑하는, 즉, f(x) = confidence(class), 기능이다. 그런 분류는 확률 및/또는 통계-기반 분석(즉, 분석 유틸리티들과 비용들을 감안함)을 채택하여 사용자가 자동으로 수행되기를 바라는 액션을 예측하거니 유도할 수 있다.
SVM(support vector machine)은 채택될 수 있는 분류기의 예이다. SVM은 가능한 입력들의 공간에서 초표면(hypersurface)을 찾아서 동작하며, 여기서, 초표면은 논트리거링(non-triggering) 이벤트들로부터 트리거링 기준들을 분리하려고 시도한다. 직관적으로, 이것은 훈련 데이터에 근접하지만, 동일하지는 않은 테스트 데이터에 대해 분류를 정확하게 한다. 예를 들어, 나이브 베이즈(naive Bayes), 베이즈 통신망(Bayesian networks), 결정 트리(decision tree), 신경망, 퍼지 논리 모델, 및 독립성의 다른 패턴들을 제공하는 확률 분류 모델들을 포함하는 다른 방향성(directed) 및 비방향성(undirected) 모델 분류 접근법들이 채택될 수 있다. 본 명세서에 사용된 바와 같은 분류는 또한 우선순위의 모델들을 개발하기 위해 사용되는 통계적 리그레션(statistical regression)을 포함한다.
본 명세서에서 쉽게 이해될 것처럼, 본 발명은 명백하게(explicitly) 훈련되 고(예를 들어, 일반 훈련 데이터를 통해) 또한 함축적으로(implicitly) 훈련된(예를 들어, 사용자 행위를 관찰하여, 외부 정보를 수신하여) 분류기들을 채택할 수 있다. 예를 들어, SVM들은 분류기 구성기 및 특징 선택 모듈 내에 학습 또는 훈련 단계를 통해 구성된다. 그러므로, 분류기(들)는, 소정의 기준들에 따라, 이에 한하지 않지만, 다음의 것들을 결정하는 것을 포함하는 다수의 기능들을 자동 수행하기 위해 사용될 수 있다: 문서 내용에 기초하여, 언제 및 어디에 플레인에서 플레인으로 문서나 객체를 이동하는지; 문서 유형에 기초하여, 언제 및 어디에 플레인에서 플레인으로 문서 또는 객체를 이동하는지; 주변 디스플레이들의 수에 기초하여, 어디에 문서 또는 객체를 이동하는지; 사용자 및 사용자의 이력 정보에 기초하여, 어디에 문서 또는 객체를 이동하는지; 응용 프로그램에 기초하여, 주변 플레인에서 어디에 응용 프로그램 데이터를 이동하는지; 문서의 버전 및/또는 시간도장에 기초하여, 주변 플레인에서 어디에 문서를 배치할지; 및 오디오 입력 신호들에 기초하여, 주변 플레인 또는 포컬과 주변 플레인들 사이에 어디에 문서를 이동할지. 그러므로, 분류기(810)를 사용할 때, 학습되어, 그러므로 자동화될 수 있는 다수의 특징들과 동작들이 존재함을 이해할 수 있을 것이다.
다른 학습되고 그 후에 자동화된 동작들은 데이터 흐름을 인간의 지각 시스템과 더 매칭시키기 위해 채색 및/또는 애니메이션, 및 오디오 신호들의 사용에 기초될 수 있다. 다른 색들이 측면 디스플레이들 대 전면과 후면 디스플레이 등에 사용될 수 있다. 오디오 신호들은 전면 디스플레이가 측면 및 후면 디스플레이들의 정보를 제공하기 위해 인간 시스템을 인터럽트하는 측면 및 후면 디스플레이들 에 더 많이 사용될 수 있다. 시스템이 디스플레이들의 방향을 "알" 것이면, 그 다음, 시스템은 이에 따라 동작들을 학습하고 자동화할 수 있다.
도 9를 참조하면, 개시된 아키텍쳐를 실행하기 위해 컴퓨터 동작 가능한 블록도가 도시되어 있다. 본 발명의 다양한 양태들에 대한 추가 컨텍스트를 제공하기 위해, 도 9 및 다음 논의는 본 발명의 다양한 양태들이 구현될 수 있는 적합한 컴퓨팅 환경(900)의 간략하고 일반적인 기재를 제공하려고 의도된다. 본 발명은, 한 개 이상의 컴퓨터들에서 실행할 수 있는 컴퓨터-실행가능 명령들의 일반적인 문맥에서 상술하였지만, 당업자라면 본 발명이 또한 다른 프로그램 모듈들과 조합하여 및/또는 하드웨어와 소프트웨어의 조합으로서 구현될 수 있음을 파악할 것이다.
일반적으로, 프로그램 모듈들은 특정 작업들을 수행하거나 특정 추상 데이터 유형들을 구현하는 루틴, 프로그램, 컴포넌트, 데이터 구조 등을 포함한다. 더욱이, 당업자들은 본 발명의 방법들이, 각각이 한 개 이상의 연관된 디바이스들에 동작적으로 결합될 수 있는, 단일 프로세서나 복수 프로세서 컴퓨터 시스템, 미니컴퓨터, 메인프레임 컴퓨터, 개인용 컴퓨터, 핸드헬드 컴퓨팅 디바이스, 마이크로프로세서-기반이나 프로그램가능한 소비자 전자제품 등을 포함하는 다른 컴퓨터 시스템 구성들과 실시될 수 있음을 이해할 것이다.
본 발명의 도시된 양태들은 또한 특정 작업들이 통신망을 통해 링크되는 원격 프로세싱 디바이스들에 의해 수행되는 분산 컴퓨팅 환경들에서 실시될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈들은 로컬 및 원격 메모리 저장 디바이스들 모두에 위치될 수 있다.
컴퓨터는 통상적으로 다양한 컴퓨터-판독가능 매체를 포함한다. 컴퓨터-판독가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수 있으며, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체 모두를 포함한다. 예를 들어, 컴퓨터-판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있지만, 이에 제한되지는 않는다. 컴퓨터 저장 매체는 컴퓨터-판독가능 명령, 데이터 구조, 프로그램 모듈, 또는 기타 데이터와 같은 정보 저장을 위한 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 분리형 및 비분리형 매체 모두를 포함한다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래쉬 메모리나 기타 메모리 기술, CD-ROM, DVD(digital video disk)나 기타 광 디스크 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치나 다른 자기 저장 디바이스, 또는 원하는 정보를 저장하기 위해 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함하지만, 이에 제한되지는 않는다.
통신 매체는 통상적으로 컴퓨터-판독가능 명령, 데이터 구조, 프로그램 모듈, 또는 반송파나 다른 전송 메카니즘과 같은 변조 데이터 신호의 다른 데이터를 구현하고, 임의의 정보 전달 매체를 포함한다. "변조 데이터 신호"라는 용어는 신호의 정보를 인코딩하는 방식에서 한 개 이상의 그것의 특성들이 설정되거나 변경되는 신호를 의미한다. 예를 들어, 통신 매체는 유선망이나 직접 유선 접속과 같은 유선 매체, 및 음향, RF, 적외선, 및 기타 무선 매체와 같은 무선 매체를 포함한다. 상술된 것들 중의 임의의 것의 조합들은 또한 컴퓨터-판독가능 매체의 범위 내에 포함되어야 한다.
도 9를 참조하면, 컴퓨터(902)를 포함하는 본 발명의 다양한 양태들을 구현하는 환경(900)의 예가 도시되어 있으며, 컴퓨터(902)는 프로세싱 유닛(904), 시스템 메모리(906), 및 시스템 버스(908)를 포함한다. 시스템 버스(908)는, 이에 한하지 않지만, 프로세싱 유닛(904)에 시스템 메모리(906)를 포함하는 시스템 컴포넌트들을 결합한다. 프로세싱 유닛(904)은 다양하게 상업적으로 이용가능한 프로세서들 중의 임의의 것일 수 있다. 듀얼 마이크로프로세서들 및 기타 복수-프로세서 아키텍쳐들은 또한 프로세싱 유닛(904)으로서 채택될 수 있다.
시스템 버스(908)는 다양하고 상업적인 이용가능한 버스 구조들 중의 임의의 것을 사용하는 메모리 버스(메모리 제어기를 갖거나 갖지 않음), 주변기기 버스, 및 로컬 버스에 더 상호연결할 수 있는 여러 유형들의 버스 구조들 중의 임의의 것일 수 있다. 시스템 메모리(906)는 ROM(read only memory)(910)과 RAM(random access memory)(912)를 포함한다. BIOS(basic input/output system)는 ROM, EPROM, EEPROM과 같은 비휘발성 메모리(910)에 저장되고, 스타트업(start-up) 동안과 같은 때, BIOS는 컴퓨터(902) 내의 소자들 간의 정보 전송을 돕는 기본 루틴들을 포함한다. RAM(912)은 또한 데이터를 캐쉬(cache)하기 위해 SRAM과 같은 고속 RAM을 포함할 수 있다.
컴퓨터(902)는 내부 하드 디스크 드라이브(HDD)(914)(예를 들어, EIDA, SATA) -내부 하드 디스크 드라이브(914)는 또한 적절한 격자(도시 생략)에서 외부 사용을 위해 설정될 수 있음-, 자기 플로피 디스크 드라이브(FDD)(916)(예를 들어, 분리형 디스켓(918)에 읽고 쓰기 위해), 및 광 디스크 드라이브(920)(예를 들어, CD-ROM 디스크(922)를 읽거나, 또는 DVD와 같은 다른 대용량 광 매체에 읽고 쓰기 위해)를 더 포함한다. 하드 디스크 드라이브(914), 자기 디스크 드라이브(916), 및 광 디스크 드라이브(920)는 하드 디스크 드라이브 인터페이스(924), 자기 디스크 드라이브 인터페이스(926), 및 광 드라이브 인터페이스(928) 각각에 의해 시스템 버스(908)에 접속될 수 있다. 외부 드라이브 구현들을 위한 인터페이스(924)는 USB(universal serial bus)와 IEEE1394 인터페이스 기술들 중의 적어도 하나 또는 둘 다를 포함한다.
드라이브들 및 그들의 연관된 컴퓨터-판독가능 매체는 데이터의 비휘발성 저장 장치, 데이터 구조, 컴퓨터-실행가능 명령 등을 제공한다. 컴퓨터(902)에 대해, 드라이브들과 매체들은 적합한 디지털 형식으로 임의의 데이터의 저장을 포함한다. 위의 컴퓨터-판독가능 매체의 설명이 HDD, 분리형 자기 디스켓, 및 CD나 DVD와 같은 분리형 광 매체를 언급하지만, 예를 들어, zip 드라이브, 자기 카세트, 플래쉬 메모리 카드, 카트리지 등과 같은 컴퓨터에 의해 판독가능한 다른 유형들의 매체가 또한 운영 환경의 예에서 사용될 수 있으며, 또한, 임의의 그런 매체는 본 발명의 방법들을 수행하는 컴퓨터-실행가능한 명령들을 포함할 수 있음을 당업자들은 이해해야 한다.
다수의 프로그램 모듈들은 운영 체제(930), 한 개 이상의 응용 프로그램들(932), 기타 프로그램 모듈들(934), 및 프로그램 데이터(936)를 포함하는 드라이브들 및 RAM(912)에 저장될 수 있다. 운영 체제, 응용 프로그램, 모듈, 및/또는 데이터의 전부 또는 일부는 또한 RAM(912)에 캐쉬될 수 있다.
본 발명은 다양하게 상업적으로 이용가능한 운영 체제들 또는 운영 체제들의 조합들로 구현될 수 있음을 이해할 것이다.
사용자는, 예를 들어, 키보드(938) 및 마우스(940) 등의 포인팅 디바이스와 같은 한 개 이상의 유선/무선 입력 디바이스들을 통해 컴퓨터(902)로 커맨드와 정보를 입력할 수 있다. 기타의 입력 디바이스들(도시 생략)로는, 마이크로폰, IR 원격 제어기, 조이스틱, 게임 패드, 스타일러스 펜, 터치 스크린 등을 포함할 수 있다. 이들과 다른 입력 디바이스들은 종종 시스템 버스(908)에 결합된 입력 디바이스 인터페이스(942)를 통해 프로세싱 유닛(904)으로 접속되지만, 병렬 포트, IEEE 1394 직렬 포트, 게임 포트, USB 포트, IR 인터페이스 등과 같은 다른 인터페이스들에 의해 접속될 수 있다.
모니터(944) 또는 다른 유형의 디스플레이 디바이스는 또한, 비디오 어댑터(946)와 같은 인터페이스를 통해 시스템 버스(908)에 접속된다. 모니터(944)에 추가하여, 컴퓨터는 통상적으로, 스피커, 프린터 등과 같은, 다른 출력 주변 디바이스들(도시 안됨)을 포함한다.
컴퓨터(902)는 원격 컴퓨터(들)(948)와 같은 한 개 이상의 원격 컴퓨터들에 유선 및/또는 무선 통신을 통해 논리 접속을 사용하여 통신망 환경에서 동작할 수 있다. 원격 컴퓨터(들)(948)는 워크스테이션, 서버 컴퓨터, 라우터, 개인용 컴퓨터, 휴대용 컴퓨터, 마이크로프로세서-기반 오락 기기, 피어(peer) 디바이스, 또는 다른 일반 통신망 노드일 수 있고, 단순성을 위해, 단지 메모리 저장 디바이스(950)만이 도시되었지만, 통상적으로 컴퓨터(902)에 관련되어 기재된 소자들 중의 다수 또는 전부를 포함한다. 도시된 논리 접속들은 LAN(local area network)(952) 및/또는, 예를 들어, WAN(wide area network)(954)과 같은 더 큰 통신망들로의 유/무선 접속을 포함한다. 그런 LAN 및 WAN 통신망 환경들은 사무실 및 회사에서 일반적이고, 인터넷과 같은, 기업-전반 컴퓨터 통신망을 용이하게 하며, 이들 모두는, 예를 들어, 인터넷과 같은, 범용 통신망에 접속할 수 있다.
LAN 통신망 환경에서 사용될 때, 컴퓨터(902)는 유선 및/또는 무선 통신망 인터페이스나 어댑터(956)를 통해 로컬 통신망(952)에 접속된다. 어댑터(956)는 무선 어댑터(956)와 통신하기 위해 위치된 무선 액세스 포인트를 또한 포함할 수 있는 LAN(952)으로의 유선 또는 무선 통신을 용이하게 할 수 있다. WAN 통신망 환경에서 사용될 때, 컴퓨터(902)는 모뎀(958)을 포함할 수 있거나, LAN 상의 통신 서버에 접속되거나, 또는, 인터넷을 통해서와 같이, WAN(954)을 통한 통신을 개설하는 다른 수단을 가진다. 내장이나 외장일 수 있는 모뎀(958) 및 무선이나 유선 디바이스는 직렬 포트 인터페이스(942)를 통해 시스템 버스(908)에 접속된다. 통신망 환경에서, 컴퓨터(902), 또는 그 일부,에 관련하여 도시된 프로그램 모듈들은 원격 메모리/저장 디바이스(950)에 저장될 수 있다. 도시된 통신망 접속이 예일 뿐이고, 컴퓨터들 간에 통신 링크를 개설하는 다른 수단이 사용될 수 있음을 이해할 것이다.
컴퓨터(902)는, 예를 들어, 프린터, 스캐너, 데스크톱 및/또는 휴대용 컴퓨터, 휴대용 정보 단말기(PDA), 통신 위성, 무선으로 탐지가능한 태그와 연관된 설비 또는 위치의 임의의 부분(예를 들어, 키오스크, 뉴스 가판대, 화장실), 및 전화 와 같은, 무선 통신에 동작적으로 배치된 임의의 무선 디바이스 또는 개체와 통신하기 위해 동작가능하다. 이것은 적어도 Wi-Fi 및 Bluetooth™ 무선 기술들을 포함한다. 그러므로, 통신은 종래 통신망과 같이 미리 정의된 구조일 수 있거나, 단순히 적어도 2개의 디바이스들 간의 특별 통신일 수 있다.
Wi-Fi(Wireless Fidelity)는 선이 없이 집의 소파에서, 호텔방 침대에서, 또는 직장의 회의실에서 인터넷으로의 접속을 허용한다. Wi-Fi는, 기지국의 범위 내의 어디서든지, 예를 들어, 집안과 집밖에서 데이터를 송신하고 수신하기 위해, 예를 들어, 컴퓨터와 같은 그런 디바이스를 가동하는 셀폰과 같은 무선 기술이다. Wi-Fi 통신망들은 IEEE802.11(a, b, g 등)라고 불리우는 무선 기술들을 사용하여 안전하고 신뢰성있고, 신속한 무선 접속을 제공한다. Wi-Fi 통신망은 컴퓨터 서로간에, 인터넷에, 및 유선 통신망에(IEEE 802.3이나 이더넷을 사용함) 접속하기 위해 사용될 수 있다. Wi-Fi 통신망들은 11 Mbps(802.11b) 또는 54 Mbps(802.11a) 데이터 비율을 갖는, 무면허의 2.4 및 5 GHz 무선 밴드에서, 또는 그 2개의 밴드들을 포함하는 (듀얼 밴드) 제품들과 동작하여, 통신망들은 많은 사무실에서 사용되는 기본 10BaseT 유선 이더넷 통신망들과 유사한 실세계 성능을 제공할 수 있다.
도 10을 참조하면, 본 발명에 따른 컴퓨팅 환경의 예(1000)의 간략한 블록도가 도시되어 있다. 시스템(1000)은 한 개 이상의 클라이언트(들)(1002)를 포함한다. 클라이언트(들)(1002)는 하드웨어 및/또는 소프트웨어(예를 들어, 쓰레드, 프로세스, 컴퓨팅 디바이스)일 수 있다. 클라이언트(들)(1002)는, 예를 들어, 본 발명을 채택하여 쿠키(들) 및/또는 연관된 컨텍스트 정보를 포함할 수 있다. 시스템 (1000)은 또한 한 개 이상의 서버(들)(1004)를 포함한다. 서버(들)(1004)는 또한 하드웨어 및/또는 소프트웨어(예를 들어, 쓰레드, 프로세스, 컴퓨팅 디바이스)일 수 있다. 서버들(1004)은, 예를 들어, 본 발명을 채택하여 변환을 수행하기 위해 쓰레드들을 포함할 수 있다. 클라이언트(1002)와 서버(1004) 간의 한 가지 가능한 통신은 2개 이상의 컴퓨터 프로세스들 간에 전송되도록 적응된 데이터 패킷의 형태일 수 있다. 데이터 패킷은, 예를 들어, 쿠키 및/또는 연관된 컨텍스트 정보를 포함할 수 있다. 시스템(1000)은 클라이언트(들)(1002)와 서버(들)(1004) 간에 통신을 용이하게 하기 위해 채택될 수 있는 통신 프레임워크(1006)(예를 들어, 인터넷과 같은 범용 통신망)를 포함한다.
통신은 유선(광섬유를 포함함) 및/또는 무선 기술을 통해 용이하게 될 수 있다. 클라이언트(들)(1002)는 클라이언트(들)(1002)(예를 들어, 쿠키(들) 및/또는 연관된 컨텍스트 정보)에 로컬인 정보를 저장하기 위해 채택될 수 있는 한 개 이상의 클라이언트 데이터 저장소(들)(1008)에 동작적으로 접속된다. 유사하게, 서버(들)(1004)는 서버들(1004)에 로컬 정보를 저장하기 위해 채택될 수 있는 한 개 이상의 서버 데이터 저장소(들)(1010)에 동작적으로 접속된다.
상술된 것은 본 발명의 예들을 포함한다. 물론, 본 발명을 기재하는 목적으로 컴포넌트들 또는 방법들의 모든 생각할 수 있는 조합을 기재하는 것은 불가능하지만, 당업자들은 본 발명의 다수의 추가 조합들 및 순열들이 가능함을 인지할 것이다. 따라서, 본 발명은 첨부된 청구범위의 취지 및 범위에 속하는 모든 그런 변경, 수정, 및 변형을 포함하려고 의도된다. 더욱이, "포함한다(includes)"는 용어 가 상세한 설명 또는 청구범위에 사용되는 범위까지, 그런 용어는 "포함하는(comprising)"이 청구항에서 과도적(transitional) 단어로서 채택될 때 해석되는 것처럼 "포함하는(comprising)"이라는 용어에 유사한 방식으로 포괄적이려고 의도된다.
본 발명에 따르면, 디지털 정보를 인간의 지각 시스템에 매칭시키는 시스템이 제공된다. 시스템은 인입 디지털 정보의 흐름을 관찰하고, 그 정보의 한 개 이상의 특성들을 결정하는 트라이지 컴포넌트를 포함한다. 인간의 지각 데이터의 형태로 디지털 정보의 특성들 및 인간의 지각의 원칙들에 기초하여, 디지털 정보가 그것이 가장 잘 뷰잉되는 경우에 제공되도록 뷰잉 컴포넌트는 한 개 이상의 디스플레이들에 디지털 정보를 포커스하거나 디포커스한다. 다양한 실시예들에서, 멀티-모니터("멀티몬") 지원은 다른 작업들의 소자들을 정보 플레인들에 분리하기 위한 복수 개의 윈도우잉 및 윈도우 포지셔닝의 이득을 얻기 위해 사용된다.

Claims (38)

  1. 디지털 정보를 인간의 지각 시스템(human perception system)에 매칭시키는 것을 구현하는 시스템으로서,
    상기 디지털 정보의 특성을 결정하는 트라이지(triage) 컴포넌트; 및
    상기 디지털 정보의 특성에 따라 상기 디지털 정보를 제공하는 뷰잉(viewing) 컴포넌트
    를 포함하는 것을 특징으로 하는 시스템.
  2. 제1항에 있어서,
    상기 뷰잉 컴포넌트는 포커스 모드(focused mode) 및 주변 모드(peripheral mode) 중의 적어도 하나에 상기 디지털 정보를 제공하는 것을 특징으로 하는 시스템.
  3. 제1항에 있어서,
    상기 디지털 정보는 다른 뷰잉 플레인들(viewing planes)에 제공되는 것을 특징으로 하는 시스템.
  4. 제1항에 있어서,
    상기 디지털 정보는 다른 뷰잉 해상도들을 제공하는 것을 특징으로 하는 시 스템.
  5. 제1항에 있어서,
    상기 트라이지 컴포넌트는 인간의 지각 데이터에 기초하여 상기 특성을 결정하는 것을 특징으로 하는 시스템.
  6. 제1항에 있어서,
    상기 뷰잉 컴포넌트는 제1 컴퓨팅 디바이스에서 포커스 모드에 및 제2 컴퓨팅 디바이스에서 주변 모드에 상기 디지털 정보를 제공하는 것을 특징으로 하는 시스템.
  7. 제6항에 있어서,
    상기 제1 컴퓨팅 디바이스는 태블릿 개인용 컴퓨터인 것을 특징으로 하는 시스템.
  8. 제1항에 있어서,
    상기 특성에 따라 오디오 정보를 제공하는 오디오 컴포넌트를 더 포함하는 것을 특징으로 하는 시스템.
  9. 제1항에 있어서,
    상기 디지털 정보는 JIT(just-in-time) 비디오 데이터 전송에 따라 상기 뷰잉 컴포넌트로 전달되는 것을 특징으로 하는 시스템.
  10. 제1항의 시스템을 수행하기 위한 컴퓨터-실행가능한 명령들을 기록한 것을 특징으로 하는 컴퓨터 판독가능 매체.
  11. 제1항의 시스템을 채택하는 컴퓨터.
  12. 디지털 정보를 인간의 지각 시스템에 매칭시키는 것을 구현하는 시스템으로서,
    상기 디지털 정보의 특성을 결정하고, 인간의 지각 데이터에 따라 상기 특성을 처리하는 트라이지 컴포넌트;
    상기 디지털 정보 특성에 따라 포커스 모드와 디포커스 모드(defocused mode) 중의 적어도 하나에 상기 디지털 정보를 제공하는 뷰잉 컴포넌트; 및
    상기 특성에 따라 오디오 정보를 출력하는 오디오 컴포넌트
    를 포함하는 것을 특징으로 하는 시스템.
  13. 제12항에 있어서,
    상기 디지털 정보는 다른 뷰잉 플레인들 및 다른 뷰잉 해상도들에 제공되는 것을 특징으로 하는 시스템.
  14. 제12항에 있어서,
    상기 뷰잉 컴포넌트는 제1 컴퓨팅 디바이스의 포커스 모드 및 제2 컴퓨팅 디바이스의 주변 모드에 상기 디지털 정보를 제공하는 것을 특징으로 하는 시스템.
  15. 제14항에 있어서,
    상기 제1 컴퓨팅 디바이스는 태블릿 개인용 컴퓨터인 것을 특징으로 하는 시스템.
  16. 제12항에 있어서,
    상기 디지털 정보는 JIT 비디오 데이터 전송에 따라 상기 뷰잉 컴포넌트에 전달되는 것을 특징으로 하는 시스템.
  17. 제12항에 있어서,
    확률 및/또는 통계-기반 분석을 채택하여 사용자가 자동으로 수행되기를 바라는 액션을 예상하거나 유도하는 분류기를 더 포함하는 것을 특징으로 하는 시스템.
  18. 디지털 정보를 인간의 지각 시스템에 매칭시키는 방법을 수행하는 컴퓨터-실행가능한 명령들을 가진 컴퓨터 판독가능 매체로서, 상기 방법은,
    상기 디지털 정보의 특성을 결정하는 단계; 및
    상기 인간의 지각 시스템에 매칭시키기 위해 디지털 정보의 특성에 따라 상기 디지털 정보를 제공하는 단계
    를 포함하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
  19. 제18항에 있어서,
    상기 방법은 포커스 모드와 주변 모드 중의 적어도 하나에 상기 디지털 정보를 제공하는 단계를 더 포함하는 것을 특징으로 하는 매체.
  20. 제18항에 있어서,
    상기 디지털 정보가 다른 뷰잉 플레인들에 제공되는 것을 특징으로 하는 매체.
  21. 제18항에 있어서,
    상기 방법은 다른 뷰잉 해상도들에서 상기 디지털 정보를 제공하는 단계를 더 포함하는 것을 특징으로 하는 매체.
  22. 제18항에 있어서,
    상기 방법은 인간의 지각 데이터에 기초하여 상기 특성을 결정하는 단계를 더 포함하는 것을 특징으로 하는 매체.
  23. 제18항에 있어서,
    상기 디지털 정보는 제1 컴퓨팅 디바이스의 포커스 모드에 및 제2 컴퓨팅 디바이스의 주변 모드에 제공되는 것을 특징으로 하는 매체.
  24. 제23항에 있어서,
    상기 제1 컴퓨팅 디바이스는 태블릿 개인용 컴퓨터인 것을 특징으로 하는 매체.
  25. 제18항에 있어서,
    상기 방법은 상기 특성에 따라 오디오 정보를 제공하는 단계를 더 포함하는 것을 특징으로 하는 매체.
  26. 제18항에 있어서,
    상기 방법은 JIT 비디오 데이터 전송에 따라 상기 디지털 정보를 전달하는 단계를 더 포함하는 것을 특징으로 하는 매체.
  27. 제18항에 있어서,
    상기 방법은 사용자가 자동으로 수행되기를 바라는 액션(action)을 예상하거나 유도하기 위해 확률 및/또는 통계-기반 분석을 채택하는 분류기를 더 포함하는 것을 특징으로 하는 매체.
  28. 제18항에 있어서,
    상기 방법은 복수 개의 디스플레이 디바이스들에 따라 주변 플레인을 제공하는 단계를 더 포함하는 것을 특징으로 하는 매체.
  29. 제28항에 있어서,
    상기 주변 플레인은 무선으로 통신되는 것을 특징으로 하는 매체.
  30. 제18항에 있어서,
    상기 방법은 주변 디스플레이에 로컬인 그래픽 데이터를 프로세싱하는 단계를 더 포함하는 것을 특징으로 하는 매체.
  31. 제18항에 있어서,
    상기 방법은 비디오 신호들과 분리하여 및 상기 비디오 신호들과 조합하여 중의 적어도 하나로 오디오 신호들을 처리하는 단계를 더 포함하는 것을 특징으로 하는 매체.
  32. 디지털 정보를 인간의 지각 시스템에 매칭시키는 방법으로서,
    상기 디지털 정보의 특성을 결정하는 단계; 및
    상기 인간의 지각 시스템에 매칭시키기 위해 디지털 정보 특성에 따라 포커스 모드와 주변 모드 중의 적어도 하나에 상기 디지털 정보를 제공하는 단계
    를 포함하는 것을 특징으로 하는 방법.
  33. 제32항에 있어서,
    상기 포커스 모드와 상기 주변 모드 모두를 구현하는 한 개의 플레인에 상기 디지털 정보를 제공하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  34. 제32항에 있어서,
    주변 플레인들을 구동하는 컴퓨팅 디바이스 주위에 위치된 복수 개의 상기 주변 플레인들에 상기 주변 모드의 주변 정보를 제공하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  35. 제32항에 있어서,
    상기 포커스 모드는 랩톱 컴퓨터와 테이블 컴퓨터 중의 적어도 하나에 제공되는 것을 특징으로 하는 방법.
  36. 제32항에 있어서,
    버추얼 북(virtual book)을 읽는 것을 구현하는 버추얼 책장(virtual bookshelf)를 제공하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  37. 제32항에 있어서,
    방 주위에 위치된 복수 개의 주변 플레인들에 따라 JIT 픽셀들을 제공하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  38. 제32항에 있어서,
    포컬 플레인과 주변 플레인 간의 문서 또는 객체 이동에 응답하여 오디오 신호를 제공하는 단계를 더 포함하는 것을 특징으로 하는 방법.
KR1020050061364A 2004-07-08 2005-07-07 디지털 정보 흐름을 인간의 지각 시스템에 매칭시키는 방법 KR101150115B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/886,879 2004-07-08
US10/886,879 US7173619B2 (en) 2004-07-08 2004-07-08 Matching digital information flow to a human perception system

Publications (2)

Publication Number Publication Date
KR20060049938A true KR20060049938A (ko) 2006-05-19
KR101150115B1 KR101150115B1 (ko) 2012-06-08

Family

ID=35134652

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050061364A KR101150115B1 (ko) 2004-07-08 2005-07-07 디지털 정보 흐름을 인간의 지각 시스템에 매칭시키는 방법

Country Status (10)

Country Link
US (2) US7173619B2 (ko)
EP (1) EP1615202B1 (ko)
JP (1) JP4979901B2 (ko)
KR (1) KR101150115B1 (ko)
CN (1) CN1719399B (ko)
AU (1) AU2005202774B2 (ko)
BR (1) BRPI0502581A (ko)
CA (1) CA2511448C (ko)
MX (1) MXPA05007454A (ko)
RU (1) RU2383928C2 (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8359546B2 (en) * 1997-09-11 2013-01-22 Harold Lee Peterson System, method and computer-readable medium for online marketing and visual presentations of software programs
US7073158B2 (en) * 2002-05-17 2006-07-04 Pixel Velocity, Inc. Automated system for designing and developing field programmable gate arrays
US7554521B1 (en) * 2004-04-15 2009-06-30 Apple Inc. User interface control for changing a parameter
FI20040667L (fi) * 2004-05-11 2005-11-12 Ritva Laijoki-Puska Menetelmä ja järjestely virtuaalimaiseman esittämiseksi
US7661065B2 (en) * 2005-05-24 2010-02-09 Microsoft Corporation Systems and methods that facilitate improved display of electronic documents
JP4933129B2 (ja) * 2006-04-04 2012-05-16 クラリオン株式会社 情報端末および簡略−詳細情報の表示方法
US20080036864A1 (en) * 2006-08-09 2008-02-14 Mccubbrey David System and method for capturing and transmitting image data streams
US20080151049A1 (en) * 2006-12-14 2008-06-26 Mccubbrey David L Gaming surveillance system and method of extracting metadata from multiple synchronized cameras
WO2008103850A2 (en) * 2007-02-21 2008-08-28 Pixel Velocity, Inc. Scalable system for wide area surveillance
US7889175B2 (en) * 2007-06-28 2011-02-15 Panasonic Corporation Touchpad-enabled remote controller and user interaction methods
US20090086023A1 (en) * 2007-07-18 2009-04-02 Mccubbrey David L Sensor system including a configuration of the sensor as a virtual sensor device
ITRM20080144A1 (it) * 2008-03-17 2009-09-18 Link Formazione S R L Sportello virtuale interattivo.
KR20100030968A (ko) * 2008-09-11 2010-03-19 엘지전자 주식회사 단말기 및 그의 메뉴 디스플레이 방법
US9086780B2 (en) * 2008-10-03 2015-07-21 Digital Delivery Networks, Inc. System, method and computer-readable medium for visual presentation of aspect of software programs
KR20100064177A (ko) * 2008-12-04 2010-06-14 삼성전자주식회사 전자장치 및 그의 디스플레이방법
US20100141552A1 (en) * 2008-12-04 2010-06-10 Andrew Rodney Ferlitsch Methods and Systems for Imaging Device and Display Interaction
US20120154256A1 (en) * 2010-08-06 2012-06-21 Brett Loring Grover Visual Display System
US9032042B2 (en) * 2011-06-27 2015-05-12 Microsoft Technology Licensing, Llc Audio presentation of condensed spatial contextual information
US8958569B2 (en) 2011-12-17 2015-02-17 Microsoft Technology Licensing, Llc Selective spatial audio communication
EP3276455A4 (en) 2015-03-27 2018-03-21 Fujitsu Limited Display method, program, and display control device
IL300511A (en) 2017-03-22 2023-04-01 Magic Leap Inc Depth-based rendering for display systems
US11238836B2 (en) * 2018-03-16 2022-02-01 Magic Leap, Inc. Depth based foveated rendering for display systems
US11592813B2 (en) * 2018-12-17 2023-02-28 Robert Bosch Gmbh Method and controller for the situational transmission of surroundings information of a vehicle

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4028725A (en) * 1976-04-21 1977-06-07 Grumman Aerospace Corporation High-resolution vision system
US4479784A (en) * 1981-03-03 1984-10-30 The Singer Company Eye line-of-sight responsive wide angle visual system
JP3245655B2 (ja) * 1990-03-05 2002-01-15 インキサイト ソフトウェア インコーポレイテッド 作業スペースの表示処理方法
US5320534A (en) * 1990-11-05 1994-06-14 The United States Of America As Represented By The Secretary Of The Air Force Helmet mounted area of interest (HMAoI) for the display for advanced research and training (DART)
US5274363A (en) * 1991-02-01 1993-12-28 Ibm Interactive display system
US5348477A (en) * 1992-04-10 1994-09-20 Cae Electronics Ltd. High definition television head mounted display unit
US5310349A (en) * 1992-04-30 1994-05-10 Jostens Learning Corporation Instructional management system
JP2868389B2 (ja) * 1993-06-14 1999-03-10 株式会社エイ・ティ・アール通信システム研究所 画像表示装置
JP2896291B2 (ja) * 1993-06-14 1999-05-31 株式会社エイ・ティ・アール通信システム研究所 画像表示装置
JPH0824358B2 (ja) * 1993-08-16 1996-03-06 工業技術院長 画像ディスプレー装置
US5499330A (en) * 1993-09-17 1996-03-12 Digital Equipment Corp. Document display system for organizing and displaying documents as screen objects organized along strand paths
JP3697276B2 (ja) * 1993-10-27 2005-09-21 ゼロックス コーポレイション 画像ディスプレイ方法及び画像ディスプレイ装置並びに画像スケーリング方法
JP3143558B2 (ja) * 1994-02-02 2001-03-07 キヤノン株式会社 画像表示方法および装置
US5682486A (en) * 1995-03-14 1997-10-28 International Business Machines Corporation Video display and control of multiple graphical interfaces
US5790794A (en) * 1995-08-11 1998-08-04 Symbios, Inc. Video storage unit architecture
US6112201A (en) * 1995-08-29 2000-08-29 Oracle Corporation Virtual bookshelf
US5678015A (en) * 1995-09-01 1997-10-14 Silicon Graphics, Inc. Four-dimensional graphical user interface
US5838318A (en) * 1995-11-10 1998-11-17 Intel Corporation Method and apparatus for automatically and intelligently arranging windows on a display device
US5754809A (en) * 1995-12-12 1998-05-19 Dell U.S.A., L.P. Perspective windowing technique for computer graphical user interface
GB2310988B (en) * 1996-03-08 2000-11-08 Ibm Graphical user interface
US5880733A (en) * 1996-04-30 1999-03-09 Microsoft Corporation Display system and method for displaying windows of an operating system to provide a three-dimensional workspace for a computer system
US6043818A (en) * 1996-04-30 2000-03-28 Sony Corporation Background image with a continuously rotating and functional 3D icon
US5920315A (en) * 1996-07-17 1999-07-06 International Business Machines Corporation Multi-pane window with recoiling workspaces
US5838326A (en) * 1996-09-26 1998-11-17 Xerox Corporation System for moving document objects in a 3-D workspace
US6011872A (en) * 1996-11-08 2000-01-04 Sharp Laboratories Of America, Inc. Method of generalized content-scalable shape representation and coding
US6252989B1 (en) * 1997-01-07 2001-06-26 Board Of The Regents, The University Of Texas System Foveated image coding system and method for image bandwidth reduction
US6104359A (en) * 1997-01-24 2000-08-15 Microsoft Corporation Allocating display information
US5923307A (en) * 1997-01-27 1999-07-13 Microsoft Corporation Logical monitor configuration in a multiple monitor environment
US6018340A (en) * 1997-01-27 2000-01-25 Microsoft Corporation Robust display management in a multiple monitor environment
US6198483B1 (en) * 1997-01-30 2001-03-06 Ken Launais Motion user interface
US5949430A (en) * 1997-05-20 1999-09-07 Microsoft Corporation Peripheral lenses for simulating peripheral vision on a display device
US6232974B1 (en) * 1997-07-30 2001-05-15 Microsoft Corporation Decision-theoretic regulation for allocating computational resources among components of multimedia content to improve fidelity
USH1812H (en) * 1997-10-24 1999-11-02 Sun Microsystems, Inc. Method for encoding bounding boxes of drawing primitives to be rendered for multi-resolution supersampled frame buffers
US6308187B1 (en) * 1998-02-09 2001-10-23 International Business Machines Corporation Computer system and method for abstracting and accessing a chronologically-arranged collection of information
US6044178A (en) * 1998-03-10 2000-03-28 Seiko Epson Corporation LCD projector resolution translation
US6647119B1 (en) * 1998-06-29 2003-11-11 Microsoft Corporation Spacialization of audio with visual cues
US6160553A (en) * 1998-09-14 2000-12-12 Microsoft Corporation Methods, apparatus and data structures for providing a user interface, which exploits spatial memory in three-dimensions, to objects and in which object occlusion is avoided
US6243093B1 (en) * 1998-09-14 2001-06-05 Microsoft Corporation Methods, apparatus and data structures for providing a user interface, which exploits spatial memory in three-dimensions, to objects and which visually groups matching objects
US6490011B1 (en) * 1998-12-18 2002-12-03 Caterpillar Inc Display device convertible between a cave configuration and a wall configuration
US6549218B1 (en) * 1999-03-31 2003-04-15 Microsoft Corporation Dynamic effects for computer display windows
US6665985B1 (en) * 1999-09-09 2003-12-23 Thinc Virtual reality theater
US7134095B1 (en) * 1999-10-20 2006-11-07 Gateway, Inc. Simulated three-dimensional navigational menu system
US6714214B1 (en) * 1999-12-07 2004-03-30 Microsoft Corporation System method and user interface for active reading of electronic content
US6806892B1 (en) * 1999-12-20 2004-10-19 International Business Machines Corporation Layer viewport for enhanced viewing in layered drawings
US6938069B1 (en) * 2000-03-18 2005-08-30 Computing Services Support Solutions Electronic meeting center
US6714215B1 (en) * 2000-05-19 2004-03-30 Microsoft Corporation System and method for displaying media interactively on a video display device
US7010483B2 (en) * 2000-06-02 2006-03-07 Canon Kabushiki Kaisha Speech processing system
US6791530B2 (en) * 2000-08-29 2004-09-14 Mitsubishi Electric Research Laboratories, Inc. Circular graphical user interfaces
US7068813B2 (en) * 2001-03-28 2006-06-27 Koninklijke Philips Electronics N.V. Method and apparatus for eye gazing smart display
US6803912B1 (en) * 2001-08-02 2004-10-12 Mark Resources, Llc Real time three-dimensional multiple display imaging system
US20030067476A1 (en) * 2001-10-04 2003-04-10 Eastman Kodak Company Method and system for displaying an image
US7146313B2 (en) 2001-12-14 2006-12-05 Microsoft Corporation Techniques for measurement of perceptual audio quality
US7146573B2 (en) * 2002-01-28 2006-12-05 International Business Machines Corporation Automatic window representation adjustment
JP4465142B2 (ja) * 2002-01-30 2010-05-19 富士通株式会社 ウィンドウ表示制御プログラム、ウィンドウ表示制御方法およびウィンドウ表示制御装置
US6943811B2 (en) * 2002-03-22 2005-09-13 David J. Matthews Apparatus and method of managing data objects
US7129981B2 (en) * 2002-06-27 2006-10-31 International Business Machines Corporation Rendering system and method for images having differing foveal area and peripheral view area resolutions
JP3760903B2 (ja) * 2002-08-22 2006-03-29 セイコーエプソン株式会社 画像表示装置
US7913183B2 (en) 2002-10-08 2011-03-22 Microsoft Corporation System and method for managing software applications in a graphical user interface
US7176943B2 (en) 2002-10-08 2007-02-13 Microsoft Corporation Intelligent windows bumping method and system
US20040066407A1 (en) 2002-10-08 2004-04-08 Microsoft Corporation Intelligent windows movement and resizing
US6890077B2 (en) * 2002-11-27 2005-05-10 The Boeing Company Method and apparatus for high resolution video image display
JP4005904B2 (ja) * 2002-11-27 2007-11-14 松下電器産業株式会社 表示装置、及び表示方法
JP3962322B2 (ja) * 2002-12-26 2007-08-22 松下電器産業株式会社 携帯電子機器
US8230359B2 (en) * 2003-02-25 2012-07-24 Microsoft Corporation System and method that facilitates computer desktop use via scaling of displayed objects with shifts to the periphery
US7872635B2 (en) * 2003-05-15 2011-01-18 Optimetrics, Inc. Foveated display eye-tracking system and method
JP4038689B2 (ja) * 2004-01-21 2008-01-30 ソニー株式会社 表示制御装置および方法、記録媒体、並びにプログラム

Also Published As

Publication number Publication date
MXPA05007454A (es) 2006-02-22
US20060007242A1 (en) 2006-01-12
JP2006072323A (ja) 2006-03-16
CN1719399A (zh) 2006-01-11
EP1615202B1 (en) 2018-10-03
JP4979901B2 (ja) 2012-07-18
RU2383928C2 (ru) 2010-03-10
US7548239B2 (en) 2009-06-16
BRPI0502581A (pt) 2006-02-21
CN1719399B (zh) 2010-04-21
AU2005202774A1 (en) 2006-02-02
US7173619B2 (en) 2007-02-06
RU2005121438A (ru) 2007-01-20
KR101150115B1 (ko) 2012-06-08
EP1615202A3 (en) 2009-09-02
US20060290714A1 (en) 2006-12-28
CA2511448A1 (en) 2006-01-08
CA2511448C (en) 2013-11-26
AU2005202774B2 (en) 2010-06-10
EP1615202A2 (en) 2006-01-11

Similar Documents

Publication Publication Date Title
KR101150115B1 (ko) 디지털 정보 흐름을 인간의 지각 시스템에 매칭시키는 방법
US10031712B2 (en) System and method for display mirroring
US9489165B2 (en) System and method for virtual displays
US7561116B2 (en) Multiple display monitor
US8362971B1 (en) Independent views generated for multiple display devices by a software application
US9524140B2 (en) Apparatus and system for managing multiple computers
JP5082722B2 (ja) 画像表示装置及び画像表示システム
JP2007065356A (ja) 合成オブジェクト表示装置、合成オブジェクト表示方法およびプログラム
JP2020135863A (ja) 情報処理装置、情報処理システム及び情報処理方法

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20050707

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20100701

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20050707

Comment text: Patent Application

PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20110721

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20120323

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20120518

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20120518

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20150414

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20160419

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20160419

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20170420

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20170420

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20180417

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20180417

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20190417

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20190417

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20200417

Start annual number: 9

End annual number: 9