[go: up one dir, main page]

KR20190013475A - 통합된 이미징 및 힘 센싱 양식을 갖는 승무원 자동화 시스템 및 방법 - Google Patents

통합된 이미징 및 힘 센싱 양식을 갖는 승무원 자동화 시스템 및 방법 Download PDF

Info

Publication number
KR20190013475A
KR20190013475A KR1020180075198A KR20180075198A KR20190013475A KR 20190013475 A KR20190013475 A KR 20190013475A KR 1020180075198 A KR1020180075198 A KR 1020180075198A KR 20180075198 A KR20180075198 A KR 20180075198A KR 20190013475 A KR20190013475 A KR 20190013475A
Authority
KR
South Korea
Prior art keywords
aircraft
cockpit
pilot
flight
automation system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
KR1020180075198A
Other languages
English (en)
Inventor
보스워스 윌리엄
리차드 젠센 데빈
레이건 마가렛
Original Assignee
오로라 플라이트 사이언시스 코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오로라 플라이트 사이언시스 코퍼레이션 filed Critical 오로라 플라이트 사이언시스 코퍼레이션
Publication of KR20190013475A publication Critical patent/KR20190013475A/ko
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02—Initiating means
    • B64C13/16—Initiating means actuated automatically, e.g. responsive to gust detectors
    • B64C13/18—Initiating means actuated automatically, e.g. responsive to gust detectors using automatic pilot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/085—Force or torque sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/02—Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type
    • B25J9/04—Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type by rotating at least one arm, excluding the head movement itself, e.g. cylindrical coordinate type or polar coordinate type
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02—Initiating means
    • B64C13/04—Initiating means actuated personally
    • B64C13/08—Trimming zero positions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02—Initiating means
    • B64C13/16—Initiating means actuated automatically, e.g. responsive to gust detectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02—Initiating means
    • B64C13/16—Initiating means actuated automatically, e.g. responsive to gust detectors
    • B64C13/22—Initiating means actuated automatically, e.g. responsive to gust detectors readily revertible to personal control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D43/00—Arrangements or adaptations of instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L5/00—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
    • G01L5/0028—Force sensors associated with force applying means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L5/00—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
    • G01L5/0061—Force sensors associated with industrial machines or actuators
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft
    • G08G5/50—Navigation or guidance aids
    • G08G5/51—Navigation or guidance aids for control when on the ground, e.g. taxiing or rolling
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L5/00—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T50/00—Aeronautics or air transport
    • Y02T50/40—Weight reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Vascular Medicine (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Structures Of Non-Positive Displacement Pumps (AREA)
  • Excavating Of Shafts Or Tunnels (AREA)
  • Navigation (AREA)
  • Manipulator (AREA)

Abstract

비행 제어 시스템들, 방법들 및 기구들 분야에 관한 승무원 자동화 시스템에 관한 것으로, 보다 상세하게는, 통합된 이미징 및 힘 센싱 기법들을 갖는 로봇 아암 채용하는 자동화된 승무원 및/또는 항공기 상태 모니터링을 제공하기 위한 시스템, 방법 및 기구에 관한 것이다.

Description

통합된 이미징 및 힘 센싱 기법들을 갖는 승무원 자동화 시스템 및 방법{AIRCREW AUTOMATION SYSTEM AND METHOD WITH INTEGRATED IMAGING AND FORCE SENSING MODALITIES}
본 개시는 비행 제어 시스템들, 방법들 및 기구들 분야에 관한 것으로서, 보다 상세하게는, 통합된 이미징 및 힘 센싱 기법들(integrated imaging and force sensing modalities)을 갖는 로봇 아암(robotic arm) 채용하는 자동화된 승무원 및/또는 항공기 상태 모니터링을 제공하기 위한 시스템, 방법 및 기구에 관한 것이다.
조종실들에서의 자동화에 대한 최근의 경험은 비행 갑판들에 추가적인 기능을 더하는 이전의 접근법들이 복잡성을 증가시키고, 자동화에 대한 과도한 의존을 야기하며, 그리고 특히 중대한 상황들 동안에 반드시 작업부하를 줄이지 않을 수도 있다는 것을 보여줘 왔다. 추가적인 도전은 항공전자공학 제조사들이 높은 신뢰성과 입증가능성을 제공하기 위해서 엄격한 요구사항들-기반의 설계를 도입했고 임의의 희망하는 개선들에 대한 명령들을 변경했다는 것이다. 따라서, 레거시 항공기의 전환은 일반적으로 지나치게 비용이 많이 들며 그리고 요구사항들, 검증 및 테스트에 큰 자본 투자를 요구한다.
Virginia Manassas의 Aurora Flight Sciences Corporation는 이륙, 항행(cruise) 및 착륙 동안 다이아몬드 DA42 트윈 스타(Diamond DA42 Twin Star)를 작동할 수 있는 오른쪽좌석 조종사 보조(right-seat pilot assistant)를 이전에 개발했다. Centaur라고 불리는 오른쪽좌석 조종사 보조는 원래의 유형의 인증(original type certificate)에 영향을 미치지 않으면서 DA42에 설치되거나 DA42로부터 제거될 수 있으며, 따라서 항공기의 원래의 인증을 유지할 수 있다. Centaur는 그 자체 항법전자 슈트(avionics suite) 및 기본 비행 제어장치들(primary flight controls)의 기계적 작동을 포함하며, 감독 역할의 조종사와 함께 또는 완전한 무인 항공기로써 사용될 수 있다. 예를 들어, Centaur는 랩톱 상에서 비행 계획을 지시(direct)하면서 비행기의 뒷좌석에 있는 조작자에 의해 조종될 수 있다. Centaur는 많은 특징들을 제공하지만, 그것은 특정 결점들에 시달린다. 특히, (1) Centaur 하드웨어는 다른 항공기로 이동가능하지(portable) 않고, 다른 능력들로 확장가능한(extensible) 소프트웨어 플러그-앤드-플레이가 아니다. (2) Centaur 시스템의 부분들은 침입적(invasive)이며 항공기(즉, DA42)에 매우 특정한 방식으로 배선하는 기존의 항공전자로의 컷팅(cutting)을 필요로 한다. (3) Centaur는 탑승해있는 조종사(onboard pilot)가 조작자(operator)가 되는 것 및 비행 계획을 지시하는 것과 같은 업무들(tasks)을 수행하는 것을 허용하지 않는다. (4) Centaur는 동작중인 항공기에 대한 지식을 획득하지 못한다.
따라서, 새로운 능력들의 신속한 도입, 안전성 향상, 기능성 성장, 및 조종사 작업부하(workload)의 감소를 - 많은 비용이나 재인증 없이 - 가능하게 하는 개방형 아키텍처 시스템의 필요성이 존재한다. 효과적으로 디지털 비행 엔지니어로서 기능할 수 있는 연속적인 항공기 상태 모니터링 및 정보 증진을 조종사에게 제공할 필요성도 또한 존재한다. 본 명세서에 개시된 바와 같은 승무원 자동화 시스템은 이러한 필요성들을 해결하고, 기체(airframe)들에 걸쳐 이동가능하면서(예컨대, 임시 설치들을 통해) 새로운 능력들이 최소한의 인증 부담으로 신속하게 도입될 수 있게 한다. 논의될 바와 같이, 승무원 자동화 시스템은 다양한 최종 사용자들에게 상당한 이점을 제공할 수 있다. 일 적용례는 피로와 지루함이 승무원 주의력의 감소를 야기할 수 있는 경우의 항공기의 동작을 포함하는데, 이 경우 승무원 자동화 시스템은 조종사에게 경고함으로써 그리고 어떤 경우에는 항공기의 제어를 가정함으로써 항공기 동작에서의 위험요소를 줄인다. 인적 과실(human error)에 대한 잠재적 가능성이 항공기의 광범위한 사용(예컨대, 저고도 동작들), 동기화된 동작들, 무인 비행들, 유인 비행 리드(manned flight lead)를 갖는 무인 편대들(unmanned formations) 및 종합적인 데이터 로깅(data logging)으로 인해 향상된 보고 능력들을 현재 제한하는 경우에 다른 적용례들이 존재한다.
본 발명은 비행 제어 시스템들, 방법들 및 기구들(apparatuses)을 지향한다; 더욱 상세하게는, 통합 이미징 및 힘 센싱 기법들을 갖는 로봇 아암(robotic arm)을 채용하는 자동화된 승무원 및/또는 항공기 상태 모니터링을 제공하기 위한 시스템, 방법 및 기구를 지향한다.
제1 양상에 따르면, 항공기에서 사용하기 위한 승무원 자동화 시스템은: 하나 이상의 인터페이스를 통해 복수의 시스템 또는 서브시스템을 동작적으로 연결하도록(operatively connect) 그리고 비행 상황 데이터에 적어도 부분적으로 기초하여 상기 항공기의 비행 제어 시스템에 명령을 전달(communicate)하도록 구성되는 코어 플랫폼(core platform);과 명령을 실행하고 데이터를 수집하기 위하여 상기 코어 플랫폼과 동작적으로 결합된(operatively coupled) 작동 시스템(actuation system);을 포함하되, 상기 작동 시스템은: 상기 비행 제어 시스템에 대응하는 하나 이상의 조종실 계기를 시각적으로 식별하도록 구성되는 광학 센서; 상기 작동 시스템이 상기 하나 이상의 조종실 계기와 접촉할 때의 힘(force)을 측정하도록 구성되는 힘 센서(force sensor); 및 상기 광학 센서와 상기 압력 센서에 의해 수집된 데이터에 기초하여 상기 하나 이상의 조종실 계기의 위치, 타입, 포지션(position)을 맵핑하는 데이터 획득 시스템;을 포함한다.
소정의 양상들에서, 광학 센서는 적외선 카메라 및 시각(광학) 카메라(visual camera) 중 하나이다.
소정의 양상들에서, 힘 센서는 제어기(controller)에 의해 개별적으로 조작할 수 있는 하나 이상의 디지트들(digits)을 포함한다.
소정의 양상들에서, 각 디지트는 각각의 힘 센서를 포함한다.
소정의 양상들에서, 작동 시스템은 조종실 환경 내에서 6 자유도(six degrees of freedom)로 기동하도록 구성된 로봇 아암을 포함한다.
소정의 양상들에서, 상기 광학 센서 및 상기 힘 센서는 상기 로봇 아암의 원위단(distal end)에 함께 배치되고(collocated), 상기 원위단은 상기 하나 이상의 조종실 계기를 이미징(image) 및 접촉(contact)하도록 구성된다.
소정의 양상들에서, 승무원 자동화 시스템은 상기 항공기에 따른 특정한 정보를 결정하기 위해 상기 코어 플랫폼과 동작적으로 결합된 지식 획득 시스템(knowledge acquisition system)을 더 포함한다.
소정의 양상들에서, 지식 획득은 하나 이상의 조종실 계기(cockpit instrument)의 힘 프로파일(force profile)에 대응하는 힘 값들(force values)의 매트릭스에 액세스(access)하도록 구성된다.
소정의 양상들에서, 제어기는 각각의 힘 프로파일에 기초하여 하나 이상의 조종실 계기의 조종실 계기를 식별하기 위해 힘 센서로부터 측정된 데이터를 힘 값들의 매트릭스와 비교하도록 구성된다.
소정의 양상들에서, 지식 획득은 하나 이상의 조종실 계기의 레이아웃에 대응하는 이미지 데이터의 매트릭스에 액세스하도록 구성된다.
소정의 양상들에서, 상기 제어기는 상기 레이아웃에 따른 상기 조종실 계기의 위치에 기초하여 상기 하나 이상의 조종실 계기의 조종실 계기를 식별하기 위해 상기 광학 센서로부터 측정된 데이터를 상기 이미지 데이터의 매트릭스와 비교하도록 구성된다.
소정의 양상들에서, 승무원 자동화 시스템은 비행 상황 데이터를 생성하기 위해 상기 항공기의 상기 하나 이상의 조종실 계기를 모니터링(monitor)하도록 상기 코어 플랫폼과 동작적으로 결합된 인지 시스템(perception system)을 더 포함한다.
소정의 양상들에서, 승무원 자동화 시스템은 조종사에게 데이터를 디스플레이하고 조종사로부터 명령들을 받기 위한 상기 조종사와 상기 승무원 자동 시스템 간의 인터페이스를 제공하기 위해 상기 코어 플랫폼과 동작적으로 결합된 휴먼 머신 인터페이스를 더 포함한다.
소정의 양상들에서, 휴먼 머신 인터페이스는 터치 스크린 디스플레이를 포함한다.
소정의 양상들에서, 작동 시스템은 상기 하나 이상의 조종실 계기 중의 대응하는 계기와 상호작용하도록 구성된 상기 원위단에서의 다중 툴(multi-tool)로 구성된다.
제2 양상에 따르면, 항공기에서 사용하기 위한 승무원 자동화 시스템을 구현하는 방법은: 상기 항공기의 헤딩(heading)을 바꾸기 위한 명령을 수신하는 단계; 하나 이상의 조종실 계기를 조작하도록 구성된 로봇 아암을 활성화하는(activating) 단계; 상기 로봇 아암을 가지고 상기 항공기의 헤딩을 바꾸도록 구성된 노브(knob)에 접촉하는 단계; 상기 노브 접촉에 대한 측정된 힘 프로파일이 저장된 힘 프로파일 값과 일치한다고 결정하는 단계; 및 상기 명령된 헤딩을 반영하기 위해 상기 노브를 돌리는(turning) 단계를 포함한다.
소정의 양상들에서, 상기 방법은 상기 노브에 접촉하기 전에 제1 헤딩을 판독하는 단계를 더 포함한다.
소정의 양상들에서, 상기 방법은 상기 제1 헤딩 및 상기 명령된 헤딩의 판독값(reading)에 기초하여 상기 명령된 헤딩을 달성하기 위해 요구되는 변화량을 계산하는 단계를 더 포함한다.
소정의 양상들에서, 상기 방법은 상기 노브를 돌린 후 제2 헤딩을 판독하는 단계; 및 상기 제2 헤딩을 상기 명령된 헤딩과 비교하는 단계를 더 포함한다.
소정의 양상들에서, 상기 방법은 상기 제2 헤딩이 상기 명령된 헤딩과 일치하지 않는다고 결정하는 단계; 및 상기 제2 헤딩 및 상기 명령된 헤딩의 판독값에 기초하여 상기 명령된 헤딩을 달성하기 위해 요구되는 제2 변화량을 계산하는 단계를 더 포함한다.
본 발명의 실시예는 항공기에서 사용하기 위한 승무원 자동화 시스템을 포함하며, 상기 승무원 자동화 시스템은 하나 이상의 인터페이스를 통해 복수의 시스템 또는 서브시스템을 동작적으로 연결하도록; 그리고 비행 상황 데이터에 적어도 부분적으로 기초하여 상기 항공기의 비행 제어 시스템에 명령을 전달하도록; 구성되는 코어 플랫폼과, 명령을 실행하고 데이터를 수집하기 위하여 상기 코어 플랫폼과 동작적으로 결합된 작동 시스템을 포함하되, 상기 작동 시스템은: 상기 비행 제어 시스템에 대응하는 하나 이상의 조종실 계기를 시각적으로 식별하도록 구성되는 광학 센서; 상기 작동 시스템이 상기 하나 이상의 조종실 계기와 접촉할 때의 힘을 측정하도록 구성되는 힘 센서; 및 상기 광학 센서와 상기 힘 센서에 의해 수집된 데이터에 기초하여 상기 하나 이상의 조종실 계기의 위치, 타입, 포지션을 맵핑하는 데이터 획득 시스템;을 포함한다. 광학 센서는 적외선 카메라 및 시각 카메라 중 하나일 수 있다. 힘 센서는 제어기에 의해 개별적으로 조작할 수 있는 하나 이상의 디지트를 포함할 수 있다. 각 디지트는 각각의 힘 센서를 포함할 수 있다. 작동 시스템은 조종실 환경 내에서 6 자유도로 기동하도록 구성된 로봇 아암을 포함할 수 있다. 상기 광학 센서 및 상기 힘 센서는 상기 로봇 아암의 원위단에 함께 배치될 수 있고, 상기 원위단은 상기 하나 이상의 조종실 계기를 이미징 및 접촉하도록 구성된다. 승무원 자동화 시스템은 상기 항공기에 따른 특정한 정보를 결정하기 위해 상기 코어 플랫폼과 동작적으로 결합된 지식 획득 시스템을 더 포함할 수 있다. 지식 획득은 하나 이상의 조종실 계기의 힘 프로파일에 대응하는 힘 값들의 매트릭스에 액세스하도록 구성될 수 있다. 제어기는 각각의 힘 프로파일에 기초하여 하나 이상의 조종실 계기의 조종실 계기를 식별하기 위해 힘 센서로부터 측정된 데이터를 힘 값들의 매트릭스와 비교하도록 구성될 수 있다. 지식 획득은 하나 이상의 조종실 계기의 레이아웃에 대응하는 이미지 데이터의 매트릭스에 액세스하도록 구성될 수 있다. 제어기는 상기 레이아웃에 따른 상기 조종실 계기의 위치에 기초하여 상기 하나 이상의 조종실 계기를 식별하기 위해 상기 광학 센서로부터 측정된 데이터를 상기 이미지 데이터의 매트릭스와 비교하도록 구성될 수 있다. 승무원 자동화 시스템은 또한 비행 상황 데이터를 생성하기 위해 상기 항공기의 상기 하나 이상의 조종실 계기를 모니터링(monitor)하도록 상기 코어 플랫폼과 동작적으로 결합된 인지 시스템(perception system)을 더 포함할 수 있다. 승무원 자동화 시스템은 또한 조종사에게 데이터를 디스플레이하고 조종사로부터 명령들을 받기 위한 상기 조종사와 상기 승무원 자동 시스템 간의 인터페이스를 제공하기 위해 상기 코어 플랫폼과 동작적으로 결합된 휴먼 머신 인터페이스를 더 포함할 수 있다. 휴먼 머신 인터페이스는 터치 스크린 디스플레이를 포함할 수 있다. 작동 시스템은 상기 하나 이상의 조종실 계기 중의 대응하는 계기와 상호작용하도록 구성된 상기 원위단에서의 다중 툴로 구성될 수 있다.
본 발명의 다른 실시예는 항공기에서 사용하기 위한 승무원 자동화 시스템을 구현하는 방법을 포함하며, 상기 방법은 상기 항공기의 헤딩을 바꾸기 위한 명령을 수신하는 단계; 하나 이상의 조종실 계기를 조작하도록 구성된 로봇 아암을 활성화하는 단계; 상기 로봇 아암을 가지고 상기 항공기의 헤딩을 바꾸도록 구성된 노브에 접촉하는 단계; 상기 노브 접촉에 대한 측정된 힘 프로파일이 저장된 힘 프로파일 값과 일치한다고 결정하는 단계; 및 상기 명령된 헤딩을 반영하기 위해 상기 노브를 돌리는 단계를 포함한다. 상기 방법은 또한 상기 노브에 접촉하기 전에 제1 헤딩을 판독하는 단계를 더 포함할 수 있다. 이것은 동작을 향상시킬 것이다. 상기 방법은 또한 정확성을 향상시키기 위하여 상기 제1 헤딩 및 상기 명령된 헤딩의 판독값(reading)에 기초하여 상기 명령된 헤딩을 달성하기 위해 요구되는 변화량을 계산하는 단계를 더 포함할 수 있다. 상기 방법은 또한 상기 노브를 돌린 후 제2 헤딩을 판독하는 단계; 및 상기 제2 헤딩을 상기 명령된 헤딩과 비교하는 단계를 더 포함할 수 있다. 상기 방법은 또한 제2 헤딩이 상기 명령된 헤딩과 일치하지 않는다고 결정하는 단계; 및 상기 제2 헤딩 및 상기 명령된 헤딩의 판독값에 기초하여 상기 명령된 헤딩을 달성하기 위해 요구되는 제2 변화량을 계산하는 단계를 더 포함할 수 있다.
본 개시의 상술한 이점들 및 다른 이점들은 이하의 명세서 및 첨부된 도면들을 참조하여 즉각 이해될 것이다.
도 1a는 예시적인 승무원 자동화 시스템의 블록도를 도시한다.
도 1b는 도 1a의 서브시스템 간 정보 데이터의 예시적인 흐름을 도시한다.
도 1c는 예시적인 코어 플랫폼의 블록도를 도시한다.
도 2는 예시적인 코어 플랫폼 아키텍쳐의 다이어그램을 도시한다.
도 3a는 루트 어플리케이션을 도시하는 휴먼-머신 인터페이스의 제1 예를 도시한다.
도 3b는 절차 체크리스트(procedural checklist) 및 항공기 건전성 경보 스크린(aircraft health alert screen)을 도시하는 휴먼-머신 인터페이스의 제2 예를 도시한다.
도 4는 예시적인 인지 시스템(perception system)의 블록 다이어그램을 도시한다.
도 5a 및 5b는 예시적인 일차적 작동 시스템을 도시한다.
도 5c는 예시적인 이차적 작동 시스템을 도시한다.
도 6은 로봇 아암을 채용한 예시적인 승무원 자동화 시스템의 다이어그램을 도시한다.
도 7a는 이미징 시스템(imaging system)에 의해 캡쳐된 예시적인 이미지를 도시한다.
도 7b는 도 7a의 이미지의 예시적인 재포맷팅된(reformatted) 이미지를 도시한다.
도 7c는 도 7b의 재포맷팅된 이미지로부터 추출된 데이터의 예시를 도시한다.
도 7d는 이미징 시스템에 의해 캡쳐된 또 다른 예시적인 이미지를 도시한다.
도 7e는 도 7d의 이미지의 예시적인 재포맷팅된 이미지를 도시한다.
도 8a 및 도 8b는 로봇 아암을 채용하는 승무원 자동화 시스템을 구현하는 예시적인 방법들을 도시한다.
본 개시의 바람직한 실시예들이 첨부도면들을 참조하여 이하에서 설명될 수 있다. 이하의 설명에서, 잘 알려진 기능들 또는 구성들은 불필요한 세부사항으로 본 개시를 모호하게 할 수 있기 때문에 상세하게 설명되지 않는다. 본 공개를 위하여 이하의 용어들 및 정의들이 적용될 것이다.
본 명세서에서 사용될 때, "회로(circuit)" 및 "회로망(circuitry)"이라는 용어들은 물리적 전자부품들(즉, 하드웨어), 그리고 하드웨어를 구성하고, 하드웨어에 의해 실행되고, 및/또는 이와 달리 하드웨어와 연관이 있을 수 있는 임의의 소프트웨어 및/또는 펌웨어("코드")를 지칭한다. 본 명세서에서 사용될 때, 예를 들어, 특정한 프로세서 및 메모리는 코드의 하나 이상의 라인들의 제1 세트를 실행할 때 제1 "회로"를 포함할 수 있고, 코드의 하나 이상의 라인들의 제2 세트를 실행할 때 제2 "회로"를 포함할 수 있다.
본 명세서에서 사용될 때, "및/또는"은 "및/또는"에 의해 결합된 목록 내의 아이템들 중의 임의의 하나 이상을 의미한다. 예로서, "x 및/또는 y"는 3개-원소의 집합 {(x),(y),(x, y)} 중의 임의의 원소를 의미한다. 다시 말해, "x 및/또는 y"는 "x 및 y 중 하나 또는 둘 다"를 의미한다. 다른 예로서, "x, y, 및/또는 z"는 7개-원소의 집합 {(x),(y),(z),(x, y),(x, z),(y, z),(x, y, z)} 중의 임의의 원소를 의미한다. 다시 말해, "x, y 및/또는 z"는 "x, y, 및 z 중의 하나 이상"을 의미한다. 본 명세서에서 사용될 때, "예시적인(exemplary)"이라는 용어는 비제한적인 예, 예시, 또는 실례로서 기능함을 의미한다. 본 명세서에서 사용될 때, "예컨대" 및 "예를 들어"라는 용어들은 하나 이상의 비제한적인 예, 예시, 또는 실례의 목록들을 제시한다.
본 명세서에서 사용될 때, "약(about)" 및 "근사적으로(approximately)" 라는 용어들이, 값(또는 값들의 범위)을 한정하거나 기술하기 위하여 사용될 때, 그 값 또는 값들의 범위에 합리적으로 가깝다는 것을 의미한다. 그래서, 본 명세서에서 기술된 실시예들은 언급된 값들 및 값들의 범위에만 한정되지 않고, 합리적으로 동작가능한 편차들도 포함한다. 본 명세서에서 사용될 때, 기능의 수행이 (예컨대, 조작자-설정가능 세팅(operator-configurable setting), 공장 트림(factory trim) 등에 의해) 디세이블되어 있는지(disabled) 또는 이네이블되어 있지(enabled) 않은지 여부에 관계없이, 회로망이 기능을 수행하기 위하여 필요한 하드웨어 및 코드(만일 필요하다면)를 포함할 때마다 회로망은 기능을 수행하도록 "동작가능하다(operable)".
본 명세서에서 사용될 때, 용어들 "공중 비히클(aerial vehicle)" 및 "항공기(aircraft)"라는 용어는 전형적인 활주로(runway) 및 수직 이착륙 (vertical take-off and landing: VTOL) 항공기를 모두 포함하며, 이에 한정되지 않고 비행할 수 있는 머신(machine)을 지칭한다. VTOL 항공기는 고정익(fixed-wing) 항공기(예컨대, 해리어 제트(Harrier jet)들), 회전익기(예컨대, 헬리콥터들), 및/또는 틸트-로터(tilt-rotor)/틸트-윙 항공기를 포함할 수 있다.
본 명세서에서 사용될 때, "전달하다(communicate)" 및 "전달하는(communicating)"이라는 용어는 (1) 소스(source)로부터 목적지(destination)에 데이터를 전송하는 것, 또는 이와 달리 전달하는 것, 및/또는 (2) 목적지까지 전달되게 통신 매체, 시스템, 채널, 네트워크, 디바이스, 전선, 케이블, 섬유, 회로, 및/또는 링크에 데이터를 넘겨주는 것을 지칭한다. 본 명세서에서 사용된 "데이터베이스"라는 용어는 데이터 또는 데이터의 조직체(organized body)가 표현되는 방식에 상관없이 관련 데이터의 조직체를 의미한다. 예를 들어, 관련 데이터의 조직체는 표(table), 맵(map), 그리드(grid), 포켓(packet), 다이어그램(datagram), 프레임(frame), 파일(file), 이메일(e-mail), 메시지(message), 문서(document), 리포트(report), 목록(list), 또는 임의의 다른 형태로 표현된 데이터 중의 하나 이상의 형태일 수 있다.
본 명세서에서는 특히 조종사의 보조(또는 부조종사) 또는 비행 기술자로서 기능하도록 구성되는 시스템이 개시된다. 이러한 승무원 자동화 시스템은 항공기를 이륙시부터 착륙시까지 작동하도록 구성될 수 있는데, 우발사태들(contingencies)을 감지하고 그것들에 반응하는 동안 자동적으로 정확한 비행 단계(phase)에서 필요한 비행, 비행 계획 활동들, 체크리스트들 및 절차들을 자동적으로 실행한다. 동시에, 조종사(예컨대, 인간 조종사 또는 조작자(operator))는 승무원 자동화 시스템과 동작적으로 결합된 직관적인(intuitive) 휴먼-머신 인터페이스를 통해 지속적으로 통지받을 수 있다. 즉, 승무원 자동화 시스템은 조종사에게 실시간 정보및/또는 피드백을 제공할 수 있다. 예를 들어, 승무원 자동화 시스템은 달성할 절차와 관련된 항공기의 상태를 나타낼 수 있다. 승무원 자동화 시스템은 원하는 경우 로봇 작동기들(robotic actuators)을 통해 항공기를 다시 제어하도록 구성될 수 있다.
그렇게 함으로써, 조종사는 높은 수준의 의사결정 및 비행 계획 플래닝(flight plan planning)과 같은 사람들에게 가장 적합한 업무들을 수행할 수 있다. 그러나 자동화에 가장 적합한 업무들은 예를 들어 제어장치들의 조작, 체크리스트들 실행 및 항공기 엔진과 성능 데이터 모니터링을 포함하는데, 승무원 자동화 시스템에 의해 다뤄질 수 있다. 추가적으로, 항공기 자동화 시스템은 특정 공항에서 항공 관제 컨트롤이 일반적으로 어떻게 트래픽을 경로지정하는지 또는 특정 항공기에 대한 공통적인 시스템 고장들과 같이 오로지 경험에 따라오거나 또는 현재 조종사들에게 이용불가능한 외부 정보에 액세스하는 능력을 가질 수 있다. 항공기 자동화 시스템은 보조 또는 기본 조종사로 동작하도록 구성될 수 있으며, 만약 그렇게 구성되면, 그렇게 함으로써 인간 조작자의 필요성을 완전히 배제할 수 있다. 대안으로, 승무원 자동화 시스템은 실제적으로 항공기를 제어함 없이 연속적인 항공기 상태를 모니터링과 정보 보강을 조종사에게 제공하기 위해 기능할 수 있다. 예를 들어, 승무원 자동화 시스템은 조종사, 체크리스트들 모니터링, 계기(instrumentation), 엔진 상태, 영공(airspace), 비행 상황(flight regime) 등을 위한 "눈의 두 번째 세트"로써 기능할 수 있다.
침입적이고(invasive), 상당한 설치 전문 지식을 요구하며, 그리고 항공기-특정적인(aircraft-specific) 기존의 로봇 자동조종장치들(robotic autopilots) 및 조종사 보조 시스템들과 달리, 본 개시의 양상에 따른 승무원 자동화 시스템은 광범위한 사용을 용이하게 하고 다양한 항공기에서의 사용을 위해 승무원 자동화 시스템이 재빠르게 적용될 수 있게 하는 신속한 비 침입적인 설치(rapid non-invasive installation)를 가능하게 하는 시스템 아키텍쳐 및 지식 획득 시스템을 채용(employ)할 수 있다. 더 나아가, 승무원 자동화 시스템의 데이터 수집 및 인지 시스템들은 기존의 로봇 자동조종장치에서 흔히 있는 일인 GPS, 가속도들, 지향(orientation) 및 헤딩에 제한되지 않는다. 실제로, 승무원 자동화 시스템은 항공기 성능을 보다 잘 포착하기 위해 독립형 센서들(standalone sensors), 계기 이미지 데이터 캡쳐(instrument image data capture)(예컨대, 온도, 고도, 레이더, 플랩 각도(flap angles) 등)를 모두 채용하거나, 측정하거나, 탐지하거나 또는 그 외에는 조종사 입력들을 수신함으로써 기존의 데이터 수집 및 인지 시스템들의 능력을 능가할 수 있다. 더 나아가, 승무원 자동화 시스템의 코어 플랫폼과 일차(primary) 및 이차(secondary) 비행 제어 작동 시스템의 디자인은 다양한 항공기에의 이식성(portability)을 가능하게 한다. 따라서, 기존의 로봇 자동조종장치들 및 조종사 보조 시스템들과 달리, 승무원 자동화 시스템은 항공기의 침입적인 수정(invasive modification)없이 일시적으로 설치될 수 있으며 항공기에서 항공기로 손쉽게 전송될 수 있다. 승무원 자동화 시스템은, 그 모듈식 디자인(modular design)을 통해, 항공기의 진화에 따라 더 이상 쓸모가 없게 되는 단일 포인트 솔루션(single point solution)을 설계할 가능성도 더 줄인다.
승무원 자동화 시스템의 서브시스템들의 조합은 조종사에게 항공기의 물리적인 상태에 대한 높은 충실도의 지식(high-fidelity knowledge)을 제공하고, 예를 들어 예측 모델들에 기초하여 예측 상태에서의 임의의 편차들을 조종사에게 통지한다. 이 상태 인식은 비상 사태들의 발생(developing emergency conditions)에 대한 경고, 연료 상태 산정(fuel state computation), 결빙 사태(icing conditions)에 대한 통지 등과 같은 조종사에게 유용한 정보로 곧바로 번역될 수 있다. 예를 들어, 또한 승무원 자동화 시스템은 디지털 비행 엔지니어의 역할을 할 수도 있으므로, 체크리스트들, 계기(instrumentation), 엔진 상태, 영공, 비행 상황(flight regime) 등을 모니터링하여 조종사에게 조언할 수도 있다.
이전부터 존재하는 항공기에 비 침입적으로(non-invasively) 설치될 수 있는 이 라이드 어롱(ride-along) 승무원 자동화 시스템은 시각적으로 및 다른 센서들을 통해 항공기의 상태를 인지(perceive)하고, 항공기 상태 벡터(aircraft state vector) 및 다른 항공기의 정보를 유도하고, 예상되는 항공기 상태로부터의 임의의 편차를 조종사 또는 관제 타워로 전달한다. 승무원 자동화 시스템은 비 침입적으로 설치될 수도 있지만(예컨대, 인지 시스템을 통해), 대안적으로 침입적일 수 있다. 예를 들어, 승무원 자동화 시스템은 항공기 상태 모니터링 시스템을 통해 조종실 계기판(예컨대, 계기판의 반대편을 통해)과 전자적으로 결합할 수 있다. 대안적으로, 승무원 자동화 시스템은 필수적일 수 있고 항공기의 제작 중에 영구적으로 설치될 수 있다. 작동 시스템과 함께, 승무원 자동화 시스템은 항공기를 더 제어할 수 있고 항공기를 자율적으로 항법할 수 있다.
시스템 레벨 아키텍쳐. 비행 활동의 실행과 관련된 업무들 및 작업량을 공유하기 위해, 승무원 자동화 시스템(100)은 항공기 제품, 모델 또는 타입에 관계없이 조종사가 비행 동안에 일상적으로 수행할 행동들을 실행할 수 있어야 한다. 일 양상에 따른 승무원 자동화 시스템(100)의 예시적인 시스템 아키텍쳐는 도 1a 내지 1c에 도시되어 있다. 도 1a에 도시된 바와 같이, 코어 플랫폼(102)은 하나 이상의 인터페이스를 통해 다른 서브시스템들을 연결하는 중앙 서브시스템으로서 동작할 수 있다. 서브시스템들은 유선 및/또는 무선 통신 프로토콜들 및 하드웨어를 사용하여 소프트웨어 및/또는 하드웨어 인터페이스들(156)을 통해 서로 통신할 수 있다. 도 1b는 다양한 서브시스템들 간의 정보(예컨대, 데이터)의 예시적인 흐름을 도시한다.
승무원 자동화 시스템(100)은 아래에 열거된 것과 같은 복수의 서브 시스템들과 동작적으로 결합된 코어 플랫폼(102)을 포함할 수 있다. 승무원 자동화 시스템(100)의 복수의 서브시스템들 각각은 전체 승무원 자동화 시스템(100)이 다른 항공기로 실질적으로(substantially) 복사될 수 있도록 모듈식일 수 있다. 예를 들어, 다양한 서브 시스템들은 하나 이상의 소프트웨어 및/또는 하드웨어 인터페이스들(156)을 사용하여 코어 플랫폼(102)을 통해 서로 제거 가능하도록(romovably) 및 통신 가능하도록(communicatively) 결합될 수 있다. 그러나 소정의 양상들에 따르면, 승무원 자동화 시스템(100)은 이와 달리 항공기의 시스템과 통합될 수 있으며, 그로써 곧바로 항공기에서 모든 센서들 및 지시기들을 채용할 수 있다. 예를 들어, 승무원 자동화 시스템(100) 또는 그 구성요소들은 항공기의 설계 및 제조 중에 항공기에 통합될 수 있다.
복수의 서브시스템들은 예를 들어 인지 시스템(106), 작동 시스템(108), 휴먼 머신 인터페이스(“HMI”) 시스템(104) 및 비행 제어 시스템(116)을 포함할 수 있으며, 이들 각각은 코어 플랫폼(102)과 동작적으로 결합될 수 있다. 소정의 양상들에 있어서, 인지 시스템(106)의 필요성은 다른 항공기 상태 모니터링 시스템의 사용을 통해 완화되거나 배제될 수 있다. 예를 들어, 승무원 자동화 시스템(100)은 계기판(instrument panel)과 (예컨대, 통신 가능하도록 또는 전자적으로) 결합될 수 있고, 또는 그렇지 않으면 항공기 또는 항공기의 기존 시스템들과 함께 통합될 수 있다. 그러나 예상할 수 있듯이, 이러한 통합은 항공기 또는 항공기 배선의 어느 정도의 수정을 필요로 할 것이다. 승무원 자동화 시스템(100) 및/또는 코어 플랫폼(102)은 또한 지식 획득 시스템(114) 및 통신 시스템(122)을 포함하거나 이들과 동작적으로 결합할 수도 있다. 모듈식 구성은 조작자가 불필요한 시스템들 또는 모듈들을 제거/비활성화하거나 또는 추가적인 시스템들 또는 모듈들을 추가/설치할 수 있게 한다. 예를 들어, 승무원 자동화 시스템(100)이 오직 HMI 시스템(104)을 통해 조종사에게 정보를 제공하도록 구성된 경우(즉, 항공기를 제어하는 능력 없이), 작동 시스템(108)은 무게, 비용 및/또는 전력 소모를 줄이기 위해 제거되거나 또는 비활성화될 수 있다. 따라서, 구성에 따라, 승무원 자동화 시스템(100)은 본 개시의 사상과 목적으로부터 벗어남 없이 더 적거나 또는 추가적인 모듈들, 구성요소들, 또는 시스템들로 구성될 수 있다.
작동 시, 비행 제어 시스템(116)은 다른 서브시스템(예컨대, 인지 시스템(106) 등)으로부터의 정보 데이터에 기초하여 항공기 상태를 유도하고, 다른 서브 시스템(예컨대, 작동 시스템(108))이 항공기 안정성을 유지하는 방식으로 작동(예컨대, 동적으로)하도록 지시한다. 예를 들어, 비행 제어 시스템(116)은 비행 제어 시스템(116)에 의해 생성된 상태 및 명령 정보를 코어 플랫폼(102)에게 전송하는 동안, 코어 플랫폼(102)으로부터 비히클 모드 명령들 및 구성 데이터를 수신할 수 있다. 예를 들어, 코어 플랫폼은 항공기 상태 모니터링 시스템(112), 인지 시스템(106), 또는 이들의 조합으로부터 얻어질 수 있는 비행 상황 데이터에 적어도 부분적으로 기초하여 하나 이상의 명령을 항공기의 비행 제어 시스템(116)에게 전송하도록 구성될 수 있다.
비행 제어 시스템(116)은 고정익 항공기 및 회전익 항공기(rotary wing aircraft)에 사용된 것과 같은 기존의 비행 제어 장치들 또는 시스템들을 포함하거나 그들과 통신할 수 있다. 통신 시스템(122)은 승무원 자동화 시스템(100)이 다른 장치들(원격 또는 원거리 장치들을 포함하는)과 예를 들어 네트워크를 통해 통신할 수 있게 한다. 통신 시스템(122)은 통신 명령들 및 구성 데이터를 코어 플랫폼(102)으로부터 수신하는 한편, 통신 시스템(122)으로부터의 상태 및 응답 정보를 코어 플랫폼(102)에게 보낼 수 있다.
코어 플랫폼(102). 도 2는 예시적인 코어 플랫폼(102)의 아키텍쳐 다이어그램을 도시한다. 비히클-비종속적인(vehicle-agnostic) 승무원 자동화 시스템(100)을 가능하게 하기 위해, 코어 플랫폼(102)은 초기 전이 및 설정 단계를 통해 특정 항공기 또는 구성에 따라 특정하게 만들어질 수 있는 미들웨어(middleware)를 제공하거나 또는 그렇지 않으면 미들웨어로써 기능(serve)할 수 있다. 다시 말하자면, 임무 제어 시스템(110)은 운영 시스템(206)을 제공할 수 있는데, 이것은 한 세트의 동작 어플리케이션들(202)에게 서비스들을 제공하고 한 세트의 하드웨어 인터페이스들(204) 또는 HMI 시스템(104) 중의 하나 이상에게 출력 신호들을 제공하는 한편, 그 어플리케이션들을 가능하게 하기 위해 필수적인 데이터를 수집하고 로깅(logging)한다.
코어 플랫폼(102)은 전반적인 시스템 상태를 결정하기 위해 인지 시스템(106) 및 HMI 시스템(104)으로부터의 입력들을 그 획득된 지식 베이스(knowledge base)와 합성하는 일차 자율 에이전트(the primary autonomous agent) 및 의사 결정자로서 기능할 수 있다. 코어 플랫폼(102)은 다양한 센서 슈트들(sensor suites)로부터의 입력들을 처리할 수 있고, 현재 항공기 상태의 이해가 되도록 결과 정보를 종합할 수 있다. 승무원 자동화 시스템(100)의 상태 추정과 관련되어 있을 때, 결과 정보는 승무원 자동화 시스템(100)의 조종사 의도의 이해, 시스템 건전성 및 적절한 항공 절차들의 이해를 포괄하는 항공기 특정 파일과 비교될 수 있다. 결과 상태 지식 및 관련된 권장 사항들은 인간 조종사에게 HMI 시스템(104)을 통해 전해질 수 있고, 또는, 소정의 양상들에서, 자율적인 작동을 가능하게 하기 위해 비행 제어 시스템(116) 및/또는 작동 시스템(108)에게 전해질 수 있다. 승무원 자동화 시스템(100)은 추후의 분석을 위해 주어진 비행의 로그(log)를 더 생성할 수 있으며, 이는 상세한 훈련 및 작동 비행 보고들을 제공할 수 있는 조종사 훈련을 용이하게 하는데 사용될 수 있다. 로그들은 예를 들어 비행 작동 품질 보증 분석, 유지보수 분석 등과 관련하여 사용될 수 있다.
도시된 바와 같이, 코어 플랫폼(102)은 임무 제어 시스템(110) 및 비행 제어기들(118)을 포함할 수 있으며, 각각은 하나 이상의 소프트웨어 및/또는 하드웨어(예컨대, 영구적이거나 또는 제거 가능한 커넥터들)와 소프트웨어의 조합일 수 있는 하드웨어 인터페이스들(156)을 통해 서로 그리고 다른 서브시스템들과 통신하도록 구성된다. 코어 플랫폼(102)은 트렌드 분석들(trend analytics)(예측 경고들(predictive warnings))을 위한 임의의 모듈들 및 기계 학습 루틴들(machine-learning routines)뿐만 아니라 항공기 및 절차 상태들을 추적하는 다양한 소프트웨어 프로세스들을 호스트(host)할 수 있다. 소정의 양상들에서, 승무원 자동화 시스템(100) 및/또는 코어 플랫폼(102)은 리소스 충돌들을 해결하는데 있어서 물리적인 장치 구성 또는 사용자 개입의 필요 없이 승무원 자동화 시스템(100) 내에서 서브시스템의 하드웨어 구성요소의 발견을 용이하게 하는 컴퓨터 버스(computer bus) 및 사양(specification)(예컨대, 인터페이스로서)을 채용할 수 있다. 이러한 구성은 “플러그 앤 플레이(plug and play)”로 지칭될 수 있다. 따라서, 사용자는 실질적인 수정 또는 집적 노력을 필요로 함 없이 코어 플랫폼(102)을 통해 시스템 또는 서브시스템들(예컨대, 모듈들로서)을 승무원 자동화 시스템(100)에 손쉽게 추가하거나 제거할 수 있다.
코어 플랫폼(102) 출력들은 HMI 시스템(104)에게 메시지들을 제공하기 위해 사용될 수 있다. 메시지들은 예를 들어 체크리스트 진행 상황, 개시될 우발사태들, 제기될 경고들 등을 나타낼 수 있다. 코어 플랫폼(102)은 또한 예를 들어 성능 검토 능력을 제공하기 위하여 그리고 공중 리셋(in-flight reset)에 대한 견고성을 제공하기 위하여, 비행 데이터 레코더(flight data recoder)를 포함할 수도 있다. 하드웨어 및 다양한 컴퓨터들은 또한 높은 내구성을 가질 수도 있으며 인지 컴퓨터와 같은 다른 장치들과 하우징을 공유할 수도 있다. 후술하는 바와 같이, 코어 플랫폼(102)은 글로벌 포지셔닝 시스템(GPS)/관성 항법 시스템(inertial navigation system: INS)(154) 및 전력 관리 시스템(예컨대, 28VDC 전력)과 동작적으로 결합할 수 있다. 코어 플랫폼(102)은 또한 예를 들어 성능 검토 능력을 제공하기 위하여 그리고 공중 리셋에 대한 견고성을 제공하기 위하여 비행 데이터 레코더를 포함할 수도 있다.
임무 제어 시스템(100)은 일반적으로 임무 관리자(132), 표준 인터페이스(130)(예컨대, STANAG 인터페이스), 상태 인식 관리자(158) 및 다른 동작 구성요소들(120)(예컨대, 하드웨어 및 소프트웨어 컨트롤러 및/또는 인터페이스들)을 포함하며, 각각은 하나 이상의 데이터 버스들(124)을 통해 서로 통신 가능하도록 결합된다. 코어 플랫폼(102)의 개방형 아키텍쳐는 데이터 버스(124)를 통해 시스템들로부터 수신된 추가적인 데이터의 결합을 가능하게 한다. 소정의 양상들에서, 임무 제어 시스템(110)은 비행 상황 데이터를 수집하도록 비히클 시스템 인터페이스(vehicle systems interface)를 통해 항공기의 하나 이상의 조종실 계기와 결합될 수 있다. 다른 양상들에서, 임무 제어 시스템(110)은 항공기 및/또는 인지 시스템(106)에 직접 연결을 통해 비행 상황 데이터를 수집하거나 생성할 수 있는 항공기 상태 모니터링 시스템(112)을 통해 항공기 상태 인터페이스를 거쳐 비행 상황 데이터를 수집할 수 있다.
도시된 바와 같이, 임무 제어 시스템(110)은 이차적 작동 시스템(108b)(예컨대, 자율적인 동작이 요구되는 경우), 인지 시스템(106), 및 휴먼-머신 인터페이스(126)(예컨대, 조종사로부터의 입력들을 전하고 조종사에게 정보를 디스플레이하는 소프트웨어 및/또는 하드웨어)와 지상국(128)을 포함하는 HMI 시스템(104)과 동작적으로 결합될 수 있다. 임무 제어 시스템(110)은 임무 관리자(132)를 통해 비행 제어기들(118)과 통신할 수 있다.
비행 제어기들(118)은 예를 들어 자동조종장치 관리자(134) 및 비히클 관리자(136)를 포함할 수 있다. 비히클 관리자(136)는 일반적으로 항법과 항공기의 위치 및 상태를 결정에 책임이 있을 수 있다. 비히클 관리자(136)는 인지 모듈(138)을 통해 인지 시스템(106)으로부터 수신된 그리고 항법 모듈(140)을 통해 GPS/INS 시스템(154)으로부터 수신된 정보를 이용하여 항공기의 추정된 상태를 결정하는 상태 추정 모듈(142)과 결합될 수 있다.
자동조종장치 관리자(134)는 일반적으로 예를 들어 비히클 매니저(136)와 임무 제어 시스템(110)으로부터 수신된 정보에 기초하여 항공기의 비행을 제어할 책임이 있다. 자동조종장치 관리자(autopilot manager)(134)는 승무원 자동화 작동 모듈(aircrew automation actuation module)(144) 및 항공기 작동 모듈(146)뿐만 아니라, 특히 새롭거나 이전부터 존재할 수 있는(그리고 비행 제어기(150)를 포함하는) 비행 제어 시스템(152)을 제어한다. 항공기 작동 모듈(146)이 항공기 제어장치들(148)(aircraft controls)(예컨대, 다양한 비행 표면들 및 작동기들)을 제어할 수 있는 반면, 승무원 자동화 작동 모듈(144)은 일차적 작동 시스템(108a)을 제어할 수 있다.
소정의 양상들에서, 비행 제어기(118)의 구성요소들은 비행 제어 시스템(116)의 특정 구성요소들과 중첩될 수 있다. 예를 들어, 소정의 양상들에서(예컨대, 중복(redundancy)이 바람직하지 않고 비침입적인 통합이 가능한 경우), 코어 플랫폼(102)은 기존의 항공기 소프트웨어 및/또는 하드웨어의 일부를 활용할 수 있고, 그럼으로써 특정 비행 제어기(118) 구성요소들 및/또는 GPS/INS 시스템(154)과 같은 추가적인 하드웨어에 대한 필요성을 배제할 수 있다.
개방형 아키텍쳐. 코어 플랫폼(102)은 개방형 아키텍쳐에서 나머지 서브시스템들(예컨대, 개별 어플리케이션들)을 제어하고 연결하는 승무원 자동화 시스템(100)의 중앙 서브시스템 또는 인터페이스로서 기능한다. 나머지 서브시스템들은 예를 들어 비행 제어 시스템(116)(임의의 비행 계획 능력들을 포함함), HMI 시스템(104), 작동 시스템들(108)(예컨대, 원하는 경우에 자율적인 동작을 제공하기 위한 일차적 및 이차적 작동 시스템들), 인지 시스템(106), 지식 획득 시스템(114), 및 다른 서브시스템들(236)을 포함한다. 따라서, 다른 승무원 자동화 시스템(100) 하드웨어의 제어는 새로운 시스템들 또는 다른 외부 비행 계획 지원 기술의 신속한 통합을 가능하게 하는 하드웨어의 특정 부품에 따라 특정한 별도의 어플리케이션들을 통해 제공될 수 있다.
코어 플랫폼(102)의 아키텍쳐는 새로운 항공기로 전이하거나 새로운 비행 계획 특징/능력을 부가할 때 신속한 이식성 및 확장가능성을 가능하게 한다. 따라서, 어플리케이션은 승무원 자동화 시스템(100)이 그 항공기에 대해 특정하거나 그렇지 않으면 필요한 정보를 획득하거나 또는 새로운 능력을 제공하는 것을 가능하게 하도록 사용될 수 있다. 예를 들어, 전이 및 설정은 개별 어플리케이션들에 의해 다뤄질 수 있는데, 이들은 비행 계획, 항공기 또는 승무원 요구사항들에 따라 교환될 수 있는 승무원 자동화 시스템(100)의 능력들의 증가하는 라이브러리뿐만 아니라 항공기-특정적인 기능들을 나타내는 다른 서브시스템들 또는 코어 플랫폼(102) 내에서 동작한다. 소정의 양상들에서, 전이 절차는 (절차 에디터와 같은) 승무원 자동화 시스템(100) 외부의 소프트웨어 어플리케이션들에 의해 지원될 수 있다.
항공기 데이터 구조(208). 동작 시스템(206)은 동작 어플리케이션들(202), 하드웨어 인터페이스들(204), 및 지식 획득 시스템(114)과 같은 다른 서브시스템들을 상호연결하는 미들웨어로서 동작한다. 동작 시스템(206)은 지식 데이터베이스(201), 절차 데이터베이스(212) 및 상태 데이터베이스(214)를 포함할 수 있는 항공 데이터 구조(208)를 채용할 수 있다.
항공기 데이터 구조(208)는 코어 플랫폼(102)이 항공기의 시스템들, 그들의 구성, 및 안전한 동작을 유지하기 위한 필수적인 절차들의 완전한 이해를, 그리고 그 항공기의 공인 조종사가 가질 것으로 기대되는 모든 다른 지식 및 전문 지식을 발전시킬 수 있게 함으로써 비히클-비종속적인 승무원 자동화 시스템(100)을 용이하게 한다. 항공기 데이터 구조(208)는 현재 동작중인 항공기에 대한 필수적인 정보(예컨대, 비행 제어 모델, 동작 절차들, 항공기 시스템들 등), 내부 상태 센서들로부터 수신한 데이터 및 다른 서브시스템들 또는 센서들을 포함하는 지식 획득 시스템(114)(후술함)에 의해 채워질(populated) 수 있다.
항공기 데이터 구조(208)는 항공기를 동작시키는데 필수적인 모든 정보를 포함하도록 지식 획득 단계 동안(예컨대, 초기 설정 동안) 특정 항공기에 채워지고 조정될 수 있다. 예를 들어, 새로운 항공기로 전이할 때, 지식 획득 시스템(114)은 레이아웃(예컨대, 조종실 계기판들과 같은 제어기들/판독기들의), 성능 파라미터들, 항공기의 다른 특성들을 결정하기 위해 미리 정의된 활동들을 수행할 수 있다. 미리 정의된 활동들은 예를 들어 다음을 포함할 수 있다: (1) 어떤 시스템들이 탑재되었는지 및 어떻게 그것들이 구성되었는지, 작동 한계들 등에 대하여 승무원 자동화 시스템(100)에 통지하는 항공기 시스템 모델의 생성; (2) 정상 및 비정상 상황들에서 항공기를 동작하는 방법을 승무원 자동화 시스템(100)에게 통지하고, 체크리스트들의 체계화를 더 포함하는 절차 체계화; (3) 항공기를 비행하는 방법 및 어떤 항공기 구성들에 대해 기대되는 성능을 승무원 자동화 시스템(100)에게 통지하는 공기역학적 모델; 및 (4) 임무 동작들에 대한 정보.
코어 플랫폼(102)은 이 정보를 한 세트의 내부 상태 센서들로부터의 데이터와 조합할 수 있으며, 이는 또한 중복성(redundancy) 및 시스템 견고성 또한 향상시키며, 그렇게 함으로써 승무원 자동화 시스템(100)이 항공기 상태 및 시스템 상태들의 매우 정확한 추정을 생성하게 하고 예상되는 행동과의 편차를 식별하게 한다. 비행 동작들 동안, 데이터 구조는 승무원 자동화 시스템(100)의 내부 상태 감지뿐만 아니라 특히 승무원 자동화 시스템(100)의 인지 시스템(106), HMI 시스템(104)에 의해 모아진 실시간 데이터로 동적으로 업데이트된다. 주어진 항공기에 대한 항공기 데이터 구조(208)가 채워지면, 항공기 데이터 구조(208)는 항공기 라이브러리에 보유될 수 있으며 승무원 자동화 시스템(100)을 이용할 수 있는 동일한 제조사 및 모델의 모든 다른 항공기에 사용될 수 있다. 항공기 데이터 구조(208)는 승무원 자동화 시스템(100)에 의해 추가 데이터가 생성되거나 및/또는 수집됨에 따라 더 개선될 수 있다.
동작 어플리케이션들(202). 코어 플랫폼(102)은 승무원 자동화 시스템(100)에 복수의 동작 어플리케이션들(202)을 제공할 수 있다. 이러한 동작 어플리케이션들(202)의 예시들은 정상 비행 동작 어플리케이션(normal flight operation application)(216), 이상 탐지 어플리케이션(anomaly detection application)(218), 우발사태 동작 어플리케이션(220), 기밀(intelligence), 감시(surveillance) 및 정찰(reconnaissance)(“ISR”) 어플리케이션(222)(예컨대, ISR 궤도들), 경향 인식 어플리케이션(trend recognition application)(238) 또는 공중 재급유 어플리케이션(aerial refueling application)(316)과 같은 다른 비행 계획-특정적 활동 어플리케이션들(flight plan-specific activity applications)(224)을 제한 없이 포함할 수 있다.
정상 비행 동작 어플리케이션(216)은 승무원 자동화 시스템(100)이 이륙부터 착륙까지 우발사태들이 없는 것으로 가정하면서 미리 결정된 비행 계획을 비행하게 한다. 정상 비행 동작 어플리케이션(216)은 특정 비행 단계에 의해 요구되는 정상 비행 활동의 연속적인 실행에 특정적이다. 미리 결정된 비행 계획은 날씨, 항공 교통 관제 명령들, 항공 교통 등과 같은 예기치 않은 교란들로 인해 비행 중에 수정될 수 있다.
이상 탐지 어플리케이션(218)은 비정상 상황들의 존재를 탐지하고 우발사태들이 발생했는지를 식별하기 위해 항공 상태를 모니터링하고, 클러스터(cluster)하고 및 센서 입력들을 분류하도록 기계-학습 기술들을 채용한다. 이상 탐지 어플리케이션(218)은 감지된 상태들을 특정 항공기에 대한 동작 문서에 정의된 한 세트의 임계값들과 비교하도록(예컨대, 미리 결정된 대기 속도(airspeed), 엔진 온도 등을 결코 초과하지 않도록) 구성된다. 이상 탐지 어플리케이션(218)은 또한 감지된 상태들을 승무원 자동화 시스템(100)에 이용가능한 추가적인 정보와 비교할 수 있으며, 미리 결정되거나 동적으로 결정된 임계값들(예컨대, 경고 임계값들 등)을 충족시키는 것에 응답하여 경고들 또는 다른 메시지들을 생성할 수 있다.
우발사태 조건의 경우, 우발사태 동작 어플리케이션(220)은 항공기의 안전한 동작을 유지하거나 비행을 안전하게 전환하기 위해 우발사태 어플리케이션(220)에 의해 특정된 필요한 미리 결정된 체크리스트들, 절차들 및 행동들을 실행한다. 특히, 예상 성능으로부터의 일탈이 관측된 경우, 조종사는 비정상 상태를 경고받을 수 있으며, 그럼으로써 잠재적인 실수들을 완화하거나 회피할 수 있다. 항공기가 특정 동작 에러(예컨대, 조종사가 유도한 진동들)에 민감한 경우, 승무원 자동화 시스템(100)이 그러한 이벤트들을 식별하고 완화할 수 있다. 이상이 탐지된 경우, 우발사태 동작 어플리케이션(220)은 HMI 시스템(104)을 통해 조종에게 통지하거나 조종사와 상호작용하고, 궁극적으로 이상에 응답하기 위한 필요 절차(들)을 실행한다. 마지막으로, ISR 어플리케이션(222) 및 다른 비행 계획-특정적 활동 어플리케이션들(224)은 임무와 관련된 동작들을 이행하도록 지시들, 알고리즘들 또는 정보를 제공할 수 있다.
경향 인식 어플리케이션(238)은 예를 들어 지식 획득 시스템(114)에 기초한 기계-학습을 사용하여 발전된 경향 분석을 제공한다. 소정의 양상들에서, 경향 인식 어플리케이션(238)은 데이터 또는 그렇지 않으면 트리거(trigger)를 이상 탐지 어플리케이션에 제공할 수 있다. 예를 들어, 경향 인식 어플리케이션(238)이 바람직하지 않은 경향을 감지하는 경우, 상기 경향은 이상(anomaly)으로 플래그될 수 있고 이상 탐지 어플리케이션(218)에게 보고될 수 있다.
하드웨어 인터페이스들(204). 동작 어플리케이션들(202)과 관계된 다양한 정보는 예를 들어 일차적 작동 인터페이스(226), 이차적 작동 인터페이스(228), 항공기 상태 인터페이스(230), HMI 인터페이스(232) 및 다른 인터페이스(234)를 통해 일차적 작동 시스템(108a), 이차적 작동 시스템(108b), 인지 시스템(106), 항공기 상태 모니터링 시스템(112), HMI 시스템(104), 및 다른 서브시스템들(236) 사이에서 통신된다.
휴먼/머신 인터페이스(HMI) 시스템(104). HMI 시스템(104)은 조종사(예컨대, 탑승한 또는 원격의 인간 조종사)를 위한 제어 및 통신 인터페이스를 제공한다. HMI 시스템(104)은 조종사가 승무원 자동화 시스템(100)을 지시할 수 있게 하는 비행 계획 관리자로서 동작하도록 구성 가능하다. HMI 시스템(104)은 조종사와 승무원 자동화 시스템(100) 간의 효과적이고 효율적이고 그리고 지연에 관대한(latency-tolerant) 통신을 가능하게 하도록 글래스 콕핏들(glass cockpits), 무인 항공 비히클(“UAV”) 지상국들 및 전자 비행 가방들(electronic flight bags: EFB)의 요소들을 조합할 수 있다. 일반적으로 말하자면, EFB는 비행 승무원들이 전통적으로 종이 참조들을 사용하여 달성되었었던 다양한 기능들을 수행하도록 허락하는 전자 정보 관리 장치이다. HMI 시스템(104)은 터치 스크린 그래픽 사용자 인터페이스(touch screen graphical user interface: GUI) 및/또는 음성 인식 시스템들(speech-recognition systems)에 기초할 수 있는 휴먼-머신 인터페이스(126)를 포함할 수 있다. 휴먼-머신 인터페이스(126)는 예를 들어 태블릿 컴퓨터, 랩탑 컴퓨터, 스마트 폰, 또는 그들의 조합을 채용할 수 있다. 휴먼-머신 인터페이스(126)는 조종사 선호도들에 따라 조종사의 근처에(예컨대, 요크(yoke) 상에 - 종종 체크리스트들로써, 또는 무릎끈(knee-strap) 상에) 고정될 수 있다. 휴먼-머신 인터페이스(126)는 조종실에 제거 가능하도록 결합될 수 있고 또한, 소정의 양상에서, 조종실 내에 통합된 디스플레이(예컨대, 기존의 디스플레이)를 채용할 수 있다.
도 3a는 단일 스크린 터치 인터페이스 및 음성 인식 시스템을 갖는 예시적인 휴먼-머신 인터페이스(126)를 도시한다. HMI 시스템(104)은 조종사가 승무원 자동화 시스템(100)에게 업무들을 명령하고 승무원 자동화 시스템(100)으로부터 피드백 또는 지시들을 수신하고, 조종사와 승무원 자동화 시스템(100) 간의 업무들의 할당을 변경하고, 그리고 현재 승무원 자동화 시스템(100)에 대해 가능한 동작 어플리케이션들(202)을 선택할 수 있도록 하면서, 조종사와 승무원 자동화 시스템(100) 사이의 통신의 일차적 채널로서 기능한다.
도 1b에 도시된 바와 같이, 예를 들어 HMI 시스템(104)은 HMI 시스템(104)에 의해 생성되거나 또는 조종사에 의해 입력된 모드 명령들을 코어 플랫폼(102)에게 전송하는 한편, 코어 플랫폼(102)을 통해 서브시스템으로부터 상태 정보를 수신할 수 있다. 조종사는 원격이거나(예컨대, 지상에서 또는 다른 항공기에서) 또는 탑승해 있을 수 있다(즉, 항공기 내에서). 따라서, 소정의 양상들에서, HMI 시스템(104)은 통신 시스템(122)을 통해 네트워크를 너머 원격으로 용이하게 될 수 있다.
휴먼-머신 인터페이스(126). 도 3a 및 도 3b에 도시된 바와 같이, 휴먼-머신 인터페이스(126)는 음성 통신들을 가능하게 하는 음성 인식 인터페이스 및 태블릿 기반 GUI를 채용할 수 있다. 휴먼-머신 인터페이스(126)의 목적은 조종사가 인간 비행 엔지니어 또는 부조종사와 상호 작용하는 방식과 유사한 방식으로 조종사가 코어 플랫폼(102)의 지식 기반과 상호 작용할 수 있도록 하는 것이다.
휴먼-머신 인터페이스(126)는 어떤 동작 어플리케이션들(202)이 현재 설치되었는지, 어떤 동작 어플리케이션들이 운영중(running)인지 그리고, 그것들이 활성화된 경우 동작 어플리케이션들(202)이 어떤 행동들을 취하고 있는지 뿐만 아니라, 승무원 자동화 시스템(100)의 현재 상태(그것의 현재 설정들과 책임들)를 디스플레이할 수 있다. 휴먼-머신 인터페이스(126)의 GUI 디스플레이는 또한 야간-가시 고글들(night-vision goggles)과 양립될 수도 있으므로 조종사의 안경류에 상관없이 가시적이다. 음성 인식 시스템은 체크리스트들을 훑어보고 비행 갑판에서 통신할 때 인간 비행 승무원에 의해 사용되는 언어적 통신들의 동일한 유형들을 재현하는데 사용될 수 있다. 소정의 양상들에서, 음성 인식은 상기 시스템이 명령들을 인식하는데 실패하거나 또는 동작들의 부적절한 모드들로 변경하는 가능성을 최소화하도록 조종사 팀들에 의해 사용되는 코드화된(codified) 통신들의 동일한 표준들로 제한될 수 있다. 음성 인식 시스템은 음성 훈련 프로토콜을 통해 주어진 조종사의 음성을 학습/인식하도록 구성될 수 있다. 예를 들어, 조종사는 음성 인식 시스템이 조종사의 방언으로 트레이닝될 수 있도록 미리 결정된 스크립트를 말할 수 있다.
휴먼-머신 인터페이스(126)는 승무원 자동화 상태 어플리케이션(302)을 통한 전체 승무원 자동화 시스템(100), 인지 상태 어플리케이션(304)을 통한 인지 시스템(106), 자동조종장치 상태 어플리케이션(306)을 통한 자동조종장치(해당되는 경우), GPS 상태 어플리케이션(308)을 통한 GPS/INS 시스템(154), 및 임의의 다른 어플리케이션 또는 시스템 상태 정보(310)를 포함하는 다양한 동작들의 상태 및/또는 세부사항들을 제공할 수 있다. 휴먼-머신 인터페이스(126)의 디스플레이는 조종사에 의해 커스터마이징될 수 있다. 예를 들어, 조종사는 선택 및 드래그 조작을 통해 또는 승무원 자동화 설정 어플리케이션(312)을 통해 달성될 수 있는 디스플레이 아이콘들 및/또는 동작 어플리케이션들(202)의 일부를 추가, 재구성 또는 제거하기를 바랄 수 있다. 휴먼-머신 인터페이스(126)는 항공기의 동작 상태에 관해 조종사에게 더 알려줄 수 있고 지시들 또는 조언을 조종사에게 제공할 수 있다.
도시된 바와 같이, 휴먼-머신 인터페이스(126)는 경로 탭(route tab)(328), 절차들 탭(procedures tab)(330), 교정 탭(calibration tab)(332) 및 어플리케이션들 탭(applications tab)(334)과 같은 다양한 선택 가능한 탭들을 툴바에 제공할 수 있다. 예를 들어, 조종사가 어플리케이션들 탭(334)을 선택할 때, 휴먼-머신 인터페이스(126)는 예를 들어 정상 비행 동작 어플리케이션(216), 우발사태 동작 어플리케이션(220), 승무원 자동화 설정 어플리케이션(312), 게이지 어플리케이션(314), 및 공중 재급유 어플리케이션(316)을 포함하는 승무원 자동화 시스템(100)(예컨대, 코어 플랫폼(102)) 상에 설치된 다양한 동작 어플리케이션들(202)을 디스플레이할 수 있다.
승무원 자동화 설정 애플리케이션(312)을 선택하는 것은 조종사가 승무원 자동화 시스템(100)의 설정을 변경, 재할당 또는 그렇지 않으면 편집하는 것 및/또는 동작 애플리케이션들(202)을 설치하는 것을 가능하게 한다. 게이지 애플리케이션(314)을 선택하는 것은 휴먼-머신 인터페이스(126)가 예를 들어 위치, 방향, 속도, 고도, 피치, 요(yaw) 등을 포함하는 항공기의 다양한 동작 상태들을 표시하도록 야기할 수 있다. 인지 시스템(106), 또는 다른 센서로부터 모아질 수 있는 항공기의 다양한 동작 조건들은 영숫자 문자들(alphanumeric characters) 또는 그래픽 다이얼들로 (예컨대, 조종사의 선호 설정에 따라) 디스플레이될 수 있다. 결국, 공중 재급유 어플리케이션(316) 아이콘을 선택하는 것은 승무원 자동화 시스템(100)이 공중(mid-air) 재급유 동작을 용이하게 하거나 조화하기 위해 미리 결정된 프로토콜을 수행하도록 야기할 수 있다. 예를 들어, 공중 재급유 어플리케이션(316)을 선택할 때, 승무원 자동화 시스템은 다른 항공기와 조화하여 재급유를 용이하게 할 수 있고 동일한 것(예컨대, 항공기 위치, 대기속도, 연료 창구 개방 등을 보장하는 것)을 하기 위해 필요한 체크리스트들을 수행할 수 있다. 승무원 자동화 시스템에 의한 임무 동작들의 수행을 가능하게 하는 추가적인 임무 어플리케이션들이 포함될 수 있다.
조종사가 루트 탭(328)을 선택할 때, 휴먼-머신 인터페이스(126)는 다양한 지상점들(waypoints)(320)과 관련된 비행 경로를 따라 항공기의 현재 위치를 나타내는 아이콘(322)을 갖는 영역 맵(326)을 디스플레이할 수 있다. 아이콘(322)을 선택하는 것(예를 들어, 탭핑(tapping), 클릭킹(clicking) 등)은 항공기의 다양한 동작 조건들(예컨대, 식별, 고도, 속도, 헤딩 등)을 제공하는 대화창(324)을 디스플레이하도록 야기할 수 있다. 영역 맵(326)은 맵 제어 윈도우(318)를 사용하여 저장되거나, 내보내거나(export), 회전되거나 또는 패닝될 수 있다. 영역 맵(326)은 정적 이미지 또는 데이터 세트(또는 데이터베이스)로써 (예컨대, 통신 시스템(122)을 통해) 저장되거나 내보내질 수 있다. 조종사가 교정 탭(332)을 선택할 때, 휴먼-머신 인터페이스(126)는 항공기의 교정(calibration)을 디스플레이할 수 있으며, 이에 따라 조종사는 동일한 것을 추가로 수정(revise)할 수 있다.
HMI 시스템(104)은 편차 경고들(예컨대, "왼쪽 엔진 EGT가 정상보다 5도 높으며 상승 중")과 고장 예지(failure prognosis) 뿐만 아니라 항공기 상태의 예측들(예컨대, 연료 소비 및 예측된 나머지 범위) 및 코어 플랫폼(102)으로부터의 건전성 경고들 및 체크리스트 검증을 포함하는 직관적인 디스플레이 및 인터페이스를 제공할 수 있다. 따라서, 조종사가 도 3b에 도시 된 바와 같이 절차들 탭(330)을 선택할 때, 조종사는 임의의 건전성 경고들을 검토할 수 있을 뿐만 아니라 체크리스트 아이템들을 검토 및 모니터링할 수 있다. 실제로, HMI 시스템(104)의 기능은 예를 들어 Pilot's Operating Handbook(POH)로부터 이전에 불러온 정보에 기초하여 아이템들이 완료되지 않았으면 조종사에게 경고들을 제공하면서 그리고 인지 시스템(106)이 그들의 완료를 인지할 때 아이템들을 완료로 마킹하면서 체크리스트 모니터링 및/또는 실행을 용이하게 하는 것이다. 승무원 자동화 시스템(100)은 또한 POH 및 다른 지식 소스들에 기초하여 예상되는 것과 현재의 시스템 상태를 비교하면서 시스템 건전성을 모니터링하고, 우발사태들에 대한 적절한 대응들(responses)을 안내한다. 소정의 양상들에서, 조종사 또는 코어 플랫폼(102)은 체크리스트 행동들이 수행될 때 승인할 수 있고, HMI 시스템(104)은 자동적으로 정확한 체크리스트를 적절하게 진행한다. HMI 시스템(104)은 예컨대 일련의 지상점들로써 입력될 수 있는 조종사의 주의를 항공기가 비행 계획을 진행함에 따라 예측된 이벤트들, 정상을 벗어나는 범위 값들을 디스플레이하는 계기들, 또는 다루어지지 않은(unattended) 체크리스트 아이템들에 조종사의 주의가 향하도록 하기 위해 시각적 및 청각적 경고들을 줄 수 있다. 예를 들어, 도시된 바와 같이, 업무들의 리스트는 업무가 완료되었는지, 완료되고 있는지, 또는 완료될 필요가 있는지를 나타내는 지시자들과 나란히 제공될 수 있다(예컨대, 완료를 포함하기 위한 "체크 마크" 아이콘, "진행 중" 아이콘, 및 "완료될" 아이콘). 유사하게, 건전성 위해요소들(health hazards)의 리스트는 범위를 벗어난 하나 이상의 동작 조건들을 지시하도록 하나 또는 상응하는 아이콘들과 더불어 제공될 수 있다. 예를 들어, 연료가 적으면 저연료 지시자(low fuel indicator)가 저연료 아이콘에 나란히 제공될 수 있다.
업무 할당. HMI 시스템(104)은 만일 승무원 자동화 시스템(100)에 의해 실행된 활동들이 만약 있다면 조종사가 그것들을 제한할 수 있게 한다. HMI 시스템(104)은 조종사와 승무원 자동화 시스템(100) 간의 업무들의 할당, 그들의 책임들, 및 그 둘 간의 정보의 통신을 정의할 수 있고, 그렇게 함으로써 조종사의 협력적인 팀원으로서 기능할 수 있다. 따라서, 승무원 자동화 시스템(100)은 구성에 따라, 순전한 자문 역할(즉, 항공기에 대한 임의의 제어 없이), 완전히 자율적인 역할(즉, 조종사 개입 없이 비행 제어를 컨트롤링(controlling)), 또는 비행 컨트롤러들을 제어할 수 있는 능력을 갖는 자문 역할로 동작할 수 있다. HMI 시스템(104)은 조종사가 승무원 자동화 시스템(100)이 책임지고 있는 비행 동작의 양상들을 특정하는 경우인 전이 단계를 조종사가 거칠 수 있도록 추가로 설계될 수 있다. 예를 들어, HMI 시스템(104)은 승무원 자동화 시스템(100) 또는 조종사가 리스트상의 주어진 업무에 책임이 있는지 여부를 조종사가 선택할 수 있는 업무들의 리스트를 디스플레이할 수 있다. 업무들의 리스트는 아래에서 설명되는 절차 에디터로부터 HMI 시스템(104)에 제공될 수 있다. 조종사가 승무원 자동화 시스템(100)을 더 잘 신뢰하도록 항공기 데이터 구조(208)가 채워지고 개선되면, 조종사는 조종사를 기본 모드(primary mode)에서 감독 모드(supervisory mode)(즉, 완전히 자율적인 역할)로 전이하면서 승무원 자동화 시스템(100)이 추가적인 행동들을 수행하도록 허용할 수 있다. 이 감독 모드에서, 조종사 상호 작용들은 높고, 목표 기반(goal-based)의 레벨에 있을 수 있으며, HMI 시스템(104)은 이러한 업무들을 지원할 뿐만 아니라 문제 해결(troubleshooting)을 위한 다른 레벨들에서의 조작자 통찰력(operator insight)을 허용한다. 전술한 바와 같이, 소정의 양상들에서, 모든 업무들은 승무원 자동화 시스템(100)이 자문 역할을 제공하도록 두면서 조종사에 의해 수행될 수 있다.
모드 인식(Mode awareness). 임의의 자동화 시스템을 채용할 때의 리스크는 조종사 측에서의 모드 혼란(예컨대, 조종사가 자동화 시스템이 작업을 다룰 것이라고 믿으면서 상기 작업을 방치하는 경우)에 대한 가능성이다. HMI 시스템(104)은 먼저 승무원 자동화 시스템(100)과 조종사 간의 정확한 기능 및 전술한 업무 할당을 생성함으로써 그러한 모드 혼란을 회피한다. 실제로, HMI 시스템(104)은 조종사가 휴먼-머신 인터페이스(126)를 통해 승무원 자동화 시스템(100)을 직접 명령 및 구성할 수 있게 하고 모드 인식을 보장하기 위해 항공기 자동화 시스템(100)이 어떤 동작들을 취하고 있는지를 조종사가 이해하는 데 필요한 정보를 디스플레이한다. 다르게 말하자면, 모드 인식은 일반적으로 시스템의 모드가 조작자에 의해 기대되는 동작 모드와 일치하는 경우의 상태를 지칭한다. 휴먼-머신 인터페이스(126)는 조종사가 항공기 자동화 시스템(100)이 동작중인 모드를 항상 인식하고 있음을 보장하는데 필요한 정보를 디스플레이할 수 있다. 추가적으로, HMI 시스템(104)은 개별 임무 애플리케이션들(예를 들면, 동작 애플리케이션들(202))을 위한 휴먼 인터페이스로서 기능한다.
항공기 상태 모니터링 시스템(112). 항공기 상태 모니터링 시스템(112)은 실시간 항공기 상태를 수집하고, 결정하고 또는 그렇지 않으면 인지한다. 전술한 바와 같이, 항공기 상태 모니터링 시스템(112)은 특히 항공기로의 직접 연결(예컨대, 항공기에 일체화되거나 또는 그렇지 않으면 하드와이어드됨)을 통해 또는 인지 시스템(106)을 통해 실시간 항공기 상태를 인지할 수 있다. 인지 시스템(106)이 사용될 때, 항공기 상태 모니터링 시스템(112)은 전용 제어기(예컨대, 프로세서)를 포함하거나 또는 인지 시스템(106)의 제어기(402)를 공유할 수 있다. 예를 들어, 인지 시스템(106)은 조종실 계기들에 의해 디스플레이된 비행 상황 정보를 판독하거나 이해(comprehend)하기 위해 식별 알고리즘들, 음향 시스템(acoustic system) 및 시각 시스템(vision system)의 조합을 채용할 수 있다. 예시적인 조종실 계기들은 예를 들어 고도계, 대기속도 지시기, 수직 속도 지시기, 하나 이상의 나침반 시스템(예컨대, 자기 나침반), 하나 이상의 자이로스코프 시스템(예컨대, 자세 지시기(attitude indicator), 헤딩 지시기, 선회 지시기(turn indicator)), 하나 이상의 비행 감독 시스템, 하나 이상의 항법 시스템(예컨대, 초고주파 전방향 범위(very-high frequency omnidirectional range: VOR), 무지향성 라디오 비콘(non-directional radio beacon: NDB)) 등을 포함한다. 인지 시스템(106)은 픽셀 밀도, 눈부심 강인성(glare robustness) 및 중복(redundancy)을 최대화하도록 계기판 상에 트레이닝된 하나 이상의 광 센서(예컨대, 3개 이상의 경량 머신 비전 카메라들(lightweight machine vision cameras)) 및 프로세서를 포함할 수 있다. 하나 이상의 광 센서는 예를 들어 이더넷을 통해 인지 컴퓨터에 유선으로(wiredly) 연결될 수 있다. 하나 이상의 광 센서는 계기판과 함께 가시선(line of sight)과 함께 설치되어야 하지만, 조종사를 방해하지 않아야 한다.
인지 시스템(106)에 의해 인지된 비행 상황 데이터는 실시간으로 인코딩될 수 있고 코어 플랫폼(102)에 제공될 수 있다. 코어 플랫폼(102)의 개방형 아키텍처는 인지 시스템(106)에 의해 생성된 비행 상황 데이터를 보강(augment)하도록 데이터 버스(124)를 통해 수신된 추가적인 데이터의 결합을 가능하게 한다. 예를 들어, 도 1b에 도시된 바와 같이, 항공기 상태 모니터링 시스템(112) 및/또는 인지 시스템(106)은 인지 시스템(106)에 의해 모아진 또는 그렇지 않으면 항공기 상태 모니터링 시스템(112)에 의해 수집된 상태 및 비행 상황 정보(예컨대, 비행 상황 데이터)를 코어 플랫폼(102)에게 보내는 동안, 코어 플랫폼(102)으로부터 구성 데이터 및 명령들을 수신할 수 있다.
도 4는 특히 코어 플랫폼(102)(이것은 비행 제어 시스템(116)과 같은 다른 서브 시스템들에 결합됨)과 동작적으로 결합된 예시적인 인지 시스템(106), GPS/INS 시스템(154) 및 임의의 다른 입력 시스템들(412)을 도시한다. 인지 시스템(106)은 기본(basic) 아날로그 항공기 계기들에서부터 고도로 집적화된 글래스 콕핏 항공전자 슈트들(glass cockpit avionics suites)에 이르기까지 다양할 수 있는 조종실 레이아웃들로부터 항공기 상태를 유도하기 위해 사용될 수 있는 비행 상황 데이터를 생성하도록 특히 조종실 계기들을 시각적 및/또는 음향적으로 모니터링한다. 대기속도 및 고도와 같은 물리적 상태를 유도하는 것 외에도, 인지 시스템(106)은 연료 게이지들 및 라디오들과 같은 항공기 시스템들에 특정한 계기들을 모니터링할 수 있으며, 작동 시스템(108)의 상태 및 포지셔닝에 관한 이차적 피드백을 제공할 수 있다.
도시된 바와 같이, 인지 시스템(106)은 카메라들(410)(시각 시스템을 위해 사용됨), 마이크로폰(408)(음향 시스템을 위해 사용됨) 및/또는 다른 센서들(406)(예컨대, 온도 센서들, 포지션 센서들(positional sensors), 관성 센서들 등)과 같은 복수의 센서들 및 데이터베이스(404)와 동작적으로 결합된 인지 제어기(402)를 포함할 수 있다. 예를 들어, 인지 제어기(402)는 GPS/INS 시스템(154) 및 다른 입력 시스템들(412)과 같은 외부 구성요소들, 데이터베이스(404) 및 복수의 센서들로부터 수신된 조작된 정보와 수신된 정보에 기초하여 코어 플랫폼(102)에게 비행 상황 데이터를 공급(feed)하도록 (또는 그렇지 않은 경우 지시하도록) 구성된 프로세서일 수 있다.
시각 시스템(Vision system). 인지 시스템(106)은 조종실 계기들 상에 디스플레이된 것을 판독함으로써 항공기의 상태를 연속적으로 모니터링하도록, 가능하게는 모션 캡처 마커들(moion capture markers)을 포함하는 단안시(monocular) 또는 양안시(stereovision) 시스템을 채용할 수 있다. 소정의 양상들에서, 두 개의 유리한 지점으로부터의 장면에 관한 정보를 비교함으로써, 두 개의 패널들에서 물체들의 상대적 포지션들을 조사함으로써 3D 정보가 추출될 수 있다. 시각 시스템은 다양한 조명 조건들 및 조종실 레이아웃들 및 크기들에서의 그들의 포지션들뿐 아니라 스위치들 및 계기들(예컨대, 글래스 게이지들, 물리적 증기 게이지들 등)을 정확하게 모니터링하는 데 사용될 수 있다. 양안시 시스템 및/또는 마커들을 사용하는 것은 또한 임의의 로봇 구성 요소들과 조종사 간의 충돌들을 방지하도록 감지하는 것을 제공한다.
시각 시스템은 한 슈트의 고화질의, 양안 카메라들(stereo cameras) 및/또는 LIDAR 레이저 스캐너를 채용할 수 있다. 시스템은 모든 비행 계기들로부터의 데이터를 인식하는 것을 할 수 있고 항공기 특정 시스템들의 상태(예컨대, 잔여 연료)를 디스플레이하는 게이지들 및 스위치 노브들의 상태를 유도할 수 있다. 그것은 또한 조종사 행동들로 기인한 사소한 변화들을 탐지하도록 충분한 해상도로 패널의 상태를 인식하는 것을 할 수 있다. 인지 시스템(106) 컴퓨터 상의 머신 비전 알고리즘들(106)은 코어 플랫폼(102)에게 실시간 조종실 상태 업데이트를 제공하도록 차단기들(breakers), 스위치들, 트림 설정들(trim settings), 및 스로틀 레버들(throttle levers)과 같은 기계 아이템들 및 계기들(게이지들, 조명들, 바람 수정각 패널(wind correction angle panel), 글래스 콕핏에서의 다기능 디스플레이 또는 기본 비행 디스플레이의 개별 요소들)을 ‘판독’한다.
인지 시스템(106)은 기본 아날로그 항공기 계기들에서부터 고도로 통합된 "글래스 콕핏" 항공전자 슈트들에 이르는 조종실 레이아웃들로부터 항공기 상태를 유도하는 것을 할 수 있다. 시각 시스템을 통해, 항공기로부터의 데이터 피드(data feed)를 위한 요구사항이 배제되는데, 이는 항공기 전체에 걸친 이동성(portability)을 허가/증가시킨다. 그러나, 가능한 경우, 승무원 자동화 시스템(100)은 또한 항공기의 데이터 피드에 (예컨대, 데이터 포트를 통해서) 결합될 수도 있다. 더 나아가, 코어 플랫폼(102)에 대해 설명된 애플리케이션 접근법을 사용하여, 상이한 조종실 레이아웃들이 상이한 하부 동작 애플리케이션들(underlying operation applications)(202)을 사용하여 처리(address)될 수 있고 이해될 수 있다. 예를 들어, 승무원 자동화 시스템(100)은 그래픽 다이얼(예컨대, 아날로그 "스팀(steam)" 게이지들 또는 그 디지털 표현) 또는 글래스 콕핏과 같은 계기들에 디스플레이된 값들을 유도하도록 게이지 애플리케이션(314)을 채용할 수 있다. 이 접근법은 또한 승무원 자동화 시스템(100)이 특히 조종실에 디스플레이된 기상 레이더들, 트래픽 디스플레이들 및 지형도들을 모니터링하는 동작 애플리케이션들을 실행하는 것을 가능하게 한다.
승무원 자동화 시스템(100)이 이동가능하도록 만들기 위해서, 새로운 조종실 레이아웃을 신속하게 학습하고 계기들의 단위 또는 위치 및 스케일링에서의 미묘한 차이들을 코드화하는 과정은 인지 시스템(106) 설계에 의해 처리된다. 예를 들어, 초기 지식 습득 단계 동안, 계기들 및 스위치들의 위치와 규모는 그래픽 다이얼 게이지들, CRT 디스플레이, LCD 등의 번호(글래스 콕핏) 또는 그래픽 다이얼(원형 다이얼)의 포지션의 추출에 대한 실시간 업무를 줄이면서, 특정 항공기를 위하여 인코딩될 수 있고 검증(verify)될 수 있다. 조종실 계기의 구분적 평면 구조는 인지 시스템(106)이 (예컨대, 호모그래피 방법들(Homography methods)을 사용하여) 이미지들을 해석하고 그것을 초기 지식 획득 단계 동안에 생성된 미리 맵핑된(pre-mapped) 데이터에 대조하여 등록할 수 있게 한다. 따라서, 라이브 이미지(live imagery)는 이전에 주석이 첨부된 모델과 비교될 수 있으며 등록될 수 있고, 그렇게 함으로써 데이터의 해석이 크게 단순해진다.
작동 시스템(108). 원하는 때에, 작동 시스템(108)은 항공기의 비행 및 전체적인 동작을 안내하도록 코어 플랫폼(102)을 통해 명령된 행동들을 실행한다. 승무원 자동화 시스템(100)의 작동 시스템(108)은 조종사에 의해 수행되는 활동들을 방해하지 않으면서 항공기의 비행 및 전체적인 동작을 안내하도록 코어 플랫폼(102)에 의해 명령된 행동들을 실행한다. 예를 들어, 도 1b에 도시된 바와 같이, 작동 시스템(108)은 작동 시스템(108)에 의해 생성된 상태 및 응답 정보를 코어 플랫폼(102)에 전송하면서, 코어 플랫폼(102)으로부터 작동 명령들 및 구성 데이터를 수신할 수 있다.
유인 항공기 조종실들은 인간의 도달 영역(human reach envelope)을 위해 설계되었으며, 그러므로, 모든 조종실 제어기들은 맞먹는 사이즈를 가진(comparably sized) 로봇/기계 조작기에 의해 접근 가능하다. 그러나, 긴급 동작에 필요한 신속한 실행과 함께 고중력(high-G) 및 진동 환경들에서 모든 가능한 조종실 상의 모든 개개의 스위치, 노브, 레버 및 버튼을 작동할 수 있는 조작기는 승무원 자동화 시스템(100)에 요구되는 것보다 비싸고, 무겁고, 그리고 더 침입적일 것이다.
항공기에서의 이동성을 보다 효과적으로 달성하기 위해, 승무원 자동화 시스템(100)은 이차적 비행 제어장치들(예컨대, 스위치들, 노브들, 락커들, 퓨즈들 등)의 작동으로부터 일차적 비행 제어장치들(스틱/요크, 스틱, 사이드스틱(side-stick) 또는 집단(collective), 방향타 페달들(rudder pedals), 브레이크들 및 스로틀들)의 작동을 분리할 수 있다. 이 접근법은 항공기가 진화함에 따라 쓸모없게 될 단일 포인트 솔루션을 설계할 가능성을 줄인다. 따라서, 승무원 자동화 시스템(100)은 조종실 내의 작동기들을 물리적으로 제어하도록 일차적 작동 시스템(108a) 및 이차적 작동 시스템(108b)을 채용할 수 있다. 보다 구체적으로, 일차적 작동 시스템(108a)은 조종사에 의한 이러한 제어장치들의 사용을 모호하게 함 없이 이차적 작동 시스템(108b)이 이차적 비행 제어장치들을 작동시킬 수 있는 동안에 일차적 비행 제어장치들을 작동시킬 수 있다. 일차적 작동 시스템(108a) 및 이차적 작동 시스템(108b)은 비행 동작들 중에 오늘날의 비행 갑판들 상에 존재하는 모든 표준 제어장치들을 집단적으로 작동시키도록 구성된다.
후술하는 바와 같이, 이차적 작동 시스템(108b)이 이차적 비행 제어장치들(예컨대, 스위치들, 노브들, 로커들, 퓨즈들 등)과 같은 일차적 작동 시스템(108a)에 의해 쉽게 액세스되지 않는 제어장치들을 작동하는데 중점을 두는 한편, 일차적 작동 시스템(108a)은 일차적 비행 제어장치들(스틱/요크, 스틱, 사이드스틱 또는 집단, 방향타 페달들, 브레이크들 및 스로틀들)을 작동시키는 것에 중점을 둔다.
일차적 작동 시스템(108a). 일차적 작동 시스템(108a)은 항공기를 안전하게 동작시키는데 필요한 일련의 제어장치들에 중점을 둔다. 도 5a 및 도 5b에 도시된 바와 같이, 일차적 작동 시스템(108a)은 관절 아암(articulating arm)(502)(예컨대, 로봇 부속기(appendage) 또는 “아암(arm)”), 및 일차적 비행 제어장치들(스틱/요크, 스틱, 사이드스틱 또는 집단, 방향타 페달들, 브레이크들 및 스로틀들)과 다른 도달이 용이한 제어장치들을 작동시키는 스틱/요크 작동기(stick/yoke actuator)(510)를 갖는 프레임을 포함한다. 작동기들은 전기적, 공기압(pneumatic) 및/또는 유압(hydraulic) 기술들 중 하나 이상을 통해 구동될 수 있는 선형(직선), 회전(원형) 또는 진동 작동기(oscillatory actuators)들 중 하나 이상일 수 있다.
프레임(516)은 표준 항공기의 좌석 내에 맞도록(fit) 사이즈가 이루어지고(sized) 형상화될(shaped) 수 있다. 이를 위해, 프레임의 풋프린트(516)(footprint)는 평균적인 인간의 "앉은(seated)" 풋프린트와 거의 같거나 작은 사이즈이어야 한다. 작동 시스템(108)은 경량 금속들, 금속 합금들 및/또는 복합 재료들을 사용하여 제작될 수 있다.
스틱/요크 작동기(510). 스틱/요크 작동기(510)는 스틱/요크 그리퍼(stick/yoke gripper)(512)를 사용하여 항공기의 기존 스틱/요크(514)에 결합하고 맞물릴(engage) 수 있다. 스틱/요크 그리퍼(512)는 보편적이고 다양한 형식(form)의 스틱/요크들 및/또는 제어 휠들에 맞물릴 수 있도록 사이즈가 이루어지고 형상화될 수 있다. 스틱/요크 작동기(510)는 앞으로(forward), 뒤로(backward), 왼쪽으로, 오른쪽으로, 및 그 사이 포지션들로 스틱/요크(514)를 움직이도록 구성될 수 있다. 스틱/요크 그리퍼(512)는 스틱/요크(514) 상에 위치된 버튼들 및/또는 스위치들을 작동시키기 위한 하나 이상의 작동기를 더 포함할 수 있다.
관절 아암(502). 작동기-제어(actuator-controlled) 관절 아암(502)은 통상적으로 부조종사의 아암들에 의해 차지되는 공간을 차지하도록 사이즈가 이루어지고, 형상화되고 및 구성될 수 있으며, 그렇게 함으로써 항공기 전체에 걸친 이동성을 보장한다. 다중 자유도(multiple degrees of freedom: DOF) 움직임에서의 움직임을 가능하게 하기 위해, 관절 아암(502)은 복수의 힌지 또는 피봇 조인트들(hinged or pivotal joints)(506)을 사용하여 접합된 복수의 아암 세그먼트들(선형적인지(linear), 굽었는지(curved) 또는 각이 졌는지(angled) 여부에 관계없이)을 포함할 수 있다. 관절 아암(502)은 그의 원위단에 그리퍼(gripper)(504)를 포함할 수 있다. 그리퍼(504)는 다중 DOF 연결(multiple-DOF connection)을 통해 관절 아암(502)에 결합될 수 있다. 관절 아암(502)의 베이스(base)는 가동 베이스(movable base)(508)를 통해 회전 가능하고 슬라이딩 가능하게 프레임(516)에 결합될 수 있다. 예를 들어, 관절 아암(502)은 프레임(516)에 고정될 수 있는 하부 베이스(508b)와 슬라이딩 가능하게 결합된 상부 베이스(508a)와 결합될 수 있다. 상부 베이스(508a)는 예를 들어 레일들(rails)과 볼 베어링들(ball bearings)의 조합을 사용하여 하부 베이스(508b)에 대해 슬라이딩할 수 있다. 소정의 양상들에서, 상부 베이스(508a)는 X 축 및 Y 축을 따라 하부 베이스(508b)에 대해 슬라이딩할 수 있다.
관절 아암(502)은 관절 아암(502)의 정확한 포지셔닝을 보장하도록 그 각각의 자유도를 위한 인코더(예컨대, 트윈 18 비트 인코더들(twin 18-bit encoders))로 장착될 수 있다. 관절 아암(502)을 손상시키지 않으면서 원하는 경우에 조종사에 의해 관절 아암(502)이 과출력(overpowered)될 수 있도록, 내부 클러치들은 각각의 힌지 또는 피봇 조인트(506)에 제공될 수 있다. 이러한 경우에, 승무원 자동화 시스템(100)은 인코더를 사용하여 관절 아암(502)의 위치 또는 포지션을 결정할 수 있다.
그리퍼(504)는 예를 들어 스로틀 레버들 등에 결합하도록 그렇지 않으면 맞물리도록 구성될 수 있다. 그리퍼(504)는 또한 승무원 자동화 시스템(100)이 비행 제어 작동기가 어떻게 파지(grasped)되었는지를 추정하고 그것을 적절하게 던지도록 모션을 조정하는 것을 허용하기 위하여 힘 및 압력 검출을 제공할 수도 있다. 모션이 실행되면, 동일한 피드백은 원하는 스위치 구성이 달성되었는지를 결정하는 데 사용될 수 있다. 소정의 양상들에서, 관절 아암(502)에는 타겟을 발견하고 치는 것을 가능하게 하는 전자 장치(예컨대, 호밍 디바이스(homing device))가 설치될 수 있다.
이차적 작동 시스템(108b). 일반적으로 항공기 제조사들과 유형들에 걸쳐 동일한 근방에 위치된 기본 비행 제어장치들과 달리, 이차적 비행 제어장치들(예컨대, 항공전자장비들(avionics), 스위치들, 노브들, 로커들(rockers), 토글들(toggles), 커버된 스위치들, 퓨즈들 등)의 위치는 항공기마다 일관되거나 공간적으로 포함되지 않는다.
이차적 작동 시스템(108b)은 일차적 작동 시스템(108a)에 의해 쉽게 액세스되지 않는 제어장치들을 작동시키는 것에 중점을 둔다. 예를 들어, 몇몇 스위치들은 (특히 난기류 비행 조건들에서) 로봇 아암을 사용하여 그것들을 조작하는 것을 잠재적으로 어렵게 만들면서 심지어 캡틴의 머리 바로 위의 오버헤드 패널 상에 있을 수 있다. 따라서, 다른 작동기들은 자체적으로 포함된(self-contained) 이차적 작동 시스템(108b)에 할당될 수 있는 한편, 몇몇 작동기들은 전술한 일차적 작동 시스템(108a)에 할당될 수 있다.
이차적 작동 시스템(108b)은 관심있는 패널에 직접 탑재되고 작동중인 특정 패널에 맞게 교정된(calibrated) 적응가능한(adaptable) XY-플로터(XY-plotter) 또는 갠트리 시스템(gantry system)의 형태로 제공될 수 있다. 이차적 작동 시스템(108b)은 바람직하게는보편적이며(universal) 크기 조절이 가능하다(resizable). 예시적인 XY- 플로터가 도 5c에 도시되었다. XY-플로터는 플로터의 레일들(520)로서 기능하는 사각 프레임, 관심있는 제어장치들을 조작할 수 있는 다중 인터페이스들(예컨대, 스위치 작동기(532) 및 노브 작동기(530))을 갖는 회전 가능한 다중 툴(multi-tool)(528), 및 레일들(524)의 X축 세트와 레일들(522)의 Y축 세트를 따라 프레임 내에서 이러한 다중 툴(526)을 이동시키는 제어 시스템을 포함할 수 있다.
사용할 때, 플로터는 다중 툴(528)을 위치로 이동시키고, 올바른 조작기 인터페이스를 선택하며, 그리고 관심있는 이차적 비행 제어장치를 조작한다. 예를 들어, 다중 툴(528)은 스위치 작동기(532)를 사용하여 바이너리 스위치들 및/또는 커버된 스위치들을 플립(flip)할 수 있고 노브 작동기(530)를 사용하여 노브들을 돌릴(twist) 수 있다. 스위치 작동기(532) 및/또는 노브 작동기(530)는 회전 가능한 스위치 아암(534)과 같은 관절형 또는 회전하는 부재를 통해 다중 툴(528)에 연결될 수 있다.
사용하지 않을 때, 다중 툴(528)은 패널의 방해를 방지하도록 홈 포지션으로 (예컨대, 먼 코너로 자동적으로 항법하여) 복귀할 수 있다. 다중 툴(528)은 조종사의 손을 감지했을 때 방해되지 않게 움직이도록 센서들(예컨대, 근접 센서들)로 장착될 것이다. 새 항공기에서의 플로터의 초기 설치 동안에, 이차적 비행 제어 패널의 위치, 유형 및 포지션이 인코딩될 수 있다. 특정한 이차적 비행 제어 패널이 인코딩되면, 구성은 항공기 데이터 구조(208)에 저장될 수 있고 그리고 승무원 자동화 시스템(100)이 동일한 항공기 또는 동일한 유형의 항공기에 설치될 때 로드될 수 있다. 특정 양상들에서, 예를 들어 풋 페달들(예컨대, 브레이크 및/또는 방향타 페달들)과 같은 조종실의 발밑 공간에 위치된 제어기들을 작동시키도록 추가적인 작동기들이 제공될 수 있다.
로봇 아암(550): 도 6에 제공된 바와 같이, 블록 다이어그램은 로봇 아암(550)을 채용하는 개시된 로봇 시스템의 기능적 요소들을 도시한다. 예를 들어, 로봇 아암(550)은 도 5a의 관절 아암의 여러 특징들을 채용한다. 관절 아암(502)과 관련하여 설명된 인터페이스들 및 제어장치들은 본 명세서에 기술된 추가적인 특징들뿐만 아니라 로봇 아암(550)에도 이용 가능하다. 로봇 아암(550)은 관절 아암(502)을 대체하는 데에 사용될 수 있고, 또는 관절 아암(502)에 더하여 사용될 수 있다. 로봇 아암(550)이 관절 아암(502)을 대체하는 경우의 예시에서, 로봇 아암(550)은 아래에 기술된 추가적인 특징들뿐만 아니라 앞서 언급된 관절 아암(502)의 기능을 제공하도록 구성된다.
이전의 시스템들은 고정 카메라들에만 국한되었으며 터치 용량이 부족했다. 개시된 것은 로봇 아암에 대한 고유의 아키텍처 및 방법인데, 로봇 아암은 함께 통합된 이미징 능력들을 가진 기능적 부속물(예컨대, 그리퍼)을 포함하며 그리고 모바일 로봇 아암(550)에 대한 고유 기준 시스템들(unique fiducial systems)의 사용을 비교한다. 더 나아가, 개시된 로봇 아암(550)을 채용함으로써, 로봇 행동들을 가르치는 것뿐만 아니라 동작들을 구현하는 방법이 고려된다.
본 명세서에 제공된 실시예들에서, 통합된 이미징 및 힘 센싱 능력들을 갖는 로봇 시스템이 기술된다. 특히, 로봇 시스템의 로봇 아암(550)은 자동화된 항공기 환경에서 하나 이상의 프로세스들을 작동시키기 위하여 이미지 및 힘 데이터 수집 및 분석에 최적화된다.
본 명세서에 기술된 바와 같이, 본 명세서에 기술된 로봇 아암 (550)은 종래의 로봇 아암들에 비해 향상된 능력을 제공하는데, 이는 이전에는 이용 불가능했던 로봇 시스템 항공기 자동화 능력들을 제공한다. 예시들에서, 로봇 아암은 조종실 계기들(558) 및 대응하는 디스플레이들(560)과 같은 항공기의 장면을 이미징하기 위해 사용되는 카메라를 포함한다. 로봇 아암(550)의 동작 중에 접촉력 데이터(contact force data)를 수집할 뿐만 아니라 원하는 접촉력의 폐쇄 루프 제어(closed-loop control)를 모두 가능하게 하는 힘 센싱 핑거(force-sensing finger)를 로봇 아암(550)은 또한 포함한다.
로봇 시스템의 기능적 측면들은 힘 센서(552), 이미징 캡처 시스템(554)(예컨대, 시각 시스템과 같은 카메라) 및 다양한 복합 인터페이스(complex interface) 동작들을 구현하기 위한 하나 이상의 제어기에 의해 특징지어진다. 추가적으로, 로봇 시스템은 제어기(예컨대, 비행 제어 시스템(116)), 루틴 리스트(routine list), 데이터 획득 시스템 및 데이터 분석 시스템(예컨대, 힘 및 이미지 데이터를 위한) 중 하나 이상과 통신한다. 예를 들어, 힘 센서(552) 및 영상 촬영 시스템(554)은 동작 전, 동작 도중 및 동작 이후 계기의 상태에 관해 결정들을 내릴 뿐만 아니라 계기가 정확하게 식별되었는지를 확실히 하고, 조종실 계기(예컨대, 스위치, 다이얼, 노브 등)를 조작하도록 제어기(예컨대, 코어 플랫폼(102))에 정보를 제공할 수 있다. 예를 들어, 스위치는 조종실의 특정 영역에 위치될 수 있으며, 거리 및 위치는 이미징 시스템(554)에 의해 식별된다. 스위치를 동작하라는 명령을 수신하면, 제어기는 로봇 아암(550)을 스위치로 움직이는 최적의 방법을 결정할 수 있다(예컨대 로봇 아암의 궤도, 현재 포지션에서 스위치까지의 거리). 제어기는 더 나아가 상호작용의 하나 이상의 파라미터들(예컨대, 스위치의 상태에서의 예상된 변화, 스위치를 활성화시키는데 요구되는 힘의 양 등)을 결정할 수 있고, 이들 파라미터에 대응하는 센서들로부터 정보를 모니터링할 수 있다.
몇몇의 예시들에서, 특정 계기(예컨대, 스위치)와 관련된 파라미터들의 라이브러리 또는 매트릭스는 제어기에 액세스 가능한 메모리(556)에 저장될 수 있다. 도 6에서 로봇 아암(550)과 함께 배치된 것으로 나타내지만, 메모리(556)는 코어 플랫폼(102)과 통합되거나, 원격으로 위치(예컨대, 네트워크에 의해 액세스됨)되거나 기타 등등일 수 있다. 모니터링된 파라미터들은 동작이 예상대로 수행되는지를 검증하기 위해 파라미터들의 라이브러리와 비교될 수 있다. 일 예시에서, 메모리(556)(예컨대, 새로운 및 또는 커스텀 계기)에 저장된 파라미터들의 세트를 갖지 않는 스위치를 작동시키기 위한 명령과 같이, 제어기는 동작 중 센서들에 의해 획득된 정보에 따라 파라미터들의 매트릭스를 구축할 수 있다. 다른 예시들에서, 특정 스위치의 반복된 작동과 같은 동작 동안, 스위치와 관련된 매트릭스는 획득된 데이터에 기초하여 업데이트되고 개선될 수 있다. 몇몇의 예시들에서, 획득된 정보가 매트릭스에서의 파라미터들로부터 벗어나는 경우, 다른 시스템(예컨대, 원격 제어기) 또는 조작자(예컨대, 조종사)에게 경고가 보내질 수 있고, 또한 고장(fault)이 발생했는지, 스위치에 결함이 있는지, 동작이 성공적이지 못했었는지 등을 결정하기 위해 추가적인 정보 요구(예컨대, 다른 카메라로부터)를 할 수 있다.
조종실 계기들(558)의 물리적인 로봇 조작을 안내하기 위한 힘 및 이미징 능력들의 통합은 자동조종장치 패널 또는 비행 관리 시스템(flight management system: FMS)과 같은 복합 인터페이스들의 이해 및 동작을 가능하게 한다. 패널들, 시스템들 및 계기들의 동작 상태는 이미징을 통해 캡쳐될 수 있고, 버튼, 스위치 등의 작동 중에 로봇 아암(550)에 의해 유효화될(validated) 수 있다. 특히, 로봇 아암(550)은 힘 센서(552)에 의해 캡쳐된 힘 또는 압력 프로파일을 인식함으로써 궤적, 행동 또는 상태를 확인할 수 있다.
로봇 아암이 장착된(robotic arm-mounted) 카메라는 이미징 시스템(554)이 조종실 내의 다양한 관점들로부터 다양한 뷰들을 획득할 수 있도록 허용한다. 예를 들어, 조종실 환경에서, 계기들은 인간 조작자의 리치(reach) 및 포지션에 맞추어 수직적으로, 수평적으로 또는 다양한 각도들로 향하게 될 수 있다. 로봇 아암(550)에 장착된 카메라는 조종실 내의 다양한 위치들 및 각도들에서 표면들 및 계기들을 볼 수 있다. 이런 식으로, 로봇 아암(550)은 비행 중에 조종사의 시야(view)를 불명료하게 하는 것을 회피할 뿐만 아니라 고정된 시야로부터 차단될 수 있는 계기들을 보도록 조종석 주위로 움직여질 수 있다. 따라서, 본 명세서에 기술된 로봇 아암(550)의 유연성은 본 명세서에 기술된 바와 같은 다수의 장점들을 갖는, 종래 시스템들에서 발견되었던 고정적으로 장착된(statically-mounted) 카메라들로부터의 이탈이다.
로봇 팔(550)에 장착된 힘 센서(550) 및 이미징 시스템(554)으로부터의 정보는 조종실 및 관련된 계기의 2차원 및 3차원 모델들을 구축 및/또는 검증하기 위해서 채용될 수 있다. 예시들에서, 힘 센서(552)는 이전에는 오직 이미징 센서들(imaging sensors)로만 가능했던 조종실 요소들의 위치, 포지션, 상태 등을 검증하는 능력을 갖는 로봇 아암(550)을 제공한다. 예를 들어, 상기 정보는 특정 스위치가 위(up)인지 또는 아래(down)인지, 켜져 있는지 또는 꺼져 있는지, 특정 색상 등을 제어기가 결정하도록 허용할 수 있다.
다양한 루틴들의 성능에서, 힘 센서(552)는 맵핑된 장면들을 연속적으로 모니터링하고 유효화할 수 있다. 예시들에서, 행동의 퍼포먼스는 예상된 궤도 및 힘을 포함할 수 있다. 계기들(558)(예컨대, 상태, 관련된 디스플레이(560))의 알려진 및/또는 계산된 및/또는 추정된 조건과 협력하여, 힘 센서(552)로부터의 정보는 접촉 궤적들(예컨대, 매트릭스 내의 하나 이상의 파라미터에 의해 제공됨)을 측정 및/또는 유효화하기 위해 사용될 수 있다. 예를 들어, 버튼을 누르는 것은 벽으로 미는 것과는 다른 접촉 프로파일을 가질 것이며, 접촉시 피드백되는 힘의 양은 힘 센서(552)가 작동하는 표면의 유형을 식별하는데 사용될 수 있다.
이 개시는 조작가능한 부속기, 부속기들의 세트 또는 로봇 아암(550)에 부착된 다른 엔드 이펙터(end-effector)(예컨대, 로봇 아암(550)의 끝에 있는 그리퍼 툴(gripper tool))에 추가된 시각(vision) 및 터치 능력을 기술한다. 이 두 가지 센서 기법들은 ALIAS 로봇 아암이 수행할 수 있는 활동들의 유형을 확장하는데, 이는 고정 카메라들에 의존하거나 및/또는 힘 센싱 능력들이 부족한 로봇 아암들의 능력을 확장한다.
특히, 이 두 가지 기법들은 자동조종장치 패널(Autopilot Panel) 또는 비행 관리 시스템(Flight Management System)과 같은 항공기 상의 복합 인터페이스들의 동작을 로봇이 식별/맵핑/인식/작동시킬 수 있도록 한다. 이 패널들을 동작시키는 것은 시각(vision)(예컨대, 시스템의 상태를 추론하기 위해 FMS의 스크린을 판독하는 것)에 의해 구동되는 조건부 로직(conditional logic)을 요구한다. 이 패널들은 작은 텍스트를 가질 수 있고 또는 그렇지 않으면 고정된 또는 원격 위치에서의 카메라 장착으로부터 시각적으로 차단될 수 있다. 시각적 인지가 항상 시스템의 핵심 기능이었던 반면에, 특히 복합 인터페이스들의 동작을 위한 로봇 가이드 비전(robot-guided vision)의 사용은 상당한 이점들을 제공하고, 시스템 아키텍처를 향상시키며, 그리고 조종실 환경에서 계기들의 이해의 깊이와 정확성을 보장하는 확장된 능력들을 초래한다.
예를 들어, 터치 감도는 조종실 계기들(558)의 모델들을 검증하고 제어장치들을 식별하기 위한 제2의 독립적인 데이터 경로를 제공한다. 특히, 다른 카메라들뿐만 아니라 로봇 아암(550)에 장착된 카메라는 실시간으로 유효성 테스트 및 빌트인(built-in)을 제공한다. 예를 들어, 연속적으로 모니터링되는 시스템은 특정 계기의 정확한 동작을 검증하도록 예상 접촉 궤적들 및 힘 프로파일들 달성되었는지를 검증할 수 있다. 몇몇 예시들에서, 시스템은 시스템 자체의 동작 준비태세(operational readiness)를 측정하기 위해서 캡쳐된 데이터를 채용할 수 있다. 이러한 방식으로, 모니터링된 정보는 저장된 값들, 적절한 궤적들을 계산하는 시스템의 능력, 작동 시스템들의 충실도 등을 검증하기 위하여 저장된 파라미터들과 비교될 수 있다. 하나 이상의 파라미터들이 임계값을 벗어난 것으로 밝혀진 경우, 경고가 제공될 수 있고, 추가 정보가 요청될 수 있으며, 조치(action)가 반복 및/또는 실행취소(undone) 등이 될 수 있다.
몇몇 예시들에서, 일차적 작동 시스템(108a)은 자동조종장치, FMS 및 라디오/트랜스폰더를 관찰하고 작동시키기 위해 사용되었다. 조종실 전체에 배치 및 지향되기 때문에, 이미징 능력들이 탑재된 로봇 아암(550)(일차적 작동 시스템(108a) 또는 별도의 로봇 아암)은 단일 카메라로부터 이들 표면들의 관찰을 가능하게 한다. 예를 들어, 카메라가 조종실 스로틀 열(cockpit throttle column) 뒤에 장착될 수 있으므로 FMS는 고정 카메라 장착 지점(static camera mounting point)에서 보이지 않을 수 있다. 이미지 센서들 및 힘 센서들을 통합하는 것은 인터페이스들(예컨대, 버튼들, 스위치들, 노브들, FMS의 스크린 인터페이스들)을 관찰하고 상호작용하기 위한 유연성을 크게 향상시키며 그리고 계기들(예컨대, 자동조종장치 시스템)의 상이한 상태들에 대한 이해를 크게 향상시킨다.
예시들에서, 카메라는 표준화된 뷰(standardized view)를 만들기 위해 이미지들을 분석 및/또는 조작하도록 데이터를 제어기로 보낸다. 표준화된 뷰는 하나 이상의 시스템들에서 쉽게 판독가능한 포맷일 수 있다. 예를 들어, 장치 및/또는 제어기의 미가공 카메라 이미지(raw camera image)(예컨대, 도 7a 및 도 7d에 도시된 바와 같은)는 이미지의 요소들이 하나 이상의 물리적 및/또는 가상 제어장치들(예컨대, 버튼들, 다이얼들, 스위치들 등)을 포함하는 패널로서 인식될 수 있도록 재포맷될 수 있다. 하나 이상의 제어장치들 각각은 수치 판독과 같은 하나 이상의 디스플레이들에 대응할 수 있다.
도 7a 내지 도 7c에 도시된 예시에서, 카메라는 제어장치들(도 7a)의 이미지를 캡쳐하고, 에지 검출 알고리즘(edge-detection algorithm)이 이미지(도 7b)상에서 수행된다. 이러한 과정은 식별 및/또는 분석 루틴 동안에 증가될 수 있다. 도 7c에 도시된 바와 같이, 시스템은 에지 검출 알고리즘을 통해 변환된 제어장치들 상에 나타난 정보를 인식할 수 있다. 도 7c의 예시에서, 제어 패널상의 LCD 디스플레이로부터 캡쳐된 숫자 2, 4 및 9는 RAS 시스템에 의해 식별되고 분석된다. 따라서, 본 명세서에 기술된 자율 시스템들의 구현을 알리고 제어하는 데에 상기 정보가 사용될 수 있다. 조종실 제어장치들 세트의 도 7d에 추가 이미지가 나와있다. 위에서 설명된 바와 같이, 에지 검출 알고리즘의 적용은 시각 시스템 처리 및 분석에서 중간 단계로서 기능하는 가상의 분석가능한(parsable) 이미지(도 7e)를 생성한다.
제어기는 제어 시스템(예컨대, 프로세서에 의하거나, 컴퓨터 디스플레이 상에 나타난것 등)의 분석을 위해 컴퓨터 판독가능한 출력이 생성될 수 있도록 제어장치들 및 디스플레이들을 식별 및 디지털화하도록 구성된다. 예를 들어, 카메라가 힘 센서(552)와 함께 배치되면, 조종실 계기들(558)의 시야는 로봇 아암(550)의 지향(orientation)에 따라 변할 것이다. 따라서, 시점(perspective) 또는 시야각에 관계없이 이미지화된 장치, 장면, 계기 등의 이해를 향상시키기 위하여 하나 이상의 제어장치들 및/또는 디스플레이들을 원하는 레이아웃/포맷/조직으로 스케일링 및 재지향(reorient)하도록 제어기가 구성된다. 일단 분석이 수행되면, 제어기는 정보를 기반으로 어떤 행동이 적절한지 뿐만 아니라 응답이 필요한지 여부를 결정할 수 있다.
유리하게는, 이미지를 재포맷하는 과정은 시스템이 상대적인 지향에 관계없이 특정 제어장치들 및/또는 디스플레이들을 인식할 수 있게 한다. 다시 말하자면, 이미지는 조종실 계기들(558)로부터의 임의의 각도 및/또는 거리에서 얻어질 수 있지만 제어기는 계기들을 인식해서 알려진 계기들의 이미지들의 카탈로그와 비교하기 위하여 이미지화된 요소들을 식별 및/또는 조작할 수 있다. . 따라서, 고정 카메라 및/또는 로봇 아암(550)으로부터 원격에 위치된 카메라는 필요하지 않을 것이며, 종래의 시스템들에 비해 이점들을 제공한다.
힘 센서(552)는 스위치, 버튼 또는 다른 유사한 제어장치를 작동시키도록 돌출부(protuberance)로 구성될 수 있다. 몇몇 예시들에서, 로봇 아암(550)은 다이얼들 조작, 패널들 개방 및/또는 조종실 내에서 유용할 수 있는 다른 행동들과 같은 다양한 행동을 할 수 있는 하나 이상의 디지트들을 포함한다. 예를 들어, 디지트들 중의 하나 이상은 시스템의 능력들을 더 향상시키기 위해 힘 센싱 능력을 가질 수 있다.
예시적인 동작에서, 선택된 명령은 로봇 아암(550)의 예상되는 접촉 및/또는 궤도를 확인하기 위해 획득 및 분석될 수 있는 하나 이상의 데이터 포인트들에 대응할 수 있다. 타겟팅된 조종실 계기(558)가 일반적인 로커 스위치(rocker switch)인 경우의 예시에서, 스위치가 활성화됨으로써 예상되는 힘 프로파일에 관한 경험적 증거가 저장될 수 있다. 예를 들어, 터치 센서가 스위치로부터의 저항을 경험함으로써 접촉 시의 힘의 양이 증가할 것이다. 일단 초기 저항이 극복되면, 스위치는 제자리로 미끄러져 들어갈 것이고 터치 센서는 저항이 거의 또는 전혀 없는 기간을 센싱한다. 스위치가 멈추게 될 때, 터치 센서는 스위치가 완전히 활성화되도록 보장하기 위한 힘의 레벨을 유지할 것이다. 그리고 나서 터치 센서의 힘의 양은 스위치가 완전히 눌려있음을 나타내면서 스위치에 대해 작동 아암(actuation arm)에 의해 제공되는 힘의 레벨을 반영할 것이다.
카메라의 이미지 데이터와 결합된 힘 데이터는 계기 레이아웃을 맵핑하거나(예컨대, 첫인상이거나 또는 특정 계기에 대한 데이터가 없는 경우) 또는 조종실 계기들(558)의 저장된 레이아웃, 그들의 상대적인 위치, 기능 등을 검증 및/또는 개선하는 데 사용된다.
접촉 궤도의 데이터 평균 및 표준 편차는 여러번의 시행들로부터(예컨대, Volpe 737 조종실 계기 상에서 "FMS Hold" 버튼을 누를 때의 반복 시도들로부터)의 데이터를 가지고 만들어질 수 있다. 힘 값은 계산되거나 추정된 것(예컨대, 상세한 교정이 센서에 의해 수행되어 오지 않은 경우)과 같은 근사치일 수 있다. 힘 센서(552)에 의해 획득된 데이터는 측정된 접촉 이벤트들의 라이브러리를 구축하는데 사용될 수 있다. 추가적으로 또는 대안적으로, 이 라이브러리는 계기들을 동작할 때-즉, 인증 목적으로- 로봇의 성능을 통계적으로 정의하는 데 사용될 수 있다. 이러한 방식으로, 터치 센싱은 접촉 이벤트들을 로깅함으로써 항공기 조종실에 적용되는 접촉 힘들을 통계적으로 정의하는 데 사용될 수 있다. 이는 인증 노력들에 이익이 될 수 있다. 다시 말하자면, 예를 들어 후속 동작들에서 로봇 아암(550)에 의해 가해지는 힘들의 평균 및 표준 편차를 제공함으로써 시스템은 로봇의 통계적으로 정의된 동작 능력을 보여주는 획득된 데이터를 사용할 수 있다. 이 라이브러리는 또한 본 명세서에 기술된 대로 시스템의 기능에 액세스하기 위해 로봇의 현재 성능을 비교하는데도 사용될 수 있다.
이미징 및 힘 센서 데이터가 명령들을 수행하기 위한 정보를 제공하는 것으로 기술되었지만, 추가 또는 대체 센서들은 상이하거나 중복되는 정보 수집을 위해 사용될 수 있다. 몇몇 예시들에서, 관성 움직임 센서들(inertial movement sensors), 가속도계들(accelerometers), 기계 측정 시스템들 또는 다른 센서들이 로봇 아암(550)의 궤적, 지향 등을 결정하는데 사용될 수 있다.
본 명세서에 기술된 로봇 아암(550)은 보다 포괄적인 로봇 솔루션의 일 양상일 수 있다. 예를 들어, 로봇 아암(550)은 항공기 또는 자동화 기능을 필요로 하는 유사한 타겟 시스템에 설치된 시스템의 일부일 수 있다. 예를 들어, 하나 이상의 부속기들 상에 통합 이미징 및 힘 센서들을 갖는 이동가능한 로봇 아암들은 고정 장착 카메라로부터 물체들이 시각적으로 차단되는 환경에서의 계기들, 및/또는 비전, 터치 및 로봇 움직임 사이에서 단단한 결합을 요구하는 복합 다중 상태 인터페이스들(complex multi-state interfaces)을 동작하는데 유용하다.
로봇 아암(550)의 한 단부에서, 그리퍼와 같은 로봇 부속기은 통합 이미징 및 힘 센서들을 포함할 수 있다. 몇몇 예시들에서, 시각적 기준 마커들(visual fiducial markers)은 이미징 능력을 용이하게 하고 위치 결정들을 향상시키도록 조종실 계기(558)와 함께 포함될 수 있다. 시각적 기준 마커들은 예를 들어 바코드 및/또는 QR 코드와 같은 2차원 기계-판독가능한 마커(machine-readable marker)를 포함할 수 있다. 시스템에 필수적인 것은 동작 환경의 보다 완벽하고 유용한 화상(picture)을 생성하기 위하여 로봇 움직임, 힘 및 비전 기법들을 밀접하고 매끄럽게 통합하는 소프트웨어이다.
동작의 예시적인 방법들에서, 도 8a에 도시된 바와 같이, 코어 플랫폼으로부터 수신된 명령들은 "루틴들(routines)"로 지칭된다. 루틴들은 로봇 아암(550)이 "행동들(actions)"이라고 불리는 선택된 동작을 수행하도록 복수의 단계들을 요구할 수 있다. 메인 기능 "MonitorAircraft"는 하나 이상의 루틴들에 대응하는 명령들을 수신하고, 루틴들을 수행하기 위한 개별 행동들을 큐잉한다(queue). "판독(read)" 행동은 이미지 데이터를 처리하는 "EndEffector Perception"를 동작함으로써 수행된다. "TouchSensor"는 디지트들/부속기들/돌출부들 등의 힘을 측정하기 위해 호출된다. "MotorThreads"는 그리퍼 및 선형 레일 모터들을 동작시키며, "URRobot"은 조종실 환경에 대해 6 자유도로 동작할 수 있는 로봇 아암(550)을 동작시킨다.
도 8b는 "항공기 헤딩을 155도로 설정" 명령에 대한 예시적인 루틴의 순서도를 나타낸다. 이 루틴은 자동조종장치 특징(예컨대, 항공기 헤딩을 조정하는 노브)과 관련되는 하나 이상의 조종실 계기들(558)을 동작하기 위해 로봇 아암(550)을 사용함으로써 완료될 수 있다. 예시적인 루틴은 아래에서 설명하는 다음의 행동들로 구성된다. 블록(800)에서, 항공기의 헤딩을 변경(alter)하기 위한 명령이 시스템(예컨대, 비행 제어 시스템(116))에 제공된다. 이에 응답하여, 로봇 아암(550)이 블록(802)에서 활성화된다. 이미징 센서(554)에 의해, 시스템은 블록(804)에서 자동조종장치 상의 현재 헤딩 명령을 판독하기에 충분한 이미징 데이터(imaging data)를 캡쳐한다. 현재 헤딩 및 명령된 헤딩 변화에 기초하여, 시스템은 블록(806)에서 필요한 변화량(예컨대, 노브를 얼마나 회전시킬지(turn)에 의한)을 계산한다. 블록(808)에서, 로봇 아암(550)은 노브에 접촉(예컨대, 잡거나(grip), 터치 등)하도록 연장된다. 힘 센서(552)로부터 측정된 센서 데이터에 기초하여, 메모리(556)에 저장된 데이터 및 측정된 데이터의 비교가 블록(810)에서 이루어진다. 예를 들어, 특정 노브를 잡고 회전시키기 위해 힘의 임계량이 필요할 수 있다. 그 정보는 행동이 오직 한번만 수행되었음을 보장하도록 메모리(556)에 저장될 수 있다.
블록(812)에서, 시스템은 적절한 힘이 노브에 적용되고 있는지 여부를 결정한다. 적절한 힘이 적용되고 있지 않는 경우(if no), 그러면 상기 방법은 노브와의 접촉을 재확립하기 위해 블록(808)으로 복귀한다. 적절한 힘이 적용되고 있는 경우(if yes), 그러면 상기 방법은 블록(814)으로 진행하며, 여기서 노브는 헤딩 변화를 유발(effectuate)하기 위해 회전된다. 노브가 회전되는 정도는 비교뿐만 아니라 헤딩 변화의 계산을 기반으로 한다. 블록(816)에서, 적절한 헤딩이 달성되었는지를 결정하기 위하여 이미징 센서(554)에 의해 변화된 헤딩이 판독된다. 적절한 헤딩이 달성되지 않은 경우(if no), 방법이 새로 진행함에 따라 원래의 헤딩, 현재 헤딩 및 요구되는 변화량을 재평가하기 위해 상기 방법은 블록(804)으로 복귀한다. 적절한 헤딩이 달성된 경우(if yes), 행동은 완료되며 그리고, 블록(820)에서, 시스템은 새로운 명령들을 계속해서 모니터링한다.
일반적으로, 행동들은 "이동들(moves)" 또는 "판독들(reads)"로 구성된다. 이동들은 로봇 아암(550)의 움직임을 지칭한다. 판독들은 (예컨대, 이미지 또는 힘 데이터를 사용하여) 세계에 대한 정보를 획득하는 것을 지칭한다. 각 개별 행동의 파라미터들은 데이터 구조에 포함된다. 몇몇 행동들은 다수의 동작들로 구성됨에 주목한다. 예를 들어, 노브를 회전시키는 것은 큐(queue) 내에 열거된 행동들의 리스트를 필요로 한다: 로봇을 노브로 이동하는 것, 그리퍼를 여는 것, 그리퍼를 닫는 것, 힘 센서로부터의 피드백을 통해 노브 상의 그립을 검증하는 것, 노브를 회전시키는 것 및 노브를 놓는 것. 노브의 원하는 최종 상태가 달성되었는지를 보장하기 위해 후속 검증이 이미징 시스템(554)에 의해 수행될 수 있다.
복합 조종실 인터페이스들(complex cockpit interfaces)(예컨대, FMS)의 동작을 가능하게 함으로써, 로봇 아암(550)은 확장된 기능을 제공한다. 예를 들어, 로봇 부조종사(robotic co-pilot)를 채용하지만 비행 제어 시스템(Flight Control System)을 사용하지 않는 버전(예컨대, 비행 제어 시스템이 없는 소프트웨어 및/또는 하드웨어의 버전)의 로봇 부조종사를 채용하는 항공기에서, 로봇 아암(550)은 본 명세서에 개시된 기법들의 복합 상호작용으로 인한 조종사 무력화의 경우에 자동조종장치, FMS 및 트랜스폰더를 동작시키도록 구성된다. 예시들에서, 각각의 센서들에 의해 수집된 힘 및 이미지 데이터를 모니터링함으로써, 로봇 시스템은 로봇 아암(550)의 상태 및/또는 행동들을 자체 모니터링할 수 있다. 예를 들어, 로봇 시스템이 "포지션 A(Position A)"로 이동하라는 명령을 받으면, 이미징 시스템(554)은 연관된 장면 A(Scene A)를 관찰해야 한다. 로봇 아암(550)이 장면 A를 관측하고 있는지를 이미지 데이터의 분석이 검증하지 않으면, 자체 모니터링 시스템(self-monitor system)은 로봇 아암(550)의 상태를 결정하기 위해 추가 데이터를 획득할 수 있고, 및/또는 교정 루틴을 실행할 수 있다.
로봇 아암(550)에 시각 및 터치를 추가하는 것은 조종실 및 계기들의 더 넓은 범위를 보고, 조종실에서 복합 인터페이스들을 조작하며, 그리고 로봇 아암의 성능을 검증하기 위해서 중복(redundant) 방법들을 제공하는 것과 같은 이전에는 불가능했거나 또는 믿기 어려웠던 새로운 사용례들을 발전시킨다. 개시된 시스템의 이 설치 및 동작은 종래의 시스템들보다 상당히 덜 복잡하다. 비용 및 시스템 풋프린트에서의 절감은 다수의 시장들에서(예컨대, 상업, 방위, 일반 항공 등에서) 여러 가지의 이유로 가치 있을 수 있다.
지식 획득 시스템(114). 지식 획득 시스템(114)은 승무원 자동화 시스템(100)이 항공기 특정 정보를 결정할 수 있게 하는데 필요한 지식 기반을 모으고 및/또는 생성한다. 이것은 항공기 성능 특성들, 제한사항들, 체크리스트들, 및 절차들(응급 절차들을 포함함) 및 항공기에서의 우발사태들을 정의하는 기준에 대한 지식을 포함한다. 데이터는 인코딩된 데이터(예컨대, 매뉴얼들, 조종사 브리핑들, 조종사 동작 핸드북(pilot operating handbook) 등으로부터) 및 비행 중에 획득된 데이터(예컨대, 센서들을 통해)의 조합으로부터 유도될 수 있는데, 이는 오프라인 기계 학습 및 트렌드 분석을 지원한다. 인코딩될 데이터는 절차들 내부와 절차들 사이 양쪽 모두에서의 업무들의 흐름 및 절차들의 내용들을 설명하는 .xml 포맷으로 로드될 수 있다.
예를 들어, 도 1b에 도시된 바와 같이, 지식 획득 시스템(114)은 지식 획득 시스템(114)에 의해 생성된 상태 및 응답 정보, 및 구성 데이터를 코어 플랫폼(102)에 전송하는 동안, 코어 플랫폼(102)으로부터 동작 명령들을 수신할 수 있다.
지식 획득 시스템(114)의 동작은 예를 들어 항공기 시스템 모델링(aircraft system modeling), 절차 체계화(procedure codification) 및 공기역학적 모델링(aerodynamic modeling)을 포함하는 3개의 과정들로 일반적으로 분할될 수 있다. 항공기 시스템 모델링 과정은 이용가능한 탑재 시스템들(onboard systems), 상기 탑재 시스템들이 어떻게 구성되었는지 및 작동 한계들 등에 관한 정보를 승무원 자동화 시스템(100)에게 제공한다. 절차 체계화 과정은 정상 및 비정상 상황들에서의 항공기 동작에 대한 정보를 승무원 자동화 시스템(100)에게 제공한다. 절차 체계화는 예를 들어 체크리스트들의 체계화를 포함할 수 있다. 마지막으로, 공기역학적 모델링 과정은 주어진 항공기 유형 및 구성에 대해 어떤 성능을 기대할지 및 항공기 비행에 대한 정보를 승무원 자동화 시스템(100)에게 제공한다.
지식 습득 단계 동안, 상황이 비정상적이거나 또는 우발사태인 것으로 간주되는 조건들 또한 반드시 확립되어야 한다. 이러한 조건들은 엔진 과속도 또는 대기속도 제한 초과와 같이 빈번하게 분리(discrete)될 것이다. 기계 학습을 사용하여, 승무원 자동화 시스템(100)은 조종사에 의해 비행된 일련의 기내 조작들을 관찰함으로써 그것의 공기역학 및 제어 모델들을 미세 조정(fine-tune)할 수 있다. 이 정보는 다른 관련된 데이터들뿐만 아니라 비행 동적 데이터, 동작 제한사항들, 절차들, 항공기 시스템들 및 레이아웃들을 포함한다. 서면 정보 이외에, 승무원 자동화 시스템(100)은 경험이 풍부한 조종사들의 과거 사건들 및 경험에 기초하여 정보를 체계화할 수 있다. 기계 학습은 지식 습득 과정이 효율적이고 빠르게 수행되는 것을 가능하게 한다.
승강기 자동화 시스템(100)의 인지 시스템(106) 및 작동 시스템(108)을 사용하여, 비행기 조종실 또는 사실적인 시뮬레이터에서의 계기들 및 제어장치들은 조종사가 전형적인 비행 프로파일의 모션들을 통과함에 따라 모니터링된다. 조종사의 행동들을 관찰하는 것은 승무원 자동화 시스템(100)이 조종사로부터 직접 학습하고 주어진 동작에 대해 매끄럽고 전문적인 컨트롤을 모방하는 것을 허용한다. 이 과정은 항공기 동작들이 주어진 상황에 무엇을 해야할 것인지에 있어서 고도로 구조화되어 있다는 사실로부터 유익하다 - 기계 학습은 게다가 무언가가 실행되는 방법의 체계화를 가능하게 한다.
항공기 데이터 구조(208)의 채움(population)은 XML(Extensible Markup Language)을 사용하여 달성될 수 있다. 보다 구체적으로는, 채워질(populated) 때 코어 플랫폼(102)이 항공기를 구성하고 동작하게 하는 것을 허용하는 일련의 필드들 및 데이터 트리들의 세트를 포함하는 XML 데이터 구조가 채용될 수 있다. 소정의 양상들에서, 승무원 자동화 시스템(100)은 인간이 데이터를 효율적이고 정확하게 입력할 수 있게 하는 소프트웨어 툴 및/또는 비행 문서들의 자연어 해석(natural language interpretation)을 채용할 수 있다.
소정의 양상들에서, 비행기 비종속적인 특징들(airplane agnostic features)의 세트가 생성되고 코딩될 수 있다. 예를 들어, 랜딩 기어 철회(retraction), 다중엔진 항공기 상의 엔진 출력 절차들(engine out procedures) 및 스톨 복구(stall recovery)와 같은 절차들은 여러 유형의 항공기에서 걸쳐 유사하며 특정 기체(airframe)에 대해 최소한의 수정만을 필요로 할 것이다. 더욱이, 기본적인 기체 제한사항들(속도 초과 절대금지와 같은)은 특정 번호들로서 입력되는 것만을 필요로 하며 공칭 기간(nominal period of time)에서 비행 매뉴얼들에서부터 입력될 수 있다.
절차 에디터. 항공기 특정적 정보는 예를 들어 항공기 동작들의 직접적인 모니터링을 통하는 것뿐만 아니라 서면 문서(예컨대, 조종사 동작 핸드북, 유지보수 매뉴얼 등)를 사용하여 전환 기간 동안 모아질 수 있다. 이 지식 획득 과정의 출력은 항공기 데이터 구조(208)이며, 이는 코어 플랫폼(102)과 관련하여 위에서 설명되었다. 이 항공기 데이터 구조(208)에 포함된 것은 동작 절차들, 이용가능한 시스템들과 그들의 설계들, 조종실 레이아웃들 및 항공기의 안전한 동작에 필요한 모든 다른 정보일 수 있다. 소정의 양상들에서, 항공기 자동화 소프트웨어 개발 키트(aircrew automation software development kit)는 소프트웨어/비행 제어장치들(flight controls) 엔지니어가 하루에 하나의 항공기 서브시스템(예컨대, 전기식의 또는 유압식의(hydraulic))을 특정하고, 코딩하고 및 단위테스트(unit-test)하도록 허용할 수 있다. 승무원 자동화 소프트웨어 개발 키트는 비행 매뉴얼의 절차들을 Matlab State Flow 및 Simulink와 호환가능한 상태 머신들로 전환할 수 있는 툴들(tools)을 제공할 수 있는데, 그리고 나서 이것은 코어 플랫폼(102)에서의 포함을 위해 절차들을 C 언어로 자동 코딩(auto-code)할 수 있다. 승무원 자동화 소프트웨어 개발 키트는 또한 코어 플랫폼(102)에 테스트하기 위한 인터페이스들뿐만 아니라 단위레벨(unit-level)을 위한 테스트 코드(test code)를 생성할 수도 있다. 예를 들어, 승무원 자동화 시스템(100) 또는 조종사가 리스트 상의 주어진 업무에 책임이 있는지 여부를 조종사가 선택할 수 있는 때에 절차 에디터는 업무들의 리스트를 제공할 수 있다.
비행 제어의 지식 획득. 비행 제어(flight control)의 지식 획득의 제1 단계는 조종사와 함께 비행 중에 사용되고 개선되는 무차원 안정성 미계수들(non-dimensional stability derivatives)의 형태로 수학적 모델을 생성하도록 Athena Vortex Lattice("AVL") 방법을 사용한다. 기본 비행 제어 메커니즘들이 교정되면, 시스템 ID 트레이너 어플리케이션(system ID trainer application)은 특정한 안정성 미계수들을 식별하도록 설계된 일련의 비행 조작들을 수행하는데 사용될 수 있다. 상기 데이터는 제어기(controller)에서 사용하기 위해 업데이트된 안정 미계수들로 자동적으로 처리된다. 제어기는 자동튜너(auto-tuner)를 채용할 수 있다. 동일한 업데이트된 안정성 미계수들은 제어기들이 비행에 앞서 적절하게 수행하는 유효성 단계(validation step)로써 6 자유도(6-DOF) 시뮬레이션에서 사용된다. 비행 제어의 지식 획득을 수행하는 것의 추가적인 이점은 그것이 다량의 공식적인 절차적 지식의 개선 및 결합을 가능하게 한다는 것이다. 절차들이 개별 단계들을 배치하더라도, 이러한 단계들이 어떻게 실행될지에 대한 세부사항(fine detail)이 빠져있을 수 있다(예컨대, 단계들 사이의 대기에 시간이 얼마나 걸리는지 또는 스로틀 증가가 얼마나 급격한지).
항공기 비행 성능 특성들의 리버스 엔지니어링. 온보드 데이터 획득 유닛들(on-board data-acquisition units)을 통해 측정될 수 있는 항공기 성능 특성들은 일반적으로 항공기 및 항공전자 제조사들에 의해 소유(proprietary)로 간주된다. 이 정보는 비행 시뮬레이션들, 항공기 건전성 모니터링, 항공기 개발 및 더 많은 것을 위해 활용될 수 있다. 현재, 온보드 데이터 획득을 활용하기를 원하는 서드파티들(third parties)은 그 소유 특성(proprietary nature)으로 인해 제한된다. 이 제한은 독립형 항공기 센서 슈트들(stand-alone aircraft sensor suites)의 사용을 통해 부분적으로만 극복되어 왔다. 이러한 상업적으로 이용가능한 센서 슈트들은 조종실 계기 및 파일럿 입력들을 통해 이용가능한 데이터의 오직 일부만을 측정한다. 그러나, 승무원 자동화 시스템(100)은 항공기 비행 성능 특성들을 결정하도록 다양한 센서들을 활용하기 때문에, 그것은 항공 비히클 성능 특성들을 효과적으로 리버스 엔지니어링(reverse engineer)한다. 승무원 자동화 시스템(100)은 독립형 센서들, 조종실 계기의 이미지들을 통한 데이터 캡처 및 입력 제어장치들의 조합을 통해 항공기 정보를 수집한다.
예시. 본 발명의 양상들은 다음의 예시 비행 계획을 통해 도시될 수 있는데, 이는 승무원 자동화 시스템(100)이 어떻게 조종사와 상호작용할 수 있는지, 비행 계획을 실행하는지, 비행 작동 업무들을 실행하는지, 및 시스템 관여(engagement)와 이륙 중의 우발사태들, 비행 계획 관여(flight plan engagement) 및 이상 탐지와 처리(anomaly detection & handling)에 반응하는지를 도시한다. 그러나, 본 발명의 교시들(teachings)은 이 예시에서 사용된 것들로 제한되어서는 안된다.
시스템 관여 및 이륙. 조종사는 항공기의 좌측 좌석에 타고, 좌석 벨트를 고정하고, 휴먼-머신 인터페이스(126)를 그의 측면에 편안하게 위치시키고, 승무원 자동화 시스템(100) 어플리케이션을 활성화시킨다. 상기 어플리케이션은 일련의 파워-온 진단들(power-on diagnostics)을 통해 부팅 및 실행하며 그리고 기계 인터페이스들은 전원이 켜지고 교정한다. 메시지는 성공적인 테스트를 확인하면서 휴먼-머신 인터페이스(126)에 디스플레이될 수 있으며 그리고 승무원 자동화 시스템(100)의 관여(engagement)를 확인하기 위해 조종사에게 질의할 수 있다. 조종사는 어플리케이션들 탭(334)을 통해 당일의 비행 계획을 선택한다. 승무원 자동화 시스템(100)은 체크리스트 모니터링을 위해 사용될 수 있다. 조종사는 엔진 시동(engine start)을 선택하고, 승무원 자동화 시스템(100)은 실제로 시작하기 전에 최종 확인을 요구하면서 일련의 엔진 시동 행동들을 시작할 수 있다. 한편, 조종사는 허가(clearance)를 위해 타워 호출할 수 있고 훈련 지역으로 비행 계획을 수신할 수 있다.
엔진 시동이 완료되면, 승무원 자동화 시스템(100)은 조종사에게 성공을 보고하고 그리고 예를 들어 "택싱 준비 완료(ready to taxi)"를 (청각적으로 또는 휴먼-머신 인터페이스(126)를 통해) 보고할 수 있다. 조종사는 택싱 허가(taxi clearance)를 요청하고 그것을 청취할 때, 승무원 자동화 시스템(100)은 택싱 허가를 기록하고 확인을 위해 그것을 조종사에게 디스플레이한다. 그리고 나서 조종사는 어플리케이션 상의 "허가를 통한 택싱(taxi via clearance)" 버튼을 누르고(hit) 그리고 승무원 자동화 시스템(100)은 조종사가 트래픽을 모니터링하는 동안 지정된 활주로로 택싱한다. 활주로 시단(runway threshold)에 있을 때, 승무원 자동화 시스템(100)이 사전이륙 점검(pre-takeoff check)을 수행하도록 조종사가 구두로 명령하고, 시스템은 비행 제어장치들과 같은 중요 아이템들을 수동으로 재확인(double-check) 하도록 조종사를 촉구하면서 모든 필요한 점검들을 완료한다. 예를 들어, 승무원 자동화 시스템(100)은 인간 조작자의 체크리스트 실행을 모니터링할 수 있고, "체크리스트 완료"를 출력하거나 비행 계획 또는 에러를 식별할 수 있다.
추가 허가를 수신할 때, 그리고 나서 조종사는 정렬(line-up) 및 대기, 및 그 다음에 궁극적으로 이륙을 위해 승무원 자동화 시스템(100)이 항공기를 안내하도록 명령한다. 승무원 자동화 시스템(100)은 기본 작동 시스템(108a)을 통해 스로틀들을 전방으로 밀어내고, 인지 시스템(106)을 통해 엔진 및 조종실 지시기들을 시각적으로 체크하고, HMI 시스템(104)을 통해 속도들을 불러내고, 그리고 현재 중량, 밸런스, 및 밀도 고도에 적합한 속도에서 회전한다. 조종사는 승무원 자동화 시스템(100)의 입력들을 확인하고 그의 근육 기억(muscle memory)을 유지(retain)하도록 그의 손을 스틱/요크(514) 상에 유지한다. 승무원 자동화 시스템(100)은 현재의 조건들에 따른 항공기 성능을 확인하고 예상 상승 속도(expected climb rate)로부터의 임의의 편차를 보고한다. 바쁜 영공에서의 트래픽을 찾도록 더 많은 헤드업(heads-up) 시간(즉, 눈이 계기들이 아닌 전방을 주시하는)을 가능하게 하면서, 상승하는 동안 승무원 자동화 시스템(100)에 의해 조종사의 작업량이 감소된다. 승무원 자동화 시스템(100)은 또한 주어진 체크리스트, 항공기 또는 위치에 대해 경험있는 조종사의 어드바이스를 제공할 수도 있다. 예를 들어, 특정 공항에서, 승무원 자동화 시스템(100)은 "이 활주로로부터의 가파른 출발 각도"와 같은 공항에 특정한 팁들을 인간 조작자에게 지시할 수 있다.
비행 계획 관여. 상승의 꼭대기에서, 비행 계획에서의 첫번째 지상점으로 향하는 동안 승무원 자동화 시스템(100)은 항공기를 수평비행하고(level off) 트림(trim) 및 동력(power) 설정들을 조정한다. 순항 중에, 승무원 자동화 시스템(100)은 엔진 및 항공기 성능을 예상 값들과 지속적으로 비교하고 임의의 편차들을 조종사에게 경고하면서 모든 조종실 디스플레이들을 계속해서 시각적으로 모니터링한다.
항공기는 훈련 지역에 도착하고 당일의 비행 계획을 시작한다. 그러나, 비행 계획 동안, 항공기는 우뚝 솟은 적운 구름으로 들어가는데, 이곳은 계기 기상 조건들(instrument meteorological conditions: IMC) 조건들이 결빙 온도들 이하이다. 조종사는 날씨를 넘어가기 위해 24,000 피트까지 상승하도록 휴먼-머신 인터페이스(126) 상의 인터넷 중계 채팅(internet relay chat: IRC) 채팅 창을 통해 지상으로부터 허가를 요청하고 수신한다. 소정의 양상들에서, 승무원 자동화 시스템(100)은 지상으로부터 허가를 요구한다.
이상 탐지 및 처리. 일정 시간 후, 승무원 자동화 시스템(100)은 상승을 고려할 때, 지시된 대기속도가 기대값들 보다 낮다는 것을 나타내면서 그들의 피치(pitch) 및 동력 설정들에 대한 모델링된 대기속도로부터 천천히 벗어나고 있음을 탐지할 수 있다. 이것은 피토 히터(pitot heater)가 고장났고 피토 튜브들(pitot tubes)이 빙결되었다는 조짐이다. 조종사는 항공기를 비행하는 데 100시간 미만이 걸리고 이 모델에서의 피토 히터들이 신뢰할 수 없다고 알려진 것을 알지 못한다. 조종사는 대기속도 지시기가 공칭 이하를 트랜딩하는 것을 아직 통지받지 못했다.
그러나 승무원 자동화 시스템(100)은 대기속도 데이터가 비행 데이터 및 그 내부 비행 동적 모델의 나머지에 비정상적이라는 것을 인식하고, "대기속도 지시기 결함"을 조종사에게 청각적으로 경고한다. 조종사는 대기속도 정보가 현재 신뢰할 수 없다는 것을 인식하고 있지만, 그는 지시기가 보여주는 것 보다 항공기가 더 빠르게 또는 더 느리게 비행하는지 여부를 확신하지 못한다.
이전 이상들의 데이터베이스들을 바탕으로, 승무원 자동화 시스템(100)은 일련의 절차적인 옵션들을 제시하고 그 영역의 최소 안전 고도(예컨대, 8,000ft)를 강조한다. 조종사는 가장 보수적인 옵션을 선택하는데, 이는 날개 레벨(wings level), 피치 및 낮은 고도(예컨대, 10,000ft)로의 동력 하강을 초래한다. 승무원 자동화 시스템(100)은 동력 상의 힘을 빼고, 약간 아래로 피치하며, 하강을 개시한다. 15,000 피트를 하강하면서 피토 튜브들은 다시 온라인 상태가 된다. 10,000 피트에서 안정되면, 조종사가 비행 계획으로 복귀하기 전에 상황을 평가하는 동안 승무원 자동화 시스템(100)은 항공기를 직진 및 수평(straight and level)으로 홀딩한다.
당일의 비행 계획의 경쟁에 따라, 승무원 자동화 시스템(100)은 자동 착륙 절차를 실행할 수 있다. 예를 들어, 승무원 자동화 시스템(100)은 항공기가 그 초기 하강을 개시할 수 있는 곳인 미리 결정된 지상점으로 항공기가 항법하도록할 수 있다. 하강하는 동안, 승무원 자동화 시스템(100)은 비행 조건들을 모니터링하고 활주로를 위치시킬 수 있다. 최종 진입할 때, 승무원 자동화 시스템(100)은 항공기를 감속시키고 궁극적으로 항공기를 착륙시킬 수 있다. 승무원 자동화 시스템(100)이 착륙이 실행 가능하지 않다고 판단하면(예컨대, 장애물 또는 수용할 수 없는 비행 조건들), 승무원 자동화 시스템(100)은 놓친 접근 루틴 또는 다른 우발사태 루틴을 개시할 수 있다. 예를 들어, 승무원 자동화 시스템(100)은 동일한 위치에서 착륙을 재시도하거나 대체 착륙 위치로 항공기를 항법할 수 있다. 대체 착륙 지점에서 항공기를 착륙시키기 위한 예시적인 시스템은 "Autonomous Cargo Delivery System"이라는 제목의 공동 소유의 미국 특허 공보 제2015/0323932호에 개시되었다.
승무원 자동화 시스템(100) 및 파생 기술들은 광범위한 항공기 및 비행 시뮬레이터들에 걸쳐 적용될 수 있다. 항공기 비행 테스트로부터 유도된 비행 성능 특성들은 조종사 훈련에 사용되는 비행 시뮬레이터들의 충실도를 향상시키는 데 사용될 수 있다. 비행 시뮬레이터들에게 실제 항공기 성능 데이터에 대한 액세스를 제공하는 것은 비행 시뮬레이터 조작자들을 위해 엄청난 가치를 갖는다. 승무원 자동화 시스템(100)의 또 다른 이점은 공기역학적 성능 및 비행 처리 품질들(예컨대, 항공기 개발)에 영향을 미칠 수 있는 센서들 및 안테나들의 추가와 같은 특별 비행 계획들을 위해 항공기가 변경될 때 비행 성능 특성들을 합성하는 능력이다. 게다가, 승무원 자동화 시스템(100)에 의해 수집된 데이터는 유지보수 필요성들을 감지하기 위한 예후들을 이용하여 항공기 건전성 모니터링에 사용될 수 있다.
승무원 자동화 시스템(100)은 인간 운용 비용들에서 상당한 절약을 제공하면서 상용 항공 동작들(commercial aviation operations)의 안전성 및 유용성을 발전시킨다. 예를 들어, 승무원 자동화 시스템(100)은 이 진보된 조종사 보조 기술의 비용 절감뿐만 아니라 안전성 및 효율성을 향상시키도록 장거리 항공화물 수송기들(long-haul air cargo carriers)에 적용될 수 있다. 더 나아가, 상기 최종 상태 기계는 예를 들어 비행 중 전통적으로 단일 조종사 항공기가 될 것에서 두번째 세트의 눈을 제공하면서 기내 조종사들을 위한 훈련 도구 또는 안전 시스템으로서 기능할 수 있다. 휴먼-머신 인터페이스(126)의 일부들은 모든 유인 비행 동작들, 심지어 다중-선원(multi-crew) 동작들을 간소화한다.
상기 인용된 특허들 및 특허 공보들은 본 명세서의 이 부분에서 그 전체가 참조로서 포함된다. 다양한 실시예들이 부품들의 특정 배열들, 특징들 등의 특정 배치와 관련하여 설명되었지만, 이것들은 모든 가능한 배치들 또는 특징들을 소진시키려는 의도가 아니며, 실제로 많은 다른 실시예들, 수정사항들 및 변형들이 당업자에게 확인될 수 있다. 따라서, 본 발명은 그러므로 명시적으로 상술된 것과 다르게 실시될 수 있음을 이해될 수 있다.
본 발명은 DARPA(Defense Advanced Research Projects Agency)에 의해 수여된 계약 번호: HR0011-15-C-0027에 따른 정부 지원으로 만들어졌다. 정부는 발명에서 특정 권리들을 갖는다.

Claims (15)

  1. 항공기에서 사용하기 위한 승무원 자동화 시스템(100)으로서, 상기 승무원 자동화 시스템(100)은:
    코어 플랫폼(102): 및
    상기 코어 플랫폼(102)과 동작적으로 결합된(operatively coupled) 작동 시스템;
    을 포함하고,
    상기 코어 플랫폼(102)은:
    하나 이상의 인터페이스(234)를 통해 복수의 시스템 또는 서브시스템을 동작적으로 연결하도록(operatively connect); 그리고
    비행 상황 데이터에 적어도 부분적으로 기초하여 상기 항공기의 비행 제어 시스템에 명령을 전달(communicate)하도록;
    구성되고,
    상기 작동 시스템은: 상기 명령을 실행하고 데이터를 수집하기 위해 상기 코어 플랫폼(102)과 동작적으로 결합되고(operatively coupled), 상기 작동 시스템은:
    상기 비행 제어 시스템에 대응하는 하나 이상의 조종실 계기(558)를 시각적으로 식별하도록 구성되는 광학 센서;
    상기 작동 시스템이 상기 하나 이상의 조종실 계기(558)와 접촉할 때의 힘(force)을 측정하도록 구성되는 힘 센서(550)(force sensor); 및
    상기 광학 센서와 상기 압력 센서에 의해 수집된 데이터에 기초하여 상기 하나 이상의 조종실 계기(558)의 위치, 타입, 포지션(position)을 맵핑하는 데이터 획득 시스템;
    을 포함하는, 승무원 자동화 시스템.
  2. 청구항 1에 있어서,
    상기 광학 센서는 적외선 카메라 및 시각 카메라(visual camera) 중 하나인, 승무원 자동화 시스템.
  3. 청구항 1 또는 청구항 2에 있어서,
    상기 힘 센서(550)는 제어기(402)에 의해 개별적으로 조작할 수 있는 하나 이상의 디지트(digits)를 포함하는, 승무원 자동화 시스템.
  4. 청구항 3에 있어서,
    각 디지트는 각각의 힘 센서(550)를 포함하는, 승무원 자동화 시스템.
  5. 청구항 1, 청구항 2, 청구항 3 또는 청구항 4에 있어서,
    상기 작동 시스템은 조종석조종실 환경 내에서 6 자유도(six degrees of freedom)로 기동하도록 구성된 로봇 아암(robotic arm)(550)을 포함하는, 승무원 자동화 시스템.
  6. 청구항 5에 있어서,
    상기 광학 센서 및 상기 힘 센서(550)는 상기 로봇 아암(550)의 원위단(distal end)에 함께 배치되고(collocated), 상기 원위단은 상기 하나 이상의 조종석조종실 계기(558)를 이미징(image) 및 접촉(contact)하도록 구성되는, 승무원 자동화 시스템.
  7. 청구항 1, 청구항 2, 청구항 3, 청구항 4, 청구항 5 또는 청구항 6에 있어서,
    상기 항공기에 따른 특정한 정보를 결정하기 위해 상기 코어 플랫폼(102)과 동작적으로 결합된 지식 획득 시스템(114)을 더 포함하는, 승무원 자동화 시스템.
  8. 청구항 1, 청구항 2, 청구항 3, 청구항 4, 청구항 5, 청구항 6 또는 청구항 7에 있어서,
    비행 상황 데이터를 생성하기 위해 상기 항공기의 상기 하나 이상의 조종석조종실 계기(558)를 모니터링(monitor)하도록 상기 코어 플랫폼(102)과 동작적으로 결합된 인지식 시스템(perception system)을 더 포함하는, 승무원 자동화 시스템.
  9. 청구항 1, 청구항 2, 청구항 3, 청구항 4, 청구항 5, 청구항 6, 청구항 7 또는 청구항 8에 있어서,
    조종사에게 데이터를 디스플레이하고 조종사로부터 명령을 받기 위한 상기 조종사와 상기 승무원 자동 시스템(100) 간의 인터페이스를 제공하기 위해 상기 코어 플랫폼(102)과 동작적으로 결합된 휴먼 머신 인터페이스(234)를 더 포함하는, 승무원 자동화 시스템.
  10. 청구항 1, 청구항 2, 청구항 3, 청구항 4, 청구항 5, 청구항 6, 청구항 7, 청구항 8 또는 청구항 9에 있어서,
    상기 작동 시스템은 상기 하나 이상의 조종석조종실 계기(558) 중의 대응하는 계기와 상호작용하도록 구성된 상기 원위단에서의 다중 툴(multi-tool)로 구성되는, 승무원 자동화 시스템.
  11. 항공기에서 사용하기 위한 승무원 자동화 시스템(100)을 구현하는 방법으로서, 상기 방법은:
    상기 항공기의 헤딩(heading)을 바꾸기 위한 명령을 수신하는 단계;
    하나 이상의 조종석조종실 계기(558)를 조작하도록 구성된 로봇 아암(550)을 활성화하는(activating) 단계;
    상기 로봇 아암(550)을 가지고 상기 항공기의 헤딩을 바꾸도록 구성된 노브(knob)에를 접촉하는 단계;
    상기 노브 접촉에 대한 측정된 힘 프로파일이 저장된 힘 프로파일 값과 일치한다고 결정하는 단계; 및
    상기 명령된 헤딩을 반영하기 위해 상기 노브를 돌리는(turning) 단계를 포함하는, 항공기에서 사용하기 위한 승무원 자동화 시스템을 구현하는 방법.
  12. 청구항 11에 있어서,
    상기 노브에 접촉하기 전에 제1 헤딩을 판독하는 단계를 더 포함하는, 항공기에서 사용하기 위한 승무원 자동화 시스템을 구현하는 방법.
  13. 청구항 12에 있어서,
    상기 제1 헤딩 및 상기 명령된 헤딩의 판독값(reading)에 기초하여 상기 명령된 헤딩을 달성하기 위해 요구되는 변화량을 계산하는 단계를 더 포함하는, 항공기에서 사용하기 위한 승무원 자동화 시스템을 구현하는 방법.
  14. 청구항 11, 청구항 12 또는 청구항 13에 있어서,
    상기 노브를 돌린 후 제2 헤딩을 판독하는 단계; 및
    상기 제2 헤딩을 상기 명령된 헤딩과 비교하는 단계를 더 포함하는, 항공기에서 사용하기 위한 승무원 자동화 시스템을 구현하는 방법.
  15. 청구항 14에 있어서,
    상기 제2 헤딩이 상기 명령된 헤딩과 일치하지 않는다고 결정하는 단계; 및
    상기 제2 헤딩 및 상기 명령된 헤딩의 판독값에 기초하여 상기 명령된 헤딩을 달성하기 위해 요구되는 제2 변화량을 계산하는 단계를 더 포함하는, 항공기에서 사용하기 위한 승무원 자동화 시스템을 구현하는 방법.
KR1020180075198A 2017-07-27 2018-06-29 통합된 이미징 및 힘 센싱 양식을 갖는 승무원 자동화 시스템 및 방법 Withdrawn KR20190013475A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/661,149 US10509415B2 (en) 2017-07-27 2017-07-27 Aircrew automation system and method with integrated imaging and force sensing modalities
US15/661,149 2017-07-27

Publications (1)

Publication Number Publication Date
KR20190013475A true KR20190013475A (ko) 2019-02-11

Family

ID=63035897

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180075198A Withdrawn KR20190013475A (ko) 2017-07-27 2018-06-29 통합된 이미징 및 힘 센싱 양식을 갖는 승무원 자동화 시스템 및 방법

Country Status (8)

Country Link
US (2) US10509415B2 (ko)
EP (1) EP3457083B1 (ko)
JP (1) JP2019048618A (ko)
KR (1) KR20190013475A (ko)
CN (1) CN109308076A (ko)
AU (1) AU2018204057B2 (ko)
IL (1) IL260261A (ko)
RU (1) RU2018119135A (ko)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10509415B2 (en) * 2017-07-27 2019-12-17 Aurora Flight Sciences Corporation Aircrew automation system and method with integrated imaging and force sensing modalities
US10565799B2 (en) * 2018-06-21 2020-02-18 Lockheed Martin Corporation Automatic cockpit identification and augmented image placement
US11305886B1 (en) * 2018-07-30 2022-04-19 The Boeing Company Graphical user interface in a computer system in an aircraft
US11262900B1 (en) 2018-07-30 2022-03-01 The Boeing Company Graphical user interface in a computer system in an aircraft
US10604274B1 (en) * 2018-08-06 2020-03-31 Rockwell Collins, Inc. System and method for data transfer via a display device including a bezel light sensor
USD915452S1 (en) 2019-03-29 2021-04-06 Snap Inc. Display screen or portion thereof with a graphical user interface
USD914744S1 (en) * 2019-03-29 2021-03-30 Snap Inc. Display screen or portion thereof with a transitional graphical user interface
US11628936B2 (en) 2019-04-17 2023-04-18 Goodrich Corporation Wireless mobile maintenance display unit and system for cargo handling system
US11958183B2 (en) 2019-09-19 2024-04-16 The Research Foundation For The State University Of New York Negotiation-based human-robot collaboration via augmented reality
CN211149409U (zh) * 2019-09-27 2020-07-31 富港电子(昆山)有限公司 应用于无线鼠标的开关模块
US12001206B2 (en) * 2020-01-16 2024-06-04 Honeywell International Inc. Methods and systems for remote operation of vehicles using hands-free functionality
EP4094156B1 (en) * 2020-01-20 2024-06-05 Abb Schweiz Ag Managing a system configuration of a robot controller
RU2758870C2 (ru) * 2020-01-21 2021-11-02 ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ КАЗЕННОЕ ВОЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ Военная академия Ракетных войск стратегического назначения имени Петра Великого МИНИСТЕРСТВА ОБОРОНЫ РОССИЙСКОЙ ФЕДЕРАЦИИ Способ адаптивного группового управления роботизированными комплексами и система для его осуществления
EP3862835B1 (en) 2020-02-10 2023-10-25 Volocopter GmbH Method and system for monitoring a condition of a vtol-aircraft
JP6713700B1 (ja) * 2020-03-09 2020-06-24 リンクウィズ株式会社 情報処理方法、情報処理システム、プログラム
CN111552315B (zh) * 2020-05-11 2023-07-18 中国商用飞机有限责任公司北京民用飞机技术研究中心 一种飞行驾驶方法、装置、设备和存储介质
US11971728B1 (en) 2020-10-23 2024-04-30 Rockwell Collins, Inc. Platform guidance system incorporating hierarchical modular arbitration architecture
US11851215B2 (en) * 2021-05-27 2023-12-26 Honeywell International Inc. Systems and methods for calibrating a synthetic image on an avionic display
CN113467501B (zh) * 2021-07-20 2023-03-28 福州大学 作业飞行机器人动态滑翔抓取与力位混合控制方法
CN113589835B (zh) * 2021-08-13 2024-05-14 北京科技大学 一种基于自主感知的智能机器人飞行员飞行方法及装置
CN113778113B (zh) * 2021-08-20 2024-03-26 北京科技大学 一种基于多模态生理信号的飞行员辅助驾驶方法及系统
US11649060B2 (en) * 2021-09-14 2023-05-16 Beta Air, Llc Method and system for propulsion in an electric aircraft
CN114035425B (zh) 2021-11-05 2022-07-26 广东工业大学 一种无人机数字孪生系统的虚实状态同步方法和系统
CN114090006A (zh) * 2021-11-23 2022-02-25 商飞软件有限公司 一种民机驾驶舱人机界面布局评估系统及评估方法
US20230191616A1 (en) * 2021-12-21 2023-06-22 Y Soft Corporation, A.S. Method, apparatus, and system for automating operation of a machine
US11509154B1 (en) 2022-01-13 2022-11-22 Beta Air, Llc System for establishing a primary function display in an electrical vertical takeoff and landing aircraft
US12515310B2 (en) * 2022-03-25 2026-01-06 Electric Power Research Institute, Inc. Electric power transmission structure maintenance apparatus and method
US11829589B2 (en) * 2022-04-22 2023-11-28 Rockwell Collins, Inc. Electronic checklist command sequencer
US20230419271A1 (en) * 2022-06-24 2023-12-28 Gm Cruise Holdings Llc Routing field support to vehicles for maintenance
US12037140B2 (en) 2022-11-22 2024-07-16 The Boeing Company System, apparatus, and method for inspecting an aircraft window
CN117708745B (zh) * 2024-02-02 2024-04-26 广东控银实业有限公司 一种用于vr设备的摇杆控制异常检测方法
USD1102472S1 (en) * 2024-05-10 2025-11-18 Apple Inc. Display screen or portion thereof with graphical user interface

Family Cites Families (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4063073A (en) 1974-11-29 1977-12-13 Strayer Larry G Computer system to prevent collision between moving objects such as aircraft moving from one sector to another
US5157615A (en) 1990-01-09 1992-10-20 Ryan International Corporation Aircraft traffic alert and collision avoidance device
JPH07115677B2 (ja) 1990-10-30 1995-12-13 嘉三 藤本 航空機の飛行情報記録方法とその装置
DE60114988T2 (de) * 2000-02-03 2006-07-27 Honeywell International Inc. Auf ereignisse basierte flugzeugbildsequenz und daten-aufzeichnungssystem
US6754560B2 (en) * 2000-03-31 2004-06-22 Sony Corporation Robot device, robot device action control method, external force detecting device and external force detecting method
US20020008661A1 (en) 2000-07-20 2002-01-24 Mccall Hiram Micro integrated global positioning system/inertial measurement unit system
US6655631B2 (en) * 2000-07-28 2003-12-02 John Frederick Austen-Brown Personal hoverplane with four tiltmotors
FR2821452B1 (fr) 2001-02-26 2003-06-13 Eads Airbus Sa Dispositif de surveillance d'une pluralite de systemes d'un aeronef, en particulier d'un avion de transport
US20030065428A1 (en) 2001-10-01 2003-04-03 Ehud Mendelson Integrated aircraft early warning system, method for analyzing early warning data, and method for providing early warnings
US6604044B1 (en) 2002-02-14 2003-08-05 The Mitre Corporation Method for generating conflict resolutions for air traffic control of free flight operations
US8996169B2 (en) * 2011-12-29 2015-03-31 Mako Surgical Corp. Neural monitor-based dynamic haptics
US6820006B2 (en) 2002-07-30 2004-11-16 The Aerospace Corporation Vehicular trajectory collision conflict prediction method
EP1563616B1 (en) 2002-11-11 2011-11-02 Aeromechanical Services Ltd Aircraft flight data management system and corresponding method
US8301809B2 (en) * 2003-07-02 2012-10-30 Infortrend Technology, Inc. Storage virtualization computer system and external controller thereof
KR101205281B1 (ko) * 2003-10-28 2012-11-27 애우 델포드 시스템즈 리미티드 개선된 픽 앤드 플레이스 그리퍼
US7106219B2 (en) 2003-11-07 2006-09-12 Pearce James W Decentralized vehicular traffic status system
US7460029B2 (en) 2003-12-24 2008-12-02 The Boeing Company Systems and methods for presenting and obtaining flight control information
US7193729B1 (en) 2004-04-29 2007-03-20 Yazaki North America, Inc Instrument cluster with laser beam illumination
US20060209019A1 (en) * 2004-06-01 2006-09-21 Energid Technologies Corporation Magnetic haptic feedback systems and methods for virtual reality environments
WO2006011141A2 (en) 2004-07-25 2006-02-02 Israel Aerospace Industries Ltd. Method and system for the acquisition of data and for the display of data
US7437220B2 (en) 2004-08-17 2008-10-14 Arinc, Inc. Systems and methods for crew interaction and coordination using portable electronic data storage and display devices
US7252644B2 (en) * 2004-09-29 2007-08-07 Northwestern University System and methods to overcome gravity-induced dysfunction in extremity paresis
US9900669B2 (en) * 2004-11-02 2018-02-20 Pierre Touma Wireless motion sensor system and method
JP2006151125A (ja) 2004-11-26 2006-06-15 Omron Corp 車載用画像処理装置
US7789349B2 (en) 2005-05-12 2010-09-07 Aspen Avionics, Inc. Aircraft vertical speed instrument device with multi-functional design aspects
US7873240B2 (en) * 2005-07-01 2011-01-18 The Boeing Company Method for analyzing geographic location and elevation data and geocoding an image with the data
US7848698B2 (en) 2005-07-22 2010-12-07 Appareo Systems Llc Flight training and synthetic flight simulation system and method
US7650232B1 (en) 2005-09-22 2010-01-19 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration (Nasa) Trajectory specification for high capacity air traffic control
US8050863B2 (en) 2006-03-16 2011-11-01 Gray & Company, Inc. Navigation and control system for autonomous vehicles
US7624943B2 (en) 2006-03-22 2009-12-01 The Boeing Company Multi-mode unmanned and manned vehicle systems and methods
US7823837B2 (en) * 2006-03-31 2010-11-02 The Boeing Company Two part spacecraft servicing vehicle system with adaptors, tools, and attachment mechanisms
US7668797B2 (en) * 2006-04-07 2010-02-23 Gary Kuvich Active semiotic system for image and video understanding by robots and unmanned vehicles, methods and apparatus
US8013780B2 (en) 2007-01-25 2011-09-06 Magna Electronics Inc. Radar sensing system for vehicle
WO2008109993A1 (en) * 2007-03-09 2008-09-18 Macdonald Dettwiler & Associates Inc. Satellite refuelling system and method
JP2008290228A (ja) * 2007-04-24 2008-12-04 Fanuc Ltd 嵌合装置
WO2008139530A1 (ja) 2007-04-27 2008-11-20 Honda Motor Co., Ltd. 車両周辺監視装置、車両周辺監視用プログラム、車両周辺監視方法
US8049658B1 (en) 2007-05-25 2011-11-01 Lockheed Martin Corporation Determination of the three-dimensional location of a target viewed by a camera
US20080316010A1 (en) 2007-06-23 2008-12-25 Appro Technology Inc. Recording system and method for capturing images of driving conditions and driving images identification method
CN101828191B (zh) 2007-08-17 2014-12-17 贝尔直升机泰克斯特龙公司 用于人类可读仪器、信号器和控制器的光学识别、解释和数字化的系统
US8255098B2 (en) 2007-10-17 2012-08-28 The Boeing Company Variably manned aircraft
US9895798B2 (en) * 2007-10-19 2018-02-20 Force Dimension Device for movement between an input member and an output member
US8290638B2 (en) 2008-02-04 2012-10-16 Lockheed Martin Corporation Apparatus, program product, and methods for updating data on embedded control systems
EP2258521B1 (en) * 2008-02-28 2015-08-19 Panasonic Intellectual Property Management Co., Ltd. Control apparatus and control method for a robot arm, robot, control program for a robot arm, and electronic integrated circuit for controlling a robot arm
US8063798B2 (en) 2008-06-03 2011-11-22 Honeywell International Inc. Methods and apparatus to assist pilots under conditions in which spatial disorientation may be present
WO2009147832A1 (ja) * 2008-06-06 2009-12-10 パナソニック株式会社 ロボット、ロボットの制御装置、制御方法、及び制御プログラム
US7819183B2 (en) * 2008-06-16 2010-10-26 Halliburton Energy Services, Inc. Work string controller
AT507035B1 (de) 2008-07-15 2020-07-15 Airbus Defence & Space Gmbh System und verfahren zur kollisionsvermeidung
JP5415040B2 (ja) * 2008-08-01 2014-02-12 三重電子株式会社 自動工具交換装置用モジュール
JP4434296B1 (ja) 2008-09-05 2010-03-17 トヨタ自動車株式会社 物体検出装置
US9610131B2 (en) * 2008-11-05 2017-04-04 The Johns Hopkins University Rotating needle driver and apparatuses and methods related thereto
US8195346B1 (en) 2009-01-21 2012-06-05 Garmin International, Inc. Envelope protection for mechanically-controlled aircraft
CN102066057A (zh) * 2009-01-22 2011-05-18 松下电器产业株式会社 机器人手臂的控制装置及控制方法、机器人、机器人手臂的控制程序及集成电子电路
US8319666B2 (en) 2009-02-20 2012-11-27 Appareo Systems, Llc Optical image monitoring system and method for vehicles
US8319665B2 (en) 2009-02-20 2012-11-27 Appareo Systems, Llc Adaptive instrument and operator control recognition
US7954965B1 (en) 2009-04-13 2011-06-07 Yazaki North America, Inc. Method for multiple gauges in a scanning laser based display device
US8026827B1 (en) 2009-05-04 2011-09-27 Yazaki North America, Inc. Virtual push button switch
US10002538B2 (en) 2009-05-14 2018-06-19 Honeywell International Inc. Aircraft clearance enforcement
KR101043450B1 (ko) 2009-07-31 2011-06-21 삼성전기주식회사 카메라를 이용한 위치와 거리 측정장치 및 위치와 거리 측정방법
WO2011021375A1 (ja) * 2009-08-21 2011-02-24 パナソニック株式会社 ロボットアームの制御装置及び制御方法、組立ロボット、ロボットアームの制御プログラム、及び、ロボットアームの制御用集積電子回路
US8306672B2 (en) 2009-09-09 2012-11-06 GM Global Technology Operations LLC Vehicular terrain detection system and method
US8725402B2 (en) 2009-11-13 2014-05-13 The Boeing Company Loss of separation avoidance maneuvering
US9099009B2 (en) 2009-12-01 2015-08-04 The Boeing Company Performance-based simulation system for an aircraft
US8616884B1 (en) 2009-12-01 2013-12-31 The Boeing Company Integrated live and simulation environment system for an aircraft
WO2011153624A2 (en) * 2010-06-11 2011-12-15 Ambercore Software Inc. System and method for manipulating data having spatial coordinates
JP5409924B2 (ja) * 2010-09-21 2014-02-05 トヨタ自動車株式会社 移動体
US8616883B2 (en) 2010-12-15 2013-12-31 The Boeing Company Simulation control system for an integrated live and simulation environment for an aircraft
US9087450B2 (en) 2011-05-17 2015-07-21 Innovative Solutions And Support, Inc. Upgraded flight management system and method of providing the same
JP2013002927A (ja) 2011-06-15 2013-01-07 Honda Elesys Co Ltd 障害物検知装置及びコンピュータプログラム
US8768534B2 (en) 2011-11-14 2014-07-01 Arinc Incorporated Method and apparatus for using electronic flight bag (EFB) to enable flight operations quality assurance (FOQA)
FR2983177B1 (fr) * 2011-11-29 2014-06-06 Airbus Operations Sas Dispositif de dialogue interactif entre un operateur d'un aeronef et un systeme de guidage dudit aeronef.
FR2988836B1 (fr) 2012-03-28 2014-04-25 Dassault Aviat Procede de determination d'une masse estimee d'un aeronef et systeme correspondant
EP2882647B1 (en) 2012-08-07 2018-10-10 Bombardier Inc. Checklist display system, method and graphical display therefor
US9052393B2 (en) 2013-01-18 2015-06-09 Caterpillar Inc. Object recognition system having radar and camera input
US9070283B2 (en) 2013-01-29 2015-06-30 Honeywell International Inc. Flight deck display systems and methods for generating in-trail procedure windows including aircraft flight path symbology
US9557742B2 (en) 2013-11-27 2017-01-31 Aurora Flight Sciences Corporation Autonomous cargo delivery system
FR3023911B1 (fr) 2014-07-18 2018-07-13 Thales Traitement des donnees d'un plan de vol
US9840007B1 (en) 2014-08-25 2017-12-12 X Development Llc Robotic operation libraries
US10518409B2 (en) * 2014-09-02 2019-12-31 Mark Oleynik Robotic manipulation methods and systems for executing a domain-specific application in an instrumented environment with electronic minimanipulation libraries
CA2955169A1 (en) 2014-09-03 2016-03-10 University Of Malta A human machine interface device for aircraft
CN107077113B (zh) * 2014-10-27 2020-10-20 深圳市大疆创新科技有限公司 无人飞行器飞行显示
US9701398B2 (en) 2014-11-03 2017-07-11 Douglas Allen SCHULTZ Method and apparatus for augmented pilot operations of fly-by-wire vehicles
US9764852B2 (en) 2015-03-13 2017-09-19 Honeywell International Inc. Methods and systems for integrating auto pilot functions on a display
US20160275802A1 (en) 2015-03-20 2016-09-22 Northrop Grumman Systems Corporation Unmanned aircraft detection and targeting of other aircraft for collision avoidance
US20170084183A1 (en) 2015-09-18 2017-03-23 Robert M. Knox Automatic aircraft separation assurance
US9542851B1 (en) 2015-11-03 2017-01-10 The Boeing Company Avionics flight management recommender system
AU2016370628A1 (en) * 2015-12-16 2018-05-31 Mbl Limited Robotic kitchen including a robot, a storage arrangement and containers therefor
US10359779B2 (en) * 2016-03-22 2019-07-23 Aurora Flight Sciences Corporation Aircrew automation system and method
US10816970B2 (en) * 2017-06-15 2020-10-27 Aurora Flight Sciences Corporation System and method for performing an emergency descent and landing
US10453351B2 (en) * 2017-07-17 2019-10-22 Aurora Flight Sciences Corporation System and method for detecting obstacles in aerial systems
US10509415B2 (en) * 2017-07-27 2019-12-17 Aurora Flight Sciences Corporation Aircrew automation system and method with integrated imaging and force sensing modalities

Also Published As

Publication number Publication date
AU2018204057A1 (en) 2019-02-14
JP2019048618A (ja) 2019-03-28
US20200241565A1 (en) 2020-07-30
EP3457083A2 (en) 2019-03-20
US11378988B2 (en) 2022-07-05
IL260261A (en) 2019-01-31
EP3457083B1 (en) 2021-12-22
RU2018119135A (ru) 2019-11-25
CN109308076A (zh) 2019-02-05
US10509415B2 (en) 2019-12-17
EP3457083A3 (en) 2019-05-29
AU2018204057B2 (en) 2023-08-03
US20190033888A1 (en) 2019-01-31

Similar Documents

Publication Publication Date Title
US11378988B2 (en) Aircrew automation system and method with integrated imaging and force sensing modalities
US11693407B2 (en) Aircrew automation system and method
EP3415416B1 (en) Aircrew automation system
US11181935B2 (en) System and method for detecting obstacles in aerial systems
EP3637212B1 (en) Adaptable vehicle monitoring system and method

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20180629

PG1501 Laying open of application
PC1203 Withdrawal of no request for examination