[go: up one dir, main page]

CN111667830B - 基于管制员指令语义识别的机场管制决策支持系统及方法 - Google Patents

基于管制员指令语义识别的机场管制决策支持系统及方法 Download PDF

Info

Publication number
CN111667830B
CN111667830B CN202010511325.1A CN202010511325A CN111667830B CN 111667830 B CN111667830 B CN 111667830B CN 202010511325 A CN202010511325 A CN 202010511325A CN 111667830 B CN111667830 B CN 111667830B
Authority
CN
China
Prior art keywords
controller
speech
voice
aircraft
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010511325.1A
Other languages
English (en)
Other versions
CN111667830A (zh
Inventor
诸葛晶昌
邢志伟
杨新宇
丁宁宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Civil Aviation University of China
Original Assignee
Civil Aviation University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Civil Aviation University of China filed Critical Civil Aviation University of China
Priority to CN202010511325.1A priority Critical patent/CN111667830B/zh
Publication of CN111667830A publication Critical patent/CN111667830A/zh
Priority to PCT/CN2021/098173 priority patent/WO2021249284A1/zh
Application granted granted Critical
Publication of CN111667830B publication Critical patent/CN111667830B/zh
Priority to US18/061,050 priority patent/US20230177969A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft
    • G08G5/20—Arrangements for acquiring, generating, sharing or displaying traffic information
    • G08G5/21—Arrangements for acquiring, generating, sharing or displaying traffic information located onboard the aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft
    • G08G5/20—Arrangements for acquiring, generating, sharing or displaying traffic information
    • G08G5/22—Arrangements for acquiring, generating, sharing or displaying traffic information located on the ground
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft
    • G08G5/20—Arrangements for acquiring, generating, sharing or displaying traffic information
    • G08G5/26—Transmission of traffic-related information between aircraft and ground stations
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft
    • G08G5/50—Navigation or guidance aids
    • G08G5/51—Navigation or guidance aids for control when on the ground, e.g. taxiing or rolling
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft
    • G08G5/50—Navigation or guidance aids
    • G08G5/54—Navigation or guidance aids for approach or landing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft
    • G08G5/70—Arrangements for monitoring traffic-related situations or conditions
    • G08G5/72—Arrangements for monitoring traffic-related situations or conditions for monitoring traffic
    • G08G5/727—Arrangements for monitoring traffic-related situations or conditions for monitoring traffic from a ground station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft
    • G08G5/80—Anti-collision systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/19—Grammatical context, e.g. disambiguation of the recognition hypotheses based on word sequence rules
    • G10L15/197—Probabilistic grammars, e.g. word n-grams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/20—Speech recognition techniques specially adapted for robustness in adverse environments, e.g. in noise, of stress induced speech
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Child & Adolescent Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)

Abstract

一种基于管制员指令语义识别的机场管制决策支持系统及方法。系统包括语音采集模块、噪声处理模块、语音识别模块、语义识别模块、冲突识别模块和显示报警终端；本发明优点：能有效杜绝在管制过程中的因人为因素而造成的事故及其事故征候，可大大提高飞机地面运行安全。区别于普通语音识别和语义识别，针对的是航空管制特有的语音发音，进行语音语调的数据标注，最终构建出符合机场管制标准用语的语音库。无需场监雷达辅助，也不依赖高级场面活动引导控制系统，无需在管制席以外进行任何设备的安装或改造，仅需在管制席位上安装语音采集装置和显示报警终端，是极具经济性和实用性的机场管制决策支持系统。

Description

基于管制员指令语义识别的机场管制决策支持系统及方法
技术领域
本发明属于机场飞行区运行管理技术领域，尤其涉及一种基于管制员指令语义识别的机场管制决策支持系统及方法。
背景技术
现在的语义识别系统没有针对于机场运行方面，尤其是用于飞机地面滑行引导的管制指令，原因在于语音识别技术的识别率暂时还不能达到机场空管所需的安全要求，而语音识别技术所带来的限制使管制指令的语义识别未受到重视；另一方面，由于航空管制特有的语音发音，所以需要构建特殊的语音数据库。现有的机场管制决策支持系统需要场监雷达等设备辅助，或依赖于高级场面活动引导控制系统，涉及设备安装、维护、改造等，因此在实用性和经济性方面都有欠缺。
目前，全球各个国家的大型机场特别是枢纽机场都长期处于高负荷的运行状态，机场越繁忙，对管制员和航空器调度的要求也愈大，而现有管制流程随着空中交通管制员愈加的忙碌，管制员的出错率也会增多。但目前，全世界大部分国家的航空管制仍采用传统的人工管制方式，因此无法满足我国机场高速增长的管制需求。一个管制席位上，几名管制员要人工调配十几架甚至几十架飞机。在目前的管制模式下，已经导致多起严重事故征候。研究表明，由于管制员的个人因素——“错、忘、漏”，引起的空管不安全事件占48.9％，管制员人为因素已经成为引发空管事故或不安全事件的最主要因素。
发明内容
为了解决上述问题，本发明的目的在于提供一种基于管制员指令语义识别的机场管制决策支持系统及方法。
为了达到上述目的，本发明提供的基于管制员指令语义识别的机场管制决策支持系统包括语音采集模块、噪声处理模块、语音识别模块、语义识别模块、冲突识别模块和显示报警终端；其中语音采集模块用于采集机场管制席位上的管制员和飞行员的语音对话；噪声处理模块用于对上述采集的语音对话中的甚高频通讯噪声和机场背景高噪声进行滤波，以减少噪声干扰，并加入放大器来提高信噪比；语音识别模块基于构建的管制员专用语音库，针对管制员和飞行员语音特点，对噪声处理后的语音对话进行语音识别；语义识别模块是在上述语音识别的基础上，实现管制员指令要素信息的提取，为飞机冲突识别提供保证；冲突识别模块依据上述语义识别的结果推演飞机按照管制员指令滑行的过程及各时间点飞机所处的位置，对滑行过程中可能出现的飞机非法接近在内的飞机冲突现象进行分析，并以飞机冲突发生的概率生成报警信号；显示报警终端用于将语义识别结果、飞机冲突发生的概率及可能发生的冲突详情信息显示给管制员，并根据冲突发生概率形成易于区分的不同级别的声光警报。
本发明提供的采用上述基于管制员指令语义识别的机场管制决策支持系统的机场管制决策支持方法包括按顺序进行的下列步骤：
(1)构建面向机场安全运行的管制员专用语音库；
基于机场管制工作流程、飞行区相关运行管理标准、管制员指令信息内容、管制员标准用语手册《空中交通无线电通话用语》，并通过采用机场中管制员与飞行员陆空通话记录备份、使用甚高频通信设备或塔台语音接入设备收集管制员与飞行员语音对话信息和《空中交通无线电通话用语》语音文件三种方式获得语音数据和发音文本，再对上述管制员和飞行员的发音文本进行切分并对语音数据进行音段标注和韵律标注，形成符合机场管制标准用语的标注语音文件构成的数据集，最终构建成面向机场安全运行的管制员专用语音库；
(2)利用语音采集模块基于上述管制员专用语音库对管制员和飞行员双方的语音对话进行采集；
基于上述面向机场安全运行的管制员专用语音库，分别对放行席、地面席、塔台席在内的席位的管制员指令以及飞行员语音进行采集，然后基于智能学习方法对上述语音进行训练，以实现对不同席位的专用术语语音的精准识别；
(3)利用噪声处理模块对上述采集的语音对话进行噪声处理；
利用噪声处理模块对上述采集的语音对话中的甚高频通讯噪声和机场背景高噪声进行滤波，并加入放大器来提高信噪比；方法是提取出噪声的频谱，然后将含噪语音根据噪声的频谱做一个反向的补偿运算，从而得到降噪后的语音对话；
(4)利用语音识别模块对上述降噪后的语音对话进行语音识别；
运用基于神经网络的语音识别模型构建成具有机场管制标准用语识别能力的语音识别模块；运用语音识别模块对管制员和飞行员的语音对话进行语音识别，并得到识别后的文本；
(5)利用语义识别模块对上述语音识别后的语音对话进行语义识别；
在对管制员和飞行员语音识别的基础上，从管制员指令中提取出航班号、推出信息、路径信息、关键位置点、起始点、时序在内的要素信息，关联分析多要素并结合机场飞行区构型，利用词语解析、信息抽取、时间因果、情绪判断在内的技术手段对上述语音识别后的语音对话进行多次语义识别并获取大量的语音数据，用这些数据不断训练语义识别模块中的模型，最终将语音识别模块形成的文本转换成飞机的规划滑行路径；
(6)利用冲突识别模块并结合上述语义识别模块形成的规划滑行路径对飞机冲突进行识别；
在对管制员和飞行员语义识别的基础上，由冲突识别模块结合不同机型飞机在飞行区各区域滑行的历史数据和安全运行相关规定，推演飞机按照管制员指令滑行的过程及各时间点飞机所处的位置，以民用航空交通管理规则和飞行区安全运行相关规范性文件为依据，对滑行过程中可能出现的飞机非法接近在内的飞机冲突现象进行分析，并以飞机冲突发生的概率生成报警信号；
(7)通过显示报警终端显示报警信息：
在飞机冲突识别的基础上，将语义识别的飞机规划滑行路径、飞机冲突发生的概率及可能发生的冲突详情信息通过显示报警终端显示给管制员，并根据冲突发生概率形成易于区分的不同级别的声光警报。
在步骤(3)中，所述语音识别模块工作步骤具体为：
首先对降噪后的语音对话信号进行预处理并基于神经网络提取出其中的特征参数，然后利用上述特征参数对声学模型、语言模型和字典进行训练和识别，最后将特征参数与已经训练好的声学模型、语言模型和字典进行比较，通过规则计算出相应概率，选择与特征参数最大概率匹配的结果，得到语音识别的文本。
所述训练是指获得模型参数，并对语音识别模型中的机场管制标准用语识别能力进行评估，与管制员专用语音库进行匹配，对与机场管制标准用语拟合能力和泛化能力进行优化；
所述识别是一个遍历管制员专用语音库的过程；
所述声学模型表示基于神经网络搭建的一种语言的发音，能够通过训练来识别管制员的语音模型和所处塔台环境的特征；
所述语言模型是对管制员专用语音库单词规则化的概率模型；
所述字典中含有大量的民航业管制领域中特有的专业名词及发音规则。
本发明的优点在于：
1.本发明针对空中交通管制“错、忘、漏”人为因素隐患，能有效杜绝在管制过程中的因人为因素而造成的事故及其事故征候，可大大提高飞机地面运行安全。
2.本发明区别于普通语音识别和语义识别，针对的是航空管制特有的语音发音，进行语音语调的数据标注，最终构建出符合机场管制标准用语的语音库。
3.本发明无需场监雷达辅助，也不依赖高级场面活动引导控制系统，无需在管制席以外进行任何设备的安装或改造，仅需在管制席位上安装语音采集装置和显示报警终端，是极具经济性和实用性的机场管制决策支持系统。
附图说明
图1为本发明提供的基于管制员指令语义识别的机场管制决策支持方法流程图。
具体实施方式
下面是对本发明进行进一步详细说明：
本发明提供的基于管制员指令语义识别的机场管制决策支持系统包括语音采集模块、噪声处理模块、语音识别模块、语义识别模块、冲突识别模块和显示报警终端；其中语音采集模块用于采集机场管制席位上的管制员和飞行员的语音对话；噪声处理模块用于对上述采集的语音对话中的甚高频通讯噪声和机场背景高噪声进行滤波，以减少噪声干扰，并加入放大器来提高信噪比；语音识别模块基于构建的管制员专用语音库，针对管制员和飞行员语音特点，对噪声处理后的语音对话进行语音识别；语义识别模块是在上述语音识别的基础上，实现管制员指令要素信息的提取，为飞机冲突识别提供保证；冲突识别模块依据上述语义识别的结果推演飞机按照管制员指令滑行的过程及各时间点飞机所处的位置，对滑行过程中可能出现的飞机非法接近在内的飞机冲突现象进行分析，并以飞机冲突发生的概率生成报警信号；显示报警终端用于将语义识别结果、飞机冲突发生的概率及可能发生的冲突详情信息显示给管制员，并根据冲突发生概率形成易于区分的不同级别的声光警报。
如图1所示，本发明提供的采用上述基于管制员指令语义识别的机场管制决策支持系统的机场管制决策支持方法包括按顺序进行的下列步骤：
(1)构建面向机场安全运行的管制员专用语音库；
构建面向机场安全运行的管制员专用语音库是为了全面反映出民航管制领域特有的声学特性和为建立语音模型提供完备的数据集。基于机场管制工作流程、飞行区相关运行管理标准、管制员指令信息内容、管制员标准用语手册《空中交通无线电通话用语》，并通过采用机场中管制员与飞行员陆空通话记录备份、使用甚高频通信设备或塔台语音接入设备收集管制员与飞行员语音对话信息和《空中交通无线电通话用语》语音文件三种方式获得语音数据和发音文本，再对上述管制员和飞行员的发音文本进行切分并对语音数据进行音段标注和韵律标注，形成符合机场管制标准用语的标注语音文件构成的数据集，最终构建成面向机场安全运行的管制员专用语音库。
(2)利用语音采集模块基于上述管制员专用语音库对管制员和飞行员双方的语音对话进行采集；
基于由《空中交通无线电通话用语》中管制员和飞行员语音对话信息作为基本语素而构建的面向机场安全运行的管制员专用语音库，分别对放行席、地面席、塔台席在内的席位的管制员指令以及飞行员语音进行采集，然后基于智能学习方法对上述语音进行训练，以实现对不同席位的专用术语语音的精准识别。
(3)利用噪声处理模块对上述采集的语音对话进行噪声处理；
由于在机场采集到的语音通常会夹杂一定强度的背景音，这些背景音一般是甚高频通讯噪声和机场背景高噪声噪音，当背景噪音强度较大时，会对后续的语音识别效果产生明显的影响。因此利用噪声处理模块对上述采集的语音对话中的甚高频通讯噪声和机场背景高噪声进行滤波，以减少噪声干扰，并加入放大器来提高信噪比。方法是提取出噪声的频谱，然后将含噪语音根据噪声的频谱做一个反向的补偿运算，从而得到降噪后的语音对话。
(4)利用语音识别模块对上述降噪后的语音对话进行语音识别；
运用基于神经网络的语音识别模型构建成具有机场管制标准用语识别能力的语音识别模块。运用语音识别模块对管制员和飞行员的语音对话进行语音识别，并得到识别后的文本。所述语音识别模块工作步骤具体为：
首先对降噪后的语音对话信号进行预处理并基于神经网络提取出其中的特征参数，然后利用上述特征参数对声学模型、语言模型和字典进行训练和识别，最后将特征参数与已经训练好的声学模型、语言模型和字典进行比较，通过规则计算出相应概率，选择与特征参数最大概率匹配的结果，得到语音识别的文本。
所述训练是指获得模型参数，并对语音识别模型中的机场管制标准用语识别能力进行评估，与管制员专用语音库进行匹配，对与机场管制标准用语拟合能力和泛化能力进行优化；
所述识别是一个遍历管制员专用语音库的过程；
所述声学模型表示基于神经网络搭建的一种语言的发音，可以通过训练来识别管制员的语音模型和所处塔台环境的特征；
所述语言模型是对管制员专用语音库单词规则化的概率模型；
所述字典中含有大量的民航业管制领域中特有的专业名词及发音规则。
(5)利用语义识别模块对上述语音识别后的语音对话进行语义识别；
在对管制员和飞行员语音识别的基础上，从管制员指令中提取出航班号、推出信息、路径信息、关键位置点、起始点、时序在内的要素信息，关联分析多要素并结合机场飞行区构型，利用词语解析、信息抽取、时间因果、情绪判断在内的技术手段对上述语音识别后的语音对话进行语义识别。为了提高语义识别的准确度，需要对语音识别后的语音对话进行多次语义识别并获取大量的语音数据，用这些数据不断训练语义识别模块中的模型，最终将语音识别模块形成的文本转换成飞机的规划滑行路径。
(6)利用冲突识别模块并结合上述语义识别模块形成的规划滑行路径对飞机冲突进行识别；
在对管制员和飞行员语义识别的基础上，由冲突识别模块结合不同机型飞机在飞行区各区域滑行的历史数据和安全运行相关规定，推演飞机按照管制员指令滑行的过程及各时间点飞机所处的位置，以民用航空交通管理规则和飞行区安全运行相关规范性文件为依据，对滑行过程中可能出现的飞机非法接近在内的飞机冲突现象进行分析，并以飞机冲突发生的概率生成报警信号。
(7)通过显示报警终端显示报警信息：
在飞机冲突识别的基础上，将语义识别的飞机规划滑行路径、飞机冲突发生的概率及可能发生的冲突详情信息通过显示报警终端显示给管制员，并根据冲突发生概率形成易于区分的不同级别的声光警报。
本发明提供的基于管制员指令语义识别的机场管制决策支持系统及方法，用于识别在机场下达飞机地面滑行引导的管制员指令，依据管制员指令语义识别的结果推演飞机按照管制员指令滑行的过程及各时间点飞机所处的位置，对滑行过程中可能出现的飞机非法接近等飞机冲突现象进行分析，将语义识别的飞机规划滑行路径、冲突发生概率及可能发生的冲突详情信息显示给管制员，并根据冲突发生概率形成易于区分的不同级别的声光警报，适用于现有机场的机场管制决策支持系统。
本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (3)

1.一种采用管制员指令语义识别的机场管制决策支持系统的机场管制决策支持方法，所述的机场管制决策支持系统包括语音采集模块、噪声处理模块、语音识别模块、语义识别模块、冲突识别模块和显示报警终端；其中语音采集模块用于采集机场管制席位上的管制员和飞行员的语音对话；噪声处理模块用于对上述采集的语音对话中的甚高频通讯噪声和机场背景高噪声进行滤波，以减少噪声干扰，并加入放大器来提高信噪比；语音识别模块基于构建的管制员专用语音库，针对管制员和飞行员语音特点，对噪声处理后的语音对话进行语音识别；语义识别模块是在上述语音识别的基础上，实现管制员指令要素信息的提取，为飞机冲突识别提供保证；冲突识别模块依据上述语义识别的结果推演飞机按照管制员指令滑行的过程及各时间点飞机所处的位置，对滑行过程中可能出现的飞机非法接近在内的飞机冲突现象进行分析，并以飞机冲突发生的概率生成报警信号；显示报警终端用于将语义识别结果、飞机冲突发生的概率及可能发生的冲突详情信息显示给管制员，并根据冲突发生概率形成易于区分的不同级别的声光警报；
其特征在于：所述的机场管制决策支持方法包括按顺序进行的下列步骤：
(1)构建面向机场安全运行的管制员专用语音库；
基于机场管制工作流程、飞行区相关运行管理标准、管制员指令信息内容、管制员标准用语手册《空中交通无线电通话用语》，并通过采用机场中管制员与飞行员陆空通话记录备份、使用甚高频通信设备或塔台语音接入设备收集管制员与飞行员语音对话信息和《空中交通无线电通话用语》语音文件三种方式获得语音数据和发音文本，再对上述管制员和飞行员的发音文本进行切分并对语音数据进行音段标注和韵律标注，形成符合机场管制标准用语的标注语音文件构成的数据集，最终构建成面向机场安全运行的管制员专用语音库；
(2)利用语音采集模块基于上述管制员专用语音库对管制员和飞行员双方的语音对话进行采集；
基于面向机场安全运行的管制员专用语音库，分别对放行席、地面席、塔台席在内的席位的管制员指令以及飞行员语音进行采集，然后基于智能学习方法对上述语音进行训练，以实现对不同席位的专用术语语音的精准识别；
(3)利用噪声处理模块对上述采集的语音对话进行噪声处理；
利用噪声处理模块对上述采集的语音对话中的甚高频通讯噪声和机场背景高噪声进行滤波，并加入放大器来提高信噪比；方法是提取出噪声的频谱，然后将含噪语音根据噪声的频谱做一个反向的补偿运算，从而得到降噪后的语音对话；
(4)利用语音识别模块对上述降噪后的语音对话进行语音识别；
运用基于神经网络的语音识别模型构建成具有机场管制标准用语识别能力的语音识别模块；运用语音识别模块对管制员和飞行员的语音对话进行语音识别，并得到识别后的文本；
(5)利用语义识别模块对上述语音识别后的语音对话进行语义识别；
在对管制员和飞行员语音识别的基础上，从管制员指令中提取出航班号、推出信息、路径信息、关键位置点、起始点、时序在内的要素信息，关联分析多要素并结合机场飞行区构型，利用词语解析、信息抽取、时间因果、情绪判断在内的技术手段对上述语音识别后的语音对话进行多次语义识别并获取大量的语音数据，用这些数据不断训练语义识别模块中的模型，最终将语音识别模块形成的文本转换成飞机的规划滑行路径；
(6)利用冲突识别模块并结合上述语义识别模块形成的规划滑行路径对飞机冲突进行识别；
在对管制员和飞行员语义识别的基础上，由冲突识别模块结合不同机型飞机在飞行区各区域滑行的历史数据和安全运行相关规定，推演飞机按照管制员指令滑行的过程及各时间点飞机所处的位置，以民用航空交通管理规则和飞行区安全运行相关规范性文件为依据，对滑行过程中可能出现的飞机非法接近在内的飞机冲突现象进行分析，并以飞机冲突发生的概率生成报警信号；
(7)通过显示报警终端显示报警信息：
在飞机冲突识别的基础上，将语义识别的飞机规划滑行路径、飞机冲突发生的概率及可能发生的冲突详情信息通过显示报警终端显示给管制员，并根据冲突发生概率形成易于区分的不同级别的声光警报。
2.根据权利要求1所述的机场管制决策支持方法，其特征在于：在步骤(3)中，所述语音识别模块工作步骤具体为：
首先对降噪后的语音对话信号进行预处理并基于神经网络提取出其中的特征参数，然后利用上述特征参数对声学模型、语言模型和字典进行训练和识别，最后将特征参数与已经训练好的声学模型、语言模型和字典进行比较，通过规则计算出相应概率，选择与特征参数最大概率匹配的结果，得到语音识别的文本。
3.根据权利要求2所述的机场管制决策支持方法，其特征在于：所述训练是指获得模型参数，并对语音识别模型中的机场管制标准用语识别能力进行评估，与管制员专用语音库进行匹配，对与机场管制标准用语拟合能力和泛化能力进行优化；
所述识别是一个遍历管制员专用语音库的过程；
所述声学模型表示基于神经网络搭建的一种语言的发音，能够通过训练来识别管制员的语音模型和所处塔台环境的特征；
所述语言模型是对管制员专用语音库单词规则化的概率模型；
所述字典中含有大量的民航业管制领域中特有的专业名词及发音规则。
CN202010511325.1A 2020-06-08 2020-06-08 基于管制员指令语义识别的机场管制决策支持系统及方法 Active CN111667830B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010511325.1A CN111667830B (zh) 2020-06-08 2020-06-08 基于管制员指令语义识别的机场管制决策支持系统及方法
PCT/CN2021/098173 WO2021249284A1 (zh) 2020-06-08 2021-06-03 基于管制员指令语义识别的机场管制决策支持系统及方法
US18/061,050 US20230177969A1 (en) 2020-06-08 2022-12-02 Airport control decision support system and method based on semantic recognition of controller instruction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010511325.1A CN111667830B (zh) 2020-06-08 2020-06-08 基于管制员指令语义识别的机场管制决策支持系统及方法

Publications (2)

Publication Number Publication Date
CN111667830A CN111667830A (zh) 2020-09-15
CN111667830B true CN111667830B (zh) 2022-04-29

Family

ID=72385784

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010511325.1A Active CN111667830B (zh) 2020-06-08 2020-06-08 基于管制员指令语义识别的机场管制决策支持系统及方法

Country Status (3)

Country Link
US (1) US20230177969A1 (zh)
CN (1) CN111667830B (zh)
WO (1) WO2021249284A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111667831B (zh) * 2020-06-08 2022-04-26 中国民航大学 基于管制员指令语义识别的飞机地面引导系统及方法
CN111667830B (zh) * 2020-06-08 2022-04-29 中国民航大学 基于管制员指令语义识别的机场管制决策支持系统及方法
CN112328735A (zh) * 2020-11-11 2021-02-05 河北工程大学 热点话题确定方法、装置及终端设备
CN113327607B (zh) * 2021-05-28 2022-05-06 北京航空航天大学 一种机舱语音指令握手检测系统和装置
CN113409787A (zh) * 2021-07-08 2021-09-17 上海民航华东空管工程技术有限公司 一种基于人工智能技术的民航管制语音识别系统
CN114049893A (zh) * 2022-01-11 2022-02-15 四川大学 一种基于空管语音识别的管制员违规操作监控与分析方法
CN115116296B (zh) * 2022-08-25 2022-11-18 中国电子科技集团公司第十五研究所 一种基于数字孪生的塔台飞行指挥仿真方法及系统
CN117975932B (zh) * 2023-10-30 2024-10-15 华南理工大学 基于网络收集和语音合成的语音识别方法、系统及介质
CN118354036B (zh) * 2024-04-15 2025-01-03 黄扬子 一种校园智能监控方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106251879A (zh) * 2016-07-28 2016-12-21 中国民航大学 一种民航地空对话校验系统
CN106875948A (zh) * 2017-02-22 2017-06-20 中国电子科技集团公司第二十八研究所 一种基于管制语音的冲突告警方法
CN110189746A (zh) * 2019-03-20 2019-08-30 成都天奥信息科技有限公司 一种应用于地空通信的话音识别方法
CN110415683A (zh) * 2019-07-10 2019-11-05 上海麦图信息科技有限公司 一种基于深度学习的空中管制语音指令识别方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6972694B2 (en) * 2003-01-28 2005-12-06 Honeywell International Inc. Cabin awareness and warning system
US7355508B2 (en) * 2004-05-21 2008-04-08 International Electronic Machines Corp. System and method for monitoring an area
FR2915611B1 (fr) * 2007-04-25 2010-06-11 Thales Sa Systeme d'aide au roulage d'un aeronef
US9830910B1 (en) * 2013-09-26 2017-11-28 Rockwell Collins, Inc. Natrual voice speech recognition for flight deck applications
CN103617749B (zh) * 2013-11-15 2015-12-09 中国航空无线电电子研究所 一种机载陆空指令管理系统及其管理方法
US11100522B2 (en) * 2016-09-08 2021-08-24 The Boeing Company Aircraft motion assessment systems and methods
US10587635B2 (en) * 2017-03-31 2020-03-10 The Boeing Company On-board networked anomaly detection (ONAD) modules
CN107464452A (zh) * 2017-08-22 2017-12-12 青岛民航空管实业发展有限公司 一种错解管制意图告警系统及方法
CN108986791B (zh) * 2018-08-10 2021-01-05 南京航空航天大学 针对民航陆空通话领域的中英文语种语音识别方法及系统
CN111667830B (zh) * 2020-06-08 2022-04-29 中国民航大学 基于管制员指令语义识别的机场管制决策支持系统及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106251879A (zh) * 2016-07-28 2016-12-21 中国民航大学 一种民航地空对话校验系统
CN106875948A (zh) * 2017-02-22 2017-06-20 中国电子科技集团公司第二十八研究所 一种基于管制语音的冲突告警方法
CN110189746A (zh) * 2019-03-20 2019-08-30 成都天奥信息科技有限公司 一种应用于地空通信的话音识别方法
CN110415683A (zh) * 2019-07-10 2019-11-05 上海麦图信息科技有限公司 一种基于深度学习的空中管制语音指令识别方法

Also Published As

Publication number Publication date
CN111667830A (zh) 2020-09-15
US20230177969A1 (en) 2023-06-08
WO2021249284A1 (zh) 2021-12-16

Similar Documents

Publication Publication Date Title
CN111667830B (zh) 基于管制员指令语义识别的机场管制决策支持系统及方法
CN111667831B (zh) 基于管制员指令语义识别的飞机地面引导系统及方法
CN112397071B (zh) 一种基于管制语音识别的进近及跑道运行风险预警方法
Cordero et al. Automated speech recognition in ATC environment
Delpech et al. A real-life, french-accented corpus of air traffic control communications
CN110415683A (zh) 一种基于深度学习的空中管制语音指令识别方法
CN106910376A (zh) 一种空中交通运行管制指令监控方法与系统
CN114155861A (zh) 空管语音智能监控系统
Helmke et al. Readback error detection by automatic speech recognition to increase ATM safety
US20220383879A1 (en) System and method for extracting and displaying speaker information in an atc transcription
Cordero et al. Automated speech recognition in controller communications applied to workload measurement
CN115440191B (zh) 一种基于深度学习的飞机驾驶舱安全辅助方法及电子设备
CN110428830A (zh) 一种基于正则表达式的空管指令意图识别方法
Kopald et al. Applying automatic speech recognition technology to air traffic management
CN114049893A (zh) 一种基于空管语音识别的管制员违规操作监控与分析方法
CN114187893B (zh) 空管语音智能监控方法和系统
CN111627257A (zh) 基于航空器运动趋势预判的管制指令安全预演与校验方法
CN110232121B (zh) 一种基于语义网的管制指令分类方法
CN114974229A (zh) 基于电力现场作业音频数据提取异常行为的方法和系统
CN115148209B (zh) 基于座舱语音识别的自动报告生成方法和系统
CN114121017B (zh) 多安全级空管语音智能监控系统
CN113470650A (zh) 一种基于语音识别的操作票防误方法
Lyall-Wilson et al. Modeling human factors topics in aviation reports
CN113821053A (zh) 一种基于语音识别和关系抽取技术的飞行辅助方法和系统
CN115223558A (zh) 空管语音管理方法、系统及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant