[发明专利]一种智能化作战的多模态人机智能交互框架、方法和装置

摘要

本发明提供一种智能化作战的多模态人机智能交互框架、方法和装置。该框架包括：智能辅助决策子系统、人机智能交互任务管理子系统、综合显示子系统、多模态人机交互子系统。本发明提出的多模态人机智能交互框架结合了多模态人机交互技术和智能辅助决策技术，能够基于多模态人机交互技术提供的自然人机接口和高效交互能力，使飞行员可以借助脑电识别、语音识别、手势识别、眼动追踪等技术，在未来多维立体化的作战条件下实现多平台多任务的随意切换和精确控制；基于智能辅助决策技术提供的态势感知和任务规划能力，使飞行员免于直接接触海量的原始信息，只需要对智能辅助决策子系统给出的高级描述进行确认或者提出修改意见。

主权项

1.一种智能化作战的多模态人机智能交互框架，其特征在于,包括：智能辅助决策子系统、人机智能交互任务管理子系统、综合显示子系统、多模态人机交互子系统；其中，多模态人机交互子系统用于：接收飞行员输入的操作，确定所述操作对应的执行任务指令、修正指令或确认指令，向所述人机智能交互任务管理子系统发送所述任务指令、修正指令或确认指令；所述人机智能交互任务管理子系统用于：接收所述指令，分解所述任务指令，得到任务序列，向所述综合显示子系统和所述智能辅助决策子系统发送所述任务序列，或者向所述智能辅助决策子系统发送所述修正指令或确认指令；所述综合显示子系统用于：接收并显示所述任务序列、修正指令内容或确认指令内容；所述智能辅助决策子系统用于：接收所述任务序列或所述修正指令或确认指令，根据所述任务序列，确定所述任务的执行方案，所述执行方案包括攻击目标及所述攻击目标的攻击顺序、攻击所述攻击目标所使用的武器和按照所述攻击目标的攻击顺序规划的攻击航路，根据所述修改指令，更新所述攻击目标的攻击顺序，或规划不同的攻击航路。