面向数字孪生战场的智能体建模框架构建

数字孪生战场（digital twin battlefield）是数字化战场的高级阶段，是融合了感知控制技术、人工智能（AI）技术、建模仿真技术和数据融合技术于一体的智能化战场目标愿景，其本质是一个战场建设数据闭环赋能体系。文章源自数字孪生可视化-http://www.hjcool.com/2296.html

数字孪生战场是在数字孪生、平行仿真和AI等新技术推动下产生的新事物，是一个与真实战场指挥信息系统平行运行的逼真的虚拟环境或仿真镜像系统。数字孪生战场通过与战场指挥信息系统的互连和信息交互，持续获取最新的战场情报信息，建立战场实体仿真模型，并基于持续更新的战场情报信息，不断演化修正战场实体模型以及不断优化数字孪生战场的逼真性；通过数字孪生战场中战场实体模型的超实时仿真运行，不断对敌方目标可能的作战意图和行为做出判断，生成下一时刻的战场态势演化走向并反馈给真实战场指挥信息系统，循环往复，辅助指挥员通过透视未来、料敌先机及防患未然来提前做好应变准备，为态势预测和决策方案评估等指挥信息系统作战应用提供支撑。文章源自数字孪生可视化-http://www.hjcool.com/2296.html

随着高超武器、太空武器和无人集群等新质作战力量的不断发展，无人战、精确战和网络战等作战样式不断涌现，使得战场变化越来越快、作战行动越来越精准以及时空切换越来越频繁。上述发展趋势下，数字孪生战场的意义主要包括以下3点：文章源自数字孪生可视化-http://www.hjcool.com/2296.html

1） 更逼真的实战模拟，以准取胜。实时引接真实战场数据，建立随态势数据逐步逼真的全维立体的虚拟战场。通过对战场环境模型与实体模型的精细化建模与动态演化，逼真模拟实战中战场态势由模糊到精确的动态演变过程；数字孪生战场中的实体行为模型具有智能决策能力，可根据不同环境自主选择最优决策行为，逼真模拟实战中敌方的智能决策能力。通过对环境、装备和作战行为的逼真模拟，支撑对态势和作战计划的精准判断。文章源自数字孪生可视化-http://www.hjcool.com/2296.html

2） 更全面预知优选，以奇取胜。通过超实时推演，预测战场未来情形，更全面支撑战场走向分析和作战方案评估。基于超实时多分支仿真推演，对各类可能情形进行超实时并行推演，提前预测方案执行效果以及敌方所有可能采取的行为，既可支撑指挥员对最坏战场走向的预知并及时扭转战局，又可在指挥员选定作战方案时对所有敌方应对进行推演，分析挖掘可带来优势的奇招。文章源自数字孪生可视化-http://www.hjcool.com/2296.html

3） 更高效推演预测，以快取胜。充分发挥机器的计算优势，为作战指挥控制能力带来颠覆性的速度提升。基于高性能的计算资源，对全要素的战场进行高倍速的博弈对抗推演和超实时的态势演化预测，在极短时间内完成对海量预测分支的推演与数据分析，支撑实时态势研判与指挥决策，在未来以决策为中心的作战场景中获取速度优势。文章源自数字孪生可视化-http://www.hjcool.com/2296.html

面向数字孪生战场的智能体模型框架如图4所示。数字孪生战场构建包含实体特性建模与行为模型建模，本文重点讨论行为模型建模中的智能体模型构建与训练。

3.1  任务级博弈智能体指令分解架构

指挥员在数字孪生战场中对抗推演的动作空间较大，AI每次决策有成百上千种可能的操作，若将动作空间展平成一个单一的维度，将有数百万甚至数十亿个可能的动作，但由于作战指挥中的动作是高度相关的，其中大多数的可能动作均是无效的。因此，采用扁平的离散动作空间表示是不合适的。可参照AlphaStar，创建丰富的操作函数，基于C样式的函数调用，接受特定类型的一些参数来提供动作空间的可组合性。在框架接口中定义完整的操作函数集和参数有效类型，在每次观测中指定某类可用函数在当前操作中有效。

与战役战术层的作战决策相比，AlphaStar是面向交战的或简单的战术行动，单个智能体控制的单位数量不超过200个，其应用场景与作战最大的区别是决策复杂度量级不同。考虑到作战决策可根据不同指挥关系分为不同层级的决策模型，因此在每个层级采用与AlphaStar相似的决策序列预建模方法来降低智能体的决策复杂度的方法是可行的。

战役战术级博弈对抗AI算法在较高层次以任务级指令对战场作战实体进行指挥控制，因此要求仿真引擎能够将AI任务指令分解为作战实体仿真模型能够执行的指令，并分发给相应的仿真模型进行计算。对于战役决策与计划，一般采用基于案例的规划、分层规划（行为树）、目标自主驱动、状态空间规划、进化算法、演绎推理和概率推理等方法；对于战术决策，可采用恢复性学习、贝叶斯模型、基于案例的推理和神经网络等方法。以基于行为树的建模方式实现为例，AI控制任务指令用行为树的根节点表示，仿真模型控制指令用行为树的子节点表示。

行为树模型的运行从根节点开始，对海侦察探测、锁定目标和对舰打击为顺序节点，表明执行完成后会沿箭头方向继续执行序列中的其他子节点；武器选择为选择节点，表明从该节点的子节点选择一个执行，而子节点执行成功则表明选择节点执行成功；“直到：目标被摧毁”为修饰节点，用于增加子节点的复杂性和能力，表明执行对舰打击指令直到目标被摧毁。此外，行为树还包括用于表明所有子节点同时运行的并行节点、无下级子节以及表示完成具体操作的行为节点等。

行为树可提供大量的流程控制方法，使得AI控制任务指令分解更直观。与有限状态机方法相比，树形结构设计易于指令分解的查看与编辑，因此更适合于描述AI控制任务指令到仿真模型控制指令的分解过程。

3.2  智能决策模型建模框架

面向数字孪生战场的智能决策模型主要包含联合任务级、对抗行动级以及单体武器平台行动级3级智能决策模型。其中，联合任务级包括联合对抗中的侦察预警和火力支援等智能决策；对抗行动级涉及实体编队的编队侦察、编队突击和编队防空等智能决策行为；武器平台级对飞机、舰艇和装甲车辆等武器装备进行航路规划和目标选择等决策。

智能决策模型建模框架可为数字孪生战场智能决策模型研发人员提供标准化的智能体开发与设计接口，基于智能体建模框架，研发人员可使用标准的算法接口自定义强化学习算法组件，根据标准的接口设计战场态势表征、决策动作空间、模型网络结构和反馈评估函数等关键组件，并对各组件进行装配，从而完成智能博弈模型的构建。本文对面向数字孪生战场的决策模型输入层与输出层进行了构建。

1） 面向数字孪生战场的决策模型输入层

针对数字孪生战场面临的态势情况，拟构建由单位特征、空间特征和通用特征组成的神经网络输入层。其中，单位特征通过深度自注意力网络（Transformer）提取单位与单位之间的关系；空间特征通过残差网络（ResNet）提取空间关系；通用特征采用神经网络进行标量特征（Scalar）提取。将上述3类特征合并后通过LSTM网络对历史信息进行提取，从而构建面向数字孪生战场的决策模型输入层。

（1） 数字孪生战场态势单位特征：包含红蓝双方坐标、军别、作战实体类型（歼击机、轰炸机和预警机等）、速度、航向、损毁情况、剩余弹药、是否被锁定以及当前执行任务等要素。

（2） 数字孪生战场态势空间特征：基于当前作战场景的单位信息特点，提取和抽象相关信息，构建敌方对空威胁矩阵、敌方对海威胁矩阵、敌方对地威胁矩阵、敌方单位位置矩阵和我方单位位置矩阵等，从而对信息推断进行再处理。

（3）数字孪生战场态势通用特征：包含对仿真推演时间以及各兵种剩余数量等要素。

2）面向数字孪生战场的决策模型输出层

数字孪生战场决策场景具有力量多样的特点，想定场景非常复杂，敌我双方各需调度数十个单位，其中每个单位有不同任务指令。若将神经网络的决策输出精确到每个单位的任务指令，则决策空间会变得非常大，从而导致数字孪生战场决策模型训练速度越来越缓慢。为支持不同单位执行各种类型任务，考虑到数字孪生战场决策任务的核心不是对单个作战实体的操作，而是指挥员对作战兵力调度的考验，拟将数字孪生战场决策智能体输出构造为指挥员可理解的三元组<谓语，主语，宾语>结构。其中，谓语为各种专家战术策略任务；主语为包括歼击机、轰炸机、预警机和干扰机在内的不同类型单位；宾语为任务的主要参数。面向数字孪生战场的决策模型输出层中，采用注意力机制进行谓语和宾语选择，采用指针网络进行主语选择。表1给出了智能体决策模型网络输出示例。

3.3  仿真数据模糊化

由于虚拟仿真环境和真实作战环境不完全一致（包括真实数据少、数据特征缺失以及仿真参数不完备等情况），在仿真环境中构建和优化的数字孪生战场决策模型在实际战场中存在模型表现降级的问题。因此，需研究一种具备由仿真环境向实际环境迁移能力的决策模型构建与优化技术，缩小虚实两域的系统性动态差距，实现数字孪生战场决策模型在虚实两域的策略泛化。

针对如何设置模糊边界条件，形成满足配智能体训练需求的不同粒度环境的问题，本文研究了仿真数据模糊化处理方法。首先，建立一套支持随机化仿真的模型，采用对仿真环境数据域随机化方法，扩大仿真环境数据分布，使扩大后的仿真环境数据分布尽可能覆盖真实对抗环境数据分布，并模拟实战环境中的边界条件模糊的情况；然后，利用由仿真数据模糊化模型生成的大数据对数字孪生战场决策模型进行预训练；最后，通过真实作战环境中少量数据对决策模型进行针对性提高，从而实现决策模型虚实迁移能力。

由于孪生战场环境与真实对抗环境存在差异化特性，本文从以下4个域进行随机化处理：

1） 态势特征随机化：指在态势特征的各个维度加入随机扰动，增加仿真环境中可观测态势特征的多样性，从而降低仿真环境生成的数据和真实作战数据的差异度。

2） 识别效能随机化：指对可观测的态势信息进行模糊化处理，对不稳定态势信息（如双方电子对抗产生的信息）进行模拟，从而提高决策模型在识别性能不稳定情况下决策的鲁棒性。

3） 模型参数随机化：指对决策模型的神经网络参数中加入随机化参数。例如，在高并发的仿真数据采样过程中，在决策模型的参数中加入扰动，以提高决策模型在对抗推演中数据的多样性。

4） 指令生成随机化：指在决策模型的决策指令采样阶段调整决策指令的采样分布，以实现对决策模型探索率的调整。通过提升探索率，在训练过程中尝试一些次优的决策指令，从而探索多样性决策序列下非常规的对抗推演结果。

将上述4种类域随机化进行组合，可在一定程度上模拟真实环境的边界不确定性，从而提高智能决策模型对动态变化的边界约束的适应性。基于仿真数据模糊化的智能体训练学习过程中，若域随机化数据分布变化过大，则会导致智能体收敛优化困难；若域随机化数据分布变化过小，则不利于智能体对环境变化的适应性的维持。因此，需采用自主域随机化方法，即在产生域随机化数据过程中，基于策略模型在真实作战环境数据上表现性能的好坏，对域随机化数据的分布进行自动调整，并基于该分布采样数据对处置策略模型参数进行更新。基于仿真数据模糊化的智能体训练学习中，通过自主域随机化对策略进行更新训练，可使迁移得到的策略具有更好的泛化性能。

将4种不同形式的域随机化，会导致智能体更新学习效率降低。因此，需采用基于课程学习的方法，实施由1种域随机化到多种域随机化的渐进式学习方案。为提升虚拟孪生战场环境训练的智能体对多边实战环境的适应能力，本文提出了基于课程学习的自主域随机化学习方法，其示意图如图10所示。该方法具体内容为：在域随机化更新策略的初始阶段，只对态势数据进行域随机化处理，在态势域随机化情形中待处置策略更新收敛后再对态势数据和识别效能进行域随机化，以此类推，直至智能体可在同时采用4种域随机化的环境中更新收敛。