基于多维状态动作的DDPG冲突解脱算法研究

本文利用 Gym 对仿真环境进行注册，对 OpenScope 进行功能性改造，引入 成都双流机场最新进近区域内的固定点数据，包括各个扇区参数、进离场航线数据、进 近区管辖范围数据等，设计了简单的进近区 ATC 管制环境。该环境包括独立的进场、离 场情景，充分考虑了各种复杂情况下的冲突。其次，针对不同空域的复杂程度设计了相 应的冲突场景，如航路上的交叉冲突以及对头冲突，进、离场时的对头冲突、超越冲突 等，构建完备的冲突集。为了降低模型的复杂度，假设航空器在转弯过程中不考虑最小 转弯半径的限制。最后，考虑到解脱动作的连续性以及智能体状态的复杂性，本文以保 障飞行安全为前提，对航空器解脱策略进行研究。通过构建的空中交通管制仿真环境实 现智能体之间的交互训练任务，设计了冲突解脱模型的奖励函数，采用深度强化学习中 经典算法 DDPG 进行解脱策略的学习。仿真实验结果表明该算法对于多种冲突环境均 能够搜索到较优的解脱策略，冲突解脱成功率达到 89% 以上，可以作为管制员进行冲 突解脱的参考方案之一。