针对云资源管理者所面临的负载动态变化以及弹性资源需求等问题，提出一种虚拟机资源的自动配置管理技术，把强化学习技术引入云虚拟资源的管理，将虚拟机的配置管理过程建模为马尔可夫决策模型，根据系统的运行状态以及输入负载的动态变化自动决策添加或删除虚拟机的行为。实验结果验证了该技术能够根据负载的动态变化完成云虚拟资源的自动配置管理任务，及时响应终端用户的实时性任务请求，保证了云资源使用者的SLA需求。

针对智能水下机器人(AUV)软件故障修复过程中存在的修复代价过高和系统环境只有部分可观察的问题,提出了一种基于微重启技术和部分客观马尔可夫决策(POMDP)模型的AUV软件故障修复方法。该方法结合AUV软件系统分层结构特点,构建了基于微重启的三层重启结构,便于细粒度的自修复微重启策略的实施;并依据部分可观马尔可夫决策过程理论,给出AUV软件自修复POMDP模型,同时采用基于点的值迭代(PBVI)算法求解生成修复策略,以最小化累积修复代价为目标,使系统在部分可观环境下能够以较低的修复代价执行修复动作。仿真实验结果表明,基于微重启技术和POMDP模型的AUV软件故障修复方法能够解决由软件老化及系统调用引起的AUV软件故障,同与两层微重启策略和三层微重启固定策略相比,该方法在累积故障修复时间和运行稳定性上明显更优。