qdsang的地儿 | 事儿还得坚持

spacex作为一家太空探索技术公司是美国一家民营航天制造商和太空运输公司，由伊隆&#;马斯克于年创办，目标是降低太空运输的成本，并进行火星探索。spacex成立近年以来，吸引了无数的火箭爱好者。对于个人来说，怎样实现这个火箭梦呢？据了解，spacex制造一枚猎鹰号的费用实际在万美元左右。对于个人来说，这个费用简直是天方夜谭，更别说涉及到的技术等问题了。有困难就要想办法解决，作为spacex的超级粉丝，来自密歇根大学安娜堡分校的博士后研究员zhengxiazou也是个火箭迷，一直梦想拥有自己的火箭。最近，他研究了一个有趣的问题，即我们是否可以「建造」一个虚拟火箭，并通过强化学习解决火箭回收这个具有挑战性的问题。在实验中，zou尝试了关于火箭悬停和降落的两个任务。由于这是zou的第一个强化学习项目，包括环境、火箭动力学、rl智能体等，zou表示尽量从头开始实现所有内容，并希望通过这些底层的编码，能够对强化学习有更深入的了解，包括基础算法，智能体与环境的交互，以及奖励的设计。项目主页：https://jiupinjia.github.io/rocket-recycling/github地址：https://github.com/jiupinjia/rocket-recycling不过对于这个项目，也有网友提出质疑：「如果我们能够用经典的控制方法来完成这项任务，为什么在spacex之前没有人做过呢？」对于这一质疑，有网友表示：「spacex没有使用强化学习，他们使用论文《losslessconvexificationofnonconvexcontrolboundandpointingconstraintsofthesoftlandingoptimalcontrolproblem》中的方法来解决火箭着陆问题，性能优于rl。」实现悬停和降落的智能体以及环境zou尝试了悬停和降落这两个任务。如下图所示，火箭被简化成二维平面上的刚体，并且考虑了基本圆柱体动力学模型，并假设空气阻力与速度成正比。火箭底部安装了一个推力矢量发动机，该发动机为火箭提供不同方向的推力值(.g,.g,.g)。喷嘴添加角速度约束，角速度最大旋转速度为度/秒。通过上述基本设置，动作空间（actionspace）被定义为发动机离散控制信号的集合，包括喷管的推力加速度和角速度。状态空间（state-space）由火箭位置、速度、角度、角速度、喷嘴角度和模拟时间组成。对于着陆任务，zou遵循了starshipsn的bellyflop式降落（腹部朝下的翻转动作以实现空中转身）的基本参数。初始速度设置为-m/s，火箭方向设置为度（水平），着陆burnheight设置为离地米。图源：https://twitter.com/thejackbeyer/status/123奖励函数非常简单。对于悬停任务：基于两个规则给出step-reward：）火箭与预定义目标点之间的距离——它们越近，分配的奖励越大；）火箭机身的角度（尽量保持直立）。对于着陆任务：观察看触地瞬间的速度和角度——当触地速度小于安全阈值并且角度接近度（直立）时，则认为它是成功着陆并获得丰厚奖励。其余规则与悬停任务相同。除了进行上述任务外，有网友表示，「希望将燃料的研究也纳入进来，燃料的有效使用是火箭技术的主要关注点，因此看到有效着陆奖励将是一件好事。开始时火箭有给定的燃料量，剩余的燃料量成为学习者的另一个信号——既用于控制也作为奖励。」实现效果zou实现了上述环境，并且训练了一个基于策略的智能体（actor-critic）来解决这个问题。在超过,个训练episodes之后，episode奖励最终收敛地非常好。下图左为悬停任务上不同训练episode数量时的奖励；图右为着陆任务上不同episode数量时的奖励。以下几个动图分别展示了经过不同训练episode后学习到的rl行为：左：训练episode为（随机智能体），右：训练episode为。左：训练episode为,，右：训练episode为,。,个训练episode之后，左：执行悬停任务的完全训练智能体，右：执行着陆任务的完全训练智能体。与sn着陆的动效对比尽管环境和奖励的设置很简单，但经过训练的智能体已经很好地学会了bellyflop式降落。如下动图展示了真实的starshipsn和从强化学习中学到的智能体在着陆时的比较：作者简介项目作者zhengxiazou现为密歇根大学安娜堡分校的博士后研究员，此前先后于年和年取得北京航空航天大学的学士和博士学位。他的主要研究兴趣包括计算机视觉及其在遥感、自动驾驶汽车和电子游戏等领域的相关应用。谷歌学术主页：https://scholar.google.com/citations?user=dzwoyzsaaaaj&hl=enzhengxiazou参与撰写的论文被aaai、cvpr、iccv、ijcai、acmmm等多个学术顶会接收。他还曾担任neurips、aaai、accv和wacv等多个学术会议的程序委员，以及iclr会议及ieeetransactionsonimageprocessing等多份期刊的审稿人。