集装箱码头是全球供应链中重要的货物转运枢纽，处理超过80%的国际海运贸易货物。面对日益增长的集装箱处理需求和成本压力，全球集装箱码头正在经历向自动化和智能化码头的转型。自动化集装箱码头的一个重要特点是采用自动导引车（Automated Guided Vehicle，AGV）替代传统的集装箱卡车。由于AGV是无人驾驶的，它们的作业模式与传统集装箱卡车有显著的不同，因此，如何实现AGV的高效运转，是当前自动化码头建设面临的一个重大课题。
论文链接（或点击“阅读原文”跳转）：
https://doi.org/10.1016/j.trc.2024.104724
一、AGV调度的目标
当一艘集装箱船舶在集装箱码头作业时，由分配给该船舶的多个岸边桥式起重机（岸桥）将集装箱装上或卸下船舶。对于装船任务，集装箱需要从堆场运输到岸桥下；而对于卸船任务，集装箱需要从岸桥下运输到堆场。这些集装箱水平运输任务由分配给该船舶的一组AGV执行。图1展示了自动化集装箱码头的布局以及AGV的行驶车道。由于AGV是连接岸桥和堆场的重要水平运输工具，因此这也成为自动化集装箱码头整体效率的瓶颈。
集装箱码头AGV调度的目标在于动态优化任务分派与实时智能路径规划，确保将合适的任务高效匹配给合适的AGV以平衡负载，最小化装卸船作业的任务延误。同时生成无冲突、距离短的AGV行驶路线以适应实时路况变化，避免拥堵碰撞，最终实现AGV车队的高效协同运行，无缝衔接岸桥与堆场作业，最大程度提升集装箱流转效率和码头整体吞吐能力。
图1. 自动化码头布局示意图
二、AGV调度的两个系统
在大多数自动化集装箱码头中，AGV同时由两个软件系统控制，即码头操作系统（Termina Operation System，TOS）和设备控制系统（Equipment Control System，ECS），如图2所示。TOS将集装箱水平运输任务分派给AGV，目标是按时完成船舶服务，而ECS根据任务分派结果控制AGV的运动，并为AGV规划路径以完成指定任务。这种序贯决策的AGV调度机制存在一些缺陷，可能导致AGV运行效率低下。首先，这两个系统都是基于部分信息进行决策：TOS分配任务时，缺乏对AGV交通环境的监控和评估；ECS以被动的方式执行任务，缺乏对调度周期内任务集的汇总和分析。其次，ECS在进行路径规划时聚焦于路径的可行性，可能会违背任务分派时的期望目标，导致较高的延误。最后，固定的任务分派结果可能会产生无法避免的冲突，尤其是把任务分派给堵塞区域的AGV时，会进一步加剧任务延误和路径冲突。
图2. 当前AGV调度方法与提出的AGV调度方法示意图
三、动态AGV调度的分层架构
为解决当前AGV调度方法的缺陷并提高作业效率，我们提出了一个用于集成AGV任务分派和路径规划的算法，协调TOS系统和ECS系统，如图3所示。值得注意的是，这种集成式决策方法可以在不改变现有TOS和ECS功能的情况下实现，只是在两者之间通过构建中间件的方式来协调两个系统，因此这种方法是自动化集装箱码头AGV调度的一种可行的替代方案。
这个集成式的算法采用分层架构：上层是一个用于动态任务分派的强化学习（RL）算法；下层是一个用于路径规划的启发式算法。图3展示了我们解决方案架构。
图3. 动态AGV调度的分层架构示意图
在强化学习环境中，把AGV车队作为一个智能体，任务到达后触发决策。在每个决策节点，如果存在20尺集装箱运输任务，应用集装箱匹配启发式方法来聚合20尺集装箱并生成聚合任务。我们使用具有Actor-Critic结构的近端策略优化算法（PPO）来训练智能体。下层的路径规划算法需要为Actor网络生成的任务分派动作生成AGV路径并给出相应的路径评估（奖励值），这个奖励值随后被输入到Critic网络中，以更新状态价值函数的估计，并用于计算优势值，以更新Actor网络的策略。奖励函数的设计考虑了AGV行驶距离和任务延误成本，以及路径的可行性，因此可以作为链接上下层算法的协调组件。
这种全新的架构考虑了任务分派和路径规划的耦合关系，能够在提供无冲突路径的同时，减少AGV的任务延误，即同时实现了两个模块的优化。其次，奖励函数的设计提供了路径规划结果的评估，使得任务分派能够具备交通环境的感知能力，并提供了通过调整任务分派来减少路径冲突的机会，从而使得整个解决方案能够更好地适应动态环境下AGV的调度问题。与传统强化学习调度方法相比，新的动态调度方法能够有效优化路网上的交通流量分布，从而避免AGV路径冲突。该方案不仅适用于集装箱码头的AGV动态调度，对于更多的工业场景，例如自动化仓库的AGV动态无冲突调度，也具有可观的应用前景。
图4. 分层调度框架与传统强化学习框架性能对比
参考文献：
1. Li S, Fan L, Jia S. 2024. A hierarchical solution framework for dynamic and conflict-free AGV scheduling in an automated container terminal. Transportation Research Part C, 165:104724. https://doi.org/10.1016/j.trc.2024.104724.
教授专栏
由香港科技大学主理出品的【教授专栏】，汇集来自不同领域教授的学术成果、前沿论断及知识科普，用最新鲜的视角解读社会动态，以最前沿的角度解释科技奥秘。期待通过香港科技大学的平台，聚合更多新锐观点，打造出一期又一期生动又深刻的【教授专栏】！
教授简介
贾帅教授，香港科技大学（广州）智能交通学域助理教授，香港理工大学物流及航运学系获得博士学位，曾在新加坡国立大学运筹与分析研究院（IORA）和土木与环境工程学系（CIVIL）从事博士后研究工作。贾教授的研究主要集中在城市交通管理、物流与供应链管理、生产排程与资源调度等领域。擅长运用运筹优化、人工智能、系统仿真等方法解决上述领域的管理运营问题。近年来在交通与物流管理领域权威期刊Transportation Science, Transportation Research Part B/C/D/E等发表学术论文30余篇，主持国家自然科学基金项目3项（青年B类、青年C类、面上）、广东省科研项目2项（省杰出青年、1+1+1联合资助项目）、新加坡NOL研究项目等，以及多项企业委托项目。
往期回顾
教授专栏191 |齐晔: 全球气候行动何去何从？
教授专栏190 | 马军:机器人仓储系统如何进一步推动智慧物流的发展
主编 | 袁冶
责编 | 周姗
核校 | 柳松、许珺、吴倩
来源 | 转载自香港科技大学广州|系统枢纽公众平台
