作者: Khoa Dang Tao, Sumin Jin, Muhammad Raza, Changhyoup Lee

1. 核心物理图象

量子电路是量子计算程序的基本表示，但在实际硬件上，电路越长（门数越多、深度越深），噪声和退相干对计算结果的影响就越大。因此，如何在不改变程序功能（即保持其数学上的幺正变换）的前提下，把电路“压缩”得更短，是近实时量子计算机上运行算法的重要瓶颈。本论文的核心思想是：与其让智能体（强化学习模型）从零开始，浪费大量训练时间去反复发现那些简单的门合并、抵消规则，不如把这些简单、确定性的化简步骤直接“内嵌”到环境中自动完成，从而让智能体只专注于那些需要策略性思考、无法靠简单规则解决的复杂优化问题。这就像让一位厨师专注于创意摆盘，而把切菜、洗碗等琐碎工作全部交给自动化的厨具完成，从而大幅提升整体效率。

2. 关键术语解释

• 强化学习 (Reinforcement Learning, RL)：一种机器学习方法，通过“试错”来学习策略。智能体（Agent）在环境中执行动作，环境反馈奖励信号，智能体根据奖励调整策略，以最大化长期累计奖励。在本文中，智能体的“策略”就是如何选择对量子电路进行变换的规则和位置。
• Commutation-and-Reduction (CR) 算法：一种确定性算法，自动执行量子电路中所有基本的、固定的化简步骤。它有两个阶段：交换阶段（Commutation）——利用门之间的对易关系重新排列门的位置，使相同的门聚在一起；化简阶段（Reduction）——自动消除成对的、互为逆门的相邻门。该算法的作用是确保智能体永远不会看到存在“简单化简机会”的电路，从而把智能体的“智力”集中在更复杂的优化上。
• 门集 (Gate Set)：构建量子电路所使用的基本量子门集合。本文使用了两种性质不同的门集，通用 Clifford+T 门集（包含 H、S、T 等门）和 CNOT+Pauli 门集（CXP 门集）（包含 CNOT 和 X、Y、Z 单比特门）。在不同的门集下验证方法，证明了其普适性。

3. 主要贡献

• 创新性地融合了规则与学习：提出并验证了一个混合框架（RL+CR），它巧妙地将确定性的、基于规则的化简算法（CR）嵌入到强化学习环境之中。其核心创新在于将“简单规则的执行”与“复杂策略的学习”分离，使得强化学习智能体不需要再重新“发明”这些简单规则，从而极大提升了学习效率和最终优化效果。
• 显著的性能提升：实验证明，在所有测试的电路规模和两种不同的门集（Clifford+T 和 CXP）上，RL+CR 方法都能生成比标准强化学习（RL）和纯规则（CR）方法更短的量子电路。例如，在 20 比特的 CXP 电路中，RL+CR 平均去除了 116 个门，而标准 RL 仅去除 80 个。
• 展示出优异的泛化能力：仅在 4 比特的小型电路上训练的智能体，无需任何额外训练，即可推广到 5 倍大的 20 比特电路上，并保持优势。这证明该方法学到的是可迁移的优化策略，而非简单地记忆小电路的模式。
• 超越了主流商业工具：与 IBM 的 Qiskit 编译器的最高优化级别相比，RL+CR 在多种电路规模和两种门集下都实现了更大幅度的电路压缩，证明了该方法的实用潜力和优越性。

4. 研究方法

该方法的实现是构建了一个闭环的智能体-环境交互系统。核心步骤如下：

• 马尔可夫决策过程建模：将量子电路优化问题形式化为一个序列决策问题。当前电路本身作为状态，智能体的动作是选择一个变换规则（如门的交换、分解规则）以及作用的具体位置。
• 嵌入确定性 CR 算法：这是方法的核心。环境在每次智能体执行动作后，自动运行 CR 算法。该算法先通过门的对易关系移动门的位置（交换阶段），然后自动消除所有邻近的、互为逆算符的成对门（化简阶段）。只有经过 CR 算法处理的电路才会作为新状态反馈给智能体。
• 深度强化学习架构：采用基于 Proximal Policy Optimization (PPO) 算法的 Actor-Critic 架构。Actor 网络（策略网络）负责根据电路状态选择动作，Critic 网络（价值网络）负责评估当前状态的优劣。网络采用全卷积结构，能处理不同尺寸的电路。
• 奖励函数设计：奖励信号定义为优化前后电路门数和深度的减少量，以此引导智能体学习压缩电路。

5. 实验结果与结论

实验结果表明，该 RL+CR 框架在量子电路优化任务上取得了显著成功。首先，它在生成更短电路方面，系统性优于纯规则的 CR 基线和标准 RL 基线。其次，它展示了强大的泛化能力，能够将小规模电路上学到的策略直接应用于大规模电路，这对实际应用至关重要。此外，与工业级工具 Qiskit 的对比也证实了其卓越的电路压缩能力。

这项工作不仅为量子电路优化提供了一种新的、高效的混合框架，也为未来在更大规模、更复杂的量子系统上应用强化学习提供了重要的方法论启示。其核心思想——“让简单规则处理确定性工作，让智能体专注于战略性思考”——对于其他领域的复杂系统优化问题也可能具有重要的借鉴意义。未来的开放性问题包括：如何将该框架扩展到更复杂的门集和硬件拓扑结构（如受限的量子比特连接），以及如何进一步优化其训练效率和扩展性，使其能直接处理实用规模的量子算法。

6. 论文标签

编译与优化, 量子算法, 量子机器学习, 模拟

📄 点击此处展开/折叠原文 PDF

原文链接： Quantum circuit optimization using deep reinforcement learning: Applications across multiple gate sets