作者: Richie Yeung, Aleks Kissinger, Rob Cornish

1. 核心物理图象

• 任务: 本文旨在解决一个量子计算中的核心编译问题：如何为一台量子计算机找到一个最优的（即使用尽可能少的双量子比特门）电路实现，来执行一个给定的克利福德量子操作。

• 目标: 传统方法要么速度快但结果质量差，要么能找到最优解但计算成本极高（耗时数小时或需要巨大的预计算数据库）。本文的核心创新在于，将电路合成问题转化为一个强化学习问题，并训练一个“智能体”来自动发现高效电路。这个智能体不仅能在小规模问题上达到近乎最优，还能在未见过的更大规模问题上自动“迁移”其知识，生成比传统标准算法质量更好的电路。

2. 关键术语解释

• 克利福德电路 (Clifford Circuit): 这是一类非常重要的量子电路，由H（阿达马门）、S（相位门）和CZ（受控Z门）这三种基本门组成。其核心特性是可以用一个简洁的二进制矩阵（称为稳定子表格）精确表示，而无需处理庞大的复数矩阵。本文的任务就是为任意给定的稳定子表格找到一个对应的电路实现。
• 辛矩阵 (Symplectic Matrix): 就是上述稳定子表格的一种紧凑二进制形式（大小为2n×2n，n是量子比特数）。它精确地描述了克利福德电路对量子比特的变换作用，并且电路串联对应于矩阵乘法。本文利用这个性质，将“寻找电路”这一任务巧妙地转变为“通过不断右乘基本门对应的矩阵，将目标矩阵逐步化简为单位矩阵”的过程。
• 等变强化学习 (Equivariant Reinforcement Learning): 这是本文方法的核心。由于在物理上，每个量子比特都是全同的，交换任意两个量子比特的编号不应影响最优电路的结构。本文设计的神经网络架构内建了这种“置换对称性”。这意味着，交换量子比特编号后，模型输出的最优动作序列也会相应地被交换。这种设计使得模型可以无视量子比特的数量（即无需针对不同量子比特数重新训练），并能更好地泛化到更大的系统。

3. 主要贡献 (Key Contributions)

1. 新颖的强化学习框架: 首次将强化学习成功应用于全连通克利福德电路合成问题。通过“反向化简”视角，将每个回合的初始状态设为随机生成的电路，目标状态固定为单位矩阵，从而巧妙地设计了学习课程，使得训练能够从易到难稳定进行。
2. 等变且尺寸无关的神经网络架构: 设计了一种全新的神经网络。它通过图神经网络和消息传递机制，内建了量子比特置换对称性（等变性）。这一设计使得单个训练好的模型能够直接应用于不同数量的量子比特（例如从6比特直接迁移到30比特），无需修改网络结构或进行“电路拼接”，实现了跨规模的能力迁移。
3. 卓越的合成性能:
   • 在小规模（6量子比特）上：在1003个标准测试案例中，99.2%找到了最优电路，远超此前最先进方法（97.9%）及效率。整个测试套件仅需数小时，而此前方法需要数百小时。
   • 在大规模（7-30量子比特）上：通过简单的不断训练，模型能直接处理多达30个量子比特的电路。在大多数情况下，其生成的电路使用的双量子比特门数量远少于Qiskit等标准量子计算库中的主流算法（如Aaronson-Gottesman算法）。

4. 研究方法 (Methodology)

作者采用强化学习框架来解决电路合成问题。具体地：

• 问题形式化：将辛矩阵作为状态，将基本克利福德门（H、S、CZ）作为动作。智能体通过反向化简策略，不断右乘基本门，将目标辛矩阵逐步化简到单位矩阵。这通过奖励函数设计来引导：成功化简到单位矩阵获得高额奖励，同时施加与门数量成反比的负向惩罚（双量子比特门惩罚更大），以鼓励寻找更短的电路。
• 智能体架构：使用近端策略优化算法进行训练。其核心是一个等变神经网络，包括嵌入层、聚合层、消息传递层和读出层。该网络以辛矩阵的2×2块结构作为输入，通过在图结构上传递和处理信息，学习到内建了量子比特置换对称性的策略和价值函数，确保了模型的尺寸无关性。
• 课程学习：采用由易到难的课程学习策略。训练初期，智能体面对的是从单位矩阵短距离随机游走生成的简单目标；随着性能提升，逐步增大游走步长（即增加目标电路的“难度”），从而稳定地训练出一个强大的通用策略。

5. 实验结果与结论 (Results and Conclusion)

• 关键结论: 本文证明了，结合了对称性感知架构的强化学习，可以成为一种极其有效且高效的量子电路编译方法。它在小规模问题上达到了可证明的最优性，并能将学到的策略零样本地迁移到大规模问题上，生成的电路质量击败了现有的多项式时间算法。这表明，机器学习方法在实现“最佳”与“高效”的权衡上拥有巨大潜力。
• 开放性问题与未来展望:
  • 计算成本: 当前模型在动作选择时，需要评估所有O(n²)个可能的CZ门，在大规模量子比特上推理速度会变慢。未来可研究分解动作空间、分层强化学习或结合蒙特卡洛树搜索等方法来优化。
  • 任务扩展: 文中所用的等变性思想（置换对称）同样存在于其他编译优化问题中（如CNOT合成、态制备）。将这些技术应用于这些相关领域是一个重要的开放问题。
  • 轻量化部署: 该模型体积小、速度快，有望被封装成轻量级库，集成到标准量子编译工具链中，供更广泛的社区使用。

6. 论文标签 (Tags)

量子算法, 编译与优化, 量子机器学习, 模拟

📄 点击此处展开/折叠原文 PDF

原文链接： Equivariant Reinforcement Learning for Clifford Quantum Circuit Synthesis