作者: Zhenxiao Fu, Lei Jiang, Fan Chen

1. 核心物理图象

• 任务: 本论文的核心物理图象是：在NISQ（含噪中等规模量子）时代，量子硬件性能受噪声限制，而噪声抑制需要超越简单门序列的硬件级控制——如中途测量与经典反馈、精确时序调度、脉冲级波形控制。OpenQASM 3正是为这些硬件级功能设计的中间表示语言，但现有大语言模型（LLM）缺乏针对其高级特性的训练与评估数据集。因此，作者构建了QASM-Eval——首个面向OpenQASM 3硬件级构造的LLM训练与评估数据集，覆盖经典逻辑、时序调度、脉冲控制及复杂工作流四大类任务，并配套自动验证器。

• 目标: 让读者在不了解任何术语的情况下，就能对论文有一个直观的印象——这篇论文为“量子编程助手”造了一本教科书和考试卷，教AI写出能直接操控量子硬件的底层代码。

2. 关键术语解释

• OpenQASM 3: 一种硬件感知的量子汇编语言，相比Qiskit等高层工具，它直接暴露了中途测量、经典反馈、时序调度和脉冲级控制等底层硬件功能。在本文中，它是LLM需要生成的目标代码语言，也是数据集覆盖的核心对象。

• Pass@k: 一种评估代码生成模型的指标，表示在k次独立生成中至少有一次通过验证的概率。本文用它来衡量LLM完成OpenQASM 3代码补全任务的能力，是核心性能指标。

• 语义验证器 (Verifier): 本文实现的自动评估系统，不仅检查语法，还通过量子态模拟和时序调度模拟验证生成代码的行为正确性（测量分布、时间线约束）。它是数据集可自动评估的关键技术组件。

3. 主要贡献 (Key Contributions)

• 首个面向OpenQASM 3硬件级特性的LLM数据集: 现有OpenQASM数据集要么面向编译器/硬件基准测试，要么仅限门序列电路生成。QASM-Eval首次覆盖经典逻辑/控制流、时序调度、脉冲控制三大OpenQASM 3核心新特性，以及融合三者的复杂真实工作流（QEC、DD、校准等）。

• 可扩展的模板化数据生成管线: 结合专家设计模板、LLM辅助变体生成和专家审核，实现大规模任务生成（本文生成4000+训练任务），同时保证正确性。管线支持进一步扩展。

• 扩展的自动验证器: 在官方解析器基础上，实现了支持OpenQASM 3新语义的解释器，集成Qiskit态矢量模拟和QuTiP脉冲级模拟，同时进行语法、量子态分布和时间线三重检查。与专家标注的一致率达94.5%（Cohen‘s κ=0.89）。

• 显著的微调增益: QASM-Eval微调使Llama-8B和Llama-70B的pass@1分别提升36.95和45.47个百分点；微调后的8B模型超越零样本GPT-5.6-Terra，70B模型达到61.17% pass@1，接近少样本增强的GPT-5.6-Terra。

4. 研究方法 (Methodology)

• 数据集构建: 采用模板化方法。专家设计两类模板——背景模板（随机化量子比特配置、频率、门序列等上下文）和核心任务模板（针对特定主题如if/else控制流、脉冲操作，留出操作数和参数占位符）。使用Qwen3-Coder-480B生成风格和结构变体，经专家审核。然后实例化生成完整OpenQASM 3程序，并用LLM生成自然语言TODO提示，形成“规范-补全”配对。

• 评估方法: 实现自动验证器，包括：(1) 语法检查——用官方解析器解析AST并检查任务要求的构造元素；(2) 量子态检查——扩展OpenQASM 3语义，用Qiskit态矢量模拟计算测量结果分布，与参考行为比较（TVD ≤ 0.05）；(3) 调度检查——解释时序构造，计算软件调度时间线，与任务约束比较。复杂任务需同时通过态和调度检查。

• 实验设置: 评估四种基础模型（GPT-5.6-Terra、DeepSeek-V4-Pro、Llama-70B、Llama-8B），以及三种增强方式：RAG代理、跨主题三样本提示、LoRA微调。采用主题留出协议：将100个主题分为5折，每折微调模型不使用该折主题的训练数据，确保严格的主题级分离。

5. 实验结果与结论 (Results and Conclusion)

• 关键结论:

• 基础模型在OpenQASM 3硬件级任务上表现有限（GPT-5.6-Terra仅39.65% pass@1），存在巨大提升空间。
• QASM-Eval微调带来最强Llama家族结果：Llama-70B-ours达61.17% pass@1和72.92% pass@5；Llama-8B-ours达46.93%和60.25%。
• 微调在所有四个任务类别上均有提升，尤其脉冲控制（Llama-70B-ours达89.33% pass@1）和时序调度（85.33%）。复杂任务仍最具挑战（Llama-70B-ours仅33.93%）。
• 微调显著减少语法错误（Llama-8B从2858降至378），同时提升语义恢复能力。

• 领域意义: 该工作为LLM辅助量子编程提供了首个针对硬件级OpenQASM 3特性的基准和训练资源，支持开发能直接将规范转化为硬件面向量子程序的LLM助手。

• 开放性问题与未来启示:

• 需要独立于参考代码编写的任务描述，以测试模型对措辞的敏感性。
• 验证器覆盖范围有限，需更广泛的跨模型和任务类别专家审计。
• 硬件执行需要后端特定校准、资源映射和控制器延迟约束，未来需在真实设备上编译和比较。
• 复杂任务（融合测量、反馈、脉冲、调度）仍是主要瓶颈，需要训练和纠正示例来暴露中间状态和控制依赖。

6. 论文标签 (Tags)

量子算法, 量子纠错, 编译与优化, 量子机器学习, 物理硬件

📄 点击此处展开/折叠原文 PDF

原文链接： QASM-Eval: A Dataset to Train and Evaluate LLMs on OpenQASM-3 Beyond Quantum Circuits