Machine Learning Systems · Daily Briefing Research / Engineering / Infrastructure

MLSys Daily


中文精选版

Daily Edition · 2026-08-18

从 GPU 排程到内核契约:
基础设施开始补齐“正确性”与“利用率”

本期聚焦 GPU 集群调度、内核编译与验证、可恢复 Agent 运行时,以及两条面向生产部署的工程路径。

今日精选

8 STORIES

A Contract-Grade Verifier for LLM-Generated GPU Kernels, and a Native Blackwell Backward for the Gated-Linear-Recurrence Family

论文提出由 12 道对抗性检查组成的 GPU 内核“契约级”验证器,用于发现固定形状、少量随机输入和宽松容差测试遗漏的 NaN/Inf、非确定性、形状泛化与累加精度问题。作者审计了 2,638 个已被原系统判定正确的机器生成内核,并报告其中 39.5% 存在无法用容差解释的错误、62.1% 至少违反一项契约;论文同时用该验证器检查一份面向 Blackwell tcgen05 的 GDN 训练反向内核。上述比例均为作者在其审计集与验证协议下的结果。

为什么值得读:AI 生成内核正在进入自动调优与生产代码链路,但吞吐提升只有建立在强正确性信号上才有意义。这项工作把“测试通过”拆成可审计的属性契约,为 kernel agent、基准平台和回归门禁提供了更严格的设计参照。

Same Cluster, 33 Points More Utilization: What Changed Was the Order

Dharma-AI 将约束感知 GPU 分配器与 FIFO 基线放在相同硬件和工作负载上比较,覆盖训练、实时推理、批量推理与量化四类任务。作者报告,在 7 个场景中优先级加权产出均提高;5 个高争用场景里,利用率由 52%—85% 区间提升到 72%—88%,训练偏重的 8 GPU 场景从 53.6% 升至 87.0%。这些是作者自建场景、单一基线次序下的结果,并非独立集群基准。

为什么值得读:文章清楚展示了实时推理的峰值静态预留与 FIFO 放置如何同时制造碎片和价值损失,也给出把需求曲线、连续占用和优先级共同纳入规划的具体模型。对共享 GPU 平台而言,调度顺序本身就是容量决策。

CAKE: Compiler-Agent Co-Design for Frontier Kernel Evolution

CAKE 让内核 Agent 编写具备类型和硬件显式语义的 CAKE IR,把 warp 角色、数据搬运、同步与流水线直接暴露给验证器、成本模型和局部诊断,而不是把编译器当成只返回报错与计时的黑盒。作者报告,在 B200 的实现隐藏 Flash-KMeans clean-start 实验中,8,000 万 token 预算下最佳 CAKE 候选达到调优 FlashML 基线的 1.144 倍,而直接 CUDA/PTX 路线为 0.928 倍;其他内核结果同样是作者在指定硬件、形状和调度器下的测量。

为什么值得读:重点不只是再做一个 kernel DSL,而是让 Agent 的失败持续沉淀为验证规则、IR 原语和优化策略。这个闭环为“编译器可被 Agent 理解和共同演进”提供了比纯提示词搜索更系统的路径。

Memory Instruction Scheduling for Lock-Stepped Kernels on AMD Instinct™ MI300X: Introducing the Series

AMD 以 MI300X 上的 tiled GEMM 为例,建立分析 lock-stepped kernel 内存指令排程的术语、三阶段软件流水线和 ATT 跟踪方法。文章逐步解释 HBM→VGPR→LDS→VGPR→AGPR 的数据路径,以及 vmcnt、lgkmcnt、s_waitcnt 与双 barrier 如何约束多个 wave 的稳态执行;本篇是系列导论,尚未把后续具体 VMEM/LDS 瓶颈结论提前包装成性能收益。

为什么值得读:这是少见的、从 ISA 计数器和同步边界解释 GEMM 软件流水线的厂商级材料。对写 Triton/HIP/底层 kernel 或做编译器调度的人,它提供了定位“理论带宽很高但实际吃不满”的可复用分析框架。

GPU Offload in Rust: Portable, Safe, and Fast

论文把多厂商 GPU offload 支持原生接入 rustc 与 LLVM 后端,尝试利用 Rust 的所有权、类型系统与 noalias 语义管理并优化主机—设备数据移动。作者针对 host/device ABI lowering 不一致提出两阶段编译流程,同时支持手工和编译器生成的数据移动;RAJAPerf 实验显示其生成的 GPU kernel 可达到与原生手写 CUDA、HIP C++ 基线有竞争力的性能,但摘要未给出统一倍数结论。

为什么值得读:如果内存安全与跨厂商 offload 能在主语言编译链中成立,GPU 编程就不必总在 vendor DSL 和大面积 unsafe 指针之间二选一。它也展示了高级语言别名保证如何转化为 LLVM 优化信息。

AgentRewind: Recoverable Execution for Long-Horizon LLM Agents

AgentRewind 为长时运行 Agent 同步记录模型上下文与受控环境的 checkpoint,使系统在早期错误污染后续状态时能够回退,并携带前一次尝试获得的信息继续执行。作者还构建 MettleBench,以一组相互关联的工程需求衡量完整成功和清单进度;论文报告该运行时在多种任务、模型、执行策略与 harness 上优于所比较的基线。

为什么值得读:长链 Agent 的可靠性不能只依赖更好的规划或动作前检查,失败后的状态恢复同样是系统问题。把对话状态与外部环境做对齐 checkpoint,接近数据库恢复和工作流引擎已有的工程思想。

Bring Claude Code On‑Prem with AMD Instinct GPUs

AMD 给出一条把 Claude Code 前端接到自管模型服务的完整路径:在 MI355X 服务器上用 SGLang 以 FP8、8 路 tensor parallel 服务 GLM 5.2,再由 LiteLLM 把 Anthropic Messages API 请求翻译为 OpenAI 兼容调用,并通过 SSH tunnel 连接开发机。文中所列 756 GB FP8 权重需求、硬件配置和体验判断均属于 AMD 在该示例栈中的说明,不能外推到其他模型与集群。

为什么值得读:它把“本地 coding agent”从单机 demo 提升为数据留在组织网络内的共享 GPU 服务架构,也把 API 兼容层、隧道、模型并行和客户端启动流程串成可复现部署蓝图。

NVIDIA Nemotron 3.5 Lightning now available in Amazon SageMaker JumpStart

AWS 宣布可通过 SageMaker JumpStart 部署 NVIDIA Nemotron 3.5 Lightning。文章列出的模型规格为 30B 总参数、每次前向激活 3B、最长 1M token 上下文,并提供 BF16 与 NVFP4 模型卡;DFlash 用于 speculative decoding。文中的“最高 4 倍吞吐、任务完成快 30%”来自 NVIDIA 描述,AWS 也明确提示评测由 NVIDIA 在其 harness 下完成,不能与其他厂商自报数字直接横比。

为什么值得读:这条发布体现了 agentic workload 正在走向 system-of-models:把大量重复、专用步骤路由到小激活量 MoE,而不是所有请求都占用 frontier 模型。对平台团队,部署便利之外更值得关注的是模型路由、量化版本和端点成本边界。

这个主题下今天没有条目。