01
开源发布
Ray GitHub Releases
·
Ray 2.58.0 将此前预览的 KV-cache-aware 与 token-aware 路由补齐到 Ray Serve LLM：tokenization 在 LLMRouter ingress replica 内完成，路由决策与容量预留在该处执行，token 通过带外路径传给引擎以避免重复分词，KV 生命周期事件广播到所有 ingress replica。路由还会把 CPU offload 中的 KV block 计入 cache hit；同一版本也把 task event 的采集与查询从 GCS 热路径迁出，并加入实验性的 gVisor Ray Sandbox、Ray Data shuffle v2、TPU subslice gang scheduling 以及多项死锁和认证修复。
为什么值得读：这次发布把“缓存感知路由”从一个局部启发式变成跨 ingress replica 共享 KV 状态、原子选择与预留、CPU/GPU 两级缓存共同参与的控制面协议。对生产团队而言，升级价值不仅是命中率，还包括 GCS 热路径减负、backpressure 语义、安全修复与任务隔离；这些变化应在真实流量下联合验证，而不能只看单一吞吐指标。
02
工程文章
AMD ROCm Blog
·
AMD 展示了在 MI300X 上用 vLLM、MoRI-EP 与 MoRI-IO 部署 GLM-5.1-FP8 的 prefill/decode 分离式 WideEP 路径：MoE dispatch/combine 走跨节点 all-to-all，KV cache 通过 GPU Direct RDMA 从 prefill 传给 decode。文章重点记录两个生产阻塞问题——约 30k token 后的长上下文错误，以及 DeepSeek Sparse Attention 引入的第二套 indexer KV cache 未被传输而导致 8k+ prefill 崩溃——并给出相应修复；厂商还公布覆盖四种拓扑、三种请求形状和六档并发的 72 组测试，并以闭式 KV 容量模型解释单 decode 实例越过容量墙后的吞吐坍塌。
为什么值得读：这篇文章的价值不只在厂商自报峰值，而在于展示新 attention family 如何穿透 serving stack 的隐式假设：新增一套 KV 状态会影响 connector 注册、RDMA 传输、长上下文正确性与容量边界。其容量模型和故障过程可复用于其他 MoE/稀疏注意力系统，但所有性能结论都限定于文章列出的 AMD 硬件、软件版本、模型和流量矩阵。
03
论文
arXiv
·
FIBER 认为现代混合精度 LLM 工作负载在 GEMM 与非 GEMM 阶段之间切换时，传统 SIMT 将线程与私有寄存器静态绑定，会造成固定并行度和粗粒度调度瓶颈。它引入不拥有私有寄存器、只携带最小控制状态的 fiber，让执行实例通过共享视图访问 SM 寄存器，并配套 ISA、微架构、冲突仲裁、逐寄存器依赖跟踪和编译映射。作者基于 GTSim cycle-level 模拟器报告，在其典型混合精度 LLM serving 场景中，相对 Ampere、Hopper、Blackwell 基线的端到端加速分别为 2.25、1.8、2.09 倍，所估面积与功耗开销低于 0.1% 和 0.4%。
为什么值得读：Tensor Core 供数已从 warp 私有寄存器走向更共享的存储路径，但向量、归约和 attention 周边操作仍受静态线程上下文约束。FIBER 提供了一种软硬件协同方向：把并行度和寄存器预算变成运行期可调资源，并让寄存器承担细粒度数据流通信；不过结果来自模拟器和作者设定的 workload，距离真实芯片实现、编译器成熟度和软件兼容性仍有明显验证距离。
04
工程文章
PyTorch Blog / IBM Spyre Team
·
IBM Spyre 团队提出用薄层 runtime adapter 在 Hugging Face Transformers 与年轻的 torch-spyre 编译/运行栈之间搭桥：当模型中的操作表达暂时不能被后端稳定 lowering 时，adapter 在运行期替换为数学等价且编译器可处理的形式，而不把它伪装成手写高性能 kernel。团队让 coding agent 同时阅读模型实现、后端 lowering、issue 与已有 adapter，再由人类对数值漂移、融合上下文和错误定位做监督；文章报告 13 个 adapter 覆盖其目标集合中 7,960 个模型，其中 6,804 个通过 Spyre 端到端测试。
为什么值得读：新加速器的 day-one enablement 往往卡在模型生态变化速度与后端完备度之间。把 adapter 视为可移除、可测试的兼容层，并让 AI 辅助跨代码库定位 gap，可能显著缩短 bring-up；但覆盖不等于正确，文章中 adapter 覆盖数与端到端通过数之间的差距也说明，等价性测试、融合后复现和人工诊断仍是不可省略的发布门槛。
05
Benchmark 方法
Hugging Face Blog / Hume AI
·
文章提出 consensus disagreement、masked entity retrieval 与 orthographic switching 三类探针，用来检测 ASR 模型是否复现公开 benchmark 的参考答案模式，而不是忠实转录音频。作者测试 11 个开放 ASR 模型，报告其方法在所分析的 VoxPopuli 片段中标记出约 40% 的潜在参考错误、涉及约 3% 的参考词；一些模型会在数字已被静音或音频与错误 reference 冲突时仍恢复 benchmark 文本，而这种行为在新采集或 held-out 音频上减弱。
为什么值得读：AI 系统 benchmark 不只是模型排名问题，也是基础设施容量规划、硬件采购和优化优先级的输入。如果公开测试集允许系统识别数据集身份并复现 reference artifact，WER 等聚合分数就可能高估通用能力；在性能 benchmark 之外加入干预式探针、held-out 数据和错误 reference 审计，是建立可信评测流水线的重要方法。