PyTorch · 2026年11月9日
trunk/b2a46eff233ae0781eb7e8f8d9d3153407cafa5a: [MPS] Migrate layer_norm_backward to Metal (#203392)
PyTorch 将 layer_norm_backward 从 MPSGraph 迁移到 Metal
出典の題名と編集メモは原文で表示しています。
元の記事を読む ↗原文の要約(簡体字中国語)
PyTorch 提交将 native_layer_norm_backward 从 MPSGraph 迁移到 Metal,复用了此前 PR 的大部分代码。性能测试覆盖 bf16 与 f32 多种矩阵尺寸及 dX、dW、dB 组合,加速比范围约 1.45x 到 18.77x,几何平均 3.45x,中位数 1.45x。例如 bf16 128x768 的 dX 从 72.8us 降至 4.1us,约 17.75x;f32 128x768 的 dX 约 16.05x。大尺寸如 1048576x64 的 dW、dB 仅约 1.45x。
選定理由
我认为值得看:这是 PyTorch 在 Apple Metal 后端替换 MPSGraph 的实测数据,加速比和尺寸边界都列得很清楚,做端侧推理或 Mac 训练的人可以直接参考。