返回動態

PyTorch · 2026年11月9日

trunk/b2a46eff233ae0781eb7e8f8d9d3153407cafa5a: [MPS] Migrate layer_norm_backward to Metal (#203392)

PyTorch 将 layer_norm_backward 从 MPSGraph 迁移到 Metal

來源標題與編輯摘要保留原文。

閱讀原文 ↗

原始摘要(簡體中文)

PyTorch 提交将 native_layer_norm_backward 从 MPSGraph 迁移到 Metal,复用了此前 PR 的大部分代码。性能测试覆盖 bf16 与 f32 多种矩阵尺寸及 dX、dW、dB 组合,加速比范围约 1.45x 到 18.77x,几何平均 3.45x,中位数 1.45x。例如 bf16 128x768 的 dX 从 72.8us 降至 4.1us,约 17.75x;f32 128x768 的 dX 约 16.05x。大尺寸如 1048576x64 的 dW、dB 仅约 1.45x。

推薦理由

我认为值得看:这是 PyTorch 在 Apple Metal 后端替换 MPSGraph 的实测数据,加速比和尺寸边界都列得很清楚,做端侧推理或 Mac 训练的人可以直接参考。