PyTorch11/9 01:0185 分精选

PyTorch 将 layer_norm_backward 从 MPSGraph 迁移到 Metal

trunk/b2a46eff233ae0781eb7e8f8d9d3153407cafa5a: [MPS] Migrate layer_norm_backward to Metal (#203392)

阅读原文

推荐理由:我认为值得看:这是 PyTorch 在 Apple Metal 后端替换 MPSGraph 的实测数据,加速比和尺寸边界都列得很清楚,做端侧推理或 Mac 训练的人可以直接参考。

PyTorch 提交将 native_layer_norm_backward 从 MPSGraph 迁移到 Metal,复用了此前 PR 的大部分代码。性能测试覆盖 bf16 与 f32 多种矩阵尺寸及 dX、dW、dB 组合,加速比范围约 1.45x 到 18.77x,几何平均 3.45x,中位数 1.45x。例如 bf16 128x768 的 dX 从 72.8us 降至 4.1us,约 17.75x;f32 128x768 的 dX 约 16.05x。大尺寸如 1048576x64 的 dW、dB 仅约 1.45x。

来源与依据

时间证据
11/9 01:01
收录于 11/9 01:30
交叉线索
1 个独立来源
内容可信度:高
证据链PyTorch