Autograd 和突变 2026 年 3 月 28 日 PyTorch autograd 如何处理突变。
特别是,当视图上发生突变(与其他张量别名)时会发生什么。
2017 年,Sam Gross 在视图上实现了对就地操作的支持,但其细节从未用简单的英语描述过……直到现在。
Autograd,简单的例子我们都知道,autograd 的工作原理是在执行模型的前向操作时构建一个后向图。
每次执行操作 Op 时,我们都会生成一个自动求导节点 OpBackward 并将其记录在结果张量的 grad_fn 上。
然而,我将手工绘制这些图表,因为我想准确传达一些重要的技术细节。
来源:HackerNews New
