这个区别在 DP 优化器中也存在。同样是 Adam，用 decoupled bodyweight decay 的话， 缩放 R 不影响 excess weight decay 的大小，但是用普通的 body weight decay 的话，放大 R 两倍等价于缩小两倍的 excess weight decay。 事实上 DP for each-sample gradient clipping 这个方向主要就三种 clipping features， 除了 Abadi's clipping 以外的两种都是我提出的，一个是 world clipping，还有一个就是这篇 automated... https://bookmarkquotes.com/story13258724/the-ultimate-guide-to-%E8%AE%BA%E6%96%87%E4%BB%A3%E5%86%99