用全批量梯度下降训练 GPT-2：噪声对训练效果的影响实验

作者在 FineWeb 的 800M token 固定子集上对比了 GPT-2 的两种训练方式：基于 NanoGPT speedrun、batch size 393K 的常规训练一个 epoch 达到 3.30 验证损失，而完全相同的 token 上做精确全批量梯度下降，训练损失更低至 3.09，但验证损失在 260 到 310 步之间收敛于约 3.50。