生成对抗网络训练稳定性提升秘诀

生成对抗网络（GAN）的训练因其不稳定性而闻名，常被比喻为“走钢丝”。要提升其稳定性，核心在于平衡生成器（G）和判别器（D）之间的动态竞争关系。以下是几个关键秘诀：

1. 选择合适的损失函数

传统的GAN使用基于JS散度的最小最大游戏损失，这容易导致梯度消失或模式崩溃。现代GAN多采用更稳健的损失函数：

• Wasserstein Loss（WGAN）： 使用Wasserstein距离来衡量生成分布与真实分布之间的差异。它能提供更平滑、更有意义的梯度，即使D训练得非常好，G也能获得有效的学习信号。关键是移除判别器最后一层的Sigmoid激活函数，并将其视为一个评分器（Critic）。

• LSGAN（最小二乘GAN）： 将判别器的损失函数改为最小二乘损失，这可以将“假样本”拉向决策边界，从而生成更高质量的样本并提升训练稳定性。

• Hinge Loss： 常用于BigGAN和SAGAN等模型，它在实践中被证明能产生尖锐的图像和稳定的训练。

2. 优化判别器与生成器的训练平衡

D和G的训练步数不匹配是导致不稳定的主要原因。

• 不要将判别器训练得太强： 一个过于强大的D会轻易识破G生成的样本，导致G的梯度变得极小而无法学习。通常采用“n步D，1步G”的策略（例如n=1, 2, 5），确保D足够好但不至于压倒G。

• 梯度惩罚（Gradient Penalty）： WGAN-GP通过在真实数据和生成数据的插值点上施加梯度范数惩罚，来强制满足WGAN的Lipschitz约束。这比原始的权重裁剪更有效，能显著提升稳定性。

3. 运用先进的归一化技术

归一化技术是稳定深度网络训练的利器。

• 谱归一化（Spectral Normalization）： 通过对判别器每一层的权重矩阵进行谱范数归一化，来约束其Lipschitz常数。这种方法计算高效，能非常有效地稳定训练，是当前许多SOTA模型的标配。

• 实例归一化（Instance Normalization）与BatchNorm的谨慎使用： 在G中，常用InstanceNorm或BatchNorm来稳定训练，但要小心BatchNorm在batch size较小时带来的统计量波动。在D中，通常倾向于使用谱归一化或Layer Normalization。

4. 使用特定的网络架构与正则化

渐进式生长（Progressive Growing）： 从低分辨率图像开始训练，逐步增加网络层以生成高分辨率图像。这种方法将复杂任务分解，极大地稳定了高分辨率图像的生成过程。

一致性正则化（Consistency Regularization）： 对判别器的输入施加轻微的数据增强（如随机平移、裁剪），并要求其对同一图像的不同增强版本给出一致的输出。这可以防止判别器过拟合到训练集的有限变化上，鼓励其学习更本质的特征。

5. 精心调整优化器与超参数

避免使用动量过高的优化器： 对于GAN，Adam优化器通常是首选，但需要调低其动量参数（β1，如设为0.0或0.5），因为过高的动量可能导致优化过程发生振荡。

谨慎调整学习率： 通常G的学习率会略低于D的学习率。使用学习率衰减策略也有助于训练后期的收敛。

核心秘诀总结：稳定GAN训练的本质是“精心设计的约束与平衡”。通过结合稳健的损失函数（如Wasserstein Loss）、强制性的约束手段（如梯度惩罚、谱归一化）以及合理的训练策略（如平衡训练步数），可以引导生成器和判别器在这场动态博弈中共同进步，最终得到高质量的生成结果。