谱偏差

是什么

理论（神经正切核 NTK）与实验一致表明：梯度下降会按频率从低到高依次拟合目标函数。 对光滑解这没问题；对含高频振荡、陡峭梯度、多尺度结构的 PDE 解， 高频部分需要极长训练时间才能收敛，甚至训练停止时仍未学到。

关键要点

• 为什么 PINN 受害最深：PDE 残差含高阶导数，高频分量在导数中被放大（∂^n/∂x^n 带 k^n 因子），残差地形极其崎岖。
• 主流缓解手段：随机 Fourier feature / 位置编码（把输入先映射到高频基）、自适应损失权重、残差自适应采样（RAR）、域分解（XPINN）、课程学习（先低频后高频）。
• FNO 的关联：FNO 在频域截断模态，本质上是显式放弃高频，因此高频细节重建弱——这是同一个问题的另一面。
• 诊断方法：看训练过程中不同频率分量的误差下降曲线，或者观察残差在空间上的分布是否集中在高梯度区。

常见误区 / 边界

• 谱偏差不是”网络容量不够”：加大网络规模帮助有限，改的是训练动力学而非表达力。
• 加了 Fourier feature 也不等于解决：编码频率与目标频率不匹配时，反而会引入新的振荡伪影。