近年来,深度学习在偏微分方程(PDEs)求解中展现出前所未有的潜力。从气象模拟到材料科学,基于数据驱动的神经网络模型正不断重塑科学计算的边界。尤其是神经场(Implicit Neural Representations,INRs),凭借其连续参数化的特性,能够实现跨几何形态的高分辨率建模,在复杂场景下展现出卓越的精度和灵活性。
然而,当面对具有剧烈空间变化的场景时,现有 INR 方法暴露出明显的瓶颈。传统的全局调控机制要求模型在所有空间位置共享同一组调控参数,这种方式在捕捉局部细节特征时显得力不从心。随着场景复杂度的提升,全局调控不仅限制了模型精度,还导致泛化能力下降。
为了解决这一难题,清华大学研究团队提出了一种创新的空间调控方法 ——GridMix。灵感来源于谱方法的思想,GridMix 将空间调控参数表示为一组网格基函数的线性组合。GridMix 具备以下特点:
- 保留了空间调控的细粒度局部性,确保建模精度;
- 同时通过共享基函数提取全局结构信息,有效缓解了过拟合风险。
在一系列挑战性的 PDE 建模任务中,GridMix 展现出了显著的性能提升。特别是在稀疏空间域和时间外推场景下,其鲁棒性表现尤为突出。该研究已被 ICLR 2025 接收,并获选为Oral论文(入选比例 1.8%)。
- 论文标题:GridMix: Exploring Spatial Modulation for Neural Fields in PDE Modeling
- 论文地址:https://openreview.net/forum?id=Fur0DtynPX
- 项目主页:https://github.com/LeapLabTHU/GridMix.git
方法
本文研究聚焦于偏微分方程(PDE)建模任务,其核心是近似算子。该算子根据底层 PDE,将输入空间中的函数映射到输出空间。此处表示定义域为且值域为的平方可积函数构成的无限维空间。我们重点研究以下两类典型任务:
图 1. 基于 INR 的 PDE 建模框架
CORAL 的全局调控
图 2. 不同调控方式
GridMix
图 3. 重建效果对比:观测数据的空间域在训练集之外
为了缓解空间调控在训练空间域上的过拟合问题,GridMix 将空间调控参数表示为一组网格表征的线性组合,如图 2 (c) 所示。首先,GridMix 定义一组网格表征作为基函数,再通过这些基函数的线性组合生成空间调控参数。具体而言,每一隐藏层的网格混合表示为
实验
动态系统建模
在 Naviers-Stokes 和 Shallow-Water 两个动态系统建模任务上,GridMix 相比神经算子方法(DeepONet 和 FNO)、图网络方法(MP-PDE)以及基于全局调控的 INR 方法(CORAL)均取得了显著的性能提升。同时,GridMix 在稀疏空间域的重建和时间外推任务中表现出优越的鲁棒性,进一步验证了其广泛的适用性。
图 4. 动态系统建模任务
图 5. 稀疏空间域下的 Shallow-Water 可视化结果
几何感知推理
在几何感知推理中,模型根据给定的几何结构(例如翼型(NACA-Euler)、水管(Pipe)和弹性材料(Elasticity))预测系统的状态。相较于全局调控方法,GridMix 在所有任务中均实现了性能提升。
图 6. 几何感知推理任务
总结
本文的贡献主要在两个方面:
- 提出了一种新颖的空间调控方式 ——GridMix,它自然地融合了全局调控的全局结构建模和空间调控的局部细节捕捉能力;
- 在动态系统建模和几何感知推理等任务中充分验证了 GridMix 的卓越性能,特别是在稀疏空间域和时间外推场景下优势显著。