简介：新安江模型作为流域水文模拟中的经典模型，常需借助PEST++实现参数自动率定，以提升洪水预报与水资源调度中模型预测的准确性。这份压缩包面向水利工程师、水文建模人员及PEST++应用者，提供了一套可直接上手的新安江模型自动率定文件集。包内共18个文件，涵盖流域参数与观测数据的txt文档、PEST++与模型运行exe程序、自动化批处理脚本、Python格式转换工具、模板说明及使用文档等，压缩后约4.81MB，便于搭建率定环境并对照README开展流程演练。目前已有591人参与学习下载。资源价值在于不仅包含模型程序和数据，还针对PEST++的配置文件、参数模板与批处理命令进行了整理，显著减少了环境配置负担；同时保留流量观测文件与结果转换脚本，方便用户深入理解从数据准备到参数反演的完整链路，进而开展参数敏感性分析与不确定性评估，更高效地完成新安江模型参数优化。 干水文模型的同行应该都有这种体会：新安江模型参数不算少，蒸散发、产流、分水源、汇流每个环节都有好几个参数，而且彼此之间还有耦合关系。我最早入行的时候，给一个南方湿润流域做日径流模拟，光是手动调参就磨了两周，最后洪峰老是差一口气，被项目负责人说了好几回。后来我把这套流程改成用PEST++对新安江模型做自动率定，同样的流域，从准备文件到拿到一套合理的参数，差不多两天就能搞定，还能顺手看看参数的不确定性区间。这篇文章就把这条技术路线完整拆开，从模型原理、率定工具选型到文件配置和踩坑经验，一次性讲清楚。
适用对象就是正在做水文模拟、洪水预报或水资源规划的朋友，尤其是被参数率定折腾过、想把手动试错换成自动化流程的工程师和研究生。内容偏实操，我会把关键文件格式、命令和参数配置都贴出来。
1. 新安江模型的参数特征与率定难点
1.1 模型结构决定了参数必然多且互相耦合
新安江模型是赵人俊教授提出的概念性降雨径流模型，核心是蓄满产流理论，在我国湿润、半湿润地区用得非常多。完整的新安江模型通常包含四层计算结构：蒸散发计算、产流计算、分水源计算和汇流计算。每一步都有对应的参数组，我习惯把它们分成四类来看。
蒸散发层有三个土层厚度参数（UM、LM、DM）、蒸散发折算系数KC、深层扩散系数C；产流层有流域蓄水容量WM、蓄水容量曲线方次B、不透水面积比例IMP；分水源层有自由水蓄水容量SM、自由水容量分布指数EX、壤中流出流系数KI、地下径流出流系数KG；汇流层有壤中流消退系数KKI、地下水消退系数KKG、河网蓄水消退系数CS、以及马斯京根演算的参数KE和XE。粗算下来二十多个参数，实测资料往往只有出口断面的流量过程，观测变量太少而待估参数太多，这就是新安江模型率定最根本的困难。
更麻烦的是参数的不可分辨性。比如流域蓄水容量WM和蓄水容量曲线指数B共同决定流域产流的非线性程度，不同组合可能得到非常接近的模拟结果，这就是所谓的异参同效现象。土壤蓄水容量和蒸散发参数之间也经常互相补偿：KC给大一点、WM给小一点，年总量模拟可能还凑合，但过程线形状会变差。这类参数间的相关性，手动调参很难察觉，反而是自动率定里的协方差分析能直接暴露出来。
1.2 手动率定为什么费力不讨好
很多人习惯用手动试错法，就是看着模拟流量和实测流量去调参数。这个办法在小流域、资料条件好的情况下确实有用，但有三个很现实的问题。
第一是效率低。新安江模型每个参数都有物理意义，但最优值到底在哪，单纯靠调几个关键参数碰运气，一个流域少说也要一两周。第二是依赖个人经验。老工程师可能凭感觉就知道KC该从0.8开始试，但换一个人接手就得从头摸，调参经验没法标准化传承。第三是最致命的：手动率定无法提供参数不确定性信息。我们现在很多项目不光要一条模拟过程线，还要给参数的置信区间，或者做情景分析，手动方法完全给不出来。
所以我才转向自动率定。自动率定不是替代人的判断，而是把“参数寻优”这个机械劳动交给算法，让人把精力放在模型结构选择、数据质量控制和结果合理性分析上。
2. PEST++的工作原理与选型依据
2.1 PEST++的核心机制：模型无关的参数估计框架
PEST++是PEST的升级版本，开源、跨平台，核心思路是“模型无关”。所谓模型无关，意思是它不在乎你的模型是什么语言写的、是商业软件还是自编程序，只要模型能从外部文件读取参数、再输出结果文件，PEST++就能驱动它反复运行并自动调参。
它的参数更新依赖经典的Gauss-Levenberg-Marquardt算法，属于基于梯度的局部优化方法。简单说，PEST++会按一定规则在当前参数点附近做扰动，通过有限差分计算目标函数对每个参数的灵敏度，然后利用灵敏度和观测值残差算出参数更新方向，再步进到新的参数组合。如此往复，直到目标函数不再下降或者下降幅度达到阈值。
目标函数的定义需要特别说清楚。PEST++优化的目标是最小化加权残差平方和：
Φ = Σ ωᵢ(cᵢ − ĉᵢ)²
其中cᵢ是第i个观测点的实测值，ĉᵢ是对应的模拟值，ωᵢ是权重。权重的设定非常关键，一般取观测误差方差的倒数。如果某个观测点的测量误差大，权重就小，模型拟合时会自动迁就那些更可靠的观测点。
除了基础优化，PEST++还内置了Tikhonov正则化和SVD-Assist技术。当参数多、观测少导致雅可比矩阵病态时，正则化能对参数施加“平滑约束”，SVD-Assist则通过截断奇异值来稳定求解。这两个工具在率定新安江模型这种典型的高维参数系统时极其有用，后面我会讲具体怎么用。
2.2 为什么选PEST++而不是其他工具
市面上自动率定工具不少，我简单梳理一下几种常见路线的优劣。
| 工具/方法 | 原理 | 优点 | 缺点 |
|---|---|---|---|
| 手动试错 | 人工经验 | 灵活、直观 | 慢、不可重复、无不确定性信息 |
| PEST/PEST++ | 梯度类局部优化（GLM） | 效率高、支持并行、模型无关、有不确定性分析 | 可能陷入局部最优、需要提供较好初值 |
| SUFI-2（SWAT-CUP） | 拉丁超立方采样+逐步缩范围 | 全局搜索能力尚可 | 主要绑SWAT模型，通用性差 |
| 遗传算法（GA） | 进化式全局搜索 | 全局性好 | 收敛慢、需要大量模型运行次数 |
| MCMC/DREAM | 贝叶斯采样 | 能给出完整后验分布 | 极其耗时、调参复杂 |
做实际项目的时候，计算资源永远是有限的。新安江模型虽然是概念性模型，运行一次不算太慢，但率定一个20参数的系统，动不动就是几千次模型调用。用MCMC可能跑几天都出不来，用PEST++这种梯度方法配合并行计算，通常几小时到十几个小时就能收敛到满意的参数集。这也是我最终选它的核心原因。
另外还有一个很重要的点：PEST++社区活跃、文档完整，而且和Python生态有很好的衔接，比如pyEMU这个库可以直接读取PEST++的输出来做后处理和可视化。对于需要给甲方或者审稿人展示参数敏感性和不确定性分析结果的场景，这点非常加分。
3. 自动率定全流程实操
3.1 数据准备与模型可执行化改造
要跑率定，首先得把新安江模型改造成一个“可以被外部程序调用”的可执行模块。我的做法是：用Fortran或Python写一个命令行程序，它从文本文件（比如param.dat）读参数，从降水、蒸发文件读输入，然后把模拟的日径流过程写到sim_flow.out。这块改造不难，核心是把原来写在代码里的参数全部抽到外部文件里。
param.dat的典型格式长这样：
# 蒸散发参数 kc 0.85 um 20.0 lm 70.0 dm 120.0 c 0.18 # 产流参数 wm 140.0 b 0.35 imp 0.01 # 分水源参数 sm 18.0 ex 1.2 ki 0.32 kg 0.38 # 汇流参数 kki 0.58 kkg 0.985 cs 0.65 ke 0.5 xe 0.3注意参数的顺序在率定过程中是固定的，PEST++通过模板文件替换的是数值，不是键名。观测数据方面，我建议至少准备连续5年以上的日流量资料，其中前3年用于率定，后2年留出来做验证。如果资料年限太短，率定出来的参数很难有代表性。
3.2 模板文件（TPL）和指令文件（INS）的编写
PEST++要修改模型的参数，靠的是模板文件。模板文件是param.dat的“副本”，只不过把参数数值换成了占位符。我用的是一个固定格式：
ptf $ kc $kc$ um $um$ ...第一行ptf $是指定模板文件标识符，$是参数定界符。$kc$、$um$这些符号会被PEST++在运行时替换成实际参数值并生成新的param.dat，然后调用模型运行。这里有个容易踩的坑：占位符两边最好保留和原文件一样的空格数量，因为有些模型用固定列宽读取参数，格式乱了模型就崩了。
指令文件则是告诉PEST++如何从模型输出文件里提取模拟值。假设sim_flow.out的每一行是“日期 实测流量 模拟流量”，我要提取第三列的模拟流量：
pif @ @l1: @w@ @w@ @f12.3@其中pif @是指令文件标识符，@l1:表示读取第一行，@w@代表跳过任意宽度的一列，@f12.3@代表读取一个宽度12、小数位3的浮点数。写好之后，PEST++运行完模型就会自动去sim_flow.out里“挖”出模拟值，再和观测值做比较。
3.3 PST控制文件的参数定义与运行控制
PST文件是PEST++的核心控制文件，从头到尾定义了参数、观测值、权重、运行命令和优化控制。我直接给出一个精简但完整的示例，大家对着改就行：
pcf * control data restart estimation 1 1 1 * parameter groups parg ... * parameter data ... * observation data ... * model command line model.bat * model input/output param.dat template.tpl sim_flow.out result.ins这个文件内容不少，我挑三个最影响率定效果的部分详细说。
参数数据部分要定义每个参数的初值、上下限和变换方式。初值不要随手乱填，最好参考邻近流域的经验值。上下限要有物理意义，比如KC一般在0.5到1.2之间，WM一般在100到200之间，B在0.1到0.6之间。变换类型建议用logarithmic，因为很多参数跨数量级变化，对数变换能让PEST++在量级尺度上搜索更稳定。
观测数据部分要给出实测流量值和权重。权重的设置有个技巧：不要对全部流量点给相同的权重，洪峰段的观测误差小、信息量大，我给得高一些；枯水段的流量小但相对误差大，权重给低一些；如果观测误差和流量大小成比例，可以对流量值做对数变换再率定，效果更好。
模型命令行部分，我写的是model.bat。这个批处理脚本的内容就一行：
newanjiang.exe param.dat也就是调用新安江模型可执行文件，传入参数文件。脚本需要放在PST文件同目录下，且要注意当前工作目录的问题，PEST++默认在PST文件所在目录运行模型。
3.4 运行率定与结果解析
文件都准备好之后，执行率定就一条命令：
pestpp-glm demo.pst如果模型单次运行时间较长（超过1秒），强烈建议开启并行。PEST++支持基于PBS的分布式并行，也支持单机多进程：
pestpp-glm -H demo.pst-H参数会在当前目录生成hosts文件，指定多少个节点、每节点多少个进程。我一般开4到8个并行进程，跑下来效率提升非常明显。需要注意：并行跑的时候，每个进程的临时工作目录是独立复制的，不能互相写同一个文件，否则会冲突。
率定运行过程中，PEST++会把每一次迭代的日志写到demo.rec文件里，包括当前目标函数值、参数变化量、最大参数变化百分比等信息。我会一边跑一边用tail命令盯着收敛情况：
tail -f demo.rec如果看到目标函数连续好几次迭代都不怎么下降了，而且参数变化量也已经小于0.01%，就可以判断收敛了。跑完之后，结果都保存在demo.par和demo.phi.actual里，demo.par里是最终参数及其置信区间，demo.phi.actual是每个观测点的模拟值、残差和权重。用pyEMU可以快速画参数敏感性排序图和实测模拟对比图：
import pyemu pst = pyemu.Pst('demo.pst') pst.plot('results.png')4. 常见问题与排查技巧实录
4.1 参数不敏感与雅可比矩阵奇异
我最开始跑率定的时候，遇到最多的报错是参数灵敏度矩阵奇异（singular）。为什么会这样？因为某个参数对目标函数几乎没有影响，PEST++在算偏导数时求出来的坡度趋近于零，梯度方向就没法给出有效的参数更新量。具体到新安江模型，最容易出这个问题的是IMP（不透水面积比例）和某些汇流参数，在湿润地区IMP对总径流的影响极小。
应对方法有两个。一是在做正式率定之前，先跑一轮参数敏感性分析，把不敏感的参数固定住，不参与率定。PEST++本身就能输出沙漏图（即参数对观测值的灵敏度矩阵），直观判断哪些参数是可辨识的。二是如果必须率定所有参数，就打开Tikhonov正则化，给参数加一个“朝向初值”的惩罚项，数值上能显著改善矩阵病态。我一般先固定明显不敏感的参数，再配合一点正则化，效果最稳。
4.2 模型模拟失败导致率定中断
这是自动率定最大的隐患。手动调参时参数都在合理区间内，模型能顺利跑通；但PEST++每轮迭代会在参数空间里“乱窜”，很可能试到一组物理上不合理但数值合法的参数组合，比如把KC调到1.5、SM调到50，模型虽然能跑完，但出来的流量可能是NaN或者几百个数量级的离谱值。
如果不做处理，PEST++会因为观测值与模拟值对不上而认为模型逻辑有问题，或者直接崩溃退出。我的解决办法是：在model.bat里加一段判断逻辑，让模型在输出异常时立即终止并返回错误码。比如说，用Python脚本包装模型，检查模拟输出文件里有没有inf或负值，有就主动抛异常。这样PEST++虽然会记录一次模拟失败，但不会整体崩掉，下一轮会调整参数继续跑。
import subprocess, sys, os subprocess.run(['newanjiang.exe', 'param.dat'], check=True) with open('sim_flow.out') as f: for line in f: if 'nan' in line.lower() or 'inf' in line.lower(): sys.exit(1)4.3 收敛到局部最优与并行冲突
PEST++本质是局部优化算法，对初值很敏感。如果初值离全局最优太远，很容易收敛到某个局部谷底。我这里有一个实用策略：先用几十次随机初值试验，分别从不同的参数组合出发跑率定，最后挑目标函数最小的那一组作为最终参数。这个操作在PEST++里可以直接用批处理脚本实现，成本也不高。
并行冲突是我另一个常踩的坑。最开始我图省事，把所有并行进程的工作目录设成共享的，结果发现模型输出的文件互相覆盖，率定结果一塌糊涂。后来我改用PEST++推荐的目录隔离模式，每个并行作业在自己的临时目录里运行，问题就没了。如果是单机跑，进程数不要超过CPU核心数的两倍，否则大量的上下文切换反而会拖慢整体速度。
5. 关于率定结果合理性的一点心得
自动率定跑完不等于工作结束，拿到参数之后先别急着打包输出。我的习惯是看三样东西：一是模拟与实测的确定性系数NSE和水量平衡误差，NSE至少0.7以上、水量平衡误差控制在5%以内才算合格；二是参数的置信区间有没有“爆掉”，如果某个参数95%置信区间涵盖了它的物理上下限范围，说明这个参数率定不充分，需要反思模型结构或数据质量；三是把率定期和验证期的拟合指标对比，如果验证期的NSE比率定期差很多，很可能模型过拟合，需要回头检查。
我个人在实际操作中还有一个体会：不要把所有参数都交给PEST++自动率定。有些参数比如不透水面积比例，在流域土地利用变化不大的情况下，根据遥感数据直接确定比率定更可靠。把参数分成“先验确定”和“自动率定”两类，只对确实敏感且不确定的参数做自动搜索，率定效率和稳定性都会明显提升。新安江模型和PEST++的组合，并不是一条命令跑出结果那么简单，但只要你把参数体系梳理清楚、文件配置做扎实，它确实是目前我试过的效率最高、可解释性最强的一套自动率定方案。
本文还有配套的精品资源，点击获取
