风控逻辑回归建模：L1、L2正则化、早停与评分卡细节

风控逻辑回归建模：L1、L2正则化、早停与评分卡细节

在金融风控领域，信用风险评估、欺诈检测、贷后预警等核心任务本质上都是二分类问题。逻辑回归凭借其可解释性强、训练高效、输出概率校准良好等优势，长期以来一直是风控建模的首选算法。然而，金融风控场景普遍面临样本量有限、正负样本极度不平衡、特征维度高等挑战，这使得过拟合成为制约模型泛化性能的主要瓶颈。

本文将聚焦于逻辑回归模型在金融风控场景下的过拟合问题，深入探讨L1/L2正则化和早停算法如何有效抑制过拟合，并结合实际风控建模流程给出完整的技术方案。与树模型不同，逻辑回归的正则化可以直接作用于模型权重，具有更清晰的数学形式和更直接的优化路径。

金融风控中的数据往往具有高度敏感性，样本获取成本高昂。一个典型的信贷风控模型可能只有几千到几万条历史违约样本，而特征工程可能产生数百甚至上千维特征。在这种高维小样本场景下，不加正则化的逻辑回归极易过拟合，导致模型在训练集上表现优异，但在实际应用中效果显著退化。

L1正则化能够将不重要特征的权重压缩为零，天然具备特征选择能力，这在风控场景中尤为重要。L2正则化通过权重衰减机制控制模型容量，提升模型对噪声的鲁棒性。早停算法在迭代优化过程中监控验证集表现，在泛化性能最佳时停止训练。将这三种技术有机结合，可以在金融风控的严格监管要求下构建出既稳定又准确的预测模型。

一、逻辑回归在金融风控中的核心地位

逻辑回归在风控领域的广泛应用并非偶然，其优势与金融行业的特殊需求高度契合。

sequenceDiagram participant Client as 客户端 participant API as 网关层 participant Service as 业务服务 participant DB as 数据库 Client->>API: 请求数据 API->>Service: 处理业务逻辑 Service->>DB: 查询数据 DB-->>Service: 返回结果 Service-->>API: 返回处理结果 API-->>Client: 返回响应

1.1 可解释性优势

金融监管机构要求模型决策过程必须可解释、可审计。逻辑回归的线性结构使得每个特征的贡献可以量化为明确的权重值，模型输出可以通过简单的概率计算追溯到具体的特征输入。这种透明度是深度学习等黑箱模型难以提供的。

在风控业务中，当模型拒绝一笔信贷申请时，金融机构需要给出明确的原因。逻辑回归的权重可以直接解释为"收入每增加一个单位，违约概率降低X%"，这种直白的解释对于业务人员和客户都易于理解。

1.2 概率校准质量

逻辑回归使用sigmoid函数将线性组合映射到[0,1]区间，输出天然具有概率意义。与其他分类器相比，逻辑回归的概率校准质量通常更好，这意味着模型预测的违约概率与实际违约率之间存在较好的一致性。这对于风控中的阈值设定、额度定价、损失准备计提等环节至关重要。

1.3 计算效率与稳定性

逻辑回归的训练可以通过牛顿法、梯度下降法等凸优化算法高效求解，目标函数是严格凸函数，保证了全局最优解的存在性和唯一性。这对于大规模风控系统的实时性和稳定性要求至关重要。

二、逻辑回归过拟合的数学分析

逻辑回归的过拟合可以从损失函数的优化过程进行深入分析。

2.1 逻辑回归的损失函数

对于二分类问题，逻辑回归假设 $P(y=1|x) = \sigma(w^T x + b)$，其中 $\sigma$ 是sigmoid函数。模型的负对数似然损失函数为：

$$
L(w) = -\frac{1}{n}\sum_{i=1}^{n}[y_i\log(\hat{y}_i) + (1-y_i)\log(1-\hat{y}_i)]
$$

当特征维度 $d$ 接近或超过样本量 $n$ 时，存在多个权重向量 $w$ 能够使训练损失接近于零。这些解中大部分在测试集上表现极差，因为它们拟合了训练数据中的噪声。

2.2 过拟合的数学表现

逻辑回归过拟合时，权重向量的范数 $|w|$ 会变得非常大。这是因为为了将sigmoid函数的输出推向0或1的极端值，模型需要使线性组合 $w^T x$ 的绝对值尽可能大，进而导致权重膨胀。

从优化理论的角度看，当数据线性可分时，逻辑回归的最优解是权重趋于无穷大。这种情况下，模型对训练数据的分类置信度极高，但泛化能力极差。正则化通过惩罚权重范数，直接抑制了这种参数膨胀行为。

2.3 风控场景的过拟合特征

风控数据中过拟合的典型表现包括：

训练集AUC接近1.0而测试集AUC低于0.6，这是过拟合的最直接信号。风控模型中，如果训练集AUC超过0.95而测试集AUC低于0.65，几乎可以肯定模型存在严重的过拟合问题。

模型权重分布出现极端值。正则化后的逻辑回归权重通常分布在[-1, 1]区间内，过拟合模型的权重可能出现绝对值超过10的极端值。

特征重要性排序不稳定。对训练数据进行轻微扰动后，重要特征的排名发生剧烈变化，说明模型过多地依赖了噪声特征。

三、L1/L2正则化的数学推导

正则化通过在损失函数中引入惩罚项来约束模型复杂度。在逻辑回归中，正则化的数学形式非常清晰。

3.1 L2正则化逻辑回归

L2正则化逻辑回归的损失函数为：

$$
L_{ridge}(w) = -\frac{1}{n}\sum_{i=1}^{n}[y_i\log(\hat{y}_i) + (1-y_i)\log(1-\hat{y}_i)] + \frac{\lambda}{2}|w|_2^2
$$

其中 $|w|2^2 = \sum{j=1}^{d} w_j^2$ 是权重向量的L2范数平方，$\lambda$ 控制正则化强度。

对损失函数求梯度得到：

$$
\frac{\partial L_{ridge}}{\partial w_j} = \frac{1}{n}\sum_{i=1}^{n}(\hat{y}i - y_i)x{ij} + \lambda w_j
$$

参数更新规则为：

$$
w_j^{(t+1)} = w_j^{(t)} - \eta\left(\frac{1}{n}\sum_{i=1}^{n}(\hat{y}i - y_i)x{ij} + \lambda w_j^{(t)}\right)
$$

整理得：

$$
w_j^{(t+1)} = (1 - \eta\lambda)w_j^{(t)} - \eta\frac{1}{n}\sum_{i=1}^{n}(\hat{y}i - y_i)x{ij}
$$

其中 $(1 - \eta\lambda)$ 就是权重衰减因子，每次更新前权重先乘以一个小于1的系数。这就是L2正则化又被称为权重衰减的原因。

3.2 L1正则化逻辑回归

L1正则化逻辑回归的损失函数为：

$$
L_{lasso}(w) = -\frac{1}{n}\sum_{i=1}^{n}[y_i\log(\hat{y}_i) + (1-y_i)\log(1-\hat{y}_i)] + \lambda|w|_1
$$

L1正则化在零点不可导，通常使用次梯度或近端梯度法进行优化。L1正则化会将不重要的特征权重精确压缩为零，实现特征选择。

在风控建模中，L1正则化的特征选择能力极为重要。风控系统通常包含数百个原始特征，通过L1正则化可以自动筛选出与违约率最相关的核心特征子集，简化模型的同时提升泛化能力。

3.3 正则化强度的选择

$\lambda$ 的选择直接决定正则化的效果。过小的 $\lambda$ 无法有效抑制过拟合，过大的 $\lambda$ 会导致欠拟合。

在实际风控建模中，$\lambda$ 的选取通常采用以下策略：

基于信息准则的方法：使用AIC或BIC准则选择正则化强度。AIC和BIC都包含模型复杂度惩罚项，与正则化的目标一致。

交叉验证方法：对一系列的 $\lambda$ 候选值进行交叉验证，选择使验证集损失最小的 $\lambda$。这是最常用也最可靠的方法。

经验法则：对于标准化后的特征，$\lambda$ 的合理取值范围通常在 $10^{-4}$ 到 $10^{2}$ 之间，以对数尺度进行网格搜索。

四、早停算法在逻辑回归中的应用

逻辑回归通常使用迭代优化方法求解，早停算法在迭代过程中监控验证集性能，适时终止训练。

4.1 早停的实现机制

在逻辑回归的训练过程中，我们实时监控验证集上的损失或AUC指标。随着迭代进行，训练损失持续下降，但验证损失先下降后上升。早停在验证损失连续 patience 轮未下降时触发停止。

早停的数学直觉在于：梯度下降的迭代过程从初始点（通常是零点）开始，逐步向最优解移动。在早期阶段，模型学习的是数据中稳定、通用的模式；在后期阶段，模型开始拟合噪声和异常点。早停恰好截断在泛化性能最佳的位置。

4.2 早停与L2正则化的等效性

有趣的是，对于线性模型，早停和L2正则化之间存在深刻的数学联系。使用梯度下降法训练逻辑回归时，早停相当于对权重施加了隐式的L2正则化约束。

具体来说，如果使用从零点初始化的梯度下降法，迭代 $t$ 步后得到的权重向量等价于在原始损失函数上施加了 $\lambda \propto 1/t$ 的L2正则化的近似解。这意味着早停和L2正则化可以相互补充，同时使用通常比单独使用效果更好。

4.3 风控场景的早停配置

在风控建模中，早停的配置需要考虑以下因素：

监控指标的选择：风控模型通常使用AUC或KS作为监控指标，但损失函数对过拟合更敏感，建议同时监控验证集损失和AUC。

耐心轮次的设置：风控数据通常噪声较大，建议设置较大的 patience 值（如20-50轮），避免验证指标的随机波动导致过早停止。

验证集的稳定性：风控数据可能存在时间漂移，验证集应当与训练集来自同一时间段，避免因分布变化导致错误的早停决策。

五、风控建模中的类别不平衡处理

金融风控数据中，正样本（违约客户）的比例通常远低于负样本（正常客户），正负比可能达到1:100甚至更低。类别不平衡会加剧过拟合问题，需要特殊处理。

5.1 不平衡对过拟合的影响

在极端不平衡的场景下，模型可以简单地预测所有样本为负类来获得99%的准确率。这种表面上的高准确率掩盖了模型对正类完全没有识别能力的事实。

更隐蔽的问题是，不平衡数据使得正类的学习信号极其微弱。模型在训练过程中主要从海量负样本中学习，对正样本的拟合不足。当正则化强度较大时，模型可能完全忽略正类信息，导致召回率为零。

5.2 类别权重与正则化的平衡

在逻辑回归中，可以通过设置类别权重来处理不平衡问题。将正类的权重设为负类权重的反比，使得模型对正类错误施加更大的惩罚。

但是，类别权重与正则化强度之间存在相互作用。增大正类权重相当于放大了正类样本的梯度信号，这与L2正则化的权重衰减作用方向相反。在设置正则化强度时，需要考虑类别权重的影响。

经验做法是：先设置类别权重解决不平衡问题，然后在此基础上搜索最佳正则化强度。当正类权重较大时，可能需要相应增大正则化强度来防止对正类的过拟合。

5.3 采样方法的配合使用

除了类别权重外，还可以结合采样方法来处理不平衡问题：

SMOTE过采样：在正类样本的邻域内插值生成合成样本。SMOTE与正则化结合使用时，合成样本的质量直接影响模型性能，过强的正则化可能会抵消SMOTE带来的信息增益。

随机欠采样：随机丢弃负类样本以平衡类别分布。欠采样会丢失大量负类信息，需要配合较强的正则化来防止模型在剩余样本上过度拟合。

集成采样：结合多个不同的采样数据集训练多个逻辑回归模型，然后集成它们的预测。这种方法天然具有正则化效果。

六、Python实战：风控评分卡模型

下面通过一个完整的信贷风控评分卡建模案例来演示L1/L2正则化和早停算法的应用。

import numpy as np import pandas as pd import matplotlib.pyplot as plt from sklearn.model_selection import train_test_split, GridSearchCV from sklearn.linear_model import LogisticRegression from sklearn.preprocessing import StandardScaler from sklearn.metrics import roc_auc_score, roc_curve, precision_recall_curve from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score from sklearn.metrics import confusion_matrix, classification_report import warnings warnings.filterwarnings('ignore') np.random.seed(42) n_samples = 1000 n_features = 50 n_informative = 10 n_redundant = 5 def generate_risk_data(n_samples=1000, n_features=50, neg_pos_ratio=10): n_pos = n_samples // (neg_pos_ratio + 1) n_neg = n_samples - n_pos n_classes = 2 X = np.random.randn(n_samples, n_features) true_weights = np.zeros(n_features) true_weights[:5] = [1.5, -1.2, 0.8, -0.6, 0.4] true_weights[5:10] = [0.3, -0.3, 0.2, -0.2, 0.1] linear_pred = X.dot(true_weights) + np.random.randn(n_samples) * 0.5 prob = 1 / (1 + np.exp(-linear_pred)) y = (prob > np.percentile(prob, 100 * n_pos / n_samples)).astype(int) return X, y X, y = generate_risk_data(n_samples=1000, n_features=50, neg_pos_ratio=10) X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.3, random_state=42, stratify=y ) X_train, X_val, y_train, y_val = train_test_split( X_train, y_train, test_size=0.2, random_state=42, stratify=y_train ) scaler = StandardScaler() X_train_scaled = scaler.fit_transform(X_train) X_val_scaled = scaler.transform(X_val) X_test_scaled = scaler.transform(X_test) print(f"训练集: {X_train_scaled.shape[0]} 样本, 正例比例: {y_train.mean():.2%}") print(f"验证集: {X_val_scaled.shape[0]} 样本, 正例比例: {y_val.mean():.2%}") print(f"测试集: {X_test_scaled.shape[0]} 样本, 正例比例: {y_test.mean():.2%}")

下面定义早停算法的实现。

class EarlyStopping: def __init__(self, patience=20, min_delta=1e-4, restore_best_weights=True): self.patience = patience self.min_delta = min_delta self.restore_best_weights = restore_best_weights self.best_weights = None self.best_score = None self.counter = 0 self.early_stop = False def __call__(self, val_score, model_weights): if self.best_score is None: self.best_score = val_score self.best_weights = model_weights.copy() return False if val_score < self.best_score + self.min_delta: self.counter += 1 if self.counter >= self.patience: self.early_stop = True return True else: self.best_score = val_score self.best_weights = model_weights.copy() self.counter = 0 return False def get_best_weights(self): return self.best_weights

实现带早停的自定义逻辑回归训练过程。

def train_with_early_stopping(X_train, y_train, X_val, y_val, C=1.0, penalty='l2', lr=0.1, max_epochs=1000, patience=30): n_samples, n_features = X_train.shape w = np.zeros(n_features) b = 0.0 lambda_reg = 1.0 / C if C > 0 else 0.0 early_stopping = EarlyStopping(patience=patience) train_losses = [] val_losses = [] val_aucs = [] for epoch in range(max_epochs): linear_pred = X_train.dot(w) + b preds = 1 / (1 + np.exp(-np.clip(linear_pred, -100, 100))) error = preds - y_train dw = (X_train.T.dot(error)) / n_samples db = np.mean(error) if penalty == 'l2': dw += lambda_reg * w elif penalty == 'l1': dw += lambda_reg * np.sign(w) w -= lr * dw b -= lr * db val_linear = X_val.dot(w) + b val_preds = 1 / (1 + np.exp(-np.clip(val_linear, -100, 100))) val_loss = -np.mean(y_val * np.log(val_preds + 1e-15) + (1 - y_val) * np.log(1 - val_preds + 1e-15)) if penalty == 'l2': val_loss += 0.5 * lambda_reg * np.sum(w ** 2) elif penalty == 'l1': val_loss += lambda_reg * np.sum(np.abs(w)) val_auc = roc_auc_score(y_val, val_preds) train_loss = -np.mean(y_train * np.log(preds + 1e-15) + (1 - y_train) * np.log(1 - preds + 1e-15)) if penalty == 'l2': train_loss += 0.5 * lambda_reg * np.sum(w ** 2) elif penalty == 'l1': train_loss += lambda_reg * np.sum(np.abs(w)) train_losses.append(train_loss) val_losses.append(val_loss) val_aucs.append(val_auc) if early_stopping(val_auc, np.concatenate([w, [b]])): best_params = early_stopping.get_best_weights() w = best_params[:-1] b = best_params[-1] break return w, b, train_losses, val_losses, val_aucs, epoch + 1

现在我们来对比不同正则化策略的效果。

print("\n>>> 训练无正则化逻辑回归") w_no_reg, b_no_reg, tl_no, vl_no, va_no, epochs_no = train_with_early_stopping( X_train_scaled, y_train, X_val_scaled, y_val, C=1e10, penalty='l2', lr=0.1, patience=50 ) val_preds_no = 1 / (1 + np.exp(-np.clip(X_val_scaled.dot(w_no_reg) + b_no_reg, -100, 100))) test_preds_no = 1 / (1 + np.exp(-np.clip(X_test_scaled.dot(w_no_reg) + b_no_reg, -100, 100))) print(f"训练轮数: {epochs_no}") print(f"验证AUC: {roc_auc_score(y_val, val_preds_no):.4f}") print(f"测试AUC: {roc_auc_score(y_test, test_preds_no):.4f}") print(f"权重范数: {np.linalg.norm(w_no_reg):.4f}") print(f"非零权重数: {np.sum(np.abs(w_no_reg) > 1e-6)}") print("\n>>> 训练L2正则化逻辑回归") w_l2, b_l2, tl_l2, vl_l2, va_l2, epochs_l2 = train_with_early_stopping( X_train_scaled, y_train, X_val_scaled, y_val, C=0.1, penalty='l2', lr=0.1, patience=30 ) val_preds_l2 = 1 / (1 + np.exp(-np.clip(X_val_scaled.dot(w_l2) + b_l2, -100, 100))) test_preds_l2 = 1 / (1 + np.exp(-np.clip(X_test_scaled.dot(w_l2) + b_l2, -100, 100))) print(f"训练轮数: {epochs_l2}") print(f"验证AUC: {roc_auc_score(y_val, val_preds_l2):.4f}") print(f"测试AUC: {roc_auc_score(y_test, test_preds_l2):.4f}") print(f"权重范数: {np.linalg.norm(w_l2):.4f}") print(f"非零权重数: {np.sum(np.abs(w_l2) > 1e-6)}") print("\n>>> 训练L1正则化逻辑回归") w_l1, b_l1, tl_l1, vl_l1, va_l1, epochs_l1 = train_with_early_stopping( X_train_scaled, y_train, X_val_scaled, y_val, C=0.05, penalty='l1', lr=0.01, patience=30 ) val_preds_l1 = 1 / (1 + np.exp(-np.clip(X_val_scaled.dot(w_l1) + b_l1, -100, 100))) test_preds_l1 = 1 / (1 + np.exp(-np.clip(X_test_scaled.dot(w_l1) + b_l1, -100, 100))) print(f"训练轮数: {epochs_l1}") print(f"验证AUC: {roc_auc_score(y_val, val_preds_l1):.4f}") print(f"测试AUC: {roc_auc_score(y_test, test_preds_l1):.4f}") print(f"权重范数: {np.linalg.norm(w_l1):.4f}") print(f"非零权重数: {np.sum(np.abs(w_l1) > 1e-6)}")

绘制早停过程的训练曲线。

plt.figure(figsize=(14, 5)) plt.subplot(1, 2, 1) plt.plot(tl_l2, label='训练损失', alpha=0.8) plt.plot(vl_l2, label='验证损失', alpha=0.8) plt.axvline(x=epochs_l2, color='r', linestyle='--', alpha=0.5, label=f'早停点 ({epochs_l2})') plt.xlabel('迭代轮次') plt.ylabel('损失') plt.title('L2正则化 + 早停训练曲线') plt.legend() plt.grid(True, alpha=0.3) plt.subplot(1, 2, 2) plt.plot(va_l2, label='验证AUC', color='g', alpha=0.8) plt.axvline(x=epochs_l2, color='r', linestyle='--', alpha=0.5, label=f'早停点 ({epochs_l2})') plt.xlabel('迭代轮次') plt.ylabel('AUC') plt.title('验证集AUC变化') plt.legend() plt.grid(True, alpha=0.3) plt.tight_layout() plt.show()

使用sklearn的LogisticRegression进行更系统的对比。

models = { '无正则化 (C=1e10)': LogisticRegression(C=1e10, penalty='l2', solver='lbfgs', max_iter=5000, random_state=42), '弱L2正则化 (C=10)': LogisticRegression(C=10, penalty='l2', solver='lbfgs', max_iter=5000, random_state=42), '中L2正则化 (C=0.1)': LogisticRegression(C=0.1, penalty='l2', solver='lbfgs', max_iter=5000, random_state=42), '强L2正则化 (C=0.01)': LogisticRegression(C=0.01, penalty='l2', solver='lbfgs', max_iter=5000, random_state=42), 'L1正则化 (C=0.05)': LogisticRegression(C=0.05, penalty='l1', solver='saga', max_iter=5000, random_state=42), '弹性网络 (C=0.1)': LogisticRegression(C=0.1, penalty='elasticnet', solver='saga', l1_ratio=0.5, max_iter=5000, random_state=42), } results = [] for name, model in models.items(): model.set_params(class_weight='balanced') model.fit(X_train_scaled, y_train) train_pred = model.predict_proba(X_train_scaled)[:, 1] test_pred = model.predict_proba(X_test_scaled)[:, 1] train_auc = roc_auc_score(y_train, train_pred) test_auc = roc_auc_score(y_test, test_pred) n_features_used = np.sum(np.abs(model.coef_[0]) > 1e-6) coef_norm = np.linalg.norm(model.coef_[0]) results.append({ '模型': name, '训练AUC': f"{train_auc:.4f}", '测试AUC': f"{test_auc:.4f}", '过拟合差距': f"{train_auc - test_auc:.4f}", '非零权重数': n_features_used, '权重范数': f"{coef_norm:.4f}" }) results_df = pd.DataFrame(results) print("\n>>> 不同正则化策略对比") print(results_df.to_string(index=False))

通过网格搜索找到最佳正则化参数。

param_grid = { 'C': [0.001, 0.01, 0.05, 0.1, 0.5, 1.0, 10, 100], 'penalty': ['l1', 'l2'], 'solver': ['saga'] } grid_search = GridSearchCV( LogisticRegression(class_weight='balanced', max_iter=5000, random_state=42), param_grid=param_grid, cv=5, scoring='roc_auc', n_jobs=-1 ) grid_search.fit(X_train_scaled, y_train) print(f"\n最佳参数: {grid_search.best_params_}") print(f"最佳交叉验证AUC: {grid_search.best_score_:.4f}") best_lr = grid_search.best_estimator_ best_test_pred = best_lr.predict_proba(X_test_scaled)[:, 1] best_test_auc = roc_auc_score(y_test, best_test_pred) print(f"最佳模型测试AUC: {best_test_auc:.4f}") best_coef = best_lr.coef_[0] print(f"非零特征数: {np.sum(np.abs(best_coef) > 1e-6)} / {len(best_coef)}")

对最佳模型进行详细的性能评估。

y_test_pred_binary = (best_lr.predict_proba(X_test_scaled)[:, 1] > 0.5).astype(int) print("\n>>> 最佳模型分类报告") print(classification_report(y_test, y_test_pred_binary, target_names=['正常', '违约'])) fpr, tpr, thresholds = roc_curve(y_test, best_lr.predict_proba(X_test_scaled)[:, 1]) ks_statistic = max(tpr - fpr) ks_threshold = thresholds[np.argmax(tpr - fpr)] print(f"\nKS统计量: {ks_statistic:.4f}") print(f"KS最佳阈值: {ks_threshold:.4f}") plt.figure(figsize=(12, 5)) plt.subplot(1, 2, 1) plt.plot(fpr, tpr, 'b-', linewidth=2, label=f'ROC曲线 (AUC = {best_test_auc:.4f})') plt.plot([0, 1], [0, 1], 'r--', alpha=0.7) plt.xlabel('假正率') plt.ylabel('真正率') plt.title('ROC曲线') plt.legend() plt.grid(True, alpha=0.3) plt.subplot(1, 2, 2) plt.plot(thresholds, tpr, 'g-', label='真正率', linewidth=2) plt.plot(thresholds, fpr, 'r-', label='假正率', linewidth=2) plt.plot(thresholds, tpr - fpr, 'b-', label='KS曲线', linewidth=2) plt.axvline(x=ks_threshold, color='k', linestyle='--', alpha=0.5, label=f'最佳阈值={ks_threshold:.3f}') plt.xlabel('阈值') plt.ylabel('比率') plt.title('KS曲线') plt.legend() plt.grid(True, alpha=0.3) plt.tight_layout() plt.show()

分析特征权重分布，检查模型的可解释性。

feature_importance = pd.DataFrame({ '特征': [f'Feature_{i}' for i in range(n_features)], '权重': best_lr.coef_[0] }) feature_importance['权重绝对值'] = feature_importance['权重'].abs() feature_importance = feature_importance.sort_values('权重绝对值', ascending=False) print("\n>>> 特征重要性Top 20") print(feature_importance.head(20).to_string(index=False)) non_zero_features = feature_importance[feature_importance['权重绝对值'] > 1e-6] print(f"\n非零权重特征数: {len(non_zero_features)}") plt.figure(figsize=(10, 8)) top_features = feature_importance.head(15) colors = ['red' if w < 0 else 'green' for w in top_features['权重']] plt.barh(range(len(top_features)), top_features['权重'], color=colors, alpha=0.7) plt.yticks(range(len(top_features)), top_features['特征']) plt.xlabel('权重值') plt.title('Top 15 特征权重（红色=负向, 绿色=正向）') plt.axvline(x=0, color='black', linestyle='-', linewidth=0.5) plt.grid(True, alpha=0.3, axis='x') plt.show()

七、风控建模的评估指标

风控模型的评估与传统分类任务有所不同，需要关注特定的业务指标。

7.1 AUC与KS

AUC衡量模型对正负样本的排序能力，即违约客户的风险评分是否系统地高于正常客户。在风控领域，AUC通常在0.7以上才被认为有实用价值。

KS统计量衡量模型区分正负样本的最大能力，定义为真正率与假正率之差的最大值。风控模型的KS通常在0.3到0.6之间，超过0.7可能存在过拟合风险。

7.2 混淆矩阵与业务成本

在风控场景中，不同类型的错误带来的成本不同。将违约客户误判为正常客户（假负）会导致信贷损失；将正常客户误判为违约客户（假正）会导致业务流失。

因此，风控模型的评估应当在业务约束下进行。通过设置不同的决策阈值，可以在精确率和召回率之间进行权衡，找到最优的业务平衡点。

指标	定义	风控含义
精确率	TP / (TP + FP)	被拒绝客户中实际违约的比例
召回率	TP / (TP + FN)	违约客户被正确识别的比例
特异度	TN / (TN + FP)	正常客户被正确放行的比例
提升度	模型捕获率 / 随机捕获率	模型相对于随机决策的效率提升

7.3 评分卡转换

风控模型通常将逻辑回归的预测概率转换为整数评分，即评分卡。评分卡转换公式为：

$$
Score = Offset + Factor \times \log(odds)
$$

其中 $odds = p/(1-p)$ 是违约与正常赔率，Offset 和 Factor 通过预设的基准评分和翻倍赔率来求解。评分卡使得模型的输出更加直观，便于业务人员理解和应用。

八、模型部署与监控

风控模型上线后需要持续监控其稳定性。

8.1 群体稳定性指标

群体稳定性指标（PSI）用于监控模型评分分布的稳定性。PSI超过0.25时通常认为模型发生了显著漂移，需要重新训练。

对于逻辑回归模型，还可以监控单个特征的稳定性，通过特征权重和特征分布的乘积变化来识别模型失效的原因。

8.2 模型衰减与重训练

风控模型会随时间衰减，主要原因是客户行为模式和宏观经济环境的变化。建议定期（如每季度）评估模型性能，当AUC下降超过0.05或PSI超过0.25时触发重训练。

重训练时可以保留历史模型的部分知识，例如将旧模型的权重作为先验引入新模型的正则化项中，这种做法称为模型热启动。

九、总结

本文系统阐述了在金融风控场景下，利用L1/L2正则化和早停算法防止逻辑回归过拟合的完整方法论。

L1正则化为逻辑回归带来特征选择能力，在风控建模中可以自动识别与违约最相关的核心特征，简化模型结构，提升可解释性。L2正则化通过权重衰减机制控制参数范数，防止权重膨胀，增强模型对噪声的鲁棒性。早停算法在迭代训练过程中监控验证集性能，在泛化能力达到峰值时终止训练，为逻辑回归提供隐式的正则化效果。

三种技术可以组合使用：先通过L1正则化筛选特征，再使用L2正则化稳定权重，同时配合早停控制迭代次数。在实际风控项目中，这种组合策略已经被验证能够显著提升模型在小样本下的泛化性能。

金融风控建模还需要关注类别不平衡、模型可解释性、业务成本敏感度等特殊要求。正则化强度的选择需要在控制过拟合和保持模型容量之间取得平衡，这通常需要结合业务知识和交叉验证来共同确定。

从更广阔的视角看，防止过拟合不仅仅是一个技术问题，更是一个建模方法论的问题。在数据有限的情况下，对模型复杂度的审慎控制、对泛化性能的持续关注、对业务约束的深入理解，共同构成了稳健风控模型的基础。