机器学习正则化L1与L2区别解析
机器学习正则化L1与L2区别解析
正则化是机器学习中防止过拟合、提升模型泛化能力的关键技术。L1（Lasso）和L2（Ridge）是最常用的两种正则化方法，但许多新手容易混淆它们的核心区别、适用场景及实际效果。本文通过7个高频问题，从数学原理、参数影响、特征选择到实践技巧，帮你彻底搞懂L1和L2的差异。无论你是准备面试还是调参优化，这份FAQ都能提供具体可操作的答案。
1. L1正则化和L2正则化的数学公式有什么区别？
L1正则化在损失函数中加入权重系数的绝对值之和，即 λ∑|w|；而L2正则化加入的是平方和，即 λ∑w²。λ是控制正则化强度的超参数。举例来说：如果模型有两个权重w1=2和w2=0.5，L1项为 λ(2+0.5)=2.5λ，L2项为 λ(4+0.25)=4.25λ。直观上，L2对较大权重的惩罚更剧烈（平方放大），L1则对所有权重按线性比例惩罚。这也解释了为什么L1更容易产生稀疏解——它会将不重要特征的权重直接压缩到0。
2. 为什么L1正则化能产生稀疏解（特征选择），而L2不能？
核心原因是优化时的解空间形状不同。L1正则化的约束边界是菱形（二维时），L2是圆形。当损失函数的等值线首次接触到约束边界时，L1的菱形顶点（位于坐标轴上）更容易被接触，导致某些权重为0。L2的圆形边界光滑，接触点很少落在轴上，所以权重只会被压缩但不会归零。从梯度角度看，L1的梯度是常数（±λ），即使权重很小也会持续推动其向0移动；L2的梯度是2λw，权重接近0时梯度也趋近0，难以完全归零。因此L1天然适合做特征筛选，L2更适合处理多重共线性。
3. 正则化参数λ设置多大合适？调大或调小会怎样？
λ控制正则化的强度：λ越大，惩罚越重，模型越简单（更可能欠拟合）；λ越小，模型越复杂（更可能过拟合）。实际调参时，建议用交叉验证（如GridSearchCV）在指数范围（如0.001, 0.01, 0.1, 1, 10）内搜索。对于L1，λ过大会将所有特征权重压为0，导致模型仅剩截距项；对于L2，λ过大会让所有权重趋近0但不为0，模型几乎变成常数。一个实用技巧：先对特征做标准化（使权重在同一量级），再调λ，这样正则化效果更稳定。通常从λ=1开始，观察验证集误差变化。
4. L1和L2分别适合什么样的数据场景？
L1（Lasso）适合：特征数量远多于样本数（高维稀疏数据）、需要自动筛选重要特征、解释性要求高（希望模型只保留关键变量）的场景。例如文本分类中的词袋模型、基因表达数据分析。L2（Ridge）适合：特征之间高度相关（多重共线性）、所有特征都有一定作用但希望防止过拟合的场景。例如处理时间序列数据、图像像素特征。一个常见误区：不要认为L2不能做特征选择——它只是不把权重归零，但可以大幅降低不重要特征的权重（近似于软选择）。如果特征间存在强相关性，L2比L1更稳定。
5. 使用L1或L2之前需要对数据做归一化/标准化吗？
必须做！正则化项对权重的大小敏感，如果特征尺度差异大（如年龄0-100 vs 收入0-1000000），尺度大的特征对应的权重会很小，正则化惩罚对它们几乎无效，导致模型偏向尺度小的特征。标准做法：对每个特征进行Z-score标准化（减去均值除以标准差）或Min-Max缩放至[0,1]区间。特别注意：如果使用L1正则化，标准化能避免因为特征尺度不同而错误地“淘汰”某些特征。实际工作中，建议在交叉验证的每一折内分别计算均值和标准差，防止数据泄露。
6. L1和L2可以同时使用吗？Elastic Net是什么？
可以。Elastic Net就是L1和L2的线性组合，损失函数为：原始损失 + λ₁∑|w| + λ₂∑w²。它结合了两者优点：既能做特征选择（L1的稀疏性），又能处理多重共线性（L2的稳定性）。例如当特征数量多于样本数时，L1最多只能选出n个特征（n为样本数），而Elastic Net可以突破这一限制。在sklearn中通过ElasticNet类实现，参数l1_ratio控制L1占比（0为纯L2，1为纯L1）。推荐在特征高度相关或不确定用哪种时，优先尝试Elastic Net，并配合交叉验证调参。
7. 深度学习中的L1/L2正则化和传统机器学习一样吗？
原理完全一致，但实现方式略有不同。在深度学习中，通常通过在优化器的权重衰减（weight decay）参数中设置L2正则化（如PyTorch的optim.SGD(weight_decay=1e-4)）。L1正则化需要手动在损失函数中添加权重绝对值之和。实践中，深度学习更常用L2（权重衰减），因为它训练更稳定；L1虽然能产生稀疏权重，但可能导致梯度消失或训练不稳定。一个技巧：对全连接层可以使用L2，对卷积层或注意力层很少用L1。如果确实需要稀疏性，可以考虑Dropout或结构化剪枝，效果通常优于L1。
总结：L1和L2的核心区别在于惩罚方式——L1产生稀疏解（特征选择），L2平滑权重（防止过拟合）。选择时遵循：需要特征筛选用L1，处理共线性用L2，不确定或特征多时用Elastic Net。无论使用哪种，务必先标准化特征，再通过交叉验证确定λ。记住，正则化不是万能药，它需要与数据清洗、特征工程、模型选择配合使用。希望这篇FAQ能帮你摆脱“一知半解”，在实战中自信地驾驭L1与L2。