机器学习面试必备知识点整理

机器学习面试必备知识点整理 一、基础概念

1. 偏差与方差
   • 偏差：模型预测值与真实值的差异，反映模型拟合能力。高偏差导致欠拟合。
   • 方差：模型对训练数据波动的敏感度，高方差导致过拟合。
   • 优化目标：通过正则化、交叉验证等方法平衡偏差与方差。

过拟合与欠拟合 过拟合：模型过度记忆训练数据，泛化能力差。应对策略：简化模型、增加数据、早停、Dropout（神经网络）。

欠拟合：模型未能捕捉数据规律。应对策略：增加特征、复杂化模型、减少正则化。

交叉验证

目的：评估模型泛化能力，常用K折交叉验证（将数据分为K份，轮流用K-1份训练，1份验证）。

二、常用模型原理

1. 线性模型
   • 线性回归：最小化均方误差（MSE）求解权重。
   • 逻辑回归：通过Sigmoid函数输出概率，用于分类。损失函数为交叉熵。

决策树与集成学习 决策树：基于信息增益（ID3）、增益率（C4.5）或基尼指数（CART）分裂节点。 随机森林：通过Bagging减少方差，并行训练多棵树并投票。

GBDT（梯度提升树）：Boosting思想，迭代训练弱树拟合残差。XGBoost引入正则化与二阶导数优化。

SVM（支持向量机）

核心：寻找最大间隔超平面。核函数（如RBF）处理非线性问题。

聚类算法

K-Means：迭代更新簇中心，收敛到局部最优。需预设K值。 DBSCAN：基于密度聚类，可处理不规则形状簇。

三、模型评估与优化

1. 评估指标
   • 分类：准确率、精确率、召回率、F1-score、AUC-ROC曲线。
   • 回归：MSE、RMSE、MAE、R²。

超参数调优 方法：网格搜索、随机搜索、贝叶斯优化。

四、深度学习基础

1. 神经网络结构
   • 前向传播：输入层→隐藏层→输出层。
   • 反向传播：链式法则计算梯度，优化权重。

CNN（卷积神经网络）

特点：卷积层提取局部特征，池化层降维。适用于图像处理。

RNN与LSTM

RNN：处理序列数据，存在梯度消失/爆炸问题。 LSTM：通过门控机制（输入门、遗忘门、输出门）控制长期依赖。

五、实战问题

1. 样本不均衡
   • 对策：过采样（SMOTE）、欠采样、调整类别权重、使用F1-score评估。

特征工程

步骤：缺失值处理（填充/删除）、编码（One-Hot、Label Encoding）、归一化/标准化、特征选择（卡方检验、树模型重要性）。

正则化

L1正则（Lasso）：产生稀疏权重，可用于特征选择。 L2正则（Ridge）：平滑权重分布，降低过拟合风险。

六、其他关键点

• 降维算法：PCA（主成分分析）通过线性变换保留最大方差。
• 生成式模型：朴素贝叶斯基于特征条件独立性假设，适合文本分类。
• 注意力机制：核心是加权求和，使模型聚焦关键信息。