机器学习培训：特征工程的核心方法论

一、数据预处理（数据质量提升） 缺失值处理 删除策略：直接剔除缺失率>30%的特征（适用于样本充足场景） 填补策略：均值/中位数填充（连续型数据）、众数填充（类别型数据）、KNN插值（高维数据） 特殊标记：将缺失作为独立特征类别（如 NaN 编码为特定值） 异常值检测 统计方法：σ标准差法（高斯分布）、IQR四分位距法（非对称数据） 处理策略：截断（设置上下限）或直接剔除 标准化与归一化 Z-Score标准化：消除量纲差异，适用于SVM/逻辑回归等基于距离的算法 Min-Max归一化：将数据压缩到[,]，适用于图像/音频等需要固定输入范围的模型 二、特征生成（信息表达能力增强） 特征构造 组合特征：通过业务逻辑构建交叉特征（如用户2025年龄×消费频次） 分箱处理：连续变量离散化（等宽分箱、等频分箱、卡方分箱）提升树模型稳定性 时序特征：提取时间窗口统计量（如天均值、天标准差） 特征转换 非线性变换：对数变换（解决长尾分布）、多项式扩展（捕捉特征间交互） 编码技术： One-Hot编码（低基数类别） Target Encoding（高基数类别，需防止过拟合） 词袋模型/TF-IDF（文本特征向量化） 三、特征优化（信息冗余与噪声消除） 特征选择 过滤法（Filter）： 单变量评估：卡方检验（分类任务）、Pearson相关系数（回归任务） 信息增益/Mutual Information（评估特征与目标相关性） 包裹法（Wrapper）：递归特征消除（RFE）结合模型迭代筛选 嵌入法（Embedded）：L正则化（LASSO）、树模型特征重要性排序 降维技术 线性降维：PCA主成分分析（最大化方差保留）、LDA线性判别（最大化类间差异） 非线性降维：t-SNE/UMAP（高维数据可视化场景） 四、工具与最佳实践 常用工具链 Scikit-learn： StandardScaler / MinMaxScaler （标准化）、 SelectKBest （特征选择） Feature-engine：提供一站式缺失值处理/分箱/编码解决方案 Featuretools：自动化特征生成（基于时间窗口聚合） 验证策略 分层交叉验证：确保特征工程后数据分布一致性 业务一致性检验：通过SHAP值解释特征重要性是否符合领域知识 五、方法论应用场景 场景 重点方法 高维稀疏数据（如文本） TF-IDF向量化 → 卡方检验筛选 → TruncatedSVD降维 时序预测任务 滑动窗口统计 → 傅里叶变换提取周期特征 → 递归特征消除 类别不平衡数据 SMOTE过采样 → 特征分箱 → 嵌入法选择 更多完整案例可参考：中Kaggle竞赛实战解析，的商品销售数据标准化案例，的KNN分类特征选择实验。