机器学习特征选择

在机器学习系统中经常要计算特征的重要性,并找出典型特征,并能可视化呈现出来,

以下的方法是可以被使用到的:

1,相关性分析;(比如线性的使用最为广泛的 Pearson 相关系数等,非线性的比如基于互信息的 MRMR 等)

2,部分依赖图;

3,基于线性模型回归的比如 Lasso回归等的系数非零的item都可以考虑进去;

4,基于树模型的选择;比如常用的 xgb 模型,xgb 模型有FeatureImportance之类的函数支撑;它们在模型里面经常会定义指标 Gini 系数等;

5,基于NN的梯度变化或者attention系数变化来估计,或者 LRP 基于反向传播的 relevance score等,DFS 和 AFS可以参考:https://www.researchgate.net/publication/271329170_Deep_feature_selection_Theory_and_application_to_identify_enhancers_and_promoters。

Views