/ MachineLearning  

AI算法

一、人工智能学习算法分类
人工智能算法大体上来说可以分类两类：基于统计的机器学习算法(Machine Learning)和深度学习算法(Deep Learning)

总的来说，在sklearn中机器学习算法大概的分类如下：

  1. 纯算法类
  • .回归算法
  • .分类算法
  • .聚类算法
  • 降维算法
  • 概率图模型算法
  • 文本挖掘算法
  • 优化算法
  • 深度学习算法

2.建模方面

  • .模型优化
  • .数据预处理

二、详细算法
1.分类算法

  • .LR (Logistic Regression，逻辑回归又叫逻辑分类)
  • .SVM (Support Vector Machine，支持向量机)
  • .NB (Naive Bayes，朴素贝叶斯)

  • .DT (Decision Tree，决策树)

    • .C4.5
    • .ID3
    • .CART

  • .集成算法

    • .Bagging
    • .Random Forest (随机森林)
    • .GB(梯度提升,Gradient boosting)
    • .GBDT (Gradient Boosting Decision Tree)
    • .AdaBoost
    • .Xgboost
  • .最大熵模型

2.回归算法

  • .LR (Linear Regression，线性回归)
  • .SVR (支持向量机回归)
  • . RR (Ridge Regression，岭回归)

3.聚类算法

  • .Knn
  • .Kmeans 算法
  • .层次聚类
  • .密度聚类

4.降维算法

  • .SGD (随机梯度下降)

5.概率图模型算法

  • .贝叶斯网络
  • .HMM
  • .CRF (条件随机场)

6.文本挖掘算法

  • .模型

    • .LDA (主题生成模型，Latent Dirichlet Allocation)
    • .最大熵模型

  • .关键词提取

    • .tf-idf
    • .bm25
    • .textrank
    • .pagerank
    • .左右熵 :左右熵高的作为关键词
    • .互信息：

  • .词法分析

    • .分词
      – ①HMM (因马尔科夫)
      – ②CRF (条件随机场)
    • .词性标注
    • .命名实体识别

  • .句法分析

    • .句法结构分析
    • .依存句法分析

  • .文本向量化

    • .tf-idf
    • .word2vec
    • .doc2vec
    • .cw2vec

  • .距离计算

    • .欧氏距离
    • .相似度计算
      7.优化算法

  • .正则化

    • .L1正则化
    • .L2正则化
      8.深度学习算法
  • .BP
  • .CNN
  • .DNN
  • .RNN
  • .LSTM

三、建模方面
1.模型优化·

  • .特征选择
  • .梯度下降
  • .交叉验证
  • .参数调优
  • .模型评估：准确率、召回率、F1、AUC、ROC、损失函数
    2.数据预处理
  • .标准化
  • .异常值处理
  • .二值化
  • .缺失值填充： 支持均值、中位数、特定值补差、多重插补