本課程特點是從數學層面推導最經典的機器學習算法，以及每種算法的示例和代碼實現（Python）、如何做算法的參數調試、機器學習算法的應用場景介紹等。
【課程內容】
數學基礎1 – 數學分析
機器學習的角度看數學
復習數學分析
直觀解釋常數e
導數/梯度與SGD
Taylor展式
凸函數
概率論基礎
古典概型
貝葉斯公式
常見概率分布
數學基礎2 – 數理統計與參數估計
統計量
期望/方差/偏度/峰度
協方差(矩陣)和相關系數
獨立和不相關
大數定律
中心極限定理
中心矩/原點矩/矩估計
深刻理解最大似然估計
過擬合的數學原理
偏差方差二難
數學基礎3 – 矩陣和線性代數
線性代數是有用的：以SVD為例
馬爾科夫模型和矩陣乘法、狀態轉移矩陣
矩陣和向量組
特征值和特征向量
對稱陣、正交陣、正定陣
數據白化及其應用
向量對向量求導
標量對向量求導
標量對矩陣求導
數學基礎4 – 凸優化
凸集的嚴格數學表達
凸集保凸運算
分割超平面/支撐超平面
凸函數/上境圖
Jensen不等式
Fenchel不等式
K-L散度
凸優化
共軛函數和對偶函數
鞍點解釋
用對偶方法求解最小二乘問題
強對偶KKT條件
Python基礎及其數學庫的使用
解釋器Python2.7與IDE：Anaconda/Pycharm
Python基礎：列表/元組/字典/類/文件
numpy/scipy/matplotlib/panda的介紹和典型使用
典型圖像處理
Python基礎及其機器學習庫的使用
scikit-learn的介紹和典型使用
損失函數的繪制
多種數學曲線
多項式擬合
股票數據分析、卷積、(指數)移動平均線
回歸
線性回歸
高斯分布
Logistic回歸
最大似然估計
梯度下降算法：BGD與SGD
特征選擇與過擬合
回歸實踐
機器學習sklearn庫介紹
Ridge回歸、LASSO
Logistic/Softmax回歸
回歸代碼實現和調參
交叉驗證
數據可視化
決策樹和隨機森林
熵、聯合熵、條件熵、KL散度、互信息
最大似然估計與最大熵模型
ID3、C4.5、CART詳解
決策樹的評價
預剪枝和后剪枝
隨機森林
隨機森林實踐
手寫隨機森林實踐
調用開源庫函數完成隨機森林
數據結構的綜合使用
gini系數
提升
提升為什么有效
Adaboost算法
加法模型與指數損失
梯度提升決策樹GBDT
自己動手實現GBDT
XGBoost庫介紹
Taylor展式與學習算法
KAGGLE簡介
泰坦尼克乘客存活率估計
線性可分支持向量機
軟間隔的改進
損失函數的理解
核函數的原理和選擇
SMO算法
支持向量回歸SVR
SVM實踐
libSVM代碼庫介紹
原始數據和特征提取
調用開源庫函數完成SVM
SVR用于時間序列曲線預測
SVM、Logistic回歸、隨機森林三者的橫向比較
聚類
各種相似度度量及其相互關系
Jaccard相似度和準確率、召回率
Pearson相關系數與余弦相似度
K-means與K-Medoids及變種
AP算法(Sci07)/LPA算法及其應用
密度聚類DBSCAN/DensityPeak(Sci14)
譜聚類SC
聚類評價和結果指標
聚類實踐
K-Means++算法原理和實現
向量量化VQ及圖像近似
并查集的實踐應用
密度聚類的代碼實現
譜聚類用于圖片分割
EM算法
最大似然估計
Jensen不等式
樸素理解EM算法
精確推導EM算法
EM算法的深入理解
混合高斯分布
主題模型pLSA
EM算法實踐
多元高斯分布的EM實現
分類結果的數據可視化
EM與聚類的比較
Dirichlet過程EM
三維及等高線等圖件的繪制
主題模型pLSA與EM算法
貝葉斯網絡
樸素貝葉斯
貝葉斯網絡的表達
條件概率表參數個數分析
馬爾科夫模型
條件獨立的三種類型
混合(離散+連續)網絡：線性高斯模型
Chow-Liu算法：最大權生成樹MSWT
樸素貝葉斯實踐
樸素貝葉斯用于鳶尾花數據
樸素貝葉斯用于路透社新聞文本分類
主題模型LDA
貝葉斯學派的模型認識
共軛先驗分布
Dirichlet分布
Laplace平滑
Gibbs采樣詳解
LDA實踐
網絡爬蟲的原理和代碼實現
停止詞和高頻詞
動手自己實現LDA
LDA開源包的使用和過程分析
Metropolis-Hastings算法
LDA與word2vec的比較
隱馬爾科夫模型HMM
概率計算問題
前向/后向算法
HMM的參數學習
Baum-Welch算法詳解
Viterbi算法詳解
HMM實踐
動手自己實現HMM用于中文分詞
多個語言分詞開源包的使用和過程分析
文件數據格式UFT-8、Unicode
停止詞和標點符號對分詞的影響
前向后向算法計算概率溢出的解決方案
發現新詞和分詞效果分析
高斯混合模型HMM
GMM-HMM用于股票數據特征提取
