升級版V的內容特色：
1.每個算法模塊按照“原理講解→分析數據→自己動手實現→特征與調參”的順序，“原理加實踐，頂天立地”。
2.拒絕簡單的“調包”——增加3次“機器學習的角度看數學”和3次“Python數據清洗和特征提取”，提升學習深度、降低學習坡度。
3.增加網絡爬蟲的原理和編寫，從獲取數據開始，重視將實踐問題轉換成實際模型的能力，分享工作中的實際案例或Kaggle案例：廣告銷量分析、環境數據異常檢測和分析、數字圖像手寫體識別、Titanic乘客存活率預測、用戶-電影推薦、真實新聞組數據主題分析、中文分詞、股票數據特征分析等。
4.強化矩陣運算、概率論、數理統計的知識運用，掌握機器學習根本。
5.闡述機器學習原理，提供配套源碼和數據；確保“懂推導，會實現”。
6.刪去過于晦澀的公式推導，代之以直觀解釋，增強感性理解。
7.對比不同的特征選擇帶來的預測效果差異。
8.重視項目實踐(如工業實踐、Kaggle等)，重視落地。思考不同算法之間的區別和聯系，提高在實際工作中選擇算法的能力。
9.涉及和講解的部分Python庫有：Numpy、Scipy、matplotlib、Pandas、scikit-learn、XGBoost、libSVM、LDA、Gensim、NLTK、HMMLearn，涉及的其他“小”庫在課程的實踐環節會逐一講解。
課程大綱：包括視頻和課件。
第一課：機器學習的數學基礎1 – 數學分析
- 機器學習的一般方法和橫向比較
- 數學是有用的：以SVD為例
- 機器學習的角度看數學
- 復習數學分析
- 直觀解釋常數e
- 導數/梯度
- 隨機梯度下降
- Taylor展式的落地應用
- gini系數
- 凸函數
- Jensen不等式
- 組合數與信息熵的關系
第二課：機器學習的數學基礎2 – 概率論與貝葉斯先驗 - 概率論基礎
- 古典概型
- 貝葉斯公式
- 先驗分布/后驗分布/共軛分布
- 常見概率分布
- 泊松分布和指數分布的物理意義
- 協方差(矩陣)和相關系數
- 獨立和不相關
- 大數定律和中心極限定理的實踐意義
- 深刻理解最大似然估計MLE和最大后驗估計MAP
- 過擬合的數學原理與解決方案
第三課：機器學習的數學基礎3 – 矩陣和線性代數 - 線性代數在數學科學中的地位
- 馬爾科夫模型
- 矩陣乘法的直觀表達
- 狀態轉移矩陣
- 矩陣和向量組
- 特征向量的思考和實踐計算
- QR分解
- 對稱陣、正交陣、正定陣
- 數據白化及其應用
- 向量對向量求導
- 標量對向量求導
- 標量對矩陣求導
第四課：Python基礎1 – Python及其數學庫 - 解釋器Python2.7與IDE：Anaconda/Pycharm
- Python基礎：列表/元組/字典/類/文件
- Taylor展式的代碼實現
- numpy/scipy/matplotlib/panda的介紹和典型使用
- 多元高斯分布
- 泊松分布、冪律分布
- 典型圖像處理
- 蝴蝶效應
- 分形
第五課：Python基礎2 – 機器學習庫 - scikit-learn的介紹和典型使用
- 損失函數的繪制
- 多種數學曲線
- 多項式擬合
- 快速傅里葉變換FFT
- 奇異值分解SVD
- Soble/Prewitt/Laplacian算子與卷積網絡
- 卷積與(指數)移動平均線
- 股票數據分析
第六課：Python基礎3 – 數據清洗和特征選擇 - 實際生產問題中算法和特征的關系
- 股票數據的特征提取和應用
- 一致性檢驗
- 缺失數據的處理
- 環境數據異常檢測和分析
- 模糊數據查詢和數據校正方法、算法、應用
- 樸素貝葉斯用于鳶尾花數據
- GaussianNB/MultinomialNB/BernoulliNB
- 樸素貝葉斯用于18000+篇/Sogou新聞文本的分類
第七課： 回歸 - 線性回歸
- Logistic/Softmax回歸
- 廣義線性回歸
- L1/L2正則化
- Ridge與LASSO
- Elastic Net
- 梯度下降算法：BGD與SGD
- 特征選擇與過擬合
第八課：Logistic回歸 - Sigmoid函數的直觀解釋
- Softmax回歸的概念源頭
- Logistic/Softmax回歸
- 最大熵模型
- K-L散度
- 損失函數
- Softmax回歸的實現與調參
第九課：回歸實踐 - 機器學習sklearn庫介紹
- 線性回歸代碼實現和調參
- Softmax回歸代碼實現和調參
- Ridge回歸/LASSO/Elastic Net
- Logistic/Softmax回歸
- 廣告投入與銷售額回歸分析
- 鳶尾花數據集的分類
- 交叉驗證
- 數據可視化
第十課：決策樹和隨機森林 - 熵、聯合熵、條件熵、KL散度、互信息
- 最大似然估計與最大熵模型
- ID3、C4.5、CART詳解
- 決策樹的正則化
- 預剪枝和后剪枝
- Bagging
- 隨機森林
- 不平衡數據集的處理
- 利用隨機森林做特征選擇
- 使用隨機森林計算樣本相似度
- 數據異常值檢測
第十一課：隨機森林實踐 - 隨機森林與特征選擇
- 決策樹應用于回歸
- 多標記的決策樹回歸
- 決策樹和隨機森林的可視化
- 葡萄酒數據集的決策樹/隨機森林分類
- 波士頓房價預測
第十二課：提升 - 提升為什么有效
- 梯度提升決策樹GBDT
- XGBoost算法詳解
- Adaboost算法
- 加法模型與指數損失
第十三課：提升實踐 - Adaboost用于蘑菇數據分類
- Adaboost與隨機森林的比較
- XGBoost庫介紹
- Taylor展式與學習算法
- KAGGLE簡介
- 泰坦尼克乘客存活率估計
第十四課：SVM - 線性可分支持向量機
- 軟間隔的改進
- 損失函數的理解
- 核函數的原理和選擇
- SMO算法
- 支持向量回歸SVR
第十五課：SVM實踐 - libSVM代碼庫介紹
- 原始數據和特征提取
- 調用開源庫函數完成SVM
- 葡萄酒數據分類
- 數字圖像的手寫體識別
- SVR用于時間序列曲線預測
- SVM、Logistic回歸、隨機森林三者的橫向比較
第十六課：聚類（上） - 各種相似度度量及其相互關系
- Jaccard相似度和準確率、召回率
- Pearson相關系數與余弦相似度
- K-means與K-Medoids及變種
- AP算法(Sci07)/LPA算法及其應用
第十七課：聚類（下） - 密度聚類DBSCAN/DensityPeak(Sci14)
- DensityPeak(Sci14)
- 譜聚類SC
- 聚類評價AMI/ARI/Silhouette
- LPA算法及其應用
第十八課：聚類實踐 - K-Means++算法原理和實現
- 向量量化VQ及圖像近似
- 并查集的實踐應用
- 密度聚類的代碼實現
- 譜聚類用于圖片分割
第十九課：EM算法 - 最大似然估計
- Jensen不等式
- 樸素理解EM算法
- 精確推導EM算法
- EM算法的深入理解
- 混合高斯分布
- 主題模型pLSA
第二十課：EM算法實踐 - 多元高斯分布的EM實現
- 分類結果的數據可視化
- EM與聚類的比較
- Dirichlet過程EM
- 三維及等高線等圖件的繪制
- 主題模型pLSA與EM算法
第二十一課：主題模型LDA - 貝葉斯學派的模型認識
- 共軛先驗分布
- Dirichlet分布
- Laplace平滑
- Gibbs采樣詳解
第二十二課：LDA實踐 - 網絡爬蟲的原理和代碼實現
- 停止詞和高頻詞
- 動手自己實現LDA
- LDA開源包的使用和過程分析
- Metropolis-Hastings算法
- MCMC
- LDA與word2vec的比較
第二十三課：隱馬爾科夫模型HMM - 概率計算問題
- 前向/后向算法
- HMM的參數學習
- Baum-Welch算法詳解
- Viterbi算法詳解
- 隱馬爾科夫模型的應用優劣比較
第二十四課：HMM實踐 - 動手自己實現HMM用于中文分詞
- 多個語言分詞開源包的使用和過程分析
- 文件數據格式UFT-8、Unicode
- 停止詞和標點符號對分詞的影響
- 前向后向算法計算概率溢出的解決方案
- 發現新詞和分詞效果分析
- 高斯混合模型HMM
- GMM-HMM用于股票數據特征提取
