-
Week1
【视频课】第1章 统计学习方法概论
理解“本章概要”的5点内容
理解模型过拟合产生的原因以及造成的影响
理解机器学习的评价标准:模型的泛化能力
熟悉极大似然估计和贝叶斯估计基本思想和求解方法
【视频课】第2章 感知机
掌握感知机的模型形式、损失函数及对应的优化问题
掌握随机梯度下降算法原理
理解感知机模型中随机梯度算法的收敛性
【视频课】第3章 k近邻
掌握k近邻算法的原理
理解k近邻算法三要素及模型对应的损失函数
掌握k近邻算法在分类问题上的求解过程
作业:
【推导】推导正态分布均值的极大似然估计和贝叶斯估计
【思考题】思考感知机模型的假设空间?模型复杂度体现在哪里?
【代码复现】自编程/调用sklearn实现一个感知机算例
【思考题】思考k近邻算法的模型复杂度体现在哪里?什么情况下会造成过拟合?
【代码复现】自编程/调用sklearn实现一个k近邻算法算例
作业视频讲解:
极大似然估计和贝叶斯估计作业
感知机算例自编程和sklearn实现
-
Week2
【视频课】第4章 朴素贝叶斯法
理解朴素贝叶斯模型的模型假设
理解后验概率最大化与期望损失最小化的关系
掌握极大似然估计的求解过程
掌握贝叶斯估计的求解过程
【视频课】第5章 决策树
理解信息增益、基尼系数的含义和计算方法
掌握ID3算法
了解决策树剪枝的目的和剪枝准则
掌握CART生成算法
作业:
【代码复现】自编程/调用sklearn实现朴素贝叶斯算法
【证明题】证明CART剪枝算法中,当α确定的情况下,存在唯一的最小子树Ta使得损失函数Cα(T)最小。
【代码复现】调用sklearn实现决策树算例,有余力者进行自编程实现
作业视频讲解:
K近邻算法自编程和sklearn实现
朴素贝叶斯自编程和sklearn实现
-
Week3
【视频课】第6章 逻辑斯谛回归与最大熵模型
掌握二项逻辑斯谛和多项逻辑斯谛模型的模型形式和似然函数
掌握二项逻辑斯谛求解中的梯度下降法
理解最大熵模型的思想,了解拉格朗日对偶性
理解最大熵模型中的改进的迭代尺度算法
【视频课】第7章 支持向量机
理解线性可分支持向量机硬间隔最大化的思想、对应的优化问题、对偶问题和相应算法
理解硬间隔最大化解的存在唯一性
理解线性支持向量机软间隔最大化的思想、对应的优化问题、对偶问题和相应算法
了解核函数在非线性支持向量机中的应用和对应的算法
了解序列最小最优化算法的基本思想
作业:
【代码复现】自编程/调用sklearn实现逻辑斯缔回归模型,尝试改变参数,选择不同算法
【代码复现】手算/自编程/调用sklearn完成习题7.2,求线性可分支持向量机的最大间隔分离超平面和分类决策函数
作业视频讲解:
决策树自编程和sklearn实现
逻辑斯蒂回归自编程和sklearn实现
-
Week4
【视频课】第8章 提升方法
掌握AdaBoost算法的求解过程
理解AdaBoost算法的训练误差
理解AdaBoost算法是前向分步算法的一个特例
掌握回归问题的提升树算法
【视频课】第9章 EM算法及推广
通过例题9.1掌握EM算法E步和M步的求解过程
了解EM算法求解如何用从最大化观测数据似然函数导出
掌握高斯混合模型如何用EM算法估计参数
作业:
【代码复现】自编程/调用sklearn对提升方法例题8.1进行实现
【代码复现】自编程求解两分量高斯混合模型的参数
作业视频讲解:
支持向量机算例自编程和sklearn实现
提升方法算例的自编程和sklearn实现
-
Week5
【视频课】第10章 隐马尔科夫模型
了解隐马尔科夫模型的三要素和三个基本问题
通过例题10.2,掌握隐马尔可夫模型概率计算中的向前算法
理解隐马尔科夫模型参数的非监督学习算法
通过例题10.3,理解维特比算法
【视频课】第11章 条件随机场
理解概率无向图
通过例题11.1和例题11.2,掌握线性链条件随机场模型参数形式和矩阵形式
掌握条件概率和期望的前向-后向算法
掌握改进的迭代尺度法和拟牛顿法优化的目标函数
通过例题11.3,掌握预测的维特比算法
作业:
【代码复现】自编程实现隐马尔可夫模型的前向、后向和维特比算法
【代码复现】自编程实现条件随机场习题11.4
作业视频讲解:
用EM算法自编程估计两分量高斯混合模型的参数
自编程实现隐马尔可夫模型的前向、后向和维特比算法
自编程实现条件随机场习题11.4
-
Week6
【视频课】第13章 无监督学习概论
理解无监督学习基本原理
理解机器学习三要素
熟悉无监督学习方法
【视频课】第14章 聚类方法
理解聚类的基本概念:相似度或距离、类或簇、类与类之间的距离
掌握层次聚类方法
掌握k均值聚类的模型、策略、算法和算法特性
【视频课】第15章 奇异值分解
掌握奇异值分解的定义与性质
掌握奇异值分解的计算步骤
熟悉奇异值分解与矩阵近似
作业:
【推导】推导由类与簇的第一个定义得出其他三个定义
【思考题】思考k均值聚类与高斯混合模型加EM算法的异同点?
【代码复现】自编程实现一个k均值聚类案例
【思考题】思考矩阵的奇异值分解与对称矩阵的对角化的异同点?
【代码复现】自编程矩阵的奇异值分解
作业视频讲解:
几类典型的聚类分析方法(系统聚类法、重心法等)
k均值聚类案例的自编程实现
证明任何一个秩为1的矩阵可写成两个向量的外积形式
-
Week7
【视频课】第16章 主成分分析
理解总体主成分分析的定义与性质
掌握求解总体主成分的基本定理与运用
理解样本主成分分析的定义与性质
掌握相关矩阵的特征值分解算法
掌握数据矩阵的奇异值分解算法
【视频课】第17章 潜在语义分析
理解单向量空间与话题向量空间
掌握潜在语义分析算法-矩阵奇异值分解算法
掌握非负定矩阵分解算法
了解非负定矩阵分解的形式
作业:
【代码复现】自编程实现主成分分析案例
【证明题】证明样本协方差矩阵S是总体协方差矩阵的无偏估计
【代码复现】自编程实现潜在语义分析的奇异值分解法和非负定矩阵分解法
作业视频讲解:
潜在语义分析自编程实现
主成分分析自编程实现
-
Week8
【视频课】第18章 概率潜在语义分析
了解概率潜在语义分析模型的基本想法
掌握概率潜在语义分析模型的生成模型、共线模型
掌握概率潜在语义分析模型的参数和几何解释
掌握概率潜在语义分析运用生成模型学习的EM算法
【视频课】第19章 马尔科夫链蒙特卡罗法
理解蒙特卡罗法的随机抽样、数学期望估计和积分计算步骤
理解马尔科夫链的基本定义、离散状态与连续状态、基本性质
熟悉马尔科夫链蒙特卡罗法的基本想法和实现步骤
掌握Metropolis-Hastings算法基本原理与单分量Metropolis-Hastings算法
熟悉吉布斯抽样基本原理与算法并进行抽样计算
作业:
【证明题】证明如果马尔科夫链是不可约的,且有一个状态是非周期的,则其他所有状态也是非周期的。
【代码复现】自编程实现马尔科夫链,尝试改变参数,选择不同状态转移矩阵
【代码复现】自编程实现习题18.3潜在语义分析
作业视频讲解:
概率潜在语义分析自编程实现
马尔科夫链自编程实现
证明可逆马尔科夫链一定是不可约的
-
Week9
【视频课】第20章 潜在狄利克雷分配
理解狄利克雷分布的定义与共轭先验
掌握潜在狄利克雷分配模型的基本定义、概率图模型
理解潜在狄利克雷分配模型中随机变量序列的可交换性
熟悉LDA吉布斯抽样算法的基本想法、主要部分和后处理
理解LDA的变分推理过程
掌握LDA的变分EM算法的基本结构与推导步骤
作业:
【思考题】LDA的吉布斯抽样算法、变分EM算法中利用到狄利克雷分布的部分是哪些?
【证明题】推导狄利克雷分布数学期望公式
【代码复现】自编程针对17.2.2文本案例,使用LDA模型进行话题分析
作业视频讲解:
LDA模型话题分析自编程实现
LDA的吉布斯抽样算法的变分EM算法的Python实现
-
Week10
【视频课】第21章 PageRank算法
理解有向图和随机游走模型的基本想法
理解PageRank的基本定义和一般定义
掌握PageRank的计算-迭代算法、幂法和代数算法
【视频课】第22章 无监督学习方法总结
熟悉各无监督学习方法的关系和特点
熟悉基础机器学习方法
熟悉话题模型之间的关系和特点
作业:
【证明题】假设方阵A是随机矩阵,即其每个元素非负,每列元素之和为1,证明A的k次方仍是随机矩阵,其中k是自然数
【代码复现】自编程/调用Python验证习题21.2,以不同的初始分布向量进行迭代,仍得到同样的极限向量R
【证明题】PageRank 一般定义中的马尔科夫链具有平稳分布
作业视频讲解:
证明随机矩阵的最大特征值为1
PageRank算法自编程和Python实现