|
模式识别与机器学习
Pattern Recognition and Machine Learning
 |
课程编号：U10M11170.04
上课时间：2023年春季
上课人数：99人、学分：2.0
配套语言：Python（推荐）或 Mathlab 或 R
计算机学院
西北工业大学(NPU)
陕西西安长安区东祥路1号，710129
课程电子邮箱: prml_npu@163.com
|
教学人员
 |
张育培，PhD
课程任务：负责教师
西北工业大学，计算机学院
支持团队: 机器与人类学习科学(Machine and People Learning Science, Maple)
研究领域：机器学习、大数据科学与技术、学习科学
个人主页：https://teacher.nwpu.edu.cn/ypzhang.html
联系邮箱: ypzhaang [@] nwpu [DOT] edu [DOT] cn
团队招募：机器学习与学习科学研究团队常年招募高年级本科生工程、毕设项目。
|
 |
TBA
课程任务：李钰心-助教1
研究领域：TBA
联系邮箱: TBA
|
|
TBA
课程任务：曲希然-助教2
研究领域：TBA
联系邮箱: TBA
|
|
TBA
课程任务：伍智广-助教2
研究领域：TBA
联系邮箱: TBA
|
课程资料（内容、阅读、项目、原理）
| 章节主要内容 |
章节阅读延伸资料 |
章节项目与学习原理 |
第一章：课程简介
- 模式识别与机器学习概述
- 模式识别系统
- 机器学习方法分类
- 随机变量及分布
|
Upenn Slides: An Introduction to ML
P. Shevchenko: List of Distributions
UCI iris Dataset: Data Download
|
作业一：概率密度分布学习（5'）
思考：大数定理与中心极限定理
|
第二章：贝叶斯统计决策理论
- 概率类型及贝叶斯法则
- 判别准则
- 正态分布的统计决策
|
Tom Slides: Joint_MLE_MAP
Bayesian Slides: Bayesian_Estimation
|
作业二：最简单的作业（3'）
开放工程一：性别分类（10'）
思考：训练误差和泛化误差
|
第三章：概率密度的参数估计
- 最大似然估计法
- 贝叶斯估计法
- EM算法
- 非参数估计法
|
Columbia University: EM Algorithm
Harvard University: Nonparameter Estimation
|
思考：EM算法与最大最小优化算法
|
第四章：线性分类和回归模型
- 线性判别函数和决策面
- 广义线性判别函数
- 最小平方误差判别
- 线性回归模型
- 脊回归和拉索回归
|
Stanford University: linear-classify
Ridge and Lasso: Regularization
|
作业三：利用贝叶斯理论和最大似然估计
推导最小二乘平方损失函数（3’）
思考：过渡拟合有必要观察到吗？
|
第五章：分类方法介绍
- 最近临分类器
- logistic回归
- 决策树
- 随机森林
- 集成学习
|
Logistic Regression: LR
Ensemble Learning: CMU_EL
NY_EL
Boosting
|
开放工程二：利用至少4种方法（必须包含近邻法、 决策树、logistic回归）预测学生表现（10’）
UCI数据集：学生表现数据
思考：没有免费的午餐
|
第六章：无监督学习介绍
- 聚类任务和度量
- 距离定义
- 原型聚类
- 密度聚类
- 层次聚类
|
row 2, cell 2, cell 1 |
开放工程三：使KMeans和DBSCAN算法进行聚类分析（10’）
MNIST数据集：手写图像数据集
思考：如何选择聚类的簇数量？
|
第七章：支持向量机
- 间隔与支持向量
- 对偶问题
- 核函数
- 软间隔与正则化
- 支持向量回归
- 核方法
|
row 2, cell 2, cell 1 |
row 1, cell 2, cell 2 |
第八章：特征提取与选择
- 特征提取与变换
- 类可分依据
- PCA与LDA
- 特征选择方法
|
row 2, cell 2, cell 1 |
思考：特征变换的基地向量代表什么含义？
|
第九章：神经网络与深度学习
- 神经网络发展历史
- 神经元、感知机与多层网络
- 全局最小与局部最小
- 其他常见神经网络
- 深度学习
|
row 2, cell 2, cell 1 |
row 1, cell 2, cell 2 |
|