参考笔记

这些笔记配套于斯坦福计算机科学课程 CS231n：面向计算机视觉的深度学习。如有问题、疑虑或错误报告，请直接向官方 Git 仓库提交拉取请求。

2024 年春季作业

作业 1：图像分类、k 近邻、SVM、Softmax 与全连接神经网络

作业 2：全连接网络与卷积网络、批归一化、Dropout、PyTorch 与网络可视化

作业 3：网络可视化、使用 RNN 与 Transformer 生成图像描述、生成对抗网络、自监督对比学习

模块 0：预备知识

软件环境配置

Python 与 NumPy 教程（含 Jupyter 和 Colab）

模块 1：神经网络

图像分类：数据驱动方法、k 近邻与数据集划分

L1／L2 距离、超参数搜索、交叉验证

线性分类：支持向量机与 Softmax

参数化方法、偏置合并技巧、合页损失、交叉熵损失、L2 正则化、网页演示

优化：随机梯度下降

优化曲面、局部搜索、学习率、解析梯度与数值梯度

反向传播：原理与直观理解

链式法则的含义、实值计算图、梯度传播规律

神经网络（一）：网络架构

生物神经元模型、激活函数、神经网络架构、表示能力

神经网络（二）：数据处理与损失函数

数据预处理、权重初始化、批归一化、正则化（L2／Dropout）、损失函数

神经网络（三）：训练与评估

梯度检查、基本正确性检查、训练过程监控、动量与 Nesterov 动量、二阶方法、Adagrad／RMSprop、超参数优化、模型集成

综合实例：实现一个简单的神经网络

简单的二维示例数据

模块 2：卷积神经网络

卷积神经网络：网络架构、卷积层与池化层

网络层、空间排列、层的组合与尺寸设计、AlexNet／ZFNet／VGGNet 实例、计算与内存开销

理解与可视化卷积神经网络

t-SNE 嵌入、反卷积网络、输入数据梯度、对抗性误判、与人类识别表现的比较

迁移学习与卷积神经网络微调

学生撰写的文章

从课程项目到学术论文发表 循环神经网络

来源：斯坦福大学 CS231n · 2025 年春季 · MIT 许可