如何从零搞懂神经网络：“从零到英雄”课程完整指南
【免费下载链接】nn-zero-to-heroNeural Networks: Zero to Hero项目地址: https://gitcode.com/GitHub_Trending/nn/nn-zero-to-hero
盯着反向传播公式，却写不出一行训练代码，是很多人学深度学习时最先撞上的墙。开源课程 Neural Networks: Zero to Hero 就是为这个痛点做的。它从最简单的标量网络讲起，一步步带你亲手写代码、训练神经网络，每一步都配可运行的笔记本。
项目速览
- 形态：一套 Jupyter Notebook 课程，配套 YouTube 视频边讲边写
- 维护者：Andrej Karpathy，MIT 许可，可免费使用
- 核心内容：micrograd 和 makemore 两大系列，覆盖反向传播原理到语言模型实战
- 技术栈：Python + PyTorch + Jupyter Notebook
- 更新状态：README 标注 Ongoing，新讲座持续添加，仓库内已收录前 6 讲笔记本
核心功能拆解
Micrograd：用几十行代码讲透反向传播
第一讲用纯 Python 构建一个最小的自动求导引擎 micrograd，反向传播和网络训练的每一步都是手工实现。前置要求只有基础 Python 和高中学过的微积分的模糊记忆。适合想搞懂反向传播"为什么这么算"、而不只是想会调用的人。笔记本在 lectures/micrograd/，分上下两篇。
Makemore：五步训练一个字符级语言模型
第二系列从最朴素的二元组模型出发，依次升级出多层感知机、BatchNorm、手动反向传播，最后搭出接近 WaveNet 的卷积结构。顺带覆盖真正用得上的机器学习基本功：学习率调整、训练/验证/测试集划分、过拟合判断、网络健康度诊断。适合想看语言模型到底怎么被训练出来的人，笔记本在 lectures/makemore/。
视频加笔记本：边看边练
每个概念都配两样东西：视频里的口头讲解，和能直接运行的笔记本。每讲的练习题放在视频描述里，第四讲作者还专门建议先自己做练习、卡住再暂停视频看答案。视频负责讲明白，笔记本负责练熟，两者是配套的。
快速上手
- 克隆仓库：
git clone https://gitcode.com/GitHub_Trending/nn/nn-zero-to-hero - 在 Jupyter 里打开 lectures/micrograd/ 的第一个笔记本跑起来
- 按顺序学：先 micrograd，再 makemore 五个部分，每讲做完对应练习再进下一讲
容易踩的坑
⚠️
- 训练深网络 loss 不降甚至爆炸 → 前向激活、反向梯度的尺度出了问题 → 跟第四讲学 BatchNorm，学会看激活和梯度的统计分布
- 手动反向传播练习卡死 → 第四讲本来就是练习课，设计上是先动手、别光看 → 自己推完每一步，卡住再暂停视频对照答案
- CNN 部分张量形状对不上 → 作者自己说开发过程就是读文档加记形状 → 写代码时把每层张量的 shape 手写在旁边
技术栈
- Python：主要语言
- PyTorch：张量运算、自动求导、torch.nn 模块
- Jupyter Notebook：交互式学习环境
- 高中微积分：micrograd 推导反向传播的基础
跑完这六讲，训练循环、MLP、卷积结构都会是你自己写出来的。克隆仓库后，从 micrograd 第一篇笔记本开始就行。
【免费下载链接】nn-zero-to-heroNeural Networks: Zero to Hero项目地址: https://gitcode.com/GitHub_Trending/nn/nn-zero-to-hero
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
