1. 从一道英伟达暑期实习笔试题说起
英伟达的暑期实习笔试，在圈子里一直有点“传说”的味道。它不像某些大厂那样堆一堆八股文选择题，也不像纯算法岗那样上来就是三道LeetCode。它的题目往往介于硬件体系结构、并行计算思维、深度学习基础三者之间，考察的是你对“GPU到底怎么干活”这件事有没有真正的直觉。我当年第一次做样题的时候，最大的感受是：题目本身不难，但如果你只会调torch.nn.Conv2d，大概率会在某些题上卡住。
这篇内容适合谁看？如果你是准备投英伟达实习的在校生，或者对GPU计算、深度学习底层感兴趣但一直没找到切入点的开发者，再或者你只是好奇“大厂笔试到底考什么”的旁观者，都能从这里拿到一些实在的东西。我会围绕英伟达暑期实习笔试样题这个核心，把题目背后的知识点、解题思路、以及我实际踩过的坑，一条一条拆开讲。不是单纯给答案，而是让你看完之后，遇到同类问题能自己推出来。
需要提前说明的是，英伟达笔试的样题每年都会有调整，但核心考察方向相对稳定。我整理的是基于公开样题和历年反馈的常见题型，具体题目细节以官方为准。下面进入正题。
2. 笔试整体设计与考察思路拆解
2.1 为什么英伟达笔试不爱考纯算法题
很多人准备英伟达笔试的时候，第一反应是去刷LeetCode。刷当然有用，但如果你只刷算法题，可能会偏离方向。英伟达的笔试样题里，纯算法题的占比并不高，更多是结合GPU架构的计算题、并行逻辑题、以及深度学习基础概念题。原因很简单：英伟达招实习生，不是招一个只会写Python的人，而是招一个能理解“代码在GPU上怎么跑”的人。
我拿一道典型样题举例：给出一段CUDA核函数的伪代码，问在某个block和grid配置下，有多少个线程会执行到某一行。这种题如果你没接触过CUDA的线程层次结构，根本无从下手。但如果你理解blockIdx、threadIdx、blockDim这几个变量的含义，就是一道小学算术题。英伟达想筛的，就是这种“有没有并行计算基本概念”的人。
2.2 样题覆盖的三大知识板块
从我能接触到的样题和反馈来看，英伟达暑期实习笔试大致覆盖三个板块：
- GPU体系结构与并行计算基础：包括线程层次、内存层次、warp调度、同步机制等。这部分是英伟达的“看家本领”，几乎每套题都会涉及。
- 深度学习基础：卷积神经网络的基本概念、反向传播的简单推导、常见层的计算量估算等。注意，这里不要求你手推复杂的梯度，但你要知道卷积层输出尺寸怎么算、参数量怎么估。
- 编程与逻辑推理：少量C++/Python语法题，以及一些逻辑推理题。这部分相对常规，但会有一些和GPU场景结合的变体。
这三个板块的权重在不同年份会有浮动，但整体上GPU体系结构相关的题目占比最高，深度学习次之，纯编程题最少。
2.3 样题难度分布与时间分配建议
样题的难度分布大致是：基础题占60%，中等题占30%，难题占10%。基础题就是那种你只要学过相关课程就能做出来的，中等题需要你稍微转个弯，难题往往是多个知识点结合。
时间分配上，我个人的建议是：拿到卷子先扫一遍，把明显会做的题快速拿下，不要在一道题上死磕超过5分钟。英伟达的笔试题量不算小，很多人做不完不是因为不会，而是因为在前面的难题上耗太久。我当年就吃过这个亏，一道warp调度的题卡了十几分钟，后面几道简单的深度学习计算题反而没时间做。
提示：笔试前一定要确认自己的计算器能用，很多GPU相关的计算题涉及2的幂次运算，手算容易出错。
3. 核心细节解析与实操要点
3.1 GPU线程层次结构：block、grid、warp到底怎么区分
这是英伟达笔试里出现频率最高的知识点，没有之一。很多样题都会围绕线程层次出题。我用一个生活化的类比来解释：把GPU想象成一栋大楼，grid是整栋楼，block是楼层，thread是房间。你写CUDA代码的时候，需要告诉GPU这栋楼有多少层（gridDim），每层有多少个房间（blockDim），然后每个线程通过blockIdx.x知道自己在哪层，通过threadIdx.x知道自己在这个层的哪个房间。
但这里有个容易混淆的点：warp不是硬件层次里的“第四层”，而是线程调度的基本单位。一个warp固定包含32个线程，这是硬件决定的。同一个warp里的32个线程必须执行相同的指令，如果它们走了不同的分支，就会发生warp divergence，导致串行执行。样题里经常考这个：给一段有if-else的核函数，问某个warp会执行几次分支。
我实测下来，很多人在这一块出错，是因为把blockDim和gridDim搞混了。记住：blockDim是每个block里的线程数，gridDim是block的数量。总线程数 =gridDim.x * blockDim.x（一维情况下）。
3.2 内存层次与访问延迟：为什么全局内存那么慢
GPU的内存层次是另一个高频考点。样题里可能会问：以下哪种内存访问最快？选项通常包括全局内存、共享内存、寄存器、常量内存。答案一般是寄存器 > 共享内存 > 常量内存 > 全局内存（具体顺序在不同架构上略有差异，但寄存器和共享内存永远是最快的）。
为什么全局内存慢？因为它不在GPU芯片上，而在显存里，访问一次要几百个时钟周期。共享内存则在芯片上，访问只要几十个周期。寄存器最快，但数量有限。样题里可能会给一个场景，让你判断应该把数据放在哪里。比如：如果一个block内的线程需要频繁访问同一块数据，应该放到共享内存里，而不是每次都从全局内存读。
这里有个实操心得：共享内存虽然快，但有bank conflict的问题。如果多个线程同时访问同一个bank的不同地址，就会冲突，导致访问串行化。样题里偶尔会考这个，给你一个共享内存数组的访问模式，问有没有bank conflict。判断方法是看线程访问的地址是否落在同一个bank上。32个bank，每个bank宽度4字节，地址除以4再模32就是bank编号。
3.3 深度学习基础：卷积输出尺寸和参数量估算
深度学习部分的题目，最常考的就是卷积层输出尺寸的计算和参数量的估算。这两个公式必须记牢：
输出尺寸 = (输入尺寸 + 2 * padding - 卷积核尺寸) / 步长 + 1
参数量 = (卷积核高 * 卷积核宽 * 输入通道数 + 1) * 输出通道数
注意那个+1是偏置项。样题里可能会给一个具体的网络结构，让你算某一层的输出尺寸或者总参数量。我见过一道题，给了一个类似VGG的结构，问某个卷积层的参数量是多少。如果你记不住公式，现场推也行，但会浪费时间。
还有一个容易忽略的点：1x1卷积的参数量。很多人觉得1x1卷积没什么用，但它其实在通道数变换上很常用。1x1卷积的参数量 = (1 * 1 * 输入通道数 + 1) * 输出通道数。样题里如果出现1x1卷积，不要慌，套公式就行。
3.4 编程题中的C++与Python语法陷阱
编程题部分，英伟达的样题里偶尔会出现C++的指针、引用、内存管理相关的题目，以及Python的列表推导、生成器、装饰器等。这部分难度不大，但有一些陷阱。比如C++里sizeof一个数组和sizeof一个指针的区别，Python里可变对象作为默认参数的问题。
我印象比较深的一道样题是关于C++的const修饰符：给一段代码，问哪个变量可以被修改。这种题如果你对const的几种用法不熟悉，很容易选错。建议笔试前把C++的const、static、volatile这几个关键字过一遍，Python的*args、**kwargs、闭包也看一下。
注意：英伟达笔试的编程题通常不要求你写出完整可运行的代码，而是选择或填空。所以重点是对语言特性的理解，而不是算法能力。
4. 实操过程与核心环节实现
4.1 一道典型样题的完整推导过程
我拿一道我印象最深的样题来演示完整的推导过程。题目大意是：有一个一维数组，长度为1024，用CUDA核函数进行归约求和。核函数中每个线程负责将两个元素相加，block大小为256，grid大小为2。问第一次核函数执行后，有多少个线程实际参与了计算，结果数组的长度是多少。
第一步，理解线程配置。block大小为256，grid大小为2，总线程数 = 256 * 2 = 512。但数组长度是1024，每个线程处理两个元素，所以512个线程刚好覆盖1024个元素。第一次执行后，每个线程将array[i]和array[i + 512]相加，结果存回array[i]。所以实际参与计算的线程数是512，结果数组的有效长度是512。
第二步，考虑边界条件。如果数组长度不是2的幂次，或者不能整除线程数，就需要加边界判断。这道题里1024能被512整除，所以不需要。但样题里经常会有不能整除的情况，这时候就要用if (i < n)来判断。
第三步，考虑后续的归约步骤。第一次归约后数组长度变成512，第二次变成256，以此类推，直到长度为1。总共需要log2(1024) = 10次归约。但每次归约的线程数减半，所以后续的block和grid配置也要相应调整。
这道题考察的是对归约算法的理解，以及对线程配置的计算能力。如果你能把这道题完整推下来，类似的归约题基本都没问题。
4.2 参数计算题的现场演算记录
再来看一道参数计算题。题目给了一个卷积层：输入特征图尺寸为224x224x3，卷积核尺寸为7x7，输出通道数为64，步长为2，padding为3。问输出特征图的尺寸和这一层的参数量。
先算输出尺寸。套公式：(224 + 2*3 - 7) / 2 + 1 = (224 + 6 - 7) / 2 + 1 = 223 / 2 + 1 = 111.5 + 1。这里出现了小数，说明不能整除。在实际中，这种情况通常向下取整，所以输出尺寸是112x112。但严格来说，如果步长和padding设置不当，可能会出现尺寸不匹配的问题。样题里一般会避免这种情况，但你要知道怎么处理。
再算参数量。参数量 = (7 * 7 * 3 + 1) * 64 = (147 + 1) * 64 = 148 * 64 = 9472。这个计算很简单，但要注意不要漏掉偏置项。我见过有人算成147 * 64 = 9408，少了64个参数。
这道题的关键是公式要记牢，计算要细心。笔试的时候没有IDE帮你算，所以草稿纸上的演算要清晰。
4.3 并行逻辑题的解题框架
并行逻辑题是英伟达笔试里比较有特色的一类。题目通常会描述一个并行场景，然后问某个操作的结果或者某个变量的值。比如：有4个线程，每个线程执行atomicAdd(&counter, 1)，问最终counter的值是多少。答案是4，因为atomicAdd是原子操作，不会出现竞态条件。
但如果题目改成：有4个线程，每个线程执行counter++，问最终counter的值是多少。答案就不确定了，可能是1到4之间的任何值，取决于线程调度。这种题考察的是你对竞态条件和原子操作的理解。
解题框架是：先判断操作是不是原子的，如果不是，再判断有没有同步机制（比如__syncthreads()），如果也没有，那结果就是不确定的。样题里经常用这种题来筛人，因为很多人会想当然地认为结果是4。
提示：遇到并行逻辑题，先问自己三个问题：有没有竞态条件？有没有同步？有没有原子操作？这三个问题的答案决定了最终结果是否确定。
5. 常见问题与排查技巧实录
5.1 笔试中容易卡壳的五个典型场景
根据我和身边人的经验，英伟达笔试中最容易卡壳的场景有五个：
- warp divergence的判断：给一段有分支的代码，问某个warp会执行几次。很多人搞不清楚哪些线程会走哪个分支，导致算错。
- 共享内存bank conflict：给一个访问模式，问有没有bank conflict。需要把地址映射到bank编号，然后看有没有重复。
- 卷积输出尺寸计算：公式记错，或者padding和步长的处理搞反。
- 原子操作与竞态条件：分不清哪些操作是原子的，哪些不是。
- 线程配置与边界条件：grid和block的配置算错，或者忘记加边界判断。
这五个场景对应的知识点，我在前面都讲过。如果你在笔试中遇到类似的题，先冷静下来，把已知条件列清楚，然后一步步推。
5.2 时间不够用时的取舍策略
英伟达笔试的时间通常比较紧，很多人做不完。我的策略是：先做GPU体系结构和深度学习的基础题，再做编程题，最后做逻辑推理题。因为基础题的分最容易拿，编程题需要写代码或者推理，耗时较长，逻辑推理题有时候很绕，性价比最低。
如果时间实在不够，宁可把基础题检查一遍，也不要在一道难题上死磕。我当年就是在一道warp调度的难题上花了太多时间，结果后面几道简单的计算题没做，最后分数差了一点。后来复盘的时候发现，如果当时跳过那道难题，把后面的题做完，分数会高不少。
5.3 常见问题速查表
| 问题类型 | 常见错误 | 正确做法 |
|---|---|---|
| 线程配置计算 | 混淆blockDim和gridDim | 总线程数 = gridDim * blockDim |
| 卷积输出尺寸 | 忘记加padding或搞错步长 | 套公式：(H + 2P - K)/S + 1 |
| 参数量估算 | 漏掉偏置项 | 参数量 = (KKC_in + 1) * C_out |
| warp divergence | 认为所有线程都执行 | 同一warp内分支会串行执行 |
| 原子操作 | 认为普通加法是原子的 | 只有atomicAdd等才是原子的 |
| 共享内存冲突 | 忽略bank编号 | 地址/4 mod 32 = bank编号 |
这张表建议笔试前过一遍，能帮你避开大部分低级错误。
5.4 独家避坑技巧：从出题人视角看问题
最后分享一个我总结的避坑技巧：试着从出题人的视角看问题。英伟达的笔试题，每一道都有明确的考察点。当你看到一道题的时候，先想一下：这道题想考我什么？是线程层次？是内存访问？还是卷积计算？想清楚考察点，解题方向就不会偏。
比如，如果一道题给了你一段CUDA代码，问输出结果，那大概率是考线程配置或者warp divergence。如果一道题给了你一个网络结构，问参数量，那大概率是考卷积计算。如果一道题给了你一个并行场景，问最终值，那大概率是考竞态条件。
这个技巧我在实际笔试中用了很多次，效果很好。它能帮你快速定位知识点，减少犹豫时间。
6. 备考资源与练习建议
6.1 官方文档和公开课怎么用
英伟达的官方文档是备考的第一手资料。特别是CUDA C++ Programming Guide，里面关于线程层次、内存层次、warp调度的章节，建议至少读一遍。不需要全懂，但要把基本概念搞清楚。另外，英伟达的Deep Learning Institute有一些免费的公开课，讲GPU计算和深度学习的结合，质量不错，可以作为补充。
如果你时间有限，优先看CUDA Programming Guide的前几章，以及PyTorch官方文档里关于卷积层参数计算的说明。这两个是笔试的高频考点。
6.2 刷题平台和模拟练习
刷题方面，LeetCode上有一小部分CUDA相关的题目，但不多。更推荐的是找一些公开的GPU计算课程作业，比如Coursera上的并行计算课程，里面的编程作业和英伟达笔试的风格比较接近。另外，GitHub上有一些英伟达笔试的面经和样题整理，可以搜一下，但要注意甄别质量。
模拟练习的时候，建议限时做。给自己定一个和正式笔试差不多的时间，然后模拟真实环境，不查资料，不借助IDE。这样能帮你适应笔试的节奏。
6.3 面试环节的衔接准备
笔试过了之后就是面试。英伟达的面试通常会围绕笔试中做错的题或者你简历上的项目展开。所以笔试结束后，不管过没过，都建议把做错的题重新推一遍，搞清楚错在哪里。面试的时候，面试官可能会问你“这道题你当时为什么选这个”，如果你能说出当时的思路和后来的修正，反而是加分项。
另外，面试里可能会让你现场写一段CUDA代码，或者解释一个GPU相关的概念。所以笔试的知识点不要考完就忘，面试还会用到。
7. 我个人的一些体会
英伟达的暑期实习笔试，说到底考的不是你有多聪明，而是你对GPU计算和深度学习基础有没有扎实的理解。我见过很多算法能力很强的人，因为不熟悉GPU的线程模型，在笔试里栽了跟头。也见过一些基础一般但认真准备了GPU知识的人，顺利通过。
我的建议是：不要只刷算法题，花点时间把CUDA的线程层次、内存层次、warp调度这几个概念搞清楚。这几个概念不仅笔试会考，面试也会问，而且对你以后实际写GPU代码也有帮助。另外，卷积的计算公式一定要记牢，这是送分题，丢了可惜。
最后再分享一个小技巧：笔试前一天，把线程配置的计算、卷积输出尺寸的计算、参数量的计算，各找几道题练一下手。保持手感，比临时抱佛脚看新知识点有用得多。
