模型每写一个字，先交出一整排概率，具体写哪个字还得另外挑。挑哪一个，是推理时候解码规则的事，训练管不着，而这一步能把同一份权重变成两副面孔。 先把模型和判定标准摆好 语料和模型都从写 GPT 那篇搬过来，训五百步。判定一…

配参数、数据和算力那篇按算力算了一遍账。算力花完了，训练只是慢下来。显存不一样，超了就直接跑不起来，连慢的机会都没有。这一篇把一次训练步里的显存一项一项拆开数清楚。 一次训练步里，显存被谁占着 我先造一个模型跑两步，把每…

手上只有一张卡，能花的算力就定死了。这份算力能买一个大模型配少量数据，也能买一个小模型配大量数据。哪种买法划算，能算出来，前提是先把这三个量的关系写成式子。 参数量能直接算出来 一个 GPT 的参数分五处：输入嵌入表、位…

训练跑起来之后，能看的东西只有一条曲线。排查训练那篇讲的是曲线不对劲的时候去查什么；曲线本身能读出多少、又有哪几种画法会骗人，是另一回事。 先跑四次 同一个模型、同一份语料生成器，只改学习率、语料量和批量大小，四条曲线长…

从零写 GPT 时用的那份语料是一行代码造出来的，干净、不重复、每句都合法。真实的预训练语料没有这种好事：抓下来的网页里有导航栏、有整页的广告词、有同一篇文章换了个页眉出现十几次。从一堆原始文本到能喂进模型的语料，中间那…

从第一次碰 PyTorch，到把 block 拼完，中间的每个零件都单独跑过。接起来训一个会写句子的模型不难，要说清楚它究竟学会了规则，还是只把语料背了下来，就难了。这两件事能分开测。 语料自己造 语言建模那篇用了一段四…

零件已经全了。嵌入表、多头注意力、位置编码、残差、LayerNorm，前面一样一样都造过。要把它们拼成一个能堆叠的整体，还缺掩码和 FFN。 一条序列能出多少道题 之前把语言建模写成了分类题：给定前面的内容，在词表里挑下…

注意力里没有任何一步用到「谁在谁前面」，讲注意力那篇末尾提过这么一句。这句话能证。 打乱顺序，输出只是跟着换位置 import numpy as np rng = np.random.default_rng(0) def…