数据并行解决的是一批数据算得慢，每张卡上放的还是整个模型。这回是模型本身就放不进一张卡。前面把显存一项项数过。参数、梯度、优化器状态加起来超过卡的容量时，数据并行帮不上忙，得把模型本身切开。切法有两种，一种横着切每一层里…

从高铁上带着布满额头的汗水下来后，家乡的晚风吹来让我喘息的惬意。这个我昏睡而碌碌无为的夏天过去了。

好久不见，我是合荒~ 一晃已经12天没有更新了，我也12天没摸到电脑了。 大概讲讲下一阶段博客的更新计划（预测）。 进入高三，我断了我坚持了5年的随笔写作，其实说没时间是借口，时间想挤总会有的，只是一周下来累到不想动笔了…

高一学生经历7天军训，期间练习基础项目、叠豆腐块内务，教官宽松可享双倍休息，军训含红歌比赛等内容，结营后离校吃到心心念念的奶茶、螺蛳粉。他还游玩门票10元（学生半价）的顺德清晖园，遇喷泉彩虹；去增城稻田感受乡野气息。开学…

欢迎使用 WordPress。这是您的第一篇文章。编辑或删除它，然后开始写作吧！

这篇文章介绍了作者为解决 **MacBook 合盖后偶尔休眠**，买了十几块钱的**绿联 HDMI 欺骗器**。文章回顾此前用 **pmset** 禁止睡眠的办法，再从 HDMI 的 **HPD、DDC 和 EDID**…

这篇文章介绍了**OpenClaw 8.1（OpenClaw 2.0）**发布后的重大架构变更，重点记录了将**记忆系统从memory-lancedb-pro迁移到官方memory-core**的过程。从**4051条活…

周末和父母视频，其实每次也没什么新鲜事，看到彼此都身体依旧，互相都很放心。挂完电话，似乎惹出我一丝乡愁来了。以前的人有浓浓的乡愁，很大因素是回家乡太难，物理意义上的难，现在不存在这个困难了。现在的回家难，也是权衡后的选择…

一张 24GB 的卡能塞多大的模型，前面算过。塞得下之后，还得看一批数据要算多久。数据并行的办法是把这一批拆开，几张卡各算各的，再把梯度合到一起。我在一台没有显卡的笔记本上开了四个进程，用 PyTorch 自带的 glo…

月底了盘点一下，这个月好像除了带娃也没有什么好记录的了。出院后🌽娃的身体恢复得很好，去复查了也没什么问题，就是以后带娃要更小心了。 两个多月的娃娃，晚上闹腾得很厉害，经常三个大人轮流哄她一个。时间长了睡眠严重不足，腰也疼…

这篇文章介绍了如何把 **HeoID 会员卡**添加到 Apple 钱包，并说明不同 iOS 版本下的显示差异。用户进入 HeoID 的“我的资产”页面后，可通过扫码打开卡片页面，再点击 **添加到钱包**完成操作；若使…

RLHF 的三个阶段跑完，中间那个奖励模型在没见过的提示上只有六成准，策略照着它爬，就爬歪了。DPO 用四步代数把这一步整个消掉，偏好数据直接进策略的损失函数。 那个目标有闭式解 RLHF 要最大化的目标是 J(π)=E…