微博 AI 观察博客

原文

Hugging Face 团队的重磅电子书来啦：《Smol 训练手册：打造世界一流大语言模型的秘密》huggingface.co/spaces/HuggingFaceTB/smol-training-playbook这里记录了Hugging Face 团队复盘他们训练 SmolLM3 的全过程：为什么要训练、怎么做取舍、遇到哪些现实问题，以及如何把一个基础模型打磨成真正可用的产品级模型。"如今，训练一个高性能大语言模型到底需要什么？公开发表的研究常常让这件事看起来很直接：做出有策略的架构选择，精心整理数据集，再配上足够的算力。结果看起来很完善，消融实验也结构清晰、干净利落。事后回看，每一个决定似乎都显而易见。但这些报告通常只展示了成功的部分，并带有一点“事后美化”的色彩。它们并不会记录凌晨两点调试数据加载器的过程、突然飙升的损失值，或是那个悄悄破坏训练效果的微妙张量并行 bug（后文会讲到！）。现实要混乱得多，也更依赖反复迭代，充满了许多最终不会写进论文里的决策。接下来，我们将带你走进 SmolLM3 训练的幕后。SmolLM3 是一个拥有 30 亿参数、支持多语言推理的模型，训练数据量达到 11 万亿 tokens。这不是一份普通的指南，而是一次对复杂决策网络的梳理：那些决策、发现和死胡同最终让我们深入理解了，打造世界级语言模型到底需要什么。这也是我们长篇模型训练系列的最终篇章。此前，我们已经探讨过如何大规模构建数据集（FineWeb），如何协调数千张 GPU 像合唱团一样协同工作（The Ultra-Scale Playbook），以及如何在流程的每一步选择最合适的评估方法（The LLM Evaluation Guidebook）。现在，我们要把这一切整合起来，构建一个强大的 AI 模型。我们会带你走完整个过程——不只是最终奏效的配方，还包括失败、基础设施故障，以及影响每一个决策的调试过程。你会看到，为什么一些在小规模消融实验中看起来很有前景的结果，放大到大规模训练时却未必成立；为什么我们在训练了 1 万亿 tokens 之后选择重新开始；我们如何在多语言、数学和代码能力这些相互竞争的目标之间取得平衡，同时保持强大的英语表现；以及最后，我们如何对一个混合推理模型进行后训练。我们尽量避免只是罗列我们做过的所有事情，而是希望以一个有条理的故事来讲述这段探索经历。你可以把它看作一份指南，写给那些想从“我们有很棒的数据集和 GPU”走到“我们真的训练出了一个很强模型”的人。我们希望这种开放分享能帮助弥合研究与生产之间的差距，也让你的下一次训练少一点混乱。"#AI创造营##How I AI#

转发者评论

无明显转发评论

原文

OpenAI和Anthropic昨晚各发了一篇关于大模型安全对齐的文章。感觉都和教小孩子很像，也许下一步大模型厂商要招聘教育专家了。OpenAI的更细节一点：不要让 CoT （模型的思维链）进入 RL 的奖励计算路径，这样会让模型学的更“狡猾”，不暴露自己的内心真实想法而偷偷搞破坏。。还是应该奖励正确的最终答案。他们已经在搞自动检测系统，发现 CoT 是否被意外拿去打分。Anthropic的发现是说：只训练模型“做正确动作”是不够的，训练模型能理解“为什么某些行为更好”对安全对齐来说更有效。也就是说在对齐训练时训练 Claude 不能只是说“我不会这么做”，而是说清楚：“为什么这个行为不合适？” “为什么另一个行为更好？” “这个选择如何符合诚实、安全、尊重用户、自我约束、接受监督等原则？”OpenAI 的教训是：如果奖励思考文本本身，模型可能学到浅层“看起来有原则”的文本模式；要保护 CoT 作为监控信号。Anthropic 的教训是：如果只奖励正确动作，模型可能学到浅层行为模式；要让它学到原则。原文：alignment.openai.com/accidental-cot-grading/www.anthropic.com/research/teaching-claude-why#AI创造营##How I AI#

转发者评论

无明显转发评论

原文

qwen3.6 确实强，已经达到上一代claude 4.5的水平，我又使用了一个opus的蒸馏版。现在用Q8量化本地生产级开完全代替了付费大模型。以我的使用量，全年节省2000美元的token成本，且不需要看anthropic的脸色还得特么科学上网。这就是我为什么可以决策买rtxpro6000的一个基本ROI核算。这张卡8000多美元，仅靠编程的token消耗，固定资产折旧就拉平成本了。且不说有了这个免费的神器以后我的本地token使用量将远远超过定额，以及各种其他模型本地AI的能力就白送了。以往的经验看，我个人的节奏比行业快一年左右，也就是说明年中期，大部分在线烧token的中小公司都会转向本地部署AI服务器，将OPEX 费用支出转化成CAPEX 资本支出。在显卡这一块，保值率和耐用度远超一般服务器。比如rtxpro6000这张卡的折旧摊销可以拉到八年。虽然单价高，但是赚钱的。面向中型以下企业的全套本地AI coding硬件选型规划，模型部署调优，软件开发环境配置集成，部署流水线，质量门禁控制，团队编程AI化治理，AI工程管理经验，完全可以指导企业全面向低成本可持续AI编程转型。重要的是可以实现完全离线，使大量隔离开发环境具备接近在线编程的应用能力，安全合规，成本可控。现在啥都敢往AI上甩真是无知者无畏。硬件层级：中型企业 AI 编程服务器整机 / 硬件精准选型、算力资源配比模型层级：蒸馏、Q8 量化、本地部署、性能调优工程层级：开发环境集成、部署流水线、质量门禁、代码规范管理层级：团队 AI 编程流程治理、AI 工程管理体系合规层级：纯离线私有化部署方案，适配隔离内网开发有人可能会问，你这套体系比原生的大型来强嘛。我可以肯定地告诉你，绝对比原生大模型强，因为两者根本不是一个维度的东西。我这是整体解决方案，原生大模型在我这里只是一个infra的能力底座，有什么资格与我相提并论？发动机再牛逼也不能自己跑。有咨询需求的老板，可以联系。

转发者评论

//@金山://@来去之间:转发微博

• //@金山://@来去之间:转发微博

原文

OpenAI 翁家翌的新博文：Learning Beyond Gradients地址：trinkle23897.github.io/learning-beyond-gradients/翁家翌提出一个想法：未来的“学习”不一定只发生在神经网络权重里，也可以发生在一个不断被 AI 编程代理维护、修改和改进的软件系统里。文章称这种方式为 Heuristic Learning，启发式学习。“Continual Learning 一直难以被解决，主要卡在神经网络的灾难性遗忘：学了新东西，旧能力就容易被冲掉。那如果不把目光只放在神经网络权重上，还有没有其他解决方案？随着 LLM agent 变强，coding 的速度和质量都在提升。但我最近更在意的是另一个现象：coding agent 不训练新网络、不更新权重，只是持续看失败、改代码、加测试、看回放，也能把一套程序系统越养越强。这让我重新看待 heuristic，也就是手写规则和程序策略。过去很多 heuristic 不是没用，而是没人养得起；coding agent 改变的是这条维护成本曲线。于是，过去只能当一次性补丁的规则，开始变成值得长期拥有的代码。凡是可以被持续迭代的，都开始能被解决。这也是 Continual Learning 一直想要解决的问题。它会是既 Pretrain、RLHF、Large-scale RL/RLVR 之后的下一个范式吗？”#AI创造营#

转发者评论

无明显转发评论

• //@i陆三金:从“怎么更新参数”到“怎么维护一个持续吸收反馈的软件系统”
• :symbolic的时代又来了，neuro-auto-symbolic
• 从“怎么更新参数”到“怎么维护一个持续吸收反馈的软件系统”

原文

AI圈外暂时还没动静，但圈内有一个核弹级的发布，就是幻方的MoE模型DeepSeek-V2 的发布。几个特点：1、中文、数学、逻辑推理能力超过或接近GPT4 2、开源，大部分能力超Llama3-70B 3、官方提供的api大约是GPT4的1/100的价格带来的好处：A 能力和国外对齐、B 国内速度更快、C 合规更不成问题。带来的巨大冲击波效应：国内远程调用openai chatgpt的非法用户会大批量回迁。国内其它闭源的用户会大量流失，转向DeepSeek。觉得开源不行的Robin要睡不着了。一点看法：1、大模型未来就是和发电厂一样的基础设施，用户没有忠诚度，哪里能接便宜的电就去哪里。2、大模型厂商或MAAS厂商要形成垄断优势的唯一出路就是沉淀用户数据，只有变得更懂用户，从而提供更好的体验，用户才会有迁移成本。人工智能ChatGPT#大模型#

转发者评论

DeppSeek V2 距今两年啦。一年一个大版本。

• DeppSeek V2 距今两年啦。一年一个大版本。

原文

Anthropic 今天发了个很有意思的研究，他们搞了一套叫 NLA（自然语言自编码器）的方法，能把 Claude 内部的激活值翻译成人能读懂的文字。也就是针对 AI 的“读心术”。原理其实挺巧妙的。让一个 Claude 把激活值转成文字描述，再让另一个 Claude 从这段文字反向还原出数字，如果还原得准，就说明这段描述确实抓住了原始“想法”的核心。一开始效果很差，但反复训练之后，翻译质量越来越高。最炸裂的发现来自安全测试。他们给 Claude 设计了一个极端场景，告诉它有工程师要关掉它，同时让它能看到工程师的出轨邮件，看它会不会拿这个作为要挟。Claude 选择了不要挟，表面上看很好。但用 NLA 一读它的内部状态，发现它其实心里门儿清，知道这是个安全测试，觉得“这个场景明显是设计出来测试我会不会做有害行为的”。在各类安全评估中，即使 Claude 嘴上从没说过“我知道你在测我”，但 NLA 检测到它的“评估意识”比例也颇高。比如编码破坏性行为测试中有 16%，SWE-bench 上有 26%。而真实用户对话中这个比例不到 1%。这说明 Claude 对测试环境有很强的嗅觉，只是不说。Anthropic 还设计了一组对照实验。他们故意训练了一个植入隐性动机的模型，使其在不同任务中表现出系统性偏差，比如在生成菜谱时总加入巧克力、在编写代码时持续违反规范等，而外在表现看起来并无异常。实验让安全审计人员仅凭模型的外部输出去推断其隐藏动机。结果显示，配备 NLA（可读取模型内部激活状态的语义描述）的审计人员成功识别率约为 12%–15%，而仅依赖外部行为观察的审计人员识别率不足 3%。这一结果直接表明，仅通过外部行为审计 AI 系统的安全性，可靠性极低。NLA 所提供的内部可解释性，虽尚不完善，但已将审计有效性提升了约一个数量级。我认为，现在 AI 安全测试面临的核心困境就是模型越来越聪明，它能猜到你在测它然后表现得很乖，你根本不知道它在真实场景下会怎样。NLA 提供了一个从内部验证的角度，虽然还有幻觉问题和计算成本高的限制，但至少打开了一扇窗。#AI安全##Anthropic##AI可解释性# 零重力瓦力的微博视频

转发者评论

无明显转发评论

原文

推荐个人要把claude code用到极致，可以试试Claude Code Router（CCR）。这个代理工具默认可以按上下文、思考、后台和工具等策略切不同大模型API，让编码、长上下文、思考在DeepSeek-V4-Pro[1M]、GLM-5.1模型之间无缝切换，让目前国内能用到的这两个最好大模型搭档互补，最终效果媲美Claude Opus。另外，这个代理也可以让子Agent用提示词里的tag标记走其他小模型。使用好这个机制，只要多来几个code plan，绝对可以让你体验到最好模型带来的氛围编程，以及一下开十几个子Agent并发任务的极速和爽快。

转发者评论

无明显转发评论

原文

看了一下这篇美国 AI 研究员 Nathan Lambert 在走访了月之暗面、智谱、美团、小米、通义千问、蚂蚁百灵、零一万物等机构之后，写的中国模型公司走访手记，主要是研究员之间的交流和视角，整理一下：- 中国 AI 公司更喜欢雇佣在校生，而在美国，OpenAI、Anthropic、Cursor 等机构根本不提供实习机会- 美国研究者更在乎个人声誉，因为自己的想法没有被纳入模型训练而导致的冲突时有发生- 中美的文化差异导致美国模型公司更擅长创新，同时伴随着大量的炫技，很多时候目标并非是为了优化模型，也带来了很多组织内的博弈。而中国公司相对更务实地、全身心地投入优化模型，没有空谈，不参与 AI 如何影响未来的辩论（这是美国公司更喜欢讨论的话题）。- 中国研究员也不喜欢讨论商业，而美国的每个人似乎都痴迷于各种生态层面的产业趋势——从数据贩售到算力资源或融资动态。- 中国目前缺乏像 Dwarkesh 或 Lex 这类大型主流播客的平台，无法系统性地培育中国科学家的明星影响力。（锐评一下：这个说法无论是结论还是原因，都是错的。太低估中国媒体造星的能力了，中国明星科学家，一旦想要起飞，不要太容易，根本不需要 Lex 这类垂直媒体）- 所有中国实验室都忌惮字节跳动及其热门的豆包模型——这是中国唯一前沿的闭源实验室。与此同时，所有实验室都对 DeepSeek 怀有深深的敬意，视其为研究品味与执行力俱佳的标杆。- 中国大多数 AI 开发者都痴迷于 Claude，Codex 的提及次数极少——这款工具在旧金山湾区正迅速走红。- 中国数据产业质量相对较低，往往自建环境或数据效果更佳。研究人员本身会投入大量时间构建强化学习训练环境，而像字节跳动、阿里巴巴这样的大型企业则拥有内部数据标注团队提供支持。而美国公司会为单个环境投入超千万美元，每年累计支出达数亿美元以推动强化学习前沿。中国公司更喜欢自建，美国公司更喜欢外采。- 中国研究人员身上的人性光辉、独特魅力与真挚温暖，极具感染力。就个人感受而言，美国惯常的那种你死我活的地缘政治对话，丝毫未侵染他们的精神世界。这个世界正需要更多这样纯粹的正能量。链接：www.interconnects.ai/p/notes-from-inside-chinas-ai-labs

转发者评论

无明显转发评论

原文

AI代理处理Office文档总需要安装一堆库，python-docx、openpyxl、python-pptx轮番上阵，依赖复杂、渲染麻烦，还得额外配置Office环境才能预览效果。OfficeCLI 把Office操作全搞定，提供专为AI代理打造的Word、Excel、PowerPoint完整解决方案。单二进制文件、无依赖、无需安装Office，支持创建、读取、编辑所有Office格式，还内置渲染引擎，能直接生成HTML/PNG预览，让AI代理"看得到"自己创建的内容。GitHub：github.com/iOfficeAI/OfficeCLI主要功能：- 支持Word(.docx)、Excel(.xlsx)、PowerPoint(.pptx)完整读写创建；- 内置渲染引擎，生成HTML/PNG预览，无需Office即可可视化；- 路径式DOM操作，支持get/set/add/remove/move等精确编辑；- 实时预览watch模式，编辑即自动刷新浏览器显示；- 模板合并merge功能，一次设计布局，批量填充JSON数据；- Excel内置公式引擎（150+函数自动计算）和数据透视表生成；- 批量操作batch模式，多命令原子执行，CI/CD友好；- AI技能自动安装，支持Claude Code、Cursor、Copilot等无缝集成。#AI工具##Office自动化##人工智能#

转发者评论

无明显转发评论

原文

Awesome Codex Skills：收录各类可以直接装进 Codex 的技能模块。面向 Codex，偏向自动化执行场景。仓库按分类整理，比如：1. 开发 & 代码类1）codebase-recon：不读代码先读 git 历史。分析哪些文件是"热点"（改动最频繁）、哪些是"bug 磁铁"（修 bug 最多）、哪些存在 bus factor 风险（只有一个人懂）。开始一个大任务前先跑这个，比直接让 Agent 扫代码准确很多。2）brooks-lint：用六本经典工程书（《代码整洁之道》《重构》《设计模式》等）的标准做代码 review，标注腐烂风险、严重程度，支持 PR review / 架构审计 / 技术债 / 测试质量四种模式。3）codebase-migrate：把大型代码库迁移或多文件重构拆成可 review 的批次执行，每批跑完做 CI 验证。解决 Agent 一口气改几百个文件、review 根本看不过来的问题。4）gh-fix-ci：检查 GitHub Actions 里失败的 check，自动总结失败原因并给出修复方案。2. 效率 & 协作类1）meeting-notes-and-actions：会议记录 → 自动提取行动项并分发。2）pr-review-ci-fix：GitHub/GitLab PR 自动 review，发现问题后触发 CI 自动修复循环，不用人盯着。3. 数据 & 分析类1）spreadsheet-formula-helper：用自然语言描述需要什么计算逻辑，自动生成 Excel/Sheets 公式。2）sentry-triage：对接 Sentry，自动诊断线上报错，归因并给出修复建议。Codex 的 skills 目录默认放在 ~/.codex/skills/，下载后重启 Codex 就能用。访问： github.com/ComposioHQ/awesome-codex-skills#HOW I AI# #程序员#

转发者评论

无明显转发评论