LLMA-Mem 目前挂在 Arxiv 26.04 上，探讨了 LLM 多智能体系统中 "横向扩展团队规模" 与 "纵向积累时间经验" 两种扩展维度之间的交互关系，提出通过记忆设计实现更高效的终身学习 背景 LLM 多智能体系统（Multi-Agent Systems, MAS）可以通过两个不同维度 ...

写到第 12 篇时，我更愿意把 Happy-LLM 看成一条从概念到工程的学习路线，而不是一本按章节读完就结束的教程。它的主线很清楚：先补 NLP 和 Transformer，再看预训练模型如何发展到 LLM，随后进入动手搭建、训练、对齐，最后落到生成、RAG、Agent 和具体应用。这个顺序的好处 ...

补充章节读下来，我最大的感受是：LLM 工程并不是只围着“更大的模型”转。真正落地时，常见问题反而是数据能不能出内网、成本能不能压住、延迟能不能接受、上下文格式是否稳定。大模型给了能力上限，但业务常需要可控、便宜、可部署的边界。 这几篇 Extra-Chapter 把几个主题串了起来：小模型微调、v ...

学到第七章后，我对“大模型应用”的理解开始从单次问答转向系统工程。RAG 解决的是知识如何进入上下文，而评测和 Agent 关注的是另外两个问题：模型到底能不能被信任，以及模型怎样从“会回答”变成“会做事”。 这两个主题放在一起很自然。没有评测，Agent 的每一步都像黑箱；没有 Agent，评测也 ...

大家好，我是R哥。 最近我的 Claude 账号也被封了《麻了！我的 Claude 老账号也被封了….》，无所谓了，反正它不是非用不可。 作为 Claude 重度用户，这篇就来说说 Claude 到底有多恶心，有多抠门？？ 我细数了 Claude 的 13 个臭毛病，说的不对，欢迎你来骂我！！ 1、 ...

第七章开始进入大模型应用，RAG 是其中最容易被低估的一块。很多教程会把它讲成"文档切块、向量化、相似度检索、塞进 prompt"，流程看起来很顺，但真正落到工程里，问题往往不在能不能跑通，而在检索到的知识是否完整、是否相关、是否能被模型稳定使用。 Happy-LLM 的 Tiny-RAG 实现很适 ...

康奈尔笔记AIGC康奈尔笔记法康奈尔笔记法（Cornell Note System）是由美国康奈尔大学教育学教授沃尔特·鲍克（Walter Pauk）在20世纪50年代发明的一种高效笔记系统。它的核心理念不仅仅是“记录”，而是通过特定的版面设计，强制你在记笔记的过程中完成记录、思考、提炼和复习的完整 ...

很多人兴致勃勃地装了 Matt Pocock 的 Skills 之后，大概率只用过其中两三个。剩下的一直躺在列表里——不是没用，是你不知道什么时候用、按什么顺序用、用完之后下一步接什么。 ...

前面几篇都在讲模型怎么训练出来，这一篇换一个角度：模型推理时每一步只输出一个 token，那"选哪个 token"这件事，其实才是用户直接感受到的产品行为。Happy-LLM 的额外章节把生成方式单独拎出来讲，读完后我最大的感受是：解码策略不是锦上添花的小参数，而是模型能力和使用体验之间的最后一层接 ...

​上一篇文章采用langchain_community包协助LangChain实现了对话记忆功能，但langchain_community属于早期链式架构的临时补丁，仅适配简单线性对话。 LangChain官方推荐使用LangGraph实现复杂的会话记忆功能，LangGraph是从底层统一管理全流程 ...

Mem0 源码阅读笔记 版本：mem0 main 分支，commit dd5f7e39 1. 核心概念与大致架构 1.1 定位与三段式数据流 Mem0 把自己定位为「AI agent 的记忆层（memory layer）」。一条记忆（memory）的写入与检索，本质是三段式流水线： 原始对话/文本 ...

第五章是手写一个小 LLM，第六章的重点则变成：真正做训练时，为什么大家通常不会一直停留在手写训练循环里。答案很现实，模型结构、数据处理、分布式训练、checkpoint 恢复、日志监控和参数高效微调，每一项单独看都不难，合在一起却很容易把实验搞乱。 这一章给我的最大启发是：训练流程不是“模型 fo ...

OpenCode 是一款开源 AI 编程代理，目前在 GitHub 上拥有超过 16 万颗 Star，月活开发者超过 750 万。它支持终端、桌面应用和 IDE 扩展等多种使用方式，并且由于隐私优先的设计——不存储你的代码和上下文数据——在对隐私敏感的开发环境中也能放心使用。 OpenCode 的一 ...

​模型本身是无状态的，也就是不具备记忆功能，单次对话无法留存上下文信息，多轮交互中会遗忘历史对话内容。用户之所以感觉AI工具拥有记忆，是因为AI工具给大模型封装了一层记忆。 LangChain作为主流的大模型应用开发框架，内置完善的记忆模块（Memory模块），能够高效管理对话历史记录，让AI实现逻 ...

中文内容创作者，必装的 10 个 Skill在 AI 辅助创作的时代，工具的选择决定了内容的上限。与其让 AI 泛泛而谈，不如用专业的 Skill 把它变成你的专属编辑、设计师和研究员。以下为你精选了 10 个能显著提升中文内容创作效率与质量的 Skill，覆盖了从选题、写作、润色到视觉包装的全流程 ...

本文档面向希望通过 AI 智能体（Agent）接入阿里云向量检索服务 DashVector 的开发者，提供 LLM 可消费的 API 文档结构和快速入门指导。 ...

企业不只需要监测账号和批量发稿，而应验收测量基线、事实证据、当前动作、公开回执和同条件复测。本文用TypeScript状态机说明品牌级GEO持续托管如何落地。 ...

这一章最有价值的地方，不是把一个完整的大模型“抄出来”，而是把一个小 LLM 从骨架、入口和训练三层拆开看。以前我总会先盯参数量和显卡，后来才发现，真正决定能不能跑通的，往往是模块之间的接口是否统一。 先把模型骨架搭对 k_model.py 里最先出现的是 ModelConfig。这件事看起来平常， ...

【技术干货】低成本代码生成新范式：多模型协作能否媲美Claude Fable 5？在AI代码生成领域，高昂的模型费用与性能瓶颈始终是开发者心中的痛点。近期，一种“LongCat主写+Kimi/DeepSeek/小米Mimo等模型审查”的多模型协作方案引发热议，宣称效果堪比行业标杆Claude Fab ...

读大模型训练流程时，我以前会把 Pretrain、SFT、RLHF 都笼统理解成“继续训练模型”。看完 Happy-LLM 第四章后，才真正把三者拆开：它们虽然都在更新参数，但解决的不是同一个问题。Pretrain 主要建立知识和语言能力，SFT 教模型理解并执行指令，RLHF 再把输出往人类偏好的 ...