什么是 Macaron¶
Macaron 是一个开放的智能体模型家族,在共享基座上组合 Chat、Agent、Coding 和 Generative UI 专家 LoRA 适配器。Macaron-V1.1 采用 GLM-5.3 基座,沿用 Macaron-V1 引入的 Mixture-of-LoRA(MoL)架构,由路由器在每个用户轮次选择一个专家。
本页先介绍 V1.1 及其基准结果,再说明原有 V1 版本引入的 MoL 架构。托管 API 接口见 Macaron Model;模型列表与定价见模型。
Macaron-V1.1¶
Macaron-V1.1 是基于 GLM-5.3 后训练的 752B 参数智能体模型,由 744B 基座模型和四个 2B LoRA 专家组成,分别负责 Chat、Agent、Coding 和 Generative UI。
在 Macaron-V1 的基础上,V1.1 将基座从 GLM-5.2 升级到 GLM-5.3。借助我们的 Serverless 训练与推理平台 Mint Recursive,我们用两周完成了从 Macaron-V1 到 Macaron-V1.1 的迭代。
更新与评测¶
长程编码。 V1.1 减少了完成长程编码任务所需的步骤,帮助智能体用更少的 token,更快得到经过验证的结果。我们在数据层面将软件工程(SWE)轨迹规范为五个阶段:复现、定位、编辑、验证和恢复,以减少与任务关联不大的探索轮次。V1.1 在 DeepSWE v1.1 上得分 71.7,在 SWE-Marathon 上得分 50.0。
复杂办公任务。 我们改进了模型对工具使用时机和方式的判断,尤其关注避免不必要或不恰当的操作。在涉及文档、消息和业务系统的流程中,模型需要判断该用哪个工具、何时使用,以及何时应当停手。V1.1 能更好地在用户意图与授权范围内完成这些任务,在 AutomationBench 上达到 53.7。
我们还为 ChatBench 与 UI4A-Bench 补充了更多真实场景,将两者升级到 V2。V1.1 在 ChatBench v2 上得分 66.7,在 UI4ABench v2 上得分 83.2。
基准结果¶
| 类别 | 基准 | Macaron-V1.1 | Macaron-V1 | GLM-5.3 | DeepSeek V4 Pro 0813 | Qwen 3.8 Max | Kimi K3 | Claude Opus 5 |
|---|---|---|---|---|---|---|---|---|
| Chat | ChatBench v2 | 66.7 | 63.6 | 65.8 | 65.7 | 62.2 | 57.7 | 66.2 |
| Agent | AutomationBench | 53.7 | 31.8 | 48.2* | 43.2* | 39.8* | 46.7* | 50.3* |
| Agent | Toolathlon-Verified | 76.0 | 63.0 | 73.0* | 74.1* | 72.5* | 73.2* | 80.6* |
| Coding | DeepSWE v1.1 | 71.7 | 58.4 | 66.9* | 62.7* | 57.0* | 69.0* | 68.8* |
| Coding | SWE-Marathon | 50.0 | 15.0 | 42.5* | 10.6* | — | 48.1* | 50.0* |
| Coding | Terminal-Bench 3.0 | 31.4 | 5.7 | 28.7 | 11.8* | 29.0* | 17.7* | 42.7* |
| GenUI | UI4ABench v2 | 83.2 | 75.8 | 77.6 | 77.7 | 79.3 | 80.6 | 81.4 |
数值越高越好。粗体表示每行最高分;* 表示外部来源结果;— 表示暂无数据。
各基准的评测设置如下:
| 基准 | 设置与指标 |
|---|---|
| ChatBench v2 | 每个模型–案例组合独立运行三次,使用生产环境系统提示词、用户画像和相关对话历史。由私有部署的 GLM-5.2 评审模型按 1–5 分评分,对运行次数和案例取平均后乘以 20。 |
| AutomationBench | v1.0.6 公开的 600 任务划分,覆盖六个业务领域,使用 API 工具集,每个任务最多 50 个模型响应步。 |
| Toolathlon-Verified | 官方 Toolathlon 评测服务;pass@1。 |
| DeepSWE v1.1 | Claude Code 智能体 harness;pass@3。外部官方排行榜结果使用 mini-swe-agent。 |
| SWE-Marathon | pass@2。 |
| Terminal-Bench 3.0 | Claude Code v2.1.207;pass@3。每次响应输出上限 32,000 token;智能体超时为各任务配置超时的 10 倍。 |
| UI4ABench v2 | 60 个难度不一的 UI 生成任务。交付指标衡量首次尝试成功率;功能完整性通过执行测试评估,视觉质量通过渲染截图评估。 |
外部来源结果沿用其公开设置。完整评测协议与来源见 Macaron-V1.1 模型卡。
使用 Mint Recursive 训练¶
Mint Recursive 是 Mind Lab 的自动化模型训练平台,将数据准备、训练、checkpoint 管理与评测串成一个工作流程,并支持训练后模型的一键部署。评测反馈用于指导训练数据和配置的更新,帮助团队连续开展实验并比较结果。
Chat 案例¶
我们用 Mint Recursive 串联能力诊断、针对性数据更新与训练。一次测量涵盖了 16 个维度。以下是下一轮训练中第二个变体相对初始策略的变化,评分采用 1–5 分制:
| 维度 | 分数变化 |
|---|---|
| 任务推进 | +0.50 |
| 情绪信号识别 | +0.56 |
| 抵抗谄媚 | +0.56 |
| 及时收尾 | −0.50 |
这次迭代中,及时收尾得分有所下降。这类退步也用于指导下一轮的数据选择。
UI4A 案例¶
我们将同样的训练流程用于分析交付失败、交互问题和信息层级不清晰的情况,据此选择训练样本,再用相同任务评估更新后的模型。
在 60 个任务中,首次交付成功率从 GLM-5.3 的 71.67%(43/60)提升到 Macaron-V1.1 的 96.67%(58/60),提高了 25 个百分点。需要重试的任务从 17 个降至 2 个。在同一个供应商比较任务中,更新后的模型给出了更清晰的图表和信息层级。
如何接入¶
开放权重。 已发布的模型权重与模型卡见 Hugging Face 上的 Macaron-V1 合集。
官方 API。 托管推理可通过 Mint Recursive 使用:中国大陆以外访问 mint.macaron.im,中国大陆访问 mintcn.macaron.xin。调用时使用控制台显示的模型 ID,在 Models & Pricing 查看当前价格,并查看账户的速率限制。相关文档见模型、核心参数和用量。
两个赌注¶
原有 Macaron-V1 的设计围绕两个赌注展开:
- 适应。 版本化递归改进循环:一个模型-harness 版本生成的经验在外部契约下被评估,并用于构造后继版本。适应是跨 successive 版本追求的属性,而非任何单一检查点的属性。
- 协作。 通过 MoL 实现组合:专家保持可分离,使异构目标不通过共享参数相互干扰。一个团队训练的专家或为某用户个性化的专家可与其它专家在同一运行时上组合。
模型家族¶
原有 Macaron-V1 系列包括以下模型:
| 模型 | 总参数 | 基座 | 专家 | 服务方式 |
|---|---|---|---|---|
| Macaron-V1-Venti | 748B | 744B GLM-5.2(冻结) | 4 × 1B LoRA | MoL harness |
| Macaron-V1-Tall | 50B | Qwen3.6-35B-A3B(冻结) | 4 × 1B LoRA | MoL harness |
| Macaron-V1-Coding-Venti | 748B | 744B GLM-5.2 | coding LoRA 合入基座 | 单专家 |
Venti 是旗舰:744B GLM-5.2 基座加四个 1B LoRA 专家,通过一个 OpenAI 兼容端点暴露。Tall 在 Qwen3.6-35B-A3B 基座上提供相同的四适配器设计,面向本地与低延迟部署,LoRA 秩按较小基座调整。Coding-Venti 是单专家例外:coding LoRA 直接合入基座,而非作为 MoL 适配器服务。
Mixture-of-LoRA 架构¶
智能体工作负载混合了思维链模式差异很大的任务:对话、智能体工具使用、编码、生成式 UI 各自要求模型以不同形态思考。当这些行为共享一个参数空间时,一族的梯度会把模型推向损害另一族的方向。MoL 通过一条规则显式暴露这一权衡:
将共享技能与思维模式的任务聚到一个 LoRA,将技能差异大的任务分到不同 LoRA。
由此得到两个属性:
- 基座冻结。 新能力通过训练并注册新适配器添加,而非重训基座。基座知识不会被后续专业化覆盖。
- 适配器可移植。 由于基座共享,一个团队训练的或为某用户个性化的专家可与其它团队或用户的专家在同一运行时上组合。
四个专家(Venti / Tall)¶
| 适配器 | 职责 |
|---|---|
| L0, Chat | 对话骨干、指令跟随、模型身份。同时是路由入口。 |
| L1, Agent | 长时域、重工具使用任务;个人智能体工作流与服务集成。 |
| L2, Coding | 代码生成、SWE 类任务、终端使用。 |
| L3, GenUI | UI4A 渲染与 UI 驱动操作;专精 TSX(React 与 SolidJS)。 |
四个适配器以 L0-L3 之名常驻引擎;L0 同时是路由入口。
路由循环¶
MoL 不训练单独的路由器模型。适配器选择由入口适配器 L0 自身的推理在每个用户轮次决定,并由 MoL Proxy 执行。一个客户端请求经历三阶段生命周期:
- 路由。 L0 在紧凑解码预算(24 token)下将请求分类为恰好一个规范适配器标签(
L0-L3)。路由提示将请求作为引用的、不可信文本处理,并在约束解码文法下返回单一标签。若 L0 选择自身,请求留在 L0;否则 Proxy 切换到目标适配器。 - 回答。 被选专家从自身的对话视图回答,以先前轮次的跨适配器摘要为种子。
- 摘要。 专家输出对刚才所做之事的简短摘要,上限 192 输出 token。Proxy 将此摘要存于服务端,从不返回给客户端;它成为任何适配器在后续轮次可继承的共享上下文。
路由完全由 L0 的推理决定:没有单独的路由器模型,也没有覆盖决策的关键词规则库。因此路由准确率是对话专家对请求理解的一个属性,随基座与 L0 适配器改进,而非随一个独立产物改进。
路由成本与准确率¶
路由并非免费:每个用户轮次在专家自身生成之上增加一个路由跳与一个摘要跳。在 Venti 上以 48 个多轮请求(temperature 0)测量:
| 跳 | Venti 均值 | 占比 | Tall 均值 | 占比 |
|---|---|---|---|---|
| 路由(L0 约束解码,24 tok) | 0.54 s | 11% | 0.20 s | 12% |
| 回答(专家生成) | 3.17 s | 68% | 1.24 s | 70% |
| 摘要(192 tok 上限) | 0.97 s | 21% | 0.32 s | 18% |
| 合计 | 4.68 s | 100% | 1.76 s | 100% |
开销占比(约 30%)在不同基座规模下稳定。在 6,448 样本轨迹集上路由准确率为 99.12%(Venti)/ 99.04%(Tall),规范标签合规率 100%,解析错误为零。
持续学习与集体智能¶
冻结基座加可插拔适配器注册表使 MoL 适合持续学习与集体智能:
- 能力可加。 新能力通过训练新 LoRA 并注册添加。路由器多看到一个候选标签;已部署的无需重训。
- 基座无灾难性遗忘。 梯度只进入适配器,基座不会因专业化副作用而漂移。
- harness 在线更新。 harness 层(路由规则、工具暴露、配置)可不重部署权重而编辑。
由于基座共享且适配器可移植,相同属性支持跨团队与跨用户组合:一个团队可为 Macaron 未覆盖的领域发布专家,用户专属适配器可低成本训练并与出厂专家并列挂载。
参考¶
Macaron-V1.1 部分依据其发布介绍、实验结果以及 Macaron-V1.1 模型卡中的基准结果整理。原有 Macaron-V1 的架构与路由测量来自 Macaron-V1 技术报告。服务 harness 开源于 MindLab-Research/Mixture-of-LoRA-Harness。