使用 LFM2.5-24B-A2B 在设备上快速运行专用代理
Hugging Face Blog 发布了这条动态，详情请查看官方发布。
来自 Hugging Face Blog 的官方动态，版本与适用范围以发布方说明为准。
Hugging Face Blog · 查看官方发布中文机器翻译 · 原文附后
正文 · 来源原文
一流的智能体：在智能体和工具使用任务上，与 Qwen3.6-35B-A3B 具有竞争力，Qwen3.6-35B-A3B 是一个总参数和活动参数多出约 50% 的模型，在智能体和工具使用任务上得分为 48.09，而 LiveClaw 得分为 38.19。以 MoE 速度推理：在给出答案之前总是先思考。每个令牌只有 2B 个活动参数，每个推理令牌都很便宜。高效推理：Apple M5 Max 上为 184 tok/s，单个 NVIDIA B300 GPU 上高达 21K 输出 tok/s。
LFM2.5-24B-A2B 基于 LFM2-24B-A2B 构建，并保留其架构：40 层、每个 MoE 块 64 个专家，具有 top-4 路由，以及门控短卷积和 GQA 的相同混合。上下文窗口从 32K 标记增长到 131K 标记，就地标记器扩展将词汇表从 65K 标记增加到 128K 标记，以实现更好的非拉丁标记化。与它的前身不同，它是一个纯推理模型，在得出最终答案之前会产生明确的思想链。
预训练从约 17T 令牌扩展到约 33T。然后，训练中期在 32K 上下文中添加 2T 标记，加权为推理、数学、代码、指令遵循和多语言文本，并在 131K 上下文中添加 300B 标记，加权为长上下文数据。工具调用和多转弯轨迹出现在两个阶段中。训练后分五个阶段将基础模型转变为代理：
有监督微调 (SFT) 教师专业化 多域策略蒸馏 (MOPD)，非代理：在非代理任务上蒸馏专业教师。 MOPD，代理：第二个蒸馏阶段专注于代理任务。代理强化学习（Agentic RL）：在代理工具内训练模型，例如 OpenClaw、Hermes Agent、Pi 和 OpenCode。
我们在 16 个基准测试中对 LFM2.5-24B-A2B 与 Qwen3.6-35B-A3B、Gemma-4-26B-A4B-it 和 Nemotron-3.5-Lightning 进行了评估，涵盖工具使用和代理工作流程、知识、指令遵循、数学和编码。它是该组中最小的模型，但它与 MoE 相比具有竞争力，总参数和活动参数多出约 50%。
*所有模型均使用 vLLM 进行评估，并使用每个基准测试的推荐生成参数。
对于您的应用程序，优势在于工具使用和遵循说明。 LFM2.5-24B-A2B 在八个工具使用和代理基准测试中的五个（AutomationBench、BFCLv4、ToolSandbox、LiveClaw 和 τ³-Bench Banking）上领先或匹配竞争对手，并且在 AutomationBench 上的得分是次优模型的三倍多。它还在所有三个指令遵循基准测试中处于领先地位。较大的模型在 GPQA Diamond、HLE 和 AA-Omniscience 等知识密集型基准测试以及 SWE-Bench Verified (OpenCode) 和 SciCode 等编码基准测试上保持优势，因此将 LFM2.5-24B-A2B 与知识密集型工作负载的检索或 Web 搜索配对。
这些结果使 LFM2.5-24B-A2B 成为需要推理、调用工具并在设备上可靠运行的代理的坚实基础。
LFM2.5-24B-A2B 在整个推理生态系统中提供第一天支持，包括 llama.cpp、MLX、vLLM、SGLang 和 ONNX。
边缘推断。 LFM2.5-24B-A2B 是比较的 MoE 中速度最快的，在 M5 Max 上解码速度为 184 个令牌/秒，在 Ryzen AI Max+ 395 上解码速度为 114 个令牌/秒。这比次佳模型快 1.7 倍，同时使用最少的内存。
查看英文原文
Run fast, private agents on-device with LFM2.5-24B-A2B
Hugging Face Blog 发布了这条动态，详情请查看官方发布。
正文 · 来源原文
Best-in-class agent: Competitive with Qwen3.6-35B-A3B, a model with ~50% more total and active parameters, on agentic and tool-use tasks, scoring 48.09 on LiveClaw versus 38.19. Reasoning at MoE speed: Always thinks before it answers. With only 2B active parameters per token, each reasoning token is cheap. Efficient inference: 184 tok/s on an Apple M5 Max and up to 21K output tok/s on a single NVIDIA B300 GPU.
LFM2.5-24B-A2B builds on LFM2-24B-A2B and keeps its architecture: 40 layers, 64 experts per MoE block with top-4 routing, and the same hybrid of gated short convolutions and GQA. The context window grows from 32K to 131K tokens, and an in-place tokenizer expansion doubles the vocabulary from 65K to 128K tokens for better non-Latin tokenization. Unlike its predecessor, it is a reasoning-only model that produces an explicit chain of thought before its final answer.
Pre-training was scaled up from ~17T to ~33T tokens. Mid-training then adds 2T tokens at 32K context, weighted toward reasoning, math, code, instruction following, and multilingual text, and 300B tokens at 131K context, weighted toward long-context data. Tool calls and multi-turn trajectories appear throughout both phases. Post-training turns the base model into an agent in five stages: