Beam 专注于编码和代理用例。它适用于希望在自己的硬件、基础设施或云上建立前沿模型，并希望根据自己的用例进行定制的团队。 Beam 附带了自己专用的基于 Rust 的开源工具，可提供模型的最佳性能。

Beam 具有本机转换器实现，以及 vLLM 和 SGLang 等下游库。我们与 Reflection 团队合作，为您带来推理、SFT（监督微调）和 RL（强化学习）秘诀，供您根据需要使用此模型进行构建。除了对 Transformer、SGLang 和 vLLM 的 Day-0 支持之外，这篇文章还向您展示了如何运行它、如何对其进行后期训练以及我们用它构建了什么。

TL;DR

501B 参数 MoEs LLM，每个令牌有 23B 活跃。 52 层，每个 MoE 层 256 个专家，每个令牌 8 个路由。文本输入，文本输出，具有 1M 令牌的上下文窗口。检查点格式：BF16、FP8 和 NVFP4 可以跨回合保持在上下文中的推理 (preserve_thinking)，使用专用语法调用工具。该模型支持五个推理值：“低”、“中”（默认）、“高”、“xhigh”和“最大”。标记生成器中的响应模板。使用 DFlash2Day-0 库的推测性解码起草器模型：变压器、SGLang、vLLM。带 Miles.Ships 的全参数 RL 和基于 Rust 的自定义harness.Apache 2.0。

Reflection 将为使用 Beam 的最佳项目提供 10,000 美元的 Hub 积分。您所要做的就是制作一个东西，然后在 Hub 上分享：

您可以在 Spaces 上制作一个使用 Beam 模型的演示 您可以针对您最喜欢的硬件对其进行量化 您可以为您最喜欢的问题生成合成数据集 您可以使用 Beam 构建 RL 环境，或者为 Beam 构建 RL 环境 您可以对 Beam 进行基准测试并共享结果。你可能会给我们带来惊喜！

如果您使用 Beam 构建了一些东西，那么在 Hub 上分享它就有机会赢得 10,000 美元。您所要做的就是构建空间、模型或数据集存储库，并在模型的存储库页面上共享它。我们将收集所有链接，选择最佳链接，并将积分发送到您的 Hub 帐户。

Beam 是一个纯文本模型，专为长上下文（1M 上下文长度）推理和代理工作而构建。它是一个稀疏 MoE 模型，其中每个令牌都是由网络的一小部分计算的，因此它以小得多的模型的速度运行，同时保持大模型的容量。

解码器有 52 层，隐藏层大小为 5,120。大多数层在之前的 512 个 token 上使用滑动窗口注意力；每第六层以及最后一层都关注完整的上下文。这给出了 43 个滑动窗口层和 9 个全局层。

注意力块内部（两种层类型）

这两种层以不同的方式处理位置。滑动窗口层使用 RoPE，因为相对位置在短窗口内最为重要。全局层不使用位置编码。相反，每个查询都会乘以一个缩放器，该缩放器随着可见标记的数量缓慢增长，(1 + (pos + 1) / 2048) ** 0.1。它充当温度：当上下文延长而不是变平时，softmax 保持其精度。该实现将其称为可伸缩-softmax 查询缩放。

Attention 使用具有 48 个查询头和 8 个键值头的分组查询注意力，并在查询和键上使用 RMSNorm。根据层输​​入计算出的学习 sigmoid 门在输出投影之前缩放每个头的每个通道。