阶跃开源Step 5 Preview,模型权重与技术报告同日发布

阶跃开源Step 5 Preview,模型权重与技术报告同日发布

  今天(15日) ,基础大模型公司阶跃星辰正式开源Step 5 Preview ,同步开放BF16与FP8模型权重 、技术报告 、配套开源开发工具及部署指南。模型权重已上线Hugging Face和ModelScope 。

阶跃开源Step 5 Preview,模型权重与技术报告同日发布-第1张图片

  据介绍,Step 5 Preview面向长程Agent任务设计 ,采用稀疏MoE架构,总参数量为600B,每Token激活参数为27B ,支持100万Token上下文窗口,原生支持文本与视觉输入,面向软件工程、专业知识工作及金融等应用场景 。库帕思为模型研发提供了专家构建的长程任务语料支持。

  此次发布的技术报告介绍了Step 5 Preview的设计思路 ,包括92层窄深架构、Sparse GQA 、训练稳定性优化、百万级可验证环境及长程任务强化学习等。其中,模型将上下文压缩纳入端到端策略训练,支持Agent整理任务状态并继续执行 。

  部署方面 ,Step 5 Preview提供面向多种芯片平台和推理框架的适配支持。开发者可通过vLLM或SGLang部署兼容OpenAI接口的API服务,也可使用Transformers进行离线推理,接入自有数据、工具与系统。在开发者使用方面 ,根据OpenRouter截至今天的数据 ,Step 5 Preview位列该平台Token用量周榜及日榜全球第二 。

(文章来源:上观新闻)

©版权声明
THE END