借助 Poro 2 Long 扩展上下文窗口并探索多语言推理

AMD Silo AI 发布两款全新 Poro 2 系列模型：Poro 2 8B Long，该模型拥有大幅扩容的上下文窗口；Poro 2 8B Math Reasoning，这是一款面向数学推理的模型，经过训练可使用芬兰语、英语求解数学问题，目前为预览版。这两款模型及其训练方法，为后续智能体工作流程的开发奠定了基础，可帮助实现更动态、更具自主性的 AI 流程。 

Poro 是一套开源多语言大语言模型 (LLM)，针对芬兰语能力进行了优化，由 AMD Silo AI 联合 TurkuNLP 共同开发，并基于 LUMI 超级计算机完成训练。去年发布的初代 Poro 2 模型（8B 和 70B 参数）基于 Llama 3.1 8B 和 70B 基础模型打造，通过持续预训练 (CPT) 提升了芬兰语理解能力。尽管以芬兰语作为演示语言，但其底层方法论适用于任何语言：Poro 展示了基础模型如何完成多语言适配。  

上下文窗口扩展，Token 数量增加 16 倍 

Poro 2 8B Long 将模型的最大上下文窗口从 8,192 个 Token 扩展至 131,072 个 Token，比初代 Poro 2 8B 提升了 16 倍。这意味着，模型能够在单次交互中处理更大体量的文本。更大的上下文窗口在检索增强生成 (RAG) 流水线中的价值尤为突出，因为在此类流水线中，回答用户问题时会自动调取相关文档以作为附加上下文提供给模型。凭借更大的上下文窗口，模型能够整合更多检索到的信息，从而提供更全面、更准确的回答。

Poro 2 8B Math Reasoning：探索多语言数学推理 

 Poro 2 8B Math Reasoning 基于 Poro 2 8B Long 改造而成，专门针对数学问题推理进行了训练。该模型为预览版，尚未达到生产就绪状态，但却是向前迈出的重要一步。当前许多推理模型仅支持使用英语或中文输出推理过程，而 Poro 2 8B Math Reasoning 可同时以芬兰语和英语开展推理。这使得芬兰语用户能够以母语审阅推理过程、识别错误，从而增强对输出结果的信任度。   

Poro 3（计划于今年晚些时候推出）将在此基础之上进行迭代，成为能力更强、功能更丰富的推理模型。与此同时，Math Reasoning 模型及其相关代码和训练数据集已根据开源许可公开发布，供研究人员和开发者研究、复现和扩展。此外，本次发布配套提供实操手册，讲解如何基于 AMD Instinct GPU 硬件完成模型训练，进一步向社区开放多语言 AI 开发的实用模型训练技术。 

除上述现有功能外，本次发布引入的扩展上下文窗口和推理功能也为未来的智能体能力发展奠定了坚实基础，可帮助后续版本实现更动态、更自主的 AI 工作流程。 

推进数字主权建设，提升欧洲 AI 实力 

AMD Silo AI 致力于开发开源多语言模型及训练资源以推动科研与产业发展，成果涵盖 Poro 模型系列以及 Minerva 等项目。AMD Silo AI 是 OpenEuroLLM 联盟成员。OpenEuroLLM 是一项泛欧计划，汇集了包含高校、企业与 EuroHPC 中心在内的 20 个机构，致力于开发覆盖多种欧洲语言的新一代开源语言模型。Poro 2 8B Long 的发布可助力实现 OpenEuroLLM 的核心使命：强化欧洲数字主权与竞争力，并普及高质量多语言 AI 技术。如需了解更多信息，请访问计划网站。  

已发布的相关材料 

Poro 2 8B Long 和 Poro 2 8B Math Reasoning 模型现已在 Hugging Face 上提供。新版实操手册和部分训练数据集可在 AMD ROCm 博客上获取。 

• Hugging Face 上的 Poro 2 8B Long 模型
• Hugging Face 上的 Poro 2 8B Math Reasoning 模型
• AMD ROCm 博客上的 Poro 2 8B Long 和 Poro 2 8B Math Reasoning 模型实操手册。 

有关 Poro 历史版本的更多信息，请访问 AMD ROCm 博客。