Silo AI 推出 Poro一种面向欧洲的新开源语言模型

总部位于芬兰赫尔辛基的人工智能初创公司 Silo AI 本周推出了 Poro，这是一种新的开源大语言模型 (LLM)，旨在提升欧洲语言的多语言人工智能功能。

Poro 是计划中的开源模型系列中的第一个模型，旨在最终覆盖所有 24 种欧盟官方语言。这些模型由 SiloGen、Silo AI 于 2022 年底成立的生成人工智能部门以及图尔库大学的 TurkuNLP 研究小组开发。

Silo AI 推出 Poro一种面向欧洲的新开源语言模型

“这是一个数字主权问题，你需要确保有能够捕捉价值基础、文化和语言的模型。” Silo AI 首席执行官 Peter Sarlin 在接受 VentureBeat 采访时说道。 “归根结底，这是关于价值创造，确保不仅欧洲公司，而且任何其他公司都可以创造价值，可以创建专有模型，从而创造留在欧洲内部和该组织内部的价值。”

拥有 342 亿参数的 Poro 34B 模型以芬兰语中的“驯鹿”一词命名，采用带有 ALiBi 嵌入的 BLOOM 变压器架构。它是在 21 万亿代币多语言数据集的一部分上进行训练的，涵盖英语、芬兰语以及 Python 和 Java 等编程语言。

Poro 正在 LUMI 上接受训练，LUMI 是位于芬兰卡亚尼的欧洲最快的超级计算机。 LUMI 提供对 512 个 AMD Instinct MI250X GPU 的访问，计算能力为 74 petaflops。

Sarlin 表示，Poro 旨在解决为芬兰语等资源匮乏的欧洲语言训练高性​​能自然语言模型的核心挑战。它通过利用跨语言训练方法来实现这一点，使模型能够利用来自英语等资源丰富的语言的数据。

该模型是继创纪录的法国初创公司 Mistral AI 于 2023 年 9 月下旬首次推出 Mistral 7B 之后，源自欧洲的第二个主要开源法学硕士，并展示了欧洲大陆和地区在快速发展的生成式 AI 领域不断取得的成就。它还凸显了不同人工智能实验室和公司之间日益激烈的竞争。

波罗研究检查站

作为 SiloGen 透明度承诺的一部分，Poro 的培训进度将通过 Poro 研究检查点计划进行记录。

“我们将在整个模型训练过程中发布检查点，这是相当新的。”萨林解释道。 “目前还没有任何举措能够让模型训练变得如此透明。”

Poro 34B 的初始检查点涵盖了训练的前 30%。根据 Silo AI 发布的基准，Poro 即使只完成了 30% 的广泛训练方案，也取得了最先进的成绩。

在广泛使用的芬兰语 FIN 基准评估中，Poro 的表现优于专为该任务设计的现有单语芬兰语 AI 模型（例如 FinGPT）。

Sarlin 指出：“该模型已经经过 30% 的训练，在低资源语言上的性能比之前的模型要好。”通过利用相关语言之间的共享模式，Poro 在可用训练数据较少的语言方面获得了优势。

值得注意的是，波罗的多语言能力并没有以牺牲英语能力为代价。萨林表示，对标准英语评估集的测试表明，该模型“在芬兰语基准方面已经优于现有模型，并且与英语性能相当或正在接近英语性能”。

大型科技公司的开源替代品

Sarlin 认为像 Poro 这样的开源模型代表了人工智能的未来，为主要科技公司的封闭模型提供了透明且合乎道德的替代方案。

“我个人相信，最终将会出现很多开源替代品，”Sarlin 说。 “最安全的前进方式是真正开源，并全面了解这些模型是如何构建的以及架构是什么。”

他补充道，“我们投入了大量精力来确保数据和模型方面的设计都符合监管要求。”

Silo AI 计划在整个训练过程中继续发布定期的 Poro 检查点。最终目标是创建涵盖所有欧洲语言的整个开源模型系列。如果初步结果有任何迹象的话，波罗可能很快就会与大型科技公司展开竞争。

与图尔库大学合作

Poro 代表了 Silo AI 和芬兰图尔库大学之间正在进行的合作。该大学 TurkuNLP 小组的研究人员一直是开发芬兰语开源资源和模型的先驱。

“我的研究小组加入了，一些教授也加入了，我们基本上扩大了公司规模，通过收入资助和自力更生。与其他许多公司相比，我们有很大不同，”萨林说。 “我们有 300 多人，其中大多数拥有人工智能相关领域的博士学位。”

此次合作将 Silo AI 的应用人工智能专业知识和计算资源与大学在多语言建模研究方面的领先地位相结合。 Sarlin 表示，它代表了工业界和学术界如何共同努力提高人工智能能力的模型，特别是对于资源匮乏的欧洲语言。

欧洲是开源人工智能的未来领导者吗？

Poro 的发布预示着自然语言处理领域开放协作和透明的新时代。 Poro Research Checkpoints 等举措为整个社区提供了以前锁定在科技巨头内部的工具和见解。

“我们与安联这样的客户合作。劳斯莱斯是我们的客户。我们正在与本田合作。我们正在与飞利浦合作。我们正在与许多大品牌合作，”萨林说。 “我们很长一段时间以来都听说这些较大的企业非常关心最终的监管会是什么样子以及他们可以使用哪些模式。”

如果 Poro 兑现其承诺，它可以实现高性能多语言模型的民主化，为欧洲提供一个本土替代美国科技公司系统的方案。尽管仍处于早期阶段，Poro 代表了将语言人工智能从专有孤岛带入开放的重要里程碑。