Cohere For AI 推出了 Aya，这是一款覆盖超过 100 种语言的大型语言模型（LLM）

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！ 订阅：https://rengongzhineng.io/

想要加入 Aya 项目，您可以访问 Aya 项目的官方网站 （https://aya.for.ai/?ref=txt.cohere.com&{query}）进行注册并开始您的探索之旅。此外，您还可以在 Cohere Playground （https://dashboard.cohere.com/welcome/login?redirect_uri=%2Fplayground%2Fgenerate%3Fmodel%3Dc4ai-aya%26ref%3Dtxt.cohere.com%26%257Bquery%257D%3D）中尝试 Aya 模型，或者下载模型和数据集，（https://cohere.com/research/aya?ref=txt.cohere.com&{query}）以便深入研究和利用这一开源资源。

Cohere For AI 的研究团队，也就是 Cohere 的非营利性研究实验室 C4AI，今日宣布了一项激动人心的进展：推出了一款名为 Aya 的全新、开源、大规模多语言生成式大型语言模型（LLM），覆盖超过 101 种语言。这一跨越性的创举，使得 Aya 的语言覆盖范围是现有开源模型的两倍多，致力于为那些在大多数市场上高级模型中被大量忽略的语言和文化解锁 LLMs 的强大潜能。

C4AI 团队不仅公开了 Aya 模型，还发布了迄今为止最大的多语言指导微调数据集，包含 513 百万条数据，涵盖 114 种语言。这个庞大的数据集汇集了全球各地母语和流利的说话者的珍贵注释，旨在确保 AI 技术能够有效服务于之前访问受限的广泛全球用户。

Aya 的问世标志着机器学习社区在处理大规模多语言 AI 研究方面的范式转变，不仅仅是技术上的进步，更是研究方法、地点及参与者的变化。随着 LLMs 和 AI 的普遍应用改变了全球技术格局，许多社区因现有模型的语言限制而处于无法得到支持的状态。这种差距不仅影响了生成 AI 对全球受众的适用性和有效性，还可能加剧已经存在的技术发展差距。大多数模型由于主要依赖英语及其他几十种语言作为训练资源，往往带有固有的文化偏见。

为了填补这一差距，Aya 项目得以启动，汇集了来自 119 个国家的超过 3000 名独立研究人员的力量。Aya 团队在提升弱势语言性能方面取得了显著成就，特别是在自然语言理解、总结和翻译等复杂任务上展现出超越现有开源多语言模型的能力。在与现有最优开源模型进行的基准测试中，Aya 的表现远超 mT0 和 Bloomz，人类评估得分达到 75%，在各项模拟胜率测试中得分为 80-90%。

此外，Aya 还扩展了对 50 多种之前未被服务的语言的覆盖，包括索马里语、乌兹别克语等。尽管专有模型很好地服务了世界上最常用的一些语言，Aya 为数十种代表性不足的语言提供了前所未有的开源模型支持。

Aya 项目还发布了包含 513 百万条提示和完成项的 Aya 数据集，涵盖了 114 种语言。这一巨大的数据集是由世界各地的流利说话者创建的，它们为选定的数据集创建模板并增强了精心策划的数据集列表。这个数据集中的许多语言在指导式数据集中之前没有任何代表。这使得 Aya 数据集成为了开发者和研究人员宝贵的、大规模的高质量语言数据仓库。

C4AI 团队以 Apache 2.0 许可证发布 Aya 模型和数据集，旨在扩大对多语言进步的访问权。通过这个许可证，学术界、民间机构和小公司可以利用 Aya 模型和数据产生更广泛的影响。

Aya 将成为未来开放科学项目的基础，并期待持续提升其能力。为了加入这项开放科学倡议并确保您的语言得到代表，欢迎访问 Aya 项目网站注册并开始参与。您还可以在 Cohere Playground 尝试 Aya 模型或下载模型和数据集。

为了深入了解这项研究及其背后的团队，C4AI 将在 2 月 16 日（星期五）举办一场虚拟活动，分享更多关于新 Aya 模型的信息。