在国内选择大模型时，面对众多选项如何选择？
在国内选择使用国内的大模型确实是一个明智的选择，因为这不仅能够更好地满足本地化需求，在数据安全性和响应速度上也具有明显的优势。但面对市场上众多的选项，我们自然会产生一些疑问：
1）大模型现在已经发展到了超过80种之多，每一种都声称自己在某些方面具有独特优势。那么，在这些模型中，哪一个才是目前最可靠、最适合特定应用场景的选择呢？例如，如果一个企业需要处理大量中文文本分析任务，应该优先考虑哪个模型？
2）哪一类排行榜能够提供更加客观准确的信息呢？随着大模型数量的增长，各种评测机构也开始发布能力排行榜试图帮助用户做出选择。然而，不同的评测标准和方法可能会导致结果差异巨大。在这种情况下，哪一类排行榜能够提供更加客观准确的信息呢？是基于性能指标（如准确率、召回率等）还是更注重用户体验方面的评价更为重要？
3）当我们真正去挑选适合自己的大模型时，除了关注其基本功能外，还应当综合考量哪些因素呢？比如，对于预算有限的小型企业而言，成本效益比可能是首要考虑的问题；而对于追求极致体验的高端用户来说，则可能更加看重模型的创新能力和定制化服务支持。此外，模型背后的技术团队实力、社区活跃度等因素也不容忽视。
这些问题的答案对于我们做出合适的选择至关重要，希望通过今天的讨论能为大家提供更多有价值的参考信息。
国内大模型第一梯队概览：Qwen、yi系列、glm在第一梯队，其他主流也有一席之地
第一梯队
Qwen 系列：由阿里云研发，最近刚开源了QWen 2.5版本，并提供了从7B到110B不同规模的模型选项，涵盖了全模态处理能力，包括但不限于视觉和文本等。这种全方位开放的态度不仅体现在其代码和技术文档上，还包括了对于研究者和开发者社区的支持与合作机会，使其成为国内大模型领域内一个非常有竞争力的选择。
yi系列：模型是由李开复领导的团队开发出来的，在多项评测中表现出色，位于行业前列。然而，相比其他一些项目来说，yi系列在开放程度上显得较为保守，仅有少数几个较小规模（最高达3.5B参数量）的版本被开源出来供公众使用或研究。
**glm系列 **： 出自智谱清言团队之手，该团队背后有着清华大学的强大支持。尽管glm-4已经被公开分享给外界，但在涵盖范围（比如多模态应用）、可选配置等方面仍略逊于像通义这样的竞争对手。不过，这并不妨碍它依然处于中国大型语言模型发展的第一梯队之中。
其他也不错的：
**豆包系列 **： 是字节跳动旗下的研究成果，尤其擅长处理C端用户的语音识别任务。但是，在与其他顶尖选手相比时，无论是技术实力还是国际影响力方面都还存在一定差距，尤其是未能参与到海外主流评测体系当中去。
**文心系列 **： 隶属于百度公司旗下，技术水平与字节跳动相仿。值得注意的是，虽然文心在国内的相关竞赛中有不错的表现，但似乎更倾向于专注于国内市场的发展策略。
**混元系列 **： 则来自于腾讯集团，其实力水平被认为与百度的产品相近。同样地，这个系列也主要关注于参与并优化针对中国大陆地区用户需求的技术解决方案和服务体验。
大模型客观评价方法解析
大模型本身的能力横评有两个主要的方式。
一种是“基准测试”或“考试模式”，其核心思路是通过一系列预设的问题来评估模型在特定任务上的表现，如数学推理、常识问答等。
另一种方式是“人类评估”或“竞技场模式”，它让两个模型针对同一个问题生成答案，再由人类评判哪个答案更优，这种方法更注重实际应用中的用户体验和满意度。
目前常见的基准测试包括：GSM-8K（侧重于数学解题能力）、MMLU（覆盖多领域知识的广度测试）、TheoremQA（专注于定理证明与逻辑推理）、GPQA（基于图像理解和描述的任务）。这些测试虽然存在一定的“刷分”现象（也就是把Q/A训练到模型里，这样他答题一定准确） ，但依然为比较不同模型提供了有价值的参考依据。而竞技场模式则由于其开放性和贴近真实使用场景的特点，在衡量模型综合性能时显得尤为重要，且通常与基准测试的结果相吻合。
从原理来说，最可信的测试，就是人类评估竞技场模式，这个模式可以非常客观的体现机器回答对人类的帮助，而且难以作弊，非常客观。
基准测试，可以参考huggingface的 ： https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard 。
而人类评估竞技场模式，也可以参考国外 ：
或者咱们国内的平替 思南平台 ： CompassArena
如何选择适合业务的大模型？
我们建议，可以从如下维度进行判断：
榜单排名：选择在权威榜单上排名前20的大模型，这些模型通常经过了严格的测试和验证。如果您的业务有特定需求，如代码编写或图像识别，可以优先考虑在该细分领域表现突出的模型，它们往往在相关训练数据上有更多倾斜。
国情考量：鉴于国内外网络环境及法律法规差异，使用国内开发的大模型能更好地确保服务稳定性和内容符合当地规定。此外，国内模型对于中文的理解和支持通常也更胜一筹。
部署灵活性：评估模型是否支持私有化部署至关重要，特别是在处理敏感信息时。这不仅涉及到安全性问题，还关系到能否满足某些行业特有的合规要求。同时，也需要确认供应商能够提供稳定的云端API服务以适应不同的应用场景。
成本效益分析：当通过API调用方式接入时，主要关注点在于各服务商之间的价格对比；而采取本地化部署方案，则需综合考量硬件投入与长期运维成本，一般来说，规模较小但性能达标的模型会是更具性价比的选择。
最后，整体而言通义Qwen表现出色值得推荐
通义Qwen目前是最为开放的大模型之一，它不仅提供了全尺寸的多模态大模型开源，还在多个关键评测指标上表现出色。
例如，在MMLU（大规模语言理解）、TheoremQA、GPQA等基准测评中，通义Qwen超越了Llama 3 70B，并在Hugging Face的Open LLM Leaderboard上位列榜首。这表明通义Qwen在理解和生成复杂内容方面具有显著优势。
在国内市场，通义Qwen的能力同样位于第一梯队。
经过实际测试，在结合RAG（检索增强生成）技术后，其指令遵从能力等核心功能完全满足用户需求。
此外，通义还提供了一项优惠政策——100万免费token供新用户试用，无论是通过API调用还是自行部署模型，成本都非常低，甚至可以实现零成本使用。特别是对于开发者而言，推荐关注Qwen和Qwen VL这两个版本，它们分别针对不同应用场景优化，在国内开源项目中均名列前茅。综上所述，无论从性能表现还是经济性角度考虑，通义Qwen都是一个非常值得推荐的选择。
版权归原作者 沈询-阿里 所有， 如有侵权，请联系我们删除。