主页 > 科技IT

Stability AI发布Stable LM 2 1.6B小语言模型

科技IT 2024-01-27 user15688

  如今，小型语言模型(SLM)变得非常流行。自2023年以来，微软研究院发布一套名为“Phi”的小型语言模型(SLM)。2023年12月，微软研究院发布了具有27亿个参数的pi -2模型。这个新模型在基本语言模型中提供了最先进的性能，参数少于130亿个。

  1月23日消息，据外媒报道，日前，Stability AI宣布发布Stable LM 2 16 b，这是一种16亿个参数小语言模型，使用英语、西班牙语、德语、意大利语、法语、葡萄牙语和荷兰语的多语言数据进行训练。

  与其他流行的小型语言模型，如微软的Phi-1.5 (1.3B)和Phi-2 (2.7B)， TinyLlama 11 b或Falcon 1B)相比，Stable LM 2 1.6B在大多数任务上表现更好。您可以查看下面的基准测试数据。

  由于该模型也是在多语言文本上进行训练的，因此在ARC Challenge、HellaSwag、TruthfulQA、MMLU和LAMBADA的翻译版本中，它比其他可比模型的表现要好得多。

  “通过发布小型语言模型，并为其训练细节提供完全透明，我们的目标是使开发人员和模型创建者能够快速实验和迭代。”Stability AI写道。

The End
免责声明：本文内容来源于第三方或整理自互联网，本站仅提供展示，不拥有所有权，不代表本站观点立场，也不构成任何其他建议，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容,不承担相关法律责任。如发现本站文章、图片等内容有涉及版权/违法违规或其他不适合的内容， 请及时联系我们进行处理。
上一篇： 四川雅安2024年主要预期目标：签约落地总投资60亿元的安雅特电10GWh大容量凝胶固态锂电池项目

下一篇： 全国首个！集装箱式锂电池储能系统海上安全运输指南发布

相关阅读

Copyright © 2099 搜索科技

苏ICP备2023036119号-10 |——：

|—— TXT地图 | 网站地图 |