Stability AI发布Stable LM 2 1.6B小语言模型
科技IT 2024-01-27 user15688
如今,小型语言模型(SLM)变得非常流行。自2023年以来,微软研究院发布一套名为“Phi”的小型语言模型(SLM)。2023年12月,微软研究院发布了具有27亿个参数的pi -2模型。这个新模型在基本语言模型中提供了最先进的性能,参数少于130亿个。
1月23日消息,据外媒报道,日前,Stability AI宣布发布Stable LM 2 16 b,这是一种16亿个参数小语言模型,使用英语、西班牙语、德语、意大利语、法语、葡萄牙语和荷兰语的多语言数据进行训练。
与其他流行的小型语言模型,如微软的Phi-1.5 (1.3B)和Phi-2 (2.7B), TinyLlama 11 b或Falcon 1B)相比,Stable LM 2 1.6B在大多数任务上表现更好。您可以查看下面的基准测试数据。
由于该模型也是在多语言文本上进行训练的,因此在ARC Challenge、HellaSwag、TruthfulQA、MMLU和LAMBADA的翻译版本中,它比其他可比模型的表现要好得多。
“通过发布小型语言模型,并为其训练细节提供完全透明,我们的目标是使开发人员和模型创建者能够快速实验和迭代。”Stability AI写道。
The End
相关阅读
- 尼得科(苏州)应邀参加IAPS2026第14届中国国际汽车动力系统峰会
- TrendForce:2025Q2 新能源车汽车销量达 486.8 万辆,同比增长 30%
- 节后市场冷清 光伏各环节面临各自难题
- 微软获得Inflection大模型使用权及大部分员工
- 第三季营收103.65亿美元!高通CEO:正在开发数据中心CPU和AI推理芯片!
- 霍尼韦尔将收购Civitanavi Systems以加强航空领域的自主操作产品能力
- 移动机器人的未来:利用最新芯片与技术实现行业革命
- TÜV莱茵第十二届光储盛典在苏州举行 共探产业新生态下的发展路径
- DCLI 部署 BlackBerry Radar 技术覆盖10万个车架,提高车队运营效率
- 英飞凌发布边缘AI软件解决方案品牌DEEPCRAFT,并推出新型成熟模型