Hugging Face发布SmolLM系列小模型
科技IT 2024-07-22 yu66841
7月22日消息,Hugging Face日前推出了SmolLM,这是一款全新的紧凑型语言模型系列,其中包含1.35 亿、3.6亿和17亿参数模型,旨在容纳各种计算资源。
Hugging Face公司SmolLM项目首席机器学习工程师Loubna Ben Allal表示:“我们不需要为每项任务都建立大模型,就像我们不需要一个破碎球在墙上钻孔一样。为特定任务设计的小模型可以完成很多工作。”
体量最小的SmolLM-135M模型尽管在训练阶段使用的token较少,但表现仍然优于Meta的MobileLM-125M。SmolLM-360M号称在性能上超越了所有参数低于5亿的模型。旗舰级模型SmolLM-1.7B则在多项基准测试中击败了微软的Phi-1.5、Meta的MobileLM-1.5B等模型。
值得一提的是,Hugging Face还将整个开发过程开源,从数据管理到训练步骤。这种透明度与公司对开源价值观和可重复研究的承诺相一致。
这些模型的出色表现归功于精心策划的训练数据。SmolLM基于Cosmo语料库构建,其中包括Cosmopedia v2(合成教科书和故事)、Python Edu(教育Python示例)和FineWeb Edu(精心策划的教育网络内容)。
“我们使用SmolLM获得的性能表明了数据质量的重要性。我们开发了创新的方法来精心策划高质量的数据,使用网络和合成数据的组合,从而创建了最好的小模型。”Loubna Ben Allal说道。
The End
相关阅读
- 从LLM到AI Agent:优博洛 × acrossAI解析企业如何实现2.78倍增长与全球化出海
- 比特周报:北京将发布第一代通用开放人形机器人本体,苹果拟将谷歌Gemini植入iPhone
- 消息称台积电等晶圆代工厂调价,涨幅从 10%至逾 20%不等
- 罗姆SiC功率器件助力宝马新世代“Neue Klasse”电动动力总成
- IC China 2024北京开幕:英特尔分享洞察,促智能计算应用落地
- 比亚迪汽车新技术研究院荣获DEKRA德凯ISO/SAE 21434 汽车网络安全管理体系认证证书
- 超发25%!爱旭N型ABC为泉州业主带来“意外之喜”
- 全球最大规模5G RedCap现网试验完成,5G轻量化商用时代到来
- 长电科技成功发行2026年度第一期科技创新债券
- 不严肃科技:数据安全需防患于未然