DeepMind利用可微缓存技术革新人工智能
科技IT 2025-01-05 erej8986
12月28日消息,谷歌的DeepMind团队推出了一种名为“可微缓存增强”(Differentiable Cache Augmentation)的创新方法,旨在显著提高大型语言模型(LLMs)的推理能力,同时不增加计算需求。
这种开创性的方法代表着在优化人工智能以应对复杂任务方面迈出了重要一步,实现了效率与性能的平衡。
LLMs在解决语言处理、数学和逻辑推理中的复杂问题方面发挥着核心作用。随着这些模型的复杂性不断增加,研究人员面临着在保持效率的同时实现高性能的挑战。
现有方法通常依赖于在任务执行过程中生成中间步骤,这会增加延迟并降低计算效率。这些局限性阻碍了LLMs处理需要大量推理或更长依赖关系任务的能力。
DeepMind的新技术采用了一个经过训练的协处理器,该协处理器使用潜在嵌入来增强LLM的键值(kv)内存缓存。关键的是,基础LLM保持冻结状态,而协处理器则异步进行训练。
该过程分为三个阶段:
冻结的LLM从输入序列生成一个键值对(kv)缓存。
协处理器使用可训练的软标记来处理这个缓存,从而生成丰富的潜在嵌入。
增强的缓存被反馈到LLM中,提高了输出的质量。
The End
相关阅读
- Kioxia与Sandisk推出下一代3D闪存技术,实现4.8Gb/s的NAND接口速度
- Nordic Semiconductor助力蜂窝物联网监控解决方案 帮助挪威霍尔滕市政府应对管道泄漏造成的饮用水泄漏问题
- Crayon获得AWS生成式人工智能能力认证
- 比特早报:国内首个算力互联公共服务平台发布,软银收购Graphcore
- 象帝先新一代伏羲架构GPU将采用5nm工艺,算力可达160TFLOPS?
- TE 泰科“手把手”教您为旋转设备状态监测选择合适的传感器
- 比特早报:代表委员聚焦科技产业转型升级,欧盟准备制定全面的人工智能规则
- 贸泽电子与Analog Devices和Samtec携手推出全新电子书 分享机器人、AI和ML领域的专家观点
- 广西融安县发布分布式光伏并网接入红色预警公告
- Zoom推出Vision Pro专用会议软件,适配“数字分身”等特有功能