DeepMind利用可微缓存技术革新人工智能_科技IT

DeepMind利用可微缓存技术革新人工智能

科技IT 2025-01-05 erej8986

12月28日消息，谷歌的DeepMind团队推出了一种名为“可微缓存增强”(Differentiable Cache Augmentation)的创新方法，旨在显著提高大型语言模型(LLMs)的推理能力，同时不增加计算需求。

这种开创性的方法代表着在优化人工智能以应对复杂任务方面迈出了重要一步，实现了效率与性能的平衡。

LLMs在解决语言处理、数学和逻辑推理中的复杂问题方面发挥着核心作用。随着这些模型的复杂性不断增加，研究人员面临着在保持效率的同时实现高性能的挑战。

现有方法通常依赖于在任务执行过程中生成中间步骤，这会增加延迟并降低计算效率。这些局限性阻碍了LLMs处理需要大量推理或更长依赖关系任务的能力。

DeepMind的新技术采用了一个经过训练的协处理器，该协处理器使用潜在嵌入来增强LLM的键值(kv)内存缓存。关键的是，基础LLM保持冻结状态，而协处理器则异步进行训练。

该过程分为三个阶段：

冻结的LLM从输入序列生成一个键值对(kv)缓存。

协处理器使用可训练的软标记来处理这个缓存，从而生成丰富的潜在嵌入。

增强的缓存被反馈到LLM中，提高了输出的质量。

The End

免责声明：本文内容来源于第三方或整理自互联网，本站仅提供展示，不拥有所有权，不代表本站观点立场，也不构成任何其他建议，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容,不承担相关法律责任。如发现本站文章、图片等内容有涉及版权/违法违规或其他不适合的内容，请及时联系我们进行处理。

DeepMind利用可微缓存技术革新人工智能

分类导航

最新文章

本栏文章

随机文章

友情链接

DeepMind利用可微缓存技术革新人工智能

相关阅读

分类导航

最新文章

本栏文章

随机文章

友情链接