OpenAI研究人员发现,AI无法解决大多数编程问题
2月24日消息,据外媒报道,OpenAI的研究人员承认,即使是最先进的AI模型仍然无法与人类程序员匹敌,尽管首席执行官山姆・奥特曼(Sam Altman)坚称,到今年年底,他们将能够击败“低级”的软件工程师。
在一篇新论文中,该公司的研究人员发现,即使是前沿模型,或最先进、最具突破边界的人工智能系统,“仍然无法解决大多数”编码任务。
研究人员使用了一种名为sw-lancer的新开发基准,该基准基于自由职业者网站Upwork的1400多个软件工程任务。使用这个基准,OpenAI测试了三个大模型,它自己的o1推理模型和旗舰GPT-4o,以及Anthropic的克劳德3.5十四行诗。
具体地说,新的基准评估了大模型对Upwork中的两种任务的执行情况:单个任务,涉及解决错误并实现对它们的修复,或者管理任务,看到模型试图缩小并做出更高级别的决策。
这些模型在Upwork上承担了累积价值数十万美元的任务,但它们只能修复表面的软件问题,而无法在更大的项目中找到BUG或找到它们的根本原因。
这篇论文指出,尽管这三位大模型通常能够“比人类快得多”地操作,但他们也未能把握漏洞的普遍程度或理解它们的背景,“导致解决方案不正确或不够全面。”
正如研究人员解释的那样,Claude 3.5 Sonnet比两个OpenAI模型表现得更好,比o1和GPT-40赚得更多。尽管如此,它的大多数答案都是错误的,根据研究人员的说法,任何模型都需要“更高的可靠性”来信任现实生活中的编码任务。
更直白地说,这篇论文似乎表明,尽管这些前沿模型可以快速工作并解决放大任务,但它们在处理这些任务方面远不如人类工程师熟练。
尽管这些大模型在过去几年里发展迅速,而且很可能会继续发展,但他们在软件工程方面的技能还不足以取代现实生活中的人,这并不妨碍首席执行官们解雇他们的人类程序员,转而支持不成熟的人工智能模型。
下一篇: Arteris 发布新一代 Magillem Registers实现半导体软硬件集成自动化
相关阅读
- 比特早报:Gartner预测2024年全球AI芯片收入将增长33%,多地规划发放算力券
- 比特网早报:马斯克被网友用DeepSeek打脸,微软据悉加大力度抢夺AI人才
- 康普观点:在2025年推动采用更广泛、更可持续发展的网络技术
- 英飞凌重组销售与营销组织,进一步提升以客户为中心的服务及领先的应用支持能力
- 芯和半导体获2025年度中国IC设计成就奖之年度创新EDA公司奖
- Nordic Semiconductor与德国电信合作实现万物蜂窝互联
- DDR4供需格局突变,存储大厂紧急调整产能稳市场
- 富昌电子推荐英飞凌PSoC 4000T 微控制器,开启突破性低功耗触控解决方案
- 比特网早报:中国6G专利申请量全球第一,软银与OpenAI达成修订协议
- 全球电子协会(Global Electronics Association)正式亮相,新名称传承IPC 70年影响力,赋能全球6万亿美元电子产业发展