文丨Congerry
“你是一台成熟的电脑,该学会自己码代码了。”程序员的戏谑之言,没想到突然就要实现了。
昨天,一家名为 Cognition AI 的 AI 初创公司宣布,已经开发出第一位 AI 软件工程师 Devin。
因为它可以独立完成整个工作,而不是简单地协助人类程序员。
在 SWE-Bench 基准测试上进行评估时,Devin 在无人协助的情况下解决了 13.86% 的 GitHub 问题。
相比之下,即使在有人帮助的情况,GPT-4 也只能完成1.74%的任务。
Devin是在数据集 25% 的随机子集上进行评估的。Devin没有任何辅助,而所有其他模型都有辅助(这意味着模型被告知哪些文件需要编辑)。
而且在实际工作中,Devin不仅通过了顶尖人工智能公司的实践工程面试,甚至还在人力资源外包平台 Upwork 上完成了真实的工作。
这意味着,Devin 的工作能力已经被市场接受。而且,Devin还有一个优势是不知道累(tireless)。
不知疲倦+技术娴熟,直接让还没毕业的网友丧失“拉磨权”。
首位 AI 软件工程师 Devin 的工作展示
那 Devin 到底能做什么呢?
根据 Cognition AI 的介绍,Devin 的能力主要包括三个方面:
能够规划和执行需要数千个决策的复杂工程任务,通过长期推理和规划的进步,能够记住每一步的相关上下文,随时间学习,并修正错误。配备了开发者常用的工具,包括命令行界面、代码编辑器和浏览器,这些都在一个沙盒计算环境中。能够与用户实时协作,报告进度,接受反馈,并在需要时与用户共同进行设计选择。为了印证这些能力,Cognition AI 给了几个示例。
学习能力
Devin通过阅读博客文章学习了如何运行 ControlNet on Modal,然后生成带有隐藏信息(人名)的图像。
即使过程中发现了错误,Devin也可以自主修复并最终完成任务。
,时长00:54
端到端构建和部署应用程序
比如让Devin开发一个名为 Game of Life 的游戏,Devin 就会开始使用 Shell 工具创建一个新的 React 应用程序,并通过内置的编辑器编写代码。代码编写完成后,Devin 会自动将应用程序部署到 Netlify。
在游戏开发过程中,Devin 能够根据用户的请求逐一添加特定功能。
,时长01:58
在线接单
Cognition AI 的开发者之一 Walden 在 Upwork 上为 Devin 选择了一个任务,该任务涉及使用 GitHub 资源库中的模型进行推理,特别是用于道路损坏检测的项目。
客户要求提供详细的操作说明,说明如何在 AWS 的 EC2 实例中使用该模型,并且要求提交一份评估报告。
Walden 提到,尽管他自己不确定如何开始这项任务,但一旦将任务交给 Devin,事情就开始顺利进行。Devin 立即开始设置代码库。
在执行过程中,Devin 遇到了版本控制问题。Devin 通过更新代码来解决这些问题,继续进行软件包的加载和导入。
Devin 下载了互联网上的图像来运行模型,但在过程中遇到了一些问题。Devin 知道如何处理这些问题,通过添加打印语句进行调试,追踪数据流向,并根据调试结果更新代码。
Devin 持续修复代码并重新运行,直到模型能够在所有图像上运行。最终,Devin 对数据结果进行了抽样,并编写了一份包含损坏道路样本图像和详细文本文档的评估报告。
,时长02:01
看到这,谁汗流浃背了。
Cognition AI 团队介绍
Cognition AI 团队规模不大,只有10人,但人才济济,共获得 10 枚国际信息学奥林匹克竞赛(IOI)金牌。
团队成员拥有在应用人工智能领域领先公司的工作经验,如 Scale AI、Lunchclub、Modal、Google DeepMind、Waymo 和 Nuro。
Cognition AI 的核心创始团队由三位成员组成:首席执行官(CEO)Scott Wu、首席技术官(CTO)Steven Hao 和首席产品官(CPO)Walden Yan。
Steven Hao、Scott Wu、Walden Yan(从左到右)
Scott Wu曾就读于哈佛大学,是 Lunchclub 的联合创始人兼 CTO,连续三年获得 IOI 金牌。
Steven Hao毕业于 MIT 计算机专业,曾在多家知名公司工作,也是 IOI 金牌得主。
Walden Yan曾在哈佛大学学习,从事过密码学和机器学习研究,获得第 32 届 IOI 金牌。
此外,Scott Wu 的兄弟 Neal Wu 也是团队的一部分,并在 Cognition AI 工作。
Cognition AI 正式成立于2023年11月,距今不到半年时间,但是已经获得了由 Founders Fund 领投了 2100 万美元的 A 轮融资,并得到了 Patrick 和 John Collison、Elad Gil、Sarah Guo、Chris Re、Eric Glyman、Karim Atiyeh、Erik Bernhardsson、Tony Xu、Fred Ehrsam 等业界领袖的支持。
Cognition AI 致力于通过人工智能技术提高软件工程效率。对于 Devin 的出现,一些大佬此前已有预言。
黄仁勋在2024年世界政府峰会上说,如果是在过去的10到15年间,几乎每个人都会说应该学习如何编程。但现在情况完全相反,任何人都将不需要编程,编程语言将会更加人性化,未来世界上每个人都是程序员,技术鸿沟已经弥合。
几天前,在央视的《对话》节目上,李彦宏说,以后不会存在“程序员”这种职业了,因为只要会说话,人人都会具备程序员的能力。
好消息程序员的门槛在变低,坏消息是留给人类程序员时间不多了。
AI能干软件工程师的活啊,太厉害了![点赞]