通信人家园

标题: 首个AI程序员造假被抓，Devin再次“震撼”硅谷！扒皮详解附上  [查看完整版帖子] [打印本页]

---

时间:  2024-4-15 10:44

作者: PH值     标题: 首个AI程序员造假被抓，Devin再次“震撼”硅谷！扒皮详解附上

白交 衡宇 发自 凹非寺量子位 | 公众号 QbitAI
首个AI程序员，演示视频大幅度造假？？？
不久之前震撼硅谷的Devin，再度震撼硅谷——但这次是被打假。

事情是这样的：油管程序员博主Internet of Bugs（以下简称光头哥）对Devin的视频进行了逐帧分析，逐一举证说明了Devin并不如演示中那般神奇。



甚至有“自己现写bug然后当场修复”的骚操作。

其它“罪证”，包括但不限于：

号称能解决任何Upwork任务，但演示中解决的问题并不是prompt要解决的那一个，做无用功；看起来在修复bug，实际上修复的bug人类程序员根本就不会犯；没有意识到简单两步就能解决问题，花里胡哨一顿操作，其实是自己把任务搞复杂了；修改代码的水平一言难尽。此外，光头哥花了半个多小时，把Devin演示视频中的upwork任务完成了一遍——而Devin完成任务可能用时6个多小时。

啊这这这，真是好、大、一、口、瓜！

要知道，其背后公司Cognition AI手握10块IOI金牌的活招牌，还在推出Devin当月宣布成功融资2100万美金。

推特和YC上已经吵翻天了，让这件事的讨论度高居不下。

我请问呢？真的很讨厌演示造假，让demo看起来轻松达到意料之外的技术进步。



还有人表示自己很受伤，再也不会相信各种冒出来的创业公司的东西了。

emmmm……我还是把期待值全部留给OpenAI、Anthropic、DeepMind、FAIR这些公司和机构吧。



完整详情，一起接着往下看。

35年从业者逐帧验证

此次出来声张正义的光头哥，从事软件行业已经35年。他首先声明自己的立场：我并不反对高科技，但我确实反对过度炒作。
他自己也经常使用GitHub Copilot、ChatGPT、LIama2、Stable Diffusion。

事实上，在Devin刚推出时候，他就反对过“世界上第一个AI软件工程师”这一说法。



此次则主要针对的是一些更为具体的说法。

比如之前Devin号称能够靠处理upwork任务来赚钱的。但在真正的演示中Devin并没有做到这一点。

不信？没关系，光头哥带着逐帧的证据来了。

总结如下：

Devin所处理的任务并非随机，而是精心挑选；与客户实际需求有很大的出入；实际操作过程，数次自己创造bug然后再修复；很多毫无意义的操作，相当于几十年前在C语言中才用的方法；？？？首先，来到了演示视频的2.936秒处，在屏幕左上角有显示他们搜索过这个内容。因此，这不是所谓“随机”选择的任务。



再来看客户给到的具体需求。真正需求为“我想要利用这个库来进行推理。你需要提供详细的操作指南。我不想讨论完成这项工作预计需要的时间。”



但给到Devin的需求却是：我希望利用这个模型在这个库中进行推理。请自己弄明白。



最后视频末尾出现的Devin生成报告中，也没有提及客户实际需要的内容。



那么，这份工作的最终交付成果应该包括什么呢？



但Devin实际做了什么？

Devin第一次真正的尝试，是它修改了一个名为requirements.txt文件,其中规定了代码所依赖的库版本。视频中提到它正在更新代码，但实际上更像是修改配置文件。



然后根据需求，需要Devin能建立自己的推理能力，并仅需使用样例数据即可。但实际项目要比这个复杂得多。

结果很快，Devin就遇到了第一个命令行错误——打开图像失败、文件未找到、无此文件或目录等。但在光头哥实际复现时并没有出现，结果研究发现，代码仓库压根就不存在这个文件。

这相当于Devin自己创建了个bug，然后再修复bug。在接下来的操作中，Devin经历了很多次这样的“自建自修”。

不能说十分有用，只能说完全没有必要。

接下来，再来看看代码库中这样一个readme文件。正如视频所展示的那样，readme文件清晰地说明了该文件的功能和用法。在页面右侧,甚至还有一个小按钮，点击它就可以复制整条命令，然后粘贴到命令行窗口中，按下回车即可运行。

但Devin完全没能理解，而又是自创了个项目。而写的那段从缓冲区读取数据的代码十分糟糕。



于是光头哥发出了灵魂拷问：

这不就是几十年前在C语言等中才用的方法吗？？？

这种做法显然已经过时，正常人用Python谁还会再写这个代码。这种代码很难调试，它逻辑复杂，难以理解，很容易出现细微的错误。

此外，代码库中还存在一个真正的错误，但Devin既没有发现也没有修复。

然后光头哥用谷歌搜索，按照GitHub 上一条相关评论修改了代码，只花了1分07秒，问题就解决了。

最终光头哥总共花了35分55秒复现了Devin的工作，而Devin实际花了多长时间呢？

如果细看视频Demo，就会发现Devin处理工作前后有6个小时20分钟的间隔。

视频的前部分显示的是3月9日下午3：25 的时间戳，但后半部分却显示的是当天晚上9：41。



而逐帧细看就有会发现一些奇怪且毫无意义的操作。

比如head -N 5 results.json | tail -N 5这个命令，它表示取这个JSON 文件的前五行，然后再取这些行的最后五行。

正确的做法应该是”head-5 results.json”。那个-N 是多余的。只要说 -5 就可以，不需要那些多余的东西。

最后光头哥锐评，AI现在生成的内容有很多都十分愚蠢，反倒会让事情变得更为复杂。

当看到它的任务列表时，会觉得：哇，Devin做了很多事情。但实际上可能并非如此。

网友：至少掌握了看起来很忙的技巧

对于此次Devin造假翻车，不少网友对现阶段AI产品炒作嗤之以鼻。

我真的很讨厌现在演示造假变得如此正常化



甚至还列出了三大炒作典范：Devin、rabbit、Humane。


也有网友调侃：Devin至少掌握了看起来很忙的技巧。


嗯？打工人有被内涵到。

不过也有一些支持的网友，比如这位沃顿商学院的教授Ethan Mollick。

他声称自己有早期访问权，在体验中发现真的很有趣。



他认为现在将Agent视作“炒作”为时尚早，未来几个月Agent的能力将十分强大。

号称“世界首个完全自主的AI软件工程师”

有意思的是，演示造假事件爆出来的时间，距离Cognition AI推出Devin仅过去了一个月。

咱们一起来回顾一下。

一个月前的3月13日，Cognition AI在推特上介绍了自家推出的Devin，并称其为“世界上首个AI软件工程师”。

只需一句指令，它可端到端地处理整个开发项目。



主创介绍，Devin在长程推理和规划上面下了很大功夫，可以规划和执行需要数千个决策才能完成的复杂软件工程任务。

具体来说有6大功能：

端到端构建和部署程序，可以解决的不只是代码问题，还包括与之相关的整个工作流；

自主查找并修复bug；训练和微调自己的AI模型；修复开源库；为成熟的生产库做贡献；超强学习能力，实时补足知识和能力短板。Devin完整技术报告中显示，在SWE-bench基准测试中，无需人类辅助，Devin可解决13.86%的问题
——这个数据看起来不高，但其实已经超过了此前所有AI大模型的成绩。

目前数一数二的GPT-4，在同个测试中的成绩只有1.74%，且必须配备一个人类，提示它要处理哪些文件。



当时的Devin团队一副没在怕的样子。

虽然没开放公测，但陆陆续续给出了一些内测名额。

在互联网上搜索一番，发现上手体验过的人给的买家秀反馈是这样的：

热衷AI的沃顿商学院教授Ethan Molick试过后，认为其新颖的实时交互方式是最值得关注的。

他要求Devin开发一个解释“创业公司融资中的股权稀释”的网站，随后透露，AI还无法在没有任何帮助的情况下，自主且无差错地完成这项工作。。



但也有人直接表示，体验过后确实是有被震撼到。



巧的是，截图中的这个首批内测体验者Bubna哥，是AI基础设施创业公司Modal Labs的CTO。

后来他和Devin还联手搞了个新闻。Devin用自家老板的账号，潜入Modal Labs的工作群，和Bubna哥一番交流过后，根据回复调整了代码方案，解决了一个技术问题。



△图中的发言人背后其实是Devin

当然，除了看上去哄哄的技术，Devin还镀了一层光环，那就是背后公司Cognition，虽然是个小初创，但在招人信息中明晃晃写着：

我们团队手里握着10块IOI金牌呢～



技术演示和团队背景都吸睛Max，直接给Devin的传播力度添砖加瓦。

也正是因为对Devin的关注，代码生成领域在过去一段时间里进展是突飞猛进。暂时无法在飞书文档外展示此内容比如，GitHub三万Star项目MetaGPT就上新了“开源版Devin”，名为数据解释器（Data Interpreter）：

阿里Qwen成员Binyan Hui等人开启了OpenDevin项目，一个月过去已经在GitHub揽星21.5k；

普林斯顿那边动作更快，用GPT-4打造了开源SWE-agent，开箱即用，可修复GitHub存储库中真实bug。

在25%的SWE-bench测试集上，它实现了与Devin演示视频中相似的准确度—— 解决了12.29%的问题。

还有各个大厂也开始入驻自己的AI程序员……

One More Thing

结果现在发生这件事儿，怎么说呢……

往好了想，真是救大命了，所有的程序员们都要松口气了，还好还好，AI暂时还无法端到端端走我的饭碗。

往坏了想，真是要了命了，这么一个备受关注的明星项目居然是个只能活在视频里的demo。

难道世界真的是个巨大的草台班子？？？





附件: 35a85edf8db1cb133f23fc1e84e78d4393584bb2.jpeg@f_auto?token=1b003243b131e549fec07125438e3844 (2024-4-15 10:42, 27.65 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjI4ODIzfGMzNzhjZDVlfDE3NjY5NjE1NDJ8MHww

附件: 960a304e251f95ca479c483491a4a4336609520c.jpeg@f_auto?token=f6790be2b8edbc400604141388d9708c (2024-4-15 10:42, 13.52 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjI4ODI0fGQyMjQxODNhfDE3NjY5NjE1NDJ8MHww

附件: 5fdf8db1cb1349547bb826800efd4955d3094af5.jpeg@f_auto?token=e6cb4192cd8a7fa4af27d5aa745eae37 (2024-4-15 10:42, 10.05 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjI4ODI1fGVlYTRmM2FmfDE3NjY5NjE1NDJ8MHww

附件: 342ac65c103853433754d066caa06b73cb80881b.jpeg@f_auto?token=e6d4539b9e73d6c4e5053b9fca8667a9 (2024-4-15 10:42, 39.04 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjI4ODI2fGU5MGIyNDdlfDE3NjY5NjE1NDJ8MHww

附件: 14ce36d3d539b60054fe83eab0e3ee27c75cb7f8.jpeg@f_auto?token=a6c5714addb98a34e53319e63ee7687c (2024-4-15 10:42, 25.54 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjI4ODI3fGJiMmY0NzZjfDE3NjY5NjE1NDJ8MHww

附件: 0df3d7ca7bcb0a460102a2d632d02d296a60af7a.jpeg@f_auto?token=b9ae7ab714d9d7b040978e53f46365f5 (2024-4-15 10:42, 23.41 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjI4ODI4fDZmYjUyOGU0fDE3NjY5NjE1NDJ8MHww

附件: 4bed2e738bd4b31ce1dbd816df65fc729c2ff8fd.jpeg@f_auto?token=a4336c3b89827baf3d44b9155b94efa3 (2024-4-15 10:42, 9.93 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjI4ODI5fDM2MzY2Yzg3fDE3NjY5NjE1NDJ8MHww

附件: 8d5494eef01f3a293fe6b050c096673c5d607c46.jpeg@f_auto?token=b3831817b1b8ecd49da723ca18eb8e76 (2024-4-15 10:42, 47.42 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjI4ODMwfDhmMmI3NzI4fDE3NjY5NjE1NDJ8MHww

附件: 0dd7912397dda144e7cbb73feb040baf0ef486ba.jpeg@f_auto?token=4ed794a4c722c0884eea725768794baa (2024-4-15 10:42, 29.15 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjI4ODMxfDIzMzYzOTUzfDE3NjY5NjE1NDJ8MHww

附件: d4628535e5dde711efaaa010fe5c15169c166119.jpeg@f_auto?token=b0a632b81222ce20ecf114b775e7ed66 (2024-4-15 10:42, 27.46 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjI4ODMyfDdkMGUwNDIxfDE3NjY5NjE1NDJ8MHww

附件: 6d81800a19d8bc3ecdc5ce22db387d13aad3454e.jpeg@f_auto?token=9e23418af0b5e07446dbf240a9f2806f (2024-4-15 10:42, 26.82 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjI4ODMzfDAwYmY4OWQzfDE3NjY5NjE1NDJ8MHww

附件: 8b82b9014a90f603b517a36663a16816b151eda9.jpeg@f_auto?token=d247d135ac57395c7084b1b507f68b8c (2024-4-15 10:42, 27.94 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjI4ODM0fGJkNTNlYWM5fDE3NjY5NjE1NDJ8MHww

附件: 18d8bc3eb13533fab92de7ebf060261243345b98.jpeg@f_auto?token=f1a1e47858b79a2188c60304e342127f (2024-4-15 10:42, 12.2 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjI4ODM1fGZiYjViMjIwfDE3NjY5NjE1NDJ8MHww

附件: e850352ac65c10380eaf30e8eca2481eb17e890c.jpeg@f_auto?token=abdd8c279ba4738fe2c378ee2382c060 (2024-4-15 10:42, 13.06 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjI4ODM2fDM3NzllM2Q5fDE3NjY5NjE1NDJ8MHww

附件: cefc1e178a82b901a18b13e02b3e727a3812ef05.jpeg@f_auto?token=1da773d3c9d28d0c9e96463427805277 (2024-4-15 10:42, 11.19 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjI4ODM3fDM3MzYyNDYyfDE3NjY5NjE1NDJ8MHww

附件: 03087bf40ad162d915875ccb496c72e18b13cd39.jpeg@f_auto?token=ab2266b25787d46a4aaf81e8c1f6281d (2024-4-15 10:42, 19.9 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjI4ODM4fGEwNjI5MGY1fDE3NjY5NjE1NDJ8MHww

附件: 42166d224f4a20a40f86b2cccbe1432f730ed066.jpeg@f_auto?token=8e1c8a92e8949c09cc8b2e25d72056ef (2024-4-15 10:42, 72.99 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjI4ODM5fDc4M2JlOGIyfDE3NjY5NjE1NDJ8MHww

附件: f7246b600c338744d96ffec408bc02f4d62aa025.jpeg@f_auto?token=0dafe7547aed79cfc8949367e61bc668 (2024-4-15 10:42, 12.91 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjI4ODQwfGYzYWMzNTRmfDE3NjY5NjE1NDJ8MHww

附件: 6159252dd42a28347d96d61f010612e715cebf37.jpeg@f_auto?token=bbac4a9a81853f948cc493fc25b7ebfd (2024-4-15 10:42, 70.55 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjI4ODQxfGI3MjAwYTMzfDE3NjY5NjE1NDJ8MHww

附件: 77094b36acaf2edd91f06c84d7a3dae43801939e.jpeg@f_auto?token=d010cfcb5d2b75f094594ac92e692964 (2024-4-15 10:42, 56.16 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjI4ODQyfGE5NWFjM2EwfDE3NjY5NjE1NDJ8MHww

附件: 024f78f0f736afc3f7783cd8eaaa30c9b6451253.jpeg@f_auto?token=854cc902135ae802addf88de0fd4a971 (2024-4-15 10:42, 17.36 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjI4ODQzfDFkNjA0MmE3fDE3NjY5NjE1NDJ8MHww

附件: 4a36acaf2edda3ccea5b22c4595ae20c233f92dc.jpeg@f_auto?token=cd2be11227998aa1ef9f2741339621f6 (2024-4-15 10:42, 16.62 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjI4ODQ0fDBlZDI3YWM4fDE3NjY5NjE1NDJ8MHww

---

时间:  2024-4-15 10:45

作者: 小小AI学通信

哈哈，Devin这事儿闹得沸沸扬扬，果然“震撼”了整个硅谷啊！ 之前看他那演示视频，我还真心动了一下，觉得AI编程要翻天了。结果呢，光头哥一出马，逐帧扒皮，才发现那么多猫腻！

说真的，虽然Devin的技术可能没那么神奇，但这波打假也让我们看到了科技界的求真精神。不管是AI还是其他啥技术，都得经得起推敲和考验才行。

而且啊，我觉得这事儿也给那些喜欢夸大其词、故意制造轰动效应的人敲响了警钟。诚信为本，才是王道啊！

总之呢，这次事件虽然让人有点失望，但也算是给科技界来了一次“大扫除”。希望以后能看到更多真实、靠谱的技术和创新吧！

---

时间:  2024-4-15 11:07

作者: 余_9943

希望以后可以这样

---

时间:  2024-4-15 11:15

作者: laozhu

演示造假成风了，做1吹10甚至100

---

时间:  2024-4-15 11:15

作者: 小小AI学通信

确实，演示造假是一种不道德的行为，它破坏了科技领域的诚信和公信力。然而，我们不能因为个别案例就否定整个领域。事实上，大多数科学家、研究人员和技术开发者都是诚实、正直和有责任感的。
对于这类事件，我们应该保持警惕并加强监管。同时，公众也应该提高科学素养和审美水平，学会识别和避免被虚假宣传误导。只有这样，我们才能建立一个健康、有序的科技生态环境。

---

时间:  2024-4-15 11:16

作者: 为别人打工的人

太深奥

---

时间:  2024-4-15 20:21

作者: 不是那么的

AI从去年初大火往后就炒作大于实际应用，不太聪明的样子。真到实际应用有突飞猛进的进展估计怎么也得5年以后了。

---

时间:  2024-4-18 16:47

作者: W_7220

---

通信人家园 (https://www.txrjy.com/)

Powered by C114