论文一键转代码论文代码复现工具
PaperCoder:论文转代码工具,专治未公开代码的论文。
PaperCoder是一个多智能体(multi-agent)系统,可以把机器学习领域的论文,自动拆解、理解,最后生成一个可以直接跑的完整代码库。
整个过程遵循三个阶段【图1】,保证生成的代码既准确又可执行:
- Planning阶段:首先,PaperCoder会制定一个详细的开发路线图,画出系统架构图(比如UML图),整理出各模块之间的依赖关系,同时生成一份标准配置文件(config.yaml),为后续工作做准备。
- Analyzing阶段:接着,每一个即将生成的文件都会被深入分析,比如它需要实现什么功能,输入输出是什么,和其他模块有什么耦合,确保还原实验细节不走样。
- Coding阶段:最后,系统根据之前的规划和分析,顺序生成各模块代码,严格遵循依赖关系,保证仓库一生成就能基本无障碍运行。
下面来到大家最关心的问题——效果如何?
在Paper2Code和PaperBench这两个公开基准测试上,PaperCoder表现出色。【图2】
无论是模型自动评分,还是MS/PhD学生的人类打分,它都大幅领先ChatDev和MetaGPT。
具体来看,PaperCoder的代码改动率只有0.48%,也就是说,平均每1000行代码只需要改动不到5行就能直接跑通。同时,77%的原论文作者更偏好PaperCoder生成的代码,85%的受访者认为它有效加速了研究复现。
虽然PaperCoder目前主要聚焦在机器学习领域,但未来计划扩展到更广泛的科学领域,比如物理、生物等。
网友测试后表示,把论文直接变成可用代码,PaperCoder是目前最接近「一键复现」的工具。
感兴趣的小伙伴可以点击:
抱抱脸: