在科技日新月异的今天，人工智能（AI）正逐渐渗透到我们生活的方方面面，尤其是在软件开发领域，AI工具的应用更是备受瞩目。然而，一项最新的研究却给这个看似光明的未来泼了一盆冷水。这项研究表明，至少在某些特定情况下，AI工具的介入可能会降低开发者的工作效率。
这项名为“AI对开源软件开发者效率影响”的研究由METR（模型评估与威胁研究）机构进行，该研究招募了16位经验丰富的开源软件开发者，他们在各自熟悉的开源代码库上完成了246项任务。这些任务涵盖了bug修复、功能添加和代码重构等日常开发工作。研究人员将这些任务随机分为两组，一组允许开发者使用AI工具（如Cursor Pro和Anthropic的Claude），另一组则禁止使用。为了确保公平性，研究人员在任务分配前对每项任务的预计完成时间进行了评估，并以此来平衡两组任务的难度。
研究结果令人惊讶。尽管开发者们在使用AI工具前普遍预期效率能提升24%，即使在完成任务后，他们仍然认为AI使他们平均快了20%。但实际情况是，使用AI工具的任务最终比未使用AI工具的任务慢了19%。
那么，问题出在哪里呢？METR的研究人员通过分析开发者屏幕记录发现，AI工具确实减少了开发者在编写代码、测试/调试以及信息搜索上的时间。然而，这些节省下来的时间却被“审查AI输出、提示AI系统和等待AI生成”所消耗，甚至还增加了“闲置/额外开销时间”。
具体来说，开发者们在使用AI工具时，只有不到44%的AI生成代码能够直接被接受而无需修改。大多数开发者表示需要对AI生成的代码进行修改，而这项审查工作占据了AI辅助任务总时间的9%。
METR的研究结果似乎与其他一些研究结论相悖。此前的一些研究表明，AI工具的使用能够提高编码效率，通常以代码行数或已完成的离散任务/代码提交/拉取请求的数量来衡量生产力。然而，这些指标往往不能准确反映实际的编码效率。
此外，许多现有的编码基准测试侧重于为基准测试而专门创建的合成的、算法可评分的任务，这使得将这些结果与侧重于使用预先存在的真实世界代码库的工作的结果进行比较变得困难。METR研究中的开发者报告说，他们使用的代码库的总体复杂性（平均有10年的历史，超过100万行代码）限制了AI的帮助。研究人员指出，AI无法利用关于代码库的“重要的隐性知识或上下文”，而开发者对存储库的“高度熟悉”有助于他们在这些任务中的人为编码效率。
研究人员认为，当前的AI编码工具可能特别不适合于“具有非常高的质量标准，或具有许多隐式要求（例如，与文档、测试覆盖率或linting/格式化相关）的设置，这些要求需要人们花费大量时间来学习。”虽然这些因素可能不适用于涉及更简单代码库的“许多现实的、具有经济意义的设置”，但它们可能会限制AI工具在这项研究和类似的现实情况中的影响。
尽管如此，研究人员对AI工具的未来发展仍然持乐观态度。他们认为，如果AI系统能够提高可靠性、降低延迟，或者通过prompt scaffolding或微调等技术生成更相关的输出，那么未来的程序员可能会从中受益。他们还表示，有“初步证据”表明，最新发布的Claude 3.7“通常可以正确地实现我们研究中包含的几个存储库上的问题的核心功能”。
总而言之，METR的研究为我们敲响了警钟：AI在编码领域的应用并非万能。在某些复杂的、真实的编码场景中，AI的效用可能存在显著的局限性。我们不能盲目乐观，而应该理性看待AI在软件开发中的角色，并不断探索如何更好地利用AI来提升开发效率。
AI工具在软件开发中的双刃剑效应
这项研究揭示了AI工具在软件开发中潜在的双刃剑效应。一方面，AI可以自动化某些重复性任务，减少开发者在编写代码、测试和搜索信息上的时间。另一方面，AI生成的代码需要人工审查和修改，这可能会抵消甚至超过节省的时间。此外，开发者还需要花费时间来编写prompt，等待AI生成结果，这也会增加整体的开发时间。
AI工具的局限性
研究还指出了当前AI工具的一些局限性。首先，AI工具难以理解复杂的代码库和隐性知识。对于拥有悠久历史和大量代码的复杂项目，AI工具可能无法像经验丰富的开发者那样快速理解代码的结构和逻辑。其次，AI工具生成的代码可能不符合项目的质量标准和规范。开发者需要花费大量时间来审查和修改AI生成的代码，以确保其符合项目的要求。
未来展望
尽管当前AI工具存在一些局限性，但研究人员对AI的未来发展持乐观态度。他们认为，随着AI技术的不断进步，未来的AI工具将更加智能、可靠和高效。例如，未来的AI工具可能会更好地理解复杂的代码库和隐性知识，生成更符合项目要求的代码，并提供更智能的prompt建议。此外，未来的AI工具还可能会与其他开发工具集成，形成更完善的开发生态系统。
案例分析：AI在代码审查中的应用
除了代码生成外，AI还可以应用于代码审查。传统的代码审查通常由人工进行，这需要花费大量时间和精力。AI可以通过分析代码的结构、风格和潜在的错误，自动识别代码中的问题。例如，AI可以检测代码中的潜在安全漏洞、性能瓶颈和代码风格不一致等问题。通过使用AI进行代码审查，开发者可以更快地发现和修复代码中的问题，提高代码质量。
数据佐证：AI在自动化测试中的应用
自动化测试是软件开发中必不可少的一个环节。传统的自动化测试需要编写大量的测试代码，这需要花费大量时间和精力。AI可以通过学习现有的测试代码和程序行为，自动生成测试用例。例如，AI可以根据程序的输入和输出，自动生成测试用例，覆盖程序的各种可能路径。通过使用AI进行自动化测试，开发者可以更快地编写测试代码，提高测试覆盖率，并减少人工测试的工作量。
结论与建议
总而言之，AI工具在软件开发中具有巨大的潜力，但也存在一些局限性。开发者应该理性看待AI在软件开发中的角色，并根据项目的具体情况选择合适的AI工具。同时，开发者还应该不断学习和掌握AI技术，以便更好地利用AI来提高开发效率和代码质量。未来的软件开发将是人与AI协同合作的时代，开发者需要不断适应这种新的开发模式，才能在激烈的竞争中脱颖而出。
给软件开发者的建议：
- 理性看待AI工具： 不要盲目迷信AI工具，要了解其优缺点，并根据项目的具体情况选择合适的工具。
- 不断学习AI技术： 掌握AI技术是利用AI工具的前提。开发者应该不断学习和掌握AI技术，以便更好地利用AI来提高开发效率和代码质量。
- 人与AI协同合作： 未来的软件开发将是人与AI协同合作的时代。开发者需要不断适应这种新的开发模式，才能在激烈的竞争中脱颖而出。
- 关注AI工具的未来发展： AI技术正在快速发展，未来的AI工具将更加智能、可靠和高效。开发者应该关注AI工具的未来发展，以便及时掌握最新的技术和工具。
