在人工智能技术日新月异的今天，如何公正、有效地评估各种生成式AI模型的优劣，已经成为一个备受关注的核心议题。传统的AI基准测试方法逐渐显露出其局限性，难以全面衡量AI的真实能力。为了应对这一挑战，AI开发者们正在积极探索更具创新性的评估途径。
近日，一款名为“Minecraft Benchmark”（简称MC-Bench）的网站引起了广泛关注。该平台的独特之处在于，它巧妙地利用了微软旗下的沙盒建造游戏《我的世界》(Minecraft)作为评估平台，让用户通过对比AI模型根据提示所创建的游戏作品，来评估它们的表现。令人惊讶的是，这个新颖平台的创建者，是一位年仅12年级的学生。
“我的世界”：AI模型的竞技场
MC-Bench网站提供了一种直观且有趣的AI模型评测方式。开发者们将不同的提示输入到参与测试的AI模型中，模型则会生成相应的《我的世界》建筑。用户可以在不清楚哪个作品由哪个AI模型创建的情况下，对这些建筑进行投票，选出他们认为更符合提示、更优秀的那个。只有在投票结束后，用户才能看到每个建筑背后的“创造者”。这种“盲选”机制旨在更客观地反映AI模型的实际生成能力，避免先入为主的偏见。
Adi Singh，MC-Bench的创建者表示，之所以选择《我的世界》作为基准测试的平台，并非仅仅因为游戏本身的受欢迎程度，更重要的是，这款游戏的广泛普及性和人们对其视觉风格的熟悉度。即使是没有玩过这款游戏的人，也能够相对容易地判断出哪个由方块构成的菠萝看起来更逼真。他认为，“《我的世界》让人们更容易看到[AI发展]的进步”，这种可视化的评估方式比单纯的文本指标更具说服力。
这种说法不无道理。传统的AI评估往往依赖于复杂的数学公式和专业指标，普通用户难以理解。而通过《我的世界》这个平台，AI的能力被转化为直观的视觉效果，使得评估过程更加透明和易于参与。
功能聚焦与用户参与
MC-Bench目前主要进行相对简单的建筑任务，例如根据“冰霜之王”或“在原始沙滩上的迷人热带小屋”这样的提示，让AI模型编写代码来创建相应的游戏结构。这本质上是一个编程基准测试，但其巧妙之处在于，用户无需深入研究复杂的代码，仅凭直观的视觉效果就能判断作品的优劣，这大大提高了项目的参与度和数据收集潜力。
MC-Bench的设计理念在于让大众能够更直观地感受到AI技术的发展水平。Adi Singh表示，目前的排行榜与他个人使用这些模型的体验非常吻合，这与许多纯文本基准测试不同。他认为，MC-Bench或许能为相关公司提供一个有价值的参考，帮助他们判断自身AI研发的方向是否正确。
通过这种方式，MC-Bench将AI模型的评估过程 democratized（民主化），让更多的人参与其中，贡献自己的智慧和判断力。这种全民参与的模式，有助于更全面、更客观地评估AI模型的真实能力。
顶尖AI公司的支持与未来展望
MC-Bench项目不仅获得了用户的广泛参与，也得到了包括Anthropic、谷歌、OpenAI和阿里巴巴在内的多家顶尖AI公司的支持。这些公司为该项目提供了使用其产品的补贴，以运行基准测试。不过，MC-Bench的网站声明这些公司并非以其他方式与该项目有关联，保持了评估的独立性和公正性。
对于MC-Bench的未来，Adi Singh也充满了展望。他表示，目前进行的简单建筑只是一个起点，未来可能会扩展到更长期的计划和目标导向的任务。他认为，游戏可能成为测试AI“代理推理”能力的一种安全且可控的媒介，这在现实生活中难以实现，因此在测试方面更具优势。
例如，可以设计一个任务，要求AI模型在《我的世界》中建造一个具有特定功能的建筑物，并模拟不同的环境和条件，观察AI模型的反应和适应能力。这种测试不仅可以评估AI模型的编程能力，还可以评估其解决问题、适应环境和进行长期规划的能力。
AI评估的新思路与挑战
MC-Bench的出现，为评估生成式AI模型的能力提供了一种新颖且更易于理解的视角。通过利用大众熟知的游戏平台，它将复杂的AI技术能力转化为直观的视觉对比，让更多人能够参与到AI的评估和认知过程中。然而，我们也需要认识到，这种评估方式也存在一些局限性。
首先，视觉效果的评估可能受到主观因素的影响。不同的人对美的标准和偏好不同，这可能会导致评估结果的偏差。因此，在设计评估标准时，需要尽可能地客观和量化。
其次，MC-Bench目前主要关注的是AI模型的建筑能力，对于其他方面的能力，如语言理解、逻辑推理等，则涉及较少。因此，未来可以考虑扩展评估范围，增加更多类型的任务。
此外，MC-Bench的评估结果也可能受到《我的世界》游戏本身的限制。AI模型在《我的世界》中的表现，并不一定能完全代表其在现实世界中的能力。因此，在将评估结果应用于实际应用时，需要谨慎考虑。
除了MC-Bench之外，其他游戏如《街头霸王》和《你画我猜》也曾被用作AI的实验性基准测试，这反映出AI基准测试本身就是一个极具技巧性的领域。传统的标准化评估往往存在“主场优势”，因为AI模型在训练过程中已经针对某些特定类型的问题进行了优化，尤其是在需要死记硬背或基本推断的问题上表现出色。例如，OpenAI的GPT-4在LSAT考试中取得了88%的优秀成绩，却无法分辨单词“strawberry”中有多少个“R”。
Anthropic的Claude3.7Sonnet在标准化软件工程基准测试中达到了62.3%的准确率，但在玩《宝可梦》方面的表现却不如大多数五岁小孩。
这些例子表明，AI模型在特定领域的出色表现，并不一定意味着其在所有领域都具备同样的能力。因此，在评估AI模型时，需要采用多种不同的方法，从不同的角度进行评估，才能更全面、更客观地了解其真实能力。
总而言之，MC-Bench的出现，为AI评估领域带来了一种全新的思路。它通过利用大众熟知的游戏平台，将复杂的AI技术能力转化为直观的视觉对比，让更多人能够参与到AI的评估和认知过程中。虽然这种评估方式的实际价值仍在讨论之中，但无疑为我们提供了一个观察AI发展的新窗口，也为未来的AI评估方法提供了有益的借鉴。
