人工智能不遵循科学进步的逻辑

我们在 MT 中多次写过关于将机器学习系统称为“黑匣子”（1）的研究人员和专业人士，即使对于那些构建它们的人来说也是如此。 这使得评估结果和重用新兴算法变得困难。

神经网络——为我们提供智能转换机器人和甚至可以创作诗歌的巧妙文本生成器的技术——对于外部观察者来说仍然是一个难以理解的谜。

它们变得越来越大，越来越复杂，处理庞大的数据集，并使用大量的计算阵列。 这使得复制和分析获得的模型的成本很高，有时对于其他研究人员来说是不可能的，除了预算巨大的大型中心。

许多科学家都非常清楚这个问题。 其中有乔尔·皮诺（2)，NeurIPS 主席，首屈一指的可重复性会议。 在她的领导下，专家们希望创建一个“重现性检查表”。

皮诺说，这个想法是为了鼓励研究人员为其他人提供路线图，以便他们可以重新创建和使用已经完成的工作。 您可以惊叹于新文本生成器的口才或视频游戏机器人的超人灵巧，但即使是最优秀的专家也不知道这些奇迹是如何工作的。 因此，人工智能模型的复制不仅对于确定新的研究目标和方向很重要，而且作为纯粹的实用指南使用。

其他人正试图解决这个问题。 谷歌研究人员提供了“模型卡”来详细描述系统是如何测试的，包括指出潜在错误的结果。 艾伦人工智能研究所 (AI2) 的研究人员发表了一篇论文，旨在将 Pinot 再现性检查表扩展到实验过程中的其他步骤。 “展示你的作品，”他们敦促道。

有时，由于研究项目归研究项目所有，尤其是为公司工作的实验室所有，所以缺少基本信息。 然而，更常见的是，它表明无法描述不断变化且日益复杂的研究方法。 神经网络是一个非常复杂的领域。 为了获得最佳效果，通常需要对数千个“旋钮和按钮”进行微调，有些人称之为“黑魔法”。 最优模型的选择通常与大量实验相关。 魔法变得非常昂贵。

例如，当 Facebook 试图复制由 DeepMind Alphabet 开发的系统 AlphaGo 的工作时，这项任务被证明是极其困难的。 Facebook 员工表示，巨大的计算需求、数以千计的设备上数以百万计的实验，再加上缺乏代码，使得该系统“即使不是不可能，也很难重新创建、测试、改进和扩展”。

这个问题似乎是专门的。 然而，如果我们进一步思考，一个研究团队和另一个研究团队之间结果和功能的可重复性问题的现象破坏了我们已知的科学和研究过程的所有运作逻辑。 通常，以前的研究结果可以作为进一步研究的基础，以促进知识、技术和普遍进步的发展。