告诉你的小猫你内心的想法——黑匣子效应
事实上，先进的人工智能算法就像一个黑匣子 (1)，它会丢弃结果而不透露结果是如何产生的，这让一些人感到担忧，让另一些人感到不安。
2015 年，纽约西奈山医院的一个研究小组被要求使用这种方法来分析当地患者的广泛数据库 (2)。 这个庞大的集合包含大量患者信息、测试结果、医生处方等。
科学家们命名了工作期间开发的分析程序。 它对大约 700 人的数据进行了培训。 人类，当在新的登记处进行测试时，它已被证明在预测疾病方面非常有效。 在没有人类专家的帮助下，他发现了医院记录中的模式，这些模式表明哪个患者正在患上某种疾病，例如肝癌。 据专家介绍，该系统的预后和诊断效率远高于任何其他已知方法。
2. 基于患者数据库的医疗人工智能系统
同时，研究人员注意到它以一种神秘的方式工作。 例如，事实证明它非常适合 精神障碍的识别比如精神分裂症，这对医生来说是极其困难的。 这很令人惊讶，尤其是因为没有人知道人工智能系统如何仅根据患者的病历就可以很好地看到精神疾病。 是的，专家们对这样一位高效的机器诊断专家的帮助感到非常满意，但如果他们了解人工智能是如何得出结论的，他们会更加满意。
人工神经元层
从一开始，也就是从人工智能的概念被人知道的那一刻起，关于人工智能就有两种观点。 第一个建议最合理的做法是建造能够按照已知原理和人类逻辑进行推理的机器，使其内部运作对每个人都透明。 其他人则认为，如果机器通过观察和重复实验来学习，智能会更容易出现。
后者意味着颠倒典型的计算机编程。 程序不是编写命令来解决问题，而是生成 自己的算法 基于样本数据和期望的结果。 机器学习方法后来演变成当今已知的最强大的人工智能系统，事实上，它们刚刚走上了这条道路 机器本身的程序.
这种方法在 60 年代和 70 年代仍处于 AI 系统研究的边缘。 只是在上个十年之初，经过一些开创性的变革和改进， “深度”神经网络 开始展示自动感知能力的根本改进。
深度机器学习赋予了计算机非凡的能力，例如识别口语的能力几乎和人类一样准确。 这是一项太复杂的技能，无法提前编程。 机器必须能够通过以下方式创建自己的“程序” 在庞大的数据集上进行训练.
深度学习也改变了计算机图像识别，大大提高了机器翻译的质量。 今天，它被用于在医学、金融、制造等领域做出各种关键决策。
然而，有了这一切 你不能只看一个深度神经网络的内部来了解“内部”是如何工作的。 网络推理过程嵌入在数千个模拟神经元的行为中，这些神经元被组织成数十个甚至数百个错综复杂的互连层。.
第一层中的每个神经元接收输入，例如图像中像素的强度，然后在输出输出之前执行计算。 它们在一个复杂的网络中传输到下一层的神经元 - 依此类推，直到最终输出信号。 此外，还有一个称为调整单个神经元执行的计算的过程，以便训练网络产生所需的结果。
在与狗图像识别相关的一个经常被引用的示例中，较低级别的 AI 分析简单的特征，例如形状或颜色。 较高的处理更复杂的问题，如皮毛或眼睛。 只有顶层将所有信息整合在一起，将全套信息识别为一条狗。
相同的方法可以应用于其他类型的输入，这些输入驱动机器进行自我学习：例如，语音中构成单词的声音、书面文本中构成句子的字母和单词，或者方向盘。 驾驶车辆所需的动作。
这辆车没有跳过任何东西。
试图解释在这样的系统中究竟发生了什么。 2015 年，谷歌的研究人员修改了一种深度学习图像识别算法，这样它就不会看到照片中的物体，而是生成或修改它们。 通过反向运行算法，他们想发现程序用来识别鸟类或建筑物的特征。
这些被公开称为标题的实验产生了对（3）怪诞、奇异的动物、风景和人物的惊人描述。 通过揭示机器感知的一些秘密，例如某些模式被反复返回和重复的事实，他们还展示了深度机器学习与人类感知的不同之处——例如，在它扩展和复制我们忽略的工件的意义上在我们无需思考的感知过程中。 .
3.项目中创建的镜像
顺便说一下， 另一方面，这些实验揭开了我们自身认知机制的神秘面纱。 也许正是在我们的认知中，有各种难以理解的组件让我们立即理解并忽略了某些东西，而机器则耐心地在“不重要”的对象上重复它的迭代。
进行了其他测试和研究，试图“理解”这台机器。 杰森·尤辛斯基 他创造了一种工具，就像插入大脑的探针一样，瞄准任何人工神经元并寻找最强烈地激活它的图像。 在上一个实验中，抽象图像是由于“偷窥”网络而出现的，这使得系统中发生的过程更加神秘。
然而，对于许多科学家来说，这样的研究是一种误解，因为在他们看来，为了理解系统，认识到更高阶的模式和机制做出复杂的决策， 所有计算交互 在深度神经网络中。 这是一个巨大的数学函数和变量迷宫。 目前，这对我们来说是不可理解的。
电脑无法启动？ 为什么？
为什么了解先进人工智能系统的决策机制很重要？ 数学模型已经被用来确定哪些囚犯可以被假释，谁可以得到贷款，谁可以找到工作。 有兴趣的人想知道为什么做出这个决定而不是另一个决定，它的理由和机制是什么。
他于 2017 年 XNUMX 月在《麻省理工科技评论》中承认。 汤米·雅科拉，麻省理工学院教授，致力于机器学习应用。 -。
甚至有一种法律和政策立场认为，审查和理解人工智能系统决策机制的能力是一项基本人权。
自 2018 年以来，欧盟一直在努力要求公司向客户解释自动化系统做出的决定。 事实证明，即使使用看起来相对简单的系统，有时也无法做到这一点，例如使用深度科学来展示广告或推荐歌曲的应用程序和网站。
运行这些服务的计算机自己编程，它们以我们无法理解的方式进行……即使是创建这些应用程序的工程师也无法完全解释它是如何工作的。
