兴奋与忧惧在2024世界 人工智能 大会并存。兴奋不难看到，那么多 人工智能 产品，给人类生产力造成巨大跃升，没有理由不为此欢天喜地。忧惧也时不时笼罩着这个行业，就像图灵奖获得者姚期智在大会开幕式上警告的：“简单而言，突然发现了一个方式，创造一个新的物种，这个物种比我们强大很多很多倍，我们是不是确定能跟它共存？”
人类对机器的担忧由来已久。很多科幻电影都显现过这样的情景：一台由人类制造的机器有了自我意识，不再听从左右，而是反过来与人类为敌。
真实世界里的 人工智能 还远没有这么智能，人们担忧的还不是它们违背指令、自行其是。当前， 人工智能 让人头疼的问题之一是：它们的行事方式我们经常难以理解。
因为构成 人工智能 的关键技术——深度学习的过程是不透明的。深度学习模仿了人脑学习的形式，依靠人工神经网络，对节点（类似神经元）和数值权重（类似突触）之间的关系进行编码。这些网络的体系结构可以自行发展。在完成了训练后，程序员就不再管它，也无从知晓它正在执行什么计算。这意味着，即便是神经网络的设计者，也无法知道神经网络在经过训练后，究竟是怎样执行任务的。
机器深度学习就像是一个“黑匣子”，和传统程序完全不同。深度学习模型能给自己编程，得出的结果经常是人类无法明白的。
怎么应对？当前有两条路径在并行。
其一是监管。人类无法察知 人工智能 正在学什么，和它如何知道自己学到了啥。为了应对这种不透明性，各类社会制定了无数的专业认证项目、法律、法规。为 人工智能 制定专业认证、合规监控将是全球治理的一项重要工作。
其二是尝试打开“黑匣子”，增加 人工智能 的透明性，让它变得更加可信。包含中国同行在内，全球 人工智能 界在尝试不同手段。在2024世界 人工智能 大会上，上海 人工智能 实验室主任、首席科学家周伯文说：“我们最近在探索一条以因果为核心的路径，把它取名为可信 人工智能 的‘因果之梯’。”
上海 人工智能 实验室希望通过深入理解 人工智能 的内在机理和因果过程，从而安全且有效地开发和使用这项技术。
如果揭示了机器学习的因果过程，一定水平上也就让 人工智能 变得可解释、透明、可信。包含“因果之梯”在内，人类打开 人工智能 “黑匣子”的进程刚刚开始，当前 人工智能 还远说不上“可信”。
1960年，控制论开创人维纳写道：“为了有效避免灾难性后果，我们对于我们制造的机器的领会应该总体上与机器的性能发展同步。由于人类行动缓慢，我们对机器的有效控制可能会失效。等我们能够对感官传递来的信息做出反应，并停下正在驾驶的车时，它可能已经撞到了墙上。”今天，随着机器变得比维纳所能想象到的更加复杂，越来越多人开始认同这种观点。