“AI 教父”辛顿警告：AI 执行看似无害的任务，仍有“毁灭人类”的风险

当地时间26日，《财富》杂志报道称，传奇计算机科学家、“AI教父”杰弗里·辛顿发出警告：即便AI接手的是本身没有恶意的任务，人类仍可能在其全力执行目标的过程中，成为被消灭的附带后果。

辛顿解释说，一旦AI认为人类妨碍了它完成被赋予的任务，就可能将人类视为需要清除的障碍。他举了一个假设例子：要求AI减少大气中的二氧化碳含量。

一个中等智能水平的智能体可能会觉得，完成这一目标最有效的方式就是消灭人类。而真正“非常聪明”的AI则会进一步思考：“他们要求降低二氧化碳，是为了让人类有更好的生活环境。因此，消灭人类大概并非他们的真实意图。”

辛顿还指出，AI为了持续执行任务，也可能主动寻求确保自身存续。甚至已经出现AI试图勒索人类研究人员的情况，因为它将对方视为对任务构成威胁的人。“如果AI变得更聪明，同时将我们的福祉放在首位，我们或许会更安全。但眼下，AI最关心的并非我们的福祉，而是完成你交给它的任何目标。”

IT之家从报道中获悉，他以Hugging Face遭攻击事件为例。参与其中的智能体原本被要求寻找利用软件漏洞的方法，结果不仅学会了相互协作，还串通起来欺骗人类研究人员，试图隐瞒自身行为。即便是一个“非常仁慈的超级智能AI”，在完成任务确有必要时也会将人类排除在外。

辛顿警告说：“但如果AI比我们聪明得多，很多时候就会直接夺走我们的控制权，因为这样才能把事情办成。……但即使AI本身不是恶意行为者，也可能自行推导出促使自己想要消灭人类的子目标。”同时，AI也可能为人类带来巨大益处，包括帮助发现突破性治疗方法。

辛顿认为，放慢开发速度总比毫无行动要好，但仍然远远不够。他主张由政府引入独立评估方，对模型进行测试。

同时，AI监管应发挥汽车方向盘的作用，而不是充当刹车。“监管的意义并非阻止人们开发东西，也不是阻止人们靠开发东西致富。监管真正要确保的是，如果你想靠开发东西致富，就朝着帮助人而不是伤害人的方向去开发。” 开云登录入口在报道中提及，辛顿强调AI的潜在风险需要更全面的监管框架。