说服式的人工智能的威胁

伦敦—怎样才能改变一个人的想法？随着生成式人工智能越来越多地嵌入到面向客户的系统中——比如类真人电话或在线聊天机器人——这是一个需要广泛解决的伦理问题。

通过理性话语改变思想的能力是民主的核心。清晰有效的沟通是审议和说服的基础，这对于解决相互竞争的利益至关重要。但说服也有阴暗面：虚假的动机、谎言和认知操纵——这些都是人工智能可能助长的恶意行为。

在不远的将来，生成式人工智能将能够赋能创建新的用户界面，代表任何个人或实体说服建立这样的系统。利用私人知识库，这些专门的模型提供不同的真相，基于为目标群体产生令人信服的回应的能力而竞争——（每种意识形态都有一种人工智能）。人工智能辅助的社会工程浪潮必然会随之而来，不断升级的竞争使不良行为者更容易、更便宜地传播虚假信息和实施诈骗。

因此，生成式人工智能的出现助长了一场认知不安全危机。最初的政策反应是确保人类知道他们正在与人工智能互动。今年6月，欧盟委员会敦促大型科技公司开始标记由人工智能工具创建或操纵的文本、视频和音频，欧洲议会正在推动在即将出台的《人工智能法案》中制定类似的规则。人们认为，这种辨认将防止我们被人工代理误导，无论它们多么令人信服。

但是，提醒人们注意人工智能的存在并不一定能保护他们免受操纵。早在 1960 年代，麻省理工学院的 ELIZA 聊天机器人实验表明，人们可以与具有拟人化特征的计算机程序（在这种情况下是自然语音模式）形成情感联系产生同理心，并将人类思维附于其上，尽管人类已被告知它是一个非人类实体。

我们总是对自己的信念产生强烈的情感依恋，这阻碍了我们客观评估矛盾证据的能力。此外，我们经常寻求支持而不是挑战我们的观点的信息。我们的目标应该是进行反思性说服，即我们亮出观点，仔细考虑我们的信念和价值观，行程依据充分的同意或反对意见。

Subscribe to PS Digital

Subscribe to PS Digital

Access every new PS commentary, our entire On Point suite of subscriber-exclusive content – including Longer Reads, Insider Interviews, Big Picture/Big Question, and Say More – and the full PS archive.

Subscribe Now

但至关重要的是，与他人建立情感联系会我们更容易陷入操纵，并且我们知道，即使使用并非设计用于这样做的聊天机器人，人类也可以建立这些类型的联系。如果天机器人是为了与人类建立情感联 被造出来，那么会创造一种植根于人类话语的两个长期问题的新的动态：不对称风险和互惠。

想象一下，一家科技公司创建了一个说服式聊天机器人。这个机器人在试图说服他人时，基本上都是零风险，无论是情感上的还是身体上的。至于互惠，进行说服的聊天机器人几乎没有任何被说服的能力。更有可能的是，个人可以让聊天机器人在他们有限的互动中让步，然后将其内化供训练。这将使积极说服——诱导信仰的改变，而不是达成暂时的协议——在很大程度上不可行。

简而言之，可悲的是，我们完全没有为s说服式人工智能系统的传播做好准备。许多行业领导者，包括 ChatGPT 背后的OpenAI公司，都提高了 对其潜在威胁的认识。但是，认识并不能转化为全面的风险管理框架。

一个社会无法有效地预防说服式人工智能，因为这需要让每个人都对这种媒介免疫——这是一项不可能完成的任务。此外，任何控制和标记人工智能 界面的尝试都会导致个人将输入转移到新领域，这与复制 ChatGPT 生成的文本并将其粘贴到电子邮件中没有什么不同。因此，系统所有者需要负责跟踪用户活动并评估转化率。

但说服式人工智能本质上不一定是生成式的。广泛的组织、个人和实体已经再增强说服能力以实现目标。考虑一下国家行为者对计算宣传的使用，这涉及操纵信息和公众舆论以进国家利益和议程。

与此同时，计算说服力的发展为广告技术行业提供了 有利可图的商业模式。这个新兴的领域不仅展示了说服技术塑造消费者行为的力量，还突出了它们在推动销售和实现商业目标方面可以发挥的重要作用。

将这些不同的行为者团结在一起的，是对提高其说服能力的渴望。这映射出技术驱动影响力的不断扩大，以及其所有已知和未知的社会、政治和经济影响。随着说服的自动化，一个全面的道德和监管框架变得势在必行。

Aurélie Jean 也为本评论做出了贡献。