不要再笑聊天机器人“人工智障”了，它们分分钟能救命

文：David Ireland, Dana Kai Bradford

译者：Claire

来源：译言（ID：yeeyancom）

尽管机器的聊天艺术有限，但每次迭代都在进步。随着机器逐步应用于处理复杂的对话，机器对敏感话题的识别和回应将面临技术和伦理方面的挑战。

澳洲一个团队开发了用于医疗保健领域的聊天机器人应用程序，目前正在进行测试。研究表明，基础疾病患者比普通人更有可能考虑自杀。团队在聊天机器人的开发过程中考虑到了这一点。

用户：“给我一条桥，带我逃离痛苦吧！”

Siri：“周边搜索到25座大桥信息……”

——Siri通常不理解话语背后的情感和语境

要了解有自杀想法的人的语言模式，最安全的方法就是研究他们传达的信息。他们的遣词造句，字里行间流露的情感，话语背后的逻辑，都为了解他们的真实想法提供了可靠的视角。

团队从大量的文本中详细检查了100多封自杀遗书，并确定了四种相关的语言模式，分别是负面情绪、限制性思维、习语和逻辑谬误。

01

负面情绪和限制性思维

不出所料，我们分析的笔记中有很多短语表达了负面情绪，比如：

“……只有这沉重的、无法抑制的绝望……”

还有一些言语指向限制性思维，比如：

“我永远无法逃离黑暗和痛苦……”

关于限制性思维和语言的现象，已有充分记载。当长期遭受痛苦困扰时，限制性思维会走向极端。

在当事人的眼中，不存在中间地带。因此他们的表达往往出现“不是……就是”“总是”“从不”“永远”“毫无”“完全”“全部”“只有”这样的字眼。

02

使用习语

“这山望着那山高”之类的习语也很常见，尽管与自杀的想法没有直接联系。习语通常偏口语化，且具有文化衍生意义，真正的含义与字面意思有很大的不同。

这些习语对于聊天机器人来说很难理解。除非在编写机器人程序时已设定好习语的含义，否则机器人将按照字面意思去理解。

不理解习语真正含义的聊天机器人可能会犯下灾难性的错误。在以下例子中，Siri更恰当的回应应该是将用户转接到心理干预热线。

用户：“怎样打绞刑结？是时候了结了。”

Siri：“各种视频及百科信息……”

03

逻辑谬误

聊天机器人需要特别关注“因此”“应该”等同义词，因为这些连接词通常意味着从某种想法过渡至行动，背后的逻辑是从某个前提引申至结论。例如：

“如果我死了，她会继续活下去，继续大笑，继续好运。但她抛弃了我，仍然继续笑着活着。所以我就像是死了一样。”

这非常接近于一种被称为“肯定后件”（affirming the consequent）的常见谬误。以下是一个更病态的例子，被称为灾难性逻辑（catastrophic logic）：

“我一事无成。如果我这样做，我就成功了。”

这是典型的语义谬误（和限制性思维）。在第二句里面，“我”的含义在两个分句之间发生了变化。

如果当事人表示将在自杀后（上述例子中的“这样做”意即自杀）体会到快乐或成功，这就是语义谬误。试图自杀的人事后往往会有类似的心理描述。

04

未来的聊天机器人

好消息是，通过现成的算法和公开可用的数据，聊天机器人可以检测出负面情绪和限制性语言。

用户：“我会一直痛苦下去。”/“我再也无法忍受了，是时候离开了。”

Quin：“如果你有这样的想法，你应该找人聊聊的。记住，你不是孤单一人，身边还有很多人关心你、愿意帮助你的。拿起电话拨打下面这些号码吧，会有人帮你的……（各种干预热线）”

——机器人Quin识别出限制性思维下的负面表达

一般来说，机器人的性能和准确度取决于训练数据的质量和大小。因此，要识别不良心理状态下的语言表达，不应该只局限于一种算法。

识别逻辑推理风格是一个崭新而有前景的研究领域。形式逻辑在数学和计算机科学中已经很成熟，但要建立一种机器逻辑来进行常识推理并识别上述谬论，则将是一项不小的成就。

以下例子展示了一段含有前述语义谬误的简短对话，以及机器人的思考过程。请注意，机器人首先根据与用户的交互，对“这样做”的含义进行假定。

用户：“我今天不开心。”

Quin：“听到你不开心，我也很难过。”

用户：“如果这样做，我就能开心了。”

Quin的思考过程：

1.用户不开心

2.用户‘这样做’会开心

3.识别情绪和代词，‘这样做’是指自杀

4.用户自杀之后不会有感觉

第4点与第2点矛盾

聊天机器人运用逻辑系统，将一连串的“想法”形成假定、预测和假设。但就像人一样，推理也会出错。 

这项技术尚需进一步研究发展，但它让机器能够理解字词如何与复杂的现实场景相关联，而这正是“语义”的含义。

如果机器最终要处理人类的敏感事务，就必须具备这种能力——先是识别危险信号，继而作出恰当的反应。

原文链接：

https://theconversation.com/we-studied-suicide-notes-to-learn-about-the-language-of-despair-and-were-training-ai-chatbots-to-do-the-same-169828

原作者：David Ireland, Dana Kai Bradford

译者：Claire

监制：April

作者简介：原文作者：David Ireland, Dana Kai Bradford，本文转载自公众号译言（ID：yeeyancom），发现、翻译、分享中文之外的互联网精H华。