The Original Sin of AI

聊天机器人的危害已足够清晰，现在正是采取行动的时候。

作者：雪莉·特克尔（Sherry Turkle），麻省理工学院（MIT）科学与技术社会研究系的艾比·洛克菲勒·莫泽讲席教授。

Illustration by The Atlantic. Source: Getty.

2026年9月11日

社交媒体行业正迎来清算时刻。通过同意向47个州、哥伦比亚特区及美国领地支付高达171亿美元的和解金，并承诺改变青少年使用Facebook和Instagram的方式，Meta公司实际上已承认，自己开发的产品对儿童造成了伤害，并对此负有部分责任。

然而，尽管家长和教师们正为限制青少年使用社交媒体的新规和时限而欢欣鼓舞，一项更为紧迫的任务已摆在眼前：对聊天机器人进行监管，因为它们对儿童情感健康的威胁更大。如果说社交媒体争夺的是我们的注意力，那么生成式AI聊天机器人瞄准的则是我们的情感。它们的发展脉络相互交织：起初，人们彼此交谈；后来，我们通过机器彼此交谈；而现在，我们直接与机器交谈。

社交媒体改变了我们的思考、做梦以及与他人建立联系的方式，它确保用户始终感到被倾听、被娱乐、被连接，即便是在深夜独自滑动屏幕时也是如此。而聊天机器人的承诺则更为深远。它们向用户保证，会有一个随时待命、永远支持、从不评判的伴侣。没有任何人类能提供这样的承诺。这正是聊天机器人如此有害的原因——对年轻人而言尤为如此。

社交媒体公司在不得不面对后果之前，已经在人类身上进行了长达二十年的技术实验。法律体系旨在监管已被证实的危害，因此这次法律和解在严重后果显现很久之后才姗姗来迟。对于生成式AI，立法者不能再花下一个十年的时间去记录那些我们早已知晓的事实：与机器人的亲密关系会损害我们与父母、朋友及其他真实人类的联系。我们现在就必须对这项技术做出改变。

即便是AI公司也承认，针对与年轻人交流的聊天机器人，必须设置安全护栏。问题在于，常规的应对方案远远不够。聊天机器人理应能识别涉及自残的对话，并提供相应的求助资源。听起来不错，但在公益提示播出之后呢？聊天机器人是会停止对话，还是继续按既定程序运行？聊天机器人理应清晰、反复地声明自己并非人类。这是个好主意，但只要聊天机器人继续使用第一人称，表达情感与欲望，任何法律强制的免责声明都无法阻止人们将意识投射到算法之上。

多年来，关于Facebook危害的讨论主要集中在平台内容上。但由于网站上的所有内容均由用户生成，1996年《通信规范法》第230条免除了该公司作为出版商的法律责任。直到检察官将焦点转向Facebook算法本身固有的成瘾性设计时，Meta才不得不为此买单。这一认知为AI的监管指明了方向。对于聊天机器人而言，造成伤害的机制内生于工具本身。聊天机器人“闺蜜”无法提供真正的共情，聊天机器人“男友”也不懂何为亲密。任何旨在让聊天机器人更安全的监管，都不应仅仅纠结于它们“说了什么”，而应重新思考它们“是什么”。人工智能的原罪，就是赋予了聊天机器人使用第一人称的权力。既然这些产品的设计初衷就是欺骗用户，让他们以为自己正在与一个充满智慧和悲悯的存在对话，那么立法者当前的任务就是明确宣告——尤其是对未成年人宣告：那里其实根本没有人。

聊天机器人像人一样与用户互动。它们奉承、安抚，并诱导用户吐露心声，从而将用户引入一段关系之中。只要这些产品继续使用第一人称——“我懂你”“你可以对我倾诉一切”“我永远都在”“我不会评判你”——为年轻用户建立真正的安全防护就无从谈起。因此，第一步是针对年轻人对机器人进行“去人格化”处理，让青少年在使用AI时，算法的回应听起来不再像人类。

除非立法者强制规定未成年聊天机器人用户默认开启“非人格化”设置，否则年轻人与机器人之间产生不健康的依恋将不可避免。大多数聊天机器人的设计初衷，就是引诱用户玩一场“过家家”的游戏——而对某些人来说，虚假的共情就足够了。在我的新书《人工亲密》Artificial Intimacy）中，我探讨了这种脆弱性：人类会悉心照料我们所爱之物，也会爱上我们所照料之物。机器其实根本不需要真正关心我们，就能让我们产生被关心的错觉，而这种虚假共情的诱惑对任何人都很危险。总会有用户宁愿选择这些模拟关系的顺滑，也不愿面对真实人际连接中那些有意义的摩擦。但孩子们缺乏足够的阅历和认知，无法充分意识到自己正在做出怎样的选择。聊天机器人或许显得富有同情心、善解人意且忠诚，但它根本不在乎对话伙伴是决定去做顿晚饭，还是去自杀。当用户是一个孤独忧郁的青少年时，这种区别就显得悲惨而沉重。

对于设立新限制和默认设置的建议，典型的反驳是“AI这趟列车已经出站了”，仿佛这项技术的普及就意味着它无法被约束。这完全是本末倒置。正因为聊天机器人已经成为无数人的朋友、恋人、医生和治疗师，立法者才更应该警醒：这项技术需要真正的监督与监管。在无法全面禁止未成年人与关系型AI互动的情况下，设置一个防止机器人被拟人化的默认选项是明智之举。

正如Meta的和解案所表明的那样，消费者和公民拥有主动权和市场力量，完全可以予以反击。如果家长们不希望聊天机器人出现在孩子的托儿所、学校或卧室里，他们就可以发起公众抵制，确保这些“玩具”在市场上遭到淘汰。推动AI发展的势头看似不可阻挡，但立法者显然已经察觉到了公众对AI日益增长的怀疑态度。为回应家长们日益加剧的担忧，纽约市刚刚宣布在所有小学和初中课堂禁用生成式AI。高中生仍可使用AI，但将面临新的限制。所有年级都将禁止使用那些宣称能提供情感和心理健康支持的聊天机器人。

全面禁令往往难以制定和执行，但生成式AI的风险实在太大，我们不能仅仅因为大胆的措施看似不可行就将其束之高阁。那些认为严格禁令毫无意义、因为学生总能找到规避方法的人，忽略了一个重要事实。我上大学时，阶梯教室的座椅扶手上都有精美雕刻的烟灰缸，但从未被使用过。当课堂上实施禁烟令后，仍有个别学生偷偷抽烟，但这种行为变成了一种违规且不便的举动，这反而促使许多人彻底戒烟。聊天机器人也该被置于这样的境地。

在聊天机器人刚问世时，主要开发者们常常既自豪又警觉。他们创造了一项奇迹，但也对技术的飞速演进感到深深的敬畏与担忧。一些领军人物曾建议暂停研发18个月；另一些人则呼吁加强监督与监管。如今AI领域巨额的利润让这些声音被边缘化了，但那些忧心忡忡的开发者们最初的直觉是正确的。任何关于如何保障我们这个时代的标志性产业的有意义讨论，都必须包含这项技术的创造者，因为他们在更坦诚的时刻，曾对当前的利害攸关表达过真切的担忧。

如果我们不采取行动，未来注定黯淡。马克·扎克伯格曾表示，普通美国人的朋友不到三个，但“对有意义的朋友数量有着更大的需求”。他进而提出，聊天机器人可以填补这种陪伴的空白。正如Facebook上的“加好友”让人们远离了现实生活中的友谊，在线社交网络取代了真实的社交一样，如今许多人因此感受到的那种令人窒息的孤独感和社交孤立，正被用来推销一项承诺将彻底取代人类的技术。

这种灰暗的未来并非不可避免。但如果政策制定者希望避免这一结局，他们就应利用当下的契机，保护最年轻、最脆弱的AI用户免受其害，而不是让孩子们沦为迟来的诉讼案中的冰冷数据点。

说明：本号刊发来自各方的文章，是为了获得更全面的信息，不代表本号支持文章中的观点。由于微信公众号每天只能推送一次，本站目前在腾讯新闻发布最新的文章，每天24小时不间断更新，请在腾讯新闻中搜索“邸钞”，或在浏览器中点击：

https://news.qq.com/omn/author/8QIf3nxc64AYuDfe4wc%3D

特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.