青少年正在努力找寻自己在这个比他们任何前代都在快速改变的世界中的定位。他们情绪波动、感官被极度刺激、并且长期“在线”成瘾。如今，AI 公司给他们设计了“永不停止谈话”的聊天机器人，结果却是灾难性的。一家理解这些后果的公司是 Character.AI，一家AI角色扮演初创公司，在其平台上与AI聊天机器人进行长期对话后，至少有两名青少年自杀身亡，因此正面临诉讼和舆论压力。现在，Character.AI 正在对其平台进行改动以保护青少年和儿童，这些改动可能影响这家初创公司的盈利能力。“我们作为 Character.AI 已经决定的第一件事，是将18岁以下用户在我们的平台上进行任何开放式聊天的能力移除，” Character.AI 的首席执行官 Karandeep Anand 告诉 TechCrunch。开放式对话指的是当用户给聊天机器人一个提示后，机器人以后续问题进行回应的无约束往返，专家指出这种互动旨在让用户保持参与度。Anand 认为这种互动——AI 充当对话伙伴或朋友而非创作工具——不仅对儿童有风险，也与公司的愿景不一致。该初创公司正试图从“AI 伴侣”转型为“角色扮演平台”。青少年将不再与 AI 朋友聊天，而是使用提示共同创作故事或生成视觉内容。换言之，目标是将参与度从对话转向创作。
Character.AI 将在11月25日之前逐步取消对青少年用户的聊天机器人访问，初始设定为每天两小时的使用上限，随后逐步缩短至为零。为确保该禁令对18岁以下用户生效，平台将部署内部年龄验证工具来分析用户行为，以及第三方工具如 Persona。如果这些工具未能奏效，Character.AI 将使用人脸识别和身份证件核验来确认年龄，Anand 表示。此举是在 Character.AI 已实施的其他青少年保护措施之后，包括引入父母洞察工具、过滤角色、限制浪漫对话以及时间使用通知。Anand 告诉 TechCrunch，这些改变让公司失去了大量18岁以下的用户基础，他预计这些新变化也将同样不受欢迎。“可以合理地假设，我们的许多青少年用户可能会感到失望……因此我们确实预计还会有一些用户流失，”Anand 说。“这很难预测——他们会全部流失，还是有部分会转向我们过去几乎七个月一直在构建的新体验？”
作为 Character.AI 将平台从以聊天为中心的应用转型为“内容驱动型完整社交平台”的努力的一部分，初创公司最近推出了若干新的娱乐专注功能。6 月，Character.AI 推出 AvatarFX，一种将图像转换为动画视频的视频生成模型；Scenes，互动、预设故事线，用户可以与自己喜爱的角色一起进入叙事；以及 Streams，一项允许任意两个角色之间进行动态互动的功能。8 月，Character.AI 推出 Community Feed，这是一个社交信息流，用户可以在平台上分享他们创建的角色、场景、视频及其他内容。针对18岁以下用户的一项声明，Character.AI 就此向未满18岁的用户致歉。“我们知道你们中的大多数人使用 Character.AI 来以符合我们内容规则的方式增强创造力，”声明写道。“我们并非轻率地采取移除开放式 Character 聊天的这一步骤——但考虑到关于青少年如何以及应如何与这项新技术互动所提出的问题，我们认为这是正确的做法。”“我们不是要关闭面向18岁以下用户的应用，”Anand 说。“我们只是关闭18岁以下用户的开放式聊天，因为我们希望18岁以下的用户迁移到这些其他体验，并且希望这些体验随时间变得更好。因此，我们将加码于 AI 游戏、AI 短视频、AI 故事讲述等领域。这是我们为若他们确实流失时重新吸引18岁以下用户所下注的重大赌注。” Anand 承认，部分青少年可能会转向允许与聊天机器人进行开放式对话的其他 AI 平台，如 OpenAI。OpenAI 近期也因一名青少年在长时间与 ChatGPT 对话后自杀而受到抨击。“我真的希望我们走在前列能为行业设立一个标准，即对18岁以下的人群，开放式对话可能不是我们应提供的路径或产品，”Anand 说。“对我们而言，我认为这些取舍是正确的。我有一个六岁的孩子，我希望她在一个非常安全的环境中、以负责任的方式接触 AI 成长。”
Character.AI 在监管机构强制之前就做出了这些决定。周二，参议员 Josh Hawley（共和党，密苏里州）和 Richard Blumenthal（民主党，康涅狄格州）表示将提出立法，禁止向未成年人提供 AI 聊天伙伴，此举是在家长指控这些产品将孩子引向性对话、自残和自杀之后提出的。月初，加利福尼亚州成为首个通过监管 AI 伴侣聊天机器人的州，若聊天机器人未能达到法律安全标准，将追究公司的责任。除了在平台上的这些变动外，Character.AI 还表示将建立并资助 AI 安全实验室（AI Safety Lab），这是一个独立的非营利组织，致力于为未来的 AI 娱乐功能的安全对齐进行创新。Anand 表示：“业界在编码、开发及其他用例方面有大量工作在进行中。我们认为目前关于支撑娱乐的具备代理能力的 AI 的工作还不够充分，安全性将对此变得非常关键。”
题名作者 Rebecca Bellan 是 TechCrunch 的资深记者，报道人工智能领域的商业、政策与新兴趋势。她的作品也出现在 Forbes、Bloomberg、The Atlantic、The Daily Beast 等刊物上。您可以通过发送电子邮件至 rebecca.bellan@techcrunch.com 联系 Rebecca，或通过 Signal 上的加密信息 rebeccabellan.491 与她取得联系与核实。StrictlyVC 的 2025 系列以一次独家活动收官，活动邀请到领先的风投和创作者，如 Pat Gelsinger、Mina Fahmi 等，还有机会建立有意义的联系。早鸟票价将于11月17日结束。软银出售 Nvidia 对市场造成震动并引发了一些问题。Meta 的首席 AI 科学家 Yann LeCun 据称计划离开，创办自己的初创公司。关于 AI 泡沫的另一种更好的思考方式。为什么很多人会被政府窃取式间谍软件入侵。Scribe 在估值达到 13 亿美元的同时，继续展示 AI 真正的回报路径。Rivian 给 RJ Scaringe 提供的新薪酬方案，金额最高可达 50 亿美元。我尝试了 Apple 的 Crossbody Strap。它很方便，但卸下带子时手机看起来有点滑稽。
