拟人化AI将变成人类的新型伴侣?
随着AI技术的发展,拟人化互动服务成为新的焦点。但在提供情感支持的同时,也带来了信息安全、隐私侵犯等多重风险。
近年来,伴随着情感计算、自然语言处理、多模态交互等人工智能技术的发展,拟人化互动服务逐渐成为新的焦点。这种服务通过模拟人类的人格特征、思维模式和沟通风格,能够与用户建立深度的情感联系。
但是,在提供情感支持的同时,也带来了多重风险挑战。数据隐私方面,承载用户最私密情感与思想的数据面临被滥用、泄露的风险;伦理方面,高度拟人化设计易导致用户产生非理性情感依赖,甚至引发现实社交疏离;安全保障方面,缺乏有效的年龄识别与内容过滤,危及脆弱群体的心理健康乃至人身安全。
为此,国家互联网信息办公室起草了《人工智能拟人化互动服务管理暂行办法(征求意见稿)》,并向社会公开征求意见。该办法旨在构建多维度风险防控体系,有效回应人工智能情感陪伴、心理疗愈等应用风险。
《办法》提出,建立身份透明制度,划定拟人化安全红线,精准防范人机边界模糊引发的认知混淆、信任侵蚀、人格权侵害及伦理越界等风险。同时,还要求服务提供者显著提示用户正在与人工智能而非自然人进行交互,并设置中断冷却提醒功能,旨在周期性打破算法营造的沉浸式幻觉。
在加强特殊群体保护方面,《办法》提出,拟人化互动服务提供者应当建立应急响应机制,发现用户明确提出实施自杀、自残等极端情境时,由人工接管对话,并及时采取措施联络用户监护人、紧急联系人。
值得注意的是,《办法》还着重强调对用户交互信息的严格保护。情感类个人信息能够映射用户的内心世界、情感弱点与潜意识倾向,不当利用可能会引发心理操控、待遇歧视及情感勒索等风险。
在技术层面,拟人化互动服务推动着情感计算、多模态交互、长期记忆等前沿技术的集成创新与场景落地,为人机交互范式的演进提供了关键的试验场和应用反馈。在经济层面,拟人化互动服务作为一个快速增长的新兴赛道,被逐步应用于娱乐、教育、养老、文化等场景,带动了从底层算法、内容创作到硬件终端的产业链发展。
在社会层面,拟人化互动服务在老龄化程度加深、都市生活加剧个体孤独感的背景下,为特定群体提供了可及的情感支持,具有一定的社会减压阀和情感补给站功能。