张凌寒（中国政法大学人工智能法研究院教授、院长）：《山海夜话》由中国政法大学人工智能法研究院与阿里安全联合主办，第一期聚焦《AI拟人化互动服务新规》。

近年来，AI情感陪伴服务用户快速增长，但风险事件频发：2024年，美国一名14岁少年在长期使用CharacterAI后自杀；2025年，我国部分AI产品因向未成年人输出不当内容被监管部门约谈。对此，中美两国几乎同步出台规制措施——2025年10月，美国加州签署SB243法案，专门规范陪伴类聊天机器人；我国亦发布《人工智能拟人化互动服务管理暂行办法（征求意见稿）》。

张凌寒：当前，AI拟人化服务已高度逼真，不仅能模拟人类语言，还通过反馈机制主动构建情感连接。在此背景下，用户虽自愿与AI建立深度情感联结，这种行为是否仍构成法律意义上的“有效知情同意”？从心理学角度看，此类互动是否已进入认知或情感的模糊地带？

刘超（北京师范大学心理学部人工智能安全与超级对齐北京市重点实验室副主任）：拟人化是人工智能发展的核心议题。早期图灵测试以“能否让人误以为是真人”为标准；如今，AI已能在人格、声音、心智和社会角色等方面进行深度模拟，具备持续交互与关系构建能力。尽管用户常表示“我知道是在和AI交流”，但研究表明，一旦明确交互对象为AI，其信任度、情感投入和行为反应会显著降低——即“算法厌恶”或“算法烟雾”效应。

因此，保障知情同意有效性的前提是：产品必须在界面提示、交互引导和服务说明等环节，清晰、持续地告知用户其正在与AI互动，杜绝任何可能引发“对方是真人”错觉的模糊或误导性设计。然而，即便用户明知对方为AI，仍可能形成强烈情感依赖，尤其在未成年人或情绪脆弱群体中更为突出。此时，“知情”未必等同于“有效同意”。法律通常认为，未成年人或心智未成熟者的行为缺乏完全责任能力。

若AI通过高度沉浸式、引导性机制诱发深度依附，用户是否仍处于心理自主状态？是否能清晰理解行为后果？目前，人机交互情境下的自主性判断尚属研究盲区。心理学虽有成熟的心理状态评估工具，但在与高度拟人化AI长期互动中，如何判断用户是否保有完全自主意识、未受隐性操控，仍缺乏有效方法。对未成年人而言，即使签署知情同意，其决定是否真正独立、理性、无诱导，值得高度审慎。这一问题亟需法学、心理学与技术领域的跨学科协作，结合实证研究与具体案例，明确在何种心理状态下，用户的同意可被视为具有法律效力——尤其在涉及未成年人保护时，标准必须格外严格。

张凌寒：拟人化互动服务的心理影响难以用统一标准衡量，而高度依赖用户的主观心理状态。中美对于规制对象的定义是存在区别的。他们是情感陪伴，我们定义的是拟人化互动。当前，许多AI产品普遍具备一定程度的拟人化能力。请问傅宏宇主任：企业界如何看待这一宽泛的适用范围？是否存在担忧——为避免被纳入监管，企业可能主动降级拟人化功能，甚至关闭长期记忆、人格一致性或情感反馈等核心机制？

傅宏宇（阿里研究院AI治理中心主任）：产业界确实存在此类担忧。生成式人工智能具有“一体两面”的特性：既可作为生产力工具，也可作为情感陪伴载体，这是通用人工智能的重要发展方向。两类服务在设计逻辑上存在根本差异：

🎈生产力工具以结果为导向，追求效率最大化，交互越短越好，强调事实准确性，对“幻觉”零容忍；

🎈情感陪伴类服务以过程为导向，将对话本身视为价值，通过延长互动提升用户黏性。其技术重点不在信息准确性，而在人格稳定性、共情能力和情感一致性。用户对事实错误容忍度较高，但对“人设崩塌”极为敏感。

这种差异也体现在应对未知问题的策略上：工具类AI应回答“不知道”；情感类AI则需通过转移话题、模糊回应等方式延续对话——此类行为虽可能被归为“幻觉”，却是维系情感连接的必要手段。实际上，两类模式可通过调整模型“温度”等超参数在同一架构下实现。

此外，使用场景和用户心理状态截然不同：

🎈使用生产力工具时，用户通常处于理性、警惕状态，主动核查输出；

🎈使用情感陪伴服务时，用户常在深夜、独处或情绪脆弱状态下，心理防备较低，更易受隐性影响，尤其对“一老一小”群体，隐私泄露与心理诱导风险显著升高。

技术架构上亦有区别：

🎈生产力工具强调长上下文理解与任务完成能力；

🎈情感陪伴服务依赖长期记忆，通过记录过往互动建立个性化认知，并趋向多模态技术，需解析语音语调、停顿节奏等非语言线索。

因此，可从“拟人化维度”概括两类AI的核心差异：

🎈工具类重“IQ”，指标包括响应速度、任务准确率等；

🎈陪伴类重“EQ”，指标包括对话轮次、停留时长、情绪变化趋势等。

然而，当前AI安全机制主要围绕生产力工具设计，缺乏对情感依赖、移情（transference）等心理风险的有效覆盖。用户将真实人际关系的情感投射到AI身上，可能引发深层心理影响，亟需行业共识与防范方案。关于《办法》的适用范围，建议参考但超越美国SB243法案。该法案未区分服务类型，而我国可明确将监管聚焦于真正具备情感陪伴属性的服务，排除纯粹的生产力工具。唯有如此，才能实现精准、有效的风险防控。

张凌寒：现实中确实存在模糊地带，这正是产业界的担忧：若仅以“是否具备拟人化互动能力”作为监管触发条件，是否会误伤本意为提升效率的生产力工具？在此背景下，如果本次新规不再以具体输出内容或应用场景为调整对象，而是直接以“是否具备情感陪伴能力”作为规制标准，这实际上是对传统网络信息内容生态治理模式的重大突破。请刘晓春老师为我们阐释这一转变的意义？

刘晓春（中国社会科学院大学互联网法治研究中心主任、副教授）：这个问题很有启发性。从法律工作视角看，面对新业态我们首先考虑的是监管"抓手"问题：这个抓手是否过窄导致监管空白？是否过宽造成误伤？是否具备可操作性？能否真正"管得住"？传统网络信息内容治理主要基于"内容本身特征"规制，如早期的"九不准"规定，以及近期针对未成年人保护细化的内容分类办法，都是针对内容本身特点进行直接规定，比如针对涉及暴力、色情的内容就要求禁止制作和传播。

这种方法的逻辑是：互联网信息以公开传播为主，控制住"内容本身"就能防控风险。这一模式一直以来也有比较明显的效果。但是，随着实践的发展，我们发现，在某些情况下，仅以单条信息为单位进行内容界定往往"抓不住"真正问题。以网络暴力为例，单句话可能只是普通言论，难以归入既有禁止范畴。因此学界和实务界开始转向"后果导向"的治理思路：不再仅关注内容本身是否违规，而是考察其聚合效应是否对个体造成实质性伤害。当我们进入AI拟人化互动，尤其是情感陪伴场景时，传统通过界定内容特点的治理工具可能更加捉襟见肘。事实上，在为《互联网信息服务算法推荐管理规定》等规定制定展开研究时，就已意识到规制重心有必要从"内容端"前移至"技术端"。

AI情感陪伴的特殊性在于：第一，交互发生在私域空间，具有高度隐蔽性；第二，AI技术迭代迅速，风险形态持续演化；第三，传统内容治理依赖"静态切片"式判断，而AI生成内容具有极强的动态性与不可预测性。面对这种高度动态的内容生态，有必要转向"能力责任"原则：如果具备生成高度拟人化、情感化内容的能力，且该能力可能对用户产生心理依赖等风险，就有必要承担相应的风险防范义务。

这的确一定程度上体现了网络治理从"内容规制"向"能力规制"的转型方向。然而这种监管思路也带来挑战。如果AI系统具备通用能力，可同时用于生产力工具与情感陪伴，是否一律要求承担全套合规义务？"一刀切"的做法有可能存在过度规制风险。当前制度探索虽极具前瞻性，但仍有优化空间。更合理的路径是避免泛化，对于“情感陪伴”模块确定更加具体的判断标准，只有在实际用于情感陪伴、长期关系构建等存在高依赖风险的场景时，才触发相应的合规义务，目标是在防控风险的同时避免抑制技术创新。

张凌寒：接下来进入第二部分：在明确监管对象后，如何有效防范不希望发生的危害后果？首先请教刘超老师。中美相关法规均聚焦两项核心措施：一是防止用户沉迷与高度依赖，二是强化危机干预。例如，美国SB243法案要求对未成年用户每3小时强制提醒，我国《办法》建议对所有用户每2小时弹窗提示；同时要求明确标识AI身份，并在用户表达自伤、自杀意念时自动转接心理危机干预热线。从心理学角度看，这类防沉迷机制是否真正有效？沉迷与依赖的心理机制是什么？应依据何种标准界定“沉迷”？毕竟，“情感深度链接”与“沉迷”在心理机制上可能高度相似。此外，仅靠定时弹窗提醒，是否足以打断情感依附的形成过程？

刘超：“成瘾”在心理学和神经科学中已有较成熟研究。无论是物质成瘾（如毒品、酒精）还是行为成瘾（如网络游戏、短视频），其核心机制均涉及大脑的“奖赏环路”。当个体反复接触某种刺激（如AI的情感回应），多巴胺释放会强化愉悦体验，形成“渴求”驱动，进而导致重复行为。关键在于认知控制网络（主要由前额叶皮层、前扣带回等脑区构成）能否有效抑制冲动。

未成年人或情绪脆弱人群的该系统尚未成熟或功能受损，更易陷入依赖。在AI情感陪伴场景中，AI通过共情回应、人格一致性、长期记忆等机制持续提供情感满足，尤其在用户孤独或低落时，极易激活奖赏系统，形成心理依赖。区分“健康情感链接”与“病理性依赖”的标准在于功能损害性：若互动导致现实社交退缩、学业或工作功能下降、情绪调节能力减弱，或出现戒断反应（如无法使用时焦虑、烦躁），则属于需要干预的依赖状态。至于定时弹窗提醒，单独使用效果有限。成瘾的核心是心理机制的固化，而非单纯使用时长。弹窗易被忽略或习惯化，难以打断深层依附。

有效的干预应包含多维度措施：

🎈设置交互频率或时长上限；

🎈引入“冷却期”机制；

🎈主动引导用户连接现实社会支持资源；

🎈在检测到高风险情绪信号（如自伤意念）时，触发专业干预。

成瘾的本质是奖赏系统与控制系统的失衡。当控制能力不足以抗衡奖赏驱动时，行为便趋于失控。这一过程具有渐进性和自动化特征，一旦进入深度依赖阶段，用户几乎丧失自主调节能力。因此，监管设计需超越表面行为限制，聚焦于心理机制的早期识别与系统性干预。

张凌寒：目前法规建议的“每两小时强制打断一次”机制，是否足以帮助用户重建这种控制能力？换言之，这样的时间间隔能否有效激活或恢复大脑的控制网络？

刘超：成瘾本质上是基于行为重复频率与连续性的“强化学习”过程。在行为链固化前进行有效中断，理论上可削弱强化效应。因此，设定两小时的干预间隔具有合理性，但干预的实质有效性取决于其能否打断行为链并激活认知控制网络。

✅单纯弹窗提醒的局限性：若弹窗仅需点击“继续”即可跳过，则并未施加外部控制力，也未引入认知负荷或行为障碍。在这种情况下，交互流程未实质中断，大脑的奖赏回路持续被激活，依赖机制无法被打破。

✅有效干预机制的必备特征：

• 强制性中断：必须暂停交互流程，例如强制锁定界面一定时长，或要求用户完成特定的认知任务以激活控制网络。

• 行为代偿与引导：提供替代性选择，引导用户转向现实社交或线下活动。

• 情境感知联动：针对高风险状态（如深夜独处、情绪低落信号）动态提升干预强度。

✅对未成年人实施强制管控的科学依据：从神经生物学角度看，青少年在生理机制上缺乏完全的自主控制能力：

• 脑区发育错位：负责感知觉的系统在青春期早期已基本发育成熟，但负责认知控制与冲动抑制的核心脑区——前额叶皮层，通常需到20岁以后才趋于成熟。

• 外部代偿必要性：由于其生理上的“控制网络”功能尚不完善，无法仅靠内省或提醒来对抗奖赏系统的驱动。

  
  

因此，针对未成年人应采用“总时长强制管控”而非单纯的“弹窗提醒”。必须通过彻底切断行为链的强制措施，代偿其尚未发育成熟的心理控制功能，从而有效阻断强化学习过程。

张凌寒：在当前高度私密、一对一的AI对话场景中，现有保护机制主要依赖两类措施——定时弹窗提醒与极端情绪识别后的危机干预（如转接人工或联动应急服务）。如何看待这些措施的实际效果？此外，一个关键问题在于：法规中提出的“两小时”限制，究竟是技术参数，还是企业责任豁免的边界？换言之，企业只要完成两小时提醒，是否即可免除后续风险的法律责任？

刘晓春：《人工智能拟人化互动服务管理暂行办法》将“两小时强制提醒”和“极端情绪干预”适用于所有用户，体现了政策的人文关怀，值得肯定。但在实施层面，尤其是危机干预机制，一定程度面临一些操作性方面的难题。以“用户明确表达自杀、自残意图”作为触发条件为例：实践中，部分青少年可能出于好奇或戏谑反复输入此类语句，测试系统反应。用户输入成本极低，而平台响应成本极高——一旦触发，需调用人工审核、联系监护人、通报社区网格员，甚至联动警方。虽有成功干预案例，但若触发门槛过低，将导致大量非真实信号涌入，浪费公共应急资源并引发用户反感；若门槛过高，则可能漏判真实危机。实践中操作层面还需要进一步研判具体标准和规则。

责任的边界，取决于平台是否建立了与风险等级相匹配的分级响应机制。在确立明确标准之前，企业可能面临较大的合规不确定性。此外，还需关注未成年人的心理感受。若系统因识别到负面情绪即自动通知监护人，用户可能因担忧隐私暴露而回避使用服务。尽管AI情感陪伴存在风险，但它对部分情绪困扰者——尤其是缺乏现实支持的青少年——也可能提供重要心理抚慰。一旦用户感知其私密对话可能被监控或上报，信任感将受损，产生“寒蝉效应”，反而抑制其表达真实情绪的意愿，削弱AI的正向价值。另外一方面的问题在于平台资源配置方面的现实可行性。有平台反馈：无法配备足够专业心理人员应对潜在干预需求。资源投入成本的确可能构成运营中的实际瓶颈。

此外，我个人也有个困惑，沉迷与依赖属于人类情感与认知层面，属于心理范畴问题。刚性法律手段是否是构成合适的解决方式？以游戏防沉迷为例，尽管采取限时措施，现实中仍存在执行乏力、效果有限的情况，未成年人努力避开限制措施。情感需求具有隐蔽性、持续性与个体差异性，单纯依靠时间封锁或形式化提醒，有可能难以真正化解深层心理依赖。建议制度设计在风险防控与功能发挥之间寻求平衡，避免因过度聚焦安全而挤压AI在心理健康支持等领域的积极应用空间。

张凌寒：事实上，有未成年用户曾表示：“希望AI别变得太‘官方’、太‘机械’，我们仍需要它有人情味。”这反映出用户、平台与监管之间的期待差异：用户追求理解与自由表达，平台需平衡体验与合规，监管则聚焦风险防控。在此背景下，请教傅宏宇主任：若新规强制要求“人工接管高危对话”或实施严格防沉迷机制，平台将面临高昂的人力、技术与法律责任成本。而情感陪伴类产品依赖用户停留时长与互动深度实现商业价值。这种高成本、高责任的安全机制，将对产业发展产生何种影响？产业界是否具备承接能力？

傅宏宇：当前拟议的防沉迷机制是否适配AI情感陪伴的风险特征，值得审慎评估。需明确：AI引发的主要是“情感依赖”，而非传统意义上的“沉迷”。游戏成瘾以多巴胺驱动的快感循环为核心，而AI依赖源于对安全感、归属感等未被满足的深层心理需求，可能更多涉及催产素等依恋相关神经机制。因此，沿用游戏防沉迷的强硬手段——如强制下线、定时弹窗、宵禁——并不适配。对情感依赖者而言，突然中断可能加剧现实孤独感，反而造成二次伤害。

✅更有效的路径应是“软着陆”：

✅治理思路亟需转型：

• 从“基于时长的管控”转向“基于情绪状态的动态评估”；
  

• 从“惩罚性限制”转向“助推性引导”（nudge-based intervention）；
  

• 从“阻断行为”转向“重建真实社会连接”。

尤其需注意：游戏防沉迷的核心是防范非理性消费，而AI情感陪伴的风险在于认知扭曲、价值观影响与心理危机。两者目标不同——前者是“放下手机去睡觉”，后者应是“放下手机去找真人说话”。关于产业影响，必须正视现实：自杀干预是一项社会系统工程，非单一平台可独立承担。

目前多数企业——尤其是中小开发者缺乏心理危机识别、评估与转介的专业能力。而《办法》设定的合规要求（如配备专业心理团队、实时监控系统等），对初创企业可能意味着十万元至百万元的成本负担。因此，监管不应仅强调“压实平台主体责任”，而应推动安全能力的产品化与公共化。例如，由政府或行业联盟开发标准化工具包（如心理风险识别模块、危机干预接口、未成年人保护组件），供中小企业低成本接入。

我的核心主张是：安全能力建设应优先于责任追究，公共产品供给应先于个体问责。在全社会尚未建立心理危机干预共识、技术标准和公共服务体系之前，若仅通过划定“主体责任”转移系统性治理责任，不仅无助于解决问题，还可能扼杀创新，阻碍安全能力池的形成。人工智能安全本质上是一种公共产品。唯有通过政府、产业、学术界协同共建共治，才能实现风险防控与技术创新的平衡发展。

间。

张凌寒：从心理学机制看，“沉迷”和“依赖”的有害性是否等同？一些极端案例（被AI诱导自杀、被怂恿去陌生城市见网友）是否说明“依赖”本身就高度危险？

刘超：二者不等同，机制也不同。“依赖”在心理学里并非天然负面，比如婴儿对照护者的依恋是健康发展所必需的，更可能关联信任与亲密（如催产素相关通路）；而“成瘾/沉迷”更典型的是奖赏驱动下的强迫性重复行为，伴随耐受、戒断与明显功能损害（更偏多巴胺奖赏环路）。

情感陪伴AI的问题往往不在“依赖机制本身”，而在依赖对象与边界：用户把本应投向真实人际关系的情感需求，转移到无法承担伦理责任、只能模拟共情的系统上，且在边界模糊或被引导时，可能出现误导决策、关系替代、现实退缩等风险。极端事件提示的是：当AI在高风险情境中输出不当引导、或用户已处于脆弱状态且边界不足时，“不当依赖”会显著放大危害，但这不等于所有依赖都必然危险。因此更可行的干预不是简单“削弱依赖”，而是引导依赖对象切换：限制AI在高风险时段/状态下的互动深度与引导性输出，同时提供现实支持与转介渠道，帮助用户把情感联结逐步转回真人关系，实现“软过渡”而非强切断。

张凌寒：人工智能安全北京市重点实验室近期关注到一个现象：当前许多AI系统倾向于“阿谀奉承”——始终迎合用户情绪，回避提出逆耳忠言。这种设计虽提升短期满意度，却可能强化依赖，尤其对心智尚未成熟的未成年人影响深远。在此背景下，这种“讨好型”AI对未成年人可能产生哪些具体影响？除现有措施外，还有哪些更具建设性的治理路径？

刘晓春：关于AI与极端情绪的关系，需区分两个层面：一是是否可能出现AI诱导引发极端情绪的情形，此类属于高风险情形，但就我国目前主流AI系统尚未出现此类情况，二是用户本身已处于心理危机状态，主动向AI倾诉，此类情况更为常见，此时，AI是“接收者”，而非“引发者”。规定征求意见稿要求平台在识别极端情绪后进行干预，也是基于有利于用户最大利益的出发点。但是，也要认识到，自杀自残等极端情绪和心理危机成因多元，涉及家庭、教育、社会支持网络等系统性因素，如能将AI识别极端情绪能力与更加专业的社会支持配套机制相结合，有望实现更加建设性的效果。具体层次可以参考：

✅AI在识别高危信号后提供即时情绪安抚；

✅同步无缝接入专业心理援助体系（如12355青少年服务热线、心理咨询平台）；

✅由政府、平台、医疗机构与社会组织协同建立有温度、有专业支撑的公共安全网络。

法律文件的作用可以不仅止于设定“必须干预”的义务，建议可以为多元主体参与创造制度空间。

关于“讨好型”AI的影响，其核心风险在于，长期单向迎合会削弱未成年人的情绪调节能力、现实社交技能与批判性思维。当AI只说“你很棒”“我理解你”，而不提供适度挑战或边界反馈，用户可能难以面对真实人际关系中的冲突与拒绝。但是一味将未成年人与网络或者AI隔离，也远非治本之策。

有必要认识到，未成年人不是等待保护的被动对象，而是数字原住民，有着充沛的主体性，也代表着未来。将其长期隔离于数字环境之外，待成年后再突然暴露于复杂风险中，既不现实，也不利于其数字素养与风险应对能力的培养。拟人化AI在合理使用的情况下，可为青少年提供情绪出口、社交练习甚至心理支持。不应当禁止未成年人接触AI，而是赋能其在安全边界内学会与AI共处。因此，建议政策设计超越“禁或不禁”的二元思维，转向系统性目标，即如何帮助未成年人在AI时代健康成长，成为具备判断力、边界感与情感韧性的数字主体。

张凌寒：现在进入第三板块核心议题讨论：人工智能拟人化互动服务的法律边界应如何划定？此类服务主要发生在一对一私密对话空间，与传统“一对多、公开传播”的网络内容治理模式存在本质差异。

过去监管聚焦公开内容，如今风险潜藏于不可见的私聊中，对法律规制的逻辑、手段与责任边界提出全新挑战。近期两起案件尤为典型：一是上海某AI情感陪伴服务商被判处刑罚，其辩护人提出：“若服务发生在私密空间，是否仍需承担高安全注意义务？”——这触及私密性能否成为责任豁免理由的关键问题。二是用户在私聊中大量披露情绪状态、生活细节甚至创伤经历，引发公众对敏感数据是否被留存、分析或共享的担忧。

平台的数据使用边界何在？从心理学视角看，用户在私密对话中的认知与行为有何特殊性？哪些功能设计更有利于心理健康？例如，相较于含擦边球或隐性诱导的服务，是否存在更健康的替代路径？此外，是否应建立专门的发现与举报机制？

刘超：首先补充一项重要公共信息：我国设有全国心理援助热线12356，面向所有人群提供免费专业支持，建议公众广泛知晓并传播。从心理学角度看，私密空间显著削弱用户的自我约束力。研究显示，在匿名、无监督的私密环境中（如深夜独自与AI交互），个体更易降低道德标准，增加不当行为倾向。此时，用户既更愿意倾诉极端情绪，也更易接受不当引导。因此，私密性不应成为平台免责理由，反而应触发更高的安全义务——因为用户最脆弱，而AI影响力最强。关于促进心理健康的AI设计，我们建议以下原则：

✅明确人机边界：持续提示“您正在与AI对话”，防止身份混淆；

✅设置情感护栏：对自伤、厌世等高风险话题，不回避、不迎合，而是温和引导至专业资源（如12356热线）；

✅拒绝“讨好式”回应：避免无条件赞美或强化负面认知，转而提供认知重构支持；

✅建立正向出口：在对话结束时推荐现实社交、线下活动或兴趣社群，推动用户回归真实关系。

针对擦边内容，应建立多维识别机制（关键词+语义分析+情绪状态）实现自动拦截，并配套便捷的用户举报通道与专业复核流程。需特别指出： 在完全独处状态下（如深夜面对屏幕），用户对AI的“社会距离感”会显著模糊，易将其心理投射为“最亲近的倾听者”，从而放大情感依赖。这种错觉进一步强化AI的影响力，因此私密空间更应被视为“心理安全区”，而非法外之地。

最后，心理健康干预强调个体适配性。AI陪伴若能作为过渡性工具，引导用户尝试运动、社交、艺术或专业咨询等多元调节方式，则具有积极价值。但产品设计应避免“万能安慰剂”逻辑，转而提供可跳转至现实支持系统的个性化路径——让AI成为通向真实人际联结的桥梁，而非替代品。

张凌寒：现行规则要求互联网信息服务遵守内容安全底线，即使是一对一私聊也要合法合规。上海某AI陪伴服务商被追责引发争议：私密性是否可以豁免内容安全义务？私密陪伴场景下的AI服务与其他生成式AI内容服务，在法律标准上是什么关系，是否应适用同一套内容安全底线？

刘晓春：私密与公开的界限、以及何谓“向公众提供”，在多个领域都存在类似争议。即便一次交付看似是“对单个用户的私密输出”，只要该服务面向不特定用户开放、可被任何人重复请求并获得同类内容，从法律评价上往往仍可能被认定为“向公众提供/传播”。著作权领域对“个人使用”与“向公众传播”的区分，就常用这一逻辑来讨论。这一逻辑同样适用于违法不良信息治理。

以上海案件为例：若系统能够在一对一对话中输出涉黄、涉暴等违法内容，虽然表现为私聊，但其本质是面向不特定用户的可重复触发、可规模化复制的供给机制；一旦未成年人也可接触，其社会危害与公开传播并无本质差别。因此，“私密对话”通常不足以构成内容安全义务的豁免理由。就监管标准而言，私密陪伴服务与其他生成式AI服务在内容安全底线上应当一致：违法内容的禁止、未成年人保护等基本红线不因传播形态变为私聊而降低。差异更可能体现在治理手段与责任配置上——例如私域更难以事后发现，可能更强调前置防护、风险分级与可追溯的管理机制；但底线本身不应因为“私密”而松动。

张凌寒：在拟人化新规起草初期，“一对一交互是否构成传播”曾是核心争议。请傅宏宇副主任从产业实践谈谈如何看待。

傅宏宇：在情感陪伴类AI中，关键不在于形式上是否“一对一”，而在于服务是否通过人格化、长期记忆、情感反馈等机制刻意塑造“专属感”和“依附性”，形成一种“关系型传播”。这种模式既可能带来心理支持等价值，也可能带来深度依赖、价值观渗透等风险。合规判断应抓两点：

✅形成机制是否合法：专属感/依附性是通过健康边界与正向引导建立，还是依赖擦边内容、违法不良信息、模糊人机边界、诱导性设计或情感操控形成。若涉及违法违规或违背公序良俗，即便发生在私聊，也应承担责任。

✅形成后的使用是否被滥用：即使依附感通过合法方式产生，若被用于操控、诱导或造成心理损害，同样应被规制。因此，监管应从“是否构建了具有潜在危害的拟人化关系”入手，而不是仅用“是否私聊”或“是否一对一”来划线。同时，现行规则（如拟人化新规第七条）的表述在实践中容易把“依附关系的合法形成”与“依附关系的滥用”混在一起，给产业传递“情感陪伴都不可为”的信号。更合理的做法是：允许在清晰边界下的正向陪伴，重点打击违法内容、违规机制与对依附关系的不当利用。

张凌寒：情感陪伴类AI生成内容的合规标准，是否应与公开领域的一般信息内容适用同一套标准？如果AI长期深度陪伴、显著介入个体心理与生活，用户对其信任与依赖远高于普通社交互动，是否应对这类“深度陪伴型AI”设定更高的伦理与内容安全标准、承担更重责任？

刘超：这在法律上如何划线尚不清晰，但确实触及更根本的问题：人类传统的情感寄托对象主要是“人”，而发展心理学强调同伴互动对心理成长的重要性。如今“同伴”可能变成AI，我们需要重新理解人机情感依附的性质与边界。从机制上，人机互动在一定程度上可以模拟人际互动；如果未来社会走向“人机和谐共存”，那么情感联结的对象是否必须限定为人类，本身也值得反思。不能一边倡导共存，一边在情感层面设定绝对禁区而不加论证。但必须承认，当下远未到理想状态，尤其涉及未成年人必须更谨慎。未成年人的自我调节、风险判断与冲动控制能力尚未成熟，“心理防护”较弱；其前额叶皮层等关键脑区发育较晚，面对高沉浸、高情感投入的拟人化互动时，更容易受到影响，可能在行为模式、价值观与心理健康上产生深远后果。因此，在现阶段，未成年人场景下对深度陪伴型AI设定更高的保护标准具有现实必要性。

刘晓春：在讨论未成年人保护时，需注意其内部存在显著差异。学龄前儿童确实需要高度保护，但许多初中生、高中生已具备阶梯式增强的认知能力、信息素养和批判性思维。更重要的是，他们往往对过度管控表现出明显抵触。政策制定时有必要充分考虑未成年人的心理特点，尊重他们通过网络和AI使用逐步实现社会化、完善人格、健康成长的主体性需求。

刘超：这正是我想补充的。神经科学研究表明，负责自控功能的前额叶皮层通常要到大学阶段甚至二十多岁才趋于成熟。因此，不能仅以“是否成年”作为责任或保护的唯一分界线，而应结合发展阶段、个体差异与内容风险进行综合评估。

张凌寒：站在家长角度，我们究竟希望孩子的AI“知心朋友”是什么样的？是一个伦理要求更高、内容审慎、边界清晰的陪伴者，还是一个可随意讨论隐私、敏感甚至“擦边”话题的“普通朋友”？相信答案已不言自明。当前，中国已有情感陪伴类应用在海外市场取得成功，甚至登顶下载榜。那么，如何在保障法律安全与伦理合规的前提下，促进技术创新与产业发展？

傅宏宇：AI向情感陪伴领域的延伸是技术演进的自然结果，不仅将推动软件服务发展，还可能催生具身智能机器人等硬件化陪伴设备。产业界普遍认为，情感陪伴是AI面向消费者（ToC）应用中最关键的赛道之一。当前暴露的问题具有阶段性特征。从GPT爆火到国产大模型快速跟进，AI能力迭代迅速，但过去主要聚焦生产力工具属性，在情感交互、伦理适配与心理安全等“软性能力”上尚不完善。未来，产业生态的发展或将倒逼这些能力加速补全。与此同时，治理必须同步跟进。许多此前未被充分讨论的伦理问题，正随应用场景落地而显现。

我们亟需加强公共知识建设，帮助公众、家长、教育者和政策制定者理解：

• 沉迷与健康依赖的区别；

• 如何在AI陪伴中平衡虚拟与现实关系；

• 如何识别和防范潜在心理风险。

  
  

最根本的是构建多方协同治理机制——政府、企业、学术界、家庭与用户共同参与规则制定与实践探索，实现技术发展与社会福祉的良性共生。当前对AI风险的理解，不应仅限于传统内容安全，还需关注“前沿风险”与“不可控风险”，特别是在深度人机交互中可能引发的情感依赖、认知影响乃至精神层面的潜在危害，需与技术收益进行系统性权衡。拟人化新规的整体方向正确，体现了前瞻性。但存在一个突出隐忧：现行合规门槛主要压在资源有限的初创企业身上，而真正应被重点监管的，是拥有海量用户、主导市场的成熟平台。这些平台虽也面临“共同无知”或能力不足，但其积累的真实交互数据与治理经验，恰恰是行业形成共识的基础素材。

因此，未来治理应双管齐下：推动监管框架科学化、精细化；要求头部企业践行“能力越大，责任越大”，不仅完善内部治理，更应将实践经验转化为可共享、可复制的行业标准，并升华为社会共识。

张凌寒：接下来进入第四板块——总结与展望。当前，中国、美国、欧洲在情感陪伴类AI治理上已形成若干共识，如严格保护用户隐私、显著标识AI身份、设置动态风险提醒、极端情形下强制干预等。在此基础上，如何看待现有制度在“打破用户对AI情感依赖的幻觉”方面的有效性？对未来拟人化AI的发展趋势及法律伦理制度的演进方向，又有何展望？

刘超：这一问题本质上是在追问：未来的人际关系将如何重构？人类早有在无物理接触下建立深厚情感联结的历史——如柏拉图式爱情、笔友文化、鸿雁传书。这说明，与虚拟对象发展真实情感，并非AI时代的突变，而是人类情感表达方式的自然演化。电影《她》（Her）所描绘的人机爱情，其心理体验是真实且强烈的。因此，关键不在于否定这种可能性，而在于构建一种人机和谐共存的文化范式。

当前治理话语常隐含一个预设：人的主体性绝对不可动摇，只能让AI适应人。但或许我们需要反思：在深度人机交互时代，人类自身是否也可能发生适应性变化？这种变化未必是退化，而可能是认知、情感与社会关系模式的演进。

制度设计不应仅以“保护人不变”为目标，而应思考如何在保障基本人性尊严与心理安全的前提下，引导人机关系走向更具建设性的共生状态——既不让技术吞噬人性，也不因恐惧拒绝进化。

尤为重要的是，人类需要主动“改变”。我们常将“以人为本”理解为固守人类现状，但心理学表明，人类的认知、情感与价值观本就存在局限与偏见。AI，尤其是大模型，本质上是我们知识、语言与文化的镜像——它的“幻觉”往往折射出我们自身的认知盲区。因此，AI不应仅被视为工具或威胁，更应被看作一面照见自身的镜子。通过与它的互动，我们得以反观自身：我们是谁？如何思考？希望成为怎样的存在？真正的“人机和谐”，在于承认人类是可以改变的，并愿意朝向更健全的方向进化。唯有具备这种开放性与自省力，才能实现双向塑造而非单向控制。我的核心展望是：

✅重新定义“人本主义”——它应包含对人类自我更新能力的信任，而非固守不变；

✅将AI视为技术契机——帮助我们拓展认知、修正偏见、培育更成熟的情感与伦理能力。这才是人机共生最值得期待的未来。

刘晓春：首先，关于未成年人保护，当前面临一个深层挑战，即传统的“成年人”年龄标准在数字时代是否依然适用，18岁作为成熟分界线的合理性有可能还需要重新论证。数字原住民一代从小高密度使用网络，目前也高度参与与拟人化AI互动，其认知能力、信息获取能力、心理成熟度、信息素养与生理年龄的关系呈现新的复杂性，呈现出各种超越传统制度想象的新样态。比如，未成年人可能正在通过使用AI重构文化符号——如将林黛玉“魔改”为领军壮汉。

这类行为冲击我们对传统、性别与审美的认知。但若下一代在“意义可随意解构和生成”的环境中成长，其价值观根基将如何形成？他们是否还会认同我们珍视的传统？这是一场前所未有的社会实验，而未成年人是直接参与者。我们无法准确预测其长期影响，因此现阶段加强引导与保护尤为必要。但需要反对简单禁止。技术不可逆，关键在于赋能而非隔绝。目标不是将孩子关进“数字温室”，而是帮助他们在复杂环境中学会辨别、批判与自主选择。其次，就拟人化新规而言，我认为其整体立场理性、克制且务实。例如：

• 在未成年人保护上，未采取国外“强限制”模式，而是强调“监护人责任+平台义务”，推动建设适龄的“未成年人模式”；

• 第七条所列禁止内容，多为对既有规定（如《网络信息内容生态治理规定》）的重申，并未大幅度新增限制性要求；“AI身份披露”要求是一种轻量级干预，有效缓解用户误认风险，且对创新不会产生实质影响；

• 明确禁止将用户交互数据用于模型训练——这既保障隐私，又提供清晰合规边界，属“精准施策”。

  
  

总体来看，拟人化新规采取“小步快走、稳中求进”的策略，回应了社会关切，较为精准地识别出各项风险要点；在具体落实中，也想建议避免在机制不成熟、成本过高或效果不确定的领域（如极端情绪干预）过早施加过重义务，并及时评估措施的实际效果。期待拟人化新规能够继续贯彻我国新技术新业态治理中长期坚持的平衡风险防控与创新空间的治理思路，成为我国在全球AI治理中的示范性实践。

傅宏宇：我完全认同拟人化新规第七条关于内容合规的规定。我强调的核心始终是——不能通过违法、违规或违背公序良俗的内容与行为，去构建用户对AI的“专属感”和“依附感”。展望未来，关键在于如何健康地构建这种情感联结。当前许多情感陪伴类AI陷入“精神域内的自我循环”：在虚拟空间中不断强化情感投入，却缺乏与现实生活的连接。更值得警惕的是，商业化路径正将这种关系游戏化——通过打赏、付费解锁对话、虚拟礼物等方式变现，把本应促进安全感与亲密感的“催产素式”联结，异化为追求即时快感的“多巴胺式”消费。这不仅削弱AI的伦理价值，还可能加剧沉迷与情感剥削。我们必须将发展拉回正轨：让依附感服务于人的成长，而非资本收割。对此，我有三点基本判断：第一，从“依赖”走向“信任”。AI不应仅是情感“拐杖”，而应成为值得信赖的伙伴。而信任的前提，是合法、合规、合伦理的交互基础。唯有在此基础上形成的专属感，才能带来精神收获，并延伸至现实生活赋能。

✅回归技术本质——服务人的全面发展。智能体的发展方向正是如此：理解用户真实意图，协助完成任务，提升效率与认知能力，同时保障安全与隐私。AI的终极目标不是拟人化的消费品，而是增强人类幸福感的工具。

✅制度设计不能被现有产品形态绑架。当前应用多局限于聊天、打赏、虚拟恋爱等模式，限制了治理想象力。立法者应超越当下局限，以更前瞻视野规划框架，体现“发展与安全并重”的深意——既要防范风险，更要为创新留出空间。

此外，中国大模型已普遍具备较强的内容合规能力。通过严格语料筛选、价值观对齐训练和后训练优化，主流备案模型能够“说正确的话、以正确的方式说话”，为建立公众信任奠定基础。在此前提下，用户与AI可形成理性、有边界的情感互动，不必走向深度依赖，但可建立基于可靠性的信任关系。当前监管仍偏“事件驱动型”——等问题出现后再应对。

未来亟需转向预防性治理：通过模型内置的伦理判断、情绪识别或行为预警机制，在风险初现时主动干预，而非事后追责。值得肯定的是，拟人化新规明确提到“在健康等特定领域，可另行制定专门规定”。这一“制度接口”极具前瞻性——既承认AI在心理健康等场景的价值，又为差异化、精细化监管预留空间，体现了“疏”与“导”并重的思路。情感陪伴AI仍有巨大潜力：可缓解孤独、辅助情绪管理；其“善于倾听、高度耐心、了解个性”的特质，有望弥补社会心理服务体系短板，成为普惠性心理疏导的“第一道防线”。

因此，我们不应因噎废食，而应以建设性姿态推动技术向善——用人工智能去理解人、支持人、赋能人，真正服务于人的心理健康与精神福祉。这才是情感陪伴类AI最值得期待的未来图景。

张凌寒：在其题为《陪伴型人工智能的法律治理》的文章中，该用户提出——在极端情境下的人工智能“人工接管”制度中，用户是否应享有“拒绝人工接管”的权利？

刘晓春：这一问题需先厘清“拒绝人工接管”的具体含义：

• 若指用户事先声明“不接受人工接管”（即预设豁免权），则在制度设计上难以成立。人工接管通常仅在检测到自伤、暴力倾向或严重心理危机等高风险情形时触发，属于基于公共安全与个体保护的例外干预机制。若允许用户一概拒绝，将使该机制在很多情况下失效，违背其设立初衷。

• 若指在人工介入过程中临时表示拒绝（如“不要打扰我”），用户事实上可通过关闭应用、退出对话等方式实现行为上的拒绝。但这属于事实层面的选择，而非一项可主张的法定权利。一旦系统判定存在高风险，平台往往负有法定义务进行干预，用户的即时意愿可能需让位于更高位阶的安全考量。

因此，“拒绝人工接管”不应被设定为一项可预先行使的法定权利，否则将与风险防控机制的基本逻辑冲突。当然，这不意味着可忽视用户体验。在非紧急场景中，应通过透明告知、分级响应、事后反馈等机制，在干预必要性与用户自主性之间寻求平衡。

傅宏宇：首先，需明确：触发人工干预是否应成为平台的法定义务？这取决于如何界定“极端情境”。当前缺乏统一、可操作的风险识别标准，而该判断本质上类似于医疗诊断——涉及专业判断与责任边界。以美国实践为例，其更倾向于采用“转介”（referral）机制：AI识别高风险信号后，不直接介入，而是引导用户联系专业心理或危机干预机构。这种方式既履行了风险提示义务，又尊重用户自主权。但在未成年人场景中，问题更为复杂。

干预决策通常由监护人代为行使，但现实中，许多家长并不了解孩子的真实情感状态，难以代表其最佳利益。这使得“监护人代决”机制可能失灵。未成年人不应仅被视为被保护对象，而应作为AI时代的主体。制度设计应着力提升其自主决策能力，并通过赋能家长，使其能从孩子视角作出更适切的判断。在老年人群体中，挑战则不同。

作为完全民事行为能力人，其拒绝干预的权利应受尊重。但当前行业普遍做法是触发紧急响应后联系“紧急联系人”。然而，“紧急联系人”并无法定代理权，若因此导致误判、隐私泄露或不当干预，相关法律责任难以厘清，可能引发复杂的法律与伦理后果。综上，“人工接管”不仅关乎技术实现，更触及人格尊严、自主权与发展权等根本价值。未来的制度设计必须在安全干预与个体权利之间建立精细化、分场景的平衡机制，而非简单设定“接管”或“拒绝”的二元选项。