2025年12月至2026年1月,生成式AI进入“幼儿期”,零代码工具与开源代理OpenClaw涌现,自主代理加速落地。治理亟需升级:从关注模型输出风险转向将责任编码入工作流,确保机器速度下的业务风险可控。加州AB 316生效,明确“AI做工作、人类担责”,禁止以AI为由推责。
赞助
人工智能
培育超越“幼儿期”的智能代理
自主智能代理的前景要求治理格局发生重大变革。
作者
Lynn Comp
档案页
2026年3月16日
提供方
Intel
为人父母者从婴儿期到成年期,会经历许多关于成长里程碑的担忧。婴儿学会说话或走路所需的月数常常被用作健康状况的基准,或作为需要进一步检查以正确诊断潜在健康状况的指标。父母为孩子的第一步欢呼,然后当孩子能够快速走出户外,而不是在室内安全区域缓慢爬行时,他们意识到一切已大不相同。突然间,安全问题——包括儿童防护——需要完全不同的视角和方法。
生成式人工智能在2025年12月至2026年1月期间进入了“幼儿期”,多家厂商推出了零代码工具,同时GitHub上发布了开源个人代理OpenClaw。告别地毯上的爬行——生成式AI技术“婴儿”突然加速冲刺,而真正可操作的治理原则却寥寥无几。
责任挑战:问题不在于它们,而在于我们
迄今为止,治理的重点一直放在模型输出风险上,且在做出具有后果的决策(如贷款审批或求职申请)前,人类始终处于回路中。关注点在于模型行为,包括漂移、对齐、数据窃取和投毒等。节奏由人类以聊天机器人形式提示模型,机器与人类之间有大量来回互动。
如今,随着自主代理在复杂工作流中运行,应用人工智能的愿景和收益要求回路中的人类大幅减少。目标是以机器速度运营企业,通过自动化具有清晰架构和决策规则的手动任务。从责任角度来看,机器执行工作流与人类执行工作流之间的企业或业务风险不应减少。
CX Today对此进行了简洁总结:“AI来做工作,人类承担风险”,而加州法律(AB 316)于2026年1月1日生效,彻底消除了“是AI做的;我没有批准”的借口。这与为人父母时成年人需为其孩子对社区造成负面影响的行为负责的情形类似。
挑战在于,如果不将强制执行治理的代码嵌入到整个工作流中,并根据不同的风险和责任层级进行对齐,自主AI代理的优势将被抵消。过去,治理是静态的,且与聊天机器人典型的交互节奏保持一致。然而,自主AI的设计本质是从许多决策中移除人类,这会影响治理。
考虑权限
就像把一台可以远程控制“艾布拉姆斯”坦克或武装无人机的视频游戏主机交给三岁孩子一样,仅仅依靠概率性的
来源:Lynn Comp
