全部分类

2026-10-10

Goodfire 推出低成本 AI 智能体内部监控方案

AI AgentAI 安全Goodfire
来源:TechCrunch AI ↗

AI 安全公司 Goodfire 发布了一种新的 AI 智能体监控方案,与常见的“用另一个 AI 审查智能体所有行为”不同,该方案直接观察模型运行时的内部状态,仅在发现异常时才调用额外审查资源。公司称这种方式能大幅降低监控成本,同时仍可捕捉失控或行为异常的智能体。随着 AI Agent 被越来越多地用于自动化任务,如何在控制开销的前提下保证其行为可控,正成为行业关注的重点。

目前主流的智能体监控思路是让第二个模型逐条审查其输出,成本高且难以规模化。Goodfire 的“由内而外”方案试图从模型内部信号入手,只在可疑时升级处理,若效果得到验证,可能为 Agent 的大规模部署提供更经济的护栏。后续值得关注其实际检出率与误报表现。

本文编译自「TechCrunch AI」,点击查看原始报道。

查看原始报道 ↗
查看全部资讯 →