抢先 OpenAI 的" Operator "露出 勾引，清华、复旦、斯坦福等商讨者蚁集起来整了个大活～

他们建议了一个名为"Eko"的 Agent 成就框架，成就者只需用圣洁的代码和天然说话，就能快速构建可用于分娩的"编造职工"：

Agent 不错接收用户的电脑和浏览器，代替东说念主类完成各式任务。

而这个操作，恰是之前 OpenAI 被爆出的" Operator "所能已矣的。爆料称 OpenAI 将会这个月发布" Operator "，当今径直被截胡了。

更为关键的是，商讨团队还把 Eko 给开源了。

来望望 Eko 是若何让责任经由自动化的。

比如自动在雅虎财经上网罗纳斯达克的最新数据，包括主要股票的价钱变化、市值、交游量，分析数据并生成可视化陈诉：

再举例：

现时登录页面自动化测试：

正确的账户和密码是：admin / 666666

请连忙组合用户名和密码进行测试，以考据登录考据是否经常责任，举例：用户名不行为空、密码不行为空、用户名不正确、密码不正确

临了，尝试使用正确的账户和密码登录，考据登录是否告捷

生成测试陈诉并导出

计帐现时目次下大于 1MB 的通盘文献

这是若何已矣的？

开源版"编造职工"成就框架

这项演技的中枢期间翻新有三点：

搀杂智能体默示：建议了" Mixed Agentic representation "，通过无缝勾搭抒发高头绪假想的天然说话（Natural Language）与成就者低头绪已矣的顺序说话（Programming Language）。

跨平台 Agent 框架：建议环境感知架构，已矣兼并套框架和编程说话，同期维持浏览器使用、电脑使用、算作浏览器插件使用。

分娩级纷扰机制：现存 Agent 框架无数强调自治性（Autonomous），即无需东说念主类纷扰，而 Eko 框架提供了显性的分娩级纷扰机制，确保智能体责任流不错随时被中断和调度，从而保险东说念主类对分娩级智能体责任流的灵验监管和治理。

环境感知架构（Environment-Aware Architecture）

主要场景包括：

i）浏览器使用：主要专注于通过图形用户界面（GUI）来操作网页和浏览器中的元素，常见的已矣姿首包括截图和网页索要期间。

ii）电脑使用：与浏览器不同，Node.js 自动化则主要面向敕令行界面（CLI）操作和文献系统料理，将来还会引入 GUI 感知本事。

Eko 的跨平台成就是通过其环境感知架构（Environment-Aware Architecture）已矣的，这一架构由三个关键头绪组成：通用中枢（Universal Core）、环境特定器具（Environment-Specific Tools）和环境桥接（Environment Bridge）。

通用中枢：这一层提供了与环境无关的基本功能露出 勾引，如责任流料理、器具注册料理、LLM（大说话模子）集成和钩子系统。

环境特定器具：每种环境（如浏览器彭胀、Web 环境、Node.js 环境）齐提供了优化的器具集。

环境桥接：这一层隆重环境的检测、器具注册、资源料理和安全截至，确保不同平台之间约略胜利互动和通讯。

安全性和探听截至：Eko 针对不同环境实施了相宜的安全措施。浏览器彭胀和 Web 环境齐接纳了严格的权限截至和 API 密钥料理，而 Node.js 环境则允许更等闲的系统级探听，基于用户权限进行文献操作和敕令践诺，在需要时会在践诺前申请用户阐发。

自动器具注册：通过 loadTools ( ) 等器具，Eko 自动注册适用于现时环境的器具，这使得成就者不错在多个环境中无缝地切换，并确保器具的正确加载。

头绪化有筹谋（Hierachical planning）

团队建议头绪化感知框架，将任务的拆解分为两层，包括 Planning layer 和 Execution layer。

其中 Planning layer 隆重将用户的需求（天然说话或代码说话默示）和现存器具集拆解成一个有界限特定说话（Domain-specific language）默示的任务图（Task graph）。

任务图是一个有向无环图，描画了子任务之间的依赖关系。该任务图由 LLM 一次性合成。在 Execution layer 中，证据每个任务调用 LLM 来合成具体的践诺行为和器具调用。

多步合并优化：当 Eko 检测到两次践诺齐是对 LLM 的调用时，会触发框架的自动合并机制，将两次调用的 system prompt 自动整合，合并成一次调用。从而加速推理速率。

视觉 - 交互因素蚁集感知（Visual-Interactive Element Perception）

视觉 - 交互因素蚁集感知框架（VIEP）是一种新颖的浏览器感知措置决策，通过将视觉识别与元素落魄文信息勾搭，权贵种植了在复杂网页中的任务精度和效果。

它通过索要网页中的交互元素（如 A11y 树），并将其映射到界限特定说话（DSL），生成高效的伪 HTML 代码，简化了元素的表征。

不同于传统的 A11y+Screen shot 决策，VIEP 在视觉信号方面，引入了 Set-of-Mark，确保每个元素的视觉记号符与伪 HTML 中的记号符逐一双应，种植了元素识别的精度。

为了优化性能，截图阔别率被压缩至原始的 60%，同期画质压缩至 50%，减少了资源浪费，同期保合手了饱胀的识别质地。

与传统的 HTML 默示比拟，VIEP 通过简化交互元素和生成紧凑的伪 HTML 结构，幸免了径直处理刚劲 HTML 履行的支出。举例，Google 首页的 HTML 从 22 万字符减少至仅 1，058 个字符，大幅提高了处理速率和准确度。

VIEP 不仅优化了性能，缩小了老本，还种植了跨环境恰当性，确保自动化操作在不同浏览器和操作系统中踏实运行。

分娩级的可纷扰机制

在构建 AI 驱动的自动化系统时，成就者往往需要监控任务的践诺情况，随时调度行为，或在必要时进行纷扰。

天然"钩子"是软件成就中的常见认识，但在 Eko 中，它们承担了专有的扮装——在 AI 自动化和东说念主工监督之间架起了一座桥梁。

简便来说，不错在 Workflow 践诺前后插入我方的逻辑，比如考据输入、处理罢了、甚而重试失败的任务。

代码如下：

Eko 提供三种不同层级的钩子，每个层级齐具有专有的作用：

责任流钩子（Workflow Hooks）

这些钩子位于责任流的最表层，用于合座截至和监控自动化经由的启动和罢了。举例，你不错在责任流脱手之前进行资源运悠扬，或在责任流罢了后进行计帐和处理最终罢了。

子任务钩子（Subtask Hooks）

这些钩子位于责任流的中间层，允许你在每个子任务脱手前和罢了后进行监控和处理。举例，你不错在每个子任务前记载日记，或在职务完成后对中间罢了进行处理。

器具钩子（Tool Hooks）

这是最细粒度的钩子，允许你在每个器具践诺前后进行考据和修改。举例，你不错在器具践诺前考据输入参数，或在器具践诺后处理复返罢了。

钩子不错匡助成就者实时优化责任流，提高自动化系统的精度和效果。

举例，在践诺某些任务时，成就者不错通过钩子对输入数据进行考据，防患放肆信息传入系统；或在职务完成后，处理和悠扬罢了，以便更好地诓骗输出。钩子还能匡助成就者网罗践诺数据，进行性能分析，识别瓶颈并优化自动化经由。

除了旧例的监控和调试功能，Eko 的钩子系统还维持更翻新的使用场景。

举例，在一些关键任务践诺时，钩子不错暂停责任流并恭候东说念主工审批；在 AI 决策出现问题时，成就者不错通过钩子进行东说念主工纷扰或隐敝 AI 的判断，确保业务经由的顺畅。

作家简介

陆逸文，清华大学博士生，商讨敬爱为具身智能平台和智能体。

罗卓伟，FellouAI 首席工程巨匠，面前从事东说念主工智能关系界限责任。

马骁腾，清华大学自动化系博士后，博士毕业于清华大学。主要商讨敬爱为强化学习和智能体。

陈家棋，复旦大学硕士生，斯坦福大学探听学生学者。主要商讨界限为计较机视觉和智能体。

Homepage：https://eko.fellou.ai/

Github link：https://github.com/FellouAI/eko

Docs：https://eko.fellou.ai/docs/

—  完  —

投稿请发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿履行‍

附上论文 / 表情主页运动，以及磋议姿首哦

咱们会（尽量）实时回话你

点这里� � 蔼然我，铭刻标星哦～

一键三连「共享」、「点赞」和「在看」

科技前沿弘扬日日相遇 ~