legacy-use：为没有API的旧软件添加AI自动化接口

legacy-use是一个开源工具，它的核心作用是为那些陈旧、没有API接口的桌面软件（通常称为“遗留软件”）提供一个现代化的REST API接口。它通过一个AI智能体来“观察”软件的图形用户界面（GUI），并模拟人类用户的键鼠操作。这样一来，开发者就可以像调用普通API一样，通过发送简单的指令来自动化操作那些原本封闭的旧软件。这个工具解决了大量企业仍旧依赖关键但过时的软件进行核心业务，却无法实现自动化的痛点。它为这些传统系统接入现代自动化工作流和AI技术提供了一座桥梁。

功能列表

• 智能体API层：为任何桌面应用程序（Windows、Linux等）提供一个由AI驱动的API层，使其能够被程序化地调用。
• 模拟人类操作：通过AI视觉模型识别界面元素，模拟鼠标点击和键盘输入，完成各种复杂操作。
• 连接与执行：内置处理RDP、VNC等远程桌面协议的连接能力，并管理任务队列，执行发送给目标系统的指令。
• 数据提取：智能体能够从软件界面中识别并抓取所需数据，例如从报表中提取数字，或复制客户信息。
• REST API封装：将所有自动化操作和数据提取功能，统一封装成标准的REST API接口，方便与其他系统集成。
• 监控与人工介入：提供完整的日志和监控功能，并设置了“护栏”，当自动化流程出错或遇到意外情况时，可以暂停并通知人工操作员介入处理。

使用帮助

legacy-use旨在为那些没有提供API（应用程序编程接口）的传统桌面软件提供一个自动化的解决方案。它的工作原理是部署一个AI智能体，该智能体能够像人一样“看”和“操作”软件的图形界面。以下是其详细的工作流程和使用方式：

架构核心

legacy-use的架构建立在Anthropic的“Computer Use”模型之上，并将其能力扩展到Windows、Linux等各类操作系统上的旧软件。它并非直接侵入或修改旧软件的代码，而是在其外部建立一个交互层，主要由以下几个部分组成：

1. 连接基础设施 (Connection Infrastructure)
   • 远程连接：系统首先需要连接到运行目标软件的计算机。legacy-use支持标准的远程连接协议，如RDP (Remote Desktop Protocol) 和 VNC (Virtual Network Computing)，并且可以配置通过VPN (Virtual Private Network)进行安全连接。
   • 任务队列：所有发往目标软件的操作指令都会进入一个队列系统。这个队列负责管理任务的执行顺序和状态，确保操作的有序性和可靠性。
2. AI智能体执行 (Agent Execution)
   • 接收指令：你可以通过发送高级指令（Prompt）来告诉AI智能体需要完成什么任务。例如，“打开‘客户管理’程序，搜索‘张三’，然后将他的电话号码复制出来”。
   • 视觉分析与操作：智能体接收到指令后，会实时分析目标计算机的屏幕画面。它使用计算机视觉技术来识别窗口、按钮、输入框、文本等界面元素。
   • 模拟键鼠：根据识别结果和指令要求，智能体将模拟执行一系列鼠标移动、点击和键盘输入操作。例如，它会将鼠标光标移动到“搜索”按钮上并点击，然后在输入框中键入“张三”。这个过程比传统的UI自动化工具（如UIPath）容错性更强，因为它不依赖固定的界面布局，而是通过视觉理解来定位元素。
3. 数据提取与API暴露 (Data Extraction & API Exposure)
   • 数据抓取：当需要从软件中获取信息时，智能体可以根据指令从屏幕上指定的区域或文本字段中提取数据。
   • 转换为REST API：最关键的一步是，legacy-use将整个操作流程（包括数据输入和输出）封装成一个简单的REST API接口。这意味着，你的其他应用程序现在可以通过一个HTTP请求来触发旧软件的一整套复杂操作，并接收返回的数据。例如，你可以创建一个API端点POST /api/getCustomerPhone，当调用这个接口时，它会自动完成上述登录、搜索、复制号码的全过程，并返回电话号码。
4. 监控与安全护栏 (Monitoring & Guardrails)
   • 日志记录：智能体执行的每一步操作都会被详细记录下来，包括屏幕截图和操作日志。这为调试和审计提供了依据。
   • 人工介入机制：自动化流程并非100%完美。当智能体遇到无法识别的界面、程序崩溃或出现意外错误时，系统会触发“护栏”机制。此时，流程将暂停，并向指定的人工操作员发送警报，操作员可以接管并手动完成当前步骤，然后再将控制权交还给智能体。

操作流程示例

假设你需要自动从一个2009年的会计软件中生成合规报告：

1. 配置连接：首先，配置legacy-use连接到运行该会计软件的Windows服务器的RDP地址和凭证。
2. 定义任务指令：编写一个清晰的指令（Prompt），描述生成报告的完整步骤：“登录系统，点击‘报表中心’，选择‘合规性报表’，设置日期范围为本月，点击‘生成’按钮，等待报表出现后，点击‘导出为PDF’，并将文件保存到桌面的‘Reports’文件夹。”
3. 创建API端点：在legacy-use中将这个任务定义为一个API端点，例如 /api/generateComplianceReport。
4. 调用API：现在，你的主业务系统可以在每月初定时调用这个API。legacy-use的AI智能体将自动登录服务器，打开会计软件，并像一个熟练的员工一样逐步完成所有点击和输入操作，最终将报告保存到指定位置。

通过这种方式，原本需要人工手动操作半小时的任务，现在只需要一次API调用即可在几分钟内自动完成。

应用场景

1. 金融与会计自动化
   一家会计师事务所需要从一个2009年发布的桌面财务软件中，为每个客户手动生成合规性报告。这个过程繁琐且容易出错。通过使用legacy-use，他们将整个报告生成流程封装成一个API。现在，他们的新系统可以自动调用这个API，为所有客户批量生成报告，完全无需人工干预。
2. 医疗管理系统流程优化
   一个医疗服务机构的日常管理工作（如病人信息录入、账单处理）严重依赖一套老旧的电子健康记录（EHR）系统。该系统没有API，导致不同部门间信息同步困难。他们部署了legacy-use来自动化处理30%的行政工作，例如，当新系统收到病人预约时，自动调用legacy-use在EHR系统中创建相应的记录，减少了前台人员的数据录入工作量。
3. 制造业库存管理
   工厂的库存管理软件运行在一台本地的Windows XP机器上，需要员工每天手动检查库存水平并更新到电子表格中。利用legacy-use，可以创建一个API，让智能体每天定时打开库存软件，查询关键物料的数量，并将结果自动写入到一个在线的数据库或共享表格中，实现库存水平的实时监控。
4. 打通传统软件与现代云服务
   一家公司希望将旧的客户关系管理（CRM）桌面软件中的数据，同步到云端的Salesforce平台。通过legacy-use，可以设置一个智能体，定期在旧CRM中查询新增的客户数据，并将这些数据通过Salesforce的API写入云端，从而打通了新旧系统之间的数据孤岛。

QA

1. legacy-use和UIPath这类RPA工具有什么区别？
   legacy-use与传统RPA工具（如UIPath）的主要区别在于其核心驱动方式。传统RPA通常依赖于预先设定好的规则和界面元素的固定位置（如XPath），一旦界面发生微小变化就可能导致自动化流程失败。而legacy-use基于AI视觉模型，它像人一样“理解”屏幕上的内容，更能适应界面布局的变化，因此容错性更高。
2. 这个工具是开源的吗？我可以在哪里找到它？
   是的，legacy-use是一个开源项目。你可以在GitHub上找到它的源代码仓库，地址是 https://github.com/legacy-use/legacy-use。
3. 使用这个工具需要什么样的技术背景？
   使用legacy-use需要一定的技术背景。你需要了解如何部署和配置一个服务，理解REST API的基本概念，并能够编写清晰的指令（Prompts）来指导AI智能体。它主要面向的是希望将旧有系统集成到现代化工作流中的开发者或技术团队。
4. legacy-use支持哪些操作系统上的软件？
   根据项目介绍，它被设计为一个通用的解决方案，可以为任何桌面应用程序添加API层，包括Windows、Linux等操作系统上的软件。它通过远程桌面协议（RDP/VNC）进行连接，因此理论上只要能被远程访问的桌面环境都可以支持。