UI-TARS Desktop：使用自然语言控制电脑的桌面智能体应用

UI-TARS-desktop是由字节跳动（Bytedance）开源的一款桌面应用程序，它本质上是一个多模态AI智能体。 这款工具让用户能通过输入简单的自然语言指令，来操作本地或远程的电脑。 它背后由UI-TARS和Seed-1.5-VL/1.6系列视觉语言模型驱动，使其能够理解屏幕上的内容并执行相应操作。 UI-TARS-desktop的核心能力在于它能通过识别屏幕截图来理解用户界面（GUI），然后模拟精准的鼠标和键盘动作来完成任务，支持Windows和MacOS等多种操作系统。 该工具不仅能操作常规的桌面应用，还能控制浏览器，实现跨应用的复杂工作流自动化。 作为一个完全在本地处理信息的工具，它也保证了用户数据的隐私和安全。

功能列表

• 自然语言控制：使用日常说话的指令来操作电脑，无需编写代码。
• 视觉识别与理解：应用能够“看到”并理解屏幕上的界面元素，从而实现精准操作。
• 精准光标与键盘控制：能够模拟人类用户的鼠标点击、拖拽、滚动和键盘输入等操作。
• 跨平台支持：支持在Windows和MacOS操作系统上运行。
• 远程操作能力：不仅能控制本机，还支持远程控制其他计算机或浏览器，无需额外配置。
• 实时反馈：在执行任务时，会实时显示当前状态和操作过程。
• 本地化处理：所有识别和操作都在本地完成，确保用户数据的隐私和安全。

使用帮助

UI-TARS-desktop作为一个开箱即用的AI智能体，旨在让用户通过最直观的自然语言指令来完成电脑操作。下面将详细介绍如何安装和使用这款工具。

安装流程

该项目在GitHub上提供了直接下载的安装包，用户可以根据自己的操作系统进行选择。

1. 访问项目发布页面：
   前往UI-TARS-desktop的GitHub仓库，在右侧导航栏找到“Releases”部分。
2. 下载对应安装包：
   根据你的操作系统（Windows或macOS），下载最新版本的安装文件。例如，为Windows下载.exe或.msi文件，为macOS下载.dmg文件。
3. 执行安装：
   • Windows用户：双击下载的安装程序，按照标准的安装向导提示完成安装。
   • macOS用户：双击打开.dmg文件，然后将应用程序图标拖拽到“应用程序”（Applications）文件夹中。

核心功能操作指南

安装完成后，启动UI-TARS-desktop，你会看到一个简洁的界面。其核心使用逻辑非常简单，可以概括为“三步走”：下达指令 -> 模型理解并规划 -> 自动执行。

1. 本地电脑操作（Local Operator）

这是最基础也是最核心的功能，让AI智能体直接操作你当前使用的电脑。

操作流程:

1. 启动应用：打开UI-TARS-desktop应用程序。
2. 确认操作模式：在主界面选择或确认当前处于“本地操作”模式。
3. 输入指令：在文本输入框中，用自然语言清晰地描述你想要完成的任务。指令越具体，执行效果越好。
   • 示例1（设置VS Code）:“请帮我打开VS Code的自动保存功能，并将自动保存的延迟时间设置为500毫秒。”
   • 示例2（操作GitHub）:“帮我检查一下GitHub上UI-TARS-Desktop项目的最新未解决issue。”
4. 开始执行：按下回车或点击“执行”按钮。
5. 观察执行过程：此时，你应该能看到鼠标指针开始自动移动、点击、输入文字，就像一个无形的人在帮你操作电脑。应用界面会实时反馈当前正在执行的步骤。
6. 任务完成：智能体完成所有步骤后会停止操作，等待你的下一个指令。

2. 远程电脑/浏览器操作（Remote Operator）

这是UI-TARS-desktop的一大特色功能，让你可以在一台电脑上通过它去操作另一台设备，整个过程无需复杂的配置。

操作流程:

1. 切换模式：在应用主界面，切换到“远程电脑操作”或“远程浏览器操作”模式。
2. 连接远程设备：应用可能会要求你输入目标设备的IP地址或通过特定的配对码进行连接（具体连接方式请参照应用内的提示）。
3. 下达指令：连接成功后，操作方式与本地模式完全相同。在输入框中下达你的指令。
   • 示例（远程浏览器）:“在远程浏览器上打开booking.com，帮我搜索9月1日到9月6日洛杉矶机场附近评价最高的丽思卡尔顿酒店。”
4. 监控远程执行：你可以在本地屏幕上看到远程设备屏幕的实时画面，并观察智能体的每一步操作。

操作技巧与最佳实践

• 指令要清晰明确：避免使用模糊不清的词语。例如，不要说“打开那个文件”，而要说“打开桌面上的‘项目报告.docx’文件”。
• 分解复杂任务：对于一个非常复杂的多步骤任务，可以尝试将其分解成几个简单的子任务，分步下达指令。这有助于提高执行的成功率。
• 给予上下文信息：如果任务涉及到特定应用程序，最好先确保该程序已经打开并处于前台。或者在指令中包含打开应用的步骤，例如：“打开Excel，并创建一个新的空白工作簿。”

通过以上步骤，你就可以轻松地利用UI-TARS-desktop将AI智能体作为你的个人电脑助手，处理各种日常和重复性的桌面任务。

应用场景

1. 日常办公自动化
   用户可以通过自然语言指令，让AI智能体自动完成在办公软件（如Word、Excel）中的重复性操作，例如格式化文档、填写表格、整理数据等，从而减少手动劳动。
2. 软件测试与演示
   开发或测试人员可以指令AI智能体在图形用户界面上执行一系列测试用例，检查软件功能是否正常。也可以用它来录制产品功能演示视频，自动完成所有操作步骤。
3. 信息收集与整理
   当需要从多个网页或应用中收集信息时，可以指令UI-TARS-desktop自动打开相关页面、复制所需内容，并粘贴到指定文档中，形成一份汇总报告。
4. 远程技术支持
   技术支持人员可以通过远程操作功能，在用户授权下，直接在对方电脑上执行修复步骤，解决了仅通过语音或文字指导效率低下的问题。

QA

1. UI-TARS-desktop支持哪些操作系统？
   目前主要支持Windows和macOS桌面操作系统。
2. 使用这个工具是否需要编程知识？
   完全不需要。它的核心设计理念就是通过自然语言进行交互，让没有任何编程背景的用户也能轻松实现电脑操作自动化。
3. 我的数据是否安全？
   该工具在执行本地电脑操作时，所有的截图识别和模型处理都在本地进行，不会将你的屏幕数据上传到云端，可以有效保护个人隐私和数据安全。
4. 它与其他自动化工具（如Selenium）有什么区别？
   Selenium等传统工具主要基于代码和网页的DOM结构进行自动化，无法操作桌面应用，且需要编写脚本。UI-TARS-desktop则是基于视觉理解，能像人一样“看”屏幕来操作，既能控制浏览器也能控制任何桌面软件，并且通过自然语言驱动，无需代码。