Bytebot: automatizando tarefas de desktop em contêineres Linux com linguagem natural

O Bytebot é um agente de desktop de IA de código aberto e auto-hospedado que é executado em um ambiente Linux em contêiner e automatiza as tarefas do computador por meio de comandos de linguagem natural. Ele imita a maneira como um ser humano opera um computador, usando o teclado, o mouse e a tela para executar tarefas como navegação na Web, processamento de dados, gerenciamento de arquivos etc. O Bytebot enfatiza a privacidade e a personalização, com dados que não saem da infraestrutura do usuário e suporte para que os usuários usem suas próprias chaves de API para modelos de IA, como Claude, OpenAI ou Gemini. O projeto está hospedado no GitHub e é adequado para que os desenvolvedores criem fluxos de trabalho automatizados. O projeto está hospedado no GitHub e é fácil de implantar e dimensionar para uso pessoal e empresarial.

Lista de funções

• processamento de tarefas de linguagem naturalO usuário descreve uma tarefa em linguagem natural, como "Pesquisar voos de Nova York para Londres no próximo mês" ou "Preencher um formulário da Web", e o Bytebot a executa automaticamente.
• automação de desktopSimulação de entrada de teclado, cliques de mouse e leituras de tela, operação de navegadores, software de escritório, etc.
• Containerização de ambientes LinuxAmbiente de desktop leve baseado no Ubuntu e no Xfce4, executado em contêineres do Docker para isolamento e segurança.
• Suporte a vários modelosOs modelos de linguagem em larga escala, como Claude, OpenAI e Gemini, são compatíveis, para que os usuários possam escolher de acordo com suas necessidades.
• Monitoramento de desktop em tempo realVeja o agente de IA em ação em tempo real por meio do visualizador VNC.
• Integração de APIAPIs REST e MCP: fornece APIs REST e MCP para controle preciso do mouse, do teclado e das capturas de tela.
• Ambientes personalizáveisOs usuários podem instalar software personalizado ou configurar o ambiente de desktop para atender a necessidades específicas.
• PrivacidadeTodas as tarefas e dados são executados localmente e não dependem de serviços em nuvem.

Usando a Ajuda

Processo de instalação

O Bytebot é fácil de instalar e se baseia na implantação do Docker e do Railway. Veja a seguir as etapas detalhadas:

1. Clonagem da base de código
   Abra um terminal e execute o seguinte comando para clonar o repositório Bytebot:

   git clone https://github.com/bytebot-ai/bytebot.git
   cd bytebot
   

2. Configuração de chaves de API
   A Bytebot suporta chaves de API da Anthropic, OpenAI ou Google. Selecione um modelo e configure a chave:

   echo "ANTHROPIC_API_KEY=your_api_key_here" > docker/.env  # 用于 Claude
   # 或
   echo "OPENAI_API_KEY=your_api_key_here" > docker/.env    # 用于 OpenAI
   # 或
   echo "GOOGLE_API_KEY=your_api_key_here" > docker/.env    # 用于 Gemini
   

   Certifique-se de que a chave seja válida e armazenada no arquivo docker/.env para evitar vazamentos.

3. Serviços de implantação
   Inicie o serviço usando o Docker Compose:

   docker-compose -f docker/docker-compose.yml up -d
   

   Pode levar de 2 a 3 minutos para baixar a imagem na primeira inicialização, mas as inicializações subsequentes serão mais rápidas. Quando o serviço for iniciado, a interface do usuário do Bytebot estará disponível na seção http://localhost:9992 Acesso.

4. Verificar a instalação
   Verifique os registros de serviço para garantir a operação adequada:

   docker-compose -f docker/docker-compose.yml logs -f bytebot-agent
   

5. Implantação da ferrovia (opcional)
   Se implementado usando a plataforma Railway:
   • Visite a página do modelo Railway da Bytebot.
   • Digite sua chave de API (por exemplo. ANTHROPIC_API_KEY).
   • Clique em "Deploy Now" e o Railway fará a implantação em alguns minutos e fornecerá um URL público.

Uso das funções principais

O Bytebot oferece uma interface Next.js intuitiva combinada com um visualizador VNC e recursos de gerenciamento de tarefas. Abaixo está um fluxo de como os principais recursos funcionam:

• Criação de tarefas
  show (um ingresso) http://localhost:9992Entre na interface de usuário do Bytebot. Digite comandos de linguagem natural na caixa de entrada de tarefas, por exemplo:

  搜索下个月纽约到伦敦的航班
  

  Clique em Submit e o Bytebot iniciará o visualizador e executará a tarefa. Você pode monitorar a operação em tempo real por meio do visualizador VNC.

• Controle de API
  Os desenvolvedores podem controlar as tarefas com precisão por meio da API REST. Por exemplo, para criar uma tarefa:

  curl -X POST http://localhost:9991/tasks \
  -H "Content-Type: application/json" \
  -d '{"description": "搜索下个月纽约到伦敦的航班", "type": "browser_task"}'
  

  Verifique o status da tarefa:

  curl http://localhost:9991/tasks/{task_id}
  

  Controla o teclado ou o mouse:

  curl -X POST http://localhost:9990/api/computer \
  -H "Content-Type: application/json" \
  -d '{"action": "type_text", "text": "Hello, Bytebot!"}'
  

• monitoramento em tempo real
  Veja como o Bytebot opera seu navegador ou aplicativo de desktop a partir do visualizador VNC na interface da interface do usuário. O visualizador exibe o conteúdo da tela em tempo real e é adequado para tarefas de depuração ou verificação.
• Personalização do ambiente de trabalho
  modificações docker/desktop/Dockerfile.custom para instalar software adicional. Por exemplo, adicione o LibreOffice e o GIMP:

  FROM bytebot/desktop:latest
  RUN apt-get update && apt-get install -y libreoffice gimp
  COPY configs/.config /home/user/.config
  

  Reconstrua a imagem e inicie o contêiner:

  docker-compose -f docker/docker-compose.yml up --build
  

Operação da função em destaque

• automação da web
  O Bytebot é especializado em tarefas da Web. Por exemplo, extração de dados da Web:

  import { BytebotClient, Table, Column, Text } from "@bytebot/sdk";
  const bytebot = new BytebotClient({ apiKey: "YOUR_API_KEY" });
  async function run() {
  const session = await bytebot.browser.startSession("https://www.example.com");
  await bytebot.browser.act({ sessionId: session.sessionId, prompt: "点击搜索按钮" });
  await bytebot.browser.endSession(session.sessionId);
  }
  run();
  

  Esse código inicia uma sessão do navegador, executa uma ação de clique e encerra a sessão.

• Processamento de documentos
  O Bytebot pode trabalhar com arquivos locais. Por exemplo, o comando "Fill web form from CSV file" (Preencher formulário da Web a partir de arquivo CSV) lerá automaticamente o arquivo e preencherá o formulário. Certifique-se de que o caminho para o arquivo CSV esteja correto e digite o comando na interface do usuário.
• Comutação de vários modelos
  existir docker/.env Altere a chave da API para mudar para um modelo diferente. Por exemplo, reinicie o serviço após substituí-lo pela chave OpenAI:

  docker-compose -f docker/docker-compose.yml restart
  

advertência

• segurançaSenha padrão da VNC: altere a senha padrão da VNC para evitar o uso das configurações padrão em um ambiente de produção.
• atualizaçãoAtualize periodicamente a imagem do contêiner para obter patches de segurança:

  docker-compose -f docker/docker-compose.yml pull
  

cenário do aplicativo

1. Extração de dados da Web
   O Bytebot extrai automaticamente dados de sites, como rastreamento de preços de produtos ou conteúdo de notícias, para gerar tabelas estruturadas adequadas para pesquisa de mercado ou análise de dados.
2. Preenchimento automatizado de formulários
   Para tarefas que exigem o preenchimento repetitivo de formulários da Web, como o registro de uma conta ou o envio de uma solicitação, o Bytebot lê os dados do arquivo CSV e automatiza o processo.
3. Operação de software de escritório
   O Bytebot pode operar o LibreOffice ou o VSCode, lidar com edição de documentos, depuração de código e outras tarefas, o que é adequado para a necessidade de cenários de processamento de arquivos em lote.
4. Automação do fluxo de trabalho empresarial
   As organizações podem usar o Bytebot para atualizar automaticamente as permissões de usuário em ferramentas SaaS ou gerar relatórios semanais para melhorar a eficiência interna.

QA

1. Quais modelos de IA são compatíveis com a Bytebot?
   O suporte para Claude, OpenAI e Gemini está disponível para os usuários no docker/.env para configurar a chave de API correspondente.
2. Como você garante a privacidade dos dados?
   O Bytebot é executado em um contêiner local e os dados não saem da infraestrutura do usuário, o que o torna adequado para cenários com altos requisitos de privacidade.
3. São necessárias habilidades de programação?
   Os usuários comuns podem inserir comandos de linguagem natural por meio da interface do usuário sem programação. Os desenvolvedores podem implementar funcionalidades mais complexas por meio de APIs.
4. Quanto tempo leva para ser implantado?
   A primeira implantação leva cerca de 2 a 3 minutos, com as inicializações subsequentes levando apenas alguns segundos, e as implantações de trilhos geralmente são concluídas em minutos.