Bytebot: Automatisierung von Desktop-Aufgaben in Linux-Containern mit natürlicher Sprache

Bytebot ist ein quelloffener, selbstgehosteter KI-Desktop-Agent, der in einer containerisierten Linux-Umgebung läuft und Computeraufgaben durch natürlichsprachliche Befehle automatisiert. Er ahmt die Art und Weise nach, wie ein Mensch einen Computer bedient, indem er die Tastatur, die Maus und den Bildschirm verwendet, um Aufgaben wie das Surfen im Internet, die Datenverarbeitung, die Dateiverwaltung usw. auszuführen. Bytebot legt Wert auf Datenschutz und Anpassbarkeit, wobei die Daten die Infrastruktur des Benutzers nicht verlassen, und unterstützt die Benutzer bei der Verwendung ihrer eigenen API-Schlüssel für KI-Modelle wie Claude, OpenAI oder Gemini. Sein Kerndesign basiert auf Einfachheit und Verallgemeinerbarkeit und eignet sich für Entwickler zur Erstellung automatisierter Arbeitsabläufe. Das Projekt wird auf GitHub gehostet und ist für Entwickler geeignet, um automatisierte Workflows zu erstellen. Das Projekt wird auf GitHub gehostet und ist einfach zu implementieren und zu skalieren, sowohl für den persönlichen Gebrauch als auch für Unternehmen.

Funktionsliste

• Verarbeitung natürlichsprachlicher AufgabenDer Benutzer beschreibt eine Aufgabe in natürlicher Sprache, wie z. B. "Suche nach Flügen von New York nach London nächsten Monat" oder "Fülle ein Webformular aus", und Bytebot führt sie automatisch aus.
• Desktop-AutomatisierungSimulation von Tastatureingaben, Mausklicks und Bildschirmanzeigen, Bedienung von Browsern, Bürosoftware usw.
• Containerisierung von Linux-UmgebungenEine leichtgewichtige Desktop-Umgebung auf der Basis von Ubuntu und Xfce4, die in Docker-Containern läuft, um Isolation und Sicherheit zu gewährleisten.
• Unterstützung mehrerer ModelleDie großen Sprachmodelle wie Claude, OpenAI und Gemini werden unterstützt, so dass die Benutzer je nach ihren Bedürfnissen wählen können.
• Desktop-Überwachung in EchtzeitSehen Sie den KI-Agenten in Echtzeit über den VNC-Viewer in Aktion.
• API-IntegrationBietet REST- und MCP-APIs zur präzisen Steuerung von Maus, Tastatur und Bildschirmfotos.
• Anpassbare UmgebungenBenutzer können benutzerdefinierte Software installieren oder die Desktop-Umgebung so konfigurieren, dass sie spezifischen Anforderungen gerecht wird.
• DatenschutzAlle Aufgaben und Daten werden lokal ausgeführt und sind nicht auf Cloud-Dienste angewiesen.

Hilfe verwenden

Einbauverfahren

Bytebot ist einfach zu installieren und basiert auf Docker und Railway Deployment. Hier sind die detaillierten Schritte:

1. Klonen der Codebasis
   Öffnen Sie ein Terminal und führen Sie den folgenden Befehl aus, um das Bytebot-Repository zu klonen:

   git clone https://github.com/bytebot-ai/bytebot.git
   cd bytebot
   

2. API-Schlüssel konfigurieren
   Bytebot unterstützt API-Schlüssel von Anthropic, OpenAI oder Google. Wählen Sie ein Modell und konfigurieren Sie den Schlüssel:

   echo "ANTHROPIC_API_KEY=your_api_key_here" > docker/.env  # 用于 Claude
   # 或
   echo "OPENAI_API_KEY=your_api_key_here" > docker/.env    # 用于 OpenAI
   # 或
   echo "GOOGLE_API_KEY=your_api_key_here" > docker/.env    # 用于 Gemini
   

   Stellen Sie sicher, dass der Schlüssel gültig ist und in der docker/.env Datei, um Lecks zu vermeiden.

3. Bereitstellungsdienste
   Starten Sie den Dienst mit Docker Compose:

   docker-compose -f docker/docker-compose.yml up -d
   

   Beim ersten Start kann es 2-3 Minuten dauern, bis das Image heruntergeladen ist, aber die folgenden Starts sind schneller. Sobald der Dienst gestartet ist, ist die Benutzeroberfläche von Bytebot im Bereich http://localhost:9992 Zugang.

4. Überprüfen der Installation
   Prüfen Sie die Wartungsprotokolle, um den ordnungsgemäßen Betrieb sicherzustellen:

   docker-compose -f docker/docker-compose.yml logs -f bytebot-agent
   

5. Einsatz der Eisenbahn (fakultativ)
   Wenn die Railway-Plattform verwendet wird:
   • Besuchen Sie Bytebots Eisenbahnvorlagen-Seite.
   • Geben Sie Ihren API-Schlüssel ein (z. B. ANTHROPIC_API_KEY).
   • Klicken Sie auf "Jetzt bereitstellen" und Railway wird in wenigen Minuten eine öffentliche URL bereitstellen.

Verwendung der Hauptfunktionen

Bytebot bietet eine intuitive Next.js-Benutzeroberfläche in Kombination mit einem VNC-Viewer und Funktionen zur Aufgabenverwaltung. Im Folgenden wird erläutert, wie die wichtigsten Funktionen funktionieren:

• Aufgaben erstellen
  zeigen (eine Eintrittskarte) http://localhost:9992Rufen Sie die Bytebot-Benutzeroberfläche auf. Geben Sie Befehle in natürlicher Sprache in das Aufgaben-Eingabefeld ein, zum Beispiel:

  搜索下个月纽约到伦敦的航班
  

  Klicken Sie auf Absenden und Bytebot wird den Viewer starten und die Aufgabe ausführen. Sie können den Vorgang in Echtzeit über den VNC-Viewer überwachen.

• API-Kontrolle
  Entwickler können Aufgaben über die REST-API genau steuern. Erstellen Sie zum Beispiel eine Aufgabe:

  curl -X POST http://localhost:9991/tasks \
  -H "Content-Type: application/json" \
  -d '{"description": "搜索下个月纽约到伦敦的航班", "type": "browser_task"}'
  

  Überprüfen Sie den Status der Aufgabe:

  curl http://localhost:9991/tasks/{task_id}
  

  Steuert die Tastatur oder die Maus:

  curl -X POST http://localhost:9990/api/computer \
  -H "Content-Type: application/json" \
  -d '{"action": "type_text", "text": "Hello, Bytebot!"}'
  

• Echtzeit-Überwachung
  Beobachten Sie, wie Bytebot Ihren Browser oder Ihre Desktop-Anwendung über den VNC-Viewer in der UI-Oberfläche bedient. Der Viewer zeigt Bildschirminhalte in Echtzeit an und eignet sich für Debugging- oder Überprüfungsaufgaben.
• Anpassen der Desktop-Umgebung
  Änderungen docker/desktop/Dockerfile.custom Datei, um zusätzliche Software zu installieren. Fügen Sie zum Beispiel LibreOffice und GIMP hinzu:

  FROM bytebot/desktop:latest
  RUN apt-get update && apt-get install -y libreoffice gimp
  COPY configs/.config /home/user/.config
  

  Erstellen Sie das Image neu und starten Sie den Container:

  docker-compose -f docker/docker-compose.yml up --build
  

Featured Function Bedienung

• Web-Automatisierung
  Bytebot ist auf Webaufgaben spezialisiert. Zum Beispiel auf die Extraktion von Webdaten:

  import { BytebotClient, Table, Column, Text } from "@bytebot/sdk";
  const bytebot = new BytebotClient({ apiKey: "YOUR_API_KEY" });
  async function run() {
  const session = await bytebot.browser.startSession("https://www.example.com");
  await bytebot.browser.act({ sessionId: session.sessionId, prompt: "点击搜索按钮" });
  await bytebot.browser.endSession(session.sessionId);
  }
  run();
  

  Dieser Code startet eine Browser-Sitzung, führt eine Klick-Aktion aus und beendet die Sitzung.

• Bearbeitung von Dokumenten
  Bytebot kann mit lokalen Dateien arbeiten. Zum Beispiel wird der Befehl "Fill web form from CSV file" automatisch die Datei lesen und das Formular ausfüllen. Stellen Sie sicher, dass der Pfad zur CSV-Datei korrekt ist und geben Sie den Befehl in der Benutzeroberfläche ein.
• Multimodell-Umschaltung
  existieren docker/.env Ändern Sie den API-Schlüssel in, um zu einem anderen Modell zu wechseln. Starten Sie zum Beispiel den Dienst neu, nachdem Sie ihn durch den OpenAI-Schlüssel ersetzt haben:

  docker-compose -f docker/docker-compose.yml restart
  

caveat

• SicherheitÄndern Sie das Standard-VNC-Passwort, um die Verwendung der Standardeinstellungen in einer Produktionsumgebung zu vermeiden.
• UpdateRegelmäßige Aktualisierung des Container-Images auf Sicherheitspatches:

  docker-compose -f docker/docker-compose.yml pull
  

Anwendungsszenario

1. Extraktion von Webdaten
   Bytebot extrahiert automatisch Daten von Websites, z. B. Produktpreise oder Nachrichteninhalte, um strukturierte Tabellen zu erstellen, die sich für Marktforschung oder Datenanalyse eignen.
2. Automatisiertes Ausfüllen von Formularen
   Für Aufgaben, die das wiederholte Ausfüllen von Webformularen erfordern, wie z.B. die Registrierung für ein Konto oder das Einreichen einer Bewerbung, liest Bytebot die Daten aus der CSV-Datei und automatisiert den Prozess.
3. Betrieb von Bürosoftware
   Bytebot kann LibreOffice oder VSCode bedienen, Dokumentbearbeitung, Code-Debugging und andere Aufgaben erledigen, geeignet für den Bedarf an Batch-Dateiverarbeitungsszenarien.
4. Automatisierung von Unternehmensabläufen
   Unternehmen können Bytebot nutzen, um Benutzerrechte für SaaS-Tools automatisch zu aktualisieren oder wöchentliche Berichte zu erstellen, um die interne Effizienz zu verbessern.

QA

1. Welche KI-Modelle unterstützt Bytebot?
   Unterstützung für Claude, OpenAI und Gemini ist für Benutzer in der docker/.env Datei, um den entsprechenden API-Schlüssel zu konfigurieren.
2. Wie gewährleisten Sie den Datenschutz?
   Bytebot läuft in einem lokalen Container, und die Daten verlassen die Infrastruktur des Nutzers nicht, was es für Szenarien mit hohen Datenschutzanforderungen geeignet macht.
3. Sind Programmierkenntnisse erforderlich?
   Normale Benutzer können Befehle in natürlicher Sprache ohne Programmierung über die Benutzeroberfläche eingeben. Entwickler können komplexere Funktionen über APIs implementieren.
4. Wie lange dauert die Bereitstellung?
   Die erste Bereitstellung dauert etwa 2 bis 3 Minuten, die folgenden Starts dauern nur wenige Sekunden, und die Bereitstellung der Bahn ist in der Regel in wenigen Minuten abgeschlossen.