OpenAdapt: ein Open-Source-Tool für die automatische Bearbeitung von Computeranwendungen mit großen Modellen

OpenAdapt ist ein Open-Source-Softwaretool, das leistungsstarke Large Multimodal Models (LMMs) mit der grafischen Benutzeroberfläche (GUI) eines Computers verbindet, um Prozesse zu automatisieren. Traditionell wird ein großer Teil der geistigen Anstrengung für sich wiederholende Computeroperationen verschwendet, und OpenAdapt zielt darauf ab, dieses Problem zu lösen. OpenAdapt will dieses Problem lösen. Es funktioniert ähnlich wie Robotic Process Automation (RPA), aber der Kern ist ein fortschrittliches KI-Modell und nicht ein traditionelles RPA-Tool. Das Tool lernt, indem es aufzeichnet, was Benutzer tatsächlich an ihren Computern tun (einschließlich Screenshots und Tippvorgängen), und verwendet diese Daten dann, um automatisierte Aufgaben zu erstellen. Diese Methode des Lernens von menschlichen Demonstrationen macht die Automatisierungsaufgaben näher am tatsächlichen Prozess und verringert die Wahrscheinlichkeit, dass die KI falsche Vorgänge erzeugt. Da es sich um ein modellunabhängiges Open-Source-Projekt handelt, ist es auf alle Arten von Desktop-Anwendungen anwendbar, sogar auf virtualisierte Umgebungen (z. B. Citrix) und Webseiten.

Funktionsliste

• Benutzeraktionen aufzeichnenFähigkeit, Screenshots und zugehörige Benutzereingaben (z. B. Mausklicks, Tastatureingaben) zu erfassen, um Lerndaten für die Automatisierung bereitzustellen.
• VisualisierungBereitstellung von Tools zur Aggregation und Visualisierung der aufgezeichneten Daten für ein einfaches Verständnis und Debugging durch die Entwickler.
• Automatisierungsskripte generierenKonvertierung von Benutzeraktionsdatensätzen in ein Format, das KI-Modelle verstehen und automatisierte Aufgaben erzeugen können, die immer wieder abgespielt werden können.
• Mehrere WiedergabestrategienUnterstützung verschiedener automatischer Ausführungsstrategien, von der einfachen direkten Wiedergabe bis zur intelligenteren Wiedergabe mit GPT-4 oder visuellen Modellen.
• Browser-IntegrationBietet eine Chrome-Erweiterung zur Aufzeichnung von Ereignissen im Browser für eine genauere Web-Automatisierung.
• DatenschutzEingebautes, branchenführendes Löschen von Datenschutzinformationen, um persönlich identifizierbare Informationen (PII) und geschützte Gesundheitsinformationen (PHI) mit Tools wie AWS Comprehend, Microsoft Presidio und anderen zu entfernen. [zitieren:1. 1]
• LeistungsüberwachungDetaillierte Tools zur Leistungsüberwachung sind integriert, um Entwickler bei der Analyse und Optimierung ihrer Programme zu unterstützen.
• Plattformübergreifende UnterstützungBietet Installations- und Nutzungsanweisungen für die wichtigsten Betriebssysteme wie Windows und macOS.

Hilfe verwenden

Mit OpenAdapt können KI-Modelle lernen, Ihr Verhalten zu imitieren, um sich wiederholende Aufgaben zu erledigen, indem sie Ihre Computeraktionen (z. B. Mausklicks und Tastenanschläge) zusammen mit Screenshots aufzeichnen.

Einbauverfahren

OpenAdapt bietet eine bequeme skriptgesteuerte Installation für Benutzer verschiedener Betriebssysteme.

Windows-Systeme.

1. drücken. Windows Taste, geben Sie "powershell" ein, und drücken Sie die Eingabetaste, um PowerShell zu öffnen.
2. Kopieren Sie die folgenden Befehle, fügen Sie sie in ein PowerShell-Fenster ein und drücken Sie die Eingabetaste, um sie auszuführen. Wenn Sie zur Benutzerkontensteuerung aufgefordert werden, klicken Sie auf Ja.

   Start-Process powershell -Verb RunAs -ArgumentList '-NoExit', '-ExecutionPolicy', 'Bypass', '-Command', "iwr -UseBasicParsing -Uri 'https://raw.githubusercontent.com/OpenAdaptAI/OpenAdapt/main/install/install_openadapt.ps1' | Invoke-Expression"
   

macOS-Systeme.

1. Stellen Sie zunächst sicher, dass Sie die Git im Gesang antworten Python 3.10.
2. drücken. Command+Space ein, geben Sie "terminal" ein und drücken Sie die Eingabetaste, um das Terminal zu öffnen.
3. Kopieren Sie den folgenden Befehl, fügen Sie ihn in das Terminalfenster ein und drücken Sie die Eingabetaste, um ihn auszuführen:

   /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/OpenAdaptAI/OpenAdapt/HEAD/install/install_openadapt.sh)"
   

Kernfunktion Betrieb

Sobald die Installation abgeschlossen ist, können Sie OpenAdapt mit ein paar grundlegenden Befehlen verwenden: Stellen Sie vor der Verwendung sicher, dass Sie die cd OpenAdapt in das Stammverzeichnis des Projekts und führen Sie den Befehl poetry shell Die virtuelle Umgebung wird aktiviert.

1. die Systemablage und das Web-Backend zu starten

Führen Sie den folgenden Befehl aus, um das OpenAdapt-Symbol in der Taskleiste und das Web-Dashboard zur einfachen Verwaltung und Anzeige von Aufgaben zu starten.

python -m openadapt.entrypoint

2. eine neue Mission aufnehmen

ausnutzen openadapt.record um eine neue Aufzeichnung zu starten. Sie benötigen einen beschreibenden Namen für die Aufgabe, die Sie aufzeichnen, z. B. "testing out openadapt".

python -m openadapt.record "testing out openadapt"

Wenn die Terminalanzeige-Ereignisschreiber (Bildschirm, Aktion, Fenster) gestartet wurden, können Sie mit der Bedienung des Computers beginnen: OpenAdapt zeichnet Ihre Mausbewegungen, Klicks und Tastatureingaben auf. Wenn Sie fertig sind, drücken Sie CTRL+C um die Aufnahme zu beenden.
zur Kenntnis nehmenDie aktuelle Version schlägt vor, die Aufzeichnung kurz zu halten (z.B. weniger als eine Minute), um nicht zu viel Speicherplatz zu verbrauchen.

3. die Visualisierung der aufgezeichneten Inhalte

Sobald die Aufzeichnung abgeschlossen ist, können Sie schnell sehen, was aufgezeichnet wurde. Führen Sie den folgenden Befehl aus:

python -m openadapt.visualize

Dieser Befehl erzeugt automatisch eine HTML-Datei und öffnet sie in Ihrem Browser. Sie sehen eine detaillierte Ansicht mit allen Schritten und entsprechenden Screenshots.

4. die Wiedergabe (Ausführung) von automatisierten Aufgaben

ausnutzen openadapt.replay um die gerade aufgezeichnete Aufgabe zu automatisieren. Sie müssen eine Wiedergaberichtlinie angeben, die einfachste davon ist die NaiveReplayStrategy.

python -m openadapt.replay NaiveReplayStrategy

Darüber hinaus bietet OpenAdapt weitere intelligente Wiedergabestrategien, wie z. B. VisualReplayStrategywird es visuelle Modelle verwenden, um Elemente auf dem Bildschirm zu erkennen. Einige fortgeschrittene Strategien erlauben es Ihnen auch, neue Anweisungen hinzuzufügen, um die ursprüngliche Aufgabe zu verändern, zum Beispiel:

python -m openadapt.replay VanillaReplayStrategy --instructions "calculate 9-8"

Mit dieser Anweisung wird die KI angewiesen, ihr Verhalten an die neue Anweisung ("Berechne 9-8") anzupassen, während sie die Aufgabe ausführt.

Integration der Browser-Automatisierung

Wenn Sie Vorgänge in Google Chrome aufzeichnen möchten, müssen Sie zusätzlich die Browsererweiterung einrichten:

1. Geben Sie in der Adressleiste von Chrome chrome://extensions Und offen.
2. Schalten Sie den Schalter "Entwicklermodus" in der oberen rechten Ecke ein.
3. Klicken Sie auf "Ungepackte Erweiterungen laden" in der oberen linken Ecke.
4. In dem sich öffnenden Dateiauswahlfenster suchen Sie das OpenAdapt-Projektverzeichnis und wählen es unter dem Ordner chrome_extension Mappe.
5. Stellen Sie sicher, dass die OpenAdapt-Erweiterung aktiviert ist.
6. Änderungen openadapt/data/config.json Datei, die RECORD_BROWSER_EVENTS wird auf den Wert von true.

Anwendungsszenario

1. Automatisierte Dateneingabe
   Für sich wiederholende Aufgaben, die das Kopieren von Informationen aus einer Software (z. B. PDF-Dokumente, E-Mails) und das Einfügen in eine andere (z. B. Excel-Tabellen, Datenbanken) erfordern, können Sie OpenAdapt verwenden, um den Ablauf eines Vorgangs einmal aufzuzeichnen und dann alle nachfolgenden ähnlichen Dateneingabeaufgaben automatisieren zu lassen.
2. Software-Betriebshilfen
   Für Benutzer, die mit einer komplexen Software nicht vertraut sind, ist es möglich, eine Reihe von Standardarbeitsanweisungen von einer anderen Person aufzeichnen zu lassen. Die Benutzer können diese Verfahren einfach über OpenAdapt abspielen, um bestimmte Aufgaben zu automatisieren und so die Hürden für die Nutzung der Software zu senken.
3. Software-Regressionstests
   Während der Softwareentwicklung können die Entwickler eine Reihe von Standardtestfällen aufzeichnen. Diese Testfälle können bei jeder Aktualisierung der Software automatisch abgespielt werden, um zu prüfen, ob die neue Version neue Probleme mit sich bringt, und so die Testeffizienz zu verbessern.
4. Automatisierung der persönlichen täglichen Aufgaben
   Es kann verwendet werden, um tägliche Aufgaben auf Ihrem PC zu automatisieren, wie z. B. das regelmäßige tägliche Organisieren von Desktopdateien, das stapelweise Umbenennen von Fotos, das automatische Anmelden auf Websites und das Einloggen usw., wodurch Sie persönlich Zeit sparen.

QA

1. Was ist OpenAdapt?
   OpenAdapt ist eine Open-Source-Software zur Prozessautomatisierung. Sie automatisiert sich wiederholende Aufgaben, indem sie Benutzeraktionen auf einem Computer aufzeichnet und große multimodale Modelle (LMMs) verwendet, um diese Aktionen zu lernen und nachzuahmen.
2. Wie unterscheidet es sich von herkömmlichen RPA-Tools?
   Traditionelle RPA-Tools stützen sich in der Regel auf vordefinierte Regeln und Skripte, um Aufgaben auszuführen, was weniger anpassungsfähig ist. OpenAdapt hingegen verfolgt eine "AI-first"-Strategie und lernt durch die Beobachtung menschlicher Demonstrationen. Dadurch kann es die Absicht der Aufgabe besser verstehen und sich an dynamische Szenarien wie z. B. Schnittstellenänderungen anpassen, was es flexibler und intelligenter macht.
3. Muss ich für die Nutzung von OpenAdapt bezahlen?
   Nein. OpenAdapt ist ein Open-Source-Projekt, das auf der MIT-Lizenz basiert und von jedermann frei verwendet, verändert und weitergegeben werden kann.
4. Welche Betriebssysteme werden unterstützt?
   OpenAdapt bietet derzeit detaillierte Installationsskripte und manuelle Einrichtungsanleitungen für Windows und macOS, die auf beiden gängigen Desktop-Betriebssystemen verwendet werden können.
5. Wie geht OpenAdapt mit meinen privaten Daten um?
   OpenAdapt verfügt über eine integrierte, branchenführende Funktion zur Löschung privater Informationen, die während der Aufzeichnung automatisch personenbezogene Daten (PII) und geschützte Gesundheitsinformationen (PHI) identifiziert und entfernt, um die Sicherheit der Benutzerdaten zu gewährleisten.