Omni-Bot-SDK-OSS: Ein auf visueller Erkennung basierender Automatisierungsrahmen für WeChat RPA

Omni-Bot-SDK-OSS ist ein quelloffenes WeChat-Automatisierungsframework, das auf visueller Erkennungstechnologie basiert und RPA-Vorgänge (Robot Process Automation) der Version 4.0 von WeChat unterstützt. Durch benutzerdefinierte YOLO-Modelle und OCR-Technologie, die sich für Entwickler zur Erstellung von Automatisierungsaufgaben eignet, wird ein Null-Laufzeit-Eingriff erreicht. Benutzer können dynamisch auf Plug-ins zugreifen, um Plattformen wie OpenAI oder Dify anzupassen, mehrere Nachrichtentypen wie Text, Bilder, Dateien usw. zu parsen und das Senden von Nachrichten sowie erweiterte Funktionen wie Applets und Freundeskreisoperationen zu unterstützen. Das Projekt wird auf GitHub gehostet, in Python entwickelt und eignet sich für den Einsatz auf eigenständigen Geräten, um den Betrieb durch die Nutzer nicht zu beeinträchtigen.

Funktionsliste

• Fenstererkennung und Parsing des Nachrichteninhalts auf der Grundlage des YOLO-Modells und der OCR-Technologie.
• Unterstützung des dynamischen Zugriffs auf Plug-Ins, kompatibel mit OpenAI, Dify und anderen Plattformen von Drittanbietern.
• Analysiert WeChat-Nachrichten, einschließlich Text, Bilder, Dateien und andere Typen.
• Unterstützung der Funktion zum Versenden von Nachrichten, einschließlich Text, Bilder, Dateien, usw.
• Erweiterbar auf die Veröffentlichung von Inhalten für Applets und Freundeskreise.
• Nachrichtenverarbeitung in Echtzeit durch Abhören der Datenbank.
• Bietet einen visuellen Management-Client, der keine Kodierung zur Bedienung erfordert.

Hilfe verwenden

Einbauverfahren

Um Omni-Bot-SDK-OSS zu verwenden, folgen Sie den nachstehenden Schritten, um die Installation lokal oder auf einem eigenständigen Gerät abzuschließen. Die Vorbereitung der Umgebung und die Bereitstellung sind relativ einfach und für Entwickler geeignet, die mit Python vertraut sind.

1. Klon-Lager
   Öffnen Sie ein Terminal und führen Sie den folgenden Befehl aus, um das Projekt lokal zu klonen:

   git clone https://github.com/weixin-omni/omni-bot-sdk-oss
   cd omni-bot-sdk-oss
   

2. Erstellen einer virtuellen Umgebung
   Um Abhängigkeitskonflikte zu vermeiden, empfiehlt es sich, eine virtuelle Python-Umgebung zu erstellen:

   python -m venv venv
   source venv/bin/activate  # Linux/Mac
   venv\Scripts\activate     # Windows
   

3. Installation von Abhängigkeiten
   Installieren Sie die erforderlichen Abhängigkeiten für das Projekt in der virtuellen Umgebung:

   pip install -e .
   

4. Konfigurationsdatei
   Das Projekt benötigt eine Konfigurationsdatei config.yamlSie wird verwendet, um die Parameter des Microsoft-Fensters, der Datenbankverbindung usw. einzustellen. Benutzer müssen die Konfigurationsdatei gemäß der offiziellen Dokumentation (README oder Wiki im Repository) erstellen und ausfüllen, die den YOLO-Modellpfad, OCR-Einstellungen und Plugin-Parameter enthält.
5. Operativer Rahmen
   Verwenden Sie den folgenden Code, um das Framework zu starten:

   from omni_bot_sdk.bot import Bot
   def main():
   bot = Bot(config_path="config.yaml")
   bot.start()
   if __name__ == "__main__":
   main()
   

   Sobald das Framework läuft, lauscht es über die Datenbank auf Nachrichten und führt auf der Grundlage der Konfiguration automatische Aufgaben aus.

Hauptfunktionen

1. das Parsen und Verarbeiten von Nachrichten

Omni-Bot-SDK-OSS verwendet YOLO-Modelle und OCR-Technologie, um den Inhalt von Nachrichten in WeChat-Fenstern zu erkennen. Nach dem Start des Frameworks, wird es:

• Lauschen Sie auf neue Nachrichten in der Datenbank (benutzerkonfigurierbare Datenbank, wie MySQL oder SQLite).
• Analysiert den Nachrichtentyp (Text, Bild, Datei usw.) und speichert das Ergebnis in der Nachrichtenwarteschlange.
• Verteilen Sie Nachrichten an die Plugin-Kette über den Plugin-Manager, um benutzerdefinierte Logik auszuführen.

Betriebsverfahren:

• Konfigurieren Sie die Parameter für die Datenbankverbindung (im Fenster config.yaml (legen Sie die Datenbankadresse und die Anmeldeinformationen in der Datei)
• Stellen Sie sicher, dass der Microsoft-Client auf dem Zielgerät ausgeführt wird und das Fenster sichtbar bleibt.
• Nach dem Start des Frameworks scannt das System automatisch das WeChat-Fenster, identifiziert neue Nachrichten und analysiert den Inhalt.

2. nachrichtenübermittlung

Das Framework unterstützt das Senden von Text-, Bild- und Dateinachrichten, um menschliche Operationen zu simulieren. Arbeitsschritte:

• Definieren Sie das Sendeziel (Kontakt- oder Gruppenchatname) im Plugin.
• Rufen Sie z.B. die Sendeschnittstelle des Frameworks auf:

  bot.send_message(contact="目标联系人", message_type="text", content="你好")
  

• Vergewissern Sie sich, dass das WeChat-Fenster aktiv ist, damit der Rahmen automatisch das Eingabefeld findet und es sendet.

zur Kenntnis nehmenAufgrund der Verwendung der visuellen Identifizierung kann dies zu falschen Sendezielen führen, wenn es Kontakte oder Gruppenchats mit demselben Namen gibt. Es wird empfohlen, eindeutige Identifikatoren (z. B. Notiznamen) zu verwenden, um die Genauigkeit zu verbessern.

3) Plug-in-Erweiterungen

Benutzer können die Funktionalität erweitern, indem sie Plug-Ins zur Unterstützung von OpenAI oder Dify und andere Plattformen. Schritte der Plugin-Entwicklung:

• existieren plugins Verzeichnis, um Python-Dateien zu erstellen, die die Plugin-Logik definieren.
• Das Plugin muss das Framework erben. Plugin Klasse und implementiert die process_message Methoden.
• Beispiel für Plugin-Code:

  from omni_bot_sdk.plugin import Plugin
  class MyPlugin(Plugin):
  def process_message(self, message):
  # 自定义逻辑
  return {"action": "send", "content": "收到消息"}
  

• Registrieren Sie das Plugin mit dem config.yamlklicken, wird der Rahmen automatisch geladen.

4) Visualisierungs-Client

Für Benutzer, die mit der Programmierung nicht vertraut sind, bietet das Projekt einen visuellen Verwaltungsclient. Arbeitsschritte:

• Laden Sie den Client herunter (von der GitHub Release-Seite).
• Nach der Installation öffnen Sie den Client und importieren config.yaml Dokumentation.
• Konfigurieren Sie das Abhören von Nachrichten, Versandregeln und Plug-ins über die Schnittstelle, ohne Code schreiben zu müssen.
• Der Client unterstützt die Anzeige von Nachrichtenwarteschlangen und Ausführungsprotokollen zur Fehlersuche.

caveat

• EinsatzumgebungDie RPA-Bedienung beansprucht Maus und Tastatur, und es wird empfohlen, sie auf einem eigenständigen Gerät laufen zu lassen, um den täglichen Gebrauch nicht zu beeinträchtigen.
• Einschränkungen bei der GenauigkeitDie visuelle Erkennung kann aufgrund von sich überlappenden Fenstern oder Auflösungsproblemen fehlerhaft sein. Stellen Sie sicher, dass das WeChat-Fenster eindeutig und klar ist.
• Plug-in-EntwicklungIn der offiziellen Dokumentation finden Sie eine ausführliche Plugin-API und Beispielcode.

Anwendungsszenario

1. Automatisierte Kundenbetreuung
   Unternehmen können über das Framework Kundennachrichten abhören und automatisch auf häufig gestellte Fragen antworten oder Nachrichten an den Kundendienst weiterleiten. E-Commerce-Plattformen können zum Beispiel automatisch auf Anfragen zum Bestellstatus antworten.
2. Gruppenchat-Management
   In WeChat-Gruppenchats kann das Framework automatisch Ankündigungen und Ereignisbenachrichtigungen senden oder bestimmte Antworten auf der Grundlage von Schlüsselwörtern auslösen, was sich für Community-Aktivitäten oder Marketingszenarien eignet.
3. Datenerhebung
   Entwickler können die Nachrichtenanalyse nutzen, um Gruppenchats oder Kontaktnachrichten zu sammeln, das Nutzerverhalten zu analysieren oder wichtige Informationen für die Marktforschung zu extrahieren.
4. Verteilung von Inhalten
   Medienschaffende können mit dem Framework automatisch Links zu Artikeln, Bildern oder Applets in WeChat-Gruppen oder Freundeskreisen veröffentlichen, um die Effizienz der Inhaltsverbreitung zu steigern.

QA

1. Unterstützt das Framework alle WeChat-Versionen?
   Derzeit wird nur WeChat Version 4.0 unterstützt. Andere Versionen werden aufgrund von Änderungen an der Schnittstelle möglicherweise nicht erkannt, daher wird empfohlen, die Kompatibilität zu testen.
2. Wie kann ich die Genauigkeit der Zustellung meiner Nachrichten verbessern?
   Verwenden Sie eindeutige Notiznamen oder Gruppenchat-IDs, um Namenskonflikte zu vermeiden. Stellen Sie sicher, dass das WeChat-Fenster im Vordergrund und sichtbar bleibt.
3. Welche Vorkenntnisse sind für die Plugin-Entwicklung erforderlich?
   Vertraut mit der Python-Programmierung und grundlegenden YOLO/OCR-Prinzipien. Lesen Sie die Plugin-Beispiele in der offiziellen Dokumentation, um loszulegen.
4. Ist der Visualisierungs-Client kostenlos?
   Ja, der Client ist Bestandteil des Open-Source-Projekts und kann kostenlos heruntergeladen und verwendet werden, aber Sie müssen die Umgebung selbst konfigurieren.