DeepAnalyze: ein intelligenter Körper, der selbstständig datenwissenschaftliche Aufgaben erfüllt

DeepAnalyze ist ein intelligenter Agent mit großem Sprachmodell, der für die autonome Datenwissenschaft entwickelt wurde. DeepAnalyze ist in der Lage, eine Vielzahl von Datenquellen zu analysieren, egal ob es sich um strukturierte Daten wie Datenbanken, CSVs und Excel, halbstrukturierte Daten wie JSON und XML oder sogar unstrukturierte Texte wie TXT und Markdown handelt. unstrukturierter Text wie TXT und Markdown, es kann alles verarbeiten. Letztendlich kann es professionelle Forschungsberichte auf Analystenniveau erstellen. Das Wichtigste ist, dass das DeepAnalyze-Projekt vollständig quelloffen ist. Seine Modelle, sein Code, seine Trainingsdaten und seine Demos sind öffentlich zugänglich, so dass es für die Benutzer einfach ist, es in ihren eigenen Umgebungen einzusetzen oder eine sekundäre Entwicklung nach ihren eigenen Bedürfnissen durchzuführen, um einen exklusiven Datenanalyseassistenten zu schaffen.

Funktionsliste

• Vollständige ProzessautomatisierungDie Fähigkeit, jeden Schritt der Datenwissenschaft zu automatisieren, von der anfänglichen Datenbereinigung und -aufbereitung über die Datenanalyse und -modellierung bis hin zur abschließenden Datenvisualisierung und Berichterstellung - alles ohne menschliches Zutun.
• Offene Datenforschung:: Ist nicht auf spezifische Aufgabenstellungen beschränkt, kann explorative, vertiefte Recherchen zu einer gegebenen Vielfalt von Datenquellen durchführen und qualitativ hochwertige Forschungsberichte erstellen.
• Unterstützung für verschiedene DatenquellenUnterstützung für die Verarbeitung von Datendateien in verschiedenen Formaten, einschließlich strukturierter Daten (z. B. Datenbank, CSV, Excel), halbstrukturierter Daten (z. B. JSON, XML, YAML) und unstrukturierter Daten (z. B. TXT, Markdown).
• Vollständig quelloffenDie Modellgewichte, der Quellcode, die Trainingsdaten und eine interaktive Demo-Schnittstelle sind offen, damit Entwickler private Datenanalysedienste anpassen oder einsetzen können.

Hilfe verwenden

Nachfolgend finden Sie eine detaillierte Schritt-für-Schritt-Anleitung zur Installation und Verwendung von DeepAnalyze.

1. ökologische Konfiguration

Bevor Sie das Programm verwenden können, müssen Sie die Softwareumgebung konfigurieren, die für die Ausführung des Programms erforderlich ist. Empfohlene Verwendungcondaum die Umgebung zu verwalten, können Sie sicherstellen, dass es keine Konflikte zwischen abhängigen Paketen gibt.

Erstellen Sie zunächst eine Datei namensdeepanalyzeder conda-Umgebung und geben Sie Python Version 3.12 an.

conda create -n deepanalyze python=3.12 -y

Aktivieren Sie dann die soeben erstellte Umgebung.

conda activate deepanalyze

Als nächstes installieren Sie alle erforderlichen Abhängigkeiten. Das Stammverzeichnis des Projekts bietet einerequirements.txtdie alle erforderlichen Pakete und deren Versionen enthält.

pip install -r requirements.txt

Wenn eine Modellschulung erforderlich ist, müssen zwei zusätzliche Entwicklungsbibliotheken installiert werden.

cd ./deepanalyze/ms-swift/ && pip install -e .
cd ./deepanalyze/SkyRL/ && pip install -e .

2. das lokale Demo-Interface zu starten

Das Projekt stellt eine Demoversion mit einer grafischen Benutzeroberfläche zur Verfügung, die es Ihnen ermöglicht, mit DeepAnalyze auf intuitivere Weise zu interagieren.

Zunächst muss der gesamte Projektcode auf Ihren lokalen Computer geklont werden.

git clone https://github.com/ruc-datalab/DeepAnalyze.git
cd DeepAnalyze

Sobald Sie sich im Projektverzeichnis befinden, führen Sie das Startskript aus, um die API und die Front-End-Schnittstelle auszuführen.

bash start.sh

Nachdem das Skript erfolgreich ausgeführt wurde, öffnen Sie die URL in Ihrem Browser http://localhost:4000 Es ist bereit, es zu benutzen. Sie können Datendateien hochladen und dann DeepAnalyze Datenanalyseaufgaben durchführen lassen.

Wenn Sie den Dienst stoppen möchten, können Sie den folgenden Befehl ausführen:

bash stop.sh

Wenn Sie den Dienst unter einer bestimmten IP-Adresse anstelle der Standard-IP-Adresse bereitstellen möchtenlocalhostmüssen Sie die IP-Adresse in beiden Dateien ändern:./demo/backend.py im Gesang antworten ./demo/chat/lib/config.ts.

3. die Interaktion über die Befehlszeile

Entwickler, die die Befehlszeile bevorzugen, können auch direkt über Python-Skripte mit DeepAnalyze interagieren. Dieser Ansatz ist flexibler und erleichtert die automatisierte Prüfung und Entwicklung.

Zunächst müssen Sie dievllmzum EinsatzDeepAnalyze-8BModelle.

vllm serve DeepAnalyze-8B

Sie können dann den unten stehenden Python-Code verwenden, um Data Science-Aufgaben durchzuführen. Sie können eine bestimmte Aufgabe angeben oder eine offene Datenstudie durchführen lassen. Sie können eine beliebige Anzahl und Art von Datenquellen angeben.

from deepanalyze import DeepAnalyzeVLLM
# 定义你的指令和数据文件
# 指令可以是“生成一份数据科学报告”，也可以是更具体的任务
prompt = """# Instruction
Generate a data science report.
# Data
File 1: {"name": "bool.xlsx", "size": "4.8KB"}
File 2: {"name": "person.csv", "size": "10.6KB"}
File 3: {"name": "disabled.xlsx", "size": "5.6KB"}
File 4: {"name": "enlist.csv", "size": "6.7KB"}
File 5: {"name": "filed_for_bankrupcy.csv", "size": "1.0KB"}
File 6: {"name": "longest_absense_from_school.xlsx", "size": "16.0KB"}
File 7: {"name": "male.xlsx", "size": "8.8KB"}
File 8: {"name": "no_payment_due.xlsx", "size": "15.6KB"}
File 9: {"name": "unemployed.xlsx", "size": "5.6KB"}
File 10: {"name": "enrolled.csv", "size": "20.4KB"}"""
# 指定存放数据文件的工作区路径
workspace = "/path/to/your/data/example/student_loan/"
# 初始化模型，这里的路径是你存放DeepAnalyze-8B模型文件的路径
deepanalyze = DeepAnalyzeVLLM("/path/to/your/checkpoints/deepanalyze-8b/")
# 生成结果
answer = deepanalyze.generate(prompt, workspace=workspace)
# 打印模型的思考过程和最终报告
print(answer["reasoning"])

Nach Ausführung des obigen Codes erhalten Sie einen detaillierten Forschungsbericht, der direkt in das PDF-Format umgewandelt werden kann.

4. die Bereitstellung von API-Diensten

DeepAnalyze unterstützt auch die Bereitstellung als OpenAI-kompatibler API-Service, so dass Sie es leicht in bestehende Anwendungen integrieren können.

Sie müssen das Backend-Service-Skript ausführen. Bevor Sie es ausführen, müssen Sie diedemo/backend.pyin der DateiMODEL_PATHsetzen Sie den Wert der Variable auf IhrevllmModellname.

python demo/backend.py

Sobald der Dienst gestartet ist, können Sie mit dem Modell interagieren, indem Sie HTTP-Anfragen senden, als ob Sie die OpenAI-API aufrufen würden.

curl -X POST http://localhost:8200/chat/completions \
-H "Content-Type: application/json" \
-d '{
"messages": [
{
"role": "user",
"content": "Generate a data science report."
}
],
"workspace": "example/student_loan/"
}'

Anwendungsszenario

1. Business Intelligence-Analytik
   Geschäftsanalysten können mit DeepAnalyze Vertriebsdaten, Daten zum Nutzerverhalten usw. schnell verarbeiten und automatisch Berichte zu Dateneinblicken erstellen, wodurch langwierige Datenverarbeitung und Diagrammerstellung entfallen und Geschäftsentscheidungen schneller getroffen werden können.
2. akademische Forschung
   Bei experimentellen Daten oder sozialen Umfragen können Forscher DeepAnalyze für die explorative Datenanalyse, Hypothesentests und Modellbildung nutzen, um die verborgenen Gesetze hinter den Daten zu entdecken und den Forschungsprozess zu beschleunigen.
3. finanzielle Risikokontrolle
   Im Finanzsektor kann DeepAnalyze eingesetzt werden, um Kreditdaten von Kreditantragstellern zu analysieren und potenzielle Betrugsrisiken zu ermitteln. Es kann mehrere Datenquellen verarbeiten und Vorhersagemodelle für die Risikobewertung erstellen.
4. Data Mining im Bildungsbereich
   Bildungseinrichtungen können DeepAnalyze nutzen, um das Lernverhalten und die Leistungsdaten von Schülern zu analysieren, um die Lernwege und -schwierigkeiten der Schüler zu verstehen und so die Entwicklung von personalisierten Lehrprogrammen zu unterstützen.

QA

1. Was ist DeepAnalyze?
   DeepAnalyze ist das erste intelligente Agenten-Großsprachenmodell für autonome Datenwissenschaft. Es kann den gesamten Prozess von der Datenaufbereitung bis zur Berichterstellung selbstständig durchführen, genau wie ein menschlicher Datenwissenschaftler.
2. Muss ich für die Nutzung von DeepAnalyze bezahlen?
   Nein. DeepAnalyze ist ein vollständig quelloffenes Projekt, dessen Modelle, Code und Daten Sie frei verwenden und verändern können.
3. Welche Arten von Daten kann DeepAnalyze verarbeiten?
   Es kann viele Datentypen verarbeiten, darunter strukturierte Daten, die in Datenbanken, CSV- oder Excel-Dateien gespeichert sind, halbstrukturierte Daten wie JSON oder XML sowie unstrukturierte Textdaten im TXT- oder Markdown-Format.
4. Kann ich DeepAnalyze auf meinem eigenen Computer ausführen?
   Sie können. Solange Ihr Computer die Hardwarekonfiguration erfüllt, die für die Ausführung des großen Sprachmodells erforderlich ist, können Sie die in der offiziellen Dokumentation angegebenen Schritte befolgen, um DeepAnalyze lokal einzusetzen und zu verwenden.