InfiniteRadio: Generierung kontextbasierter unendlicher Musikströme

InfiniteRadio ist ein Open-Source-Projekt, das darauf abzielt, mit Hilfe der Technologie der künstlichen Intelligenz einen unendlichen Musikstrom zu erzeugen und den Musikstil dynamisch an den aktuellen Kontext des Benutzers anzupassen. Das von LaurieWired entwickelte Projekt kombiniert die Magenta RealTime-Musikmodellierung mit InternVL3 oder der Überwachung von Systemprozessen, um automatisch zwischen Musikgenres zu wechseln. Nutzer können ein personalisiertes Musikerlebnis genießen, das sich je nach Aktivität oder Umgebung ändert und entweder lokal oder über eine Mac-Anwendung läuft. Der Code wird auf GitHub für Entwickler und Nutzer gehostet, die sich für Musikgenerierung und KI-Technologie interessieren.

Funktionsliste

• Automatische Generierung unbegrenzter Musikströme, basierend auf dem Magenta RealTime-Modell.
• Unterstützt die kontextabhängige, dynamische Auswahl von Musiktypen auf der Grundlage von InternVL3 oder Systemprozessen.
• Für die einfache Konfiguration und Steuerung der Musikwiedergabe steht ein Mac-Tray-Programm zur Verfügung.
• Unterstützt die lokale Ausführung von Musikmodellen, erfordert die Konfiguration von Docker-Containern.
• Ermöglicht Benutzern den Zugriff auf die Musiksteuerungsschnittstelle über einen Browser.
• Unterstützt sowohl den LLM-DJ- als auch den Prozess-DJ-Modus und passt die Musik durch Sprachmodellierung bzw. Prozessüberwachung an.

Hilfe verwenden

Einbauverfahren

Um InfiniteRadio zu verwenden, müssen die Benutzer das Projekt lokal oder über eine Mac-Anwendung ausführen. Nachfolgend finden Sie die detaillierten Schritte zur Installation und Nutzung:

lokaler Betrieb

1. Vorbereitung der Umwelt
   • Stellen Sie sicher, dass Docker installiert ist, da das Musikmodell in Containern ausgeführt werden muss.
   • Installieren Sie Python (empfohlene Version 3.8 oder höher), um die entsprechenden Skripte auszuführen.
   • Wenn Sie LLM DJ verwenden, müssen Sie LM Studio installieren, um den Language Model Server auszuführen.
2. Klonprojekt
   Führen Sie den folgenden Befehl im Terminal aus, um das InfiniteRadio-Projekt lokal zu klonen:

   git clone https://github.com/LaurieWired/InfiniteRadio.git
   cd InfiniteRadio
   

3. Konfigurieren von Docker-Containern
   • Gehen Sie in das Projektverzeichnis, suchen Sie die Dockerdatei und führen Sie den folgenden Befehl aus, um den Container zu erstellen:

     docker build -t infiniteradio .
     

   • Starten Sie den Container:

     docker run -p 8080:8080 infiniteradio
     

   • Sobald der Container läuft, öffnen Sie einen Browser und besuchen Sie http://127.0.0.1:8080 oder die IP-Adresse des Containers, um auf die Music Control-Schnittstelle zuzugreifen.
4. Konfigurieren des LLM-DJ (optional)
   • Starten Sie den Language Model Server in LM Studio (siehe die LM Studio Dokumentation für die spezifische Konfiguration).
   • Stellen Sie sicher, dass der Server ordnungsgemäß läuft und InfiniteRadio das Modell über die API aufruft, um dynamisch Musikgenres auszuwählen.
   • Wenn Sie eine Mac-Anwendung verwenden, können Sie die Python-Konfiguration überspringen und LLM DJ direkt in der Tray-Anwendung auswählen.
5. Konfigurieren von Process DJ
   • Process DJ überwacht aktive Systemprozesse (z. B. Browser, Code-Editoren usw.) und schaltet den Musikstil entsprechend der Art des Prozesses um.
   • Auf einem Mac müssen Sie der App die Berechtigung für die Bildschirmansicht erteilen, damit die dynamische Auswahl der Musiktypen richtig funktioniert.
   • Berechtigungseinstellungen: Markieren Sie unter Systemeinstellungen > Sicherheit & Datenschutz > Bildschirmaufzeichnung die InfiniteRadio-App.

Verwendungsprozess

1. Musikwiedergabe starten
   • Zugang über Browser http://127.0.0.1:8080Um die InfiniteRadio-Steuerungsoberfläche aufzurufen, drücken Sie die Eingabetaste.
   • Auf der Benutzeroberfläche werden der aktuelle Musiktyp, der Wiedergabestatus und kontextbezogene Informationen angezeigt.
   • Benutzer können den LLM-DJ- oder den Process-DJ-Modus auswählen und auf die Schaltfläche "Start" klicken, um den Musikstream zu starten.
2. LLM-DJ-Modus-Betrieb
   • LLM DJ nutzt das InternVL3-Modell, um den Kontext zu analysieren (z. B. Bildschirminhalt oder Benutzereingaben) und wählt automatisch den passenden Musiktyp aus (z. B. konzentrierte Musik für die Arbeit, intensive Musik für Spiele).
   • Klicken Sie im Kontrollbildschirm auf "Switch to LLM DJ" und stellen Sie sicher, dass der LM Studio-Server läuft.
   • Eine Kontextbeschreibung (z.B. "Programmierung" oder "Entspannung") kann manuell eingegeben werden und das Modell generiert die entsprechende Musik.
3. Prozess-DJ-Betrieb
   • Process DJ überwacht die Systemprozesse und passt die Musiktypen entsprechend den aktiven Anwendungen (z. B. VS Code, Spieleclients) an.
   • Klicken Sie in der Mac Tray-App auf "Process DJ aktivieren" und das Programm erkennt und wechselt automatisch die Musik.
   • Der Benutzer kann den aktuellen Prozess und das entsprechende Musikgenre (z.B. "VS Code - Focus on Electronica") in der Oberfläche sehen.
4. Musiksteuerung
   • Die Schnittstelle bietet Funktionen zum Anhalten, Abspielen und Einstellen der Lautstärke.
   • Der Benutzer kann die Art der Musik manuell auswählen oder sie automatisch vom System einstellen lassen.
   • Unterstützung für das Speichern von Lieblingsmusikclips, die im lokalen Projektverzeichnis gespeichert werden.

caveat

• Stellen Sie sicher, dass das Netzwerk stabil ist und dass der LLM-DJ-Modus eine Kommunikation mit dem Sprachmodellierungsserver erfordert.
• Der Prozess-DJ-Modus erfordert auf einem Mac Bildschirmberechtigungen, da Sie sonst keine Prozesse überwachen können.
• Für den lokalen Betrieb ist eine leistungsfähigere Hardware erforderlich. 16 GB RAM und eine Multi-Core-CPU werden empfohlen, um eine reibungslose Musikerzeugung zu gewährleisten.
• Die Projektdokumentation befindet sich in der README-Datei im GitHub-Repository, so dass Sie darauf verweisen oder ein Problem melden können, wenn Sie auf Probleme stoßen.

Anwendungsszenario

1. Arbeitsumgebung für Entwickler
   InfiniteRadio bietet Entwicklern gezieltes Musikstreaming. Wenn Sie beispielsweise VS Code öffnen, erkennt Process DJ die Programmieraktivität und spielt automatisch leichte elektronische Musik, um die Konzentration zu verbessern.
2. Hintergrundmusik für Gamer
   Während der Spieler das Spiel durchläuft, erkennt Process DJ den Fortschritt des Spiels und schaltet auf intensive oder epische Musik um, um die Immersion zu erhöhen.
3. Tägliche Entspannung
   Nutzer können über den LLM-DJ "relax" oder "meditate" eingeben, um beruhigende Musik zum Ausruhen oder Lesen zu hören.
4. Kreative Arbeit
   Designer oder Künstler können sich von der Inhaltsanalyse auf dem Bildschirm inspirieren lassen, die es InfiniteRadio ermöglicht, Musik zu erzeugen, die zum Thema ihrer Kreation passt.

QA

1. Benötigt InfiniteRadio eine Internetverbindung?
   Wenn Sie den LLM-DJ-Modus verwenden, ist eine Internetverbindung erforderlich, um eine Verbindung zum LM Studio-Server herzustellen. Der DJ-Modus von process kann offline ausgeführt werden und erfordert nur einen lokalen Docker-Container.
2. Welche Musikgenres werden unterstützt?
   Das Magenta-RealTime-Modell generiert Musikgenres, darunter Elektronik, Klassik, Rock usw., wobei bestimmte Genres dynamisch an den Kontext angepasst werden.
3. Wie werden Mac-Anwendungen installiert?
   Laden Sie das Mac-App-Paket aus dem GitHub-Repository herunter, installieren Sie es, führen Sie es über die Taskleiste aus und erteilen Sie die Berechtigung zur Bildschirmaufzeichnung, um es zu verwenden.
4. Ist es möglich, das Musikmodell individuell zu gestalten?
   Magenta RealTime-Modelle werden derzeit unterstützt, weitere Modelle können in Zukunft durch Beiträge der Gemeinschaft unterstützt werden, also behalten Sie das Projekt für Updates im Auge.