Together: eine Cloud-Plattform zum Aufbau und Betrieb von Trainingsplattformen für generative KI-Modelle

Together AI ist eine Plattform, die sich auf generative KI-Modelle konzentriert und eine breite Palette von Dienstleistungen vom Modelltraining über die Feinabstimmung bis hin zur Inferenz anbietet. Benutzer können die hocheffiziente Inferenz-Engine und GPU-Cluster von Together AI nutzen, um eine Vielzahl von Open-Source-Modellen schnell bereitzustellen und auszuführen. Die Plattform unterstützt mehrere Modellarchitekturen, um unterschiedliche Anforderungen von KI-Anwendungen zu erfüllen.

Große Modell-Chat-Demo-Schnittstelle

Funktionsliste

• Inferenz-APIUnterstützt das Reasoning auf mehr als 100 Open-Source-Modellen und bietet sowohl serverlose als auch dedizierte Instanzmodelle.
• FeinabstimmungsfunktionErmöglicht den Nutzern die Feinabstimmung generativer KI-Modelle unter Verwendung ihrer eigenen Daten, wobei das Eigentum an den Daten erhalten bleibt.
• GPU-ClusterBietet hochmoderne Cluster mit 16 bis 1000+ GPUs zur Unterstützung des Modelltrainings in großem Maßstab.
• Benutzerdefinierte ModellschulungTrainieren Sie hochmoderne Modelle von Grund auf und unterstützen Sie mehrere Modellarchitekturen.
• multimodales ModellUnterstützt Bilderkennung, Bildinferenz, Bilderzeugung und mehr.
• Effiziente InferenzmaschineIntegration der neuesten Inferenztechnologien wie FlashAttention-3 und Flash-Decoding zur Bereitstellung schneller und präziser Inferenzdienste.

Hilfe verwenden

Installation und Nutzung

1. Registrieren & Anmelden：
   • Besuchen Sie die Website von Together AI (https://www.together.ai/) und klicken Sie auf die Schaltfläche "Start Building", um sich zu registrieren.
   • Sobald die Registrierung abgeschlossen ist, melden Sie sich bei Ihrem Konto an und gehen Sie zum Benutzer-Kontrollzentrum.
2. Dienst auswählen：
   • Wählen Sie im Bedienfeld das zu verwendende Servicemodul aus, z. B. die Inferenz-API, die Feinabstimmungsfunktion oder den GPU-Cluster.
   • Wählen Sie je nach Bedarf den serverlosen oder den dedizierten Instanzmodus.
3. Verwendung der Inferenz-API：
   • Wählen Sie das Open-Source-Modell aus, das Sie ausführen möchten, z. B. Llama-3, RedPajama, usw.
   • Integrieren Sie das Modell über die von Together AI bereitgestellte API-Schnittstelle in Ihre Anwendung.
   • Erstellen Sie Ihre eigene RAG-Anwendung mit den eingebetteten Endpunkten von Together AI.
4. Feinabstimmungsfunktion：
   • Laden Sie Ihren Datensatz hoch und wählen Sie die Modelle aus, die einer Feinabstimmung unterzogen werden müssen.
   • Konfigurieren Sie die Feinabstimmungsparameter, um den Feinabstimmungsprozess zu starten.
   • Sobald die Feinabstimmung abgeschlossen ist, laden Sie das feinabgestimmte Modell herunter und stellen es bereit.
5. GPU-Cluster-Nutzung：
   • Wählen Sie die gewünschte GPU-Clustergröße aus und konfigurieren Sie die Hardwareparameter.
   • Laden Sie Trainingsdaten und Modellcode hoch, um mit dem Training zu beginnen.
   • Nach Abschluss des Trainings wird das trainierte Modell zur Inferenz oder weiteren Feinabstimmung heruntergeladen.
6. Benutzerdefinierte Modellschulung：
   • Wählen Sie das Modul Custom Model Training, um die Modellarchitektur und die Trainingsparameter zu konfigurieren.
   • Laden Sie den Datensatz hoch und starten Sie den Trainingsprozess.
   • Sobald das Training abgeschlossen ist, wird das Modell heruntergeladen, um es einzusetzen und Schlussfolgerungen zu ziehen.

Arbeitsablauf

1. Zugriff auf das BedienfeldNach dem Einloggen gehen Sie zum Bedienfeld und wählen das gewünschte Servicemodul aus.
2. KonfigurationsparameterKonfigurieren Sie die Inferenz-, Feinabstimmungs- oder Trainingsparameter nach Bedarf.
3. Daten hochladenUpload des gewünschten Datensatzes oder Modellcodes.
4. Beginn der MissionInitiieren Sie Argumentations-, Feinabstimmungs- oder Trainingsaufgaben und überwachen Sie den Fortschritt der Aufgaben in Echtzeit.
5. Ergebnisse herunterladenNach Abschluss der Aufgabe werden die Modell- oder Inferenzergebnisse zur Anwendungsintegration heruntergeladen.

allgemeine Probleme

• Wie wählt man das richtige Modell?
  • Wählen Sie das geeignete Open-Source-Modell je nach Anwendungsszenario, z. B. Texterstellung, Bilderkennung usw.
• Was ist, wenn ich bei der Feinabstimmung auf einen Fehler stoße?
  • Überprüfen Sie das Datensatzformat und die Parameterkonfigurationen und ziehen Sie die offizielle Dokumentation für Anpassungen zu Rate.
• Schlechte Leistung bei der Nutzung von GPU-Clustern?
  • Vergewissern Sie sich, dass die Hardwarekonfiguration den Anforderungen entspricht, und passen Sie die Trainingsparameter an, um die Effizienz zu verbessern.

brauchbares Modell

Anwendungsbeispiel

Beispiele für Modellüberlegungen

import os
import requests

url = "https://api.together.xyz/v1/chat/completions"
payload = {
    "model": "mistralai/Mixtral-8x7B-Instruct-v0.1",
    "max_tokens": 512,
    "temperature": 0.7,
    "top_p": 0.7,
    "top_k": 50,
    "repetition_penalty": 1
}
headers = {
    "accept": "application/json",
    "content-type": "application/json",
    "Authorization": "Bearer TOGETHER_API_KEY"
}

response = requests.post(url, json=payload, headers=headers)
print(response.text)

Beispiel für die Feinabstimmung des Modells

import os
import requests

url = "https://api.together.xyz/v1/fine-tune"
payload = {
    "model": "togethercomputer/llama-2-70b-chat",
    "data": "path/to/your/data",
    "epochs": 3,
    "batch_size": 8
}
headers = {
    "accept": "application/json",
    "content-type": "application/json",
    "Authorization": "Bearer TOGETHER_API_KEY"
}

response = requests.post(url, json=payload, headers=headers)
print(response.text)