Verschreibung
Um den Wechsel zwischen verschiedenen Sprachmodellen zu vereinfachen, können Sie das Any-LLM Unified Interface Tool verwenden, indem Sie die folgenden Schritte ausführen:
- Standardisiertes MusteraufrufformatAlle Modellaufrufe erfolgen über die
completion()Funktion müssen Sie nur diemodelParameter (im Formatprovider/model_id(Sie können zwischen den Modellen wechseln.) - Zentralisierte Verwaltung von API-SchlüsselnEinheitliche Konfiguration von Schlüsseln auf allen Plattformen über Umgebungsvariablen (z.B.
export OPENAI_API_KEY='your_key'), um zu vermeiden, dass die Einstellungen bei jedem Aufruf der - Allgemeine Funktionen kapselnErstellen von Standard-Aufrufvorlagen, die eine Fehlerbehandlung beinhalten, wie z.B. voreingestellte
temperatureund andere häufig verwendete Parameter, um sich wiederholenden Code zu reduzieren
Typisches Anwendungsbeispiel:def query_llm(question, model_name='mistral/mistral-small-latest'):
try:
return completion(
model=model_name,
messages=[{'role':'user','content':question}],
temperature=0.8
)
except Exception as e:
print(f'调用失败: {e}')
Mit dieser Methode können die Kosten für den Modellwechsel auf über 90% gesenkt werden, was sich besonders für Szenarien eignet, die häufige Tests der Auswirkungen verschiedener Modelle erfordern.
Diese Antwort stammt aus dem ArtikelAny-LLM: Ein Open-Source-Tool zur Vereinheitlichung von Schnittstellenaufrufen zu mehrsprachigen ModellenDie
