MaxKB verwendet eine offene Modell-Docking-Architektur und unterstützt drei Hauptarten des Modellzugriffs:
- Öffentliches Cloud-ModellDazu gehören die OpenAI GPT-Serie, Anthropic Claude, Wisdom Spectrum AI und andere nationale und internationale Mainstream-APIs.
- lokales Open-Source-ModellUnterstützung für selbst gehostete Modelle wie Llama 3, ChatGLM3, Qwen, etc. über Ollama oder vLLM-Zugang
- Unternehmensspezifische ModelleKompatibel mit jedem lokalisierten Bereitstellungsmodell, das mit der OpenAI API-Spezifikation konform ist
Spezifische Schritte zur Konfiguration eines lokalen privaten Modells:
- Wählen Sie die Option "Benutzerdefiniertes Modell" im Modul Modellverwaltung
- Geben Sie die API-Adresse des Modells ein (z. B. http://localhost:11434/api/generate).
- Parameter wie Modellname und Kontextlänge einstellen
- Konfiguration nach Verbindungstest speichern
Das System unterstützt auch Modell-Hot-Switching und AB-Tests, bei denen je nach Geschäftsszenario automatisch das am besten geeignete Modell zugewiesen wird. So kann beispielsweise für Kundendienstszenarien das kostengünstigere kleine 7B-Modell verwendet werden, während für das Parsen technischer Dokumente ein großes Modell mit 70B-Parametern verwendet werden kann.
Diese Antwort stammt aus dem ArtikelMaxKB: Sofort einsatzbereites KI-Wissensdatenbank-Q&A-System für intelligenten Kundenservice und interne WissensdatenbankDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " Welche Arten von großen Sprachmodellen unterstützt MaxKB beim Andocken? Wie konfiguriert man ein lokales privates Modell?
Deutsch 
简体中文 
English 
日本語 
Português do Brasil