Grundlegende Umweltanforderungen
- BetriebssystemLinux/Windows (Ubuntu 20.04+ empfohlen)
- Software-AbhängigkeitPython 3.8+, Git, PyTorch 2.0+, Transformers Library
- KontozugriffHuggingFace-Konto (zum Herunterladen von Modellen wie Llama)
Schritt-für-Schritt-Anleitung
- Klon-Lagerhaus:
git clone https://github.com/microsoft/KBLaM.git - Installieren Sie die Hauptabhängigkeiten:
pip install -e . - Konfigurieren Sie die Modellberechtigungen:
huggingface-cli login(Token erforderlich) - Überprüfen der Installation: Ausführen
python -m kblam.test
Empfehlungen für die Hardware-Konfiguration
Tests im kleinen MaßstabDie RTX 3090 (24 GB Videospeicher) kann Wissensdatenbanken der 100-MB-Klasse verarbeiten;Einsatz in der ProduktionDer A100 80GB wird für die Verarbeitung von zehn Millionen Wissenseinträgen empfohlen. Die Antwortzeit kann 5-8 mal länger sein, wenn nur CPU-Rechenleistung verwendet wird.
Diese Antwort stammt aus dem ArtikelKBLaM: Ein erweitertes Open-Source-Tool zur Einbettung von externem Wissen in große ModelleDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " Wie installiere und konfiguriere ich die KBLaM-Umgebung? Welche Hardware-Unterstützung ist erforderlich?
Deutsch 
简体中文 
English 
日本語 
Português do Brasil