Der gesamte Prozess der Einführung des 7B-Modells besteht aus drei wichtigen Schritten:
- Umgebung KonfigurationPython 3.8+ Umgebung, PyTorch und Transformers Bibliotheken werden benötigt (
pip install torch transformers
), wird empfohlen, GPUs zu verwenden, die FP16-Präzision unterstützen, wie z. B. NVIDIA A100/A800, und mindestens 15 GB Videospeicher sicherzustellen - Erwerb von Modellen::
- Klonen von GitHub-Repositories:
git clone https://github.com/ECNU-ICALK/EduChat.git
- Laden Sie die Modelldatei von Hugging Face herunter:
huggingface-cli download ecnu-icalk/educhat-sft-002-7b
- Klonen von GitHub-Repositories:
- ModellbeladungInitialisieren Sie das Dialogsystem mit folgendem Python-Code:
from transformers import LlamaForCausalLM, LlamaTokenizer
tokenizer = LlamaTokenizer.from_pretrained('ecnu-icalk/educhat-sft-002-7b')
model = LlamaForCausalLM.from_pretrained('ecnu-icalk/educhat-sft-002-7b', torch_dtype=torch.float16).half().cuda()
Nach der Bereitstellung können Sie zwischen verschiedenen Dialogmodi wechseln, indem Sie den Themenschalter (Psychologie/Sokrates/Allgemeines) in system_prompt ändern. Beachten Sie, dass Sie die Stapelgröße entsprechend der Speicherbedingungen anpassen müssen, um einen Speicherüberlauf zu vermeiden.
Diese Antwort stammt aus dem ArtikelEduChat: ein Open-Source-Modell für den BildungsdialogDie