Ein Leitfaden zur Implementierung eines reinen Front-End-KI-Chat-Programms
Die Webmodell-Funktion von Deep Chat ermöglicht die Ausführung von KI auf der Browserseite, mit einem bestimmten Implementierungspfad:
- Auswahl des ModellsUnterstützung für leichtgewichtige Modelle wie RedPajama/TinyLlama durch das
npm install deep-chat-web-llmMontage - lokale Inferenz: Konfiguration
webModelNach der Eingabe der Eigenschaften werden die Modellgewichte automatisch heruntergeladen und in IndexedDB zwischengespeichert. - Kontrolle der RessourcenEingebaute Modelle benötigen ca. 300 MB bis 2 GB Speicherplatz und übernehmen automatisch die Speicherzuweisung.
- Funktionelle EinschränkungenQA: Geeignet für einfache QA-Szenarien, komplexe Aufgaben müssen noch mit Cloud-APIs verbunden werden
Prozess der Bereitstellung::
- Hinzufügen zu statischem HTML
<script src="deepChat.bundle.js"></script> - Vertretungen
<deep-chat webModel='{"model":"TinyLlama"}'></deep-chat> - Verbesserung der Ladegeschwindigkeit durch Zwischenspeicherung von Modelldateien mit Service Worker
- ausnutzen
onMessageAbfangjäger verarbeiten spezielle Antwortformate für lokale Modelle
caveatDa das erste Laden das Herunterladen der Modelldatei erfordert, ist es empfehlenswert, eine Fortschrittsanzeige zum Laden hinzuzufügen. Bei Geräten mit schlechter Leistung kann diequantizationaktiviert die 4-Bit-Quantisierungsversion.
Diese Antwort stammt aus dem ArtikelDeep Chat: eine KI-Chat-Komponente für eine schnelle Website-IntegrationDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " Wie lässt sich die KI-Chat-Funktion in einer serverlosen Umgebung implementieren?
Deutsch 
简体中文 
English 
日本語 
Português do Brasil