PRAG nutzt die effiziente LoRA-Parameter-Feinabstimmungstechnologie, um eine parametrisch komprimierte Speicherung von massivem Wissen zu erreichen:
- Die Charakterisierung eines einzelnen Dokuments erfordert nur 0,3% an Speicherplatz für den Originaltext
- Unterstützt paralleles Training von Tausenden von Dokumentenparametern auf einer einzigen A100 GPU
- Parameteraktualisierung mit Gradientenakkumulationsstrategie, Stapelgröße kann auf 1024 erweitert werden
Die Testdaten zeigen, dass PRAG 1 TB Wikipedia-Text in eine parametrisierte Datei von 3 GB komprimieren kann, wobei die Speichernutzung beim Abruf um zwei Größenordnungen geringer ist. Im TriviaQA-Test für offene Fragen und Antworten erreichte die Auffindbarkeit des parametrisierten Schemas 92,4%, das sind 7,2 Prozentpunkte mehr als die traditionelle FAISS-Vektorbibliothek. Dieser Mechanismus eignet sich besonders für den mobilen Einsatz: Nach der Integration von PRAG in eine medizinische APP nimmt das Volumen des Installationspakets nur um 8 MB zu, enthält aber 50.000 Stück Wissen über Arzneimittelanweisungen.
Diese Antwort stammt aus dem ArtikelPRAG: Parametric Retrieval Augmentation Generation Tool zur Verbesserung der Leistung von Q&A SystemenDie
