Lösung: Nutzung der multimodalen Einbettungstechnologie von ColPali
Während herkömmliche Retrievalsysteme grafische Inhalte oft fragmentiert behandeln, ermöglicht die ColPali-Technologie von Morphik Core ein föderiertes Retrieval durch die folgenden Schritte:
- Vorbehandlungsstufe: Verwendung
ingest_file()Wenn Sie eine Datei importieren, fügen Sieuse_colpali=TrueParameter analysiert das System automatisch die visuellen Elemente (Diagramme/Bilder) im Dokument mit dem entsprechenden beschreibenden Text, um den gemeinsamen Einbettungsvektor zu erzeugen. - Abrufphase: Umsetzung
retrieve_chunks()Bei der Abfrage gleicht das System sowohl textuelle semantische als auch visuelle Merkmale ab. Eine Abfrage nach "Umsatztrenddiagramm" zum Beispiel entspricht sowohl der textlichen Beschreibung als auch den Merkmalen eines Liniendiagramms. - Tipps zur Optimierung1) Hinzufügen zu bildintensiven Dokumenten
metadata={'content_type':'multimodal'}Erhöhen Sie die Bearbeitungspriorität 2) BestandenkDie Parameter steuern die Anzahl der zurückgegebenen Ergebnisse und sorgen für ein Gleichgewicht zwischen Genauigkeit und Effizienz.
Experimentelle Daten zeigen, dass die Methode die Genauigkeit der gemischten grafischen und textuellen Abfrage um 47% verbessert und die Antwortzeit innerhalb von 800ms liegt (Dokumentengröße von einer Million).
Diese Antwort stammt aus dem ArtikelMorphik Core: eine Open-Source-RAG-Plattform für die Verarbeitung multimodaler DatenDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " Wie lässt sich das Problem der effizienten Suche nach multimodalen Dokumenten (z. B. PDF mit Grafiken) lösen?
Deutsch 
简体中文 
English 
日本語 
Português do Brasil