Die Architektur von Rowfill basiert auf einer lokalisierten LLM-Bereitstellungsstrategie, die den Kern des Datensicherheitssystems bildet. Die Plattform unterstützt Llama2, Mistral und andere gängige Open-Source-LLMs, die in einer privaten Umgebung ausgeführt werden, um sicherzustellen, dass sensible Daten das Unternehmensintranet nicht verlassen. Die technische Umsetzung hat einen dreifachen Schutzmechanismus aufgebaut: der erste ist die Netzwerkisolierung, durch den Docker-Container, um die Datenverarbeitungsumgebung in einer Sandbox zu erreichen; der zweite ist die Speicherverschlüsselung, die temporären Daten im Modellinferenzprozess werden mit AES-256 verschlüsselt; der dritte ist die Zugriffskontrolle, die Integration von LDAP / ActiveDirectory, um eine feinkörnige Berechtigungsverwaltung zu erreichen.
Im Vergleich zu herkömmlichen Lösungen, die sich auf Cloud-APIs stützen, bietet die lokalisierte Verarbeitung von Rowfill drei wesentliche Vorteile: Die Verarbeitungslatenz wird um 80% reduziert, von durchschnittlich 800ms auf weniger als 150ms; das Risiko von Datenlecks bei Dritten wird vollständig vermieden; und die kontinuierliche Feinabstimmung der Wissensbasis des Unternehmens wird für das Training unterstützt. Testdaten eines Finanzinstituts zeigen, dass das lokale Modell bei der Verarbeitung von Kundenkreditberichten die Antwortzeit unter 200 ms hält und dabei eine Erkennungsgenauigkeit von 95% beibehält.
Die Plattform hat außerdem einen innovativen Daten-Desensibilisierungs-Workflow entwickelt, mit dem 18 Arten sensibler Informationen, darunter Ausweis- und Bankkartennummern, in der Extraktionsphase automatisch erkannt und maskiert werden können. Dieser Mechanismus wurde nach ISO27001 zertifiziert und eignet sich besonders für den Einsatz in stark regulierten Branchen wie dem Gesundheits- und Finanzwesen.
Diese Antwort stammt aus dem ArtikelRowfill: Stapelweise Extraktion von strukturierten Informationen aus Dokumenten und automatisierte AnalyseDie
