AI Engineering Academy: 2.18Vision RAG Vision-Fähigkeiten

Claude Code ist einer der angenehmsten KI-Agenten-Workflows, die es bisher gab. Nicht nur, dass er das gezielte Editieren von Code und die Entwicklung improvisierter Tools weniger lästig macht, die Erfahrung, ihn zu benutzen, wird sogar als ein Vergnügen an sich beschrieben. Er hat genug Autonomie, um interessante Aufgaben zu erledigen, ohne dass die Entwickler plötzlich...

Bei der Entwicklung von Wissensbasisanwendungen auf der Grundlage von Retrieval Augmented Generation (RAG) ist die Vorverarbeitung und das Slicing (Chunking) von Dokumenten ein entscheidender Schritt, um die endgültigen Suchergebnisse zu bestimmen. Die Open-Source-RAG-Engine RAGFlow bietet verschiedene Slicing-Strategien, aber der offiziellen Dokumentation fehlen klare Erklärungen zu den Details der Methode und zu speziellen Fällen, was bei Entwicklern zu großer Verwirrung führt...

Beim Aufbau von Retrieval Augmented Generation (RAG)-Systemen stoßen die Entwickler häufig auf folgende verwirrende Szenarien: Kopfzeilen von seitenübergreifenden Tabellen werden auf der vorherigen Seite belassen, wodurch die Daten an Relevanz verlieren. Modelle geben bei mehrdeutigen Scans sicher völlig falsche Inhalte an. Das Summensymbol “Σ” in einer mathematischen Formel wird fälschlicherweise als der Buchstabe “E” erkannt. Wasserzeichen in Dokumenten...

Beginnen wir mit einer einfachen Aufgabe: dem Planen einer Besprechung. Wenn ein Nutzer sagt: “Hey, können wir morgen eine schnelle Synchronisierung vornehmen?” Eine KI, die sich ausschließlich auf Prompt Engineering verlässt, könnte antworten: “Ja, morgen ist gut. Um wie viel Uhr möchten Sie die Synchronisierung bitte durchführen? Diese Antwort ist zwar korrekt, aber sie ist mechanisch und...

Abstrakt Das Aufkommen von groß angelegten Sprachmodellen (LLMs) hat ein neues Paradigma von Suchmaschinen eröffnet, die generative Modelle verwenden, um Informationen zu sammeln und zusammenzufassen, um Benutzeranfragen zu beantworten. Wir fassen diese aufkommende Technologie unter dem Begriff Generative Engines (GEs) zusammen, die genaue und personalisierte Antworten generieren und traditionelle Suchmaschinen wie Google und ...

In den Anfangstagen des Manus-Projekts stand das Team vor einer kritischen Entscheidung: Sollten sie ein End-to-End-Agentenmodell auf der Grundlage von Open-Source-Modellen trainieren oder sollten sie die leistungsstarken “Kontextlern”-Fähigkeiten modernster Modelle nutzen, um Agenten zu erstellen? Wenn man zehn Jahre zurückgeht, hatten Entwickler im Bereich der Verarbeitung natürlicher Sprache nicht einmal eine Wahl. In der Ära von BERT konnte jedes Modell...

Bei der Entwicklung von KI-Systemen wie RAGs oder KI-Agenten ist die Qualität der Abfrage der Schlüssel zur Bestimmung der Obergrenze des Systems. Die Entwickler stützen sich in der Regel auf zwei wichtige Suchtechniken: die Schlagwortsuche und die semantische Suche. Schlüsselwortsuche (z.B. BM25): schnell und gut im exakten Abgleich. Sobald sich jedoch der Wortlaut der Frage eines Benutzers ändert, sinkt die Auffindungsrate. ...

Die Erfahrung, mit einem Freund zu kommunizieren, der immer den Inhalt des Gesprächs vergisst und jedes Mal wieder von vorne anfangen muss, ist zweifellos ineffizient und anstrengend. Doch genau das ist die Norm für die meisten aktuellen KI-Systeme. Sie sind zwar leistungsfähig, aber es fehlt ihnen in der Regel eine wichtige Komponente: das Gedächtnis. Um KI-Intelligenzen (Agenten) zu entwickeln, die wirklich lernen, sich weiterentwickeln und zusammenarbeiten können, ist das Gedächtnis nicht...