Extraktion und Reinigung von Dokumenten

OneFileLLM ist ein Open-Source-Befehlszeilen-Tool, das entwickelt wurde, um mehrere Datenquellen in einer einzigen Textdatei für die einfache Eingabe von Large Language Models (LLMs) zu konsolidieren. Es unterstützt die Verarbeitung von GitHub-Repositories, ArXiv-Papieren, YouTube-Videotranskriptionen, Web-Inhalten, Sci-Hub-Papieren und lokalen Dateien und generiert automatisch die Struktur...

Chatlog ist ein Open-Source-Tool, das sich auf die Extraktion und Abfrage von Chat-Protokollen aus der lokalen Datenbank von WeChat konzentriert. Es unterstützt die WeChat-Versionen 3.x und 4.0 und deckt Windows- und macOS-Systeme ab. Benutzer können über die Befehlszeile, Terminal-Schnittstelle oder HTTP-API arbeiten, um Chat-Protokolle, Kontakte, Gruppenchats und...

Versatile OCR Program ist ein Open-Source-Tool für die optische Zeichenerkennung (OCR), das für die Verarbeitung komplexer akademischer und pädagogischer Dokumente entwickelt wurde. Es kann Text, Tabellen, mathematische Formeln, Diagramme und Schemata aus PDF-, Bild- und anderen Dokumenten extrahieren und strukturierte Daten erzeugen, die für das Training von maschinellem Lernen geeignet sind. Unterstützt...

DevDocs ist ein völlig kostenloses und quelloffenes Tool, das vom CyberAGI-Team entwickelt und auf GitHub gehostet wird. Es wurde für Programmierer und Softwareentwickler entwickelt, um von der URL eines technischen Dokuments auszugehen, automatisch die relevanten Seiten zu crawlen und sie in prägnanten Markdown- oder JSON-Dateien zu organisieren. Es hat einen eingebauten MCP ...

Es analysiert automatisch das Layout von PDF-Dokumenten, identifiziert Text, Titel, Bilder, Tabellen, Formeln und andere Elemente auf der Seite und bestimmt ihre richtige Reihenfolge. Das Tool unterstützt OCR-Funktionalität, Sie können gescannte PDFs in durchsuchbaren Text umwandeln. Es läuft auf Docker und bietet zwei Modelle: visuelles Modell (Vision Grid ...

serverless-markdown-convertor ist ein kostenloses Open-Source-Tool, das auf Cloudflare Worker und Workers AI basiert und eine breite Palette von Dateien in das Markdown-Format konvertiert. Es unterstützt PDF, Bilder, Office-Dokumente ...

GPT-Crawler ist ein Open-Source-Tool, das vom BuilderIO-Team entwickelt und auf GitHub gehostet wird. Es durchsucht Seiteninhalte durch Eingabe einer oder mehrerer Website-URLs und erzeugt eine strukturierte Wissensdatei (output.json), die zur Erstellung eines benutzerdefinierten GPT- oder KI-Assistenten verwendet werden kann. Benutzer...

pure.md ist ein Tool für KI-Agenten und Entwickler, das sich auf die schnelle Umwandlung von Webinhalten oder Dateien in das Markdown-Format konzentriert. Es umgeht Anti-Crawler-Einschränkungen durch Proxy-Dienste, extrahiert die Kerndaten einer Webseite und gibt eine saubere Markdown-Datei aus. Egal, ob es sich um eine dynamische Webseite, eine PDF-Datei oder eine soziale...

Cloudsquid ist ein 2023 in Berlin gegründetes Unternehmen, das sich auf die Vereinfachung der Dokumentenverarbeitung mit künstlicher Intelligenz konzentriert. Das Kernprodukt ist eine Online-Plattform zur Datenextraktion, die es Nutzern ermöglicht, PDFs, Bilder, Audio, Video usw. hochzuladen und einfach die zu extrahierenden Daten anzugeben, z. B. "Finde den Namen und die...

PDF Craft ist ein Open-Source-Tool, mit dem PDFs von Büchern gescannt und in das Markdown-Format konvertiert werden können. Es wird von oomol-lab entwickelt und auf GitHub für Benutzer gehostet, die ihre eBooks organisieren möchten. Das Tool läuft über ein lokales KI-Modell und benötigt keine Internetverbindung, was die Privatsphäre schützt und die Bedienung erleichtert. ....

Supametas.AI ist eine Datenverarbeitungsplattform, die sich darauf spezialisiert hat, das Durcheinander von Webseiten, Dokumenten, Audio und Video in strukturierte Daten umzuwandeln, die KI nutzen kann. Sie unterstützt das Sammeln von Daten aus verschiedenen Quellen, einschließlich Weblinks, APIs, lokalen Dateien usw., und exportiert sie dann in das JSON- oder Markdown-Format. Die Plattform erfordert keine Programmierung...

MarkPDFDown ist ein Open-Source-Werkzeug. Es verwendet das multimodale große Sprachmodell, um PDF-Dateien in das Markdown-Format zu konvertieren. Entwickelt von GitHub-Benutzer jorben, hat dieses Tool ein einfaches Ziel: PDF-Dokumente einfacher zu bearbeiten und zu teilen. Es erkennt Überschriften, Listen,...

SmolDocling ist ein Visual Language Model (VLM), das vom ds4sd-Team in Zusammenarbeit mit IBM entwickelt wurde. Es basiert auf SmolVLM-256M und wird auf der Hugging Face-Plattform gehostet. SmolDocling ist das kleinste VLM der Welt mit nur 256M Parametern, und seine Kernfunktion ist...

Das Ziel der Tabellenerkennung besteht darin, Tabellen in Bildern zu analysieren, Tabellenstrukturen und Zellenpositionen genau zu identifizieren und sie in strukturierte Tabellenformate (z. B. HTML) zu reduzieren. Im heutigen Informationszeitalter liegt eine große Menge wichtiger tabellarischer Daten immer noch in einem unstrukturierten Zustand vor (z. B. Bilder von Informationsstatistiken in gescannten Dokumenten, pd...

In der langen Geschichte der menschlichen Zivilisation hat jeder Sprung in der Art und Weise, wie Informationen erworben und ausgewertet werden, den sozialen Fortschritt entscheidend vorangetrieben. Von den antiken Hieroglyphen über den tragbaren Papyrus bis hin zur späteren Entwicklung des Buchdrucks und der heutigen digitalen Welle hat jede technologische Innovation die Weitergabe von menschlichem Wissen erheblich erweitert...

Firecrawl MCP Server ist ein von MendableAI entwickeltes Open-Source-Tool, das auf der Implementierung des Model Context Protocol (MCP) basiert und mit der Firecrawl-API integriert ist, um leistungsfähiges Webcrawling und Datenextraktion zu ermöglichen. Es ist spezialisiert auf ...

olmOCR ist ein Open-Source-Tool, das vom AllenNLP-Team am Allen Institute for Artificial Intelligence (AI2) entwickelt wurde. Es konzentriert sich auf die Konvertierung von PDF-Dateien in linearisierten Text und eignet sich besonders gut für den Einsatz in groß angelegten Sprachmodellen (LL...

par_scrape ist ein auf Python basierendes Open-Source-Web-Crawler-Tool, das der Entwickler Paul Robello auf GitHub veröffentlicht hat und das Benutzern helfen soll, auf intelligente Weise Daten aus Webseiten zu extrahieren. Es integriert Selenium und Playwright, zwei leistungsstarke Browser-Automatisierungsprogramme...

PDF-Extract-Kit ist ein Open-Source-Projekt, das vom OpenDataLab-Team entwickelt wurde und sich auf die effiziente Extraktion von hochwertigen Inhalten aus komplexen und vielfältigen PDF-Dokumenten konzentriert. Es integriert fortschrittliche Dokumenten-Parsing-Technologie, Unterstützung für Layout-Erkennung, Formel-Erkennung, Tabellen-Extraktion und OCR und andere Funktionen, anwendbar auf wissenschaftliche Arbeiten, .....