Jenseits des PDF

pd3f ist eine Open-Source-Pipeline zur Text-Extraktion aus PDFs.

pd3f rekonstruiert den ursprünglichen Fließtext eines Dokuments: Absätze, getrennte Wörter, Kopf- und Fußzeilen, Fußnoten, und Texterkennung für Scans.

pd3f ist zum Selbst-Hosten auf einem Server gedacht, läuft aber auch lokal auf dem eigenen Rechner.

Jedes Zeilenende, jeder Seitenumbruch und jede Wahl zwischen Kopien einer Kopf- oder Fußzeile wird samt Begründung protokolliert, und die unsicheren Entscheidungen werden zur Prüfung markiert.

Jetzt installieren Beispiele ansehen

Features

Gründe, warum pd3f für Sie ist

Vollständige Pipeline

Auf Scans (Bildern) wird automatisch Text erkannt

Lokal oder entfernt

Läuft auf dem eigenen Computer oder auf dem Server

Einfach aufzusetzen

Durch Docker ist die Installation simpel

Übersicht

Eine längere Einführung zu pd3f 0.x gibt es in einem Blog-Post auf der Seite des Prototype Fund.

pd3f liest PDFs mit LiteParse und erkennt den Text gescannter Seiten mit OCRmyPDF (Tesseract). Dann rekonstruiert es den Fließtext: Es fügt Zeilen zu Absätzen zusammen, setzt am Zeilenende getrennte Wörter wieder zusammen, nimmt Kopf- und Fußzeilen samt Seitenzahlen aus dem Text und sammelt die Fußnoten am Ende. Die meisten dieser Entscheidungen treffen feste Regeln und die Schreibweise, die das Dokument an anderer Stelle verwendet. Den Rest können auf Wunsch die zeichenbasierten Sprachmodelle von Flair entscheiden.

pd3f ist besonders nützlich für Sprachen mit langen Wörtern wie das Deutsche. Es wurde hauptsächlich entwickelt, um deutsche Briefe und offizielle Dokumente zu bearbeiten. Neben Deutsch unterstützt pd3f auch Englisch, Spanisch, Französisch und Italienisch.

pd3f ist eine Python-Bibliothek, ein Kommandozeilen-Werkzeug und eine Web-App mit HTTP-API, zusammen in einem Docker-Image.

pd3f steht unter der GNU Affero General Public License v3.0.

Online-Vortrag über pd3f 0.x (in Englisch)

Über das Projekt

pd3f ist ein Projekt von Johannes Filter und wurde vom Bundesministerium für Bildung und Forschung im Rahmen des Prototype Fund finanziert.

Johannes Filter ist ein unabhängiger Forscher, Softwareentwickler und Datenanalyst. Seine Arbeit konzentriert sich auf Mensch-Computer-Interaktion, maschinelles Lernen und Computerlinguistik. Website, Twitter

Impressum, Datenschutzerklärung

Das Vorhaben wurde mit Mitteln des Bundesministeriums für Bildung und Forschung unter dem Förderkennzeichen 01IS19S18 gefördert. Die Verantwortung für den Inhalt dieser Veröffentlichung liegt beim Autor.