Austausch zu PDF-Parsing (+ColPali, eine Lösung für den PDF-Nightmare?)

Im Rahmen meiner Forschung und für das Repositorium.ch muss ich aus PDF-Dateien strukturierte Daten extrahieren, was sich als eine sehr komplexe Aufgabe. Kennt jemand eine gute Lösung für die lokale Umsetzung (keine externen APIs)? Idealerweise open-source?

Bis jetzt habe ich leider nur gemischte Resultate erreichen können (Tika, Unstructured oder “direktes” OCR mit Tesseract (sofern klarer Textfluss und keine Bilder/Tabellen))

Bin gerade über ColPali gestolpert, hat damit schon mal jemand experimentiert?
Paper: https://arxiv.org/pdf/2407.01449
Blogpost: https://huggingface.co/blog/manu/colpali
Notebook: https://github.com/weaviate/recipes/blob/main/weaviate-features/named-vectors/NamedVectors-ColPali-POC.ipynb