Indirekte Rede App Version 3 - lokales LLM

Mein KI-Assistent für Indirekte Rede läuft jetzt neu mit einem lokalen LLM direkt auf meinem Laptop – das bedeutet, er ist vollständig datenschutzkonform sowie mit Amts- und Berufsgeheimnissen vereinbar.

Ich habe mithilfe von Bolt.new (https://bolt.new/) mein Tool für Indirekte Rede so angepasst, dass es nicht länger auf das LLM von OpenAI zurückgreift, sondern stattdessen ein lokales LLM verwendet. Ich habe dann das App von Bolt auf meinen Rechner runtergeladen und mit LM Studio verknüpft (https://lmstudio.ai/). Mit LM Studio können Large Language Models direkt auf den eigenen Rechner heruntergeladen und lokal betrieben werden. Dadurch bleiben sämtliche Daten auf dem eigenen Gerät und werden weder an OpenAI noch an andere externe Server übermittelt. Die App funktioniert komplett offline – eine Internetverbindung ist nicht erforderlich (siehe Bild unten).

Meines Erachtens gibt es keinen Grund mehr, ein solches Werkzeug nicht als Prototyp in einem Gericht einzusetzen. Natürlich muss der umgeschriebene Text immer noch von einem Menschen kontrolliert werden und die Verantwortung für den Text liegt beim Gerichtsschreiber bzw. Richter. Ich denke aber, dass mit einem solchen Tool wichtige Arbeitsstunden eingespart und sinnvoller eingesetzt werden können als mit einer Umformulierung des Textes in indirekte Rede.

Für die Techis: Als LLM benutze ich DiscoLM (https://huggingface.co/TheBloke/DiscoLM_German_7b_v1-GGUF). Kennt ihr andere Modelle, die gut mit deutschen Texten funktionieren und für meinen Usecase gut passen würden?