Lokales LLM

Du möchtest einen KI-Chatbot, hast aber sensible oder geschützte Daten, die nicht an Dritte gelangen sollen? Die Lösung: Installiere einen Chatbot lokal auf Deinem Computer/Server.

Wir haben den FragdenOnlinekommentar lokal auf dem (leistungsstarken) Laptop von @Jan Reinhardt (geb. Nicklaus) installiert (für die Techis: Wir nutzen das Modell Disco LM German) . Bei solchen lokalen LLM-Modellen bleiben die Daten auf dem eigenen Computer oder Server und werden nicht mehr an OpenAI oder Microsoft weitergeleitet. Das bietet mehr Datenschutz und -Sicherheit. Sodann bleibt das Amts- und Berufsgeheimnis gewahrt.

Im Vergleich zu ChatGPT sind die aktuellen Modelle nach unserer ersten groben Einschätzung aber (noch) weniger leistungsstark (die Antworten also tendenziell nicht ganz genau gleich gut), die Antwortzeiten sind langsamer (das Video wird in 4x Geschwindigkeit abgespielt) und die Modelle können Mehrsprachigkeit weniger gut handhaben. Dennoch könnte ein Experiment mit einem solchen lokalen LLM-Modell z.B. für Kanzleien, Behörden oder Gerichte sehr interessant sein.

Was hält ihr von solchen lokalen LLMs und habt ihr selbst schon Erfahrungen damit gemacht?