Podcast-Transkript korrigieren: Lokale KI vs. Cloud

Ein weiterer kleiner Vergleich von lokaler KI mit KI in der Cloud:

Für den «Datenschutz-Plaudereien»-Podcast erstelle ich jeweils ein eigenes Transkript, weil die automatisch erstellten Transkripte der Apps und Plattformen bei Schweizerdeutsch nicht gut genug sind. (Manche Apps und Plattformen akzeptieren allerdings keine «fremden» Transkripte oder bieten nicht die gleichen Funktionen wie für ihre automatisch erstellten Transkripte.)

Es gibt zwei Schritte: Zuerst das eigentliche Transkript einschliesslich Diarisierung (Sprechererkennung) und danach die Korrektur. Dafür habe ich eine App gebaut, mit der ich für beide Schritte auf beliebige Modelle zugreifen kann, die lokal oder in der Cloud über eine API zugänglich sind.

Für das eigentliche Transkript einschliesslich Diarisierung lande ich immer wieder bei whisper-large-v3 auf eigener Standard-Hardware. Für die Transkript-Korrektur hingegen nutze ich Cloud-Modelle, zuletzt gpt-5.4 und gpt-5.5, jetzt gpt-5.6-terra. Für die Korrektur gibt es einen immer gleichen Prompt und einen Custom Prompt für Angaben pro Episode, beispielsweise für die Namen von Spezialgästen oder für besondere Begriffe.

Für die aktuelle Podcast-Episode «DAT410 KI: Amerikanische Anbieter, lokale Hardware und Alternativen in der Schweiz» wollte ich wieder einmal prüfen, was lokale Modelle auf eigener Standard-Hardware leisten. Die Geschwindigkeit ist nicht besonders wichtig, aber die Qualität muss stimmen.

Referenz war gpt-5.6-terra. Lokal nutzte ich qwen3.6:35b-mlx, gemma3:27b-it-qat und qwen3:32b.

Die aktuelle Episode-Episode umfasst im ursprünglichen Transkript knapp 4’200 Wörter und rund 500 Cues bei einer Länge von knapp 22 Minuten.

Ergebnis: gemma3:27b-it-qat und qwen3:32b waren chancenlos. Die beiden Modelle waren nicht nur klar langsamer (Dauer: 19.0 und 22.9 Minuten), sondern korrigierten auch viel zu viel und dabei häufig in die falsche Richtung (Korrekturen: 16.7 % und 26.4 %).

qwen3.6:35b-mlx schlug sich ordentlich (4.8 Minuten), korrigierte aber klar zu wenig (0.7 %). Letztlich hatte gpt-5.6-terra die Nase vorn (1.9 Minuten und 6.3 %).

Den Test führte ich mit Hilfe von Claude durch: Ich verwendete das mit whisper-large-v3 erstellte Transkript und liess die Korrekturen durchführen. Claude ermittelte technische Messwerte. Ich erhielt 21 Cues, die ich blind testen musste. Der Blindtest bestätigte im Wesentlichen die technischen Messwerte.

Natürlich war kein Ergebnis perfekt. Vermutlich könnte ich qwen3.6:35b-mlx auch beibringen, «mutiger» zu sein beim Korrigieren. Ich könnte auch andere Modelle ausprobieren usw. Aber bei Kosten von 35 Cent für das Ergebnis mit gpt-5.6-terra lohnt es sich eigentlich nicht, Hardware zu betreiben, die lokale KI halbwegs sinnvoll betreiben kann, und es lohnt sich auch nicht, die notwendige Software zu entwickeln.

Das ist ein doppeltes Problem, wenn man keine Alternative zu lokaler KI hat: Man hat deutlich höhere Kosten bei gleichzeitig klar weniger guter Qualität. «Gut genug» ist bei Wissenarbeitern aber häufig nicht der Massstab.

Wenn Hosting akzeptabel ist, wenn auch nicht über die APIs der grossen «Amerikaner» und «Chinesen», kriegt man bessere Modelle, aber es fehlt normalerweise die benötigte Software und man hat immer noch höhere Kosten. Das heisst nicht, dass lokale Modelle nutzlos sind, aber sie erfordern heute und auf absehbare Zeit einen klaren Fokus. Gleichzeitig ist es funktional und kostenmässig heute und auf absehbare Zeit am einfachsten, einen grossen amerikanischen KI-Dienst zu nutzen, denn dort erhält man das «All in One»-Paket.