KI-Modelle: Hardware

Anlässlich der Diskussion in den Kommentaren zu unseren lokalen Versuchen bei «Frag den Onlinekommentar»: Welche Hardware nutzt ihr (beruflich oder privat) für LLM-Anwendungen und wie bezieht ihr sie? Auf meiner Liste stehen:

• Eigene physische Hardware: Hier stösst man nach meiner Erfahrung recht schnell an Grenzen, eine T4 oder RTX 4090 wird der eine oder andere vielleicht noch zu Hause haben, aber nutzt jemand hier diese Hardware für mehr als den kurzzeitigen Betrieb von 7B-Modellen? Sehr portabel und mit einem super Preis-Leistungs-Verhältnis scheinen die neueren Silicon-MacBooks zu funktionieren. Ich bin wirklich gespannt, wie der Snapdragon X Elite hier den Markt aufmischt und die Performance unter Linux/Windows auch im Serverbereich ist.

• Dauerhafte Cloud-Hardware: Das wäre für KI-Tools im täglichen Einsatz wohl nötig. Das erste Problem war für mich als Privatperson/Kleinunternehmer in der Vergangenheit zunächst der Zugang, bei AWS, Google Cloud und Azure sind entsprechende VMs oft nicht für Casual User verfügbar oder schlicht ausgebucht. Hinzu kommt natürlich der Kostenaspekt, der viele Projekte wohl unwirtschaftlich macht.

• Nutzungsbasierte Services (Google Colab, Huggingface): Insbesondere Colab Pro löst viele Probleme, weil die Nutzung günstig und die Preisstruktur transparent ist. Gleichzeitig sind die Use Cases eingeschränkt auf kurzfristige private Modellnutzung unter Beachtung des Google Drive Speicherlimits und weniger umfangreiche Trainingsprozesse.

Was nutzt ihr und wie sind eure Erfahrungen?