Compliance von KI mit der KI-Verordnung der EU

Am 21.10.2024 war im Newsletter der EHT folgendes zu lesen:

«Der AI Act der Europäischen Union zielt auf transparente und vertrauenswürdige KI ab. ETH-Informatiker haben das EU-Gesetz nun erstmals in messbare technische Anforderungen für KI übersetzt. Dabei zeigen sie auf, wie gut heutige KI-Modelle die Rechtsregeln schon erfüllen.»

Der Artikel hinter dem Lead enthält aber viel mehr und viel Interessantes:

https://ethz.ch/de/news-und-veranstaltungen/eth-news/news/2024/10/wie-gesetzestreu-ist-ki-eth-forschende-machen-den-test1.html

Forschende der ETH Zürich haben zusammen mit Partnern die erste umfassende technische Interpretation des EU AI Acts für allgemeine KI-Modelle (engl. General Purpose AI) vorgelegt. Sie haben das erste dezidiert Compliance-bezogene Benchmarking entwickelt. Damit lässt sich überprüfen, wie gut verschiedene KI-Modelle die Anforderungen der KI Verordnung der EU voraussichtlich erfüllen. Sie haben ihr Benchmarking auf zwölf prominente grosse Sprachmodelle (LLM) angewendet. Dabei stellten sie einige grundsätzliche Herausforderungen bei der technischen Umsetzung von KI-Gesetzen fest.

Zudem gibt es einen Link auf den diesbezüglichen wissenschaftlichen Artikel zum COMPL-AI Framework: https://arxiv.org/abs/2410.07959 sowie zum Evaluations Framework:

Ich finde, ein solches Evaluations-Tool bzw. ein solcher Evalutations Framework schafft die notwewndige Transparenz für den (rechtlichen) Umgang mit KI.