In Zusammenarbeit mit den klügsten Köpfen, die die Schweiz zu bieten hat, wird derzeit ein neues Sprachenmodell vorbereitet. Im Wettbewerb mit dem US-amerikanischen, dem EU- und dem kürzlich angekündigten chinesischen LLM wird die Schweiz ihre eigene Open-Source-Version haben. Es soll über 1.000 Sprachen unterstützen und 70 Milliarden Parameter bieten.
Wenn man sich diese Zahlen anschaut, ist das Meta's Llama 3 Territorium, und wenn du ein DIY-Aficionado bist, ist das deine Entscheidung, Käse und Schokolade zu nehmen, wenn du deinen folgenden AI-Stack wählst.
Die Veröffentlichung ist für den Spätsommer 2025 angekündigt, und wenn wir den Angaben glauben Medienmitteilungunterstützt das Modell über 1000 Sprachen. Es wurde auf dem Supercomputer "Alps" des Schweizer Supercomputerzentrums trainiert.
Im Gegensatz zu kommerziellen LLMs, wie ChatGPT von OpenAI oder Claude von Anthropic, basiert das Schweizer Modell auf ethischeren Grundlagen und ist auf Transparenz ausgerichtet. Der Quellcode, die Modellgewichte und die Trainingsdaten werden alle zur Verfügung gestellt, um die Offenheit des Modells zu demonstrieren. Dies ist eine Seltenheit in der Branche, die bereits eine Multi-Milliarden-Dollar-Industrie ist. Obwohl die LLMs von Meta und DeepSeek ebenfalls als Open Source kategorisiert werden, sind sie in Wirklichkeit nicht ganz so offen. Wenn man sich die Bedingungen genau ansieht, bleiben die Algorithmen und Trainingsdaten privat.
Das ETH-Modell wird in zwei Versionen auf den Markt kommen: eine kleine mit acht Milliarden Parametern und eine größere mit 70 Milliarden Parametern. Letzteres ist vergleichbar mit dem Llama 3 von Meta, während das GPT-4 von OpenAI schätzungsweise 2 Billionen Parameter und das Claude 4 Opus von Anthropic rund 300 Milliarden Parameter hat. Was sollten Sie für Ihr Projekt wählen? Die Anzahl der Parameter ist nicht der einzige Maßstab für die Leistung eines LLM, sie ist jedoch ein Anhaltspunkt dafür, wie es sich bei großen Datensätzen verhalten könnte oder wenn Sie etwas RAG und viel API beh nd. Proprietäre Modelle (zumindest bei gesponserten oder nicht gesponserten Benchmarks) erzielen derzeit die besten Noten. Wenn Sie Wert auf die Kontrolle darüber legen, wie Ihre Daten gehandhabt oder verarbeitet werden, bieten Open-Source-Modelle Vorteile in Bezug auf Nachvollziehbarkeit, Anpassbarkeit und Datenhoheit.
Die Schweizer Datenschutzgesetze, das Schweizer Urheberrecht und die Transparenzverpflichtungen des EU-KI-Gesetzes sind gut dokumentiert, als die Entwicklerteams des LLM mit der Integration ihrer Arbeit beginnen. In der aktuelle Studie von den Projektleitern selbst erklären sie, dass keine Leistungseinbußen bei alltäglichen Aufgaben zu beobachten sind, wenn die Opt-outs für Web-Crawling bei der Datenerfassung beachtet werden und das Training somit bestimmte Webinhalte ignoriert (ahum OpenAI.
Das Modell wird unter der Apache 2.0-Lizenz veröffentlicht, wodurch es sowohl für wissenschaftliche als auch für industrielle Anwendungen zugänglich ist. Es ist ein Ergebnis des Schweizer KI-Initiativedas von der EPFL und der ETH Zürich im Dezember 2023 ins Leben gerufen wurde. Mit über 800 beteiligten Forschern und dem Zugang zu mehr als 20 Millionen GPU-Stunden pro Jahr ist es das weltweit größte Open-Science- und Open-Source-Projekt für KI.
Danke, Schweiz, dass du uns gezeigt hast, dass das Überspringen von Hindernissen immer noch möglich ist.
