En collaboration avec les esprits les plus brillants de Suisse, un nouveau modèle linguistique est en cours de préparation. En concurrence avec le LLM des États-Unis, de l'Union européenne et de la Chine, récemment annoncé, la Suisse disposera de sa propre version à code source ouvert. Elle est censée prendre en charge plus de 1 000 langues et offrir 70 milliards de paramètres.
Au vu de ces chiffres, on peut dire qu'il s'agit du territoire de Meta's Llama 3, et si vous êtes un aficionado du bricolage, c'est l'occasion d'opter pour le fromage et le chocolat au moment de choisir votre pile d'IA suivante.
La sortie est annoncée pour la fin de l'été 2025, et si l'on en croit cette Communiqué de presseLe modèle prend en charge plus de 1 000 langues. Il a été entraîné sur un superordinateur, "Alps", au Centre suisse de calcul intensif.
Contrairement aux LLM commerciaux, tels que ChatGPT d'OpenAI ou Claude d'Anthropic, le modèle suisse repose sur des bases plus éthiques et est axé sur la transparence. Le code source, les poids du modèle et les données d'entraînement sont tous mis à disposition pour démontrer l'ouverture du modèle. C'est rare dans ce secteur, qui représente déjà plusieurs milliards de dollars. Bien que les LLM de Meta et de DeepSeek soient également classés dans la catégorie "open source", ils ne le sont pas tout à fait en réalité. Si l'on examine attentivement leurs conditions, les algorithmes et les données d'entraînement restent privés.
Le modèle de l'EPF sera publié en deux versions : une petite avec huit milliards de paramètres et une plus grande avec 70 milliards de paramètres. Ce dernier est comparable au Llama 3 de Meta, tandis que le GPT-4 d'OpenAI est estimé à environ 2 billions de paramètres et l'Opus Claude 4 d'Anthropic à environ 300 milliards de paramètres. Que choisir pour votre projet ? Le nombre de paramètres n'est pas la seule mesure de la performance d'un LLM, mais c'est une indication de la façon dont il pourrait se comporter sur de grands ensembles de données ou si vous ajoutez un peu de RAG et beaucoup d'API behd. Les modèles propriétaires (au moins sur les benchmarks sponsorisés ou non) obtiennent actuellement les notes les plus élevées. Si vous êtes sensible au contrôle de la manière dont vos données sont traitées, les modèles open source offrent des avantages en termes de traçabilité, de personnalisation et de souveraineté des données.
Les lois suisses sur la protection des données et sur les droits d'auteur, ainsi que les obligations de transparence prévues par la loi européenne sur l'IA, étaient déjà bien documentées lorsque les équipes de développement du LLM ont commencé à intégrer leurs travaux. Dans le étude récente par les responsables du projet eux-mêmes, ils expliquent qu'aucune perte de performance pour les tâches quotidiennes n'est observée si les opt-outs pour le web crawling sont respectés lors de la collecte des données, et que la formation ignore donc certains contenus web (ahum OpenAI.
Le modèle est publié sous la licence Apache 2.0, ce qui le rend accessible aux applications scientifiques et industrielles. Il est le résultat du projet Initiative suisse pour l'IALancé par l'EPFL et l'ETH Zurich en décembre 2023. Avec plus de 800 chercheurs impliqués et l'accès à plus de 20 millions d'heures de GPU par an, il s'agit du plus grand projet de science ouverte et de code source ouvert au monde pour l'IA.
Merci à la Suisse d'avoir montré que les sauts de puce n'ont pas disparu.
