Avec le modèle EuroLLM-22B, le consortium d’universités et de chercheurs européens veut marquer un tournant quant au rôle de l’Europe dans la construction de l’avenir de l’IA. Elle démontre ici sa capacité à s’appuyer sur un réseau européen de supercalculateurs et fait le choix de l’ouverture totale auprès de la communauté.
Les initiatives se suivent et ne se ressemblent pas. Si le sujet de la souveraineté dans le domaine de l’intelligence artificielle fait sens commun, les manières d’y parvenir sont bien différentes. Le dernier projet européen en date baptisé EuroLLM-22B s’attèle à répondre aux défis que posent les 24 langues officielles de l’Union européenne (ainsi que 11 langues supplémentaires – arabe, catalan, chinois, galicien, hindi, japonais, coréen, norvégien, russe, turc, ukrainien).
“EuroLLM est né de la nécessité de combler les inégalités d’accès linguistique au sein de l’UE et de proposer un modèle adapté à la diversité linguistique et culturelle européenne”, expliquent en préambule les chercheurs ayant participé à son développement.
Un projet 100% européen
Ce LLM, entièrement open source et publié sur Hugging Face, est le fruit d’un travail collaboratif réunissant Técnico, l’Instituto de Telecomunicações, l’Université d’Édimbourg, l’Université Paris-Saclay, Aveni, Unbabel, Sorbonne Université, Naver Labs et l’Université d’Amsterdam, avec le soutien d’Horizon Europe et une subvention EuroHPC Extreme Scale Access.
“Cette innovation a été co-conçue au laboratoire MICS de CentraleSupélec par Hippolyte Gisserot-Boukhlef, doctorant CIFRE au Artefact Research Center, avec la contribution de Nicolas Boizard, doctorant CIFRE chez Diabolocom, sous la supervision de Pierre Colombo et Céline Hudelot“, explique CentraleSupélec dans sa communication. “Ils ont travaillé main dans la main avec l’équipe de l’Instituto Superior Técnico de Lisbonne, en particulier Miguel Moura Ramos et Duarte Alves, acteurs clés du projet supervisés par André Martins”.
Un entraînement sur le réseau public européen de supercalculateurs
Les chercheurs ont pu compter sur le soutien du réseau public européen de supercalculateurs, coordonné par l’entreprise commune EuroHPC (également connue sous le nom de EuroHPC JU), qui a rendu possible cet entraînement à grande échelle. Avec trois machines classées dans le Top 10 mondial et un système exascale supplémentaire attendu prochainement, EuroHPC peut se targuer d’être à la pointe en matière de développement de l’IA.
Cette version à 22 milliards de paramètres constitue “le modèle le plus ambitieux de la série EuroLLM, après EuroLLM-1.7B et EuroLLM-9B”, exliquent les chercheurs. Entraîné sur le supercalculateur MareNostrum 5 du Barcelona Supercomputing Centeril affiche des performances comparables — voire supérieures — à celles de modèles internationaux de taille équivalente sur des tâches multilingues.
Accessible à tous
EuroLLM étant open source, cela permet aux chercheurs, développeurs, start-up et institutions de bâtir librement sur le modèle. “Cette ouverture vise à stimuler l’innovation européenne en réduisant les barrières à l’entrée pour les petites structures et en favorisant l’expérimentation”, affirme l’équipe de chercheurs.
Un point souligné par Alexandra Birch, chercheuse ELLIS et professeure à l’Université d’Édimbourg : “Avec 22 milliards de paramètres, ce modèle trouve un équilibre essentiel : suffisamment puissant pour des applications sérieuses, tout en restant accessible aux universités et aux organisations de taille modeste”.
L’ambition d’intégrer la parole, la vision et la vidéo
Les chercheurs indiquent par ailleurs que le modèle pourra évoluer vers des capacités multimodales — intégrant la parole, la vision et la vidéo — grâce à un entraînement de 2 millions d’heures prévu sur le système exascale Jupiter (basé en Allemagne) à partir de 2026. Alors, véritable alternative aux modèles de grands acteurs du marché comme OpenAI, Google, Alibaba ou Meta ou expérimentation à moyenne échelle ? Quoi qu’il en soit, ce modèle rejoint d’autres initiatives, à l’instar d’OpenEuroLLM et Ouvrirconçus pour répondre aux besoins de l’Europe.
