Yann LeCun a profité de la conférence AI Pulse de Scaleway pour “teaser” sa start-up, qui devrait être officiellement annoncée le mois prochain. Elle se concentrera sur des modèles d’IA à l’architecture très différente de celle des grands modèles de langage.
Éminent chercheur spécialiste de l’intelligence artificielle, Yann LeCun prépare le lancement d’une start-up sur laquelle on ne sait encore que peu de choses. A l’occasion de l’évènement AI Pulse organisé le 4 décembre à Paris par le groupe Iliad, il a déclaré qu’il donnerait plus d’informations à son sujet en janvier.
Il n’a pas précisé où serait basée l’entreprise, mais il ne fait que peu de doutes qu’elle aura au moins un pied en France. Il a évoqué le fait qu’il s’agira d’une entité globale, donc un partage entre l’Europe et les Etats-Unis (il a notamment des attaches à New York et en Californie) semble probable.
On sait également qu’il reste attaché au nom AMI, acronyme d’Advanced Machine Intelligence, mais prononcé “ami” comme en français. Il avait poussé l’adoption de cette terminologie (plutôt qu’AGI) dès 2023 au sein de Meta, et il semblerait qu’il va l’emporter avec lui.
Une approche différente de celle des LLM
Pour rappel, cette start-up se concentrera sur le développement de modèles d’intelligence artificielle non-générative basés sur la perception du monde et la prédiction d’actions. Yann LeCun l’équivaut à la façon dont apprend un enfant en bas âge et souligne l’efficacité de cette méthode, qui permet aux êtres vivants d’apprendre à réaliser des actions complexes avec comparativement peu de données et de puissance de calcul.
“J’ai commencé à mettre cette piste de recherche en avant il y a environ 10 ans, lors d’une keynote à NeurIPS en 2016″a-t-il rappelé. “Il m’a ensuite fallu cinq ans pour réaliser que cela ne serait pas possible avec une architecture générative.” Ses recherches ont fait des progrès significatifs au cours des cinq dernières années d’après lui, avec les modèles JEPA (joint-embedding predictive architecture) développés par ses équipes au sein de Meta FAIR.
Le système d’IA que veut mettre au point Yann LeCun devra pouvoir gérer des données continues, bruitées (contenant des erreurs et éléments parasites) et avec plus de variables que d’entrées d’observation, choses que les LLMs ne savent pas faire.
“L’idée est d’avoir un modèle mental qui permette d’anticiper le résultat d’interactions et donc de prévoir l’effet des actions entreprises pour ensuite les optimiser. Les systèmes agentiques actuels, basés sur des LLMs, ne sont pas très fiables, ne peuvent être utilisés que pour un nombre limité de tâches et requièrent énormément de données car ils sont entraînés par imitation.”
La Silicon Valley “hypnotisée” par l’IA générative
Cette approche doit permettre de créer un modèle d’intelligence à usage général, ce que ne permettent pas les grands modèles de langage qui font fureur en ce moment. “Les LLMs sont très intéressants, très utiles, mais ils ne permettront pas d’arriver à une intelligence générale”a réitéré Yann LeCun, position qu’il assume depuis des années maintenant (à contre-courant d’une grande partie du milieu de l’IA).
Il s’est même autorisé à dire, au sujet de ”ceux qui déclarent qu’il suffit de passer les technologies de LLM actuelles à une plus grande échelle pour atteindre une intelligence de niveau humain », qu’il “a toujours pensé que c’était des conneries” (en anglais: « J’ai toujours pensé que c’était de la bêtise »). Ajoutant plus tard que “La Silicon Valley est complètement hypnotisée par les modèles génératifs, donc vous devez travailler sur ce genre de choses en dehors de la Silicon Valley.” Par exemple à Paris, là où se déroulant la conférence.
Meta partenaire, mais pas investisseur
Yann LeCun a aussi clarifié la relation de sa future start-up avec Meta, son employeur pour encore quelques semaines. “Mark Zuckerberg aime vraiment ce projet AMI, il pense que c’est l’avenir. Mais au cours des derniers mois, lui et moi avons tous les deux réalisés que ses applications potentielles allaient au-delà de ce qui intéresse Meta, et donc il m’a semblé qu’il était temps de créer une nouvelle organisation.”
“Meta en est un partenaire, mais pas un investisseur. Ils sont intéressés par certains des résultats qui proviendront de notre R&D. Mais les applications sont tellement larges qu’il valait mieux le faire en tant qu’entité indépendante, et en tant qu’entité globale. Avoir des organisations de recherche partout à travers le monde, où il y a beaucoup de talents, en particulier en Europe, est essentiel.”
Quels fonds seront nécessaires ?
La question des investisseurs potentiels dans cette entreprise, et des fonds qu’elle va lever, est l’une des grandes inconnues à date. Au vu des sommes dépensées ces derniers temps par Metaon peut légitimement s’interroger sur la conviction réelle de Mark Zuckerberg s’il n’investit pas dans le projet. Fin octobre, Yann LeCun a rencontré Andrew Ng, chercheur et entrepreneur proéminent qui avait notamment cofondé Google Brain. Pourrait-il être associé au projet ? A voir.
La start-up n’aura en tout cas pas forcément besoin de milliards de dollars, contrairement à d’autres nouveaux venus comme Machines à penser ou Superintelligence sûre. “Il est plus simple d’entraîner un modèle sur de la vidéo que sur du texte. V-JEPA 2 a été entraîné sur 100 ans de vidéo et il s’agissait de données publiques. Et cela n’a nécessité que quelques milliers de GPU, rien à voir avec les LLMs de pointe.”
