Découvrez comment l’IA sur Windows 98 défie les limites avec Llama 2 en conditions extrêmes !

EXO Labs et l’intelligence artificielle sur une machine Windows 98

EXO Labs a récemment démontré la possibilité d’exécuter un modèle de langage puissant sur un ordinateur Pentium II exécutant Windows 98, mettant en lumière l’ambition de l’organisation de démocratiser l’accès à l’IA. Dans un post de blog détaillé, ils ont partagé un extrait vidéo où un PC ancien, équipé d’un processeur Intel Pentium II à 350 MHz, génère une histoire à partir du modèle Llama, en utilisant un moteur d’inférence personnalisé. Ce projet illustre comment des ressources limitées peuvent encore produire des résultats significatifs dans le domaine de l’intelligence artificielle.

Un projet ambitieux avec des défis à relever

EXO Labs, un groupe d’ingénieurs et de chercheurs de l’Université d’Oxford, se concentre sur la démocratisation de l’accès à l’IA. Leur vision inclut la création d’une infrastructure ouverte permettant à quiconque de former et d’exécuter des modèles d’IA sur n’importe quel appareil. Leurs récents efforts, tels que l’exécution de Llama sur une machine Windows 98, servent d’exemple emblématique de ce qui peut être accompli avec des ressources restreintes.

Les défis techniques rencontrés

Malgré la simplicité apparente d’acquérir un vieux PC sur eBay, EXO a dû surmonter plusieurs obstacles. Le transfert de données vers le Pentium II a nécessité l’utilisation de méthodes classiques, comme le FTP, à travers le port Ethernet de la machine. De plus, compiler du code moderne pour Windows 98 était un défi de taille. Heureusement, ils ont réussi à adapter le code llama2.c d’Andrej Karpathy, qui contient environ 700 lignes de C pur.

Performance impressionnante malgré des spécifications modestes

Une fois le modèle Llama opérationnel, EXO a enregistré une vitesse de génération de 35,9 tokens par seconde avec un modèle de 260K paramètres. Bien que ce modèle soit relativement petit, il a démontré des performances respectables sur un vieux PC à 350 MHz. En augmentant la taille du modèle à 15M, la vitesse a chuté à un peu plus de 1 token par seconde. Pour un modèle Llama 3.2 de 1B, la vitesse de génération était bien plus lente, à 0,0093 token par seconde.

Le projet BitNet : une vision pour l’avenir

En parallèle, EXO Labs travaille sur BitNet, une architecture de transformateur utilisant des poids ternaires. Cette approche pourrait permettre à un modèle de 7B de fonctionner avec seulement 1,38 Go de stockage, tout en restant efficace sur des processeurs CPU sans nécessiter de GPU coûteux. BitNet promet d’être plus efficace que les modèles à pleine précision, permettant ainsi de traiter des modèles de 100B de paramètres à des vitesses de lecture humaine.

Invitation à rejoindre la mission

EXO Labs cherche à rassembler une communauté autour de sa mission. Ils invitent ceux qui souhaitent contribuer à éviter que l’avenir de l’IA ne soit dominé par des centres de données géants à les rejoindre sur leur canal Discord Retro, où ils discutent de l’exécution de LLMs sur du matériel ancien.

Crédits

• Article sur EXO Labs
• Code Llama98 sur GitHub
• Tom’s Hardware sur LLM et Windows 98
• Profil d’Andrej Karpathy