llamafile : Comment un seul .exe fait tourner un LLM sur 6 OS

Le problème que llamafile résout

Tu veux faire tourner un LLM en local. En 2026, le parcours classique ressemble à ça :

Résultat : entre 30 minutes et 2 heures avant d'obtenir un « Hello world ». Et c'est sans compter les conflits de versions, les problèmes de droits, les machines sans accès internet.

llamafile propose une alternative radicale : un seul fichier. Tu le télécharges, tu le rends exécutable, tu le lances. C'est tout.

wget https://huggingface.co/.../model.llamafile
chmod +x model.llamafile
./model.llamafile

Pas de Python. Pas de Docker. Pas de CUDA obligatoire. Pas de gestionnaire de paquets. Le modèle tourne, un serveur web démarre sur localhost:8080, et tu peux commencer à discuter avec ton LLM.

Ce qui est dans le fichier

Un llamafile est un binaire autonome qui embarque trois choses :

Tout est lié statiquement. Zéro dépendance externe. Si un GPU est disponible, les kernels CUDA ou Metal sont chargés dynamiquement. Sinon, ça tourne sur CPU, plus lentement, mais ça tourne.

Le truc dingue : même binaire, six OS

Voici la partie qui rend llamafile techniquement fascinant. Le même fichier s'exécute nativement sur :

Pas d'émulation. Pas de couche de compatibilité. Exécution native sur chaque OS. Comment c'est possible ?

Cosmopolitan Libc : le socle invisible

« Build once, run anywhere » sans JVM

Derrière llamafile, il y a Cosmopolitan Libc, un projet créé par Justine Tunney. L'idée : compiler du C une seule fois et obtenir un binaire qui tourne sur n'importe quel OS.

La différence avec Java : pas d'interpréteur, pas de machine virtuelle. C'est du code natif. Cosmopolitan remplace la libc standard par une implémentation qui détecte l'OS au runtime et redirige les appels système vers les bonnes API, POSIX sur Linux/macOS/BSD, Win32 sur Windows.

Comment ça fonctionne concrètement

Cosmopolitan intercepte les syscalls. Quand ton programme appelle open(), read() ou mmap(), Cosmopolitan détecte sur quel OS il tourne et traduit l'appel vers l'API native :

Pour llamafile spécifiquement, Justine Tunney a ajouté le support de dlopen() dans Cosmopolitan, indispensable pour charger dynamiquement les drivers GPU (CUDA, Metal, ROCm) sans les embarquer dans le binaire.

Le format APE : Actually Portable Executable

Un fichier polyglotte

Le format APE est l'invention clé. C'est un polyglot binary : un seul fichier qui est simultanément valide comme :

Comment un fichier peut-il être reconnu par autant de loaders différents ? Le trick repose sur la structure des headers.

Le trick du shell script en préfixe

Les premières lignes du fichier sont du shell script POSIX valide. Le fichier commence par #!/bin/sh ou un équivalent. Sur un système Unix, si le kernel ne reconnaît pas le format binaire, il tombe sur le shebang et exécute le script, qui à son tour lance le binaire correctement.

Mais ces mêmes octets sont aussi interprétés différemment par les autres loaders :

Le résultat : chaque OS exécute le même fichier via son loader natif, sans savoir que les autres formats sont également présents dans le même binaire.

Le ZIP embarqué

Le format ZIP a une particularité utile : le répertoire central est à la fin du fichier, pas au début. Cosmopolitan en profite pour coller les headers ELF/Mach-O/PE au début et les données ZIP à la fin. C'est dans cette archive ZIP que llamafile stocke les poids du modèle au format GGUF, parfois plusieurs gigaoctets.

Limitations à connaître

llamafile n'est pas parfait. Quelques points à garder en tête :

Malgré ces limites, pour le cas d'usage visé, déploiement rapide, démo, environnement isolé, le compromis est largement acceptable.

Cas d'usage concrets

Qui est derrière

Justine Tunney n'est pas une inconnue. Anciennement chez Google, elle est l'autrice de Cosmopolitan Libc et de Redbean, un serveur web distribué comme un seul fichier ZIP exécutable, déjà basé sur le format APE.

llamafile est né chez Mozilla Ocho (la branche innovation de Mozilla), le repo initial étant hébergé sur Mozilla-Ocho/llamafile. Il a depuis migré vers mozilla-ai/llamafile, signe d'une intégration plus formelle dans la stratégie IA de Mozilla.

Le projet est open source (licence Apache 2.0) et activement maintenu.

Pour aller plus loin

Le meilleur outil, c'est celui que tu n'as pas besoin d'installer.