Benchmark · 12 novembre 2026
saymock contre Figma (MCP), le même agent sur trois écrans
Claude Opus 5.5 a reproduit trois écrans de Wikipedia en design éditable, une fois avec saymock, une fois avec le serveur MCP officiel de Figma. Même consigne, mêmes assets, même budget, trois runs par écran et par outil, notés à l’aveugle. Voici le protocole et tous les chiffres, y compris ceux qui ne nous arrangent pas.
Résultats
Médiane des trois runs de chaque écran, puis moyenne des trois écrans. Tokens et dollars sont ceux que Claude Code mesure pour l’agent qui fait le design, au prix de l’API ; l’export et la notation sont exclus.
| Par écran | saymock | Figma (MCP) | Écart |
|---|---|---|---|
| Tokens traités | 1,88 M | 2,74 M | −31 % |
| dont tokens de sortie | 30 k | 61 k | −50 % |
| Coût | 1,70 $ | 2,69 $ | −37 % |
| Durée | 5,4 min | 9,8 min | 1,8× plus vite |
| Tours de l’agent | 34,7 | 38,7 | −10 % |
| Erreurs d’outils | 1,0 | 4,0 | 4× moins |
| Score /100 | 79,0 | 82,2 | +3,2 pour Figma : égalité |
| Fidélité visuelle /60 | 47,0 | 49,7 | +2,7 pour Figma |
| Éditabilité /40 | 31,3 | 32,8 | +1,5 pour Figma |
| Runs réussis | 9/9 | 9/9 |
Ce qu’on en retient
- Qualité : égalité. Figma a 3,2 points d’avance en moyenne, sous le seuil de 5 points que fixe notre protocole. Il est devant sur chacun des trois écrans, de 1,5 (iPhone) à 6 points (Android).
- Coût : saymock consomme moins. 31 % de tokens en moins, deux fois moins de tokens de sortie, 37 % de dollars en moins par écran.
- Temps : 1,8× plus rapide. 5,4 minutes par écran contre 9,8.
- Pas sur chaque écran. Sur l’iPhone, le run médian de saymock a traité plus de tokens que celui de Figma (3,07 M contre 1,91 M), tout en coûtant moins cher. Sur Android et le web, saymock en traite 2,3 à 2,6 fois moins.
Pourquoi l’écart en dollars dépasse celui en tokens : un token n’a pas le même prix selon qu’il est relu depuis le cache (0,20 $ le million), lu pour la première fois (4 à 8 $) ou écrit par le modèle (20 $). Avec saymock, le modèle écrit deux fois moins de tokens, les plus chers.
Par écran
Médiane des trois runs de chaque outil.
| Écran | Score /100 | Tokens | Coût | Durée | ||||
|---|---|---|---|---|---|---|---|---|
| saymock | Figma | saymock | Figma | saymock | Figma | saymock | Figma | |
| iPhone | 78,5 | 80,0 | 3,07 M | 1,91 M | 2,29 $ | 2,58 $ | 6,9 min | 9,7 min |
| Android | 78,0 | 84,0 | 1,20 M | 3,14 M | 1,44 $ | 2,88 $ | 4,6 min | 10,5 min |
| Web | 80,5 | 82,5 | 1,38 M | 3,18 M | 1,38 $ | 2,62 $ | 4,8 min | 9,2 min |
Protocole
Les écrans
Trois écrans de Wikipedia, capturés sur les vraies apps, de natures différentes. Chaque agent reçoit la capture et les vrais fichiers de l’app : photos, icônes, logo, et la liste des polices par rôle de texte.
| Écran | Contenu | Taille |
|---|---|---|
| iPhone | Accueil de l’app iOS : fil de cartes, photos, contrôle segmenté, barre d’onglets translucide | 430×932, @3x |
| Android | Accueil de l’app Android : bandeau, carte image, navigation Material 3 | 411×923, @2,625x |
| Web | Page d’accueil de Wikipedia : colonnes, encadrés colorés, photos, panneau latéral | 1440×900, @2x |
Les mêmes conditions pour les deux outils
- Même agent : Claude Code en mode non interactif, modèle Claude Opus 5.5. Chaque run part d’un dossier vide, sans contexte ni session précédente.
- Même consigne : « reproduis cet écran en design éditable ». Chaque outil n’ajoute que la façon de créer son fichier.
- Un seul outil chargé : le serveur MCP de saymock (la version en production), ou le serveur MCP officiel de Figma, jamais les deux, ni d’autres connecteurs.
- Même budget : 15 $ et 45 minutes par run, un run à la fois.
- Rien entre deux : personne ne corrige, ne relance ni n’aide un agent. Un run raté compterait comme tel ; les 18 ont réussi.
La notation
- Chaque rendu est noté sur 100 : fidélité visuelle sur 60 (mise en page, typographie, couleurs, icônes et images, contenu, mesure au pixel) et éditabilité sur 40 (hiérarchie et noms des calques, mise en page fluide, réutilisation, propreté).
- Double aveugle : deux juges indépendants (Claude Opus 5.5, une nouvelle session par rendu) notent chaque résultat sans savoir de quel outil il vient. Leur écart a été de 5 points au plus.
- Pour chaque écran et chaque outil, on garde la médiane des trois runs, puis on fait la moyenne des trois écrans. Chaque critère est une médiane à part : la somme du visuel et de l’éditabilité ne fait donc pas tout à fait le score.
- Un écart de moins de 5 points est une égalité, et se dit comme telle.
Les 18 runs
Les chiffres bruts de chaque run. Le premier run iPhone de saymock (85 tours, 6,83 M de tokens) est celui qui a traité le plus de tokens ; la médiane l’écarte, ce tableau le montre.
| Écran | Outil | Run | Score | Visuel | Édit. | Tokens | Sortie | Coût | Durée | Tours | Erreurs |
|---|---|---|---|---|---|---|---|---|---|---|---|
| iPhone | saymock | 1 | 80,0 | 46,5 | 33,5 | 6,83 M | 50 k | 3,59 $ | 17,1 min | 85 | 2 |
| iPhone | saymock | 2 | 78,5 | 45,5 | 33,0 | 3,07 M | 36 k | 2,29 $ | 6,9 min | 49 | 1 |
| iPhone | saymock | 3 | 78,5 | 45,5 | 33,0 | 1,63 M | 23 k | 1,54 $ | 4,2 min | 28 | 0 |
| iPhone | Figma | 1 | 81,5 | 48,0 | 33,5 | 5,99 M | 101 k | 4,52 $ | 16,7 min | 66 | 4 |
| iPhone | Figma | 2 | 74,5 | 45,0 | 29,5 | 1,68 M | 45 k | 1,95 $ | 7,6 min | 29 | 3 |
| iPhone | Figma | 3 | 80,0 | 46,5 | 33,5 | 1,91 M | 65 k | 2,58 $ | 9,7 min | 29 | 4 |
| Android | saymock | 1 | 78,0 | 46,0 | 32,0 | 1,15 M | 28 k | 1,40 $ | 4,6 min | 25 | 1 |
| Android | saymock | 2 | 79,0 | 46,0 | 33,0 | 1,20 M | 27 k | 1,44 $ | 4,3 min | 21 | 1 |
| Android | saymock | 3 | 77,0 | 45,5 | 31,5 | 1,30 M | 30 k | 1,56 $ | 4,9 min | 32 | 1 |
| Android | Figma | 1 | 85,5 | 53,0 | 32,5 | 2,56 M | 52 k | 2,30 $ | 9,4 min | 33 | 3 |
| Android | Figma | 2 | 84,0 | 50,0 | 34,0 | 3,50 M | 65 k | 2,92 $ | 10,8 min | 46 | 3 |
| Android | Figma | 3 | 82,5 | 52,5 | 30,0 | 3,14 M | 61 k | 2,88 $ | 10,5 min | 41 | 2 |
| Web | saymock | 1 | 78,0 | 49,5 | 28,5 | 1,28 M | 26 k | 1,38 $ | 4,8 min | 30 | 2 |
| Web | saymock | 2 | 80,5 | 49,5 | 31,0 | 1,38 M | 24 k | 1,38 $ | 4,3 min | 28 | 1 |
| Web | saymock | 3 | 80,5 | 51,5 | 29,0 | 1,74 M | 32 k | 1,76 $ | 5,8 min | 35 | 1 |
| Web | Figma | 1 | 83,5 | 51,0 | 32,5 | 3,18 M | 55 k | 2,62 $ | 9,2 min | 46 | 5 |
| Web | Figma | 2 | 82,0 | 48,5 | 33,5 | 1,72 M | 46 k | 2,03 $ | 8,1 min | 31 | 3 |
| Web | Figma | 3 | 82,5 | 50,0 | 32,5 | 3,61 M | 67 k | 3,06 $ | 10,5 min | 50 | 6 |
Où chaque outil perd ses points
Points perdus en moyenne par critère (maximum entre parenthèses). Plus c’est haut, plus c’est faible.
| Critère | saymock | Figma |
|---|---|---|
| Mise en page (15) | 2,5 | 2,2 |
| Typographie (12) | 2,8 | 2,2 |
| Couleurs et surfaces (8) | 1,5 | 1,3 |
| Icônes et images (10) | 2,0 | 1,2 |
| Contenu (10) | 0,7 | 0,3 |
| Mesure au pixel (5) | 3,3 | 3,3 |
| Hiérarchie et noms (10) | 1,3 | 1,0 |
| Mise en page fluide (12) | 2,2 | 1,8 |
| Réutilisation (10) | 3,7 | 3,2 |
| Propreté (8) | 1,0 | 1,0 |
- saymock perd surtout sur le texte (approche des lettres d’une police de remplacement, qui décale les retours à la ligne), sur quelques glyphes d’icônes et sur les valeurs répétées en dur au lieu de jetons partagés.
- Figma perd surtout sur les polices (Inter à la place de SF Pro sur l’iPhone), sur des rayons d’angle trop grands et sur l’absence de styles de texte et de couleur.
Limites
- Trois écrans d’une seule application : une tendance solide, pas une loi générale.
- Un seul modèle (Claude Opus 5.5). Un autre modèle ou un autre agent peut changer les écarts.
- Les juges sont des modèles, pas des designers humains.
- Les coûts sont ceux de l’API. Avec un forfait Claude, on paie en part de quota, pas en dollars ; les tokens restent la mesure comparable.
- Nous développons saymock : ce benchmark n’est pas indépendant. C’est pour cela que nous publions le protocole et chaque run.