Aller au contenu
saymock
Produit Agents Développeurs FAQ Tarifs
FR, Français
  • Français
  • English
  • Deutsch
  • Español
  • Português
  • Italiano
  • Nederlands
  • 日本語
  • 한국어
  • 简体中文
Thème
Se connecter Essayer

Benchmark · 12 novembre 2026

saymock contre Figma (MCP), le même agent sur trois écrans

Claude Opus 5.5 a reproduit trois écrans de Wikipedia en design éditable, une fois avec saymock, une fois avec le serveur MCP officiel de Figma. Même consigne, mêmes assets, même budget, trois runs par écran et par outil, notés à l’aveugle. Voici le protocole et tous les chiffres, y compris ceux qui ne nous arrangent pas.

Résultats

Médiane des trois runs de chaque écran, puis moyenne des trois écrans. Tokens et dollars sont ceux que Claude Code mesure pour l’agent qui fait le design, au prix de l’API ; l’export et la notation sont exclus.

Par écransaymockFigma (MCP)Écart
Tokens traités1,88 M2,74 M−31 %
dont tokens de sortie30 k61 k−50 %
Coût1,70 $2,69 $−37 %
Durée5,4 min9,8 min1,8× plus vite
Tours de l’agent34,738,7−10 %
Erreurs d’outils1,04,04× moins
Score /10079,082,2+3,2 pour Figma : égalité
Fidélité visuelle /6047,049,7+2,7 pour Figma
Éditabilité /4031,332,8+1,5 pour Figma
Runs réussis9/99/9

Ce qu’on en retient

  • Qualité : égalité. Figma a 3,2 points d’avance en moyenne, sous le seuil de 5 points que fixe notre protocole. Il est devant sur chacun des trois écrans, de 1,5 (iPhone) à 6 points (Android).
  • Coût : saymock consomme moins. 31 % de tokens en moins, deux fois moins de tokens de sortie, 37 % de dollars en moins par écran.
  • Temps : 1,8× plus rapide. 5,4 minutes par écran contre 9,8.
  • Pas sur chaque écran. Sur l’iPhone, le run médian de saymock a traité plus de tokens que celui de Figma (3,07 M contre 1,91 M), tout en coûtant moins cher. Sur Android et le web, saymock en traite 2,3 à 2,6 fois moins.

Pourquoi l’écart en dollars dépasse celui en tokens : un token n’a pas le même prix selon qu’il est relu depuis le cache (0,20 $ le million), lu pour la première fois (4 à 8 $) ou écrit par le modèle (20 $). Avec saymock, le modèle écrit deux fois moins de tokens, les plus chers.

Par écran

Médiane des trois runs de chaque outil.

Écran Score /100 Tokens Coût Durée
saymockFigmasaymockFigmasaymockFigmasaymockFigma
iPhone78,580,03,07 M1,91 M2,29 $2,58 $6,9 min9,7 min
Android78,084,01,20 M3,14 M1,44 $2,88 $4,6 min10,5 min
Web80,582,51,38 M3,18 M1,38 $2,62 $4,8 min9,2 min

Protocole

Les écrans

Trois écrans de Wikipedia, capturés sur les vraies apps, de natures différentes. Chaque agent reçoit la capture et les vrais fichiers de l’app : photos, icônes, logo, et la liste des polices par rôle de texte.

ÉcranContenuTaille
iPhoneAccueil de l’app iOS : fil de cartes, photos, contrôle segmenté, barre d’onglets translucide430×932, @3x
AndroidAccueil de l’app Android : bandeau, carte image, navigation Material 3411×923, @2,625x
WebPage d’accueil de Wikipedia : colonnes, encadrés colorés, photos, panneau latéral1440×900, @2x

Les mêmes conditions pour les deux outils

  • Même agent : Claude Code en mode non interactif, modèle Claude Opus 5.5. Chaque run part d’un dossier vide, sans contexte ni session précédente.
  • Même consigne : « reproduis cet écran en design éditable ». Chaque outil n’ajoute que la façon de créer son fichier.
  • Un seul outil chargé : le serveur MCP de saymock (la version en production), ou le serveur MCP officiel de Figma, jamais les deux, ni d’autres connecteurs.
  • Même budget : 15 $ et 45 minutes par run, un run à la fois.
  • Rien entre deux : personne ne corrige, ne relance ni n’aide un agent. Un run raté compterait comme tel ; les 18 ont réussi.

La notation

  • Chaque rendu est noté sur 100 : fidélité visuelle sur 60 (mise en page, typographie, couleurs, icônes et images, contenu, mesure au pixel) et éditabilité sur 40 (hiérarchie et noms des calques, mise en page fluide, réutilisation, propreté).
  • Double aveugle : deux juges indépendants (Claude Opus 5.5, une nouvelle session par rendu) notent chaque résultat sans savoir de quel outil il vient. Leur écart a été de 5 points au plus.
  • Pour chaque écran et chaque outil, on garde la médiane des trois runs, puis on fait la moyenne des trois écrans. Chaque critère est une médiane à part : la somme du visuel et de l’éditabilité ne fait donc pas tout à fait le score.
  • Un écart de moins de 5 points est une égalité, et se dit comme telle.

Les 18 runs

Les chiffres bruts de chaque run. Le premier run iPhone de saymock (85 tours, 6,83 M de tokens) est celui qui a traité le plus de tokens ; la médiane l’écarte, ce tableau le montre.

ÉcranOutilRunScoreVisuelÉdit.TokensSortieCoûtDuréeToursErreurs
iPhonesaymock180,046,533,56,83 M50 k3,59 $17,1 min852
iPhonesaymock278,545,533,03,07 M36 k2,29 $6,9 min491
iPhonesaymock378,545,533,01,63 M23 k1,54 $4,2 min280
iPhoneFigma181,548,033,55,99 M101 k4,52 $16,7 min664
iPhoneFigma274,545,029,51,68 M45 k1,95 $7,6 min293
iPhoneFigma380,046,533,51,91 M65 k2,58 $9,7 min294
Androidsaymock178,046,032,01,15 M28 k1,40 $4,6 min251
Androidsaymock279,046,033,01,20 M27 k1,44 $4,3 min211
Androidsaymock377,045,531,51,30 M30 k1,56 $4,9 min321
AndroidFigma185,553,032,52,56 M52 k2,30 $9,4 min333
AndroidFigma284,050,034,03,50 M65 k2,92 $10,8 min463
AndroidFigma382,552,530,03,14 M61 k2,88 $10,5 min412
Websaymock178,049,528,51,28 M26 k1,38 $4,8 min302
Websaymock280,549,531,01,38 M24 k1,38 $4,3 min281
Websaymock380,551,529,01,74 M32 k1,76 $5,8 min351
WebFigma183,551,032,53,18 M55 k2,62 $9,2 min465
WebFigma282,048,533,51,72 M46 k2,03 $8,1 min313
WebFigma382,550,032,53,61 M67 k3,06 $10,5 min506

Où chaque outil perd ses points

Points perdus en moyenne par critère (maximum entre parenthèses). Plus c’est haut, plus c’est faible.

CritèresaymockFigma
Mise en page (15)2,52,2
Typographie (12)2,82,2
Couleurs et surfaces (8)1,51,3
Icônes et images (10)2,01,2
Contenu (10)0,70,3
Mesure au pixel (5)3,33,3
Hiérarchie et noms (10)1,31,0
Mise en page fluide (12)2,21,8
Réutilisation (10)3,73,2
Propreté (8)1,01,0
  • saymock perd surtout sur le texte (approche des lettres d’une police de remplacement, qui décale les retours à la ligne), sur quelques glyphes d’icônes et sur les valeurs répétées en dur au lieu de jetons partagés.
  • Figma perd surtout sur les polices (Inter à la place de SF Pro sur l’iPhone), sur des rayons d’angle trop grands et sur l’absence de styles de texte et de couleur.

Limites

  • Trois écrans d’une seule application : une tendance solide, pas une loi générale.
  • Un seul modèle (Claude Opus 5.5). Un autre modèle ou un autre agent peut changer les écarts.
  • Les juges sont des modèles, pas des designers humains.
  • Les coûts sont ceux de l’API. Avec un forfait Claude, on paie en part de quota, pas en dollars ; les tokens restent la mesure comparable.
  • Nous développons saymock : ce benchmark n’est pas indépendant. C’est pour cela que nous publions le protocole et chaque run.
saymock
Produit Agents Développeurs FAQ Tarifs Benchmark Contact Se connecter

© 2026 saymock

Mentions légales CGU CGV Confidentialité