Banc de code SOKKAN — réussite sans Claude, mesurée

Résultats

25 tâches × 3 passages = 75 essais par configuration.

Configuration	Total /75	Tâches dures /15	Tâches courantes /60
Deep seul — Qwen3.5-122B-A10B FP8	67 (89 %)	8	59
Deep seul — Qwen3.5-397B-A17B	68 (91 %)	9	59
Chaîne SOKKAN : rapide → Deep 122B	72 (96 %)	12	60
Chaîne : rapide → Deep 397B	69 (92 %)	10	59
Référence : Claude Sonnet 5.5 / Opus 5.5 (1 passage)	25 / 25	5 / 5	20 / 20

Modèle rapide : Qwen3.6-27B. Escalade vers Deep automatique dans la boucle d’outils (échecs répétés, même erreur deux fois, boucle longue). Les échecs restants portent sur H01 (gros dépôt) et H03 (contexte très long). L’écart 122B / 397B est dans le bruit : nous retenons le 122B, qui tient sur deux cartes.

Les 25 tâches

Famille	Tâches	Ce qu’on demande
Bugs	B01–B06	Corriger un défaut signalé, Python et TypeScript, tests fournis
Fonctionnalités	F01–F05	Ajouter une fonction spécifiée, avec ses tests
Multi-fichiers	M01–M03	Modification cohérente sur plusieurs modules
Refactorisation	R01–R02	Restructurer sans casser les tests existants
Contexte long	L01	Travailler dans un dépôt volumineux
Vision	V01–V03	Partir d’une capture d’écran (maquette, erreur), recette cachée
Dures	H01–H05	Refactorisation d’un gros dépôt, bug dans du code ancien, contexte long, performance, multi-fichiers TypeScript

Méthode

Claude Code réel, piloté en mode non interactif, dans un dépôt jetable par essai ; la passerelle traduit vers les modèles ouverts.
Une tâche est réussie si la suite de tests passe à la fin (exit 0), sans intervention humaine. Délai maximal par tâche.
3 passages indépendants par tâche et par configuration, aucun appel à Claude dans les chaînes.
Matériel : Deep 122B sur 2× H100 (même qualité attendue sur 2× RTX PRO 6000) ; 397B et modèle rapide via un hébergeur UE.
Limites, dites franchement : tâches construites par nous, 25 tâches seulement. C’est pourquoi un POC remesure tout sur votre code, avec un rapport mensuel : réussite sans Claude, disponibilité, latence, usage du secours Claude, coût par utilisateur.

Le harnais (tâches, scripts, résultats bruts) est fourni sur demande pour rejouer le banc chez vous : [email protected].