Medimos tudo o que afirmamos. Os números abaixo vêm do nosso placar público de avaliação — o mesmo que usamos internamente para decidir o que vai para produção.
| modelo | intenção | F1 campos |
|---|---|---|
| v8 (oficial) | 87,73 | 77,96 |
| adapter-app-v1 | 87,92 | 74,84 |
Mesmo conjunto, mesma ordem (agregado pareado, n=1035). Diferença de intenção dentro do ruído; F1 do v8 3,1 pp acima.
Todas as variantes do motor de 269M avaliadas pelo mesmo harness, nas mesmas métricas. Linhas destacadas são as versões com replay de conhecimento geral.
| modelo | CALAME | LAMBADA | intenção | F1 | F1-parada | 5-shot | distinct-2 | coerência | ancoragem |
|---|---|---|---|---|---|---|---|---|---|
| corpus-limpo-v1 | 53,13 | 36,85 | 0,0 | 34,6 | 29,0 | 1,0 | 0,634 | 11,54 | 42,0 |
| corpus-limpo-v1-acoes | 9,01 | 9,39 | 85,6 | 72,92 | 72,18 | 0,33 | 0,667 | 1,92 | 38,0 |
| corpus-limpo-v1-conversa | 32,08 | 17,72 | 0,0 | 34,6 | 29,0 | 0,0 | 0,665 | 78,85 | 26,0 |
| corpus-limpo-v1-multi | 29,96 | 16,11 | 77,4 | 66,06 | 70,22 | 2,0 | 0,575 | 80,77 | 10,0 |
| conversa-v1 | 48,55 | 32,23 | 0,0 | 34,6 | 29,0 | 2,0 | 0,711 | 26,53 | 28,0 |
| conversa-v1-acoes | 6,84 | 10,56 | 87,2 | 73,66 | 74,73 | 3,33 | 0,667 | 7,69 | 34,0 |
| conversa-v1-conversa | 33,53 | 17,23 | 0,0 | 34,6 | 29,0 | 0,0 | 0,671 | 83,33 | 24,0 |
| conversa-v1-multi | 29,48 | 16,84 | 76,0 | 67,39 | 69,62 | 10,67 | 0,69 | 78,0 | 16,0 |
| executor-v1 | 49,86 | 35,01 | 86,4 | 37,96 | 73,65 | 35,67 | 0,682 | 34,62 | 50,0 |
| executor-v1-acoes | 16,43 | 13,6 | 86,8 | 72,48 | 74,4 | 7,67 | 0,5 | 34,62 | 52,0 |
| executor-v1-conversa | 35,36 | 15,7 | 44,4 | 35,61 | 42,08 | 23,33 | 0,634 | 76,92 | 28,0 |
| executor-v1-multi | 33,67 | 19,37 | 83,0 | 69,16 | 72,5 | 44,33 | 0,625 | 92,16 | 14,0 |
| dose0 | 14,35 | 13,64 | 87,6 | 72,13 | 74,35 | 4,0 | 0,5 | 15,38 | 54,0 |
| dose7 | 18,11 | 7,84 | 87,2 | 72,07 | 74,93 | 19,33 | 0,637 | 65,38 | 18,0 |
| dose18 | 19,12 | 8,09 | 87,2 | 71,3 | 74,22 | 10,67 | 0,722 | 65,38 | 42,0 |
| dose33 | 18,45 | 6,79 | 84,6 | 71,63 | 75,68 | 16,0 | 0,668 | 66,67 | 42,0 |
| dose50 | 17,24 | 7,35 | 85,8 | 71,52 | 75,77 | 27,33 | 0,69 | — | 28,0 |
| adapter-app-v1 | 42,97 | 24,01 | 87,4 | 73,08 | 75,47 | 41,33 | 0,668 | 78,85 | 28,0 |
| adapter-whats-v1 | 42,77 | 23,79 | 86,2 | 72,75 | 75,32 | 43,0 | 0,604 | 78,85 | 84,0 |
Placar de 14/08/2026. CALAME/LAMBADA de linhas com SFT sem replay medem a receita, não a base (só os adapters têm replay) · coerência: ±9 pp de ruído do juiz · ancoragem: termo exato do contexto em holdout nunca visto · "—" = ainda não medido.
Cada número foi medido pelo nosso harness aberto; a metodologia está no repositório.
Pesos, código de avaliação e metodologia: GitHub — MaxxArtes/pocket-lm-269m · Hugging Face — coleção Pocket-LM 269M (Magurofg)
A adaptação começa por medir. Conte o seu caso.
Falar sobre um projeto