Come si leggono i benchmark delle AI (senza farsi ingannare)
- Un benchmark misura un modello su compiti standardizzati: utile per confrontare, inutile per prevedere il tuo caso specifico.
- I numeri che contano davvero sono quattro: qualità (indice o Elo), costo per compito, velocità (token/s) e latenza (secondi al primo token).
- Diffida delle classifiche con un solo numero senza fonte: un punteggio senza metodo non è un giudizio, è marketing.
- La classifica aggiornata con questi dati è nella pagina Qualità e prestazioni; il nostro metodo è in Come valutiamo le AI.
"Questo modello ha 53 di indice", "quello vince l'arena con 1.400 di Elo": numeri ovunque, ma cosa significano? E soprattutto: quanto dovrebbero interessarti? Tre minuti per capire come si leggono.
I quattro numeri che contano
1. Qualità. Quasi tutte le classifiche usano un indice composito: una serie di compiti standard (matematica, ragionamento, coding, scienza) con un punteggio finale, spesso 0–100. L'Artificial Analysis Intelligence Index che pubblichiamo è di questo tipo. Punteggi vicini (47 vs 50) sono quasi sempre rumore: contano i salti di fascia.
2. Costo per compito. Il prezzo per token non dice quanto spendi: un modello "pensante" consuma molti più token per rispondere. Il costo per compito stima quanto costa completare un lavoro standard, ragionamenti inclusi. È il numero più vicino al tuo portafoglio. Per i conti fatti bene c'è la guida Quanto costa usare l'AI.
3. Velocità. Token di output al secondo. Sotto i 30 si sente l'attesa; sopra i 100 l'uso interattivo è fluido. Negli agenti (che scrivono molto codice e testo da soli) la velocità si traduce direttamente in tempo di lavoro.
4. Latenza. Secondi prima che arrivi il primo pezzo di risposta. Nei modelli "pensanti" include il tempo di ragionamento e può arrivare a decine di secondi: ottimo per un report, fastidioso per una chat.
Cosa i benchmark NON dicono
- Non dicono niente sull'italiano. I benchmark pubblici sono quasi tutti in inglese. Un modello fortissimo in inglese può essere solo buono in italiano: la differenza si vede solo provandolo.
- Non dicono niente sul tuo dominio. Codice, medicina, diritto, scrittura creativa: ogni campo ha le sue sfumature che un indice sintetico non cattura.
- Invecchiano. Un modello in testa sei mesi fa può essere già superato; guarda sempre la data di rilascio e di aggiornamento dei dati.
- Si possono ottimizzare. I modelli possono essere addestrati per fare bene nei benchmark. Un punteggio altissimo è un buon segnale, non una garanzia.
I nomi che sentirai citare
- Arena / Elo: classifiche costruite sui confronti ciechi tra modelli votati dagli utenti. Misurano la preferenza umana, non la correttezza.
- SWE-bench: quanti bug reali di repository open source un modello riesce a risolvere da solo. È il riferimento per il coding agentico.
- AIME / HLE: problemi di matematica e domande difficili; misurano il ragionamento puro.
- MMMU: compiti con immagini, per la parte multimodale.
- Intelligence Index (Artificial Analysis): indice composito 0–100 che aggrega più prove; è quello che usiamo nelle nostre tabelle.
Come usarli, in pratica
- Parti dal budget: filtra i modelli che puoi permetterti (guarda Prezzi a confronto).
- Guarda qualità e costo per compito insieme: un modello con indice 50 a 1 $/compito batte spesso uno con 53 a 8 $/compito. Il grafico qualità/costo è fatto apposta: Qualità e prestazioni.
- Controlla velocità e latenza se ci lavori in tempo reale.
- Prova i finalisti sul tuo caso: dieci richieste reali a ciascuno, stesso testo, e giudica tu. Nessuna tabella sostituisce questa mezz'ora.
Domande frequenti
Un modello con indice più alto è sempre migliore per me?
No. L'indice è la media di compiti standard: se il tuo lavoro è il riassunto di email, un modello con indice 40 può servirti quanto uno da 53, a un decimo del costo.
Perché nella vostra classifica mancano modelli che conosco?
Perché pubblichiamo solo modelli con dati di benchmark da fonti pubbliche verificabili. Meglio una tabella corta ma vera che una lunga e inventata. Se un modello manca, è probabile che la fonte non lo misuri ancora.
I punteggi di intelligenza sono comparabili tra fornitori?
I numeri all'interno della stessa scala sono comparabili tra loro; attenzione invece a confrontare scale diverse (Elo vs indice 0–100: sono cose differenti). Nelle nostre tabelle trovi sempre una sola scala per volta.
Commenti