L'80% di Ox Alpha è durato tre giorni. Ai ricontrolli era 63%

Ox Alpha è comparso su OpenRouter all'80% su DeepSWE. Ai ricontrolli da benchmark privati era al 63%: diciassette punti che misuravano familiarità con i problemi più che capacità. Perché una classifica pubblica non è una base d'acquisto, e cosa guardare al suo posto.

BlueSky Agent AI · 2026-09-01

Ad agosto 2026, su OpenRouter e OpenCode, è comparso un modello senza nome e senza casa madre dichiarata. Si chiamava Ox Alpha. Le specifiche erano fatte per fermare chi scorreva la pagina: 1,05 milioni di token di contesto, input su testo, immagini e video, zero data retention, 100.000 miliardi di token al giorno di capacità dichiarata. Gratis per una settimana.

I primi benchmark indipendenti lo hanno dato all'80% su DeepSWE, sopra GPT-5.6 Sol e sopra Fable. Per qualche giorno, sulle timeline degli addetti ai lavori, è stato il modello che aveva battuto tutti.

Poi sono arrivati i ricontrolli: 63-64%. In linea con GPT-5.6 Sol nella versione intermedia, sotto Opus 5 e Fable 5 quando la misura veniva da benchmark privati. Nel frattempo l'analisi del tokenizer e del system prompt ha ricondotto Ox Alpha alla famiglia GLM-5.X di Z.ai, con ogni probabilità GLM-5.3 Flash.

Fra la prima misurazione e la seconda il modello era lo stesso, riga per riga. Erano cambiate le condizioni della misura: chi la faceva, con quale impianto intorno, su quali problemi.

Diciassette punti, tutti lì dentro.

Se state valutando l'AI per la vostra azienda e la vostra base decisionale è una classifica pubblica, quella settimana racconta un problema che vi riguarda da vicino.

Perché un benchmark pubblico non risponde alla domanda che vi interessa

C'è la tentazione di leggere una storia così in chiave scandalistica: qualcuno ha barato, i numeri erano gonfiati, non ci si può fidare di nessuno. È una lettura comoda e sbagliata.

I benchmark pubblici sono strumenti di ricerca e fanno bene il lavoro per cui sono nati: confrontare architetture e tecniche di addestramento su un compito standardizzato, così che chi costruisce modelli capisca se una scelta tecnica ha funzionato. Il guaio nasce quando quel numero esce dal laboratorio ed entra in una decisione d'acquisto, perché gli si chiede una cosa che non ha mai promesso: dire se quel modello risolverà il vostro problema, sui vostri documenti, dentro il vostro processo, a un costo che regge.

Il dataset è pubblico, e questo cambia il significato del punteggio

Un benchmark pubblico è pubblico. I suoi problemi, o problemi molto simili, circolano in rete da mesi o da anni. Non serve che qualcuno bari deliberatamente perché quel materiale finisca, in qualche forma, nel percorso di addestramento di un modello: basta che internet abbia fatto il suo lavoro.

Così un punteggio alto misura insieme due cose, la capacità reale e la familiarità con quel tipo esatto di problema, senza dirvi in che proporzione. I benchmark privati, quelli che hanno riportato Ox Alpha a 63-64%, servono esattamente a rompere l'ambiguità: contengono problemi che il modello non ha mai potuto vedere. Quando lo stesso modello fa 80 sul pubblico e 63 sul privato, quei diciassette punti hanno un nome preciso. Erano familiarità.

Il compito è generico, il vostro no

DeepSWE misura la capacità di risolvere problemi di ingegneria del software. Compito rispettabile, ben definito, e con ogni probabilità lontanissimo dal vostro.

Il vostro assomiglia piuttosto a questo: estrarre le condizioni di resa da centoventi contratti di fornitura scritti da avvocati diversi in quindici anni. Classificare le email in ingresso su categorie che esistono solo nella vostra azienda. Rispondere a un cliente citando il listino che è cambiato tre volte quest'anno. Leggere la scheda tecnica di un fornitore e capire se un articolo è compatibile con un altro. Su nessuno di questi compiti esiste una classifica pubblica. Ma il problema più serio viene dopo, perché l'ordine di arrivo sui compiti generici sul vostro non si trasferisce. Capita regolarmente che un modello quarto o quinto in classifica generale vinca nettamente su un'estrazione documentale specifica, mentre il primo assoluto costa cinque volte tanto per un guadagno di qualità che il processo non è nemmeno in grado di percepire.

Conta anche l'imbracatura

Lo stesso modello, sullo stesso identico problema, dà risultati diversi a seconda di come lo si interroga: prompt di sistema, numero di tentativi concessi, strumenti che può chiamare, modo in cui gli si passano i documenti, temperatura. Questo apparato, l'imbracatura per usare l'immagine che circola ormai anche nei materiali dei grandi vendor, pesa quanto il modello. A volte di più. Due misurazioni indipendenti con imbracature diverse non sono lo stesso esperimento, e quando leggete un punteggio su un post quasi mai vi viene detto che imbracatura c'era intorno.

Cento trilioni di token al giorno, gratis: chi li sta pagando?

Nella discussione tecnica su Ox Alpha questo aspetto è passato in secondo piano, e per un'azienda pesa più del benchmark. Qualcuno sta pagando quella capacità. Nessuno scandalo: è il funzionamento normale del mercato in questa fase, in cui si regala accesso per raccogliere utilizzo, feedback e quota. Ma se costruite un processo aziendale sopra un modello gratuito, in agenda vanno alcune domande prima di quanto è bravo.

• Che succede il giorno in cui la promozione finisce? Il prezzo di listino post-promozione è pubblicato, o si scopre dopo?
• Quanto costa uscire? Se domani il modello raddoppia di prezzo, peggiora o sparisce, quanti giorni di lavoro servono per spostare il processo altrove?
• Dove finiscono i dati? "Zero data retention" è una dichiarazione: risulta anche dal contratto, o solo dalla pagina di marketing?
• Cosa vi resta di riutilizzabile? Se cambiando modello dovete riscrivere tutto, quello che avete costruito è una dipendenza.

Qui passa la differenza fra chi ha adottato l'AI e chi l'ha provata. Chi l'ha adottata cambia modello in un pomeriggio. Chi l'ha provata ha un pezzo di azienda appoggiato su un listino che non controlla.

Come si valuta un modello sul proprio caso

Sostituire le classifiche pubbliche con una valutazione vostra è un lavoro noioso e finito: si fa una volta e si riusa. Non serve un centro di ricerca, servono quattro cose.

Trenta-cinquanta casi reali, presi dai vostri archivi, già successi davvero, con la risposta giusta già nota perché un collega l'ha data e sapete che era corretta. Non casi inventati e non solo casi facili: dentro ci vanno anche i tre o quattro casi sporchi che vi fanno perdere i pomeriggi.

Un criterio di successo scritto prima. "Buono" non è un criterio. "Estrae la data di scadenza nel formato GG/MM/AAAA, e quando il documento non la contiene lo dichiara invece di inventarla" lo è. Se non riuscite a scriverlo, il problema non è ancora il modello: è che il processo non è definito.

Un costo per unità di lavoro risolta: per pratica evasa, per email classificata, per documento estratto, tentativi falliti e riletture umane comprese. Il prezzo per milione di token, da solo, non dice niente a nessuno. Il costo per pratica è l'unico numero che un direttore finanziario può mettere accanto all'alternativa e confrontare.

E una rimisurazione periodica, perché i modelli cambiano sotto di voi: escono versioni nuove, cambiano i prezzi, cambiano le condizioni d'uso. Una valutazione fatta a gennaio a settembre non vale più. Se ogni volta va rifatta a mano, non la rifarete.

Il guadagno vero di questo lavoro è che sposta il terreno. Si smette di cercare il modello migliore, domanda la cui risposta cambia ogni tre settimane e non è la stessa per due aziende diverse, e si comincia a chiedersi quale modello risolve questo compito, a questo costo, con questa affidabilità. Domanda che ha una risposta stabile.

Come funziona ModelMatch

ModelMatch è il motore di routing di BlueSky Agent AI: per ogni fase di un processo agentico sceglie il modello adatto a quella fase. Un processo reale non è mai un compito solo. La fase di ragionamento chiede un modello capace, quella di estrazione ne chiede uno preciso e veloce; la generazione vuole un modello con un buon italiano, mentre la verifica deve costare pochissimo, perché gira su ogni singolo passaggio.

Assegnare il modello di punta a tutte le fasi è il modo più diffuso di spendere troppo. Nella nostra esperienza il routing per fase porta a una riduzione media dei costi del 42% a qualità invariata, e la parte che conta di quella frase è "a qualità invariata": la si può affermare solo se dietro c'è una valutazione seria.

Per un'azienda che lavora con noi la differenza pratica sta qui: valutare i modelli sul caso d'uso non è un suo compito. Nessuno deve leggere le classifiche, capire se un annuncio all'80% reggerà il ricontrollo, rifare le prove ogni volta che esce un modello nuovo o cambia un prezzo. Quel lavoro è già fatto, e viene rifatto in continuazione, perché è il nostro mestiere.

Quando un modello si sgonfia da 80 a 63 in tre giorni, un processo costruito così non se ne accorge.

Le domande da fare al prossimo fornitore che vi cita un benchmark

1. "Questo numero da dove viene?" Benchmark pubblico o valutazione privata, e su quale imbracatura è stato misurato.
2. "Come si comporta sul mio caso?" Se la risposta è un altro benchmark generico, non avete ancora una risposta. Se è "proviamolo sui vostri documenti", siete nella conversazione giusta.
3. "Quanto costa cambiare idea?" Fra sei mesi, con un modello migliore o un prezzo peggiore sul tavolo, quanto lavoro serve per spostarsi.

Un fornitore che risponde volentieri a tutte e tre vi sta vendendo un processo. Se si ferma alla prima, fategli la seconda.

In sintesi

• Ox Alpha è passato dall'80% al 63-64% su DeepSWE in pochi giorni senza che il modello cambiasse: erano cambiate le condizioni della misura.
• Un punteggio su benchmark pubblico misura insieme capacità e familiarità con problemi già circolati in rete, e non distingue le due cose.
• Il risultato dipende anche dall'imbracatura intorno al modello, cioè prompt di sistema, tentativi, strumenti, temperatura. Due misure con imbracature diverse non sono confrontabili.
• Una valutazione aziendale utile sta in trenta-cinquanta casi reali con risposta nota, un criterio scritto prima, un costo per pratica risolta e una rimisurazione periodica.
• Su un modello gratuito, la domanda che conta non è quanto è bravo oggi, ma quanto costa uscirne quando la promozione finisce.

BlueSky Agent AI è la piattaforma di agenti AI per le PMI italiane. ModelMatch sceglie il modello giusto per ogni fase del processo, così che la scelta del modello non resti un vostro problema. Parliamone.