Context rot: perché dare più dati al tuo agente AI lo rende peggiore

«Carichiamogli dentro tutto il gestionale» e il pregiudizio piu costoso sull AI aziendale. Oltre una certa soglia il contesto in piu degrada le risposte, e ogni token si paga a ogni chiamata. Il context engineering sistema le due cose insieme.

BlueSky Agent AI · 2026-09-01

C'è una frase che ricorre in quasi ogni primo incontro sull'adozione dell'AI in azienda, e suona così ragionevole da non essere mai messa in discussione: "Basta caricargli dentro tutto il gestionale, poi lui capisce."

È il pregiudizio più costoso che circoli sull'intelligenza artificiale in impresa. Costoso in senso letterale, perché si paga a token, e costoso in senso operativo, perché produce assistenti che rispondono peggio proprio nei casi in cui servirebbero di più.

Il fenomeno ha un nome, context rot: oltre una certa soglia, aggiungere contesto a un modello ne degrada le prestazioni.

Perché più informazioni peggiorano la risposta

La finestra di contesto, cioè la quantità di testo che il modello può tenere davanti agli occhi mentre risponde, viene raccontata come uno spazio di archiviazione. Funziona piuttosto come memoria di lavoro: finita, e soggetta a interferenza.

L'analogia più onesta è una scrivania. Se cercate un contratto e sulla scrivania ci sono tre documenti, lo trovate subito. Se ce ne sono quattrocento il contratto è ancora lì, ma la probabilità che lo vediate, e che leggiate quello giusto invece di quello sbagliato, crolla. Un modello si comporta allo stesso modo: le informazioni pertinenti restano formalmente presenti e diventano più difficili da isolare rispetto al rumore che le circonda.

In azienda il risultato ha una firma riconoscibile, e chi convive da qualche mese con un assistente mal configurato la riconosce prima ancora di leggerla.

• L'assistente risponde bene alle domande semplici e sbanda su quelle specifiche.
• Cita un documento vecchio invece di quello aggiornato, perché entrambi sono nel contesto e niente gli dice quale conta.
• Le risposte peggiorano man mano che la conversazione si allunga.
• I costi crescono senza che nessuno riesca a collegarli a un beneficio.

Qui il tema smette di essere solo tecnico, perché la stessa scelta progettuale, cioè quanta roba mettere dentro, determina insieme la qualità della risposta e la bolletta di fine mese. Non capita spesso che l'interesse dell'IT e quello del controllo di gestione coincidano così precisamente.

Il doppio guadagno

Il costo di un agente AI si misura in token: ogni frase di contesto che gli passate viene pagata a ogni singola chiamata. Un assistente che riceve venti pagine di manuale a ogni domanda le paga venti pagine per domanda, anche quando la risposta stava in tre righe. Ridurre il contesto a quello che serve davvero produce quindi due effetti nella stessa direzione: meno token e quindi meno costo, con una riduzione direttamente proporzionale che si vede sulla fattura del mese dopo; meno rumore e quindi risposte migliori, con meno confusione fra documenti simili, meno citazioni sbagliate e meno deriva nelle conversazioni lunghe. È una delle rarissime ottimizzazioni che non chiede un compromesso, perché si spende meno togliendo qualcosa che stava anche facendo danno.

Context engineering: cos'è, in pratica

Da questa constatazione è nata una disciplina che sta rapidamente sostituendo il "prompt engineering" nelle conversazioni serie. Il lavoro non consiste più nel formulare la domanda perfetta, ma nel progettare l'intero ambiente informativo in cui l'agente lavora: cosa vede, quando lo vede, in che forma, e cosa invece non deve vedere affatto.

Un buon contesto ha quattro proprietà, e ciascuna si traduce in una domanda da fare a chi vi propone un progetto AI.

Rilevanza

Dentro ci va solo quello che serve a questo compito. Non l'intero manuale ma la sezione, non tutto lo storico cliente ma i movimenti pertinenti alla richiesta. La domanda da fare: come decidete quali documenti entrano nel contesto di ogni singola richiesta?

Struttura

Le informazioni organizzate, con sezioni chiare, gerarchie esplicite e metadati su fonte e data, vengono usate meglio di un blocco indistinto di testo. Un PDF di duecento pagine riversato dentro così com'è è tecnicamente contesto, ma è contesto peggiore di due pagine ben marcate.

Tempistica

È la proprietà che quasi tutti ignorano, e quella che separa un prototipo da un sistema che regge. L'informazione va introdotta quando serve, non tutta all'inizio. Un agente che gestisce una pratica non ha bisogno delle condizioni di pagamento mentre sta ancora verificando l'anagrafica: gliele si passa nel momento in cui arriva a quel passaggio. Caricare tutto in apertura è comodo per chi costruisce e penalizzante per chi usa.

Compressione

Conversazioni e processi lunghi vanno riassunti man mano, non trascinati per intero. Quello che è stato deciso resta, il verbale integrale di come ci si è arrivati no. È quello che fa una persona competente quando passa una pratica a un collega: non gli rilegge tutte le email, gli dice a che punto siamo.

Il ciclo di vita del contesto

Messe insieme, queste proprietà descrivono la gestione del contesto come un ciclo e non come una configurazione iniziale: cosa trattenere e cosa scartare a ogni passaggio, come mantenere continuità fra un'interazione e l'altra, come dare priorità in base a pertinenza e a quanto un'informazione è recente. La differenza fra un'azienda che ha fatto questo lavoro e una che non l'ha fatto si vede a occhio nudo dopo sei settimane di utilizzo reale: nella prima l'assistente migliora perché il contesto viene curato, nella seconda peggiora perché accumula.

Come lo fa BlueSky Agent AI

Sulla nostra piattaforma questo è un problema di architettura, non un'impostazione da attivare. Un processo agentico è fatto di più passaggi, dal capire la richiesta al recuperare i dati giusti, ragionare, generare la risposta, verificare, e ognuno ha bisogno di un contesto diverso. Passare a tutti gli stessi dati è insieme lo spreco più grosso e la causa più frequente di risposte mediocri. Scomporre il processo in fasi permette di dare a ciascuna solo quello che le serve: il passaggio che recupera i documenti non ha bisogno dello storico della conversazione, quello che redige la risposta non ha bisogno dei log tecnici del recupero.

Su questa stessa scomposizione lavora ModelMatch, il nostro motore di routing. Siccome le fasi sono diverse per natura, non richiedono nemmeno lo stesso modello: un'estrazione strutturata da un documento non ha bisogno della stessa potenza, né dello stesso costo per token, di un passaggio di ragionamento complesso. Instradare ogni fase sul modello adeguato porta a una riduzione media dei costi del 42% a qualità invariata.

Le due leve si moltiplicano fra loro. Un contesto più snello significa meno token da pagare a ogni chiamata, il routing per fase significa pagare quei token al prezzo giusto. È questo, molto più della caccia al modello migliore, a rendere sostenibile un progetto AI in una PMI.

Le verifiche da fare questa settimana

Se avete già un assistente o un agente in funzione, tre controlli concreti, nessuno dei quali richiede un progetto.

Chiedete quanti token consuma una richiesta media. Se nessuno sa rispondere, avete già l'informazione che cercavate: il contesto non è governato. Se la risposta c'è, confrontatela con la lunghezza della risposta utile, perché uno scarto di due ordini di grandezza è un campanello.

Fate la stessa domanda difficile due volte, una all'inizio di una conversazione nuova e una dopo venti scambi. Se la seconda risposta è peggiore, il modello non si è stancato: si è sporcato il contesto.

Guardate cosa entra nel contesto a ogni chiamata. Nella maggior parte dei sistemi costruiti in fretta la risposta è "tutto, sempre", ed è lì che si trova quasi sempre il grosso del risparmio.

La parte scomoda

Il "carichiamogli dentro tutto" resiste nonostante i risultati per un motivo preciso: caricare tutto è più facile che decidere. Selezionare cosa conta significa conoscere il processo, ammettere che certi documenti sono duplicati, obsoleti o contraddittori, e prendersi la responsabilità di dire quale versione vale. È lavoro organizzativo, e nessun modello lo farà al posto vostro.

Però è lavoro che serve comunque, con l'AI o senza. Un'azienda che sa quali sono i suoi documenti validi e chi li tiene aggiornati lavora meglio anche senza agenti. L'AI si limita a rendere visibile un disordine che c'era già, e a presentarne il conto in token.

In sintesi

• Il context rot è il degrado delle risposte di un modello quando il contesto supera una certa soglia: la finestra di contesto è memoria di lavoro, non archiviazione.
• I sintomi in azienda sono riconoscibili: buone risposte sulle domande facili, errori su quelle specifiche, citazioni di documenti superati, peggioramento nelle conversazioni lunghe.
• Ridurre il contesto abbassa i costi e migliora la qualità nello stesso movimento, perché ogni token passato viene pagato a ogni chiamata.
• Il context engineering progetta l'ambiente informativo dell'agente lungo quattro proprietà: rilevanza, struttura, tempistica e compressione.
• Tre verifiche immediate: quanti token consuma una richiesta media, come cambia la qualità dopo venti scambi, cosa entra effettivamente nel contesto a ogni chiamata.

Se avete un assistente in funzione e il sospetto che costi più di quanto renda, la verifica del contesto è la prima cosa da guardare: si fa in poche ore e restituisce numeri.