Het model veranderde niet. De test wel

Onderwerp: Het model veranderde niet. De test wel

Preheader: Bij ARC-AGI-3 telden geheugen en contextbeheer mee, naast de modelnaam.

Een analyse waarover TLDR AI berichtte, stelt dat twee instellingen — het bewaren van redeneringen en het comprimeren van context — de ARC-AGI-3-score van GPT-5.6 Sol verdrievoudigden en tegelijk de uitvoer sterk verminderden. ARC Prize bevestigt onafhankelijk de eindscore van 7,78%, maar de resultatenpagina documenteert die configuratievergelijking niet.

ARC-AGI-3 plaatst agents in onbekende omgevingen waarin ze moeten observeren, hypotheses vormen, regels leren en plannen. Het model is maar één onderdeel. Geheugen, contextbeheer, tools en verificatielussen bepalen mee het resultaat.

Uw organisatie koopt geen benchmark, maar implementeert een volledige keten. Een gemiddeld model met degelijk geheugen en goede tests kan beter presteren dan een sterker model in een zwak systeem.

Een agentscore meet vaak zowel het model als de testopstelling. Vergelijkingen waarin meerdere variabelen tegelijk veranderen, vragen voorzichtigheid. De gemelde verdrievoudiging blijft toegeschreven aan de analyse die de nieuwsbrief aanhaalt.

Leg versies van prompts, tools, geheugenregels en stopcriteria vast. Meet kwaliteit, kost en fouten voor de volledige workflow. Houd bij een modelwissel eerst alle andere onderdelen gelijk en optimaliseer daarna één component per keer.

Een benchmark voor AI-agents meet vaak evenzeer de omgeving als het model zelf.