Waarom kleine en niet-commerciële AI modellen meer onze aandacht verdienen.

In het artikel wordt uitgelegd hoe Jakub Mačina van ETH Zurich een chatbot heeft ontwikkeld die veel beter pedagogische en didactische principes weet te balanceren met feitelijke inhoud over een onderwerp (in dit geval wiskunde) dan een het model out-of-the-box doet. Let wel op dat dit onderzoek vorig jaar al is uitgevoerd en modellen (of combinaties van modellen) uiteraard al weer updates hebben gehad.

In het wetenschappelijk artikel kun je een mooie grafiek met daarin vergelijking met LearnLM zien: https://arxiv.org/abs/2505.15607

Mačina heeft gebruikt gemaakt van een techniek genaamd reinforcement learning om de prestaties van een klein 7B parameter model te verbeteren op het gebied van wiskunde onderwijs. Nog specifieker; wiskunde onderwijs voor 12-19 jarigen en op Bsc niveau. Als je kijkt naar hoe het NOLAI te werk gaat zul je ook zien dat ze vaak zeer specifieke toepassingen onderzoeken en daar kleinere en meer geschikte modellen voor gebruiken. Dan is het namelijk beter te bewijzen dat je iets van waarde toevoegt aan het onderwijs, in plaats van dat je alle toeters en bellen van big (dick) tech (alles is groter in Amerika) AI modellen uit de kast trekt. Niet dat er geen goede dingen uit Amerika komen; Olmo. Bijkomend voordeel van dat 7B modellen ook kunnen werken is dat ze op een consumer GPU (RTX 5070) te draaien zijn (of groter als je snellere tokens wilt) en je dus geen data over het internet hoeft te sturen.

---

Nog een mooi voorbeeld van hoe je AI modellen beter kan laten werken als je ze toespits op een specifieke toepassing is het initiatief van Maarten Sukel, van the AI Factory: een taalmodel genaamd 'Murmel'. https://www.linkedin.com/pulse/introducing-murmel-dutch-speech-to-text-model-built-maarten-sukel-chx2e/ 

Maarten laat zien dat je met een klein(er) model een een meer representatieve dataset van gesproken Nederlandse taal je betere prestaties kunt krijgen dan modellen van grotere commerciële partijen op het transcriberen van gesprekken. Zie het artikel voor een vergelijking.

Hoe je het model toetst maakt nogal wat uit. De zogenaamde marktleiders presenteren altijd hun benchmarks in een zeer positief daglicht. Die moet je eigenlijk zelf eens nadoen met je eigen dataset. Niet alleen voor spraakherkenning maar ook voor dezelfde opdrachten in Nederlandse taal aan LLMs zal je zien dat je model maar 50% van de tijd het probleem daadwerkelijk voor je oplost. (even een ruwe schatting gebaseerd op gesprekken met het SURF machine learning team) Representatie in de dataset is daarom belangrijk. Een punt voor publieke organisaties erg belangrijk is in het kader van inclusiviteit, laat ook het samenwerkingsverband HOSAN zien.

--- 

Als laatste misschien nog even een voorbeeld wat sommige mensen misschien niet willen horen die erg in geopolitiek denken. Vrij te gebruiken (open source betekent namelijk iets anders dan dat je het kunt downloaden) Chinese modellen zijn het beste alternatief als je van big tech af wilt en wel de performance wilt houden. Als laatste even een voorbeeld op het gebied van SWE (software engineering, of code schrijven)

Deze grafiek uit het international AI safety report laat zien hoe vrij te gebruiken modellen consequent de achter API gesloten modellen inhalen met minder dan een jaar ertussen.

Er was natuurlijk het 'DeepSeek R1' moment voor wie zich dat kan herinneren toen dit sentiment begon te kantelen. De koersen doken gelijk naar beneden maar blijkbaar heeft de marketing machine dat kunnen herstellen. Misschien is de nieuwigheid er van af maar dit soort momenten blijven gebeuren. Kijk op https://epoch.ai/benchmarks/eci?view=graph&tab=release-date&subset-view=graph&subset-tab=Software+engineering voor de meer recentere modellen. Claude is de marktleider maar Qwen blijft ze volgen: https://venturebeat.com/technology/alibabas-new-open-source-qwen3-5-medium-models-offer-sonnet-4-5-performance 

In dit artikel wordt ook nog eens uit de doeken gezet wat dit betekent voor zelf de controle kunnen houden over je data. Je kunt Qwen namelijk ook op (relatief dure) consumenten hardware draaien. Wel belangrijk lijkt me, als je docenten beginnen met vibecoden en met leerling data werken. Moet je even erbij stil staan dat zelfs de meest conservatieve schattingen van het Sonnet model uitgaan van rond de 70B parameters terwijl Qwen met 35B beter presteert. Eventjes de details over MOE daargelaten, dat je meer VRAM nodig hebt ook al heb je minder actieve parameters. Kleiner en zelf te draaien is ook in dit laatste geval dus beter.

Laatste opmerking: there is no such thing as a free lunch. Mensen freebies geven is ook onderdeel van een business model. Dus denk goed na over de afhankelijkheden die je aangaat.