ChatJimmy is snel

Even terug naar Taalas en hun 17.000 tokens per seconde. Taalas ontwikkelde met AI-model Llama 3.1 8B chatbot ChatJimmy. De chatbot lijkt op het eerste gezicht een gewone chat-interface. Tot je iets typt. Het antwoord verschijnt zó snel, dat je denkt dat het gecached is. Maar dat is het niet: het is een HC1-chip die 17.000 tokens per seconde haalt. Ter vergelijking: een Nvidia H200, een van de snelste GPU’s ter wereld, haalt met hetzelfde model ongeveer 230 tokens per seconde. ChatJimmy is dus 74 keer sneller.

Ga zelf maar eens naar chatjimmy.ai en vraag: “Schrijf 20 paragrafen over de toekomst van AI-hardware”. Je ziet het verschil in seconden, letterlijk.

Het model als chip

Hoe doet Taalas dat? Leggen we natuurlijk aan je uit. Bij normale AI-interference laadt een GPU de weights van een model uit geheugen (HBM), rekent ermee en schrijft het resultaat terug. Dat heen en weer schuiven van data is de bottleneck; de zogenaamde memory wall.

Taalas pakt dit radicaal anders aan. Eerst bouwden ze een ASIC (Application-Specific Integrated Circuit), waarbij de weights van het AI-model letterlijk in de metaallagen van de chip zijn geëtst. Er is nu geen apart geheugen meer: het model is de chip.

Stel je voor dat je een recept uit een kookboek volgt. Normaal pak je het boek, lees je een stap, leg je het boek weg, voer je de stap uit, en pak je het boek weer om verder te gaan met de volgende stap. Dat is ook hoe een GPU werkt. Maar met de HC1-chip van Taalas is het alsof het recept in je handen gegraveerd staat; je hoeft nergens meer te zoeken.

De specificaties

• 53 miljard transistors op 815 mm²
• Gefabriceerd door TSMC op 6nm
• 200 watt per kaart (een H100 verbruikt 700 watt)
• Een server met 10 HC1-kaarten: 2.500 watt totaal
• 20x lagere kosten dan GPU-gebaseerde inference
• 10x minder stroomverbruik

En misschien het meest indrukwekkende: Taalas heeft een compiler-achtig systeem gebouwd dat van elk model in ongeveer een week een chipontwerp maakt. Geen R&D-cyclus van jaren, maar gewoon meteen een productielijn.

Kwaliteit versus snelheid

De HC1 draait Llama 3.1 8B met agressieve quantisatie: een mix van 3-bit en 6-bit parameters. Dat betekent dat het model kleiner en minder precies is dan de full-precision versie op een GPU. En dat merk je soms. Bij complexe redeneeringstaken of genuanceerde teksten levert een groter model betere resultaten.

Maar juist daar zit de crux: voor heel veel taken is een kleiner model al goed genoeg. Voor het beantwoorden van klantvragen, classificeren van data, samenvatten van teksten, verwerken van formulieren of het routeren van e-mails heb je geen 70B–parameter model nodig. 

De kracht van parallelle iteratie

En nu wordt het pas echt interessant. Bij 17.000 tokens per seconde kun je hetzelfde model 100 keer dezelfde vraag laten benaderen, iedere keer vanuit een andere invalshoek. Vervolgens selecteer je het beste antwoord. Vergelijk het met één expert die lang nadenkt; in plaats daarvan pak je honderd snelle denkers en kies je het slimste antwoord. Bij de huidige GPU-snelheden is dit onbetaalbaar, maar bij HC1-snelheden is dat triviaal.

Dit is een fundamenteel andere manier van denken over AI-kwaliteit. Niet: gebruik een groter model. Maar: gebruik een snel model, vaker, slimmer.

Meer weten?

Verder praten en nog meer weten? Bel of mail ons.

The post Het model is de chip: waarom AI-inference nooit meer hetzelfde wordt appeared first on En Masse - niet mauwen maar bouwen.

Modellen versus tools

Eerst even terug. We kennen ChatGPT natuurlijk allemaal. Het is een product (of tool) van het bedrijf OpenAI, net zoals Gemini bijvoorbeeld een product van Google is. Onder deze producten draaien verschillende Large Language Modellen (LLM’s), denk aan GPT-4.1, Claude, Gemini 2.0, Llama-varianten of lokale modellen via Ollama.

Maar die modellen verschillen flink in prijs en kwaliteit. Sommige modellen schrijven fantastische code, maar gaan de mist in met bijvoorbeeld Nederlandse spreekwoorden. Andere modellen zijn supersnel en goedkoop, maar halen lagere kwaliteit bij complexe taken. En weer andere modellen zijn juist extreem goed in redeneren, maar duur in gebruik.

Toch zien we vaak dat organisaties ‘één AI’ kiezen en die overal voor gebruiken. Handig voor op de korte termijn, maar ook risicovol: je betaalt waarschijnlijk te veel en krijgt soms mindere kwaliteit dan nodig.

Je móet AI-modellen testen en benchmarken

LLM’s zijn geen statische API’s. Die modellen worden namelijk regelmatig bijgewerkt, providers wisselen met hun prijzen, en de kwaliteit schommelt door drukte of nieuwe versies. Zeker als je modellen gebruikt die je zelf niet host, heb je daar weinig controle over. Zonder testing en benchmarking loop je daarom risico op:

• Wisselende kwaliteit: gisteren werkte je flow prima, maar vandaag niet meer;
• Onnodige kosten: omdat je een dure ‘flagship AI’ gebruikt, terwijl een kleiner model hetzelfde doet;
• Vendor lock-in: je organisatie raakt afhankelijk van één leverancier;
• Lastige discussies: ‘het voelt trager’ is lastig uit te leggen, meetbare cijfers niet.

Promptfoo: open source framework

Wij testen alle LLM-modellen op structurele wijze. Hierbij maken wij gebruik van bijvoorbeeld Promptfoo.

Promptfoo is een open source framework om LLM-toepassingen te testen en te benchmarken. Je beschrijft in YAML (YAML Ain’t Markup Language, mensvriendelijk dataformaat) of in code:

• Welke taken je wil testen;
• Welke modellen/providers je wil vergelijken (OpenAI, Anthropic, Google, Azure, lokale modellen);
• Welke checks moeten slagen (bijvoorbeeld: bevat het antwoord een spreekwoord, is de JSON valide, is de toon vriendelijk).

Op basis van deze input draait Promptfoo automatisch al je testcases, toont de resultaten in een matrix én kan zo onderdeel worden van je CI/CD-pipeline.

Kort gezegd: Promptfoo brengt ouderwets testen naar moderne AI-toepassingen.

Kleine test uit onze praktijk

In de screenshots bij dit artikel zie je één van onze eigen runs met Promptfoo. We vergeleken vier modellen op drie realistische taken:

1. Symfony controller schrijven met validatie;
2. E-mail in het Nederlands naar een IT-manager, mét echt Nederlands spreekwoord;
3. Projectplan User Registration voor een solo-developer (20 uur/week), inclusief fases en risico’s.

Screenshot 1:

Promptfoo draait de testset in één klap. Per model zie je:

• Welke cases PASS of FAIL zijn;
• Hoeveel tokens (en dus kosten) zijn gebruikt;
• Het totale slagingspercentage.

In ons voorbeeld kwam één model duidelijk als beste uit de bus voor deze mix van taken. In een tweede screenshot zie je ook de samenvatting en dit laat precies zien wat we bedoelen: er is niet één beste AI. Het hangt af van de taak.

Screenshot 2:

• QUALITY WORK (coding, planning, professioneel Nederlands): Model A;
• FAST DRAFTS (brainstormen, snelle antwoorden): Model B;
• BALANCED (als model A niet beschikbaar is): Model C;
• Model D: alleen nuttig voor niche-cases, bijvoorbeeld extreem grote context.

Hoe En Masse Promptfoo inzet in organisaties

Bij het implementeren van een AI-oplossing, doorlopen we grofweg de volgende stappen:

1. Processen in kaart brengen: samen met het team bepalen we welke stappen écht belangrijk zijn. Code genereren, e-mails beantwoorden, samenvattingen, rapportages.
2. Echte use-cases omzetten in tests: geen ‘lorem ipsum’-prompts maar realistische voorbeelden: echte klantvragen, echte tickets, echte interne teksten. Voor iedere testcase beschrijven we wat een goed antwoord is.
3. Promptfoo configureren: in YAML leggen we vast welke modellen we willen testen, welke prompts of agents we gebruiken en welke criteria bepalen of een antwoord goed is (bijvoorbeeld: moet een spreekwoord bevatten, mag geen privacygevoelige data lekken, moet geldbedragen in euro vermelden).
4. Benchmark draaien en analyseren: Promptfoo draait alles door en toont een overzichtelijke matrix met scores, latency en kosten per model. Zo kunnen we onderbouwd kiezen. Soms wint een ‘klein’ model met gemak van een dure topper.
5. Continu monitoren: dezelfde tests draaien we periodiek of bij elke deployment. Als een provider onder water een model wijzigt en de kwaliteit daalt, zien we dat direct in de resultaten. Zo voorkom je dat klanten de eerste zijn die het merken.

Wat levert het gebruik van Promptfoo jou op?

Dat wij fan zijn van Promptfoo moge duidelijk zijn. Nu wil jij natuurlijk weten wat het voor jou als organisatie oplevert. Komt ‘ie:

• Betere kwaliteit: je gebruikt het LLM-model dat aantoonbaar het beste presteert op jóuw taken;
• Lagere kosten: geen overkill-modellen voor simpele taken;
• Minder risico: regressies en rare model-updates zie je in je tests en niet pas in productie (of na een belletje van de klant);
• Transparantie richting management: in plaats van ‘het voelt beter’ kun je het laten zien met duidelijke cijfers: hogere score, lagere maandelijkse kosten.

Ook verder kijken dan ‘één AI’?

Werk je nu vooral met ChatGPT en ben je benieuwd welke modellen het beste passen bij jouw processen? Wij helpen je graag! Samen brengen we jouw belangrijkste AI-taken in kaart, zetten we een pragmatische testset op met bijvoorbeeld Promptfoo en kiezen we een modelstrategie die past bij kwaliteit, kosten en risico. Klinkt goed toch?

Bel of mail ons, dan laten we je live zien hoe zo’n benchmark werkt; inclusief kleurrijke PASS/FAIL-matrix. Want wij zeggen niet voor niets heel graag “niet mouwen maar (meteen) bouwen”.

The post Er is meer dan ChatGPT: kies het juiste model met Promptfoo appeared first on En Masse - niet mauwen maar bouwen.

Waarom AI-output zo wisselvallig is

De output van AI kan nogal wisselvallig zijn. Je krijgt ‘s ochtends prima antwoorden op je vragen, maar ‘s middags is de logica ver te zoeken. Komt omdat de meeste AI-modellen draaien op dezelfde publieke systemen. Vooral einde middag daalt de kwaliteit van de output; dan gaan ze in de Verenigde Staten namelijk ook vragen stellen aan AI.

Gebruik je AI hobbymatig, dan is dat een beetje jammer. Maar voor bedrijven is dit natuurlijk onacceptabel want dan verwacht je consistente en betrouwbare kwaliteit.

Eigen betrouwbare AI van En Masse

We willen dus graag een slimme AI, maar bovenal een voorspelbare en betrouwbare AI. Want of je nu automatisch samenvattingen genereert, klantvragen verwerkt of interne processen versnelt met behulp van AI: je moet kunnen rekenen op constante kwaliteit.

Gelukkig draaien wij onze eigen En Masse AI-servers. Wij zijn niet afhankelijk van de publieke AI-systemen en hun onvoorspelbare pieken en dalen in de kwaliteit van de output. Onze eigen AI-servers van En Masse draaien met zelfgekozen modellen en in een gecontroleerde omgeving. Zo weten wij precies wat de output doet, wanneer én waarom.

De eigen AI-servers van En Masse

• Consistente kwaliteit in de output
• Volledige controle over updates, latency en prestaties
• En we hebben alle data volledig in eigen beheer. Dat is veilig, transparant en compliant.

Kijk ook eens op AI Stupid Level. Op deze website zie je hoe vaak grote AI-modellen zoals OpenAI (ChatGPT) of Anthropic (Claude) plotseling ‘domme’ antwoorden geven. En dat doen ze niet af en toe, maar dagelijks. 

Het kan dus ook anders

Ben je ook toe aan een stabiele AI-omgeving zodat je je niet meer druk hoeft te maken of het vandaag wel werkt? Wij laten je heel graag zien hoe wij het anders doen.

Bel of mail ons

The post En Masse heeft de oplossing voor wisselvallige AI-modellen appeared first on En Masse - niet mauwen maar bouwen.