ChatJimmy is snel

Even terug naar Taalas en hun 17.000 tokens per seconde. Taalas ontwikkelde met AI-model Llama 3.1 8B chatbot ChatJimmy. De chatbot lijkt op het eerste gezicht een gewone chat-interface. Tot je iets typt. Het antwoord verschijnt zó snel, dat je denkt dat het gecached is. Maar dat is het niet: het is een HC1-chip die 17.000 tokens per seconde haalt. Ter vergelijking: een Nvidia H200, een van de snelste GPU’s ter wereld, haalt met hetzelfde model ongeveer 230 tokens per seconde. ChatJimmy is dus 74 keer sneller.

Ga zelf maar eens naar chatjimmy.ai en vraag: “Schrijf 20 paragrafen over de toekomst van AI-hardware”. Je ziet het verschil in seconden, letterlijk.

Het model als chip

Hoe doet Taalas dat? Leggen we natuurlijk aan je uit. Bij normale AI-interference laadt een GPU de weights van een model uit geheugen (HBM), rekent ermee en schrijft het resultaat terug. Dat heen en weer schuiven van data is de bottleneck; de zogenaamde memory wall.

Taalas pakt dit radicaal anders aan. Eerst bouwden ze een ASIC (Application-Specific Integrated Circuit), waarbij de weights van het AI-model letterlijk in de metaallagen van de chip zijn geëtst. Er is nu geen apart geheugen meer: het model is de chip.

Stel je voor dat je een recept uit een kookboek volgt. Normaal pak je het boek, lees je een stap, leg je het boek weg, voer je de stap uit, en pak je het boek weer om verder te gaan met de volgende stap. Dat is ook hoe een GPU werkt. Maar met de HC1-chip van Taalas is het alsof het recept in je handen gegraveerd staat; je hoeft nergens meer te zoeken.

De specificaties

• 53 miljard transistors op 815 mm²
• Gefabriceerd door TSMC op 6nm
• 200 watt per kaart (een H100 verbruikt 700 watt)
• Een server met 10 HC1-kaarten: 2.500 watt totaal
• 20x lagere kosten dan GPU-gebaseerde inference
• 10x minder stroomverbruik

En misschien het meest indrukwekkende: Taalas heeft een compiler-achtig systeem gebouwd dat van elk model in ongeveer een week een chipontwerp maakt. Geen R&D-cyclus van jaren, maar gewoon meteen een productielijn.

Kwaliteit versus snelheid

De HC1 draait Llama 3.1 8B met agressieve quantisatie: een mix van 3-bit en 6-bit parameters. Dat betekent dat het model kleiner en minder precies is dan de full-precision versie op een GPU. En dat merk je soms. Bij complexe redeneeringstaken of genuanceerde teksten levert een groter model betere resultaten.

Maar juist daar zit de crux: voor heel veel taken is een kleiner model al goed genoeg. Voor het beantwoorden van klantvragen, classificeren van data, samenvatten van teksten, verwerken van formulieren of het routeren van e-mails heb je geen 70B–parameter model nodig. 

De kracht van parallelle iteratie

En nu wordt het pas echt interessant. Bij 17.000 tokens per seconde kun je hetzelfde model 100 keer dezelfde vraag laten benaderen, iedere keer vanuit een andere invalshoek. Vervolgens selecteer je het beste antwoord. Vergelijk het met één expert die lang nadenkt; in plaats daarvan pak je honderd snelle denkers en kies je het slimste antwoord. Bij de huidige GPU-snelheden is dit onbetaalbaar, maar bij HC1-snelheden is dat triviaal.

Dit is een fundamenteel andere manier van denken over AI-kwaliteit. Niet: gebruik een groter model. Maar: gebruik een snel model, vaker, slimmer.

Meer weten?

Verder praten en nog meer weten? Bel of mail ons.

The post Het model is de chip: waarom AI-inference nooit meer hetzelfde wordt appeared first on En Masse - niet mauwen maar bouwen.

Modellen versus tools

Eerst even terug. We kennen ChatGPT natuurlijk allemaal. Het is een product (of tool) van het bedrijf OpenAI, net zoals Gemini bijvoorbeeld een product van Google is. Onder deze producten draaien verschillende Large Language Modellen (LLM’s), denk aan GPT-4.1, Claude, Gemini 2.0, Llama-varianten of lokale modellen via Ollama.

Maar die modellen verschillen flink in prijs en kwaliteit. Sommige modellen schrijven fantastische code, maar gaan de mist in met bijvoorbeeld Nederlandse spreekwoorden. Andere modellen zijn supersnel en goedkoop, maar halen lagere kwaliteit bij complexe taken. En weer andere modellen zijn juist extreem goed in redeneren, maar duur in gebruik.

Toch zien we vaak dat organisaties ‘één AI’ kiezen en die overal voor gebruiken. Handig voor op de korte termijn, maar ook risicovol: je betaalt waarschijnlijk te veel en krijgt soms mindere kwaliteit dan nodig.

Je móet AI-modellen testen en benchmarken

LLM’s zijn geen statische API’s. Die modellen worden namelijk regelmatig bijgewerkt, providers wisselen met hun prijzen, en de kwaliteit schommelt door drukte of nieuwe versies. Zeker als je modellen gebruikt die je zelf niet host, heb je daar weinig controle over. Zonder testing en benchmarking loop je daarom risico op:

• Wisselende kwaliteit: gisteren werkte je flow prima, maar vandaag niet meer;
• Onnodige kosten: omdat je een dure ‘flagship AI’ gebruikt, terwijl een kleiner model hetzelfde doet;
• Vendor lock-in: je organisatie raakt afhankelijk van één leverancier;
• Lastige discussies: ‘het voelt trager’ is lastig uit te leggen, meetbare cijfers niet.

Promptfoo: open source framework

Wij testen alle LLM-modellen op structurele wijze. Hierbij maken wij gebruik van bijvoorbeeld Promptfoo.

Promptfoo is een open source framework om LLM-toepassingen te testen en te benchmarken. Je beschrijft in YAML (YAML Ain’t Markup Language, mensvriendelijk dataformaat) of in code:

• Welke taken je wil testen;
• Welke modellen/providers je wil vergelijken (OpenAI, Anthropic, Google, Azure, lokale modellen);
• Welke checks moeten slagen (bijvoorbeeld: bevat het antwoord een spreekwoord, is de JSON valide, is de toon vriendelijk).

Op basis van deze input draait Promptfoo automatisch al je testcases, toont de resultaten in een matrix én kan zo onderdeel worden van je CI/CD-pipeline.

Kort gezegd: Promptfoo brengt ouderwets testen naar moderne AI-toepassingen.

Kleine test uit onze praktijk

In de screenshots bij dit artikel zie je één van onze eigen runs met Promptfoo. We vergeleken vier modellen op drie realistische taken:

1. Symfony controller schrijven met validatie;
2. E-mail in het Nederlands naar een IT-manager, mét echt Nederlands spreekwoord;
3. Projectplan User Registration voor een solo-developer (20 uur/week), inclusief fases en risico’s.

Screenshot 1:

Promptfoo draait de testset in één klap. Per model zie je:

• Welke cases PASS of FAIL zijn;
• Hoeveel tokens (en dus kosten) zijn gebruikt;
• Het totale slagingspercentage.

In ons voorbeeld kwam één model duidelijk als beste uit de bus voor deze mix van taken. In een tweede screenshot zie je ook de samenvatting en dit laat precies zien wat we bedoelen: er is niet één beste AI. Het hangt af van de taak.

Screenshot 2:

• QUALITY WORK (coding, planning, professioneel Nederlands): Model A;
• FAST DRAFTS (brainstormen, snelle antwoorden): Model B;
• BALANCED (als model A niet beschikbaar is): Model C;
• Model D: alleen nuttig voor niche-cases, bijvoorbeeld extreem grote context.

Hoe En Masse Promptfoo inzet in organisaties

Bij het implementeren van een AI-oplossing, doorlopen we grofweg de volgende stappen:

1. Processen in kaart brengen: samen met het team bepalen we welke stappen écht belangrijk zijn. Code genereren, e-mails beantwoorden, samenvattingen, rapportages.
2. Echte use-cases omzetten in tests: geen ‘lorem ipsum’-prompts maar realistische voorbeelden: echte klantvragen, echte tickets, echte interne teksten. Voor iedere testcase beschrijven we wat een goed antwoord is.
3. Promptfoo configureren: in YAML leggen we vast welke modellen we willen testen, welke prompts of agents we gebruiken en welke criteria bepalen of een antwoord goed is (bijvoorbeeld: moet een spreekwoord bevatten, mag geen privacygevoelige data lekken, moet geldbedragen in euro vermelden).
4. Benchmark draaien en analyseren: Promptfoo draait alles door en toont een overzichtelijke matrix met scores, latency en kosten per model. Zo kunnen we onderbouwd kiezen. Soms wint een ‘klein’ model met gemak van een dure topper.
5. Continu monitoren: dezelfde tests draaien we periodiek of bij elke deployment. Als een provider onder water een model wijzigt en de kwaliteit daalt, zien we dat direct in de resultaten. Zo voorkom je dat klanten de eerste zijn die het merken.

Wat levert het gebruik van Promptfoo jou op?

Dat wij fan zijn van Promptfoo moge duidelijk zijn. Nu wil jij natuurlijk weten wat het voor jou als organisatie oplevert. Komt ‘ie:

• Betere kwaliteit: je gebruikt het LLM-model dat aantoonbaar het beste presteert op jóuw taken;
• Lagere kosten: geen overkill-modellen voor simpele taken;
• Minder risico: regressies en rare model-updates zie je in je tests en niet pas in productie (of na een belletje van de klant);
• Transparantie richting management: in plaats van ‘het voelt beter’ kun je het laten zien met duidelijke cijfers: hogere score, lagere maandelijkse kosten.

Ook verder kijken dan ‘één AI’?

Werk je nu vooral met ChatGPT en ben je benieuwd welke modellen het beste passen bij jouw processen? Wij helpen je graag! Samen brengen we jouw belangrijkste AI-taken in kaart, zetten we een pragmatische testset op met bijvoorbeeld Promptfoo en kiezen we een modelstrategie die past bij kwaliteit, kosten en risico. Klinkt goed toch?

Bel of mail ons, dan laten we je live zien hoe zo’n benchmark werkt; inclusief kleurrijke PASS/FAIL-matrix. Want wij zeggen niet voor niets heel graag “niet mouwen maar (meteen) bouwen”.

The post Er is meer dan ChatGPT: kies het juiste model met Promptfoo appeared first on En Masse - niet mauwen maar bouwen.

Over Temperature in een AI-taalmodel

De laagste modus van Temperature, de ‘deterministische modus’, is van 0,0 tot 0,2 en daarmee ijskoud. Het model kiest het meest waarschijnlijke volgende woord. Perfect voor cijfers, juridische passages of SQL-queries: alles wat één juist antwoord kent.

Iets lauwer is de gebalanceerde modus, van 0,3 tot 0,7. Tussen deze temperaturen geeft het AI-taalmodel voldoende variatie, zonder al te veel risico op verzinsels. Ideaal voor analyses, e-mails of whitepaper-samenvattingen.

Hoog risico met hoog rendement vinden we bij 0,8 – 1,0: heet. Handig bij brainstorms, creatieve slogans, poëzie. Verwacht onverwachte invalshoeken en controleer dubbel op feitelijke onjuistheden.

Temperature actief managen

Denk bij de input na over de output. Werk je met feiten (fintech, pharma of bijvoorbeeld juridische documenten), zet je Temperature dan laag. De resultaten zullen zo reproduceerbaar en meetbaar zijn.

Heb je echter hogere creativiteit output nodig, verhoog dan de settings, maar bekijk eerst hoe hoog je moet gaan: een creatiever – en dus langer – antwoord kost meer denktijd – meer tokens – en resulteert dus in een hogere factuur. Een vriendelijke toon zonder dat je merk-stem teveel schommelt kan bijvoorbeeld een setting van 0,6 zijn. Dat kan al creatief genoeg zijn.

Houd altijd in gedachten dat een hogere instelling ook gekkere ideeën betekent. Briljante vindingen of klinkklare onzin: check afhankelijk van je doel altijd even of de output juist is. Bekijk ook welke temperatuur instellingen werken voor jouw doelstelling en log dit.

Praktische workflow in 3 stappen

1. Definieer je doel: zoek ik een feit of een fantasie? Bepaal vooraf een numerieke waarde en schrijf die op in je prompt-doc.
2. Test 3 waarden: 0,2 – 0,6 – 0,9. Vergelijk de output op toon, lengte en foutratio. Bekijk welke output het beste aansluit bij de doelstelling.
3. Monitor en itereer: kijk bijvoorbeeld maandelijks of de output nog in je straatje past. Een nieuwe AI-taalmodel-release kan de Temperature-impact namelijk verschuiven.

Voorbeelden uit de praktijk

• Recruiter: “Schrijf een LinkedIn-Inmail over deze vacature” met een Temperature van 0,3. Een lage setting, want het gaat om een feitelijk bericht.
• Marketing slogan: “Bedenk 5 prikkelende taglines voor onze eco-startup” met een Temperature van 0,9. Je krijgt allerlei wilde suggesties, waarvan er eentje goud waard kan zijn.
• Earnings-call-samenvatting (data heavy): “Vat de Q1-call samen in 4 bullets, citeer alleen de getallen”. De juiste Temperature hierbij is 0,1 want je zoekt alleen feitelijke quotes en geen creatieve gedachtenspinsels.

TL;DR

Oftwel: too long, did not read: de tekst was te lang dus ik heb het niet gelezen. Zorg daarom voor een doordachte Temperature‑strategie.

• Lager voor zekerheid en consistentie
• Hoger voor ideeën-explosies
• Testen, loggen en periodiek bijschaven door nieuwe releases in de AI-taalmodellen

Zo haal je het beste uit je AI-taalmodel, voorkom je nare verrassingen en lever je output die precies past bij jouw (content)doelen).

Benieuwd of dit ook voor jouw organisatie werkt? Neem contact met ons op!

Bel of mail ons

The post Creatieve AI-teksten of stug om te lezen: bepaal de toon met Temperature appeared first on En Masse - niet mauwen maar bouwen.

Duidelijk datagebruik

TabbyML is een open-source code assistent die volledig lokaal draait. Geen cloud, geen meekijkende AI-bedrijven, geen onduidelijkheid over datagebruik. Alles blijft bij En Masse. En dat voelt… goed.

We gebruiken TabbyML niet alleen als slimme helper bij het coderen, maar ook om gevoelige documentatie te doorzoeken of inzichten te genereren. Zonder iets te uploaden naar externe servers.

• Werkt snel
• Leert van onze eigen codebase
• Volledig in eigen beheer

Het is alsof je je eigen ChatGPT hebt, maar dan eentje die nooit de deur uit gaat. En je kunt oneindig testen met verschillende modellen. 

Controle over AI

We testen veel AI-tools. Sommige maken dingen sneller, andere maken dingen mooier. Maar TabbyML geeft vooral iets terug wat je zelden nog tegenkomt in de AI posts: controle.

Benieuwd of dit ook voor jouw organisatie werkt? Laat maar weten, we praten je graag bij over de setup en onze ervaringen.

Bel of mail ons

The post Onze nieuwe open-source code assistent appeared first on En Masse - niet mauwen maar bouwen.