ChatJimmy is snel

Even terug naar Taalas en hun 17.000 tokens per seconde. Taalas ontwikkelde met AI-model Llama 3.1 8B chatbot ChatJimmy. De chatbot lijkt op het eerste gezicht een gewone chat-interface. Tot je iets typt. Het antwoord verschijnt zó snel, dat je denkt dat het gecached is. Maar dat is het niet: het is een HC1-chip die 17.000 tokens per seconde haalt. Ter vergelijking: een Nvidia H200, een van de snelste GPU’s ter wereld, haalt met hetzelfde model ongeveer 230 tokens per seconde. ChatJimmy is dus 74 keer sneller.

Ga zelf maar eens naar chatjimmy.ai en vraag: “Schrijf 20 paragrafen over de toekomst van AI-hardware”. Je ziet het verschil in seconden, letterlijk.

Het model als chip

Hoe doet Taalas dat? Leggen we natuurlijk aan je uit. Bij normale AI-interference laadt een GPU de weights van een model uit geheugen (HBM), rekent ermee en schrijft het resultaat terug. Dat heen en weer schuiven van data is de bottleneck; de zogenaamde memory wall.

Taalas pakt dit radicaal anders aan. Eerst bouwden ze een ASIC (Application-Specific Integrated Circuit), waarbij de weights van het AI-model letterlijk in de metaallagen van de chip zijn geëtst. Er is nu geen apart geheugen meer: het model is de chip.

Stel je voor dat je een recept uit een kookboek volgt. Normaal pak je het boek, lees je een stap, leg je het boek weg, voer je de stap uit, en pak je het boek weer om verder te gaan met de volgende stap. Dat is ook hoe een GPU werkt. Maar met de HC1-chip van Taalas is het alsof het recept in je handen gegraveerd staat; je hoeft nergens meer te zoeken.

De specificaties

• 53 miljard transistors op 815 mm²
• Gefabriceerd door TSMC op 6nm
• 200 watt per kaart (een H100 verbruikt 700 watt)
• Een server met 10 HC1-kaarten: 2.500 watt totaal
• 20x lagere kosten dan GPU-gebaseerde inference
• 10x minder stroomverbruik

En misschien het meest indrukwekkende: Taalas heeft een compiler-achtig systeem gebouwd dat van elk model in ongeveer een week een chipontwerp maakt. Geen R&D-cyclus van jaren, maar gewoon meteen een productielijn.

Kwaliteit versus snelheid

De HC1 draait Llama 3.1 8B met agressieve quantisatie: een mix van 3-bit en 6-bit parameters. Dat betekent dat het model kleiner en minder precies is dan de full-precision versie op een GPU. En dat merk je soms. Bij complexe redeneeringstaken of genuanceerde teksten levert een groter model betere resultaten.

Maar juist daar zit de crux: voor heel veel taken is een kleiner model al goed genoeg. Voor het beantwoorden van klantvragen, classificeren van data, samenvatten van teksten, verwerken van formulieren of het routeren van e-mails heb je geen 70B–parameter model nodig. 

De kracht van parallelle iteratie

En nu wordt het pas echt interessant. Bij 17.000 tokens per seconde kun je hetzelfde model 100 keer dezelfde vraag laten benaderen, iedere keer vanuit een andere invalshoek. Vervolgens selecteer je het beste antwoord. Vergelijk het met één expert die lang nadenkt; in plaats daarvan pak je honderd snelle denkers en kies je het slimste antwoord. Bij de huidige GPU-snelheden is dit onbetaalbaar, maar bij HC1-snelheden is dat triviaal.

Dit is een fundamenteel andere manier van denken over AI-kwaliteit. Niet: gebruik een groter model. Maar: gebruik een snel model, vaker, slimmer.

Meer weten?

Verder praten en nog meer weten? Bel of mail ons.

The post Het model is de chip: waarom AI-inference nooit meer hetzelfde wordt appeared first on En Masse - niet mauwen maar bouwen.

Modellen versus tools

Eerst even terug. We kennen ChatGPT natuurlijk allemaal. Het is een product (of tool) van het bedrijf OpenAI, net zoals Gemini bijvoorbeeld een product van Google is. Onder deze producten draaien verschillende Large Language Modellen (LLM’s), denk aan GPT-4.1, Claude, Gemini 2.0, Llama-varianten of lokale modellen via Ollama.

Maar die modellen verschillen flink in prijs en kwaliteit. Sommige modellen schrijven fantastische code, maar gaan de mist in met bijvoorbeeld Nederlandse spreekwoorden. Andere modellen zijn supersnel en goedkoop, maar halen lagere kwaliteit bij complexe taken. En weer andere modellen zijn juist extreem goed in redeneren, maar duur in gebruik.

Toch zien we vaak dat organisaties ‘één AI’ kiezen en die overal voor gebruiken. Handig voor op de korte termijn, maar ook risicovol: je betaalt waarschijnlijk te veel en krijgt soms mindere kwaliteit dan nodig.

Je móet AI-modellen testen en benchmarken

LLM’s zijn geen statische API’s. Die modellen worden namelijk regelmatig bijgewerkt, providers wisselen met hun prijzen, en de kwaliteit schommelt door drukte of nieuwe versies. Zeker als je modellen gebruikt die je zelf niet host, heb je daar weinig controle over. Zonder testing en benchmarking loop je daarom risico op:

• Wisselende kwaliteit: gisteren werkte je flow prima, maar vandaag niet meer;
• Onnodige kosten: omdat je een dure ‘flagship AI’ gebruikt, terwijl een kleiner model hetzelfde doet;
• Vendor lock-in: je organisatie raakt afhankelijk van één leverancier;
• Lastige discussies: ‘het voelt trager’ is lastig uit te leggen, meetbare cijfers niet.

Promptfoo: open source framework

Wij testen alle LLM-modellen op structurele wijze. Hierbij maken wij gebruik van bijvoorbeeld Promptfoo.

Promptfoo is een open source framework om LLM-toepassingen te testen en te benchmarken. Je beschrijft in YAML (YAML Ain’t Markup Language, mensvriendelijk dataformaat) of in code:

• Welke taken je wil testen;
• Welke modellen/providers je wil vergelijken (OpenAI, Anthropic, Google, Azure, lokale modellen);
• Welke checks moeten slagen (bijvoorbeeld: bevat het antwoord een spreekwoord, is de JSON valide, is de toon vriendelijk).

Op basis van deze input draait Promptfoo automatisch al je testcases, toont de resultaten in een matrix én kan zo onderdeel worden van je CI/CD-pipeline.

Kort gezegd: Promptfoo brengt ouderwets testen naar moderne AI-toepassingen.

Kleine test uit onze praktijk

In de screenshots bij dit artikel zie je één van onze eigen runs met Promptfoo. We vergeleken vier modellen op drie realistische taken:

1. Symfony controller schrijven met validatie;
2. E-mail in het Nederlands naar een IT-manager, mét echt Nederlands spreekwoord;
3. Projectplan User Registration voor een solo-developer (20 uur/week), inclusief fases en risico’s.

Screenshot 1:

Promptfoo draait de testset in één klap. Per model zie je:

• Welke cases PASS of FAIL zijn;
• Hoeveel tokens (en dus kosten) zijn gebruikt;
• Het totale slagingspercentage.

In ons voorbeeld kwam één model duidelijk als beste uit de bus voor deze mix van taken. In een tweede screenshot zie je ook de samenvatting en dit laat precies zien wat we bedoelen: er is niet één beste AI. Het hangt af van de taak.

Screenshot 2:

• QUALITY WORK (coding, planning, professioneel Nederlands): Model A;
• FAST DRAFTS (brainstormen, snelle antwoorden): Model B;
• BALANCED (als model A niet beschikbaar is): Model C;
• Model D: alleen nuttig voor niche-cases, bijvoorbeeld extreem grote context.

Hoe En Masse Promptfoo inzet in organisaties

Bij het implementeren van een AI-oplossing, doorlopen we grofweg de volgende stappen:

1. Processen in kaart brengen: samen met het team bepalen we welke stappen écht belangrijk zijn. Code genereren, e-mails beantwoorden, samenvattingen, rapportages.
2. Echte use-cases omzetten in tests: geen ‘lorem ipsum’-prompts maar realistische voorbeelden: echte klantvragen, echte tickets, echte interne teksten. Voor iedere testcase beschrijven we wat een goed antwoord is.
3. Promptfoo configureren: in YAML leggen we vast welke modellen we willen testen, welke prompts of agents we gebruiken en welke criteria bepalen of een antwoord goed is (bijvoorbeeld: moet een spreekwoord bevatten, mag geen privacygevoelige data lekken, moet geldbedragen in euro vermelden).
4. Benchmark draaien en analyseren: Promptfoo draait alles door en toont een overzichtelijke matrix met scores, latency en kosten per model. Zo kunnen we onderbouwd kiezen. Soms wint een ‘klein’ model met gemak van een dure topper.
5. Continu monitoren: dezelfde tests draaien we periodiek of bij elke deployment. Als een provider onder water een model wijzigt en de kwaliteit daalt, zien we dat direct in de resultaten. Zo voorkom je dat klanten de eerste zijn die het merken.

Wat levert het gebruik van Promptfoo jou op?

Dat wij fan zijn van Promptfoo moge duidelijk zijn. Nu wil jij natuurlijk weten wat het voor jou als organisatie oplevert. Komt ‘ie:

• Betere kwaliteit: je gebruikt het LLM-model dat aantoonbaar het beste presteert op jóuw taken;
• Lagere kosten: geen overkill-modellen voor simpele taken;
• Minder risico: regressies en rare model-updates zie je in je tests en niet pas in productie (of na een belletje van de klant);
• Transparantie richting management: in plaats van ‘het voelt beter’ kun je het laten zien met duidelijke cijfers: hogere score, lagere maandelijkse kosten.

Ook verder kijken dan ‘één AI’?

Werk je nu vooral met ChatGPT en ben je benieuwd welke modellen het beste passen bij jouw processen? Wij helpen je graag! Samen brengen we jouw belangrijkste AI-taken in kaart, zetten we een pragmatische testset op met bijvoorbeeld Promptfoo en kiezen we een modelstrategie die past bij kwaliteit, kosten en risico. Klinkt goed toch?

Bel of mail ons, dan laten we je live zien hoe zo’n benchmark werkt; inclusief kleurrijke PASS/FAIL-matrix. Want wij zeggen niet voor niets heel graag “niet mouwen maar (meteen) bouwen”.

The post Er is meer dan ChatGPT: kies het juiste model met Promptfoo appeared first on En Masse - niet mauwen maar bouwen.

Over Temperature in een AI-taalmodel

De laagste modus van Temperature, de ‘deterministische modus’, is van 0,0 tot 0,2 en daarmee ijskoud. Het model kiest het meest waarschijnlijke volgende woord. Perfect voor cijfers, juridische passages of SQL-queries: alles wat één juist antwoord kent.

Iets lauwer is de gebalanceerde modus, van 0,3 tot 0,7. Tussen deze temperaturen geeft het AI-taalmodel voldoende variatie, zonder al te veel risico op verzinsels. Ideaal voor analyses, e-mails of whitepaper-samenvattingen.

Hoog risico met hoog rendement vinden we bij 0,8 – 1,0: heet. Handig bij brainstorms, creatieve slogans, poëzie. Verwacht onverwachte invalshoeken en controleer dubbel op feitelijke onjuistheden.

Temperature actief managen

Denk bij de input na over de output. Werk je met feiten (fintech, pharma of bijvoorbeeld juridische documenten), zet je Temperature dan laag. De resultaten zullen zo reproduceerbaar en meetbaar zijn.

Heb je echter hogere creativiteit output nodig, verhoog dan de settings, maar bekijk eerst hoe hoog je moet gaan: een creatiever – en dus langer – antwoord kost meer denktijd – meer tokens – en resulteert dus in een hogere factuur. Een vriendelijke toon zonder dat je merk-stem teveel schommelt kan bijvoorbeeld een setting van 0,6 zijn. Dat kan al creatief genoeg zijn.

Houd altijd in gedachten dat een hogere instelling ook gekkere ideeën betekent. Briljante vindingen of klinkklare onzin: check afhankelijk van je doel altijd even of de output juist is. Bekijk ook welke temperatuur instellingen werken voor jouw doelstelling en log dit.

Praktische workflow in 3 stappen

1. Definieer je doel: zoek ik een feit of een fantasie? Bepaal vooraf een numerieke waarde en schrijf die op in je prompt-doc.
2. Test 3 waarden: 0,2 – 0,6 – 0,9. Vergelijk de output op toon, lengte en foutratio. Bekijk welke output het beste aansluit bij de doelstelling.
3. Monitor en itereer: kijk bijvoorbeeld maandelijks of de output nog in je straatje past. Een nieuwe AI-taalmodel-release kan de Temperature-impact namelijk verschuiven.

Voorbeelden uit de praktijk

• Recruiter: “Schrijf een LinkedIn-Inmail over deze vacature” met een Temperature van 0,3. Een lage setting, want het gaat om een feitelijk bericht.
• Marketing slogan: “Bedenk 5 prikkelende taglines voor onze eco-startup” met een Temperature van 0,9. Je krijgt allerlei wilde suggesties, waarvan er eentje goud waard kan zijn.
• Earnings-call-samenvatting (data heavy): “Vat de Q1-call samen in 4 bullets, citeer alleen de getallen”. De juiste Temperature hierbij is 0,1 want je zoekt alleen feitelijke quotes en geen creatieve gedachtenspinsels.

TL;DR

Oftwel: too long, did not read: de tekst was te lang dus ik heb het niet gelezen. Zorg daarom voor een doordachte Temperature‑strategie.

• Lager voor zekerheid en consistentie
• Hoger voor ideeën-explosies
• Testen, loggen en periodiek bijschaven door nieuwe releases in de AI-taalmodellen

Zo haal je het beste uit je AI-taalmodel, voorkom je nare verrassingen en lever je output die precies past bij jouw (content)doelen).

Benieuwd of dit ook voor jouw organisatie werkt? Neem contact met ons op!

Bel of mail ons

The post Creatieve AI-teksten of stug om te lezen: bepaal de toon met Temperature appeared first on En Masse - niet mauwen maar bouwen.

Sam Altman, CEO van OpenAI, kondigde het persoonlijk aan: OpenAI ondersteunt nu ook MCP-integraties. MCP is beschikbaar in de Agents SDK en binnenkort ook in de desktop-app van ChatGPT en Response API. Een hele mond vol maar lees gauw verder.

Hoe werkt MCP?

Een voorbeeld: jij leest op je computer (host), met je browser (client), deze post op LinkedIn. Je browser heeft hiervoor een verzoek gestuurd naar de LinkedIn-server en die server stuurde de webpagina terug naar jouw browser.

Dit is precies wat een AI-toepassing ook doet: hij fungeert als host (de computer uit het voorbeeldje hierboven) en gebruikt een MCP-client (bijvoorbeeld de browser uit het voorbeeldje) om verzoeken te sturen naar MCP-servers (bijvoorbeeld de LinkedIn-server). De server verwerkt het verzoek en stuurt een resultaat terug. Op deze manier kunnen AI-modellen met externe systemen communiceren.

Een ander voorbeeld. Wij krijgen geautomatiseerd een bug report binnen van een klant. De AI-agent analyseert de bug, bepaalt de prioriteit, doet een voorstel qua oplossingsrichting en legt deze aan ons voor via ons interne communicatiekanaal. De MCP koppelt in dit geval onze bugtracker, de analyse en ons communicatiekanaal aan elkaar, zodat wij direct tot (de juiste) actie over kunnen gaan.

Nog een voorbeeld. Je schrijft in ChatGPT of Claude AI een artikel over vakantie in Frankrijk. Je kunt dankzij een MCP-integratie (bijvoorbeeld de MCP voor Google Maps) realtime de temperatuur en weersverwachting van de komende 7 dagen in je artikel laten verwerken. Geen oude data waarop de AI getraind is (bijvoorbeeld: in de zomer is het altijd warm), maar real time data (bijvoorbeeld: de windrichting verandert dus woensdagmiddag wordt het niet warm maar fris). Ben je vervolgens tevreden over je artikel in ChatGPT? Laat de MCP voor Google Drive het direct opslaan in je Persoonlijke Drive.

Waarom MCP?

AI-toepassingen hebben vaak toegang nodig tot externe informatie en tools. MCP-integraties zorgen voor een uniforme manier van data ophalen of acties uitvoeren, zonder dat er per tool een aparte integratie benodigd is.

Microsoft noemt MCP de “USB-C voor AI”: het helpt AI-modellen om niet langer geïsoleerd te werken, maar om zich te ontwikkelen tot systemen met meer context en meer interactie.

MCP in actie

De Model Context Protocollen zijn de nieuwe bouwstenen voor AI-toepassingen. Wil je zien welke MCP-integraties wij gebruiken?

Check deze lijst:
GitHub: Model Context Protocol Servers

We kunnen hiermee eenvoudiger koppelen aan CRM-systemen, automatische rapportages genereren en interacties aangaan met externe diensten.

Anthropic, het bedrijf achter Claude AI, lanceerde deze nieuwe standaard al eerder en dat OpenAI het nu ook omarmt, betekent dat MCP-integraties een blijvertje zijn. De toekomst van AI wordt een stuk slimmer en veelzijdiger.

The post Wat is MCP en waarom ondersteunt OpenAI het nu? appeared first on En Masse - niet mauwen maar bouwen.

Veiligheid en optimaal resultaat

Waarom eigenlijk? Omdat die piccolo of portier veel méér doet dan alleen de deur bedienen. Hij biedt persoonlijk contact, helpt gasten met hun bagage tijdens het in- en uitchecken én kent vaak ook nog eens de taxichauffeurs persoonlijk. Hij houdt voortdurend de omgeving in de gaten, signaleert situaties die extra aandacht nodig hebben en kan direct ingrijpen wanneer nodig. Daarnaast weet hij antwoord te geven op allerlei vragen van gasten, wat zorgt voor een gevoel van welkom, vertrouwen en veiligheid. Bovendien straalt zo’n piccolo een bepaalde klasse en uitstraling uit die een schuifdeur nooit zal evenaren; precies zoals wij bij En Masse zorgvuldig toezicht houden op AI-processen om optimale resultaten te garanderen.

Waarde in menselijke factor

Zo zien wij de rol van AI ook binnen bedrijven. Ja, AI kan veel taken efficiënter, sneller en goedkoper uitvoeren dan mensen. Maar de échte waarde zit in hoe we AI inzetten om de menselijke factor juist te versterken. Het gaat om de combinatie van slimme automatisering en menselijke aandacht: dáár ontstaat echte magie.

Bij En Masse zien we dagelijks hoe AI onze klanten helpt met snelle en efficiënte oplossingen. We monitoren voortdurend hoe AI presteert en sturen bij waar nodig, net zoals een piccolo alert blijft op alles wat er in en rond het hotel gebeurt. Tegelijkertijd zorgt onze menselijke touch voor vertrouwen en persoonlijk contact, iets wat AI alleen nooit volledig kan vervangen.

Hoe zie jij AI in jouw organisatie? Denk je dat AI vooral vervangt, of juist versterkt? We praten graag eens verder!

Bel of mail ons

The post AI versus de hotel-piccolo appeared first on En Masse - niet mauwen maar bouwen.

Vinden wat je zoekt

“Geef mij alle patiënten waarvoor we een aanvraag zijn begonnen in de afgelopen maand, waarvan de aanvraag nog niet is afgerond en waarbij de patiënt ouder is dan 65 jaar”. Normaal kun je deze vraag niet stellen in een zoekveld: je krijgt weinig relevante zoekresultaten.

Heb je bijvoorbeeld een achternaam nodig, dan kan een developer het zo programmeren dat er in een bepaalde kolom van een tabel in de database wordt gezocht naar de zoekterm en de zoekresultaten vervolgens worden weergegeven op een manier die alle data laat zien die relevant is. Ga je een stapje verder en maak je je zoekterm iets moeilijker door te zoeken op meerdere steekwoorden of een zin in gewone mensentaal, vind je waarschijnlijk niet helemaal wat je zoekt.

Succesvol zoeken met AI-inputveld

Artificial Intelligence kan ons helpen om sneller kwaliteit te leveren. Ook is het voor ons een inspiratiebron om te kijken hoe wij de kracht van de tools kunnen gebruiken voor andere ondernemers. Bijvoorbeeld dus bij het ontwikkelen van een zoekfunctie binnen een applicatie.

Dankzij onze implementatie met AI kan onze klant nu toch van alles vragen in een AI-inputveld. De eerste tests zijn succesvol: data die voorheen niet naar boven te krijgen was, kan de klant nu zelf zoeken. Het systeem geeft de relevante informatie direct weer. Voorheen zouden we een export moeten maken, of een nieuwe ‘rapportage’. De output voor het resultaat maken we ook niet zelf: AI bepaalt de weergave – binnen de constraints natuurlijk.

Veilige data

En het is nog veilig ook. Wij hebben op een slimme manier een tussenlaag weten te creëren tussen de data en AI, waardoor data binnen de applicatie nooit naar AI wordt gestuurd en dus altijd veilig in de applicatie blijft. Ook wanneer de gebruiker bepaalde privacygevoelige informatie in de zoekbalk invult, zoals een BSN, ondervangen we dat deze data naar de AI gaat.

Nuttige AI-abonnementen

Wij hebben ondertussen al meerdere AI-gerelateerde abonnementen afgesloten. Zijn die allemaal even zinvol en behulpzaam? Niet allemaal. Vanwege alle ontwikkelingen zijn tools die vandaag enorm nuttig zijn morgen misschien oud nieuws. Er zijn daarom regelmatig verschuivingen in de tools waar wij mee werken.

Ook benieuwd naar AI?

Ben jij benieuwd wat AI voor jouw bedrijf kan betekenen? Hoe je AI in jouw bedrijf kan integreren? Heb je collega’s die de meerwaarde niet zien maar die je graag wil overtuigen? Wij helpen je graag.

Bel of mail ons

The post Slim zoeken met Artificial Intelligence-implementatie appeared first on En Masse - niet mauwen maar bouwen.