Zoeken naar meer functionaliteiten in Lightspeed

De webshop werkte al met Lightspeed – het complete kassasysteem en betaalplatform voor horeca- en retailondernemers – maar was op zoek naar meer custom functionaliteiten. De technische partij die op dat moment aan boord was kon daar helaas niet voldoende bij helpen en via-via kwam de webshop bij ons terecht. Werden wij blij van, want als er íemand is gespecialiseerd in maatwerk en data, zijn wij het.

Samen met de klant brachten we de wensen in kaart. De mogelijkheden om Lightspeed naar eigen hand te zetten zijn beperkt, toch konden we de mogelijkheden oprekken en de wensen realiseren via een slimme workaround.

Custom made oplossing

We pasten bijvoorbeeld het bestaande thema aan en voegden uitgebreide opties toe voor meertaligheid, nieuwe navigatie- en URL-structuren en we zorgden voor geoptimaliseerde afbeeldingen.

De klant kan nu meer gewenste informatie uit Lightspeed halen dan voorheen en zo hebben we toch een custom made oplossing kunnen opleveren.

Bel of mail ons, als je ook op zoek bent naar een maatwerkoplossing. We helpen je graag!

The post Lightspeed-maatwerk voor webshop in moderne en duurzame accessoires appeared first on En Masse - niet mauwen maar bouwen.

Modellen versus tools

Eerst even terug. We kennen ChatGPT natuurlijk allemaal. Het is een product (of tool) van het bedrijf OpenAI, net zoals Gemini bijvoorbeeld een product van Google is. Onder deze producten draaien verschillende Large Language Modellen (LLM’s), denk aan GPT-4.1, Claude, Gemini 2.0, Llama-varianten of lokale modellen via Ollama.

Maar die modellen verschillen flink in prijs en kwaliteit. Sommige modellen schrijven fantastische code, maar gaan de mist in met bijvoorbeeld Nederlandse spreekwoorden. Andere modellen zijn supersnel en goedkoop, maar halen lagere kwaliteit bij complexe taken. En weer andere modellen zijn juist extreem goed in redeneren, maar duur in gebruik.

Toch zien we vaak dat organisaties ‘één AI’ kiezen en die overal voor gebruiken. Handig voor op de korte termijn, maar ook risicovol: je betaalt waarschijnlijk te veel en krijgt soms mindere kwaliteit dan nodig.

Je móet AI-modellen testen en benchmarken

LLM’s zijn geen statische API’s. Die modellen worden namelijk regelmatig bijgewerkt, providers wisselen met hun prijzen, en de kwaliteit schommelt door drukte of nieuwe versies. Zeker als je modellen gebruikt die je zelf niet host, heb je daar weinig controle over. Zonder testing en benchmarking loop je daarom risico op:

• Wisselende kwaliteit: gisteren werkte je flow prima, maar vandaag niet meer;
• Onnodige kosten: omdat je een dure ‘flagship AI’ gebruikt, terwijl een kleiner model hetzelfde doet;
• Vendor lock-in: je organisatie raakt afhankelijk van één leverancier;
• Lastige discussies: ‘het voelt trager’ is lastig uit te leggen, meetbare cijfers niet.

Promptfoo: open source framework

Wij testen alle LLM-modellen op structurele wijze. Hierbij maken wij gebruik van bijvoorbeeld Promptfoo.

Promptfoo is een open source framework om LLM-toepassingen te testen en te benchmarken. Je beschrijft in YAML (YAML Ain’t Markup Language, mensvriendelijk dataformaat) of in code:

• Welke taken je wil testen;
• Welke modellen/providers je wil vergelijken (OpenAI, Anthropic, Google, Azure, lokale modellen);
• Welke checks moeten slagen (bijvoorbeeld: bevat het antwoord een spreekwoord, is de JSON valide, is de toon vriendelijk).

Op basis van deze input draait Promptfoo automatisch al je testcases, toont de resultaten in een matrix én kan zo onderdeel worden van je CI/CD-pipeline.

Kort gezegd: Promptfoo brengt ouderwets testen naar moderne AI-toepassingen.

Kleine test uit onze praktijk

In de screenshots bij dit artikel zie je één van onze eigen runs met Promptfoo. We vergeleken vier modellen op drie realistische taken:

1. Symfony controller schrijven met validatie;
2. E-mail in het Nederlands naar een IT-manager, mét echt Nederlands spreekwoord;
3. Projectplan User Registration voor een solo-developer (20 uur/week), inclusief fases en risico’s.

Screenshot 1:

Promptfoo draait de testset in één klap. Per model zie je:

• Welke cases PASS of FAIL zijn;
• Hoeveel tokens (en dus kosten) zijn gebruikt;
• Het totale slagingspercentage.

In ons voorbeeld kwam één model duidelijk als beste uit de bus voor deze mix van taken. In een tweede screenshot zie je ook de samenvatting en dit laat precies zien wat we bedoelen: er is niet één beste AI. Het hangt af van de taak.

Screenshot 2:

• QUALITY WORK (coding, planning, professioneel Nederlands): Model A;
• FAST DRAFTS (brainstormen, snelle antwoorden): Model B;
• BALANCED (als model A niet beschikbaar is): Model C;
• Model D: alleen nuttig voor niche-cases, bijvoorbeeld extreem grote context.

Hoe En Masse Promptfoo inzet in organisaties

Bij het implementeren van een AI-oplossing, doorlopen we grofweg de volgende stappen:

1. Processen in kaart brengen: samen met het team bepalen we welke stappen écht belangrijk zijn. Code genereren, e-mails beantwoorden, samenvattingen, rapportages.
2. Echte use-cases omzetten in tests: geen ‘lorem ipsum’-prompts maar realistische voorbeelden: echte klantvragen, echte tickets, echte interne teksten. Voor iedere testcase beschrijven we wat een goed antwoord is.
3. Promptfoo configureren: in YAML leggen we vast welke modellen we willen testen, welke prompts of agents we gebruiken en welke criteria bepalen of een antwoord goed is (bijvoorbeeld: moet een spreekwoord bevatten, mag geen privacygevoelige data lekken, moet geldbedragen in euro vermelden).
4. Benchmark draaien en analyseren: Promptfoo draait alles door en toont een overzichtelijke matrix met scores, latency en kosten per model. Zo kunnen we onderbouwd kiezen. Soms wint een ‘klein’ model met gemak van een dure topper.
5. Continu monitoren: dezelfde tests draaien we periodiek of bij elke deployment. Als een provider onder water een model wijzigt en de kwaliteit daalt, zien we dat direct in de resultaten. Zo voorkom je dat klanten de eerste zijn die het merken.

Wat levert het gebruik van Promptfoo jou op?

Dat wij fan zijn van Promptfoo moge duidelijk zijn. Nu wil jij natuurlijk weten wat het voor jou als organisatie oplevert. Komt ‘ie:

• Betere kwaliteit: je gebruikt het LLM-model dat aantoonbaar het beste presteert op jóuw taken;
• Lagere kosten: geen overkill-modellen voor simpele taken;
• Minder risico: regressies en rare model-updates zie je in je tests en niet pas in productie (of na een belletje van de klant);
• Transparantie richting management: in plaats van ‘het voelt beter’ kun je het laten zien met duidelijke cijfers: hogere score, lagere maandelijkse kosten.

Ook verder kijken dan ‘één AI’?

Werk je nu vooral met ChatGPT en ben je benieuwd welke modellen het beste passen bij jouw processen? Wij helpen je graag! Samen brengen we jouw belangrijkste AI-taken in kaart, zetten we een pragmatische testset op met bijvoorbeeld Promptfoo en kiezen we een modelstrategie die past bij kwaliteit, kosten en risico. Klinkt goed toch?

Bel of mail ons, dan laten we je live zien hoe zo’n benchmark werkt; inclusief kleurrijke PASS/FAIL-matrix. Want wij zeggen niet voor niets heel graag “niet mouwen maar (meteen) bouwen”.

The post Er is meer dan ChatGPT: kies het juiste model met Promptfoo appeared first on En Masse - niet mauwen maar bouwen.

Veel advertentiedata, weinig inzicht

De klant adverteerde op onder andere Google Ads, Bing Ads, Facebook ads, YouTube en Google Analytics 4 (GA4). Genoeg kanalen en dus heel veel data. Het ontbrak echter aan een belangrijk ding: inzicht. Welke geïnvesteerde euro leverde wat op? Want óf de data of tracking ontbrak, of het analyseren kostte te veel tijd omdat de data verspreid stond over verschillende platforms. Er bestaan wel veelgebruikte tools die dit alsnog kunnen analyseren, maar die kosten al snel duizenden euro’s per maand. Helemaal in het geval van onze klant: als je veel data hebt. 

Inzichtelijke dashboards met verkoopanalyses

Met onze eigen ontwikkelde ETL-oplossing maakten wij de informatie alsnog inzichtelijk voor de klant en dat voor een fractie van de gemiddelde prijs. We onttrokken data uit alle databronnen en verzamelden deze in BigQuery, het data warehouse van Google. De data werd opgeschoond, de relevante data bij elkaar gebracht en zo konden we de attributie van verkopen koppelen aan de customer journey van een klant.

Deze data gebruikten we vervolgens om meerdere dashboards te ontwikkelen waarop alle informatie visueel inzichtelijk is. Naast inzichten over welke advertenties of platforms goed scoren of welke verbeterd kunnen worden, ontwikkelden we met alle data iets extra’s: een duidelijk beeld over allerhande verkoopinformatie. Populaire productcategorieën, maten of kleuren. Voorheen was deze informatie moeilijker te vinden. Nu is alles inzichtelijk en ook makkelijk te vergelijken met voorgaande periodes.

Eenvoudig warehouse management systeem

In de toekomst kunnen we de ingewonnen data ook gebruiken voor een eenvoudig warehouse management systeem maar dan simpel en, net als met onze ETL-tool, voor een fractie van de gemiddelde prijs.

Jouw data in de ETL-tool van En Masse?

Onze ETL-tool onttrekt data uit een feed (Extract), formatteert deze (Transform) en stuurt de data via een API door (Load) naar een eindpunt. De tool is te vergelijken met Zapier of Adverity maar dan voor een fractie van de prijs.

Ook gebruikmaken van onze tool? Neem contact met ons op!

Bel of mail ons

The post Op maat gemaakte data dashboards voor luxe modewebshop appeared first on En Masse - niet mauwen maar bouwen.