Op woensdag 6 maart en donderdag 7 maart waren weer de Test Automation Days in Rotterdam. Onder newsparkers is deze conferentie haast een vaste prik (de schrijver van deze blog, Joeri, is zelfs voor het eerst in aanraking gekomen met newspark op deze conferentie in 2022).

Deze editie was een bijzondere editie, om twee redenen. Ten eerste stond newspark namelijk met een eigen stand op de beurs. Collega Menno heeft weken gezwoegd op een eigen videogame die gaat over wat testers het liefst doen, namelijk bugs hunten! Deze game wekte de eerste dag gelijk al veel interesse op en trok een hoop mensen naar onze stand.

Ten tweede stond op dag twee niemand minder dan onze collega André op het programma. Hij gaf een presentatie over het parallel draaien van automatische testen. Uiteraard wilden we als Newspark André graag komen aanmoedigen/ondersteunen. Om die reden waren we dit jaar met maar liefst negen collega’s aanwezig.

Welkomst dag 2 door Ard Kramer

Op dag twee werden we, zoals altijd, verwelkomd door Ard Kramer. Hij vertelde kort over het thema van dit jaar, namelijk “Future Proof Test Automation: Finding the Right Balance!?”. De huidige markt groeit zo snel, dagelijks komen er nieuwe AI en automatiseringstools uit die impact hebben op ons testautomatiseringswerk. Hoe beoordelen we welke tools juist voor ons zijn? En hoe houden we de juiste balans tussen AI en menselijk werk? Het antwoord op deze vragen zouden in de loop van de dag duidelijk worden.

Fiona Charles & Corina Adina Pip

Ard verwelkomde als eerste keynote speaker Fiona Charles. Zij vertelde over de angst in de testwereld dat AI ons gaat vervangen. Volgens Fiona hoeven we hier echter nog niet bang voor te zijn. De AI modellen zijn namelijk zo goed als de data waarop ze getraind zijn. Trash in = trash out. Daarnaast heeft een AI tool een gebrek aan de wellicht belangrijkste skills voor een tester, namelijk creativiteit en kritisch nadenken. Ook moeten we niet vergeten dat we software bouwen om andere mensen te helpen. Een AI kan kent geen emoties en begrijpt de  menselijke niet. We moeten daarom kritisch blijven op ons gebruik van AI tools en vooral blijven vertrouwen op ons menselijke denken. Volgens mij een mooie opening van de dag. Wel moest iedereen hard lachen toen ze vertelde dat ze zelf niet met AI tools werkte.

 

Daarna kwam Corina Adina Pip aan het woord: Kwaliteit is voor testers van groot belang. We zijn goed in het beoordelen van kwaliteit van andermans werk, maar wie beoordeeld de kwaliteit van ons eigen werk? Laat jij als tester ook wel eens je testautomatisering, bug reports, test cases etc. reviewen? En niet alleen door andere testers maar ook door ontwikkelaars? Het is namelijk makkelijker om kwaliteit in te bouwen dan om achteraf alles aan te moeten passen. Testautomatisering is net zo goed code en het is dus belangrijk dat deze van goede kwaliteit is. 

Irja Straus & Christoph Stock

Na de keynotes was het tijd voor de eerste ronde van presentaties. De eerste presentatie die ik bijwoonde was van Irja Straus. Zij nam ons mee in de lessen die zijn heeft geleerd in haar carrière over testautomatisering:
– Mind the business. Het bedrijf moet wel achter het doel van testautomatisering staan.
– Mind the costs. Je moet de afweging maken of bepaalde testautomatisering de investering waard is.
– Mind the value. Zorg dat je testautomatisering nut heeft. En een doel heeft.
– Mind dysfunctional metrics. Zorg dat je de juiste dingen meet en context geeft aan deze metrics. 

De volgende presentatie werd gegeven door Christoph Stock. Hij ging in op hoe zij een testdata managementframework hebben gemigreerd van een mainframe naar de cloud. Er werd eerst gestart met een pilot en daarna stap voor stap het aantal applicaties uitgebreid. Daarnaast werd er een systeem opgezet waar wijzigingen makkelijk beoordeeld konden worden. Tot slot werden er autorisaties toegevoegd en de mogelijkheid om met echte data te kunnen testen (die automatisch verwijderd werd). Dit praatje was op zich interessant maar persoonlijk miste ik een beetje wat hij er van geleerd had en hoe zijn case study toepasbaar was op andere applicatielandschappen.

Lunch & Gil Zilberfeld

Na de eerste ronde was het tijd voor een welverdiende en goed verzorgde lunch. Deze werd uiteraard lekker buiten genuttigd in het zonnetje. Het was deze dag in maart namelijk heerlijk weer. Bijna te heerlijk om binnen te blijven! Helaas werd de volgende key note toch binnen gegeven. Deze keynote was van Gil Zilberfeld. Hij vertelde ons over de verloren kunst van test design. Voor hem waren er 4 belangrijke aspecten:
– Predictability. Je moet kunnen voorspellen dat je testen te vertrouwen zijn en zorgen dat je testdata aanmaakt voordat je een test draait om te voorkomen dat je test flaky worden.
– Feasibility. Je testen moeten wel goed te maken zijn en te onderhouden zijn. Als ze veel te veel tijd kosten om te bouwen dan moet je je afvragen of het wel nuttig is. Maar soms is een grotere tijdsinvestering wel de moeite waard om tijd te besparen in de toekomst.
– Simplicity. Hoe complexer je een test maakt hoe duurder het is om hem te bouwen, te onderhouden en te evalueren. Maak een test daarom niet moeilijker dan nodig is.
– Speed. Snellere testen geven sneller feedback. Maar het is niet altijd realistisch om een test sneller ’t maken want het kan afhankelijk zijn van een hoop factoren.

Kortom, test design is een balans van de bovenstaande factoren. Het evalueren van deze factoren doen we niet genoeg als testers. 

André Koene & Nenad Resi

Dan was het toch eindelijk tijd voor onze eigen André Koene. André zette het nut van parallel draaien van testen uit een aan de hand van het TRIMS-model
– Targeted: Bedenk wat het doel is wat je wilt behalen met je testen. Wat is het risico dat je probeert te dekken? Soms kan het handig zijn om meerdere scenario’s te combineren als ze min of meer hetzelfde testen. Ook is het goed om te kijken wanneer je welke testen draait. Werk bijvoorbeeld met tags om slechts een deel van je testen te draaien.
– Reliable: Voorkom dat testen elkaar gaan beïnvloeden. Testen moeten geïsoleerd kunnen draaien. Kijk goed ook naar code die vóór elke testscenario draait en die niet stuk gaan bij het parallel draaien van testen.
– Informative: Het is belangrijk om goede logging te hebben. Als een test faalt dan moet je weten waarom. Ook goed om deze logging te implementeren in de pipeline.
– Maintainable: Denk van tevoren al na over het parallel draaien van testen. Zorg ook dat je code netjes is opgezet zodat de onderhoudbaarheid goed blijft.
– Speedy: Het parallel opzetten is in principe simpel en heeft maar een paar regels code nodig. Het lastige is echter dat sommige dingen stuk gaan als je parallel gaat draaien. Kijk dan bijvoorbeeld naar je hooks, logs etc. Een andere tip is om klein te beginnen. Probeer niet alles in één keer in parallel te laten draaien maar kies een deel van je testen.

Kortom een erg interessante en nuttige presentatie, met concrete voorbeelden die erg nuttig waren. Complimenten aan André dat hij dit durfde te doen.

De laatste presentatie werd gegeven door Nenad Resimic. Hij liet zien hoe je de Cursor IDE kunt gebruiken om een Playwright project op te zetten. Het doel was om vanaf scratch met een AI tool een heel testautomatiseringsframework op te zetten zonder inbreng van de tester zelf. In Cursor AI kun je project rules instellen. Dit zijn instructies waar de tool zich aan moet houden om er voor te zorgen dat de output zich houdt aan jouw richtlijnen. Daarnaast kan cursor ook helpen bij het toevoegen van context aan je vraag en aan de test, het draaien van commands in een command prompt en kan het automatisch lint errors detecteren en fixen. Ook kan cursor documentatie doorlezen, locators toevoegen etc.

Andrew Knight

Dan was het al weer tijd voor de laatste keynote van de dag. Andrew Knight viel gelijk met de deur in huis en kondigde aan dat Behaviour Driven Development (BDD) dood was. Hij las een gedenkschrift op ter nagedachtenis van BDD. Maar dit was een grap! BDD is volgens Andrew nog niet dood. Functionaliteit van een applicatie is namelijk veel belangrijker dan code. Je code kan nog wel zo mooi zijn, als het geen business waarde oplevert dan heeft het weinig nut. 

In het begin was er een goede hype rondom BDD, het werd goed opgepakt en uiteindelijk zelfs pogingen gemaakt om het te commercialiseren. Echter waren deze pogingen tevergeefs en lieten de eigenaren BDD vallen. Er werden mooie AI tools uitgebracht waardoor BDD achterhaald leek. Maar de principes van BDD zijn nog steeds erg bruikbaar. De nieuwe tools sluiten echter niet goed aan op BDD. Het is daarom van belang dat we zorgen dat we deze tools beter laten aansluiten op het BDD proces.

Afsluiting en borrel

Na de laatste keynote werd nog lekker even genoten van de laatste zonnestralen onder het genot van een biertje en een bitterballetje en was de dag weer voorbij. De Test Automation Days 2025 was weer een geslaagde editie. Er kwam veel interessante informatie voorbij, een aantal nieuwe netwerkconnecties gemaakt en uiteraard onze collega André goed aangemoedigd.

#TADNL