12. TA!>Software
In 1 van mijn opdrachten was de stelling: “het test framework moet 3 keer zo goed zijn als de software die we testen”.
Dit klinkt misschien vreemd, want waarom zorg je niet dat de software zelf 3 keer zo goed is? Echter, de software is veel complexer en veel grootser. Om die 3 keer zo goed te krijgen, zonder testen die aantonen hoe goed het is, kost enorm veel tijd.
En nog veel belangrijker:
Stel, je test framework is net zo goed als je software. In de helft van de gevallen heeft de TA dan een falende test door de software en in de andere helft van de gevallen door het test framework. Terwijl je het liefste ziet dat je TA een falende test heeft door een bug.
Daarbij zijn er doorgaans nog veel meer factoren waardoor testen falen, zonder dat er sprake is van een bug. Kijk bijvoorbeeld naar “Flaky testen” (deel 1/3) en bij “Instabiele Testomgeving” (deel 2/3). Falen je testen dan ook nog eens door een falend test framework, krijg je nog meer false negatives, of nog erger, false positives.
- Dus zorg altijd dat je TA framework zo goed mogelijk is, liefst duidelijk beter, dan de software die je test.
Dit doe je o.a. door voor je framework op zijn minst dezelfde kwaliteitchecks te hanteren als voor de software.
- Dus check ook alles in in Git.
- Werk alles bij middels pull requests die gereviewd worden door een andere testautomatiseerder of een programmeur.
- Bouw unittesten in die checken of je framework inderdaad nog steeds dezelfde resultaten geeft in specifieke foutsituaties.
Naar Menno’s idee is er altijd een oplossing mogelijk en als je maar wilt, dan vind je de juiste voor jouw project. We zijn benieuwd welke van deze tips jou gaan helpen in het verbeteren van jouw Testautomatisering. Veel succes ermee.