Menno Pot: 25-04-2024
Vorige week hadden we bij newspark de eer om de 2e voortgangsmeeting van Autolink te faciliteren.
Autolink is een onderzoekstraject van de Open Universiteit van Utrecht, in samenwerking met the Universiteit van Valencia, onder subsidiering van de NWO.
Dit onderzoek wordt hoofdzakelijk gedaan door 2 PHD studenten, in 4 jaar tijd.
Newspark faciliteert middels een event locatie, maar ook door het inbrengen van kennis en ervaring, en op den duur door de ontwikkelde tool te testen en feedback er over te geven.
De ontwikkeling van Autolink bestaat uit een aantal stappen:
Allereerst wordt er onderzocht op welke manier het beste de requirements uit user stories gehaald kunnen worden. User stories in bijvoorbeeld Jira of Azure Devops. Hier is vergeleken hoe goed een mens het doet, hoe goed een Machine Learning approach het doet en hoe goed ChatGPT het doet. Interessant genoeg blijkt vooralsnog een mens beter hierin, al zal dat vermoedelijk niet lang meer duren.
In Jira (en azure devops) heeft elk “items” een type. Bijvoorbeeld Epic, Story, Task of sub-task.
Niet elk type bevat requirements, echter behandelen verschillende projecten vaak de types verschillend. Er blijkt dus helaas niet betrouwbaar te stellen dat bijvoorbeeld “Task” nooit requirements bevat. O.a. dit is wat het complex maakt om te bepalen of je een complete set aan requirements hebt of niet.
Een tweede stap is om deze requirements over te zetten naar scriptless testing. Dit doen ze met gebruik van Testar. Testar is een tool waarmee scriptless automatisch getest kan worden. Tot nu toe doet hij dit meer op random basis.
In jip en janneke taal: hij test gewoon door op elk knopje te drukken waarop hij kan drukken.
Middels autolink wordt er beter besloten waar er wel en waar niet geklikt moet worden. En wat er ingevuld moet worden en wat niet en wat er gevalideerd moet worden.
Ook hier is geëxperimenteerd met wat ChatGPT kan betekenen. Dit helpt, al zijn de onderzoekers ook erg geïnteresseerd in volgende LLM’s dan wel nieuwe versies van chatGPT.
Hierboven de relatie tussen de 1e en de 2e stap. Links in roze de 1e stap, rechts in oranje de 2e stap.
Naast newspark zijn ook deze partijen betrokken: Testcompass, ING, Mendix, B00 en Axini.
Het project loopt nog drie jaar. We zijn erg benieuwd wat er nog gaat komen en op welke manier het ons werk makkelijker kan maken.
Wie weet kunnen we over een tijd autolink de userstories uit Jira laten halen en dat Autolink ons meldt waar de bugs zitten in de implementatie. Hoeven wij testers alleen de developers nog maar te melden dat er bugs zijn. 😉