Compere, rapports de mutation testing expliqués par un LLM pour l'enseignement du test logiciel

Abstract

L'informatisation généralisée de la société et la complexification croissante des logiciels rendent essentielle l'élaboration de suites de tests logiciels de qualité. En ce sens, plusieurs techniques d'apprentissage du software testing ont vu le jour ces dernières années au travers du mutation testing. En parallèle, les performances récentes des modèles de langage tant en compréhension qu'en génération de texte mais aussi de code en font des candidats potentiels pour assister les étudiants dans l'apprentissage du développement de tests. Afin d'en avoir la confirmation, une expérience a été menée avec des étudiants n'ayant que peu d'expérience en test logiciel en comparant les résultats obtenu d'une partie de ces étudiants utilisant un rapport d'un outil classique de mutation testing et un rapport augmenté de conseils générés par un modèle de langage. Les résultats obtenus semblent prometteur puisque les rapports augmentés ont permis l'amélioration dumutation score et du mutant coverage au sein du groupe d'une manière plus générale que les autres rapports. De plus, les rapports augmentés semblent principalement avoir été efficace pour tester les méthodes permettant de modifier et de récupérer les valeurs de variables privées.