En 2022, nous avons appliqué l'IA générative au pipeline de contrôle de qualité sur un programme de migration de données chez Canada Life. Douze mois plus tard, nous avions confirmé une réduction de 50% de l'effort CQ avec zéro fuite de défauts sur des fenêtres de mesure de trois et six mois. Voici à quoi ça ressemblait vraiment.
Le programme migrait des données de polices d'un système hérité vers une plateforme moderne. Les données impliquées avaient des décennies d'ancienneté, structurées dans des formats qui avaient évolué sur plusieurs générations de systèmes, et soumises à des règles d'affaires continues qui n'avaient jamais été entièrement documentées.
Le CQ sur un programme comme celui-là est coûteux. Chaque dossier migré doit être vérifié. Les règles de vérification sont complexes. Le volume est élevé. L'équipe dépensait environ 40% de l'effort total du programme sur les activités de CQ.
Nous n'avons pas remplacé le processus de CQ par l'IA. Ce n'est pas ce qui s'est passé. Nous avons utilisé l'IA pour automatiser le travail de reconnaissance des modèles qui consommait la plupart du temps de l'équipe CQ: identifier les dossiers qui correspondaient à des modèles de défauts connus, signaler les anomalies pour examen humain, et générer les rapports de comparaison que les analystes CQ produisaient manuellement.
Le cadre de mesure a été mis en place avant que la composante IA soit mise en ligne. C'est ce que la plupart des programmes d'IA sautent. Nous avons défini l'effort CQ de référence par vague de migration, le taux de détection des défauts et le seuil acceptable de fuite de défauts avant de changer quoi que ce soit.
L'IA dans un pipeline de CQ fonctionne mieux quand elle gère la reconnaissance des modèles et que les humains gèrent le jugement. Le moment où vous retirez l'humain de l'examen des anomalies, vous perdez la capacité de détecter les exceptions pour lesquelles le modèle n'a pas été formé.
La réduction de 50% concernait l'effort CQ, pas la rigueur du CQ. Le nombre de dossiers vérifiés n'a pas diminué. Le taux de détection des défauts n'a pas diminué. Ce qui a diminué, c'est le temps que les analystes CQ passaient sur un travail mécanique de correspondance de modèles que l'IA pouvait faire plus rapidement et de façon plus cohérente.
Nous avons sous-estimé le temps nécessaire pour construire et valider la bibliothèque de modèles de défauts. L'IA n'était aussi bonne que les modèles que nous lui donnions. Si je devais refaire ça, j'allouerais six mois pour le développement et la validation de la bibliothèque de modèles avant de revendiquer des gains d'efficacité.
Le résultat a été confirmé à 50% et a tenu sur deux fenêtres de mesure. L'résultat plus important était que la capacité de l'équipe CQ a été redirigée vers un travail qui nécessitait leur expertise réelle plutôt que leur temps.