Comment évaluer la performance des modèles d'IA ?

Il n'a jamais été facile d'évaluer les performances des modèles d'intelligence artificielle. Pour être honnête, à chaque fois que je vois différents modèles revendiquant leur précision, je me demande : "Ces chiffres sont-ils vraiment fiables ?" Tout comme nous ne pouvons pas tester des produits électroniques en nous contentant de regarder le score, les modèles d'IA doivent être évalués en tenant compte de tous les aspects. Parfois, un modèle féerique qui fonctionne bien en laboratoire devient insupportable dans le monde réel. Cela me rappelle qu'il y a quelque temps, un ami s'est plaint que son modèle NLP était aussi précis que 95% sur l'ensemble de test, et le résultat a été qu'il a presque énervé le client lorsqu'il a été appliqué dans la pratique - parce que les 5% erreurs se sont justement toutes produites sur les mots clés. Alors oui, il ne faut vraiment pas prendre au pied de la lettre toute cette histoire d'évaluation des performances de l'IA.

Les indicateurs d'évaluation ne sont pas une panacée

Si vous pensez que des mesures telles que la précision et le rappel constituent une description complète de la force d'un modèle d'IA, vous êtes peut-être naïf. En réalité, un modèle invincible lors d'une compétition Kaggle peut ne pas passer le cap lorsqu'il est placé dans un environnement de production. Prenons l'exemple de notre précision commune : dans un ensemble de données comprenant 99% échantillons négatifs, même si le modèle ne fait rien d'autre que prédire les négatifs, la précision est toujours aussi élevée que 99%. Mais avec un tel modèle, pensez-vous qu'il soit utile ?

Ne négligez pas le coût du temps

Je constate que de nombreuses équipes sont particulièrement enclines à ignorer le facteur temps lors de l'évaluation des modèles. Elles consacrent deux semaines à l'entraînement d'un modèle dont la précision s'améliore de 0,5%, puis se réjouissent, sans calculer combien de ressources informatiques sont consommées par cette amélioration de 0,5%. En réalité, nous devons souvent faire un compromis entre "suffisamment bon" et "réponse rapide". À l'instar des scénarios de service clientèle en ligne, les utilisateurs préfèrent un modèle qui donne une réponse de 80 points en 1 seconde à un système qui donne une réponse de 95 points en 10 secondes.

D'un autre côté, c'est la question de la distorsion des données qui me donne le plus de maux de tête dans l'évaluation des performances de l'IA. Parfois, je me suis donné beaucoup de mal pour ajuster les hyperparamètres, pour finalement découvrir que le véritable goulot d'étranglement se situait au niveau de la qualité des données. Je me souviens d'une fois où nous avons mis au point un système de reconnaissance des émotions faciales, qui fonctionnait comme un lecteur d'esprit en laboratoire, mais qui s'avérait fréquemment erroné lorsqu'il était utilisé sur des utilisateurs asiatiques - parce que les échantillons blancs représentaient 80 % des données d'entraînement. Dans de tels cas, l'algorithme parfait ne sert à rien.

Les scénarios de la vie réelle sont l'ultime salle d'examen

Les tests A/B sont le test ultime d'un modèle, et je le sais bien. Les environnements de laboratoire sont comme des serres, tandis que les scénarios d'utilisateurs réels sont comme des étendues sauvages, parfois même les développeurs ne savent pas comment votre IA sera utilisée. Nous avons un système de dialogue qui fonctionnait parfaitement lors des tests internes, mais lorsqu'il a été mis en service, nous avons constaté que les utilisateurs posaient toujours des questions dans toutes sortes de dialectes et d'argot, ce qui rendait le modèle confus. L'évaluation des performances de l'IA n'est donc pas seulement l'affaire des ingénieurs, elle requiert la participation des responsables des produits et des opérations. Après tout, l'IA est en fin de compte au service des gens, n'est-ce pas ?