¿Cómo evaluar el rendimiento de los modelos de IA?

Evaluar el rendimiento de los modelos de inteligencia artificial nunca ha sido fácil. Para ser sincero, cada vez que veo varios modelos que afirman lo precisos que son, me pregunto: "¿Son realmente fiables estas cifras?". Del mismo modo que no podemos probar los productos electrónicos fijándonos únicamente en la puntuación de funcionamiento, los modelos de IA deben evaluarse teniendo en cuenta todos los aspectos. A veces, un modelo que funciona bien en el laboratorio se vuelve insoportable en el mundo real. Esto me recuerda a un amigo que hace tiempo se quejaba de que su modelo de PNL era tan preciso como 95% en el conjunto de pruebas, y el resultado fue que casi cabreó al cliente cuando se aplicó en la práctica, porque resulta que todos los errores de 5% se producían en las palabras clave. Así que sí, no se puede tomar al pie de la letra todo esto de la evaluación del rendimiento de la IA.

Los indicadores de evaluación no son la panacea

Si crees que métricas como la precisión y la recuperación son una descripción completa de la fuerza de un modelo de IA, puede que seas ingenuo. La realidad es que un modelo que es invencible en una competición Kaggle puede que ni siquiera pase la calificación cuando se pone en un entorno de producción. Tomemos como ejemplo nuestra precisión común: en un conjunto de datos de 99% muestras negativas, incluso si el modelo no hace más que predecir negativos, la precisión sigue siendo tan alta como 99%. pero con un modelo así, ¿crees que es útil?

No pase por alto el coste del tiempo

Me parece que muchos equipos son especialmente propensos a ignorar el factor tiempo cuando evalúan modelos. Dedican dos semanas a entrenar un modelo con una mejora de la precisión de 0,5% y luego se alegran, sin calcular cuántos recursos informáticos consume esta mejora de 0,5%. En realidad, a menudo tenemos que hacer un compromiso entre "suficientemente bueno" y "respuesta oportuna". Como en los casos de atención al cliente en línea, los usuarios prefieren un modelo que dé una respuesta de 80 puntos en 1 segundo que un sistema que dé una respuesta de 95 puntos en 10 segundos.

Por otra parte, el problema del sesgo de los datos es lo que más quebraderos de cabeza me da a la hora de evaluar el rendimiento de la IA. A veces, me he esforzado mucho por ajustar los hiperparámetros, sólo para descubrir que el verdadero cuello de botella está en la calidad de los datos. Recuerdo una vez que creamos un sistema de reconocimiento de emociones faciales que funcionaba como un lector de mentes en el laboratorio, pero que se equivocaba con frecuencia cuando se utilizaba con usuarios asiáticos, porque las muestras blancas representaban el 80% de los datos de entrenamiento. En esos momentos, el algoritmo perfecto es inútil.

Los escenarios de la vida real son la sala de examen definitiva

Las pruebas A/B son la prueba definitiva de un modelo, y lo sé bien. Los entornos de laboratorio son como invernaderos, mientras que los escenarios reales de usuario son como un desierto, a veces ni siquiera los desarrolladores saben cómo se utilizará tu IA. A veces, ni siquiera los desarrolladores pueden imaginar en qué postura utilizará su IA un usuario. Tenemos un sistema de diálogo que funcionaba perfectamente en las pruebas internas, pero cuando se puso en marcha, descubrimos que los usuarios siempre hacían preguntas en todo tipo de dialectos y jergas, lo que confundía al modelo. Así pues, evaluar el rendimiento de la IA no es sólo cosa de ingenieros, sino que requiere la participación de los responsables de producto y operaciones. Al fin y al cabo, la IA está al servicio de las personas, ¿no?