Evaluar el rendimiento de los modelos de demostración de teoremas es un tema interesante y, para ser sinceros, puede que no baste con fijarse en la tasa de precisión. Por ejemplo, el reciente modelo de código abierto Prover-V2 de DeepSeek alcanzó la asombrosa cifra de 88,9% en el conjunto de pruebas MiniF2F, pero si analizamos este resultado detenidamente, descubriremos que hay más preguntas detrás sobre las que merece la pena reflexionar. Por ejemplo, ¿el modelo dominaba realmente la lógica de las pruebas matemáticas o se limitaba a memorizar algunos patrones de solución específicos? Esta pregunta ha acosado a muchos investigadores.
Limitaciones del conjunto de pruebas de referencia
Los principales métodos de evaluación actuales se basan en pruebas estandarizadas de matemáticas, como MiniF2F, PutnamBench, etc. Pero esto es como juzgar a un estudiante por la nota de su examen final: refleja una competencia parcial, pero no mide la verdadera alfabetización matemática. Curiosamente, DeepSeek-Prover-V2-7B en PutnamBench resolvió algunos temas que el modelo 671B no podía manejar, lo que demuestra que los parámetros grandes no siempre son la panacea.
Un detalle que he observado es que una distribución sesgada de los temas en el conjunto de pruebas puede dar lugar a resultados de evaluación sesgados. Por ejemplo, algunos conjuntos de datos se centran demasiado en preguntas de teoría numérica, lo que puede hacer que los modelos especializados en esa área parezcan rendir especialmente bien. La publicación de deepSeek del ProverBench, que contiene 325 preguntas que abarcan tanto la competición como las matemáticas de pregrado, merece la pena para aprender de esta diversidad de diseños.
Evaluación en profundidad de la calidad de la prueba
Contar sólo "pasa/no pasa" es demasiado simple, ¿no? Las pruebas formales generadas por un buen modelo de pruebas también deben ser legibles, innovadoras y generalizables. Es interesante echar un vistazo al informe técnico de DeepSeek, que distingue entre modelos CoT y no CoT: el primero genera pruebas con una cadena de pensamiento completa, el segundo genera directamente código racionalizado. Los experimentos muestran que el modelo CoT funciona mejor, lo que sugiere que deberíamos centrarnos en el proceso de razonamiento del modelo a la hora de evaluarlo.
Estoy especialmente de acuerdo con el enfoque del equipo de DeepSeek: no sólo evalúan el resultado final, sino que también comprueban si la estructura de la prueba es razonable y si la descomposición de los subobjetivos es clara. Es como si un profesor corrigiera un problema de matemáticas no sólo para ver si la respuesta es correcta o incorrecta, sino también para ver si los pasos de la solución son razonables. Se dice que su modelo 7B ha desarrollado accidentalmente una habilidad especial para tratar problemas de base finita, una capacidad "evolucionada" que se pasa por alto fácilmente en las evaluaciones tradicionales.
Un sistema de evaluación más completo
Para evaluar a fondo un modelo de demostración de teoremas, puede ser necesario tener en cuenta varias dimensiones clave: en primer lugar, la generalizabilidad, si puede manejar tipos de preguntas desconocidas; en segundo lugar, la capacidad de innovación, si puede proporcionar pruebas novedosas que no se le habrían ocurrido a ningún experto humano; y la robustez, si todavía puede dar pruebas correctas para ligeras variaciones en las expresiones matemáticas.DeepSeek informan de que recogieron cientos de datos de entrenamiento de alta calidad, y que tal diversidad de datos es crucial para garantizar la fiabilidad de la evaluación. Esta diversidad de datos es crucial para garantizar la fiabilidad de la evaluación.
A fin de cuentas, evaluar los modelos de resolución de teoremas es como evaluar a un matemático: no basta con ver cuántos artículos se han publicado. Necesitamos una forma más tridimensional y dinámica de evaluarlo, tanto en términos de si resuelve un problema, como de cómo lo resuelve y hasta qué punto se puede utilizar con el ejemplo. Quizá esto es lo que están explorando equipos como DeepSeek.
评论列表 (0条):
加载更多评论 Cargando...