L'évaluation de la performance des modèles de démonstration de théorèmes est un sujet intéressant, et pour être honnête, le simple fait de regarder le taux de précision peut ne pas être suffisant. Par exemple, le récent modèle open source DeepSeek Prover-V2 a atteint un taux de réussite de 88,9% sur l'ensemble de tests MiniF2F, mais si nous démontons soigneusement ce résultat, nous découvrirons qu'il y a d'autres questions qui méritent d'être étudiées. Par exemple, le modèle a-t-il réellement maîtrisé la logique des preuves mathématiques ou a-t-il simplement mémorisé certains modèles de solutions spécifiques ? Cette question a préoccupé de nombreux chercheurs.
Limites de l'ensemble de tests de référence
Les méthodes d'évaluation traditionnelles actuelles reposent sur des ensembles de tests de mathématiques standardisés tels que MiniF2F, PutnamBench, etc. Mais cela revient à juger un étudiant en fonction de ses résultats à l'examen final - cela reflète des compétences partielles, mais ne mesure pas la véritable culture mathématique. Il est intéressant de noter que DeepSeek-Prover-V2-7B sur PutnamBench a résolu certains sujets que le modèle 671B ne pouvait pas traiter, ce qui montre que les paramètres de grande taille ne sont pas toujours une panacée.
Un détail que j'ai remarqué est qu'une distribution asymétrique des sujets dans l'ensemble de test peut conduire à des résultats d'évaluation biaisés. Par exemple, certains ensembles de données se concentrent trop sur les questions de théorie des nombres, ce qui peut donner l'impression que les modèles spécialisés dans ce domaine sont particulièrement performants. La publication par deepSeek du ProverBench, qui contient 325 questions couvrant à la fois les concours et les mathématiques de premier cycle, est intéressante pour tirer des enseignements de cette diversité de conception.
Évaluation approfondie de la qualité de la preuve
Se contenter de compter les "succès/échecs" est un peu trop simple, n'est-ce pas ? Les preuves formelles générées par un bon modèle de preuve doivent également être lisibles, innovantes et généralisables. Il est intéressant d'examiner le rapport technique de DeepSeek, qui fait la distinction entre les modèles CoT et non-CoT - les premiers générant des preuves avec une chaîne de pensée complète, les seconds générant directement du code rationalisé. Les expériences montrent que le modèle CoT fonctionne mieux, ce qui suggère que nous devrions nous concentrer sur le processus de raisonnement du modèle lorsque nous l'évaluons.
Je suis particulièrement d'accord avec l'approche de l'équipe DeepSeek, qui ne se contente pas d'évaluer le résultat final, mais vérifie également si la structure de la preuve est raisonnable et si la décomposition des sous-objectifs est claire. C'est comme si un professeur corrigeait un problème de mathématiques non seulement pour voir si la réponse est juste ou fausse, mais aussi pour voir si les étapes de la solution sont raisonnables. Leur modèle 7B aurait accidentellement développé une compétence particulière dans le traitement des problèmes à base finie, une capacité "évoluée" qui est facilement négligée dans les évaluations traditionnelles.
Un système d'évaluation plus complet
Pour évaluer pleinement un modèle de démonstration de théorèmes, plusieurs dimensions clés doivent être prises en compte : premièrement, la généralisation, c'est-à-dire la capacité à traiter des types de questions inédites ; deuxièmement, l'innovation, c'est-à-dire la capacité à fournir de nouvelles preuves auxquelles aucun expert humain n'aurait pensé ; et la robustesse, c'est-à-dire la capacité à fournir des preuves correctes en cas de légères variations dans les expressions mathématiques.DeepSeek indique avoir collecté des centaines de données d'entraînement de haute qualité, et qu'une telle diversité de données est cruciale pour garantir la fiabilité de l'évaluation. DeepSeek indique avoir collecté des centaines de données d'entraînement de haute qualité, et qu'une telle diversité de données est cruciale pour garantir la fiabilité de l'évaluation.
En fin de compte, l'évaluation des modèles de résolution de théorèmes est comparable à l'évaluation d'un mathématicien - il ne suffit pas de regarder combien d'articles ont été publiés. Nous avons besoin d'une méthode d'évaluation plus tridimensionnelle et dynamique, qui permette de déterminer si le modèle résout un problème, mais aussi comment il le résout et dans quelle mesure il peut être utilisé à titre d'exemple. C'est peut-être ce qu'explorent des équipes comme DeepSeek.
评论列表 (0条):
加载更多评论 Chargement...