Como avaliar o desempenho de um modelo de prova de teoremas?

Avaliar o desempenho de modelos de prova de teoremas é um tópico interessante e, para ser honesto, olhar apenas para a taxa de precisão pode não ser suficiente. Tal como o recente modelo Prover-V2 de código aberto do DeepSeek atingiu um valor incrível de 88,9% de taxa de aprovação no conjunto de testes MiniF2F, mas se desmontarmos este resultado cuidadosamente, descobriremos que há mais questões por detrás dele que vale a pena refletir. Por exemplo, será que o modelo dominou realmente a lógica das provas matemáticas ou apenas memorizou alguns padrões de solução específicos? Esta questão tem atormentado muitos investigadores.

Limitações do conjunto de testes de referência

Os actuais métodos de avaliação convencionais baseiam-se em conjuntos de testes de matemática normalizados, como o MiniF2F, o PutnamBench, etc. Mas isto é como julgar um aluno pelas notas do seu exame final - reflecte uma competência parcial, mas não mede a verdadeira literacia matemática. Curiosamente, o DeepSeek-Prover-V2-7B no PutnamBench resolveu alguns tópicos que o modelo 671B não conseguiu resolver, mostrando que grandes tamanhos de parâmetros nem sempre são uma panaceia.

Um detalhe que notei é que uma distribuição distorcida de tópicos no conjunto de testes pode levar a resultados de avaliação tendenciosos. Por exemplo, alguns conjuntos de dados concentram-se demasiado em questões de teoria dos números, o que pode fazer com que os modelos especializados nessa área pareçam ter um desempenho particularmente bom. O lançamento do ProverBench pelo deepSeek, que contém 325 questões que abrangem tanto a competição como a matemática de graduação, vale a pena aprender com esta diversidade de design.

Avaliação aprofundada da qualidade das provas

Contar apenas "passa/falha" é um pouco simples demais, não é? As provas formais geradas por um bom modelo de prova também devem ser legíveis, inovadoras e generalizáveis. É interessante ver o relatório técnico do DeepSeek, que distingue entre modelos CoT e não-CoT - o primeiro gera provas com uma cadeia de raciocínio completa, o segundo gera diretamente código simplificado. As experiências mostram que o modelo CoT funciona melhor, sugerindo que nos devemos concentrar no processo de raciocínio do modelo quando o avaliamos.

Concordo especialmente com a abordagem da equipa do DeepSeek - não avaliam apenas o resultado final, mas também verificam se a estrutura da prova é razoável e se a decomposição dos sub-objectivos é clara. É como um professor que corrige um problema de matemática, não só para ver se a resposta está certa ou errada, mas também para ver se os passos da solução são razoáveis. Diz-se que o seu modelo 7B desenvolveu acidentalmente uma capacidade especial para lidar com problemas de base finita, uma capacidade "evoluída" que é facilmente ignorada nas avaliações tradicionais.

Um sistema de avaliação mais abrangente

Para avaliar completamente um modelo de prova de teoremas, pode ser necessário considerar várias dimensões-chave: em primeiro lugar, a generalização, se pode lidar com tipos de perguntas inéditas; em segundo lugar, a inovação, se pode fornecer novas provas que nenhum especialista humano teria pensado; e a robustez, se ainda pode dar provas corretas para pequenas variações nas expressões matemáticas. e que essa diversidade de dados é crucial para garantir a fiabilidade da avaliação.

No fim de contas, avaliar os modelos de resolução de teoremas é como avaliar um matemático - olhar simplesmente para o número de artigos publicados está longe de ser suficiente. Precisamos de uma forma mais tridimensional e dinâmica de o avaliar, tanto em termos de resolver ou não um problema, como em termos de como o resolve e até que ponto pode ser utilizado como exemplo. Talvez seja isto que equipas como a DeepSeek estão a explorar.