Wie lässt sich die Leistung eines Theorembeweisungsmodells bewerten?

Die Bewertung der Leistung von Theorem-Beweis-Modellen ist ein interessantes Thema, und um ehrlich zu sein, reicht es vielleicht nicht aus, nur die Genauigkeitsrate zu betrachten. So erreichte das jüngste Open-Source-Modell DeepSeek Prover-V2 eine erstaunliche Erfolgsquote von 88,9% auf der MiniF2F-Testreihe, aber wenn wir dieses Ergebnis sorgfältig auseinandernehmen, werden wir feststellen, dass dahinter mehr Fragen stehen, über die es sich lohnt nachzudenken. Hat das Modell zum Beispiel die Logik der mathematischen Beweise wirklich beherrscht oder hat es sich nur bestimmte Lösungsmuster gemerkt? Diese Frage hat viele Forscher geplagt.

Beschränkungen des Benchmark-Testsets

Die derzeit gängigen Bewertungsmethoden stützen sich auf standardisierte Mathe-Tests wie MiniF2F, PutnamBench usw. Dies ist jedoch so, als würde man einen Schüler nach seinen Prüfungsergebnissen beurteilen - es spiegelt eine Teilkompetenz wider, misst aber nicht die tatsächlichen mathematischen Fähigkeiten. Interessanterweise löste DeepSeek-Prover-V2-7B auf PutnamBench stattdessen einige Themen, die das 671B-Modell nicht bewältigen konnte, was zeigt, dass große Parametergrößen nicht immer ein Allheilmittel sind.

Ein Detail, das mir aufgefallen ist, ist, dass eine ungleiche Verteilung der Themen im Testsatz zu verzerrten Bewertungsergebnissen führen kann. Zum Beispiel konzentrieren sich einige Datensätze zu sehr auf Fragen zur Zahlentheorie, was dazu führen kann, dass Modelle, die sich auf diesen Bereich spezialisiert haben, besonders gut abschneiden. deepSeeks Veröffentlichung der ProverBench, die 325 Fragen enthält, die sowohl die Wettbewerbs- als auch die Grundschulmathematik abdecken, ist es wert, von dieser Vielfalt des Designs zu lernen.

Eingehende Bewertung der Qualität der Nachweise

Einfach nur "bestanden/nicht bestanden" zu zählen, ist ein bisschen zu einfach, oder? Die von einem guten Beweismodell erzeugten formalen Beweise sollten auch lesbar, innovativ und verallgemeinerbar sein. Interessant ist ein Blick in den technischen Bericht von DeepSeek, in dem zwischen CoT- und Nicht-CoT-Modellen unterschieden wird - erstere generieren Beweise mit einer vollständigen Gedankenkette, letztere erzeugen direkt rationalisierten Code. Experimente zeigen, dass das CoT-Modell besser funktioniert, was darauf hindeutet, dass wir uns bei der Bewertung des Modells auf den Denkprozess konzentrieren sollten.

Besonders gut gefällt mir der Ansatz des DeepSeek-Teams, das nicht nur das Endergebnis bewertet, sondern auch prüft, ob die Struktur des Beweises vernünftig ist und ob die Zerlegung der Teilziele klar ist. Es ist wie ein Lehrer, der eine Matheaufgabe korrigiert und nicht nur prüft, ob die Antwort richtig oder falsch ist, sondern auch, ob die Lösungsschritte sinnvoll sind. Ihr 7B-Modell soll zufällig eine besondere Fähigkeit im Umgang mit Problemen mit endlicher Basis entwickelt haben, eine "gewachsene" Fähigkeit, die bei herkömmlichen Bewertungen leicht übersehen wird.

Ein umfassenderes Bewertungssystem

Um ein Modell zum Beweisen von Theoremen vollständig zu bewerten, müssen mehrere Schlüsseldimensionen berücksichtigt werden: erstens die Verallgemeinerbarkeit, d. h. ob es mit unbekannten Fragetypen umgehen kann; zweitens die Innovationsfähigkeit, d. h. ob es neuartige Beweise liefern kann, an die kein menschlicher Experte gedacht hätte; und drittens die Robustheit, d. h. ob es auch bei geringfügigen Variationen mathematischer Ausdrücke noch korrekte Beweise liefern kann.DeepSeek berichten, dass sie Hunderte von qualitativ hochwertigen Trainingsdaten gesammelt haben und dass diese Diese Datenvielfalt ist entscheidend, um die Zuverlässigkeit der Bewertung zu gewährleisten.

Letztendlich ist die Bewertung von Theorembeweisungsmodellen wie die Bewertung eines Mathematikers - es reicht bei weitem nicht aus, nur darauf zu achten, wie viele Arbeiten veröffentlicht worden sind. Wir brauchen eine dreidimensionalere und dynamischere Art der Bewertung, sowohl in Bezug darauf, ob ein Problem gelöst wird, als auch in Bezug darauf, wie es gelöst wird und inwieweit es als Beispiel verwendet werden kann. Vielleicht ist es das, was Teams wie DeepSeek erforschen.