Also known as: Math pass@k
Math-pass@k — оценочная метрика, измеряющая, может ли модель решить математическую задачу за k попыток. Она является специализированной формой pass@k и используется для оценки математических рассуждений по нескольким сгенерированным решениям.
A metric to determine an LLM's accuracy in solving a math problem within K attempts. For example, math-pass@2 measures an LLM's ability to solve math problems within two attempts. An accuracy of 0.85 on math-pass@2 indicates that an LLM was able to solve math problems 85% of the time within two attempts. math-pass@k is identical to the pass@k metric, except that the term math-pass@k is specifically used for math evaluation.