Mostly Basic Python Problems (MBPP) — benchmarkdataset, используемый для оценки способности модели генерировать корректный Python-код для коротких programming tasks. Обычно он измеряет, удовлетворяют ли сгенерированные программы предоставленным tests или expected behavior.
A dataset for evaluating an LLM's proficiency in generating Python code.
Mostly Basic Python Problems
provides about 1,000 crowd-sourced programming problems.
Each problem in the dataset contains:
- A task description
- Solution code
- Three automated test cases