Caesar AI Atlas

Mostly Basic Python Problems (MBPP)

Also known as: MBPP

Caesar AI Atlas Definition

Mostly Basic Python Problems (MBPP) — benchmark dataset, используемый для оценки способности модели генерировать корректный Python-код для коротких programming tasks. Обычно он измеряет, удовлетворяют ли сгенерированные программы предоставленным tests или expected behavior.

Other Definitions

Mostly Basic Python Problems Source

A dataset for evaluating an LLM's proficiency in generating Python code. Mostly Basic Python Problems provides about 1,000 crowd-sourced programming problems. Each problem in the dataset contains: - A task description - Solution code - Three automated test cases

Related Terms

Dataset (набор данных)Benchmark (Бенчмарк)PythonНабор данных / DatasetОбучающие данныеТестовая выборка