Уравнение Беллмана — рекурсивное соотношение, используемое в динамическом программировании и обучении с подкреплением для выражения ценности состояния или действия через немедленное вознаграждение и ожидаемую будущую ценность. Оно обеспечивает основу для методов вроде итерации по ценности и Q-learning. Разделяя долгосрочную оптимизацию на меньшие подзадачи, оно поддерживает принятие решений по последовательностям действий.
In reinforcement learning, the following identity satisfied by the optimal Q-function: \\\\\\[Q(s, a) = r(s, a) + \\\\\\\E\_\s'\\|s,a\ \\\_\a'\ Q(s', a')\\\\\\] Reinforcement learning algorithms apply this identity to create Q-learning using the following update rule: \\\\\\[Q(s,a) \\\Q(s,a) + \\\ \\\\\[r(s,a) + \\\\\\\\\_\\\\\a_1\\ Q(s',a') - Q(s,a) \\\\\] \\\\\\] Beyond reinforcement learning, the Bellman equation has applications to dynamic programming. See the Wikipedia entry for Bellman equation.