Also known as: A and B Testing · A B Testing
A/B-тестирование — контролируемое статистическое сравнение двух или более вариантов системы, модели, интерфейса или процесса. Оно измеряет, работает ли один вариант лучше по выбранным метрикам и является ли наблюдаемое различие, вероятно, значимым, а не случайным.
A statistical way of comparing two (or more) techniques---the A and the B . Typically, the A is an existing technique, and the B is a new technique. A/B testing not only determines which technique performs better but also whether the difference is statistically significant. A/B testing usually compares a single metric on two techniques; for example, how does model accuracy compare for two techniques? However, A/B testing can also compare any finite number of metrics.