Mesh — распределённая вычислительная конфигурация, в которой устройства или accelerator организованы для согласованных вычислений. В машинном обучении mesh-схемы могут определять, как тензоры, рабочие нагрузки или компоненты модели распределяются между аппаратными ресурсами.
In ML parallel programming, a term associated with assigning the data and model to TPU chips, and defining how these values will be sharded or replicated. Mesh is an overloaded term that can mean either of the following: - A physical layout of TPU chips. - An abstract logical construct for mapping the data and model to the TPU chips. In either case, a mesh is specified as a shape.