Project HiveMind: A System Design for Decentralized Sparse Mixture-of-Experts Training with DiLoCo-Style Outer Optimization on 8 GB Consumer GPUs

Callens, Xavier

DOI: 10.5281/zenodo.23776302

На странице источника доступны аннотация, полный текст или сведения о том, где его прочитать.