Convergence of Local SGD under Heterogeneous Data

Tóm tắt. Chúng tôi phân tích Local SGD khi dữ liệu giữa các máy khách không đồng nhất. Với hàm mục tiêu $L$-trơn và độ lệch gradient bị chặn bởi $\zeta^2$, ta chứng minh sau $T$ vòng giao tiếp thuật toán đạt $\mathbb{E}\|\nabla f(\bar{x}_T)\|^2 \le \mathcal{O}\!\left(\tfrac{1}{\sqrt{KT}} + \tfrac{\zeta^2}{T}\right)$, cải thiện số hạng phụ thuộc vào độ không đồng nhất so với các kết quả trước đó.