面向大规模机器学习的分布式优化算法研究.pdf

对 于 迭 代ｒ次 的 算 法， 其在 机 器 间 数 据 分 布一 致 和数 据 分布 不一 致 通 信 复 杂 度 分 别 为和０ （ ｒ ｉ）。为 了 消 除 数 据 异 质 性对 ｋ ｏ ｚ ／ Ｓ Ｇ Ｄ 造 成 的 收 敛 速 率 衰 减 问 题， 我 们 提 出 带 有 方 差 约 减 的 分 布式 优 化 算法 Ｗ ｆ Ｌ － Ｓ Ｇ Ｄ。 我 们 从 理 论上证 明 了 所 提 出 算 法 在 数 据分 布一 致 和不 — 致 的 情 况 下， 都 能 够 达 到 线 性 迭 代 加 速 比 ， 并 且 将 数 据 分 布 不一 致 时 的Ｓ Ｇ Ｄ 从 ０ （ ３ ＾ ） 通 信 复 杂 度 降 低 到０ （ ： Ｈ）。 针 对 可 能 出 现 的 极 端 数 据 分布 不一 致场 景， 我 们 还 提 出 了一 种 带有 预 热 的 方 差 约 减 算 法 Ｗ Ｊ Ｌ ４ Ｇ Ｄ－ Ｗ。 实 验结 果 表 明了 显 著 优 于Ｌ ｏ ｃ ｄ Ｓ ＧＤ算 法 ， 而Ｗ Ｊ Ｌ－ Ｓ Ｇ Ｄ － Ｗ在 数据 分 布 不一 致 下 具有 更 髙 的 鲁 棒 性。 当 前 的 基 于 ｈ ｃ ｆｌ Ｚ Ｓ Ｇ Ｉ ） 这 类 工 作 大 多 釆 用 固 定 周 期 和 步 长 的 策 略， 然 而一 个 随 着 迭 代 过程 进 行 而 不 断 自 适 应 变 化 的 周 期 或 步 长， 往往 具 有 更 好 的 性 能 ， 更 快 的 达 到 最 优 解 。 本 文从 进一 步 降 低 通 信 复 杂 度 角 度 ， 在 的 基 础 上 采 用 了 参数 阶 段 性 变 化 的 策 略 ， 从 而 提 出 了 阶 段 性 方 差 约 减 局 部 随 机 梯 度 算 法 Ｓ ｒ－ Ｗ ？ Ｌ － Ｓ Ｇ ￡ ＞。 釆用 了 阶 段 性 自 适 应 的 增 大 通 信 周 期 和 减 少 步长， 对 于 强 凸 函 数 ， 其 被 证 明 通 信复杂 度 降低 至 ０ （ ｉ Ｖ ７ 呀 （ Ｄ ）， 无 论 机 器 间 的 数 据 分布   是 否一 致。 实 验 结 果 表 明 了 Ｓ － Ｓ Ｇ Ｄ在 强 凸 函 数 下 算 法 的 优越 性