You Might Be Interested In

株式会社Rosso(ロッソ東京都渋谷区、代表取締役：川畑和成、以下：Rosso)は、台帳型連合学習(特許出願中)を開発し、完全非同期かつ通信量を大幅に削減した連合学習(※1)を実現しました。(40％以上の通信量削減を2024年7月31日に確認)

複雑な実装や処理が必要な従来型連合学習と比べ、台帳型は非常にシンプルな構成で実装でき、導入コストが低いのが特徴です。今後は物体検出や物体追跡分野への適用を目指します。

※1：連合学習とは、データが複数拠点に分散している状態からAIを作る仕組みを指します。従来の機械学習とは異なり、学習時にデータを1か所に集めないことが特徴です。個々で所有しているデータを中央サーバーに送る必要がないため、個人情報などプライバシーに関わるデータや拠点外部に持ち出したくない機密情報を保護しながら、データを活用することが可能です。

【従来型連合学習の課題】

・サーバー側で平均化処理を行うため、各クライアントは平均化処理を待つ同期処理が必要だった

・巨大なAIモデルを扱う場合、サーバー側に平均化処理を行うためのGPUを必要としていた

Rossoでは、これらの課題を解決し連合学習をよりシンプルで導入しやすいものとするべく、台帳型連合学習を提案します。

【Rosso開発、台帳型連合学習の概要】

台帳型連合学習技術のポイントは、下記3点です。

(1) 従来サーバー側で行っていたAIモデルの平均化処理をクライアント側で実行

→各クライアントはサーバー側での平均化処理を待つ必要がなくなり、完全に非同期で学習を進めることが可能となる

(2) サーバー側でのGPUを用いた行列演算処理が不要

→サーバーは各クライアントとネットワークで繋がっているだけでよいため、非常にシンプルな構成となり、従来型と比べて容易に導入できる

(3) 各クライアント毎の学習状況に応じて通信量を制御

→通信コストの削減が可能

台帳型連合学習のポイント

【通信量削減手法も同時に開発】

連合学習ではネットワークを介しながらAIの学習を行うため、通信量がボトルネックとなるケースもあります。当然、台帳型連合学習もその例外ではありませんが、Rossoでは台帳型連合学習に特化した最適化手法も同時に開発し、各クライアントの学習状況に応じて動的に通信量を変更できるアルゴリズムを実現しました。これにより固定された通信量で学習したケースと比較して、40％以上の通信量が削減されたことを確認しています。

また、この最適化手法は非IID(※2)なデータセットに対しても有効に働きます。例えば物体検出で連合学習を行う場合、通常は各カメラの画像の明るさや人の大きさ等、全く異なる環境で撮影されると、モデルの特徴量を集約しきれず、連合学習がうまく進みません。しかし、Rossoが提案する台帳型連合学習アルゴリズムはその点を考慮しているため、上記のようにデータの偏りが激しい環境でも十分に効果を発揮します。

※2：各クライアントのデータ分布が異なる環境