特開 2024-43569 ランダムパッチ順列置換による分散学習基盤のマルチタスクビジョン変換装置およびこれを利用した変換方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024043569

(43)【公開日】2024-04-01

(54)【発明の名称】ランダムパッチ順列置換による分散学習基盤のマルチタスクビジョン変換装置およびこれを利用した変換方法

(51)【国際特許分類】

   G06N 3/098 20230101AFI20240325BHJP

【ＦＩ】

G06N3/098

【審査請求】有

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023062821

(22)【出願日】2023-04-07

(31)【優先権主張番号】10-2022-0117686

(32)【優先日】2022-09-19

(33)【優先権主張国・地域又は機関】KR

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （１）令和４年４月７日にイェ，ジョンチョル、パク，サンジュンがａｒＸｉｖ：２２０４．０３５００ｖ１（ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／２２０４．０３５００（刊行物１）にて公開した。

(71)【出願人】

【識別番号】514260642

【氏名又は名称】コリア アドバンスド インスティチュート オブ サイエンス アンド テクノロジィ

(74)【代理人】

【識別番号】110000408

【氏名又は名称】弁理士法人高橋・林アンドパートナーズ

(72)【発明者】

【氏名】イェ，ジョンチョル

(72)【発明者】

【氏名】パク，サンジュン

(57)【要約】      （修正有）

【課題】ランダムパッチ順列置換による分散学習基盤のプライバシーを保護しながらもマルチタスク学習性能を高めるマルチタスクビジョン変換方法及びマルチタスクビジョン変換装置を提供する。
【解決手段】ランダムパッチ順列置換による分散学習基盤のマルチタスクビジョン変換装置を利用した変換方法は、タスク非特異パッチエンベッダーを利用して、各クライアントに対するパッチエンベディングを準備して順列モジュールを通過させた後にサーバに送信する段階Ｓ１１０と、サーバで受信したパッチエンベディングを記録して、ビジョン変換器モデルの本体およびテール部分をアップデートするために使用する段階Ｓ１２０と、を含む。
【選択図】図７

【特許請求の範囲】

【請求項1】

ランダムパッチ順列置換による分散学習基盤のマルチタスクビジョン変換装置を利用した変換方法であって、
タスク非特異パッチエンベッダーを利用して、各クライアントに対するパッチエンベディングを準備して順列モジュールを通過させた後にサーバに送信する段階、および
前記サーバで受信した前記パッチエンベディングを記録して、ビジョン変換器モデルの本体およびテール部分をアップデートするために使用する段階
を含む、マルチタスクビジョン変換方法。

【請求項2】

マルチタスク学習を実行する前記ビジョン変換器モデルをクライアント側のモデルであるヘッドおよびテール部分とサーバ側のモデルである本体部分に分離し、直接的なデータの共有なく分散学習方式で学習できるようにすること
を特徴とする、請求項１に記載のマルチタスクビジョン変換方法。

【請求項3】

前記パッチエンベディングを準備して順列モジュールを通過させた後にサーバに送信する段階は、
前記順列モジュールを利用して、前記クライアント側から前記サーバにパッチ特徴を送信する前にパッチ順列をランダム混合して送信すること
を特徴とする、請求項１に記載のマルチタスクビジョン変換方法。

【請求項4】

前記順列モジュールは、
ランダムパッチ順列置換モジュールであって、前記クライアント側から前記サーバ側に送信するデータは、パッチ順列がランダム置換されて原本データの識別ができなくなった表象特徴データが送信されるようにすること
を特徴とする、請求項１に記載のマルチタスクビジョン変換方法。

【請求項5】

前記順列モジュールは、
ランダムパッチ順列置換モジュールであって、前記サーバ側で統合（ａｇｇｒｅｇａｔｅ）して分配するモデル加重値の一部だけを共有するようにし、全体データを逆順で修復できないようにすること
を特徴とする、請求項１に記載のマルチタスクビジョン変換方法。

【請求項6】

前記サーバの前記ビジョン変換器モデルの本体部分で順列置換されたパッチ特徴として、フォワードパスを実行してエンコードされた特徴を前記クライアントに再送する段階
をさらに含む、請求項１に記載のマルチタスクビジョン変換方法。

【請求項7】

前記クライアントは、記録されたキーによって順列を反転させ、返還された前記特徴をタスク別にテール部分に伝達して最終出力を算出する段階
をさらに含み、
前記パッチエンベディングを準備して順列モジュールを通過させた後にサーバに送信する段階は、
前記順列モジュールを利用して前記クライアント側から前記サーバにパッチ特徴を送信する前にパッチ順列をランダム混合してクライアント側で順列を反転させるために、キーを記録すること
を特徴とする、請求項６に記載のマルチタスクビジョン変換方法。

【請求項8】

前記エンコードされた特徴を前記クライアントに再送する段階は、
前記順列モジュールを使用して、順伝播の反対である前記ビジョン変換器モデルのテール、本体、およびヘッドの順に逆伝播が行われるようにすること
を特徴とする、請求項６に記載のマルチタスクビジョン変換方法。

【請求項9】

ランダムパッチ順列置換による分散学習基盤のマルチタスクビジョン変換装置を利用した変換方法であって、
順列モジュールを利用してパッチ順列をランダム混合してクライアント側で順列を反転させるためにキーを記録した後、前記クライアントからサーバにパッチ特徴を送信する段階、
前記サーバのビジョン変換器モデルの本体部分で順列置換されたパッチ特徴として、フォワードパスを実行してエンコードされた特徴を前記クライアントに再送する段階、および
前記クライアントは、記録されたキーによって順列を反転させ、返還された前記特徴をタスク別にテール部分に伝達して最終出力を算出する段階
を含む、マルチタスクビジョン変換方法。

【請求項10】

前記エンコードされた特徴を前記クライアントに再送する段階は、
前記順列モジュールを使用して、順伝播の反対である前記ビジョン変換器モデルのテール、本体、およびヘッドの順に逆伝播が行われるようにすること
を特徴とする、請求項９に記載のマルチタスクビジョン変換方法。

【請求項11】

前記クライアントからサーバにパッチ特徴を送信する段階は、
タスク非特異パッチエンベッダーを利用して、各クライアントに対するパッチエンベディングを準備して順列モジュールを通過させた後にサーバに送信すること
を特徴とする、請求項９に記載のマルチタスクビジョン変換方法。

【請求項12】

前記サーバで受信した前記パッチエンベディングを記録して、ビジョン変換器モデルの本体およびテール部分をアップデートするために使用する段階
をさらに含む、請求項１１に記載のマルチタスクビジョン変換方法。

【請求項13】

ランダムパッチ順列置換による分散学習基盤のマルチタスクビジョン変換装置を利用した変換装置であって、
タスク非特異パッチエンベッダーを利用して、各クライアントに対するパッチエンベディングを準備して順列モジュールを通過させた後にサーバに送信するヘッド部、および
前記サーバで受信した前記パッチエンベディングを記録して、ビジョン変換器モデルの本体およびテール部分をアップデートするために使用する特徴記録部
を含む、マルチタスクビジョン変換装置。

【請求項14】

マルチタスク学習を実行する前記ビジョン変換器モデルをクライアント側のモデルであるヘッドおよびテール部分とサーバ側のモデルである本体部分に分離し、直接的なデータの共有なく分散学習方式で学習できるようにすること
を特徴とする、請求項１３に記載のマルチタスクビジョン変換装置。

【請求項15】

前記ヘッド部は、
前記順列モジュールを利用して、前記クライアント側から前記サーバにパッチ特徴を送信する前にパッチ順列をランダム混合して送信すること
を特徴とする、請求項１３に記載のマルチタスクビジョン変換装置。

【請求項16】

前記順列モジュールは、
ランダムパッチ順列置換モジュールであって、前記クライアント側から前記サーバ側に送信するデータは、パッチ順列がランダム置換されて原本データの識別ができなくなった表象特徴データが送信されるようにすること
を特徴とする、請求項１３に記載のマルチタスクビジョン変換装置。

【請求項17】

前記順列モジュールは、
ランダムパッチ順列置換モジュールであって、前記サーバ側で統合（ａｇｇｒｅｇａｔｅ）して分配するモデル加重値の一部だけが共有されるようにし、全体データを逆順で修復できないようにすること
を特徴とする、請求項１３に記載のマルチタスクビジョン変換装置。

【請求項18】

前記サーバの前記ビジョン変換器モデルの本体部分で順列置換されたパッチ特徴として、フォワードパスを実行してエンコードされた特徴を前記クライアントに再送する本体部
をさらに含む、請求項１３に記載のマルチタスクビジョン変換装置。

【請求項19】

前記クライアントは、記録されたキーによって順列を反転させ、返還された前記特徴をタスク別にテール部分に伝達して最終出力を算出するテール部
をさらに含み、
前記ヘッド部は、
前記順列モジュールを利用して前記クライアント側から前記サーバにパッチ特徴を送信する前にパッチ順列をランダム混合してクライアント側に順列を反転させるために、前記キーを記録すること
を特徴とする、請求項１８に記載のマルチタスクビジョン変換装置。

【請求項20】

前記本体部は、
前記順列モジュールを使用して、順伝播の反対である前記ビジョン変換器モデルのテール、本体、およびヘッドの順に逆伝播が行われるようにすること
を特徴とする、請求項１８に記載のマルチタスクビジョン変換装置。

【発明の詳細な説明】

【技術分野】

【0001】

以下の実施形態は、個人情報保護のためのランダムパッチ順列置換による分散学習基盤のマルチタスクビジョン変換装置およびこれを利用した変換方法に関する。本研究は、保健福祉部の財源により、韓国保健産業振興院の融合型医師科学者養成事業支援に基づいて実施された。

【背景技術】

【0002】

人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ：ＡＩ）は、多様なデータ科学分野において革新的な潜在力を有することから、前例がないほどに高い人気を集めている。特に、深層神経網は、医療映像の多様な応用分野において専門家レベルの性能を達成している。

【0003】

ＡＩモデルが堅固性と共に正確な意思決定を提供できるようにするためには、膨大のデータが必要となる。しかし、一部の機関の自発的な参加によって集められたデータは、強力な成果を保障できるほどの量を完全に満たすことができない。大規模公共データセットの場合にも、制限的な地理的地域および人種のような患者人口統計などの定量化できない偏見が含まれることは避けることができず、実際のアプリケーションで性能の不安定性をもたらすようになる。特に、新型コロナウイルス感染症（ＣＯＶＩＤ－１９）のように前例のない疾病の場合は、十分な多様性があって適切に整理されたデータセットを即時に構築することが難しく、このような制限が悪化することもある。

【0004】

したがって、ＡＩを医療イメージングに成功的に適用するためには、多様な機関の協業能力が重要となるが、患者データ共有のための厳格な規定と倫理的制約はマルチ機関協業のさらなる障害物となる。米国のＨＩＰＡＡ（Ｈｅａｌｔｈ Ｉｎｓｕｒａｎｃｅ Ｐｏｒｔａｂｉｌｉｔｙ ａｎｄ Ａｃｃｏｕｎｔａｂｉｌｉｔｙ Ａｃｔ）やＥＵ一般データ保護規定（ＧＤＰＲ）などの公式規定および指針は、患者データの記録および共有に関して厳格な規定を明示している。

【0005】

したがって、エッジデバイス（ｅｄｇｅ ｄｅｖｉｃｅ）で分散方式によって学習課題を実行する分散学習（ｄｉｓｔｒｉｂｕｔｅｄ ｌｅａｒｎｉｎｇ）方法を健康管理研究に効果的に活用することができる。具体的に、分散学習は、共有なく、ソース装置に常在するデータによってモデルを教育するために導入された。連合学習（Ｆｅｄｅｒａｔｅｄ Ｌｅａｒｎｉｎｇ：ＦＬ）は、教育データを共有しなくても、分散クライアントが共有モデルを共同で学習できるようにする方法の１つである。しかし、並列演算によってクライアント側の演算リソースに大きく依存しなければならず、グラジエント（ｇｒａｄｉｅｎｔ）反転攻撃によってプライバシー保護問題から完全に自由になれないという点において依然として限界を抱えている。クライアントとサーバの間でネットワークを分割する、さらに他の分散学習方法である分割学習（Ｓｐｌｉｔ Ｌｅａｒｎｉｎｇ：ＳＬ）は、エッジデバイスの演算負荷を軽減できる有望な方法である。しかし、クライアントとサーバの間の通信オーバーヘッドが高いという短所があり、個人データは機能ハイジャックやモデル反転などの悪意ある攻撃によって復旧が可能であるため、プライバシー保護にも限界がある。さらに、分割学習（ＳＬ）は、連合学習（ＦＬ）に比べて収斂が遅く、クライアント間のデータ分布の偏りが大きいときには最適な性能を発揮することができない。

【0006】

近年、ビジョン変換器（Ｖｉｓｉｏｎ Ｔｒａｎｓｆｏｒｍｅｒ：ＶｉＴ）のモジュール式分解構造から発想を得た、ＶｉＴアキテクチャを使用する分散マルチタスク協業のためのＦＥＳＴＡ（Ｆｅｄｅｒａｔｅｄ Ｓｐｌｉｔ Ｔａｓｋ－Ａｇｎｏｓｔｉｃ ｌｅａｒｎｉｎｇ）という新たな散学習方法が提案された。サーバ側の共有タスク－ａｇｎｏｓｔｉｃビジョン変換器本体、クライアント側のマルチタスク特定畳み込みニューラルネットワーク（ＣＮＮ）ヘッド、およびテールを備えたＦＥＳＴＡフレームワークは、連合学習（ＦＬ）と分割学習（ＳＬ）の長所を均衡に調整したものであり、分散マルチタスク協業設定で個別タスクの性能をレベルごとに高めることができた。これは、データ中央集中方式によって学習された単一タスク専門モデルよりも遥かに優れていた。

【0007】

これにもかかわらず、ＦＥＳＴＡフレームワークにはいくつかの重要な限界がある。一つ目に、モデルが、ネットワークのヘッドとテール部分だけでなく特徴とｇｒａｄｉｅｎｔを持続的に共有しなければならないため、通信オーバーヘッドが分割学習（ＳＬ）と連合学習（ＦＬ）よりも高く、実質的な実現が難しい。二つ目に、本来のＦＥＳＴＡでは、サイズの大きいヘッドとテール部分が共有本体の役割を減らす傾向にあるため、ビジョン変換器のマルチタスク学習（Ｍｕｌｔｉ－Ｔａｓｋ Ｌｅａｒｎｉｎｇ：ＭＴＬ）潜在力があるにもかかわらず、単一タスク学習に比べて改善が低いことが発見された。最後に、ＦＥＳＴＡフレームワークは、分割学習（ＳＬ）で同じ方式によって外部の悪意ある攻撃者や「ｈｏｎｅｓｔ ｂｕｔ ｃｕｒｉｏｕｓ」サーバによってサーバ本体に送信された特徴を掌握して原本データに復旧することができるため、プライバシー問題から自由になれていない。

【先行技術文献】

【非特許文献】

【0008】

【非特許文献1】Ｈ．Ｃｈｅｎ、Ｙ．Ｗａｎｇ、Ｔ．Ｇｕｏ、Ｃ．Ｘｕ、Ｙ．Ｄｅｎｇ，Ｚ．Ｌｉｕ、Ｓ．Ｍａ、Ｃ．Ｘｕ、Ｃ．Ｘｕ、ａｎｄ Ｗ．Ｇａｏ、“Ｐｒｅ－ｔｒａｉｎｅｄ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ ｔｒａｎｓｆｏｒｍｅｒ、”ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：２０１２．００３６４、２０２０．

【発明の概要】

【発明が解決しようとする課題】

【0009】

実施形態は、ランダムパッチ順列置換による分散学習基盤のマルチタスクビジョン変換装置およびこれを利用した変換方法に関するものであり、より詳細には、順列をランダム置換する簡単なパッチエンベッダーを採択することで、プライバシーを保護しながらもマルチタスク学習性能を高めることができる技術を提供する。

【0010】

実施形態は、ビジョン変換器モデルを活用して分散学習方式とマルチタスク学習を統合すると同時に、ランダムパッチ順列置換モジュール技術を適用することで、従来の方式では達成できなかった個人情報保護を可能にするとともに、通信量もほぼ半分に減らすことができる、ランダムパッチ順列置換による分散学習基盤のマルチタスクビジョン変換装置およびこれを利用した変換方法を提供する。

【課題を解決するための手段】

【0011】

一実施形態における、ランダムパッチ順列置換による分散学習基盤のマルチタスクビジョン変換装置を利用した変換方法は、タスク非特異パッチエンベッダーを利用して、各クライアントに対するパッチエンベディングを準備して順列モジュールを通過させた後にサーバに送信する段階、および前記サーバで受信した前記パッチエンベディングを記録して、ビジョン変換器モデルの本体およびテール部分をアップデートするために使用する段階を含んでよい。

【0012】

マルチタスク学習を実行する前記ビジョン変換器モデルをクライアント側のモデルであるヘッドおよびテール部分とサーバ側のモデルである本体部分に分離し、直接的なデータの共有なく分散学習方式で学習できるようにしてよい。

【0013】

前記パッチエンベディングを準備して順列モジュールを通過させた後にサーバに送信する段階は、前記順列モジュールを利用して、前記クライアント側から前記サーバにパッチ特徴を送信する前にパッチ順列をランダム混合して送信してよい。

【0014】

前記順列モジュールは、ランダムパッチ順列置換モジュールであって、前記クライアント側から前記サーバ側に送信するデータは、パッチ順列がランダム置換されて原本データの識別ができなくなった表象特徴データを送信するようにしてよい。

【0015】

前記順列モジュールは、ランダムパッチ順列置換モジュールであって、前記サーバ側で統合（ａｇｇｒｅｇａｔｅ）して分配するモデル加重値の一部だけを共有するようにし、全体データを逆順で修復できなくなるようにしてよい。

【0016】

前記サーバの前記ビジョン変換器モデルの本体部分で順列置換されたパッチ特徴として、フォワードパスを実行してエンコードされた特徴を前記クライアントに再送する段階をさらに含んでよい。

【0017】

前記クライアントは、記録されたキーによって順列を反転させ、返還された前記特徴をタスク別にテール部分に伝達して最終出力を算出する段階をさらに含み、前記パッチエンベディングを準備して順列モジュールを通過させた後にサーバに送信する段階は、前記順列モジュールを利用して前記クライアント側から前記サーバにパッチ特徴を送信する前にパッチ順列をランダム混合してクライアント側で順列を反転させるために、前記キーを記録してよい。

【0018】

前記エンコードされた特徴を前記クライアントに送信する段階は、前記順列モジュールを使用して、順伝播の反対である前記ビジョン変換器モデルのテール、本体、およびヘッドの順に逆伝播が行われてよい。

【0019】

他の実施形態に係るランダムパッチ順列置換による分散学習基盤のマルチタスクビジョン変換装置を利用した変換方法は、順列モジュールを利用してパッチ順列をランダム混合してクライアント側で順列を反転させるためにキーを記録した後、前記クライアントからサーバにパッチ特徴を送信する段階、前記サーバのビジョン変換器モデルの本体部分で順列置換されたパッチ特徴として、フォワードパスを実行してエンコードされた特徴を前記クライアントに再送する段階、および前記クライアントは、記録された前記キーによって順列を反転させ、返還された前記特徴をタスク別にテール部分に伝達して最終出力を算出する段階を含んでよい。

【0020】

前記エンコードされた特徴を前記クライアントに再送する段階は、前記順列モジュールを使用して、順伝播の反対である前記ビジョン変換器モデルのテール、本体、およびヘッドの順に逆伝播が行われてよい。

【0021】

前記クライアントからサーバにパッチ特徴を送信する段階は、タスク非特異パッチエンベッダーを利用して、各クライアントに対するパッチエンベディングを準備して順列モジュールを通過させた後にサーバに送信してよい。

【0022】

前記サーバで受信した前記パッチエンベディングを記録して、ビジョン変換器モデルの本体およびテール部分をアップデートするために使用する段階をさらに含んでよい。

【0023】

さらに他の実施形態における、ランダムパッチ順列置換による分散学習基盤のマルチタスクビジョン変換装置を利用した変換装置は、タスク非特異パッチエンベッダーを利用して、各クライアントに対するパッチエンベディングを準備して順列モジュールを通過させた後にサーバに送信するヘッド部、および前記サーバで受信した前記パッチエンベディングを記録して、ビジョン変換器モデルの本体およびテール部分をアップデートするために使用する特徴記録部を含んでよい。

【0024】

マルチタスク学習を実行する前記ビジョン変換器モデルをクライアント側のモデルであるヘッドおよびテール部分とサーバ側のモデルである本体部分に分離し、直接的なデータの共有なく分散学習方式で学習できるようにしてよい。

【0025】

前記ヘッド部は、前記順列モジュールを利用して、前記クライアント側から前記サーバにパッチ特徴を送信する前にパッチ順列をランダム混合して送信してよい。

【0026】

前記順列モジュールは、ランダムパッチ順列置換モジュールであって、前記クライアント側から前記サーバ側に送信するデータは、パッチ順列がランダムに置換されて原本データの識別ができなくなった表象特徴データを送信するようにしてよい。

【0027】

前記順列モジュールは、ランダムパッチ順列置換モジュールであって、前記サーバ側で統合（ａｇｇｒｅｇａｔｅ）して分配するモデル加重値の一部だけを共有するようにし、全体データを逆順で修復できなくなるようにしてよい。

【0028】

前記サーバの前記ビジョン変換器モデルの本体部分で順列置換されたパッチ特徴として、フォワードパスを実行してエンコードされた特徴を前記クライアントに再送する本体部をさらに含んでよい。

【0029】

前記クライアントは、記録されたキーによって順列を反転させ、返還された前記特徴をタスク別にテール部分に伝達して最終出力を算出するテール部をさらに含み、前記ヘッド部は、前記順列モジュールを利用して、前記クライアント側から前記サーバにパッチ特徴を送信する前にパッチ順列をランダム混合してクライアント側で順列を反転させるために、前記キーを記録してよい。

【0030】

前記本体部は、前記順列モジュールを使用して、順伝播の反対である前記ビジョン変換器モデルのテール、本体、およびヘッドの順に逆伝播が行われるようにしてよい。

【発明の効果】

【0031】

実施形態によると、ビジョン変換器モデルを活用して分散学習方式とマルチタスク学習を統合すると同時に、ランダムパッチ順列置換モジュール技術を適用することで、従来の方式では達成できなかった個人情報保護を可能にするとともに、通信量もほぼ半分に減らすことができる、ランダムパッチ順列置換による分散学習基盤のマルチタスクビジョン変換装置およびこれを利用した変換方法を提供することができる。

【0032】

実施形態によると、従来の分散学習方式に比べて個人情報保護によるプラットフォームの効果的な普及を可能にする。

【0033】

また、実施形態によると、マルチタスク分散学習プラットフォームの幅広い普及と多様なモダリティへの適用により、個別タスクに特化した人工知能モデルの性能を高めることができる。

【0034】

さらに、実施形態によると、効率的なサーバ－クライアント通信により、分散学習過程で発生する通信量や費用、時間を減らすことができる。

【図面の簡単な説明】

【0035】

【図1】従来のＦＥＳＴＡの構造を示した図である。

【図2】従来のＦＥＳＴＡの学習方法を説明するための図である。

【図3】一実施形態における、ランダムパッチ順列置換による分散学習基盤のマルチタスクビジョン変換装置の構造を説明するための図である。

【図4】一実施形態における、ランダムパッチ順列置換による分散学習基盤のマルチタスクビジョン変換装置の学習方法を説明するための図である。

【図5】一実施形態における、プライバシーを強化するための順列モジュールを示した図である。

【図6】一実施形態における、各クライアントの各データに対する互いに異なる順列パターンを示した図である。

【図7】一実施形態における、ランダムパッチ順列置換による分散学習基盤のマルチタスクビジョン変換装置を利用した変換方法を示したフローチャートである。

【図8】一実施形態における、ランダムパッチ順列置換による分散学習基盤のマルチタスクビジョン変換装置を示したブロック図である。

【図9】他の実施形態における、ランダムパッチ順列置換による分散学習基盤のマルチタスクビジョン変換装置を利用した変換方法を示したフローチャートである。

【発明を実施するための形態】

【0036】

以下、実施形態について添付の図面を参照しながら詳しく説明する。しかし、記述する実施形態は多様に異なる形態に変形されてよく、本発明の範囲が以下で説明する実施形態によって限定されてはならない。多様な実施形態は、当技術分野において通常の知識を有する者に本発明をより完全に説明するために提供するものである。図面に示した要素の形状および大きさなどは、より明確な説明のために誇張する場合もある。

【0037】

人工知能モデルが医療映像分野で優れた性能を発揮するようになることで多様な関連製品が出仕されるようになったが、これは中央化された学習方式によって一部のデータだけを学習したモデルであることから優れた一般化性能を保障できない場合が多く、優れた一般化性能を確保するためには膨大なデータを要するという問題を抱えている。これによって連合学習などの分散学習方式が開発されたが、個人情報保護の不完全性によって個人情報の修復が可能であるという危険性がある上に多くの通信量を必要とするため、実質的な適用には困難がある。特に、分散学習方式でマルチ学習を活用することで性能を高めた従来の技術は、通信量がさらに増加するという限界点あった。

【0038】

以下の実施形態は、従来の分散学習方式で問題となっていた攻撃者およびサーバによる個人情報の復元によるプライバシー侵害問題を解決し、マルチ学習方式の利点を最大限に活かすことでマルチ学習フレームワークによる性能向上を極大化し、サーバとクライアントの間の通信量までも減らすことができる方式を提供する。

【0039】

実施形態では、パッチ順列置換不変性というビジョン変換器モデルの固有の特性を活用して、クライアント側からサーバに表象特徴を送信する前にパッチ順列をランダム混合して送信する方式によって個人情報を保護する。このような方式では、サーバに表象特徴を記録しても流出の憂慮がないため、最初にすべての表象特徴を記録して学習を進める方式によって通信量を減らすことができると同時に、ビジョン変換器モデルをヘッド、変換器（本体）、テール（ｔａｉｌ）に分離して変換器自体は共有されるようにすることにより、マルチ学習方式の利点を活かしながらも個別タスクに比べて性能が高まるようにする。

【0040】

実施形態によると、従来の分散学習方式に比べて効果的な個人情報保護によるプラットフォームの普及を期待することができる。結果的に、マルチタスク分散学習プラットフォームの幅広い普及と多様なモダリティへの適用によって個別タスクに特化した人工知能モデルの性能向上を期待することができ、効率的なサーバクライアント通信によって実際の分散学習過程で発生する通信量や費用、時間の減少も期待することができる。

【0041】

本実施形態では、ランダムパッチ順列を有するビジョン変換器（Ｖｉｓｉｏｎ Ｔｒａｎｓｆｏｒｍｅｒ：ＶｉＴ）を使用するマルチタスク分散学習を提示する。ＦＥＳＴＡ（ｆｅｄｅｒａｔｅｄ ｓｐｌｉｔ ｔａｓｋ－ａｇｎｏｓｔｉｃ）のようにＣＮＮ基盤のヘッドを使用する代わりに、本実施形態に係るｐ－ＦＥＳＴＡは、ランダムに順列する簡単なパッチエンベッダーを採択することで、プライバシーを保護しながらもマルチタスキング学習性能を高めることができる。実験の結果、提案された方法を利用することにより、マルチタスク協業、コミュニケーション効率性、および個人情報保護の利点が大きく向上し、医療映像分野の実際のマルチタスク分散学習を照らし出すことができることが確認された。

【0042】

より具体的に、本実施形態は、ビジョン変換器（Ｖｉｓｉｏｎ Ｔｒａｎｓｆｏｒｍｅｒ：ＶｉＴ）を置換する連合分割タスク－非特異的学習（Ｆｅｄｅｒａｔｅｄ Ｓｐｌｉｔ Ｔａｓｋ－Ａｇｎｏｓｔｉｃ ｌｅａｒｎｉｎｇ：ＦＥＳＴＡ）であるｐ－ＦＥＳＴＡフレームワークを取り入れ、プライバシー保護と通信に効率的なマルチタスク学習（Ｍｕｌｔｉ－Ｔａｓｋ Ｌｅａｒｎｉｎｇ：ＭＴＬ）を強化した。ｐ－ＦＥＳＴＡの全体的な構成はＦＥＳＴＡに似ているが、ＣＮＮ基盤のヘッドの代わりにｖａｎｉｌｌａビジョン変換器（ＶｉＴ）のような単純なタスク非特異パッチエンベッダーを採択し、変換器（ｔｒａｎｓｆｏｒｍｅｒ）アキテクチャ内で自己注意を払うことでマルチタスク学習（ＭＴＬ）性能を高めた。プライバシー保護のために外部攻撃者や「ｈｏｎｅｓｔ ｂｕｔ ｃｕｒｉｏｕｓ」サーバが個人情報を含む本来のデータに特徴を戻すことを防ぐために、すべてのパッチ特徴の順序をランダムに変更する順列モジュールを取り入れた。

【0043】

新たなアキテクチャの変更は、ｐ－ＦＥＳＴＡに多様な利点を提供した。先ず、全体学習プロセスで使用する機能を記録することで通信オーバーヘッドを大きく減らした。さらに、ヘッドは小さな役割を担うようにし、マルチタスク本体にはｈｅａｖｙ ｌｉｆｔｉｎｇを担わせることにより、マルチタスク学習（ＭＴＬ）の長所を強化した。さらに、ビジョン変換器（ＶｉＴ）の固有の属性を使用する、単純かつ効果的な順列モジュールによってデータプライバシーの保護も強化した。

【0044】

先ず、ビジョン変換器（ＶｉＴ）について説明する。

【0045】

自然語処理（Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ：ＮＬＰ）での成功的な適用から発想を受けた精巧なアテンションメカニズムを備えた、ここ最近に導入されたディープラーニングモデルであるビジョン変換器（ＶｉＴ）は、多くのビジョンタスクで印象的な性能を発揮した。ビジョン変換器（ＶｉＴ）のマルチヘッド自己注意は、キューをエンコードするためにイメージの一連のパッチに柔軟に注意を払うことができ、モデルがｏｃｃｌｕｓｉｏｎ、空間順列、および敵対的摂動のような妨害に堅固となることにより、モデルがＣＮＮ基盤のモデルよりも人間のようにより形態偏向（ｓｈａｐｅ－ｂｉａｓｅｄ）を備えることができる。

【0046】

また、ビジョン変換器（ＶｉＴ）のモジュール式設計が簡単であり、イメージパッチを埋め込みに投影するヘッド、埋め込みをエンコードする変換器本体、タスク別に出力を生成するテールなど、構成要素を容易に分解できることを暗示する。このような簡単に分解可能な設計は、マルチタスク学習（ＭＴＬ）アプリケーションにおいて可能性を提供する。マルチタスク学習（ＭＴＬ）の動機は、個別タスクに対するデータの数が制限されているデータ不足問題を緩和しようとする試みから始まったことを忘れてはいけない。マルチタスク学習（ＭＴＬ）は、データの効率性を改善し、共有表現によって過適合を減らし、補助知識を活用することにより、迅速な収斂を可能にするという長所を提供する。

【0047】

特に、ｔｒａｎｓｆｏｒｍｅｒ基盤のモデルがあるマルチタスク学習（ＭＴＬ）は、自然語処理（ＮＬＰ）で密接に関連するタスクの性能を高めるための人気のある接近方式として登場した。この接近方式において共有ｔｒａｎｓｆｏｒｍｅｒは、文章分類および単語予測のような多様な関連タスクを同時に学習し、モジュールがタスクごとに各タスクに対する結果を算出する。マルチタスク学習（ＭＴＬ）戦略によって学習されたモデルは、一般的に広範囲なタスクにおいて優れた性能を発揮する。言語のように研究されてはいないが、ビジョン変換器（ＶｉＴ）の分解可能な設計は、視覚的変換モデルにマルチタスク学習（ＭＴＬ）を適用することを可能にした。初期接近方式（非特許文献１）においてビジョン変換器（ＶｉＴ）は、タスク全般にわたってタスク別にヘッド、テール、および共有ｔｒａｎｓｆｏｒｍｅｒ構造に分けられ、関連タスク間に変換モデルを共有することにより、より少ない学習段階で同じような一般化性能を達成することができた。

【0048】

図１は、従来のＦＥＳＴＡの構造を示した図であり、図２は、従来のＦＥＳＴＡの学習方法を説明するための図である。

【0049】

図１および図２に示すように、従来のＦＥＳＴＡ（Ｆｅｄｅｒａｔｅｄ Ｓｐｌｉｔ Ｔａｓｋ－Ａｇｎｏｓｔｉｃ）フレームワークの主要な動機は、連合学習（ＦＬ）と分類学習（ＳＬ）方式の明らかな長所を最大限に活用し、多様なタスクを実行するクライアント間の協業によって個別タスクの成果を高めるフレームワークを提供することにある。

【0050】

【0051】

【0052】

マルチタスク本体のアップデートの場合、ヘッドとテールを固定して最適化が実行される。各タスクのヘッドおよびテールのアップデートの場合、変換器本体を修正して最適化問題を解決する。また、サーバ２２は、「ＵｎｉｆｙｉｎｇＲｏｕｎｄｓ」ごとに、ＦｅｄＡｖｇのように同一のタスクに参加するクライアント間のヘッドおよびテールパラメータを集計、平均して分散する。

【0053】

以前の研究において、マルチタスク学習（ＭＴＬ）とともに、ＦＥＳＴＡは、データガバナンス（ｄａｔａ ｇｏｖｅｒｎａｎｃｅ）および所有権の問題を解決すると同時に、変換器本体の大きい加重値を送信する必要がなく、クライアントの個別性能を共同で高めることができるものであると示された。

【0054】

ＦＥＳＴＡフレームワークには依然としていくつかの短所がある。先ず、分割学習（ＳＬ）のようにサーバとクライアントの間で特徴とｇｒａｄｉｅｎｔを持続的に交換しなければならないが、連合学習（ＦＬ）のようにヘッドとテール加重値もクライアントの間で集計しなければならないため通信費が増加することがある。これにより、通信費が分割学習（ＳＬ）よりも高まり、ネットワークの規模によっては連合学習（ＦＬ）よりも高まる。次に、変換器本体のない研究から分かるように、ＣＮＮヘッドとテール自体には既に力強な表現能力があるため、ヘッドとテールの間の変換器本体の役割を減らすことがある。最後に、クライアントからサーバに送信される特徴に対するモデル反転攻撃からプライバシーを保護する方法がないため、プライバシー保護の問題が発生することがある。

【0055】

一実施形態によって提案されたｐ－ＦＥＳＴＡは、このような短所を緩和するために考案されたフレームワークである。

【0056】

図３は、一実施形態における、ランダムパッチ順列置換による分散学習基盤のマルチタスクビジョン変換装置の構造を説明するための図であり、図４は、一実施形態における、ランダムパッチ順列置換による分散学習基盤のマルチタスクビジョン変換装置の学習方法を説明するための図である。

【0057】

図３と図４に示すように、ｐ－ＦＥＳＴＡの全体的な構成は、ヘッドＨ（３１０、４１０）、本体Ｂ（３２０、４２０）、テールＴ（３３０、４３０）などにネットワークを分解するＦＥＳＴＡと似てはいるが、従来のＦＥＳＴＡとは異なり、各タスクに合わせたＣＮＮヘッドを使用しない。タスクで重要な役割を担うＣＮＮヘッドが強力であれば、この追加モジュールによって改善する余地はほぼないため、共有変換器が重要な構成要素となることを妨害する。この代わりに、一実施形態によると、ｖａｎｉｌｌａビジョン変換器（ＶｉＴ）のような単純なタスク非特異パッチエンベッダー（ｔａｓｋ ｎｏｎ－ｓｐｅｃｉｆｉｃ ｐａｔｃｈ ｅｍｂｅｄｄｅｒ）を採択することで、ｔｒａｎｓｆｏｒｍｅｒアキテクチャ内で自己注意（ｓｅｌｆ－ａｔｔｅｎｔｉｏｎ）を強制してｈｅａｖｙ ｌｉｆｔを実行する。

【0058】

ｖａｎｉｌｌａビジョン変換器（ＶｉＴ）でパッチエンベディングを使用すれば、本来のイメージを得るためにパッチエンベッダーを覆そうとする外部攻撃者が発生することがある。これを解決するために、ここでは、外部攻撃者または「ｈｏｎｅｓｔ ｂｕｔ ｃｕｒｉｏｕｓ」サーバが個人情報を含む本来のデータに特徴を戻すことを防ぐために、図３に示すような新たな順列モジュール（ｐｅｒｍｕｔａｔｉｏｎ ｍｏｄｕｌｅ）３４０、４４０を提案する。特に、この順列モジュール３４０、４４０は、すべてのパッチ特徴をサーバに送信する前に任意で順序を混合してクライアント側で順列を反対にするためにキー（ｐｅｒｍｕｔａｔｉｏｎ ｋｅｙ）を記録する。この後、サーバの変換器本体Ｂ（３２０、４２０）は、順列置換されたパッチ特徴として、フォワードパスを実行してエンコードされた特徴をクライアントに再送する。最後に、クライアントは、記録されたキーによって順列を反転させ、返還された特徴をタスク別のテールＴｋ（３３０、４３０）に伝達して最終出力を算出する。逆伝播は、順伝播に同じ順列モジュール３４０、４４０が使用される正反対の方式で実行される。

【0059】

順列モジュール３４０、４４０の可用性は、マルチヘッド自己注意、フィードフォワードネットワーク（ｆｅｅｄｆｏｒｗａｒｄ ｎｅｔｗｏｒｋ）、および階層正規化のように、変換器本体を構成するすべての構成要素が根本的に「順列不変（ｐｅｒｍｕｔａｔｉｏｎ ｅｑｕｉｖａｒｉａｎｔ）」であるというビジョン変換器（ＶｉＴ）の興味深い特性を基にしている。これらはパッチ基盤方式で独立的に処理されるが、パッチの順序は結果に影響を及ぼさないため、性能の低下なく変換器本体を学習することができる。また、パッチ順序が完全にもつれるため、悪意ある攻撃者が原本イメージを成功的に元に戻すことができない。順列モジュール３４０、４４０が悪意ある攻撃者からのプライバシー保護を提供する方法については、以下でより詳しく説明する。

【0060】

連合学習（ＦＬ）の場合、モデルアップデートが本来のデータよりも情報的でないと見なすとき、モデルアップデートの連合集計、平均化、および分散の一時的かつ集中的な特性によってプライバシーが改善される。しかし、最近の研究では、このようなローカルモデルのアップデートだけで個人データを忠実に発見できるという誤った保安意識に疑問を抱いている。具体的に、グローバルモデルＷに対するアクセスとクライアントのモデルアップデートΔＷに対するアクセスが与えられれば、攻撃者は、クライアントのモデルアップデートと一致するｇｒａｄｉｅｎｔを生成する前に以前の入力イメージを最適化することができる。しかし、全体モデルのテール部分だけがサーバによって集計されてクライアントに分散されるため、提案されたｐ－ＦＥＳＴＡ方法ではこのような攻撃が不可能となる。例えば、新型コロナウイルス感染症（ＣＯＶＩＤ－１９）の分類の場合、タスク別のテールは簡単な線形分類器としてプライバシーのある原本データを発見することはできない。

【0061】

分割学習（ＳＬ）は、他の方式でプライバシーを保護する。その名称からも分かるように、分割学習（ＳＬ）は、全体モデルをクライアント側のサブネットワークとサーバ側のサブネットワークに分割し、サーバとクライアントの間にモデルを送信しない。この代わりに、特徴とｇｒａｄｉｅｎｔがサーバとクライアントの間で行き来しながら送信されるため、悪意ある攻撃者の餌になることがある。

【0062】

【0063】

図５は、一実施形態における、プライバシーを強化するための順列モジュールを示した図であり、図６は、一実施形態における、各クライアントの各データに対する互いに異なる順列パターンを示した図である。

【0064】

特徴空間奪取は、一実施形態に係るｐ－ＦＥＳＴＡでも可能である。一実施形態に係るモデルのヘッド部分は比較的単純であるため、攻撃者の標的になりやすい。これが、図７に示すように、プライバシーを保護するための新たな順列モジュールを取り入れる理由である。順列モジュールは、すべてのパッチ特徴の順序を任意に混合する。一実施形態において、各クライアントの各データの順列は、図８に示すように、規則性なくすべて異なるため、すべてのデータに対して数多くのパターンが発生する。このようなランダム順列により、悪意ある攻撃者またはサーバが個人データを発見するためにパッチ特徴を奪取したとしても、学習可能な不明な変数である位置イムベディングパラメータはパッチの本来の順序に関する情報がないため推論することができない。さらに、攻撃者が分からない追加された位置イムベディングが反転のために先駆けて減算されなければならないため、パッチ特徴をイメージパッチに逆行することは不可能である。これは、攻撃者が他の「不明な（ｕｎｋｎｏｗｎ）」ことを推論するために「不明な」ことを既に知っていなければならないという矛盾を作り出し、反転攻撃を未確定問題の一種類に導く。

【0065】

以下では、一実施形態における、ｐ－ＦＥＳＴＡの学習プロセスについて説明する。

【0066】

ｐ－ＦＥＳＴＡの学習プロセスは本来のＦＥＳＴＡと似ているが、多様な面において差がある。タスク非特異パッチエンベッダーＨは、各タスクｋに対するタスク別のヘッドＨｋの代わりに、初めに各クライアントｃに対するパッチエンベディングｈｃを準備し、順列モジュールを通過した後にサーバに送信する。この後、サーバは、受信したパッチエンベディングｈｃを側面に記録し、モデルの本体ＢとテールＴｋ部分をアップデートするために学習プロセスの残りの期間に使用する。結果的に、中間特徴ｈｃを送信したりヘッドＨをアップデートしたりするための通信が必要なくなるため、本来のＦＥＳＴＡに比べて全般的な通信費用を大きく減らすことができる。

【0067】

モデルのヘッド部分であるパッチエンベッダーは、この構成でアップデートすることができない。しかし、パッチエンベッダーのパラメータを修正しても、イメージパッチを同じベクトル空間に埋め込むことができる簡単な構造のおかげで性能が低下しない。学習できるようにすればタスク間の埋め込み不一致が発生し、性能は多少低下する。提案されたｐ－ＦＥＳＴＡの詳しいプロセスは、以下の表１のアルゴリズム１で説明されている。

【表1】

【0068】

図７は、一実施形態における、ランダムパッチ順列置換による分散学習基盤のマルチタスクビジョン変換装置を利用した変換方法を示したフローチャートである。

【0069】

図７を参照すると、一実施形態における、ランダムパッチ順列置換による分散学習基盤のマルチタスクビジョン変換装置を利用した変換方法は、タスク非特異パッチエンベッダーを利用して、各クライアントに対するパッチエンベディングを準備して順列モジュールを通過させた後にサーバに送信する段階１１０、およびサーバで受信したパッチエンベディングを記録して、ビジョン変換器モデルの本体およびテール部分をアップデートするために使用する段階１２０を含んでよい。

【0070】

また、サーバのビジョン変換器モデルの本体部分で順列置換されたパッチ特徴として、フォワードパスを実行してエンコードされた特徴をクライアントに送信する段階１３０をさらに含んでよい。

【0071】

また、クライアントは、記録されたキーによって順列を反転させ、返還された特徴をタスク別にテール部分に伝達して最終出力を算出する段階１４０をさらに含んでよい。ここで、パッチエンベディングを準備して順列モジュールを通過させた後にサーバに送信する段階は、順列モジュールを利用して、クライアント側からサーバにパッチ特徴を送信する前にパッチ順列をランダム混合してクライアント側で順列を反転させるために、キーを記録してよい。

【0072】

以下では、一実施形態における、ランダムパッチ順列置換による分散学習基盤のマルチタスクビジョン変換装置を利用した変換方法についてより詳しく説明する。

【0073】

図８は、一実施形態における、ランダムパッチ順列置換による分散学習基盤のマルチタスクビジョン変換装置を示したブロック図である。

【0074】

図８を参照すると、一実施形態における、ランダムパッチ順列置換による分散学習基盤のマルチタスクビジョン変換装置８００は、ヘッド部８１０および特徴記録部８２０を含んでよい。実施形態によって、ランダムパッチ順列置換による分散学習基盤のマルチタスクビジョン変換装置８００は、本体部８３０およびテール部８４０をさらに含んでよい。実施形態は、マルチタスク学習を実行するビジョン変換器モデルをクライアント側のモデルであるヘッドおよびテール部分とサーバ側のモデルである本体部分に分離し、直接的なデータの共有なく分散学習方式で学習することができるようにする。

【0075】

段階１１０で、ヘッド部８１０は、タスク非特異パッチエンベッダーを利用して、各クライアントに対するパッチエンベディングを準備して順列モジュールを通過させた後にサーバに送信してよい。ヘッド部８１０は、順列モジュールを利用して、クライアント側からサーバにパッチ特徴を送信する前にパッチ順列をランダム混合して送信してよい。このとき、ヘッド部８１０は、パッチ順列をランダム混合してクライアント側で順列を反転させるために、キーを記録してよい。

【0076】

ここで、順列モジュールは、ランダムパッチ順列置換モジュールであって、クライアント側からサーバ側に送信するデータは、パッチ順列がランダムに置換されて原本データの識別ができないようになった表象特徴データを送信するようにしてよい。また、順列モジュールは、ランダムパッチ順列置換モジュールであって、サーバ側で統合（ａｇｇｒｅｇａｔｅ）して分配するモデル加重値の一部だけを共有するようにし、全体データが逆順に修復されないようにしてよい。

【0077】

段階１２０で、特徴記録部８２０は、サーバで受信したパッチエンベディングを記録して、ビジョン変換器モデルの本体およびテール部分をアップデートするために使用してよい。

【0078】

段階１３０で、本体部８３０、すなわち、サーバのビジョン変換器モデルの本体部分で順列置換されたパッチ特徴として、フォワードパスを実行してエンコードされた特徴をクライアントに再送してよい。本体部８３０は、順列モジュールを使用して、順伝播の反対であるビジョン変換器モデルのテール、本体、およびヘッドの順に逆伝播が行われるようにしてよい。

【0079】

段階１４０で、クライアントは、記録されたキーによって順列を反転させ、テール部８４０は、返還された特徴をタスク別にテール部分に伝達して最終出力を算出してよい。

【0080】

図９は、他の実施形態における、ランダムパッチ順列置換による分散学習基盤のマルチタスクビジョン変換装置を利用した変換方法を示したフローチャートである。

【0081】

図９を参照すると、他の実施形態における、ランダムパッチ順列置換による分散学習基盤のマルチタスクビジョン変換装置を利用した変換方法は、順列モジュールを利用してパッチ順列をランダム混合してクライアント側で順列を反転させるためにキーを記録した後、クライアントからサーバにパッチ特徴を送信する段階２１０、サーバのビジョン変換器モデルの本体部分で順列置換されたパッチ特徴として、フォワードパスを実行してエンコードされた特徴をクライアントに再送する段階２２０、およびクライアントが記録されたキーによって順列を反転させ、返還された特徴をタスク別にテール部分に伝達して最終出力を算出する段階２３０を含んでよい。

【0082】

他の実施形態における、ランダムパッチ順列置換による分散学習基盤のマルチタスクビジョン変換装置を利用した変換方法は、上述した一実施形態における、ランダムパッチ順列置換による分散学習基盤のマルチタスクビジョン変換装置を利用した変換方法の構成に含まれるか含んでよく、重複する説明は省略する。

【0083】

段階２１０で、ヘッド部８１０は、順列モジュールを利用してパッチ順列をランダム混合してクライアント側で順列を反転させるためにキーを記録した後、クライアントからサーバにパッチ特徴を送信してよい。

【0084】

一方、特徴記録部８２０は、サーバで受信したパッチエンベディングを記録して、ビジョン変換器モデルの本体およびテール部分をアップデートするために使用してよい。

【0085】

段階２２０で、本体部８３０は、サーバのビジョン変換器モデルの本体部分で順列置換されたパッチ特徴として、フォワードパスを実行してエンコードされた特徴をクライアントに再送してよい。すなわち、順列モジュールを使用して、順伝播の反対であるビジョン変換器モデルのテール、本体、およびヘッドの順に逆伝播が行われるようにしてよい。

【0086】

段階２３０で、テール部８４０は、クライアントが記録したキーによって順列を反転させ、返還された特徴をタスク別にテール部分に伝達して最終出力を算出してよい。

【0087】

実施形態は、マルチタスク学習を実行するビジョン変換器モデルをクライアント（接続者）側のモデルとサーバ側のモデルに分離し、直接的なデータ共有なく分散学習方式で学習できるようにする方式を使用する。

【0088】

上述した過程において、クライアント側から出た表象特徴（ｆｅａｔｕｒｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）およびクライアントモデル加重値がサーバ側に送信されなければならないが、従来の分散学習方式を活用する場合には、この過程でサーバに送信されるデータを外部の攻撃者がハッキングしたり、サーバ自体でデータを活用して個人情報を修復したりしようとする場合、敏感な情報を識別可能な水準まで復元することが可能であった。

【0089】

しかし、実施形態は、上述した過程に追加的にランダムパッチ順列置換モジュールを適用することで、サーバ側に送信するデータは、パッチ順列がランダム置換されて原本データの識別ができないようにした表象特徴データを送信する。また、サーバ側で統合（ａｇｇｒｅｇａｔｅ）して分配（ｄｉｓｔｒｉｂｕｔｅ）するモデル加重値も一部だけを共有することにより、全体データを逆順で修復することができないようにした。このような２つの方式により、実施形態は、従来の分散学習方式よりも個人情報をより効果的に保護することを可能にした。このようなランダムパッチ順列置換方式は、パッチ順列置換不変（ｐａｔｃｈ ｐｅｒｍｕａｔｉｏｎ ｉｎｖａｒｉａｎｃｅ）というビジョン変換器モデルの特性を活用したものである。

【0090】

また、実施形態は、マルチ学習方式の利点を活かして、多数のタスクを実行するクライアントの間でモデル学習に有用な表象特徴およびグラジエント（ｇｒａｄｉｅｎｔ）が共有されるようにすることにより、単一タスクモデルに比べて最終学習されたモデルの性能を高めることができる。実施形態は、従来の方式に比べて簡単なヘッド（ｈｅａｄ）モデルを使用することで、クライアントの間で同じヘッドを活用する方式によって同じ表象空間で学習がなされるようにし、共有トランスフォーマモジュールが大部分のタスクを実行するようにすることにより、マルチ学習方式の利点が極大化されるように設計した。

【0091】

さらに、従来のマルチタスク分散学習方式で問題となっていたサーバとクライアント間の過多な通信量に対し、実施形態は、学習開始時に表象特徴データをサーバ側に記録し、これを学習中に始終活用することによって通信量をほぼ半分に減らし、少ない費用で学習することを可能にした。これは、ランダムパッチ順列置換モジュールを利用して個人情報が保護されたデータをサーバ側に送信することで可能となる方式であり、サーバ側に表象特徴が記録されたとしても、サーバがこれを修復することができないという点を効果的に活用した方式である。

【0092】

上述したような個人情報保護マルチタスク分散学習技術は、医療映像だけでなく、多様な分野への適用が可能である。ビジョン変換器モデルの特性を活用してランダムパッチ置換によって個人情報保護をする技術は、ビジョン変換器モデルの適用が可能な映像（ｉｍａｇｉｎｇ）分野であればモダリティに関係なく適用可能であり、人工知能モデルによって実行しようとするタスクも、分類／分割／定量化などのタスクの種類にかかわらず、多様なタスクに適用可能であるという幅広い汎用性がある。

【0093】

実施形態によると、個人情報保護は、何よりも重要な医療映像分野において最も効果的に適用されることを期待することができる。研究によって実験を実行したＸ－ｒａｙ映像の他にもモダリティに関係なく「映像」情報であれば適用可能であるという長所により、ＣＴ、ＭＲＩ、ＰＥＴなどの多様な医療映像モダリティに応用可能であり、マルチタスク学習モデルの柔軟性により、各クライアントが互いに異なるタスクを実行したい状況であっても、本技術を効果的に適用することができるという長所がある。また、医療映像分野の他に、スマートフォンなどのモバイル機器のデータを活用した分散学習環境などでも効果的に適用可能であるのは、個人スマートフォンなどに含まれる映像情報も個人情報保護が重要なデータであるためである。

【0094】

実施形態は、ビジョン変換器モデルを基盤として開発されたが、ビジョン変換器モデルでそれぞれのイメージパッチ（ｐａｔｃｈ）を取り扱う方式は、自然語処理のための変換器モデルが単語（ｗｏｒｄ）を取り扱う方式とほぼ同じであり、これ以外の構造も類似するという点を考慮すれば、当技術が自然語処理分野の分散学習およびマルチタスク学習モデルにも活用できるようにすることを期待することができる。実施形態でパッチ順列をランダム混合して個人情報を保護した方式と同じように、自然語モデルでも単語の順序をランダム混合することで、全体的な個人情報に対する保護効果を期待することができる。

【0095】

以上のように、実施形態は、分散方式である連合学習および分割学習方式の長所を融合すると同時に、マルチタスク学習によってビジョン変換器モデルの性能を高めることを可能にした。また、実施形態は、従来の分散学習方式で問題となっていた攻撃者による敏感な個人情報復元問題をランダムパッチ順列置換方式によって不可能にすることにより、他の個人情報保護方式を活用しなくても根本的に敏感な個人情報を復元できないようにしたが、これはビジョン変換器自体の固有の特性であるパッチ順列置換不変性を活用したものである。これにより、サーバ側に順列置換されたデータを記録しておいて学習させることにより、分散学習過程の全体的な通信量をほぼ半分に減らすことができる。

【0096】

これにより、実施形態は、従来の分散学習方式に比べてマルチ学習方式による性能向上の幅が大きく、個人情報保護の強化とともに、通信量もほぼ半分に大きく減らすことができる。このような向上は、ビジョン変換器の固有の特性を最大限に活用することによって得られた効果である。したがって、実施形態は、従来の特許方式に比べて向上した個人情報保護を提供し、医療映像人工知能およびその他の映像人工知能分野に幅広く適用することができる。

【0097】

実施形態に係る技術を最も先に活用することができる医療映像人工知能分野は、ここ数年の間に市場規模が急激に成長している分野であり、Ｘ－ｒａｙ、ＣＴ、ＭＲＩなどの多様なモダリティに対して人工知能モデルを活用した商品が開発されている。しかし、このような従来の製品は、単一タスクに対してデータを中央で統合して学習させる方式で開発された製品であるため、十分なデータを集めるのが困難な詳細タスクなどに対しては製品の開発が難しく、少数の機関データを活用して学習されたモデルであるため、優れた一般化性能を発揮することができない場合が多いという問題があった。実施形態は、このような従来の市場製品の短所を解決するための技術であって、製品開発に必要なデータの直接的な共有および中央統合なくモデルを学習しながらも、患者の個人情報を保護することができる学習フレームワークを提供することができ、タスクの種類に関係なく幅広い活用が可能であり、マルチタスク学習の利点を活かして性能をより高めることができるという長所がある。したがって、医療人工知能モデルを開発する会社などでの有効的な活用が可能であり、このような会社を対象にして開発プラットフォーム製品を提供する方式で販売することもできるし、研究目的としても有効的な活用が可能であるため、病院や大学などの研究機関に研究用としてプラットフォームを販売することも期待される。

【0098】

上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および／またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者であれば、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。

【0099】

ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置（ｖｉｒｔｕａｌ ｅｑｕｉｐｍｅｔ）、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。

【0100】

実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。前記コンピュータで読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含んでよい。前記媒体に記録されるプログラム命令は、実施形態のために特別に設計されて構成されるものであってもよいし、コンピュータソフトウェアの当業者に公知されて使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ－ＲＯＭおよびＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのような、プログラム命令を記録して実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例は、コンパイラによって生成されるもののような機械語コードだけではなく、インタプリタなどを使用してコンピュータによって実行される高級言語コードを含む。

【0101】

以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。

【0102】

したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付の特許請求の範囲に属する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【外国語明細書】