知財求人 - 知財ポータルサイト「IP Force」
▶ ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングの特許一覧
特開2024-167904マルチタスクモデルのアーキテクチャを決定するための方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024167904
(43)【公開日】2024-12-04
(54)【発明の名称】マルチタスクモデルのアーキテクチャを決定するための方法
(51)【国際特許分類】
G06N 3/096 20230101AFI20241127BHJP
G06F 9/50 20060101ALI20241127BHJP
【ＦＩ】
G06N3/096
G06F9/50 150C
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024082737
(22)【出願日】2024-05-21
(31)【優先権主張番号】10 2023 204 753.5
(32)【優先日】2023-05-22
(33)【優先権主張国・地域又は機関】DE
(71)【出願人】
【識別番号】390023711
【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング
【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ
【住所又は居所原語表記】Ｓｔｕｔｔｇａｒｔ， Ｇｅｒｍａｎｙ
(74)【代理人】
【識別番号】100114890
【弁理士】
【氏名又は名称】アインゼル・フェリックス＝ラインハルト
(74)【代理人】
【識別番号】100098501
【弁理士】
【氏名又は名称】森田 拓
(74)【代理人】
【識別番号】100116403
【弁理士】
【氏名又は名称】前川 純一
(74)【代理人】
【識別番号】100134315
【弁理士】
【氏名又は名称】永島 秀郎
(74)【代理人】
【識別番号】100162880
【弁理士】
【氏名又は名称】上島 類
(72)【発明者】
【氏名】クラウディア ブライオッタ
(72)【発明者】
【氏名】ルーカス ショット
(57)【要約】 （修正有）
【課題】マルチタスクモデルのアーキテクチャを決定するための方法、マルチタスクモデル及びプログラムを提供する。
【解決手段】方法１００は、解決すべきタスク（Ｔｉ）のセットに対して、当該セットの解決すべきタスク（Ｔｉ）間の対状の親和性を推定するステップ（１０２）と、解決すべきタスク（Ｔｉ）を、対状の親和性に基づいて、Ｎ個のグループ（ｇｉ）（ｉ＝１～Ｎ）に割り当てるステップ（１０４）と、層（Ｌｉ）を有するマルチタスクモデル（ＮＮ）の分岐深さ（ｄ）を決定するステップであって、分岐深さ（ｄ）は、マルチタスクモデル（ＮＮ）の層（Ｌｉ）のどの深さにおいて、解決すべきタスク（Ｔｉ）によって共同利用される前記ＮＮの基本ネットワーク（Ｂ）が、Ｎ個の分岐ネットワーク（Ｚｉ）（ｉ＝１～Ｎ）に分岐されるかを予め設定するステップ（１０６）と、を含む。
【選択図】図３
【解決手段】方法１００は、解決すべきタスク（Ｔｉ）のセットに対して、当該セットの解決すべきタスク（Ｔｉ）間の対状の親和性を推定するステップ（１０２）と、解決すべきタスク（Ｔｉ）を、対状の親和性に基づいて、Ｎ個のグループ（ｇｉ）（ｉ＝１～Ｎ）に割り当てるステップ（１０４）と、層（Ｌｉ）を有するマルチタスクモデル（ＮＮ）の分岐深さ（ｄ）を決定するステップであって、分岐深さ（ｄ）は、マルチタスクモデル（ＮＮ）の層（Ｌｉ）のどの深さにおいて、解決すべきタスク（Ｔｉ）によって共同利用される前記ＮＮの基本ネットワーク（Ｂ）が、Ｎ個の分岐ネットワーク（Ｚｉ）（ｉ＝１～Ｎ）に分岐されるかを予め設定するステップ（１０６）と、を含む。
【選択図】図３
【特許請求の範囲】
【請求項1】
少なくとも２つの、特に複数の相互に異なるタスク（Ｔｉ）（
）のセットを解決するためのＬ個の層（Ｌｉ）（ｉ＝１～Ｌ）を有するマルチタスクモデル（ＮＮ）のアーキテクチャを決定するための方法（１００）であって、
前記方法（１００）は、以下のステップ：
解決すべきタスク（Ｔｉ）のセットに対して、前記セットの解決すべきタスク（Ｔｉ）間の対状の親和性を推定するステップ（１０２）と、
前記解決すべきタスク（Ｔｉ）を、前記対状の親和性に基づいて、Ｎ個のグループ（ｇｉ）（ｉ＝１～Ｎ）に割り当てるステップ（１０４）と、
前記層（Ｌｉ）を有するマルチタスクモデル（ＮＮ）の分岐深さ（ｄ）を決定するステップ（１０６）であって、前記分岐深さ（ｄ）は、前記マルチタスクモデル（ＮＮ）の前記層（Ｌｉ）のどの深さにおいて、前記解決すべきタスク（Ｔｉ）によって共同利用される前記マルチタスクモデル（ＮＮ）の基本ネットワーク（Ｂ）が、Ｎ個の分岐ネットワーク（Ｚｉ）（ｉ＝１～Ｎ）に分岐されるかを予め設定する、ステップ（１０６）と、
を含む、方法（１００）。
【数1】
前記方法（１００）は、以下のステップ：
解決すべきタスク（Ｔｉ）のセットに対して、前記セットの解決すべきタスク（Ｔｉ）間の対状の親和性を推定するステップ（１０２）と、
前記解決すべきタスク（Ｔｉ）を、前記対状の親和性に基づいて、Ｎ個のグループ（ｇｉ）（ｉ＝１～Ｎ）に割り当てるステップ（１０４）と、
前記層（Ｌｉ）を有するマルチタスクモデル（ＮＮ）の分岐深さ（ｄ）を決定するステップ（１０６）であって、前記分岐深さ（ｄ）は、前記マルチタスクモデル（ＮＮ）の前記層（Ｌｉ）のどの深さにおいて、前記解決すべきタスク（Ｔｉ）によって共同利用される前記マルチタスクモデル（ＮＮ）の基本ネットワーク（Ｂ）が、Ｎ個の分岐ネットワーク（Ｚｉ）（ｉ＝１～Ｎ）に分岐されるかを予め設定する、ステップ（１０６）と、
を含む、方法（１００）。
【請求項2】
対状の親和性は、前記タスク（Ｔｉ）の各対が、共同利用される層（Ｌｉ）を有するネットワークにおいて、どの程度良好にトレーニングできるのかを値で示す、請求項１に記載の方法（１００）。
【請求項3】
前記解決すべきタスク（Ｔｉ）をグループ（ｇｉ）に割り当てるステップ（１０４）は、各グループ（ｇｉ）の平均的な対状の親和性値が最大となるように行われる、請求項１又は２に記載の方法（１００）。
【請求項4】
前記分岐深さ（ｄ）を決定するステップ（１０６）は、
相互に異なる分岐深さ（ｄ）を有する複数のネットワークをトレーニングするステップと、
前記ネットワークの予測精度に基づいて最適な分岐深さ（ｄ）を選択するステップと、
を含む、請求項１乃至３のいずれか一項に記載の方法（１００）。
相互に異なる分岐深さ（ｄ）を有する複数のネットワークをトレーニングするステップと、
前記ネットワークの予測精度に基づいて最適な分岐深さ（ｄ）を選択するステップと、
を含む、請求項１乃至３のいずれか一項に記載の方法（１００）。
【請求項5】
２つ以上のタスク（Ｔｉ）を含む各グループ（ｇｉ）に対する、前記各グループ（ｇｉ）の前記解決すべきタスク（Ｔｉ）の、Ｍ個のサブグループ（ｕｇｉ）（ｉ＝１～Ｎ）への割り当てが、各グループ（ｇｉ）の平均的な対状の親和性値を増加させるかどうかが検査される（１０８）、請求項１乃至４のいずれか一項に記載の方法（１００）。
【請求項6】
前記検査の結果、各グループ（ｇｉ）の対状の親和性値が増加したことが判明した場合、以下のステップ（１１０）：
各グループ（ｇｉ）の解決すべきタスク（Ｔｉ）を、前記対状の親和性に基づいて、Ｍ個のサブグループ（ｕｇｉ）（ｉ＝１～Ｍ）に割り当てるステップと、
各分岐ネットワーク（Ｚｉ）におけるサブ分岐深さ（ｕｄ）を決定するステップと、
が実行され、前記サブ分岐深さ（ｕｄ）は、前記分岐（Ｚｉ）の前記層（Ｌｉ）のどの深さにおいて、前記分岐（Ｚｉ）が、Ｍ個のサブ分岐ネットワーク（ＵＺｉ）（ｉ＝１～Ｍ）に分岐されるかを予め設定する、請求項５に記載の方法（１００）。
各グループ（ｇｉ）の解決すべきタスク（Ｔｉ）を、前記対状の親和性に基づいて、Ｍ個のサブグループ（ｕｇｉ）（ｉ＝１～Ｍ）に割り当てるステップと、
各分岐ネットワーク（Ｚｉ）におけるサブ分岐深さ（ｕｄ）を決定するステップと、
が実行され、前記サブ分岐深さ（ｕｄ）は、前記分岐（Ｚｉ）の前記層（Ｌｉ）のどの深さにおいて、前記分岐（Ｚｉ）が、Ｍ個のサブ分岐ネットワーク（ＵＺｉ）（ｉ＝１～Ｍ）に分岐されるかを予め設定する、請求項５に記載の方法（１００）。
【請求項7】
各サブグループ（ｕｇｉ）に対して、請求項５及び６に記載のステップが繰り返し実行される、請求項５及び６に記載の方法（１００）。
【請求項8】
請求項１乃至７のいずれか一項に記載の方法（１００）に従って決定されたアーキテクチャを用いて、少なくとも２つの、特に複数の相互に異なるタスクを解決するためのＬ個の層を有するマルチタスクモデル（Ｎ）。
【請求項9】
コンピュータ上で実行されるときに、当該コンピュータに、請求項１乃至７のいずれか一項に記載の方法（１００）を実施させるためのコンピュータプログラム製品。
【請求項10】
少なくとも２つの、特に複数の相互に異なるタスクを解決するためのＬ個の層を有するマルチタスクモデル（ＮＮ）のアーキテクチャを決定するための、及び／又は、少なくとも２つの、特に複数の相互に異なるタスク（Ｔｉ）（
）のセットを解決するための（Ｌｉ）個（ｉ＝１～Ｌ）を有するマルチタスクモデル（ＮＮ）を決定するための、請求項１乃至７のいずれか一項に記載の方法（１００）の使用。
【数2】
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、マルチタスクモデルのアーキテクチャを決定するための方法と、そのような方法に従って決定されたアーキテクチャを用いて、少なくとも２つの、特に複数の相互に異なるタスクを解決するためのマルチタスクモデルと、コンピュータプログラム製品とに関する。
【背景技術】
【0002】
背景技術
マルチタスク学習又はマルチタスク処理も、複数のタスクを並行して解決することができるモデルに携わる機械学習の部分領域である。マルチタスクにおける常用の範例は、様々なタスクを同時に解決するための単一のニューラルネットワークをトレーニングすることにある。マルチタスクネットワークの典型的なアーキテクチャは、一種の特徴抽出器として機能し、その重みが全てのタスクによって共同利用される、バックボーンとも称される共通の基本ネットワークと、自身の重みが全てのタスクによって分割されないヘッド又はヘッダとも称される専用の分岐ネットワークとからなる。そのような環境においては、ニューラルネットワークのトレーニング中に解決すべきタスクが、共通の基本ネットワーク内で、構造的又は破壊的な手法で相互に影響を与えることができる。
マルチタスク学習又はマルチタスク処理も、複数のタスクを並行して解決することができるモデルに携わる機械学習の部分領域である。マルチタスクにおける常用の範例は、様々なタスクを同時に解決するための単一のニューラルネットワークをトレーニングすることにある。マルチタスクネットワークの典型的なアーキテクチャは、一種の特徴抽出器として機能し、その重みが全てのタスクによって共同利用される、バックボーンとも称される共通の基本ネットワークと、自身の重みが全てのタスクによって分割されないヘッド又はヘッダとも称される専用の分岐ネットワークとからなる。そのような環境においては、ニューラルネットワークのトレーニング中に解決すべきタスクが、共通の基本ネットワーク内で、構造的又は破壊的な手法で相互に影響を与えることができる。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本開示は、マルチタスクモデルのアーキテクチャを、タスク間の破壊的な相互作用が最小化されるように決定することができる方法を提案する。
【課題を解決するための手段】
【0004】
発明の開示
一実施形態は、少なくとも２つの、特に複数の相互に異なるタスクＴｉ（
）のセットを解決するための、Ｌ個の層Ｌｉ（ｉ＝１～Ｌ）を有するマルチタスクモデルのアーキテクチャを決定するための方法に関し、本方法は、以下のステップ：
解決すべきタスクＴｉのセットに対して、前記セットの解決すべきタスクＴｉ間の対状の親和性を推定するステップと、
解決すべきタスクＴｉを、対状の親和性に基づいて、Ｎ個のグループｇｉ（ｉ＝１～Ｎ）に割り当てるステップと、
層Ｌｉを有するマルチタスクモデルの分岐深さｄを決定するステップであって、分岐深さｄは、マルチタスクモデルの層Ｌｉのどの深さにおいて、解決すべきタスクＴｉによって共同利用されるマルチタスクモデルの基本ネットワークが、Ｎ個の分岐ネットワークＺｉ（ｉ＝１～Ｎ）に分岐されるかを予め設定する、ステップと、
を含む。
一実施形態は、少なくとも２つの、特に複数の相互に異なるタスクＴｉ（
【数1】
解決すべきタスクＴｉのセットに対して、前記セットの解決すべきタスクＴｉ間の対状の親和性を推定するステップと、
解決すべきタスクＴｉを、対状の親和性に基づいて、Ｎ個のグループｇｉ（ｉ＝１～Ｎ）に割り当てるステップと、
層Ｌｉを有するマルチタスクモデルの分岐深さｄを決定するステップであって、分岐深さｄは、マルチタスクモデルの層Ｌｉのどの深さにおいて、解決すべきタスクＴｉによって共同利用されるマルチタスクモデルの基本ネットワークが、Ｎ個の分岐ネットワークＺｉ（ｉ＝１～Ｎ）に分岐されるかを予め設定する、ステップと、
を含む。
【0005】
本方法は、タスク間の負の相互作用が減衰される単一のマルチタスクネットワークを構想するために、タスクの推定された対状の親和性が利用されることを想定する。すなわち、別個の基本ネットワークにも、バックボーンにも手をつけず、解決すべきタスクは、別個のネットワークにも割り当てられない。本開示によれば、単一のネットワークのアーキテクチャは、複数の分岐ネットワーク又はヘッダも１つの共通の基本ネットワーク又はバックボーンに接続されたツリートポロジによって決定される。換言すれば、本方法は、ニューラルネットワークの一部を、さらに様々なタスクによって共同利用することができ、例えば、単一のニューラルネットワークの低い層において利用することができる、より微細な分割を可能にする。
【0006】
共通の基本ネットワークは、特徴抽出器として機能し、共通の基本ネットワークの重みは、解決すべきタスクによって共同利用される。分岐ネットワークは、タスクに従った専用のサブネットワークであり、その重みは、全てのタスクに利用されるのではなく、それぞれ専用のタスクのみに利用される。
【0007】
分岐ネットワークへのタスクの割り当ては、Ｎ個のグループｇｉへのタスクの割り当てに基づいて行われる。本方法にとって、このことは、当該割り当てが先行するステップからの結果として利用可能であることを意味する。
【0008】
分岐深さｄを決定するためのステップの目的は、共同利用される基本ネットワーク、バックボーンが存在又は分岐するマルチタスクモデルの層Ｌｉの最適な深さを決定することにある。分岐深さｄ＝２とは、例えば、基本ネットワークがマルチタスクモデルの層１及び層２を含み、層２の後方に、分岐ネットワークへの分岐が設けられていることを意味する。
【0009】
すなわち、タスク間の親和性のみが計算されるのではなく、タスク間の競合が発生しかねない場所を確定するために、共通のバックボーンの最適な深さも決定される。すなわち、本方法は、ネットワークが分割される前に、潜在的表現の共同利用がまだ可能であるかどうかを決定する。このようにして、計算コストを格段に削減することができ、このことは、特に、初期層における計算がかなり頻繁に、タスクにかかわらず計算の激化となる画像処理及び他の高次元領域において有益である。
【0010】
一実施形態によれば、対状の親和性は、タスクの各対が、共同利用される層を有するネットワークにおいて、どの程度良好にトレーニングすることができるのかを値で示すことが想定される。親和性の高い値は、タスク対の間の正の干渉を意味し、それに対して、親和性の低い値は、タスク対の間の負の干渉を意味する。例えば、対状の親和性は、１対のタスクを単一のマルチタスクネットワークにおいて一緒にトレーニングし、タスクの勾配更新が他のタスクに対して作用するようにこの効果を定量化することにより決定することができる。２対以上のタスクも、単一のマルチタスクネットワークにおいて一緒にトレーニングすることができる。
【0011】
一実施形態によれば、対状の親和性は、対の第１のタスクに対する親和性値と、対の第２のタスクに対する親和性値とを含むことが想定される。例えば、タスクＴａ及びタスクＴｂを含むタスク対に対しては、タスクＴａに対する親和性値Ｚｂ→ａと、タスクＴｂに対する親和性値Ｚａ→ｂとを含む。これらの親和性値は、必ずしも対称的ではなく、すなわち、Ｚｂ→ａは、Ｚａ→ｂと等しくなくてよい。
【0012】
３つ以上のタスクを含むタスクのセットでは、特定のタスクの親和性は、当該特定のタスクに対する対状の親和性の平均を決定することによって決定することができる。例えば、タスクＴａ，Ｔｂ，Ｔｃを含むセットに対して、Ｔａに対する親和性値は、タスクＴａに対するタスクＴｂ及びＴｃの対状の親和性を平均化すること［（Ｚｂ→ａ＋Ｚｃ→ａ）／２］によって計算することができる。
【0013】
親和性の決定は、例えば、Ｆｉｆｔｙ，Ｃｈｒｉｓらによる文献「“Efficiently identifying task groupings for multi-task learning” Advances in Neural Information Processing Systems 34 (2021):27503-27516」及びＳｔａｎｄｌｅｙ，Ｔｒｅｖｏｒらによる文献「“Which tasks should be learned together in multi-task learning?” International Conference on Machine Learning.PMLR,2020」に記載されている。
【0014】
一実施形態によれば、解決すべきタスクをグループｇｉに割り当てるステップは、各グループｇｉの平均的な対状の親和性値が最大化されるように行われることが想定される。解決すべきタスクをグループｇｉに割り当てるステップは、選言的に行うことができる。また、代替的に、この割り当ては、必ずしも選言的である必要はない。さらに、親和性値は必ずしも対称的ではないので、割り当てるステップが過剰に行われる場合も利点となり得よう。このことは、１つのタスクが２つ以上のグループに割り当てられ得ることを意味する。例えば、タスクＴａ及びタスクＴｂを含むタスク対及び親和性値Ｚｂ→ａ，Ｚａ→ｂに対して、Ｚａ→ｂ＞Ｚｂ→ａであることが当てはまり、この場合、値Ｚａ→ｂは、相応に高い値を含み、したがって、タスクＴａがタスクＴｂを用いてトレーニングされる場合、タスクＴｂに関して正の干渉が存在する。値Ｚｂ→ａが例えば相応に低い値を含み、それにより、タスクＴｂがタスクＴａを用いてトレーニングされる場合、タスクＴａに対して負の干渉が存在する。すなわち、換言すれば、タスクＴａは、タスクＴｂの出力を高める可能性はあるが、その逆はない。この場合においては、タスクＴａ及びＴｂが同一のグループに割り当てられ、ただし、タスクＴａが付加的に、タスクが割り当てられないさらなるグループにも割り当てられると有利である。
【0015】
グループの最大数Ｎが予め設定されると有利であり得る。例えば、最大数は、利用可能なコンピューティングリソースに適合させることができる。
【0016】
解決すべきタスクのグループへの割り当て問題は、分枝限定法又は２進整数計画法（ＢＩＰ）などの解決手段を用いて効率的に解決することができる。
【0017】
一実施形態によれば、分岐深さｄを決定するステップは、相互に異なる分岐深さを有する複数のネットワークをトレーニングするステップと、ネットワークの予測精度に基づいて分岐深さを選択するステップとを含むことが想定される。この予測精度は、例えば適当な検証データを用いて決定することができる。
【0018】
従来技術から公知のアプローチは、部分ネットワークとして全ての可能な分岐を含む格段に大きいニューラルネットワークをトレーニングすることにより、最適な分岐構成を推定するために、ニューラルアーキテクチャ検索（ＮＡＳ）からなる方法を使用する。本発明に係る方法は、複数の個々のネットワークをトレーニングすることにより、個々の動作ごとに格段に少ないＧＰＵメモリしか要さない計算上簡単なプログラムを用いて最適な分岐深さを見出すことができる。なぜなら、スーパーグラフ全体が１回で決定されないからである。
【0019】
基本的には、分岐深さｄの決定後、既述の方法を繰り返すことができる。このことは、以下において、サブグループとサブ分岐ネットワークとに基づいて説明する。
【0020】
一実施形態によれば、２つ以上のタスクを含む各グループｇｉに対して、各グループｇｉの解決すべきタスクを、Ｍ個のサブグループ（ｕｇｉ）（ｉ＝１～Ｎ）に割り当てるステップが、各グループｇｉの平均的な対状の親和性値を増加させるかどうかが検査される。
【0021】
一実施形態によれば、検査の結果、各グループｇｉの対状の親和性値を増加させることが判明した場合、以下のステップ：
各グループｇｉの解決すべきタスクＴｉを、対状の親和性に基づいて、Ｍ個のサブグループｕｇｉ（ｉ＝１～Ｍ）に割り当てるステップと、
各分岐ネットワークＺｉにおけるサブ分岐深さｕｄを決定するステップと、
が実行され、サブ分岐深さｕｄは、分岐Ｚｉの層Ｌｉのどの深さにおいて、当該分岐Ｚｉが、Ｍ個のサブ分岐ネットワークＵＺｉ（ｉ＝１～Ｍ）に分岐されるかを予め設定することが想定される。
各グループｇｉの解決すべきタスクＴｉを、対状の親和性に基づいて、Ｍ個のサブグループｕｇｉ（ｉ＝１～Ｍ）に割り当てるステップと、
各分岐ネットワークＺｉにおけるサブ分岐深さｕｄを決定するステップと、
が実行され、サブ分岐深さｕｄは、分岐Ｚｉの層Ｌｉのどの深さにおいて、当該分岐Ｚｉが、Ｍ個のサブ分岐ネットワークＵＺｉ（ｉ＝１～Ｍ）に分岐されるかを予め設定することが想定される。
【0022】
サブ分岐ネットワークへのさらなる分岐の目的は、ｉ番目の分岐ネットワークを、さらにＭ個のサブ分岐ネットワークに分割することにある。最適なサブ分岐深さｕｄは、セット｛ｄ＋１，ｄ＋２，…，Ｌ－１｝に、すなわち、分岐深さｄよりも大きい深さにある。
【0023】
一実施形態によれば、それぞれ１つのサブグループｕｇｉに対して、それぞれ１つのグループｇｉについて上述した検査及び割り当てのためのステップが繰り返し実行されることが想定される。このようにして、マルチタスクモデルのアーキテクチャがまださらに改良可能である。
【0024】
さらなる実施形態は、上述した実施形態による方法に従って決定されたアーキテクチャを用いて、少なくとも２つの、特に複数の相互に異なるタスクを解決するためのＬ個の層を有するマルチタスクモデルに関する。
【0025】
さらなる実施形態は、コンピュータ上で実行されるときに、当該コンピュータに、上述した実施形態による方法を実施させるためのコンピュータプログラム製品に関する。
【0026】
さらなる実施形態は、少なくとも２つの、特に複数の相互に異なるタスクを解決するためのＬ個の層を有するマルチタスクモデルのアーキテクチャを決定するための、及び／又は、少なくとも２つの、特に複数の相互に異なるタスクを解決するためのＬ個の層を有するマルチタスクモデルを決定するための上述した実施形態による方法の使用に関する。
【0027】
一実施形態によれば、マルチタスクモデルは、オブジェクト認識の領域におけるタスクを解決するために、及び／又は、技術的なシステムを制御するために、特に２つの領域におけるタスクも解決するために構成されること又はトレーニングされることが想定される。オブジェクト認識及び技術的なシステムの制御の領域は、例えば、自律的又は半自律的な走行の領域及びロボット工学に使用される。
【0028】
オブジェクト認識のために、例えば、多数のデジタル画像、特にデジタルビデオ画像、デジタルレーダ画像、デジタルライダ画像、デジタル超音波画像、又は、デジタルモーションセンサ画像が提供される。マルチタスクモデルは、オブジェクト認識のためにトレーニングされる。トレーニングされたマルチタスクモデルは、デジタル画像内における少なくとも１つのオブジェクトの分類の結果を求めるように構成されている。技術的なシステムの運動を制御するために、本方法は、センサを用いてデジタル画像を捕捉するステップと、デジタル画像内における少なくとも１つのオブジェクトの分類の結果に依存して、技術的なシステム、特に機械、ロボット、車両、航空機の運動を制御するステップと、を含む。
【0029】
上述の方法に従って決定されたアーキテクチャを有するマルチタスクモデルは、有利な方法により、限られた計算予算の環境における複数のタスクを同時に解決するために使用することができる。自律的な走行の場合、例えば、自律的なエージェントは、例えば、他の道路利用者、例えば、自動車、歩行者、自転車運転者などの位置特定及びクラス分類、走行可能な路面の識別、交通標識の識別などのような複数のタスクをリアルタイムで解決する必要があり、ここで、利用可能な計算能力は、車両内に存在するハードウェアによって制限されている。
【0030】
さらなる利点は、明細書及び添付の図面から明らかになる。本発明の実施例は、図面に示されており、以下の明細書においてより詳細に説明される。ここでは、様々な図面における同一の参照符号は、それぞれ同一の要素を示し、又は、少なくとも機能的に同等の要素を示す。個々の図面の説明においては、場合によっては、他の図面の要素が参照されることもある。
【図面の簡単な説明】
【0031】
【図1】従来技術から公知のモデルを示す概略図である。
【図2】第１の実施形態によるアーキテクチャを有するマルチタスクモデルを示す概略図である。
【図3】第２の実施形態によるアーキテクチャを有するマルチタスクモデルを示す概略図である。
【図4】マルチタスクモデルＮＮのアーキテクチャを決定するための方法のステップを示す概略図である。
【発明を実施するための形態】
【0032】
従来技術（図１参照）からは、様々なタスクを、様々なモデルに割り当てることが公知である。Ｆｉｆｔｙ，Ｃｈｒｉｓらによる開示文献「“Efficiently identifying task groupings for multi-task learning” Advances in Neural Information Processing Systems 34 (2021):27503-27516」、及び、Ｓｔａｎｄｌｅｙ，Ｔｒｅｖｏｒらによる開示文献「“Which tasks should be learned together in multi-task learning?” International Conference on Machine Learning.PMLR,2020」によれば、タスクグループを個々のネットワークに割り当てるためにタスク間の親和性が使用される。
【0033】
本開示は、タスク間の負の相互作用が減衰される単一のマルチタスクネットワークを構想するために、タスクの対状の親和性が利用される方法に関する。すなわち、本方法によれば、別個の基本ネットワークにも、バックボーンにも手をつけず、解決すべきタスクは別個のネットワークにも割り当てられない。本開示によれば、単一のネットワークのアーキテクチャは、複数の分岐ネットワーク又はヘッダも１つの共通の基本ネットワーク又はバックボーンに接続されたツリートポロジによって決定される。コンピューティングリソースの共同利用により、マルチタスクアーキテクチャは、一般に、効率と精度との間の妥協に関して、独立した個別タスクネットワークの集合よりも有利である。
【0034】
【0035】
【0036】
マルチタスクモデルＮＮは、少なくとも２つの、特に複数の相互に異なるタスクＴｉ（
）のセットを解決するためのＬ個の層Ｌｉ（ｉ＝１～Ｌ）を含む。
【数2】
【0037】
この例においては、マルチタスクモデルＮＮは、例示的に３つの相互に異なるタスクＴ１，Ｔ２，Ｔ３のセットを解決するためのＬ＝３個の層Ｌ１，Ｌ２，Ｌ３を含む。
【0038】
本方法１００は、以下のステップを想定する（図４も参照）。
【0039】
ステップ１０２においては、解決すべきタスクＴｉのセットに対して、当該セットの解決すべきタスクＴｉ間の対状の親和性が推定される。
【0040】
対状の親和性は、タスクＴａ，Ｔｂの各対が、共同利用される層Ｌｉを有するネットワークにおいて、どの程度良好にトレーニングすることができるのかを値で示す。親和性の高い値は、タスク対の間の正の干渉を意味し、それに対して、親和性の低い値は、タスク対の間の負の干渉を意味する。例えば、対状の親和性は、１対のタスクを単一のマルチタスクネットワークにおいて一緒にトレーニングし、タスクの勾配更新が他のタスクに対して作用するようにこの効果を定量化することにより決定することができる。２対以上のタスクも単一のマルチタスクネットワークにおいて一緒にトレーニングすることができる。
【0041】
一実施形態によれば、対状の親和性は、対の第１のタスクに対する親和性値と、対の第２のタスクに対する親和性値とを含むことが想定される。例えば、タスクＴａ及びタスクＴｂを含むタスク対に対しては、タスクＴａに対する親和性値Ｚｂ→ａと、タスクＴｂに対する親和性値Ｚａ→ｂと、を含む。これらの親和性値は、必ずしも対称的ではなく、すなわち、Ｚｂ→ａは、Ｚａ→ｂと等しくなくてよい。
【0042】
３つ以上のタスクを含むタスクのセットでは、特定のタスクの親和性は、当該特定のタスクに対する対状の親和性の平均を決定することによって決定することができる。例えば、タスクＴａ，Ｔｂ，Ｔｃを含むセットに対して、Ｔａに対する親和性は、タスクＴａに対するタスクＴｂ及びＴｃの対状の親和性を平均化すること［（Ｚｂ→ａ＋Ｚｃ→ａ）／２］によって計算することができる。
【0043】
ステップ１０４においては、解決すべきタスクＴｉが、対状の親和性に基づいて、Ｎ個のグループｇｉ（ｉ＝１～Ｎ）に割り当てられる。
【0044】
解決すべきタスクＴｉをグループｇｉに割り当てるステップは、例えば、各グループｇｉの平均的な対状の親和性値が最大化されるように行われる。解決すべきタスクＴｉをグループｇｉに割り当てるステップは、選言的に行うことができる。また、代替的に、この割り当ては、必ずしも選言的である必要はない。さらに、親和性値は必ずしも対称的ではないので、割り当てるステップが過剰に行われる場合も利点となり得る。このことは、１つのタスクＴｉが２つ以上のグループに割り当てられ得ることを意味する。例えば、タスクＴａ及びタスクＴｂを含むタスク対及び親和性値Ｚｂ→ａ，Ｚａ→ｂに対して、Ｚａ→ｂ＞Ｚｂ→ａであることが当てはまり、この場合、値Ｚａ→ｂは、相応に高い値を含み、したがって、タスクＴａがタスクＴｂを用いてトレーニングされる場合、タスクＴｂに関して正の干渉が存在する。値Ｚｂ→ａが例えば相応に低い値を含み、それにより、タスクＴｂがタスクＴａを用いてトレーニングされる場合、タスクＴａに対して負の干渉が存在する。すなわち、換言すれば、タスクＴａは、タスクＴｂの出力を高める可能性があるが、その逆はない。この場合においては、タスクＴａ及びＴｂが同一のグループｇｉに割り当てられ、ただし、タスクＴａが付加的にタスクが割り当てられないさらなるグループｇｉにも割り当てられると有利である。
【0045】
グループｇｉの最大数Ｎは、予め設定することができる。
【0046】
解決すべきタスクのグループへの割り当て問題は、分枝限定法又は２進整数計画法（ＢＩＰ）などの解決手段を用いて効率的に解決することができる。
【0047】
ステップ１０６においては、層Ｌｉを有するマルチタスクモデルＮＮの分岐深さｄが決定され、ここで、この分岐深さｄは、マルチタスクモデルの層Ｌｉのどの深さにおいて、解決すべきタスクＴｉによって共同利用されるマルチタスクモデルの基本ネットワークＢが、Ｎ個の分岐ネットワークＺｉ、ただしｉ＝１～Ｎ、に分岐されるかを予め設定する。
【0048】
共通の基本ネットワークＢは、特徴抽出器として機能し、共通の基本ネットワークＢの重みは、解決すべきタスクによって共同利用される。分岐ネットワークＺｉは、タスクに従った専用のサブネットワークであり、その重みは、全てのタスクに利用されるのではなく、それぞれ専用のタスクのみに利用される。
【0049】
分岐ネットワークＺｉへのタスクＴｉの割り当ては、Ｎ個のグループｇｉへのタスクＴｉの割り当てに基づいて行われる。本方法にとって、このことは、当該割り当てが、先行するステップ１０４からの結果として利用可能であることを意味する。
【0050】
分岐深さｄを決定するためのステップ１０６の目的は、共同利用される基本ネットワークＢ、バックボーンが存在又は分岐するマルチタスクモデルＮＮの層Ｌｉの最適な深さを決定することにある。分岐深さｄ＝２とは、例えば、基本ネットワークがマルチタスクモデルの層１及び層２を含み、層２の後方に、分岐ネットワークＺ１，Ｚ２への分岐が設けられていることを意味する（図２参照）。分岐深さｄ＝１とは、例えば、基本ネットワークがマルチタスクモデルの層１を含み、層１の後方に、分岐ネットワークＺ１，Ｚ２への分岐が設けられていることを意味する（図３参照）。
【0051】
一実施形態によれば、分岐深さｄを決定するステップは、相互に異なる分岐深さを有する複数のネットワークをトレーニングするステップと、ネットワークの予測精度に基づいて最適な分岐深さを選択するステップとを含むことが想定される。この予測精度は、例えば適当な検証データを用いて決定することができる。例えば、図２によるネットワーク及び図３によるネットワークをトレーニングし、ネットワークの予測精度に基づいて最適な分岐深さを特定することができる。好適には、付加的に最適な分岐深さが、ニューラルネットワークのアーキテクチャの所要のコンピュータリソース消費に依存して選択される。
【0052】
基本的には、分岐深さｄを決定するステップ１０６の後においては、既述の方法を繰り返すことができる。このことは、以下で、サブグループとサブ分岐ネットワークとに基づいて説明する。
【0053】
一実施形態によれば、２つ以上のタスクを含む各グループｇｉに対する、各グループｇｉの解決すべきタスクの、Ｍ個のサブグループｕｇｉ（ｉ＝１～Ｎ）への割り当てが、各グループｇｉの平均的な対状の親和性値を増加させるかどうかが検査されるステップ１０８が想定される。
【0054】
一実施形態によれば、検査の結果、各グループｇｉの対状の親和性を増加させることが判明した場合、（ステップ１１０にまとめて）以下のステップ：
各グループｇｉの解決すべきタスクＴｉを、対状の親和性に基づいて、Ｍ個のサブグループｕｇｉ（ｉ＝１～Ｍ）に割り当てるステップと、
各分岐ネットワークＺｉにおけるサブ分岐深さｕｄを決定するステップと、
が実行され、ここで、サブ分岐深さｕｄは、分岐Ｚｉの層Ｌｉのどの深さにおいて、当該分岐Ｚｉが、Ｍ個のサブ分岐ネットワークＵＺｉ（ｉ＝１～Ｍ）に分岐されるかを予め設定することが想定される。
各グループｇｉの解決すべきタスクＴｉを、対状の親和性に基づいて、Ｍ個のサブグループｕｇｉ（ｉ＝１～Ｍ）に割り当てるステップと、
各分岐ネットワークＺｉにおけるサブ分岐深さｕｄを決定するステップと、
が実行され、ここで、サブ分岐深さｕｄは、分岐Ｚｉの層Ｌｉのどの深さにおいて、当該分岐Ｚｉが、Ｍ個のサブ分岐ネットワークＵＺｉ（ｉ＝１～Ｍ）に分岐されるかを予め設定することが想定される。
【0055】
サブ分岐ネットワークへのさらなる分岐の目的は、ｉ番目の分岐ネットワークを、さらにＭ個のサブ分岐ネットワークに分割することにある。最適なサブ分岐深さｕｄは、セット｛ｄ＋１，ｄ＋２，…，Ｌ－１｝に、すなわち、分岐深さｄよりも大きい深さにある。
【0056】
一実施形態によれば、それぞれ１つのサブグループｕｇｉに対して、それぞれ１つのグループｇｉについて上述した検査及び割り当てのためのステップが繰り返し実行されることが想定される。このようにして、マルチタスクモデルのアーキテクチャがまださらに改良可能である。
【0057】
さらなる実施形態は、少なくとも２つの、特に複数の相互に異なるタスクＴｉを解決するためのＬ個の層を有するマルチタスクモデルＮＮのアーキテクチャを決定するための、及び／又は、少なくとも２つの、特に複数の相互に異なるタスクＴｉを解決するためのＬ個の層を有する、マルチタスクモデルＮＮを決定するための、上述した実施形態による方法１００の使用に関する。
【0058】
一実施形態によれば、マルチタスクモデルは、オブジェクト認識の領域におけるタスクを解決するために、及び／又は、技術的なシステムを制御するために、特に２つの領域におけるタスクも解決するために構成されること又はトレーニングされることが想定される。オブジェクト認識及び技術的なシステムの制御の領域は、例えば、自律的又は半自律的な走行の領域及びロボット工学に使用される。
【0059】
オブジェクト認識のために、例えば、図３及び図４の入力データＤを参照すると、複数のデジタル画像、特にデジタルビデオ画像、デジタルレーダ画像、デジタルライダ画像、デジタル超音波画像、又は、デジタルモーションセンサ画像が提供される。マルチタスクモデルは、オブジェクト認識のためにトレーニングされる。トレーニングされたマルチタスクモデルは、デジタル画像内における少なくとも１つのオブジェクトの分類の結果を求めるように構成されている。技術的なシステムの運動を制御するために、本方法は、センサを用いてデジタル画像を捕捉するステップと、デジタル画像内における少なくとも１つのオブジェクトの分類の結果に依存して、技術的なシステム、特に機械、ロボット、車両、航空機の運動を制御するステップと、を含む。
【図1】
【図2】
【図3】
【図4】
【手続補正書】
【提出日】2024-07-22
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
少なくとも２つの、特に複数の相互に異なるタスク（Ｔｉ）（
）のセットを解決するためのＬ個の層（Ｌｉ）（ｉ＝１～Ｌ）を有するマルチタスクモデル（ＮＮ）のアーキテクチャを決定するための方法（１００）であって、
前記方法（１００）は、以下のステップ：
解決すべきタスク（Ｔｉ）のセットに対して、前記セットの解決すべきタスク（Ｔｉ）間の対状の親和性を推定するステップ（１０２）と、
前記解決すべきタスク（Ｔｉ）を、前記対状の親和性に基づいて、Ｎ個のグループ（ｇｉ）（ｉ＝１～Ｎ）に割り当てるステップ（１０４）と、
前記層（Ｌｉ）を有するマルチタスクモデル（ＮＮ）の分岐深さ（ｄ）を決定するステップ（１０６）であって、前記分岐深さ（ｄ）は、前記マルチタスクモデル（ＮＮ）の前記層（Ｌｉ）のどの深さにおいて、前記解決すべきタスク（Ｔｉ）によって共同利用される前記マルチタスクモデル（ＮＮ）の基本ネットワーク（Ｂ）が、Ｎ個の分岐ネットワーク（Ｚｉ）（ｉ＝１～Ｎ）に分岐されるかを予め設定する、ステップ（１０６）と、
を含む、方法（１００）。
【数1】
前記方法（１００）は、以下のステップ：
解決すべきタスク（Ｔｉ）のセットに対して、前記セットの解決すべきタスク（Ｔｉ）間の対状の親和性を推定するステップ（１０２）と、
前記解決すべきタスク（Ｔｉ）を、前記対状の親和性に基づいて、Ｎ個のグループ（ｇｉ）（ｉ＝１～Ｎ）に割り当てるステップ（１０４）と、
前記層（Ｌｉ）を有するマルチタスクモデル（ＮＮ）の分岐深さ（ｄ）を決定するステップ（１０６）であって、前記分岐深さ（ｄ）は、前記マルチタスクモデル（ＮＮ）の前記層（Ｌｉ）のどの深さにおいて、前記解決すべきタスク（Ｔｉ）によって共同利用される前記マルチタスクモデル（ＮＮ）の基本ネットワーク（Ｂ）が、Ｎ個の分岐ネットワーク（Ｚｉ）（ｉ＝１～Ｎ）に分岐されるかを予め設定する、ステップ（１０６）と、
を含む、方法（１００）。
【請求項2】
前記対状の親和性は、前記タスク（Ｔｉ）の各対が、共同利用される層（Ｌｉ）を有するネットワークにおいて、どの程度良好にトレーニングできるのかを値で示す、請求項１に記載の方法（１００）。
【請求項3】
前記解決すべきタスク（Ｔｉ）をグループ（ｇｉ）に割り当てるステップ（１０４）は、各グループ（ｇｉ）の平均的な対状の親和性値が最大となるように行われる、請求項１に記載の方法（１００）。
【請求項4】
前記分岐深さ（ｄ）を決定するステップ（１０６）は、
相互に異なる分岐深さ（ｄ）を有する複数のネットワークをトレーニングするステップと、
前記ネットワークの予測精度に基づいて最適な分岐深さ（ｄ）を選択するステップと、
を含む、請求項１に記載の方法（１００）。
相互に異なる分岐深さ（ｄ）を有する複数のネットワークをトレーニングするステップと、
前記ネットワークの予測精度に基づいて最適な分岐深さ（ｄ）を選択するステップと、
を含む、請求項１に記載の方法（１００）。
【請求項5】
２つ以上のタスク（Ｔｉ）を含む各グループ（ｇｉ）に対する、前記各グループ（ｇｉ）の前記解決すべきタスク（Ｔｉ）の、Ｍ個のサブグループ（ｕｇｉ）（ｉ＝１～Ｎ）への割り当てが、各グループ（ｇｉ）の平均的な対状の親和性値を増加させるかどうかが検査される（１０８）、請求項１に記載の方法（１００）。
【請求項6】
前記検査の結果、各グループ（ｇｉ）の対状の親和性値が増加したことが判明した場合、以下のステップ（１１０）：
各グループ（ｇｉ）の解決すべきタスク（Ｔｉ）を、前記対状の親和性に基づいて、Ｍ個のサブグループ（ｕｇｉ）（ｉ＝１～Ｍ）に割り当てるステップと、
各分岐ネットワーク（Ｚｉ）におけるサブ分岐深さ（ｕｄ）を決定するステップと、
が実行され、前記サブ分岐深さ（ｕｄ）は、前記分岐（Ｚｉ）の前記層（Ｌｉ）のどの深さにおいて、前記分岐（Ｚｉ）が、Ｍ個のサブ分岐ネットワーク（ＵＺｉ）（ｉ＝１～Ｍ）に分岐されるかを予め設定する、請求項５に記載の方法（１００）。
各グループ（ｇｉ）の解決すべきタスク（Ｔｉ）を、前記対状の親和性に基づいて、Ｍ個のサブグループ（ｕｇｉ）（ｉ＝１～Ｍ）に割り当てるステップと、
各分岐ネットワーク（Ｚｉ）におけるサブ分岐深さ（ｕｄ）を決定するステップと、
が実行され、前記サブ分岐深さ（ｕｄ）は、前記分岐（Ｚｉ）の前記層（Ｌｉ）のどの深さにおいて、前記分岐（Ｚｉ）が、Ｍ個のサブ分岐ネットワーク（ＵＺｉ）（ｉ＝１～Ｍ）に分岐されるかを予め設定する、請求項５に記載の方法（１００）。
【請求項7】
各サブグループ（ｕｇｉ）に対して、以下のステップが繰り返し実行され、すなわち、
２つ以上のタスク（Ｔ ｉ ）を含む各グループ（ｇ ｉ ）に対する、前記各グループ（ｇ ｉ ）の前記解決すべきタスク（Ｔ ｉ ）の、Ｍ個のサブグループ（ｕｇ ｉ ）（ｉ＝１～Ｎ）への割り当てが、各グループ（ｇ ｉ ）の平均的な対状の親和性値を増加させるかどうかが検査され（１０８）、
前記検査の結果、各グループ（ｇ ｉ ）の対状の親和性値が増加したことが判明した場合、以下のステップ（１１０）：
各グループ（ｇ ｉ ）の解決すべきタスク（Ｔ ｉ ）を、前記対状の親和性に基づいて、Ｍ個のサブグループ（ｕｇ ｉ ）（ｉ＝１～Ｍ）に割り当てるステップと、
各分岐ネットワーク（Ｚ ｉ ）におけるサブ分岐深さ（ｕｄ）を決定するステップと、
が実行され、前記サブ分岐深さ（ｕｄ）は、前記分岐（Ｚ ｉ ）の前記層（Ｌ ｉ ）のどの深さにおいて、前記分岐（Ｚ ｉ ）が、Ｍ個のサブ分岐ネットワーク（ＵＺ ｉ ）（ｉ＝１～Ｍ）に分岐されるかを予め設定する、請求項１に記載の方法（１００）。
２つ以上のタスク（Ｔ ｉ ）を含む各グループ（ｇ ｉ ）に対する、前記各グループ（ｇ ｉ ）の前記解決すべきタスク（Ｔ ｉ ）の、Ｍ個のサブグループ（ｕｇ ｉ ）（ｉ＝１～Ｎ）への割り当てが、各グループ（ｇ ｉ ）の平均的な対状の親和性値を増加させるかどうかが検査され（１０８）、
前記検査の結果、各グループ（ｇ ｉ ）の対状の親和性値が増加したことが判明した場合、以下のステップ（１１０）：
各グループ（ｇ ｉ ）の解決すべきタスク（Ｔ ｉ ）を、前記対状の親和性に基づいて、Ｍ個のサブグループ（ｕｇ ｉ ）（ｉ＝１～Ｍ）に割り当てるステップと、
各分岐ネットワーク（Ｚ ｉ ）におけるサブ分岐深さ（ｕｄ）を決定するステップと、
が実行され、前記サブ分岐深さ（ｕｄ）は、前記分岐（Ｚ ｉ ）の前記層（Ｌ ｉ ）のどの深さにおいて、前記分岐（Ｚ ｉ ）が、Ｍ個のサブ分岐ネットワーク（ＵＺ ｉ ）（ｉ＝１～Ｍ）に分岐されるかを予め設定する、請求項１に記載の方法（１００）。
【請求項8】
請求項１に記載の方法（１００）に従って決定されたアーキテクチャを用いて、少なくとも２つの、特に複数の相互に異なるタスクを解決するためのＬ個の層を有するマルチタスクモデル（Ｎ）。
【請求項9】
コンピュータ上で実行されるときに、当該コンピュータに、請求項１に記載の方法（１００）を実施させるためのコンピュータプログラム。
【請求項10】
少なくとも２つの、特に複数の相互に異なるタスクを解決するためのＬ個の層を有するマルチタスクモデル（ＮＮ）のアーキテクチャを決定するための、及び／又は、少なくとも２つの、特に複数の相互に異なるタスク（Ｔｉ）（
）のセットを解決するためのＬ個の層（Ｌｉ
）（ｉ＝１～Ｌ）を有するマルチタスクモデル（ＮＮ）を決定するための、請求項１に記載の方法（１００）の使用。
【数2】
【外国語明細書】