知財求人 - 知財ポータルサイト「IP Force」
▶ ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッドの特許一覧
特開2023-40100マルチタスク識別方法及び装置、トレーニング方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023040100
(43)【公開日】2023-03-22
(54)【発明の名称】マルチタスク識別方法及び装置、トレーニング方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20230314BHJP
G06V 10/82 20220101ALI20230314BHJP
G06N 20/10 20190101ALI20230314BHJP
【ＦＩ】
G06T7/00 350C
G06V10/82
G06N20/10
【審査請求】有
【請求項の数】55
【出願形態】ＯＬ
【公開請求】
(21)【出願番号】P 2022209218
(22)【出願日】2022-12-27
(31)【優先権主張番号】202210335573.4
(32)【優先日】2022-03-30
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】514322098
【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド
【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．
【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ
(74)【代理人】
【識別番号】100090033
【弁理士】
【氏名又は名称】荒船 博司
(74)【代理人】
【識別番号】100093045
【弁理士】
【氏名又は名称】荒船 良男
(72)【発明者】
【氏名】ポン， ナン
(72)【発明者】
【氏名】リー， ビー
(72)【発明者】
【氏名】シー， トン
(72)【発明者】
【氏名】ジャン， ガン
(57)【要約】 （修正有）
【課題】顔などのシーンに適用されるマルチタスク識別方法及び装置、トレーニング方法及び装置、電子機器、記憶媒体並びにコンピュータプログラムを提供する。
【解決手段】マルチタスク識別方法は、識別対象画像により、第１の中間特徴データを得ることと、ターゲット選択ポリシー及び第１の中間特徴データに基づいて、複数の特徴抽出ポリシーから識別対象画像とのマッチング度が最も高い特徴抽出ポリシーを選択して、ターゲット特徴抽出ポリシーを得ることと、ターゲット特徴抽出ポリシーに基づいて、第１の中間特徴データを処理して、第２の中間特徴データを得ることと、第２の中間特徴データにより、識別対象画像のマルチタスク識別結果を得ることと、を含む。
【選択図】図２
【解決手段】マルチタスク識別方法は、識別対象画像により、第１の中間特徴データを得ることと、ターゲット選択ポリシー及び第１の中間特徴データに基づいて、複数の特徴抽出ポリシーから識別対象画像とのマッチング度が最も高い特徴抽出ポリシーを選択して、ターゲット特徴抽出ポリシーを得ることと、ターゲット特徴抽出ポリシーに基づいて、第１の中間特徴データを処理して、第２の中間特徴データを得ることと、第２の中間特徴データにより、識別対象画像のマルチタスク識別結果を得ることと、を含む。
【選択図】図２
【特許請求の範囲】
【請求項1】
識別対象画像により、第１の中間特徴データを得ることと、
ターゲット選択ポリシー及び前記第１の中間特徴データに基づいて、複数の特徴抽出ポリシーから前記識別対象画像とのマッチング度が最も高い特徴抽出ポリシーを選択して、ターゲット特徴抽出ポリシーを得ることと、
前記ターゲット特徴抽出ポリシーに基づいて、前記第１の中間特徴データを処理して、第２の中間特徴データを得ることと、
前記第２の中間特徴データにより、前記識別対象画像のマルチタスク識別結果を得ることとを含む、
マルチタスク識別方法。
ターゲット選択ポリシー及び前記第１の中間特徴データに基づいて、複数の特徴抽出ポリシーから前記識別対象画像とのマッチング度が最も高い特徴抽出ポリシーを選択して、ターゲット特徴抽出ポリシーを得ることと、
前記ターゲット特徴抽出ポリシーに基づいて、前記第１の中間特徴データを処理して、第２の中間特徴データを得ることと、
前記第２の中間特徴データにより、前記識別対象画像のマルチタスク識別結果を得ることとを含む、
マルチタスク識別方法。
【請求項2】
前記ターゲット選択ポリシー及び前記第１の中間特徴データに基づいて、複数の特徴抽出ポリシーから前記識別対象画像とのマッチング度が最も高い特徴抽出ポリシーを選択して、ターゲット特徴抽出ポリシーを得ることは、
前記ターゲット選択ポリシー及び前記第１の中間特徴データに基づいて、第３の中間特徴データを得ることと、
前記第３の中間特徴データにより、前記複数の特徴抽出ポリシーから前記識別対象画像とのマッチング度が最も高い特徴抽出ポリシーを選択して、前記ターゲット特徴抽出ポリシーを得ることとを含む、
請求項１に記載の方法。
前記ターゲット選択ポリシー及び前記第１の中間特徴データに基づいて、第３の中間特徴データを得ることと、
前記第３の中間特徴データにより、前記複数の特徴抽出ポリシーから前記識別対象画像とのマッチング度が最も高い特徴抽出ポリシーを選択して、前記ターゲット特徴抽出ポリシーを得ることとを含む、
請求項１に記載の方法。
【請求項3】
前記ターゲット選択ポリシー及び前記第１の中間特徴データに基づいて、第３の中間特徴データを得ることは、
前記ターゲット選択ポリシーにより、ターゲット選択マトリックスを特定することと、
前記第１の中間特徴データにより、中間マトリックスを特定することと、
前記ターゲット選択マトリックス及び前記中間マトリックスにより、ターゲットエキスパート確率マトリックスを特定することであって、前記ターゲットエキスパート確率マトリックスは前記複数の特徴抽出ポリシーの各々に対応する要素を含み、前記要素の要素値は前記特徴抽出ポリシーが選択される確率を表すことと、
前記ターゲットエキスパート確率マトリックスを前記第３の中間特徴データとして特定することとを含む、
請求項２に記載の方法。
前記ターゲット選択ポリシーにより、ターゲット選択マトリックスを特定することと、
前記第１の中間特徴データにより、中間マトリックスを特定することと、
前記ターゲット選択マトリックス及び前記中間マトリックスにより、ターゲットエキスパート確率マトリックスを特定することであって、前記ターゲットエキスパート確率マトリックスは前記複数の特徴抽出ポリシーの各々に対応する要素を含み、前記要素の要素値は前記特徴抽出ポリシーが選択される確率を表すことと、
前記ターゲットエキスパート確率マトリックスを前記第３の中間特徴データとして特定することとを含む、
請求項２に記載の方法。
【請求項4】
前記ターゲット選択マトリックス及び前記中間マトリックスにより、ターゲットエキスパート確率マトリックスを特定することは、
前記ターゲット選択マトリックスと前記中間マトリックスとを掛け合わせて、前記ターゲットエキスパート確率マトリックスを得ることを含む、
請求項３に記載の方法。
前記ターゲット選択マトリックスと前記中間マトリックスとを掛け合わせて、前記ターゲットエキスパート確率マトリックスを得ることを含む、
請求項３に記載の方法。
【請求項5】
前記第３の中間特徴データにより、前記複数の特徴抽出ポリシーから前記識別対象画像とのマッチング度が最も高い特徴抽出ポリシーを選択して、前記ターゲット特徴抽出ポリシーを得ることは、
前記ターゲットエキスパート確率マトリックスから要素値が限界値である要素を特定して、ターゲット要素を得ることであって、前記限界値は最大値又は最小値を含むことと、
前記ターゲット要素に対応する特徴抽出ポリシーを前記ターゲット特徴抽出ポリシーとして特定することとを含む、
請求項３又は４に記載の方法。
前記ターゲットエキスパート確率マトリックスから要素値が限界値である要素を特定して、ターゲット要素を得ることであって、前記限界値は最大値又は最小値を含むことと、
前記ターゲット要素に対応する特徴抽出ポリシーを前記ターゲット特徴抽出ポリシーとして特定することとを含む、
請求項３又は４に記載の方法。
【請求項6】
前記識別対象画像により、第１の中間特徴データを得ることは、
前記識別対象画像を処理して、複数の識別対象画像ブロックの各々のオブジェクト特徴データを得ることと、
所定のデータを処理して、第１のカテゴリ特徴データを得ることと、
前記複数の識別対象画像ブロックの各々のオブジェクト特徴データ及び前記第１のカテゴリ特徴データにより、第４の中間特徴データを得ることと、
前記第４の中間特徴データを処理して、前記第１の中間特徴データを得ることとを含む、
請求項１～５のいずれか一項に記載の方法。
前記識別対象画像を処理して、複数の識別対象画像ブロックの各々のオブジェクト特徴データを得ることと、
所定のデータを処理して、第１のカテゴリ特徴データを得ることと、
前記複数の識別対象画像ブロックの各々のオブジェクト特徴データ及び前記第１のカテゴリ特徴データにより、第４の中間特徴データを得ることと、
前記第４の中間特徴データを処理して、前記第１の中間特徴データを得ることとを含む、
請求項１～５のいずれか一項に記載の方法。
【請求項7】
前記第４の中間特徴データを処理して、前記第１の中間特徴データを得ることは、
アテンションポリシーに基づいて、前記第４の中間特徴データを処理して、前記第１の中間特徴データを得ることを含む、
請求項６に記載の方法。
アテンションポリシーに基づいて、前記第４の中間特徴データを処理して、前記第１の中間特徴データを得ることを含む、
請求項６に記載の方法。
【請求項8】
前記第１の中間特徴データは、ディープラーニングモデルの所期のアテンション手段を用いて前記第４の中間特徴データを処理して得られたものである、
請求項７に記載の方法。
請求項７に記載の方法。
【請求項9】
前記ターゲット特徴抽出ポリシーに基づいて、前記第１の中間特徴データを処理して、第２の中間特徴データを得ることは、
前記ターゲット特徴抽出ポリシーに基づいて、前記第１の中間特徴データのグローバル特徴及びローカル特徴のうちの少なくとも一方を抽出して、前記第２の中間特徴データを得ることを含む、
請求項１～８のいずれか一項に記載の方法。
前記ターゲット特徴抽出ポリシーに基づいて、前記第１の中間特徴データのグローバル特徴及びローカル特徴のうちの少なくとも一方を抽出して、前記第２の中間特徴データを得ることを含む、
請求項１～８のいずれか一項に記載の方法。
【請求項10】
前記ターゲット特徴抽出ポリシーに基づいて、前記第１の中間特徴データのグローバル特徴及びローカル特徴のうちの少なくとも一方を抽出して、前記第２の中間特徴データを得ることは、
ディープラーニングモデルに含まれる複数のエキスパート手段から前記ターゲット特徴抽出ポリシーに対応する少なくとも１つのエキスパート手段を特定して、少なくとも１つのターゲットエキスパート手段を得ることであって、前記エキスパート手段はマルチヘッドセルフアテンション層及びフィードフォワードネットワーク層の少なくとも一方を含むことと、
前記少なくとも１つのターゲットエキスパート手段を用いて前記第１の中間特徴データを処理して、前記第２の中間特徴データを得ることとを含む、
請求項９に記載の方法。
ディープラーニングモデルに含まれる複数のエキスパート手段から前記ターゲット特徴抽出ポリシーに対応する少なくとも１つのエキスパート手段を特定して、少なくとも１つのターゲットエキスパート手段を得ることであって、前記エキスパート手段はマルチヘッドセルフアテンション層及びフィードフォワードネットワーク層の少なくとも一方を含むことと、
前記少なくとも１つのターゲットエキスパート手段を用いて前記第１の中間特徴データを処理して、前記第２の中間特徴データを得ることとを含む、
請求項９に記載の方法。
【請求項11】
前記第２の中間特徴データは第２のカテゴリ特徴データを含んでおり、
ただし、前記第２の中間特徴データにより、前記識別対象画像のマルチタスク識別結果を得ることは、
前記第２のカテゴリ特徴データにより、前記識別対象画像が複数のタスクの各々に属するカテゴリ確率値を特定して、複数のカテゴリ確率値を得ることと、
前記複数のカテゴリ確率値により、前記識別対象画像のマルチタスク識別結果を得ることとを含む、
請求項１～１０のいずれか一項に記載の方法。
ただし、前記第２の中間特徴データにより、前記識別対象画像のマルチタスク識別結果を得ることは、
前記第２のカテゴリ特徴データにより、前記識別対象画像が複数のタスクの各々に属するカテゴリ確率値を特定して、複数のカテゴリ確率値を得ることと、
前記複数のカテゴリ確率値により、前記識別対象画像のマルチタスク識別結果を得ることとを含む、
請求項１～１０のいずれか一項に記載の方法。
【請求項12】
サンプル画像により、第１の中間サンプル特徴データを得ることと、
選択ポリシー及び前記第１の中間サンプル特徴データに基づいて、複数のサンプル特徴抽出ポリシーから前記サンプル画像とのマッチング度が最も高いサンプル特徴抽出ポリシーを選択して、ターゲットサンプル特徴抽出ポリシーを得ることと、
前記ターゲットサンプル特徴抽出ポリシーに基づいて、前記第１の中間サンプル特徴データを処理して、第２の中間サンプル特徴データを得ることと、
前記第２の中間サンプル特徴データにより、前記サンプル画像のマルチタスク識別結果を得ることと、
前記サンプル画像のマルチタスク識別結果及びラベル値を用いて前記ディープラーニングモデルをトレーニングして、トレーニングされたディープラーニングモデルを得ることとを含む、
ディープラーニングモデルのトレーニング方法。
選択ポリシー及び前記第１の中間サンプル特徴データに基づいて、複数のサンプル特徴抽出ポリシーから前記サンプル画像とのマッチング度が最も高いサンプル特徴抽出ポリシーを選択して、ターゲットサンプル特徴抽出ポリシーを得ることと、
前記ターゲットサンプル特徴抽出ポリシーに基づいて、前記第１の中間サンプル特徴データを処理して、第２の中間サンプル特徴データを得ることと、
前記第２の中間サンプル特徴データにより、前記サンプル画像のマルチタスク識別結果を得ることと、
前記サンプル画像のマルチタスク識別結果及びラベル値を用いて前記ディープラーニングモデルをトレーニングして、トレーニングされたディープラーニングモデルを得ることとを含む、
ディープラーニングモデルのトレーニング方法。
【請求項13】
前記選択ポリシー及び前記第１の中間サンプル特徴データに基づいて、複数のサンプル特徴抽出ポリシーから前記サンプル画像とのマッチング度が最も高いサンプル特徴抽出ポリシーを選択して、ターゲットサンプル特徴抽出ポリシーを得ることは、
前記選択ポリシー及び前記第１の中間サンプル特徴データに基づいて、第３の中間サンプル特徴データを得ることと、
前記第３の中間サンプル特徴データにより、前記複数のサンプル特徴抽出ポリシーから前記サンプル画像とのマッチング度が最も高いサンプル特徴抽出ポリシーを選択して、前記ターゲットサンプル特徴抽出ポリシーを得ることとを含む、
請求項１２に記載の方法。
前記選択ポリシー及び前記第１の中間サンプル特徴データに基づいて、第３の中間サンプル特徴データを得ることと、
前記第３の中間サンプル特徴データにより、前記複数のサンプル特徴抽出ポリシーから前記サンプル画像とのマッチング度が最も高いサンプル特徴抽出ポリシーを選択して、前記ターゲットサンプル特徴抽出ポリシーを得ることとを含む、
請求項１２に記載の方法。
【請求項14】
前記選択ポリシー及び前記第１の中間サンプル特徴データに基づいて、第３の中間サンプル特徴データを得ることは、
前記選択ポリシーにより、選択マトリックスを特定することと、
前記第１の中間サンプル特徴データにより、中間サンプルマトリックスを特定することと、
前記選択マトリックス及び前記中間サンプルマトリックスにより、サンプルエキスパート確率マトリックスを特定することであって、前記サンプルエキスパート確率マトリックスは前記複数のサンプル特徴抽出ポリシーの各々に対応するサンプル要素を含み、前記サンプル要素の要素値は前記サンプル特徴抽出ポリシーが選択される確率を表すことと、
前記サンプルエキスパート確率マトリックスを前記第３の中間サンプル特徴データとして特定することとを含む、
請求項１３に記載の方法。
前記選択ポリシーにより、選択マトリックスを特定することと、
前記第１の中間サンプル特徴データにより、中間サンプルマトリックスを特定することと、
前記選択マトリックス及び前記中間サンプルマトリックスにより、サンプルエキスパート確率マトリックスを特定することであって、前記サンプルエキスパート確率マトリックスは前記複数のサンプル特徴抽出ポリシーの各々に対応するサンプル要素を含み、前記サンプル要素の要素値は前記サンプル特徴抽出ポリシーが選択される確率を表すことと、
前記サンプルエキスパート確率マトリックスを前記第３の中間サンプル特徴データとして特定することとを含む、
請求項１３に記載の方法。
【請求項15】
前記選択マトリックス及び前記中間サンプルマトリックスにより、サンプルエキスパート確率マトリックスを特定することは、
前記選択マトリックスと前記中間サンプルマトリックスとを掛け合わせて、前記サンプルエキスパート確率マトリックスを得ることを含む、
請求項１４に記載の方法。
前記選択マトリックスと前記中間サンプルマトリックスとを掛け合わせて、前記サンプルエキスパート確率マトリックスを得ることを含む、
請求項１４に記載の方法。
【請求項16】
前記第３の中間サンプル特徴データにより、前記複数のサンプル特徴抽出ポリシーから前記サンプル画像とのマッチング度が最も高いサンプル特徴抽出ポリシーを選択して、前記ターゲットサンプル特徴抽出ポリシーを得ることは、
前記サンプルエキスパート確率マトリックスからサンプル要素値が限界値であるサンプル要素を特定して、ターゲットサンプル要素を得ることであって、前記限界値は最大値又は最小値を含むことと、
前記ターゲットサンプル要素に対応するサンプル特徴抽出ポリシーを前記ターゲットサンプル特徴抽出ポリシーとして特定することとを含む、
請求項１４又は１５に記載の方法。
前記サンプルエキスパート確率マトリックスからサンプル要素値が限界値であるサンプル要素を特定して、ターゲットサンプル要素を得ることであって、前記限界値は最大値又は最小値を含むことと、
前記ターゲットサンプル要素に対応するサンプル特徴抽出ポリシーを前記ターゲットサンプル特徴抽出ポリシーとして特定することとを含む、
請求項１４又は１５に記載の方法。
【請求項17】
前記サンプル画像により、第１の中間サンプル特徴データを得ることは、
前記サンプル画像を処理して、複数のサンプル画像ブロックの各々のサンプルオブジェクト特徴データを得ることと、
所定のサンプルデータを処理して、第１のサンプルカテゴリ特徴データを得ることと、
前記複数のサンプル画像ブロックの各々のサンプルオブジェクト特徴データ及び前記第１のサンプルカテゴリ特徴データにより、第４の中間サンプル特徴データを得ることと、
前記第４の中間サンプル特徴データを処理して、前記第１の中間サンプル特徴データを得ることとを含む、
請求項１２～１６のいずれか一項に記載の方法。
前記サンプル画像を処理して、複数のサンプル画像ブロックの各々のサンプルオブジェクト特徴データを得ることと、
所定のサンプルデータを処理して、第１のサンプルカテゴリ特徴データを得ることと、
前記複数のサンプル画像ブロックの各々のサンプルオブジェクト特徴データ及び前記第１のサンプルカテゴリ特徴データにより、第４の中間サンプル特徴データを得ることと、
前記第４の中間サンプル特徴データを処理して、前記第１の中間サンプル特徴データを得ることとを含む、
請求項１２～１６のいずれか一項に記載の方法。
【請求項18】
前記第４の中間サンプル特徴データを処理して、前記第１の中間サンプル特徴データを得ることは、
アテンションポリシーに基づいて、前記第４の中間サンプル特徴データを処理して、前記第１の中間サンプル特徴データを得ることを含む、
請求項１７に記載の方法。
アテンションポリシーに基づいて、前記第４の中間サンプル特徴データを処理して、前記第１の中間サンプル特徴データを得ることを含む、
請求項１７に記載の方法。
【請求項19】
前記ディープラーニングモデルはバックボーンモジュールを含み、前記バックボーンモジュールはカスケード接続された少なくとも１つのバックボーンサブモジュールを含み、前記バックボーンサブモジュールはアテンション手段を含んでおり、
ただし、前記アテンションポリシーに基づいて、前記第４の中間サンプル特徴データを処理して、前記第１の中間サンプル特徴データを得ることは、
前記バックボーンモジュールにおける所期のアテンション手段を用いて前記第４の中間サンプル特徴データを処理して、前記第１の中間サンプル特徴データを得ることを含む、
請求項１８に記載の方法。
ただし、前記アテンションポリシーに基づいて、前記第４の中間サンプル特徴データを処理して、前記第１の中間サンプル特徴データを得ることは、
前記バックボーンモジュールにおける所期のアテンション手段を用いて前記第４の中間サンプル特徴データを処理して、前記第１の中間サンプル特徴データを得ることを含む、
請求項１８に記載の方法。
【請求項20】
前記ターゲットサンプル特徴抽出ポリシーに基づいて、前記第１の中間サンプル特徴データを処理して、第２の中間サンプル特徴データを得ることは、
前記ターゲットサンプル特徴抽出ポリシーに基づいて、前記第１の中間サンプル特徴データのグローバル特徴及びローカル特徴のうちの少なくとも一方を抽出して、前記第２の中間サンプル特徴データを得ることを含む、
請求項１９に記載の方法。
前記ターゲットサンプル特徴抽出ポリシーに基づいて、前記第１の中間サンプル特徴データのグローバル特徴及びローカル特徴のうちの少なくとも一方を抽出して、前記第２の中間サンプル特徴データを得ることを含む、
請求項１９に記載の方法。
【請求項21】
前記バックボーンサブモジュールは複数のエキスパート手段をさらに含み、前記エキスパート手段はマルチヘッドセルフアテンション層及びフィードフォワードネットワーク層の少なくとも一方を含んでおり、
ただし、前記ターゲットサンプル特徴抽出ポリシーに基づいて、前記第１の中間サンプル特徴データのグローバル特徴及びローカル特徴のうちの少なくとも一方を抽出して、前記第２の中間サンプル特徴データを得ることは、
前記複数のエキスパート手段から前記ターゲットサンプル特徴抽出ポリシーに対応する少なくとも１つのエキスパート手段を特定して、少なくとも１つのターゲットサンプルエキスパート手段を得ることと、
前記少なくとも１つのターゲットサンプルエキスパート手段を用いて前記第１の中間サンプル特徴データを処理して、前記第２の中間サンプル特徴データを得ることとを含む、
請求項２０に記載の方法。
ただし、前記ターゲットサンプル特徴抽出ポリシーに基づいて、前記第１の中間サンプル特徴データのグローバル特徴及びローカル特徴のうちの少なくとも一方を抽出して、前記第２の中間サンプル特徴データを得ることは、
前記複数のエキスパート手段から前記ターゲットサンプル特徴抽出ポリシーに対応する少なくとも１つのエキスパート手段を特定して、少なくとも１つのターゲットサンプルエキスパート手段を得ることと、
前記少なくとも１つのターゲットサンプルエキスパート手段を用いて前記第１の中間サンプル特徴データを処理して、前記第２の中間サンプル特徴データを得ることとを含む、
請求項２０に記載の方法。
【請求項22】
前記バックボーンモジュールはカスケード接続されたＭ個の前記バックボーンサブモジュールを含み、Ｍは１以上の整数であり、
ただし、前記バックボーンサブモジュールはエキスパート選択手段をさらに含み、
ただし、前記少なくとも１つのターゲットサンプルエキスパート手段を用いて前記第１の中間サンプル特徴データを処理して、前記第２の中間サンプル特徴データを得ることは、
Ｍ＝１の場合に、
第１階層のターゲットサンプルエキスパート手段を用いて前記第１の中間サンプル特徴データを処理して、第１階層の第５の中間サンプル特徴データを得ることと、
前記第１階層の第５の中間サンプル特徴データにより、前記第２の中間サンプル特徴データを得ることと、
Ｍ＞１且つｍ＞１の場合に、
第ｍ階層のターゲットサンプルエキスパート手段を用いて第ｍ階層の第６の中間サンプル特徴データを処理して、第ｍ階層の第５の中間サンプル特徴データを得ることであって、前記第ｍ階層の第６の中間サンプル特徴データは第ｍ階層のアテンション手段を用いて第（ｍ－１）階層の第５の中間サンプル特徴データを処理して得られたものであり、前記第ｍ階層のターゲットサンプルエキスパート手段は第ｍ階層のエキスパート選択手段を用いて前記第（ｍ－１）階層の第５の中間サンプル特徴データを処理して得られた結果により特定されるものであることと、
第Ｎ階層の第５の中間サンプル特徴データにより、前記第２の中間サンプル特徴データを得ることであって、Ｎは１以上且つＭよりも小さい整数であることを含む、
請求項２１に記載の方法。
ただし、前記バックボーンサブモジュールはエキスパート選択手段をさらに含み、
ただし、前記少なくとも１つのターゲットサンプルエキスパート手段を用いて前記第１の中間サンプル特徴データを処理して、前記第２の中間サンプル特徴データを得ることは、
Ｍ＝１の場合に、
第１階層のターゲットサンプルエキスパート手段を用いて前記第１の中間サンプル特徴データを処理して、第１階層の第５の中間サンプル特徴データを得ることと、
前記第１階層の第５の中間サンプル特徴データにより、前記第２の中間サンプル特徴データを得ることと、
Ｍ＞１且つｍ＞１の場合に、
第ｍ階層のターゲットサンプルエキスパート手段を用いて第ｍ階層の第６の中間サンプル特徴データを処理して、第ｍ階層の第５の中間サンプル特徴データを得ることであって、前記第ｍ階層の第６の中間サンプル特徴データは第ｍ階層のアテンション手段を用いて第（ｍ－１）階層の第５の中間サンプル特徴データを処理して得られたものであり、前記第ｍ階層のターゲットサンプルエキスパート手段は第ｍ階層のエキスパート選択手段を用いて前記第（ｍ－１）階層の第５の中間サンプル特徴データを処理して得られた結果により特定されるものであることと、
第Ｎ階層の第５の中間サンプル特徴データにより、前記第２の中間サンプル特徴データを得ることであって、Ｎは１以上且つＭよりも小さい整数であることを含む、
請求項２１に記載の方法。
【請求項23】
前記ターゲットサンプルエキスパート手段はターゲットマルチヘッドセルフアテンション層及びターゲットフィードフォワードネットワーク層を含んでおり、
ただし、前記第ｍ階層のターゲットサンプルエキスパート手段を用いて第ｍ階層の第６の中間サンプル特徴データを処理して、第ｍ階層の第５の中間サンプル特徴データを得ることは、
第ｍ階層のターゲットマルチヘッドセルフアテンション層を用いて前記第ｍ階層の第６の中間サンプル特徴データを処理して、第ｍ階層の第７の中間サンプル特徴データを得ることと、
第ｍ階層のターゲットフィードフォワードネットワーク層を用いて前記第ｍ階層の第７の中間サンプル特徴データを処理して、前記第ｍ階層の第５の中間サンプル特徴データを得ることとを含む、
請求項２２に記載の方法。
ただし、前記第ｍ階層のターゲットサンプルエキスパート手段を用いて第ｍ階層の第６の中間サンプル特徴データを処理して、第ｍ階層の第５の中間サンプル特徴データを得ることは、
第ｍ階層のターゲットマルチヘッドセルフアテンション層を用いて前記第ｍ階層の第６の中間サンプル特徴データを処理して、第ｍ階層の第７の中間サンプル特徴データを得ることと、
第ｍ階層のターゲットフィードフォワードネットワーク層を用いて前記第ｍ階層の第７の中間サンプル特徴データを処理して、前記第ｍ階層の第５の中間サンプル特徴データを得ることとを含む、
請求項２２に記載の方法。
【請求項24】
前記第２の中間サンプル特徴データは第２のサンプルカテゴリ特徴データを含んでおり、
ただし、前記第２の中間サンプル特徴データにより、前記サンプル画像のマルチタスク識別結果を得ることは、
前記第２のサンプルカテゴリ特徴データにより、前記サンプル画像が複数のタスクの各々に属するカテゴリ確率値を特定して、複数のサンプルカテゴリ確率値を得ることと、
前記複数のサンプルカテゴリ確率値により、前記サンプル画像のマルチタスク識別結果を得ることとを含む、
請求項１２～２３のいずれか一項に記載の方法。
ただし、前記第２の中間サンプル特徴データにより、前記サンプル画像のマルチタスク識別結果を得ることは、
前記第２のサンプルカテゴリ特徴データにより、前記サンプル画像が複数のタスクの各々に属するカテゴリ確率値を特定して、複数のサンプルカテゴリ確率値を得ることと、
前記複数のサンプルカテゴリ確率値により、前記サンプル画像のマルチタスク識別結果を得ることとを含む、
請求項１２～２３のいずれか一項に記載の方法。
【請求項25】
前記ディープラーニングモデルはカテゴリ分類モジュールを含んでおり、
ただし、前記第２のサンプルカテゴリ特徴データにより、前記サンプル画像が複数のタスクの各々に属するカテゴリ確率値を特定して、複数のサンプルカテゴリ確率値を得ることは、
前記カテゴリ分類モジュールを用いて前記第２のサンプルカテゴリ特徴データを処理して、前記サンプル画像が複数のタスクの各々に属するカテゴリ確率値を特定して、前記複数のサンプルカテゴリ確率値を得ることを含む、
請求項２４に記載の方法。
ただし、前記第２のサンプルカテゴリ特徴データにより、前記サンプル画像が複数のタスクの各々に属するカテゴリ確率値を特定して、複数のサンプルカテゴリ確率値を得ることは、
前記カテゴリ分類モジュールを用いて前記第２のサンプルカテゴリ特徴データを処理して、前記サンプル画像が複数のタスクの各々に属するカテゴリ確率値を特定して、前記複数のサンプルカテゴリ確率値を得ることを含む、
請求項２４に記載の方法。
【請求項26】
前記ディープラーニングモデルは前処理モジュールを含み、前記前処理モジュールはオブジェクト処理手段及びカテゴリ処理手段を含んでおり、
ただし、前記サンプルオブジェクト特徴データは前記オブジェクト処理手段を用いて前記サンプル画像ブロックを処理して得られたものであり、
ただし、前記第１のサンプルカテゴリ特徴データは前記カテゴリ処理手段を用いて前記所定のサンプルデータを処理して得られたものである、
請求項１７～２５のいずれか一項に記載の方法。
ただし、前記サンプルオブジェクト特徴データは前記オブジェクト処理手段を用いて前記サンプル画像ブロックを処理して得られたものであり、
ただし、前記第１のサンプルカテゴリ特徴データは前記カテゴリ処理手段を用いて前記所定のサンプルデータを処理して得られたものである、
請求項１７～２５のいずれか一項に記載の方法。
【請求項27】
識別対象画像により、第１の中間特徴データを得る第１の取得モジュールと、
ターゲット選択ポリシー及び前記第１の中間特徴データに基づいて、複数の特徴抽出ポリシーから前記識別対象画像とのマッチング度が最も高い特徴抽出ポリシーを選択して、ターゲット特徴抽出ポリシーを得る第２の取得モジュールと、
前記ターゲット特徴抽出ポリシーに基づいて、前記第１の中間特徴データを処理して、第２の中間特徴データを得る第３の取得モジュールと、
前記第２の中間特徴データにより、前記識別対象画像のマルチタスク識別結果を得る第４の取得モジュールとを含む、
マルチタスク識別装置。
ターゲット選択ポリシー及び前記第１の中間特徴データに基づいて、複数の特徴抽出ポリシーから前記識別対象画像とのマッチング度が最も高い特徴抽出ポリシーを選択して、ターゲット特徴抽出ポリシーを得る第２の取得モジュールと、
前記ターゲット特徴抽出ポリシーに基づいて、前記第１の中間特徴データを処理して、第２の中間特徴データを得る第３の取得モジュールと、
前記第２の中間特徴データにより、前記識別対象画像のマルチタスク識別結果を得る第４の取得モジュールとを含む、
マルチタスク識別装置。
【請求項28】
前記第２の取得モジュールは、
前記ターゲット選択ポリシー及び前記第１の中間特徴データに基づいて、第３の中間特徴データを得る第１の取得サブモジュールと、
前記第３の中間特徴データにより、前記複数の特徴抽出ポリシーから前記識別対象画像とのマッチング度が最も高い特徴抽出ポリシーを選択して、前記ターゲット特徴抽出ポリシーを得る第２の取得サブモジュールとを含む、
請求項２７に記載の装置。
前記ターゲット選択ポリシー及び前記第１の中間特徴データに基づいて、第３の中間特徴データを得る第１の取得サブモジュールと、
前記第３の中間特徴データにより、前記複数の特徴抽出ポリシーから前記識別対象画像とのマッチング度が最も高い特徴抽出ポリシーを選択して、前記ターゲット特徴抽出ポリシーを得る第２の取得サブモジュールとを含む、
請求項２７に記載の装置。
【請求項29】
前記第１の取得サブモジュールは、
前記ターゲット選択ポリシーにより、ターゲット選択マトリックスを特定する第１の特定手段と、
前記第１の中間特徴データにより、中間マトリックスを特定する第２の特定手段と、
前記ターゲット選択マトリックス及び前記中間マトリックスにより、ターゲットエキスパート確率マトリックスを特定するものであって、前記ターゲットエキスパート確率マトリックスは前記複数の特徴抽出ポリシーの各々に対応する要素を含み、前記要素の要素値は前記特徴抽出ポリシーが選択される確率を表す第３の特定手段と、
前記ターゲットエキスパート確率マトリックスを前記第３の中間特徴データとして特定する第４の特定手段とを含む、
請求項２８に記載の装置。
前記ターゲット選択ポリシーにより、ターゲット選択マトリックスを特定する第１の特定手段と、
前記第１の中間特徴データにより、中間マトリックスを特定する第２の特定手段と、
前記ターゲット選択マトリックス及び前記中間マトリックスにより、ターゲットエキスパート確率マトリックスを特定するものであって、前記ターゲットエキスパート確率マトリックスは前記複数の特徴抽出ポリシーの各々に対応する要素を含み、前記要素の要素値は前記特徴抽出ポリシーが選択される確率を表す第３の特定手段と、
前記ターゲットエキスパート確率マトリックスを前記第３の中間特徴データとして特定する第４の特定手段とを含む、
請求項２８に記載の装置。
【請求項30】
前記第３の特定手段は、
前記ターゲット選択マトリックスと前記中間マトリックスとを掛け合わせて、前記ターゲットエキスパート確率マトリックスを得る第１の取得サブ手段を含む、
請求項２９に記載の装置。
前記ターゲット選択マトリックスと前記中間マトリックスとを掛け合わせて、前記ターゲットエキスパート確率マトリックスを得る第１の取得サブ手段を含む、
請求項２９に記載の装置。
【請求項31】
前記第２の取得サブモジュールは、
前記ターゲットエキスパート確率マトリックスから要素値が限界値である要素を特定して、ターゲット要素を得るものであって、前記限界値は最大値又は最小値を含む第１の取得手段と、
前記ターゲット要素に対応する特徴抽出ポリシーを前記ターゲット特徴抽出ポリシーとして特定する第５の特定手段とを含む、
請求項２９又は３０に記載の装置。
前記ターゲットエキスパート確率マトリックスから要素値が限界値である要素を特定して、ターゲット要素を得るものであって、前記限界値は最大値又は最小値を含む第１の取得手段と、
前記ターゲット要素に対応する特徴抽出ポリシーを前記ターゲット特徴抽出ポリシーとして特定する第５の特定手段とを含む、
請求項２９又は３０に記載の装置。
【請求項32】
前記第１の取得モジュールは、
前記識別対象画像を処理して、複数の識別対象画像ブロックの各々のオブジェクト特徴データを得る第３の取得サブモジュールと、
所定のデータを処理して、第１のカテゴリ特徴データを得る第４の取得サブモジュールと、
前記複数の識別対象画像ブロックの各々のオブジェクト特徴データ及び前記第１のカテゴリ特徴データにより、第４の中間特徴データを得る第５の取得サブモジュールと、
前記第４の中間特徴データを処理して、前記第１の中間特徴データを得る第６の取得サブモジュールとを含む、
請求項２７～３１のいずれか一項に記載の装置。
前記識別対象画像を処理して、複数の識別対象画像ブロックの各々のオブジェクト特徴データを得る第３の取得サブモジュールと、
所定のデータを処理して、第１のカテゴリ特徴データを得る第４の取得サブモジュールと、
前記複数の識別対象画像ブロックの各々のオブジェクト特徴データ及び前記第１のカテゴリ特徴データにより、第４の中間特徴データを得る第５の取得サブモジュールと、
前記第４の中間特徴データを処理して、前記第１の中間特徴データを得る第６の取得サブモジュールとを含む、
請求項２７～３１のいずれか一項に記載の装置。
【請求項33】
前記第６の取得サブモジュールは、
アテンションポリシーに基づいて、前記第４の中間特徴データを処理して、前記第１の中間特徴データを得る第２の取得手段を含む、
請求項３２に記載の装置。
アテンションポリシーに基づいて、前記第４の中間特徴データを処理して、前記第１の中間特徴データを得る第２の取得手段を含む、
請求項３２に記載の装置。
【請求項34】
前記第１の中間特徴データは、ディープラーニングモデルの所期のアテンション手段を用いて前記第４の中間特徴データを処理して得られたものである、
請求項３３に記載の装置。
請求項３３に記載の装置。
【請求項35】
前記第３の取得モジュールは、
前記ターゲット特徴抽出ポリシーに基づいて、前記第１の中間特徴データのグローバル特徴及びローカル特徴のうちの少なくとも一方を抽出して、前記第２の中間特徴データを得る第７の取得サブモジュールを含む、
請求項２７～３４のいずれか一項に記載の装置。
前記ターゲット特徴抽出ポリシーに基づいて、前記第１の中間特徴データのグローバル特徴及びローカル特徴のうちの少なくとも一方を抽出して、前記第２の中間特徴データを得る第７の取得サブモジュールを含む、
請求項２７～３４のいずれか一項に記載の装置。
【請求項36】
前記第７の取得サブモジュールは、
ディープラーニングモデルに含まれる複数のエキスパート手段から前記ターゲット特徴抽出ポリシーに対応する少なくとも１つのエキスパート手段を特定して、少なくとも１つのターゲットエキスパート手段を得るものであって、前記エキスパート手段はマルチヘッドセルフアテンション層及びフィードフォワードネットワーク層の少なくとも一方を含む第３の取得手段と、
前記少なくとも１つのターゲットエキスパート手段を用いて前記第１の中間特徴データを処理して、前記第２の中間特徴データを得る第４の取得手段とを含む、
請求項３５に記載の装置。
ディープラーニングモデルに含まれる複数のエキスパート手段から前記ターゲット特徴抽出ポリシーに対応する少なくとも１つのエキスパート手段を特定して、少なくとも１つのターゲットエキスパート手段を得るものであって、前記エキスパート手段はマルチヘッドセルフアテンション層及びフィードフォワードネットワーク層の少なくとも一方を含む第３の取得手段と、
前記少なくとも１つのターゲットエキスパート手段を用いて前記第１の中間特徴データを処理して、前記第２の中間特徴データを得る第４の取得手段とを含む、
請求項３５に記載の装置。
【請求項37】
前記第２の中間特徴データは第２のカテゴリ特徴データを含んでおり、
ただし、前記第４の取得モジュールは、
前記第２のカテゴリ特徴データにより、前記識別対象画像が複数のタスクの各々に属するカテゴリ確率値を特定して、複数のカテゴリ確率値を得る第８の取得サブモジュールと、
前記複数のカテゴリ確率値により、前記識別対象画像のマルチタスク識別結果を得る第９の取得サブモジュールとを含む、
請求項２７～３６のいずれか一項に記載の装置。
ただし、前記第４の取得モジュールは、
前記第２のカテゴリ特徴データにより、前記識別対象画像が複数のタスクの各々に属するカテゴリ確率値を特定して、複数のカテゴリ確率値を得る第８の取得サブモジュールと、
前記複数のカテゴリ確率値により、前記識別対象画像のマルチタスク識別結果を得る第９の取得サブモジュールとを含む、
請求項２７～３６のいずれか一項に記載の装置。
【請求項38】
サンプル画像により、第１の中間サンプル特徴データを得る第５の取得モジュールと、
選択ポリシー及び前記第１の中間サンプル特徴データに基づいて、複数のサンプル特徴抽出ポリシーから前記サンプル画像とのマッチング度が最も高いサンプル特徴抽出ポリシーを選択して、ターゲットサンプル特徴抽出ポリシーを得る第６の取得モジュールと、
前記ターゲットサンプル特徴抽出ポリシーに基づいて、前記第１の中間サンプル特徴データを処理して、第２の中間サンプル特徴データを得る第７の取得モジュールと、
前記第２の中間サンプル特徴データにより、前記サンプル画像のマルチタスク識別結果を得る第８の取得モジュールと、
前記サンプル画像のマルチタスク識別結果及びラベル値を用いて前記ディープラーニングモデルをトレーニングして、トレーニングされたディープラーニングモデルを得る第９の取得モジュールとを含む、
ディープラーニングモデルのトレーニング装置。
選択ポリシー及び前記第１の中間サンプル特徴データに基づいて、複数のサンプル特徴抽出ポリシーから前記サンプル画像とのマッチング度が最も高いサンプル特徴抽出ポリシーを選択して、ターゲットサンプル特徴抽出ポリシーを得る第６の取得モジュールと、
前記ターゲットサンプル特徴抽出ポリシーに基づいて、前記第１の中間サンプル特徴データを処理して、第２の中間サンプル特徴データを得る第７の取得モジュールと、
前記第２の中間サンプル特徴データにより、前記サンプル画像のマルチタスク識別結果を得る第８の取得モジュールと、
前記サンプル画像のマルチタスク識別結果及びラベル値を用いて前記ディープラーニングモデルをトレーニングして、トレーニングされたディープラーニングモデルを得る第９の取得モジュールとを含む、
ディープラーニングモデルのトレーニング装置。
【請求項39】
前記第６の取得モジュールは、
前記選択ポリシー及び前記第１の中間サンプル特徴データに基づいて、第３の中間サンプル特徴データを得る第１０の取得サブモジュールと、
前記第３の中間サンプル特徴データにより、前記複数のサンプル特徴抽出ポリシーから前記サンプル画像とのマッチング度が最も高いサンプル特徴抽出ポリシーを選択して、前記ターゲットサンプル特徴抽出ポリシーを得る第１１の取得サブモジュールとを含む、
請求項３８に記載の装置。
前記選択ポリシー及び前記第１の中間サンプル特徴データに基づいて、第３の中間サンプル特徴データを得る第１０の取得サブモジュールと、
前記第３の中間サンプル特徴データにより、前記複数のサンプル特徴抽出ポリシーから前記サンプル画像とのマッチング度が最も高いサンプル特徴抽出ポリシーを選択して、前記ターゲットサンプル特徴抽出ポリシーを得る第１１の取得サブモジュールとを含む、
請求項３８に記載の装置。
【請求項40】
前記第１０の取得サブモジュールは、
前記選択ポリシーにより、選択マトリックスを特定する第６の特定手段と、
前記第１の中間サンプル特徴データにより、中間サンプルマトリックスを特定する第７の特定手段と、
前記選択マトリックス及び前記中間サンプルマトリックスにより、サンプルエキスパート確率マトリックスを特定するものであって、前記サンプルエキスパート確率マトリックスは前記複数のサンプル特徴抽出ポリシーの各々に対応するサンプル要素を含み、前記サンプル要素の要素値は前記サンプル特徴抽出ポリシーが選択される確率を表す第８の特定手段と、
前記サンプルエキスパート確率マトリックスを前記第３の中間サンプル特徴データとして特定する第９の特定手段とを含む、
請求項３９に記載の装置。
前記選択ポリシーにより、選択マトリックスを特定する第６の特定手段と、
前記第１の中間サンプル特徴データにより、中間サンプルマトリックスを特定する第７の特定手段と、
前記選択マトリックス及び前記中間サンプルマトリックスにより、サンプルエキスパート確率マトリックスを特定するものであって、前記サンプルエキスパート確率マトリックスは前記複数のサンプル特徴抽出ポリシーの各々に対応するサンプル要素を含み、前記サンプル要素の要素値は前記サンプル特徴抽出ポリシーが選択される確率を表す第８の特定手段と、
前記サンプルエキスパート確率マトリックスを前記第３の中間サンプル特徴データとして特定する第９の特定手段とを含む、
請求項３９に記載の装置。
【請求項41】
前記第８の特定手段は、
前記選択マトリックスと前記中間サンプルマトリックスとを掛け合わせて、前記サンプルエキスパート確率マトリックスを得る第２の取得サブ手段を含む、
請求項４０に記載の装置。
前記選択マトリックスと前記中間サンプルマトリックスとを掛け合わせて、前記サンプルエキスパート確率マトリックスを得る第２の取得サブ手段を含む、
請求項４０に記載の装置。
【請求項42】
前記第１１の取得サブモジュールは、
前記サンプルエキスパート確率マトリックスからサンプル要素値が限界値であるサンプル要素を特定して、ターゲットサンプル要素を得るものであって、前記限界値は最大値又は最小値を含む第５の取得手段と、
前記ターゲットサンプル要素に対応するサンプル特徴抽出ポリシーを前記ターゲットサンプル特徴抽出ポリシーとして特定する第１０の特定手段とを含む、
請求項４０又は４１に記載の装置。
前記サンプルエキスパート確率マトリックスからサンプル要素値が限界値であるサンプル要素を特定して、ターゲットサンプル要素を得るものであって、前記限界値は最大値又は最小値を含む第５の取得手段と、
前記ターゲットサンプル要素に対応するサンプル特徴抽出ポリシーを前記ターゲットサンプル特徴抽出ポリシーとして特定する第１０の特定手段とを含む、
請求項４０又は４１に記載の装置。
【請求項43】
前記第５の取得モジュールは、
前記サンプル画像を処理して、複数のサンプル画像ブロックの各々のサンプルオブジェクト特徴データを得る第１２の取得サブモジュールと、
所定のサンプルデータを処理して、第１のサンプルカテゴリ特徴データを得る第１３の取得サブモジュールと、
前記複数のサンプル画像ブロックの各々のサンプルオブジェクト特徴データ及び前記第１のサンプルカテゴリ特徴データにより、第４の中間サンプル特徴データを得る第１４の取得サブモジュールと、
前記第４の中間サンプル特徴データを処理して、前記第１の中間サンプル特徴データを得る第１５の取得サブモジュールとを含む、
請求項３８～４２のいずれか一項に記載の装置。
前記サンプル画像を処理して、複数のサンプル画像ブロックの各々のサンプルオブジェクト特徴データを得る第１２の取得サブモジュールと、
所定のサンプルデータを処理して、第１のサンプルカテゴリ特徴データを得る第１３の取得サブモジュールと、
前記複数のサンプル画像ブロックの各々のサンプルオブジェクト特徴データ及び前記第１のサンプルカテゴリ特徴データにより、第４の中間サンプル特徴データを得る第１４の取得サブモジュールと、
前記第４の中間サンプル特徴データを処理して、前記第１の中間サンプル特徴データを得る第１５の取得サブモジュールとを含む、
請求項３８～４２のいずれか一項に記載の装置。
【請求項44】
前記第１５の取得サブモジュールは、
アテンションポリシーに基づいて、前記第４の中間サンプル特徴データを処理して、前記第２の中間サンプル特徴データを得る第６の取得手段を含む、
請求項４３に記載の装置。
アテンションポリシーに基づいて、前記第４の中間サンプル特徴データを処理して、前記第２の中間サンプル特徴データを得る第６の取得手段を含む、
請求項４３に記載の装置。
【請求項45】
前記ディープラーニングモデルはバックボーンモジュールを含み、前記バックボーンモジュールはカスケード接続された少なくとも１つのバックボーンサブモジュールを含み、前記バックボーンサブモジュールはアテンション手段を含んでおり、
ただし、前記第６の取得手段は、
前記バックボーンモジュールにおける所期のアテンション手段を用いて前記第４の中間サンプル特徴データを処理して、前記第１の中間サンプル特徴データを得る第３の取得サブ手段を含む、
請求項４４に記載の装置。
ただし、前記第６の取得手段は、
前記バックボーンモジュールにおける所期のアテンション手段を用いて前記第４の中間サンプル特徴データを処理して、前記第１の中間サンプル特徴データを得る第３の取得サブ手段を含む、
請求項４４に記載の装置。
【請求項46】
前記第７の取得モジュールは、
前記ターゲットサンプル特徴抽出ポリシーに基づいて、前記第１の中間サンプル特徴データのグローバル特徴及びローカル特徴のうちの少なくとも一方を抽出して、前記第２の中間サンプル特徴データを得る第１６の取得サブモジュールを含む、
請求項４５に記載の装置。
前記ターゲットサンプル特徴抽出ポリシーに基づいて、前記第１の中間サンプル特徴データのグローバル特徴及びローカル特徴のうちの少なくとも一方を抽出して、前記第２の中間サンプル特徴データを得る第１６の取得サブモジュールを含む、
請求項４５に記載の装置。
【請求項47】
前記バックボーンサブモジュールは複数のエキスパート手段をさらに含み、前記エキスパート手段はマルチヘッドセルフアテンション層及びフィードフォワードネットワーク層の少なくとも一方を含んでおり、
ただし、前記第１６の取得サブモジュールは、
前記複数のエキスパート手段から前記ターゲットサンプル特徴抽出ポリシーに対応する少なくとも１つのエキスパート手段を特定して、少なくとも１つのターゲットサンプルエキスパート手段を得る第７の取得手段と、
前記少なくとも１つのターゲットサンプルエキスパート手段を用いて前記第１の中間サンプル特徴データを処理して、前記第２の中間サンプル特徴データを得る第８の取得手段とを含む、
請求項４６に記載の装置。
ただし、前記第１６の取得サブモジュールは、
前記複数のエキスパート手段から前記ターゲットサンプル特徴抽出ポリシーに対応する少なくとも１つのエキスパート手段を特定して、少なくとも１つのターゲットサンプルエキスパート手段を得る第７の取得手段と、
前記少なくとも１つのターゲットサンプルエキスパート手段を用いて前記第１の中間サンプル特徴データを処理して、前記第２の中間サンプル特徴データを得る第８の取得手段とを含む、
請求項４６に記載の装置。
【請求項48】
前記バックボーンモジュールはカスケード接続されたＭ個の前記バックボーンサブモジュールを含み、Ｍは１以上の整数であり、
ただし、前記バックボーンサブモジュールはエキスパート選択手段をさらに含み、
ただし、前記第８の取得手段は、
Ｍ＝１の場合に、
第１階層のターゲットサンプルエキスパート手段を用いて前記第１の中間サンプル特徴データを処理して、第１階層の第５の中間サンプル特徴データを得る第４の取得サブ手段と、
前記第１階層の第５の中間サンプル特徴データにより、前記第２の中間サンプル特徴データを得る第５の取得サブ手段と、
Ｍ＞１且つｍ＞１の場合に、
第ｍ階層のターゲットサンプルエキスパート手段を用いて第ｍ階層の第６の中間サンプル特徴データを処理して、第ｍ階層の第５の中間サンプル特徴データを得るものであって、前記第ｍ階層の第６の中間サンプル特徴データは第ｍ階層のアテンション手段を用いて第（ｍ－１）階層の第５の中間サンプル特徴データを処理して得られたものであり、前記第ｍ階層のターゲットサンプルエキスパート手段は第ｍ階層のエキスパート選択手段を用いて前記第（ｍ－１）階層の第５の中間サンプル特徴データを処理して得られた結果により特定されるものである第６の取得サブ手段と、
第Ｎ階層の第５の中間サンプル特徴データにより、前記第２の中間サンプル特徴データを得るものであって、Ｎは１以上且つＭよりも小さい整数である第７の取得サブ手段とを含む、
請求項４７に記載の装置。
ただし、前記バックボーンサブモジュールはエキスパート選択手段をさらに含み、
ただし、前記第８の取得手段は、
Ｍ＝１の場合に、
第１階層のターゲットサンプルエキスパート手段を用いて前記第１の中間サンプル特徴データを処理して、第１階層の第５の中間サンプル特徴データを得る第４の取得サブ手段と、
前記第１階層の第５の中間サンプル特徴データにより、前記第２の中間サンプル特徴データを得る第５の取得サブ手段と、
Ｍ＞１且つｍ＞１の場合に、
第ｍ階層のターゲットサンプルエキスパート手段を用いて第ｍ階層の第６の中間サンプル特徴データを処理して、第ｍ階層の第５の中間サンプル特徴データを得るものであって、前記第ｍ階層の第６の中間サンプル特徴データは第ｍ階層のアテンション手段を用いて第（ｍ－１）階層の第５の中間サンプル特徴データを処理して得られたものであり、前記第ｍ階層のターゲットサンプルエキスパート手段は第ｍ階層のエキスパート選択手段を用いて前記第（ｍ－１）階層の第５の中間サンプル特徴データを処理して得られた結果により特定されるものである第６の取得サブ手段と、
第Ｎ階層の第５の中間サンプル特徴データにより、前記第２の中間サンプル特徴データを得るものであって、Ｎは１以上且つＭよりも小さい整数である第７の取得サブ手段とを含む、
請求項４７に記載の装置。
【請求項49】
前記ターゲットサンプルエキスパート手段はターゲットマルチヘッドセルフアテンション層及びターゲットフィードフォワードネットワーク層を含んでおり、
ただし、前記第６の取得サブ手段は、
第ｍ階層のターゲットマルチヘッドセルフアテンション層を用いて前記第ｍ階層の第６の中間サンプル特徴データを処理して、第ｍ階層の第７の中間サンプル特徴データを得ており、
第ｍ階層のターゲットフィードフォワードネットワーク層を用いて前記第ｍ階層の第７の中間サンプル特徴データを処理して、前記第ｍ階層の第５の中間サンプル特徴データを得る、
請求項４８に記載の装置。
ただし、前記第６の取得サブ手段は、
第ｍ階層のターゲットマルチヘッドセルフアテンション層を用いて前記第ｍ階層の第６の中間サンプル特徴データを処理して、第ｍ階層の第７の中間サンプル特徴データを得ており、
第ｍ階層のターゲットフィードフォワードネットワーク層を用いて前記第ｍ階層の第７の中間サンプル特徴データを処理して、前記第ｍ階層の第５の中間サンプル特徴データを得る、
請求項４８に記載の装置。
【請求項50】
前記第２の中間サンプル特徴データは第２のサンプルカテゴリ特徴データを含んでおり、
ただし、前記第８の取得モジュールは、
前記第２のサンプルカテゴリ特徴データにより、前記サンプル画像が複数のタスクの各々に属するカテゴリ確率値を特定して、複数のサンプルカテゴリ確率値を得る特定サブモジュールと、
前記複数のサンプルカテゴリ確率値により、前記サンプル画像のマルチタスク識別結果を得る第１７の取得サブモジュールとを含む、
請求項３８～４９のいずれか一項に記載の装置。
ただし、前記第８の取得モジュールは、
前記第２のサンプルカテゴリ特徴データにより、前記サンプル画像が複数のタスクの各々に属するカテゴリ確率値を特定して、複数のサンプルカテゴリ確率値を得る特定サブモジュールと、
前記複数のサンプルカテゴリ確率値により、前記サンプル画像のマルチタスク識別結果を得る第１７の取得サブモジュールとを含む、
請求項３８～４９のいずれか一項に記載の装置。
【請求項51】
前記ディープラーニングモデルはカテゴリ分類モジュールを含んでおり、
ただし、前記特定サブモジュールは、
前記カテゴリ分類モジュールを用いて前記第２のサンプルカテゴリ特徴データを処理して、前記サンプル画像が複数のタスクの各々に属するカテゴリ確率値を特定して、前記複数のサンプルカテゴリ確率値を得る第９の取得手段を含む、
請求項５０に記載の装置。
ただし、前記特定サブモジュールは、
前記カテゴリ分類モジュールを用いて前記第２のサンプルカテゴリ特徴データを処理して、前記サンプル画像が複数のタスクの各々に属するカテゴリ確率値を特定して、前記複数のサンプルカテゴリ確率値を得る第９の取得手段を含む、
請求項５０に記載の装置。
【請求項52】
前記ディープラーニングモデルは前処理モジュールを含み、前記前処理モジュールはオブジェクト処理手段及びカテゴリ処理手段を含んでおり、
ただし、前記サンプルオブジェクト特徴データは前記オブジェクト処理手段を用いて前記サンプル画像ブロックを処理して得られたものであり、
ただし、前記第１のサンプルカテゴリ特徴データは前記カテゴリ処理手段を用いて前記所定のサンプルデータを処理して得られたものである、
請求項４３～５１のいずれか一項に記載の装置。
ただし、前記サンプルオブジェクト特徴データは前記オブジェクト処理手段を用いて前記サンプル画像ブロックを処理して得られたものであり、
ただし、前記第１のサンプルカテゴリ特徴データは前記カテゴリ処理手段を用いて前記所定のサンプルデータを処理して得られたものである、
請求項４３～５１のいずれか一項に記載の装置。
【請求項53】
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信接続されたメモリとを備える電子機器であって、
前記メモリには、前記少なくとも１つのプロセッサにより実行可能な命令が記憶されており、
前記命令は、前記少なくとも１つのプロセッサが請求項１～１１のいずれか一項又は請求項１２～２６のいずれか一項に記載の方法を実行することができるように、前記少なくとも１つのプロセッサにより実行される電子機器。
前記少なくとも１つのプロセッサと通信接続されたメモリとを備える電子機器であって、
前記メモリには、前記少なくとも１つのプロセッサにより実行可能な命令が記憶されており、
前記命令は、前記少なくとも１つのプロセッサが請求項１～１１のいずれか一項又は請求項１２～２６のいずれか一項に記載の方法を実行することができるように、前記少なくとも１つのプロセッサにより実行される電子機器。
【請求項54】
コンピュータ命令が記憶された非一時的なコンピュータ読取可能な記憶媒体であって、
前記コンピュータ命令は、前記コンピュータに請求項１～１１のいずれか一項又は請求項１２～２６のいずれか一項に記載の方法を実行させる記憶媒体。
前記コンピュータ命令は、前記コンピュータに請求項１～１１のいずれか一項又は請求項１２～２６のいずれか一項に記載の方法を実行させる記憶媒体。
【請求項55】
プロセッサにより実行される場合に、請求項１～１１のいずれか一項又は請求項１２～２６のいずれか一項に記載の方法を実現するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、人工知能の技術分野に関し、特にディープラーニング、画像処理、コンピュータ視覚の技術分野に関しており、顔などのシーンに適用される。具体的に、マルチタスク識別方法及び装置、トレーニング方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラムに関する。
【背景技術】
【0002】
コンピュータ技術の発展に伴って、人工知能技術も発展されてきた。人工知能技術には、コンピュータ視覚技術、音声識別技術、自然言語処理技術、機械学習、ディープラーニング、ビッグデータ処理技術及び知識グラフ技術などが含まれる。
【0003】
人工知能技術は、様々な分野で広く適用されている。例えば、人工知能技術を用いてマルチタスク識別を実現することができる。
【発明の概要】
【0004】
本開示は、マルチタスク識別方法及び装置、トレーニング方法及び装置、電子機器、記憶媒体、並びにコンピュータプログラムを提供している。
【0005】
本開示の１つの局面によれば、識別対象画像により、第１の中間特徴データを得ることと、ターゲット選択ポリシー及び上記第１の中間特徴データに基づいて、複数の特徴抽出ポリシーから上記識別対象画像とのマッチング度が最も高い特徴抽出ポリシーを選択して、ターゲット特徴抽出ポリシーを得ることと、上記ターゲット特徴抽出ポリシーに基づいて、上記第１の中間特徴データを処理して、第２の中間特徴データを得ることと、上記第２の中間特徴データにより、上記識別対象画像のマルチタスク識別結果を得ることとを含むマルチタスク識別方法を提供している。
【0006】
本開示の別の局面によれば、サンプル画像により、第１の中間サンプル特徴データを得ることと、選択ポリシー及び上記第１の中間サンプル特徴データに基づいて、複数のサンプル特徴抽出ポリシーから上記サンプル画像とのマッチング度が最も高いサンプル特徴抽出ポリシーを選択して、ターゲットサンプル特徴抽出ポリシーを得ることと、上記ターゲットサンプル特徴抽出ポリシーに基づいて、上記第１の中間サンプル特徴データを処理して、第２の中間サンプル特徴データを得ることと、上記第２の中間サンプル特徴データにより、上記サンプル画像のマルチタスク識別結果を得ることと、上記サンプル画像のマルチタスク識別結果及びラベル値を用いて上記ディープラーニングモデルをトレーニングして、トレーニングされたディープラーニングモデルを得ることとを含むディープラーニングモデルのトレーニング方法を提供している。
【0007】
本開示の別の局面によれば、識別対象画像により、第１の中間特徴データを得る第１の取得モジュールと、ターゲット選択ポリシー及び上記第１の中間特徴データに基づいて、複数の特徴抽出ポリシーから上記識別対象画像とのマッチング度が最も高い特徴抽出ポリシーを選択して、ターゲット特徴抽出ポリシーを得る第２の取得モジュールと、上記ターゲット特徴抽出ポリシーに基づいて、上記第１の中間特徴データを処理して、第２の中間特徴データを得る第３の取得モジュールと、上記第２の中間特徴データにより、上記識別対象画像のマルチタスク識別結果を得る第４の取得モジュールとを含むマルチタスク識別装置を提供している。
【0008】
本開示の別の局面によれば、サンプル画像により、第１の中間サンプル特徴データを得る第５の取得モジュールと、選択ポリシー及び上記第１の中間サンプル特徴データに基づいて、複数のサンプル特徴抽出ポリシーから上記サンプル画像とのマッチング度が最も高いサンプル特徴抽出ポリシーを選択して、ターゲットサンプル特徴抽出ポリシーを得る第６の取得モジュールと、上記ターゲットサンプル特徴抽出ポリシーに基づいて、上記第１の中間サンプル特徴データを処理して、第２の中間サンプル特徴データを得る第７の取得モジュールと、上記第２の中間サンプル特徴データにより、上記サンプル画像のマルチタスク識別結果を得る第８の取得モジュールと、上記サンプル画像のマルチタスク識別結果及びラベル値を用いて上記ディープラーニングモデルをトレーニングして、トレーニングされたディープラーニングモデルを得る第９の取得モジュールとを含むディープラーニングモデルのトレーニング装置を提供している。
【0009】
本開示の別の局面によれば、少なくとも１つのプロセッサと、上記少なくとも１つのプロセッサと通信接続されたメモリとを備える電子機器であって、上記メモリには、上記少なくとも１つのプロセッサにより実行可能な命令が記憶されており、上記命令は、上記少なくとも１つのプロセッサが本開示に記載の方法を実行することができるように、上記少なくとも１つのプロセッサにより実行される電子機器を提供している。
【0010】
本開示の別の局面によれば、コンピュータ命令が記憶された非一時的なコンピュータ読取可能な記憶媒体であって、上記コンピュータ命令は、上記コンピュータに本開示に記載の方法を実行させる記憶媒体を提供している。
【0011】
本開示の別の局面によれば、プロセッサにより実行される場合に、本開示に記載の方法を実現するコンピュータプログラムを提供している。
【0012】
理解されるべきこととして、本部分に記載されたコンテンツは、本開示の実施例のキーポイント又は重要な特徴を示すことを意図するものではなく、本開示の範囲を限定するものでもない。本開示の他の特徴は、以下の説明により容易に理解される。
【図面の簡単な説明】
【0013】
ここで、図面は、本開示の発明をよりよく理解するために用いられ、本開示を限定するものではない。
【0014】
【図1】本開示の実施例によるマルチタスク識別方法、ディープラーニングモデルのトレーニング方法及び装置が適用される例示的なシステムアーキテクチャの概略図である。
【0015】
【図2】本開示の実施例によるマルチタスク識別方法のフローチャートの概略図である。
【0016】
【図3】本開示の実施例による識別対象画像により、第１の中間特徴データを得るフローチャートの概略図である。
【0017】
【図4】本開示の実施例によるターゲット選択ポリシー及び第１の中間特徴データに基づいて、複数の特徴抽出ポリシーから識別対象画像とのマッチング度が最も高い特徴抽出ポリシーを選択して、ターゲット特徴抽出ポリシーを得るフローチャートの概略図である。
【0018】
【図5】本開示の実施例によるターゲット特徴抽出ポリシーに基づいて、第１の中間特徴データを処理して、第２の中間特徴データを得るフローチャートの概略図である。
【0019】
【図6】本開示の実施例による第２の中間特徴データにより、識別対象画像のマルチタスク識別結果を得るフローチャートの概略図である。
【0020】
【図7】本開示の実施例によるマルチタスク識別方法の例示的な模式図の概略図である。
【0021】
【図8】本開示の実施例によるディープラーニングモデルのトレーニング方法のフローチャートの概略図である。
【0022】
【図9A】本開示の実施例によるディープラーニングモデルの例示的な模式図の概略図である。
【0023】
【図9B】本開示の実施例によるバックボーンサブモジュールの模式的な例示図の概略図である。
【0024】
【図10】本開示の実施例によるディープラーニングモデルのトレーニング方法の概略図である。
【0025】
【図11】本開示の実施例によるマルチタスク識別装置のブロック図の概略図である。
【0026】
【図12】本開示の実施例によるディープラーニングモデルのトレーニング装置のブロック図の概略図である。
【0027】
【図13】本開示の実施例によるマルチタスク識別方法及びディープラーニングモデルのトレーニング方法を実現するための電子機器のブロック図の概略図である。
【発明を実施するための形態】
【0028】
以下、図面を参照して本開示の例示的な実施例を説明する。ここで、より理解しやすいために本開示の実施例の様々な詳細は含まれ、それらが例示的なものであると考えられるべきである。したがって、当業者であれば、ここで記載される実施例に対して様々な変更・修正を行うことができ、本開示の範囲及び精神から逸脱することはないと分るべきである。同様に、明確かつ簡潔に説明するために、以下の記載において周知の機能や構成に対する説明を省略する。
【0029】
コンピュータ視覚の識別分野では、識別モデルのトレーニングフローは、汎用の公開サンプルセットを用いて予備トレーニングし、さらに下流識別タスクのサンプルを用いて予備トレーニングされた識別モデルのモデルパラメータを微調整して、識別モデルを得る。上記形態に基づいて、予備トレーニングされた識別モデルを微調整すれば、下流識別タスクに対応する識別モデルが得られるので、モデルの収束速度がより速く、計算リソースの消費を減少している。また、一部の下流識別タスクのサンプル数が少ないので、直接的トレーニングよりも、より高い識別精度を達成することができる。
【0030】
しかし、下流識別タスクのデータ分布は、汎用の公開サンプルのデータ分布と相違があり、微調整段階では破局的忘却問題があり、これにより識別精度に影響を与える。予備トレーニング段階ではマルチタスク識別を行う、すなわち、下流識別タスクのデータと類似するデータを予備トレーニング段階のモデルトレーニングに参加させると、微調整段階の破局的忘却問題を効果的に回避でき、これにより下流識別タスクの識別精度をさらに向上させることができる。そのため、マルチタスク識別の検討は、コンピュータ視覚の識別分野の重要な課題である。これにより、マルチタスク識別精度を向上させるために、合理的なマルチタスク識別案を設計する必要がある。
【0031】
図１は、本開示の実施例によるマルチタスク識別方法、ディープラーニングモデルのトレーニング方法及び装置が適用される例示的なシステムアーキテクチャを概略的に示している。
【0032】
当業者が本開示の技術内容を理解することに役立つように、図１に示すのは単に本開示の実施例を適用可能なシステムアーキテクチャの例示であるが、本開示の実施例が他の機器、システム、環境又はシーンに適用できないことを意味しないことに注意すべきである。例えば、別の実施例において、マルチタスク識別方法、ディープラーニングモデルのトレーニング方法及び装置を適用できる例示的なシステムアーキテクチャは、端末機器を含み、端末機器はサーバと対話せずに、本開示の実施例により提供されるマルチタスク識別方法、ディープラーニングモデルのトレーニング方法及び装置を実現することができる。
【0033】
図１に示すように、該実施例によるシステムアーキテクチャ１００は、端末機器１０１、１０２、１０３、ネットワーク１０４及びサーバ１０５を含む。ネットワーク１０４は、端末機器１０１、１０２、１０３とサーバ１０５との間に通信リンクを提供する媒体として用いられる。ネットワーク１０４は、様々な接続タイプ、例えば有線及び／又は無線通信リンクなどを含んでもよい。
【0034】
ユーザは、端末機器１０１、１０２、１０３を使用して、ネットワーク１０４を介してサーバ１０５と対話して、メッセージなどを受信又は送信することができる。端末機器１０１、１０２、１０３には、様々な通信クライアントアプリケーション、例えば知識閲覧類アプリケーション、ウェブページブラウザアプリケーション、検索類アプリケーション、インスタントメッセージングツール、メールボックスクライアント及び／又はソーシャルプラットフォームソフトウェアなど（例示に過ぎない）がインストールされてもよい。
【0035】
端末機器１０１、１０２、１０３は、ディスプレイスクリーンを有しかつウェブページ閲覧をサポートする様々な電子機器であってもよく、スマートフォン、タブレット、ラップトップ型携帯コンピュータ及びデスクトップコンピュータなどを含むが、それらに限定されない。
【0036】
サーバ１０５は、様々なサービスを提供する様々なタイプのサーバであってもよい。例えば、サーバ１０５はクラウドサーバであってもよく、クラウドコンピューティングサービス又はクラウドホストとも呼ばれ、クラウドコンピューティングサービスシステムのうちの１つのホスト製品であり、伝統の物理ホストとＶＰＳサービス（Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｓｅｒｖｅｒ、仮想専用サーバ）において、存在する管理難度が大きく、業務拡張性が弱いという欠陥を解決するために用いられる。サーバ１０５は、分散型システムのサーバであってもよく、又はブロックチェーンを組み合わせたサーバであってもよい。
【0037】
説明すべきこととして、本開示の実施例により提供されるマルチタスク識別方法は、一般的に、端末機器１０１、１０２、又は１０３によって実行することができる。対応的に、本開示の実施例により提供されるマルチタスク識別装置は、端末機器１０１、１０２、又は１０３に設けられてもよい。
【0038】
代替的に、本開示の実施例により提供されるマルチタスク識別方法は、一般的に、サーバ１０５によって実行されてもよい。対応的に、本開示の実施例により提供されるマルチタスク識別装置は、一般的に、サーバ１０５に設けられてもよい。本開示の実施例により提供されるマルチタスク識別方法は、サーバ１０５と異なり、端末機器１０１、１０２、１０３及び／又はサーバ１０５と通信可能なサーバ又はサーバクラスタによって実行されてもよい。対応的に、本開示の実施例により提供されるマルチタスク識別装置は、サーバ１０５と異なり、端末機器１０１、１０２、１０３及び／又はサーバ１０５と通信可能なサーバ又はサーバクラスタに設けられてもよい。
【0039】
説明すべきこととして、本開示の実施例により提供されるディープラーニングモデルのトレーニング方法は、一般的に、サーバ１０５によって実行されてもよい。対応的に、本開示の実施例により提供されるディープラーニングモデルのトレーニング装置は、一般的に、サーバ１０５に設けられてもよい。本開示の実施例により提供されるディープラーニングモデルのトレーニング方法は、サーバ１０５と異なり、端末機器１０１、１０２、１０３及び／又はサーバ１０５と通信可能なサーバ又はサーバクラスタによって実行されてもよい。対応的に、本開示の実施例により提供されるディープラーニングモデルのトレーニング装置は、サーバ１０５と異なり、端末機器１０１、１０２、１０３及び／又はサーバ１０５と通信可能なサーバ又はサーバクラスタに設けられてもよい。
【0040】
代替的に、本開示の実施例により提供されるディープラーニングモデルのトレーニング方法は、一般的に、端末機器１０１、１０２、又は１０３によって実行されてもよい。対応的に、本開示の実施例により提供されるディープラーニングモデルのトレーニング装置は、端末機器１０１、１０２、又は１０３に設けられてもよい。
【0041】
理解すべきこととして、図１における端末機器、ネットワーク及びサーバの数は単に模式的なものである。実現の必要に応じて、任意の数の端末機器、ネットワーク及びサーバを有することができる。
【0042】
注意すべきこととして、以下の方法における各操作の番号は、説明しやすいように該操作の表示のみとしているが、該各操作の実行順序を示すものと見なされるべきではない。明確に説明しない限り、該方法は完全に示された順序に応じて実行する必要がない。
【0043】
図２は、本開示の実施例によるマルチタスク識別方法のフローチャートを概略的に示している。
【0044】
図２に示すように、該方法２００は操作Ｓ２１０～Ｓ２４０を含む。
【0045】
操作Ｓ２１０において、識別対象画像により、第１の中間特徴データを得る。
【0046】
操作Ｓ２２０において、ターゲット選択ポリシー及び第１の中間特徴データに基づいて、複数の特徴抽出ポリシーから識別対象画像とのマッチング度が最も高い特徴抽出ポリシーを選択して、ターゲット特徴抽出ポリシーを得る。
【0047】
操作Ｓ２３０において、ターゲット特徴抽出ポリシーに基づいて、第１の中間特徴データを処理して、第２の中間特徴データを得る。
【0048】
操作Ｓ２４０において、第２の中間特徴データにより、識別対象画像のマルチタスク識別結果を得る。
【0049】
本開示の実施例によれば、識別対象画像とは、マルチタスク識別を行う必要がある画像を指してもよい。マルチタスク識別とは、複数のタスクに対する画像識別を指してもよい。マルチタスク識別は、生体識別、看板識別、障害物識別、建物識別及び車両識別の少なくとも２つを含んでもよい。生体識別は、顔識別及び人体識別の少なくとも一方を含んでもよい。人体識別は、人体動作行為識別を含んでもよい。識別対象画像は、識別対象生体画像、識別対象看板画像、識別対象障害物画像、識別対象建物画像及び識別対象車両画像の少なくとも一方を含んでもよい。識別対象生体画像は、識別対象顔画像及び識別対象人体画像の少なくとも一方を含んでもよい。
【0050】
本開示の実施例によれば、ターゲット選択ポリシーとは、複数の特徴抽出ポリシーから識別対象画像とのマッチング度が最も高い特徴抽出ポリシーを特定するためのポリシーを指してもよい。ターゲット選択ポリシーは、該ターゲット選択ポリシーに対応するモデル構造を有してもよい。すなわち、ターゲット選択ポリシーに対応するモデル構造を用いて、第１の中間特徴データにより複数の特徴抽出ポリシーから識別対象画像とのマッチング度が最も高いターゲット特徴抽出ポリシーを選択することを実現してもよい。例えば、ターゲット選択ポリシーに対応するモデル構造は、エキスパート選択手段を含んでもよい。識別対象画像とのマッチング度が最も高いとは、識別対象画像のマルチタスク識別結果により特定される識別精度を所期の識別精度に達成させることができることを予期することを指してもよい。所期の識別精度は、最も高い識別精度を含んでもよい。ターゲット選択ポリシーは、ターゲット特徴抽出ポリシーの選択に関するターゲットパラメータデータを含んでもよい。ターゲットパラメータデータは、マトリックスにおける要素値であってもよい。ターゲットパラメータデータは、履歴画像セット及び履歴画像セットをマルチタスク識別して得られたマルチタスク識別結果により特定されたものであってもよい。履歴画像セットは、複数のタスクの各々に対応する履歴画像を含んでもよい。
【0051】
本開示の実施例によれば、特徴抽出ポリシーとは、識別対象画像の特徴データを処理するために用いられるポリシーを指してもよい。ターゲット特徴抽出ポリシーとは、識別対象画像とのマッチング度が最も高い特徴抽出ポリシーを指してもよい。特徴抽出ポリシーは、第１の中間特徴データのグローバル特徴及びローカル特徴のうちの少なくとも一方を抽出することを実現するために用いられてもよい。特徴抽出ポリシーは、該特徴抽出ポリシーに対応する特徴抽出モデル構造を有してもよい。すなわち、特徴抽出モデル構造を用いて、第１の中間特徴データのグローバル特徴及びローカル特徴のうちの少なくとも一方を抽出する特徴抽出ポリシーを実現してもよい。
【0052】
本開示の実施例によれば、第１の中間特徴データは、第１のカテゴリ特徴データを含んでもよい。第２の中間特徴データは、第２のカテゴリ特徴データを含んでもよい。カテゴリ特徴データとは、タスクのカテゴリディメンションで画像に関するデータを指してもよい。
【0053】
本開示の実施例によれば、マルチタスク識別結果とは、識別対象画像が属するターゲットタスクのターゲットカテゴリを表してもよい。ターゲットタスクは、複数のタスクのうち可能性が最も高いタスクであってもよい。ターゲットカテゴリは、複数のカテゴリのうち可能性が最も大きいカテゴリであってもよい。可能性は、確率値で表してもよい。可能性と確率値との関係は、実際の業務ニーズに応じて配置されてもよいが、ここで限定されない。例えば、確率値が大きいほど、可能性が高い。代替的に、確率値が小さいほど、可能性が高い。
【0054】
本開示の実施例によれば、識別対象画像を処理して、第１の中間特徴データを得てもよい。第１の中間特徴データは、第１のカテゴリ特徴データを含んでもよい。また、第１の中間特徴データは、第１の画像特徴データを含んでもよい。ターゲット選択ポリシーに基づいて第１の中間特徴データを処理して得られた結果により、複数の特徴抽出ポリシーからターゲット特徴抽出ポリシーを選択してもよい。さらに、ターゲット特徴抽出ポリシーを用いて第１の中間特徴データを処理して、第２の中間特徴データを得る。第２の中間特徴データは、第２のカテゴリ特徴データを含んでもよい。第１のカテゴリ特徴データにより、識別対象画像が複数のタスクの各々に属するカテゴリ確率値を得てもよい。識別対象画像が複数のタスクの各々に属するカテゴリ確率値により、識別対象画像が属するターゲットタスクのターゲットカテゴリを表すマルチタスク識別結果を特定する。
【0055】
本開示の実施例によれば、操作Ｓ２１０～Ｓ２４０は、電子機器によって実行されてもよい。電子機器は、サーバ又は端末機器を含んでもよい。サーバは、図１におけるサーバ１０５であってもよい。端末機器は、図１における端末機器１０１、端末機器１０２又は端末機器１０３であってもよい。
【0056】
本開示の実施例によれば、ターゲット選択ポリシーに基づいて、第１の中間特徴データにより、複数の特徴抽出ポリシーから選択された識別対象画像とのマッチング度が最も高いターゲット特徴抽出ポリシーを用いて第１の中間特徴データを処理することで、第２の中間特徴データを得ており、さらに、第２の中間特徴データにより、識別対象画像のマルチタスク識別結果を得る。識別対象画像は、該識別対象画像に対応するターゲット特徴抽出ポリシーを有し、異なる識別対象画像のターゲット特徴抽出ポリシーは同じであってもよく、異なってもよいので、識別対象画像のためにターゲット特徴抽出ポリシーを動的に選択することを実現し、これにより、異なる識別対象画像の間の特徴抽出ポリシーの結合度を低減させている。そのうえで、ターゲット特徴抽出ポリシーは識別対象画像とのマッチング度が最も高く、これにより、ターゲット特徴抽出ポリシーに基づいて第１の中間特徴データを処理して得られたマルチタスク識別結果のマルチタスク識別精度は比較的に高い。
【0057】
【0058】
図３は、本開示の実施例による識別対象画像により、第１の中間特徴データを得るフローチャートを概略的に示している。
【0059】
【0060】
操作Ｓ３１１において、識別対象画像を処理して、複数の識別対象画像ブロックの各々のオブジェクト特徴データを得る。
【0061】
操作Ｓ３１２において、所定のデータを処理して、第１のカテゴリ特徴データを得る。
【0062】
操作Ｓ３１３において、複数の識別対象画像ブロックの各々のオブジェクト特徴データ及び第１のカテゴリ特徴データにより、第４の中間特徴データを得る。
【0063】
操作Ｓ３１４において、第４の中間特徴データを処理して、第１の中間特徴データを得る。
【0064】
本開示の実施例によれば、所定のデータとは、第１のカテゴリ特徴データの生成に関するデータを指してもよい。第１のカテゴリ特徴データとは、タスクのカテゴリディメンションで識別対象画像に関するデータを指してもよい。カテゴリディメンションは、生体識別に関する少なくとも１つのカテゴリ、看板識別に関する少なくとも１つのカテゴリ、障害物識別に関する少なくとも１つのカテゴリ、建物識別に関する少なくとも１つのカテゴリ及び車両識別に関する少なくとも１つのカテゴリのうち少なくとも一方を含んでもよい。生体識別に関する少なくとも１つのカテゴリは、顔識別に関する少なくとも１つのカテゴリ及び人体識別に関する少なくとも１つのカテゴリのうち少なくとも一方を含んでもよい。
【0065】
例えば、顔識別に関する少なくとも１つのカテゴリは、高齢者カテゴリ、中年カテゴリ、青年カテゴリ、少年カテゴリ、幼児カテゴリ及び乳児カテゴリの少なくとも一方を含んでもよい。人体識別に関する少なくとも１つのカテゴリは、歩行動作カテゴリ及び運動動作カテゴリの少なくとも一方を含んでもよい。車両識別に関する少なくとも１つのカテゴリは、乗用車カテゴリ及び商用車カテゴリの少なくとも一方を含んでもよい。乗用車カテゴリは、基本乗用車カテゴリ、多目的車両カテゴリ、スポーツ型多機能車カテゴリ及びその他の車種カテゴリの少なくとも一方を含んでもよい。商用車カテゴリは、客車カテゴリ、トラックカテゴリ、セミトレーラカテゴリ、客車非完全車カテゴリ及びトラック非完全車カテゴリの少なくとも一方を含んでもよい。
【0066】
本開示の実施例によれば、画像は、複数の画像ブロックを含んでもよい。画像ブロックは、画像を区分して得られたものであってもよい。画像ブロックのサイズの大きさは、実際の業務ニーズに応じて配置されてもよく、ここで限定されない。異なる画像ブロックのサイズの大きさは、同じであってもよい。オブジェクト特徴データとは、画像ブロックの特徴データを指してもよい。識別対象画像について、識別対象画像は複数の識別対象画像ブロックを含んでもよい。識別対象画像ブロックは、識別対象画像を区分して得られたものであってもよい。異なる識別対象画像ブロックのサイズは、同じであってもよい。
【0067】
本開示の実施例によれば、識別対象画像及び所定のデータを取得してもよい。識別対象画像を処理して、複数の識別対象画像ブロックを得る。複数の識別対象画像ブロックを処理して、複数の識別対象画像ブロックの各々のオブジェクト特徴データを得てもよい。所定のデータを処理して、第１のカテゴリ特徴データを得る。
【0068】
本開示の実施例によれば、第１のカテゴリ特徴データ及び複数の識別対象画像の各々のオブジェクト特徴データをスティッチングして、第４の中間特徴データを得る。例えば、第１のカテゴリ特徴データを所定の位置に設け、複数の識別対象画像ブロックの各々のオブジェクト特徴データとスティッチングして、第４の中間特徴データを得てもよい。所定の位置は、実際の業務ニーズに応じて配置されてもよく、ここで限定されない。例えば、識別対象画像の複数の識別対象画像ブロックは、識別対象画像ブロックシーケンスが形成されてもよい。所定の位置は、識別対象画像ブロックシーケンスの開始位置よりも前の位置であってもよい。代替的に、所定の位置は、識別対象画像ブロックシーケンスの終了位置よりも後の位置であってもよい。
【0069】
本開示の実施例によれば、第４の中間特徴データを取得した後で、第４の中間特徴データに対してグローバル特徴及びローカル特徴のうちの少なくとも一方の特徴抽出を行って、第１の中間特徴データを得てもよい。すなわち、第４の中間特徴データに対してグローバル特徴抽出を行って、第１の中間特徴データを得てもよい。代替的に、第４の中間特徴データに対してローカル特徴抽出を行って、第１の中間特徴データを得てもよい。代替的に、第４の中間特徴データに対してグローバル特徴及びローカル特徴の特徴抽出を行って、第１の中間特徴データを得てもよい。
【0070】
本開示の実施例によれば、操作Ｓ３１１～Ｓ３１４は、電子機器によって実行されてもよい。電子機器は、サーバ又は端末機器を含んでもよい。サーバは、図１におけるサーバ１０５であってもよい。端末機器は、図１における端末機器１０１、端末機器１０２又は端末機器１０３であってもよい。
【0071】
本開示の実施例によれば、操作Ｓ３１４は、以下のような操作を含んでもよい。
【0072】
アテンションポリシーに基づいて、第４の中間特徴データを処理して、第１の中間特徴データを得る。
【0073】
本開示の実施例によれば、アテンションポリシーは、高い重みで重要な情報にフォーカスするとともに、低い重みで重要ではない情報を無視することを実現するために用いられてもよく、重要な情報を共有することにより他の情報と情報やりとりを行えることで、重要な情報の伝達を実現することができる。本開示の実施例において、アテンションポリシーは、第１のカテゴリ特徴データ自体、識別対象画像ブロック内部及び第１のカテゴリ特徴データと識別対象画像ブロックとの間の情報を抽出することができ、これは識別対象画像に対する処理をより良く完了させることに役立つ。
【0074】
本開示の実施例によれば、アテンションポリシーに基づいて、第４の中間特徴データを処理して、識別対象画像のグローバル特徴を表すための第１の中間特徴データを得てもよい。例えば、アテンションポリシーによりアテンション手段を特定してもよい。アテンション手段を用いて第４の中間特徴データを処理して、第１の中間特徴データを得る。
【0075】
本開示の実施例によれば、第１の中間特徴データはアテンションポリシーに基づいて第４の中間特徴データを処理して得られたものであるので、第１の中間特徴データがグローバルセルフアテンションメカニズムに参加して、グローバル情報を結合していることで、マルチタスク識別精度を向上させることができる。
【0076】
本開示の実施例によれば、第１の中間特徴データは、ディープラーニングモデルの所期のアテンション手段を用いて第４の中間特徴データを処理して得られたものであってもよい。
【0077】
本開示の実施例によれば、ディープラーニングモデルは、バックボーンモジュールを含んでもよい。バックボーンモジュールは、カスケード接続された少なくとも１つのバックボーンサブモジュールを含んでもよい。バックボーンサブモジュールは、アテンション手段を含んでもよい。所期のアテンション手段は、少なくとも１つのアテンション手段のうちの１つであってもよい。例えば、所期のアテンション手段は、第１階層のバックボーンサブモジュールに含まれるアテンション手段であってもよい。所期のアテンション手段を用いて複数の識別対象画像ブロックの各々のオブジェクト特徴データ及び第１のカテゴリ特徴データを処理して、第１の中間特徴データを得てもよい。
【0078】
図４は、本開示の実施例によるターゲット選択ポリシー及び第１の中間特徴データに基づいて、複数の特徴抽出ポリシーから識別対象画像とのマッチング度が最も高い特徴抽出ポリシーを選択して、ターゲット特徴抽出ポリシーを得るフローチャートを概略的に示している。
【0079】
【0080】
操作Ｓ４２１において、ターゲット選択ポリシー及び第１の中間特徴データに基づいて、第３の中間特徴データを得る。
【0081】
操作Ｓ４２２において、第３の中間特徴データにより、複数の特徴抽出ポリシーから識別対象画像とのマッチング度が最も高い特徴抽出ポリシーを選択して、ターゲット特徴抽出ポリシーを得る。
【0082】
本開示の実施例によれば、第３の中間特徴データは、ターゲット特徴抽出ポリシーの特定に関する情報を含んでもよい。例えば、第３の中間特徴データは、中間マトリックスであってもよい。中間マトリックスに含まれる要素の要素値は、特徴抽出ポリシーがターゲット特徴抽出ポリシーとして特定される確率を表してもよい。
【0083】
本開示の実施例によれば、ターゲット選択ポリシーに対応するターゲット選択パラメータデータを特定してもよい。ターゲット選択パラメータデータ及び第１の中間特徴データにより、第３の中間特徴データを得る。さらに、第３の中間特徴データで表れる情報により、複数の特徴抽出ポリシーから識別対象画像に対応するターゲット特徴抽出ポリシーを特定する。すなわち、第３の中間特徴データは複数の特徴抽出ポリシーのうち識別対象画像に対応するターゲット特徴抽出ポリシーの情報を指示しており、第３の中間特徴データで指示される情報により、複数の特徴抽出ポリシーから識別対象画像に対応するターゲット特徴抽出ポリシーを特定する。
【0084】
本開示の実施例によれば、操作Ｓ４２１～Ｓ４２２は、電子機器によって実行されてもよい。電子機器は、サーバ又は端末機器であってもよい。サーバは、図１におけるサーバ１０５であってもよい。端末機器は、図１における端末機器１０１、端末機器１０２又は端末機器１０３であってもよい。
【0085】
本開示の実施例によれば、操作Ｓ４２１は、以下のような操作を含んでもよい。
【0086】
ターゲット選択ポリシーにより、ターゲット選択マトリックスを特定する。第１の中間特徴データにより、中間マトリックスを特定する。ターゲット選択マトリックス及び中間マトリックスにより、ターゲットエキスパート確率マトリックスを特定する。ターゲットエキスパート確率マトリックスは、複数の特徴抽出ポリシーの各々に対応する要素を含む。要素の要素値は、特徴抽出ポリシーが選択される確率を表す。エキスパート確率マトリックスを第３の中間特徴データとして特定する。
【0087】
本開示の実施例によれば、ターゲット選択ポリシーは、該ターゲット選択ポリシーに対応するターゲット選択マトリックスを有してもよい。ターゲット選択ポリシーに対応するターゲット選択マトリックスを特定してもよい。第１の中間特徴データを処理して、中間マトリックスを得る。さらに、ターゲット選択マトリックス及び中間マトリックスにより、ターゲットエキスパート確率マトリックスを得る。例えば、ターゲット選択マトリックスと中間マトリックスとを重み付け乗算して、ターゲットエキスパート確率マトリックスを得てもよい。代替的に、ターゲット選択マトリックスと中間マトリックスとを加算して、ターゲットエキスパート確率マトリックスを得てもよい。代替的に、ターゲット選択マトリックスと中間マトリックスとを減算して、ターゲットエキスパート確率マトリックスを得てもよい。
【0088】
本開示の実施例によれば、ターゲット選択マトリックス及び中間マトリックスにより、ターゲットエキスパート確率マトリックスを特定することは、以下のような操作を含んでもよい。
【0089】
ターゲット選択マトリックスと中間マトリックスとを掛け合わせて、ターゲットエキスパート確率マトリックスを得る。
【0090】
本開示の実施例によれば、第１の中間特徴データを処理して、ターゲット選択マトリックスとの掛け合わせを実現できる中間マトリックスを得てもよい。ターゲット選択マトリックス及び中間マトリックスを取得した後で、ターゲット選択マトリックスとターゲットエキスパート確率マトリックスとを掛け合わせて、ターゲットエキスパート確率マトリックスを得てもよい。
【0091】
本開示の実施例によれば、第３の中間特徴データにより、複数の特徴抽出ポリシーから識別対象画像とのマッチング度が最も高い特徴抽出ポリシーを選択して、ターゲット特徴抽出ポリシーを得ることは、以下のような操作を含んでもよい。
【0092】
ターゲットエキスパート確率マトリックスから要素値が限界値である要素を特定して、ターゲット要素を得る。限界値は、最大値又は最小値を含む。ターゲット要素に対応する特徴抽出ポリシーをターゲット特徴抽出ポリシーとして特定する。
【0093】
本開示の実施例によれば、ターゲットエキスパート確率マトリックスから要素値が限界値であるターゲット要素を特定してもよい。ターゲット要素に対応する特徴抽出ポリシーをターゲット特徴抽出ポリシーとして特定する。
【0094】
図５は、本開示の実施例によるターゲット特徴抽出ポリシーに基づいて、第１の中間特徴データを処理して、第２の中間特徴データを得るフローチャートを概略的に示している。
【0095】
【0096】
操作Ｓ５３１において、ターゲット特徴抽出ポリシーに基づいて、第１の中間特徴データのグローバル特徴及びローカル特徴のうちの少なくとも一方を抽出して、第２の中間特徴データを得る。
【0097】
本開示の実施例によれば、第１の中間特徴データは、第１のカテゴリ特徴データ及び複数の識別対象画像ブロックの各々の第１のオブジェクト特徴データを含んでもよい。第２の中間特徴データは、第２のカテゴリ特徴データ及び複数の識別対象図ブロックの各々の第２のオブジェクト特徴データを含んでもよい。
【0098】
本開示の実施例によれば、ターゲット特徴抽出ポリシーに基づいて、第１の中間特徴データに対してグローバル特徴及びローカル特徴のうちの少なくとも一方の特徴抽出を行って、第２の中間特徴データを得てもよい。すなわち、ターゲット特徴抽出ポリシーに基づいて第１の中間特徴データに対してグローバル特徴抽出を行って、第２の中間特徴データを得てもよい。代替的に、ターゲット特徴抽出ポリシーに基づいて第１の中間特徴データに対してローカル特徴抽出を行って、第２の中間特徴データを得てもよい。代替的に、ターゲット特徴抽出ポリシーに基づいて第１の中間特徴データに対してグローバル特徴及びローカル特徴の特徴抽出を行って、第２の中間特徴データを得てもよい。
【0099】
本開示の実施例によれば、ターゲット特徴抽出ポリシーは、ターゲットアテンションポリシー及びターゲットローカルポリシーのうちの少なくとも一方を含んでもよい。ターゲットアテンションポリシーは、第１のカテゴリ特徴データ自体、識別対象画像ブロック内部及び第１のカテゴリ特徴データと識別対象画像ブロックとの間の情報を抽出するために用いられ、これは識別対象画像に対する処理をより良く完了させることに役たつ。ターゲットローカルポリシーは、第１のカテゴリ特徴データ自体及び識別対象画像ブロック内部の情報を抽出することを実現するために用いられてもよい。
【0100】
本開示の実施例によれば、ターゲットアテンションポリシー及びターゲットローカルポリシーのうちの少なくとも一方に基づいて、第１の中間特徴データを処理して、識別対象画像のグローバル特徴及びローカル特徴のうちの少なくとも一方を表すための第２の中間特徴データを得てもよい。
【0101】
本開示の実施例によれば、操作Ｓ５３１は、電子機器によって実行されてもよい。電子機器は、サーバ又は端末機器であってもよい。サーバは、図１におけるサーバ１０５であってもよい。端末機器は、図１における端末機器１０１、端末機器１０２又は端末機器１０３であってもよい。
【0102】
本開示の実施例によれば、操作Ｓ５３１は、以下のような操作を含んでもよい。
【0103】
ディープラーニングモデルに含まれる複数のエキスパート手段からターゲット特徴抽出ポリシーに対応する少なくとも１つのエキスパート手段を特定して、少なくとも１つのターゲットエキスパート手段を得る。エキスパート手段は、マルチヘッドセルフアテンション層及びフィードフォワードネットワーク層の少なくとも一方を含む。少なくとも１つのターゲットエキスパート手段を用いて第１の中間特徴データを処理して、第２の中間特徴データを得る。
【0104】
本開示の実施例によれば、ディープラーニングモデルは、バックボーンモジュールを含んでもよい。バックボーンモジュールは、カスケード接続された少なくとも１つのバックボーンサブモジュールを含んでもよい。バックボーンサブモジュールは、複数のエキスパート手段を含んでもよい。エキスパート手段は、マルチヘッドセルフアテンション（Ｍｕｌｔｉ－Ｈｅａｄ ｓｅｌｆ Ａｔｔｅｎｔｉｏｎ，ＭＨＡ）層及びフィードフォワードネットワーク（Ｆｅｅｄ Ｆｏｒｗａｒｄ Ｎｅｔｗｏｒｋ，ＦＦＮ）層の少なくとも一方を含んでもよい。バックボーンサブモジュールは、Ｔｒａｎｓｆｏｒｍｅｒ（すなわち、コンバータ）に基づくモデル構造であってもよい。
【0105】
本開示の実施例によれば、ターゲット特徴抽出ポリシーは、該ターゲット特徴抽出ポリシーに対応する少なくとも１つのターゲットエキスパート手段を有してもよい。少なくとも１つのターゲットエキスパート手段を用いて第１の中間特徴データを処理して、第２の中間特徴データを得てもよい。ターゲットエキスパート手段は、ターゲットマルチヘッドセルフアテンション層、ターゲットフィードフォワードネットワーク層、並びに、カスケード接続されたターゲットマルチヘッドセルフアテンション層及びターゲットフィードフォワードネットワーク層のいずれか１つを含んでもよい。
【0106】
本開示の実施例によれば、バックボーンモジュールは、カスケード接続されたＭ個のバックボーンサブモジュールを含んでもよい。Ｍは、１以上の整数であってもよい。
【0107】
本開示の実施例によれば、バックボーンサブモジュールは、エキスパート選択手段をさらに含んでもよい。
【0108】
本開示の実施例によれば、少なくとも１つのターゲットエキスパート手段を用いて第１の中間特徴データを処理して、第２の中間特徴データを得ることは、以下のような操作を含んでもよい。
【0109】
Ｍ＝１の場合に、第１階層のターゲットエキスパート手段を用いて第１の中間特徴データを処理して、第１階層の第５の中間特徴データを得る。第１階層の第５の中間特徴データにより、第２の中間特徴データを得る。
【0110】
Ｍ＞１且つｍ＞１の場合に、第ｍ階層のターゲットエキスパート手段を用いて第ｍ階層の第６の中間特徴データを処理して、第ｍ階層の第５の中間特徴データを得る。第ｍ階層の第６の中間特徴データは、第ｍ階層のアテンション手段を用いて第（ｍ－１）階層の第５の中間特徴データを処理して得られたものである。第ｍ階層のターゲットエキスパート手段は、第ｍ階層のエキスパート選択手段を用いて第（ｍ－１）階層の第５の中間特徴データを処理して得られた結果により特定されるものである。第Ｎ階層の第５の中間サンプル特徴データにより、第２の中間特徴データを得る。Ｎは１以上且つＭよりも小さい整数である。
【0111】
本開示の実施例によれば、Ｍは１以上の整数であってもよい。Ｎは１よりも大きくかつＭ以下の整数であってもよい。Ｍ及びＮの数値は、実際の業務ニーズに応じて配置されてもよく、ここで限定されない。例えば、Ｍ＝Ｎ＝４であってもよい。
であってもよい。
【数1】
【0112】
本開示の実施例によれば、第ｍ階層のエキスパート選択手段及び識別対象画像の第（ｍ－１）階層の第５の中間特徴データにより、第ｍ階層の複数のエキスパート手段から第ｍ階層のターゲットエキスパート手段を特定してもよい。
【0113】
本開示の実施例によれば、第ｍ階層のターゲットエキスパート手段がマルチヘッドセルフアテンション層を含む場合に、第ｍ階層のターゲットマルチヘッドセルフアテンション層を用いて第ｍ階層の第６の中間特徴データを処理して、第ｍ階層の第５の中間特徴データを得る。
【0114】
本開示の実施例によれば、第ｍ階層のターゲットエキスパート手段がターゲットフィードフォワードネットワーク層を含む場合に、第ｍ階層のターゲットフィードフォワードネットワーク層を用いて第ｍ階層の第６の中間特徴データを処理して、第ｍ階層の第５の中間特徴データを得る。
【0115】
本開示の実施例によれば、第ｍ階層のターゲットエキスパート手段がターゲットマルチヘッドセルフアテンション層及びターゲットフィードフォワードネットワーク層を含む場合に、第ｍ階層のターゲットエキスパート手段を用いて第ｍ階層の第６の中間特徴データを処理して、第ｍ階層の第５の中間特徴データを得ることは、以下のような操作を含んでもよい。
【0116】
第ｍ階層のターゲットマルチヘッドセルフアテンション層を用いて第ｍ階層の第６の中間特徴データを処理して、第ｍ階層の第７の中間特徴データを得る。第ｍ階層のターゲットフィードフォワードネットワーク層を用いて第ｍ階層の第７の中間特徴データを処理して、第ｍ階層の第５の中間特徴データを得る。
【0117】
本開示の実施例によれば、第Ｎ階層の第５の中間特徴データを第２の中間特徴データとして特定してもよい。ＮはＭと等しくてもよい。
【0118】
図６は、本開示の実施例による第２の中間特徴データにより、識別対象画像のマルチタスク識別結果を得るフローチャートを概略的に示している。
【0119】
本開示の実施例によれば、第２の中間特徴データは、第２のカテゴリ特徴データを含んでもよい。
【0120】
【0121】
操作Ｓ６４１において、第２のカテゴリ特徴データにより、識別対象画像が複数のタスクの各々に属するカテゴリ確率値を特定して、複数のカテゴリ確率値を得る。
【0122】
操作Ｓ６４２において、複数のカテゴリ確率値により、識別対象画像のマルチタスク識別結果を得る。
【0123】
本開示の実施例によれば、識別対象画像のカテゴリ確率値とは、識別対象画像が複数のタスクの少なくとも１つのカテゴリの各々に属する確率値を指してもよい。例えば、識別対象画像が識別対象顔画像であり、且つタスクディメンションが顔識別、人体識別及び車両識別を含む場合に、識別対象画像のカテゴリ確率値は、識別対象顔画像が顔識別に関する少なくとも１つのカテゴリに属する確率値、人体識別に関する少なくとも１つのカテゴリに属する確率値及び車両識別に関する少なくとも１つのカテゴリに属する確率値を含んでもよい。
【0124】
本開示の実施例によれば、オブジェクト特徴データは、ディープラーニングモデルのオブジェクト処理手段を用いて識別対象画像ブロックを処理して得られたものであってもよい。
【0125】
本開示の実施例によれば、第１のカテゴリ特徴データは、ディープラーニングモデルのカテゴリ処理手段を用いて所定のデータを処理して得られたものであってもよい。
【0126】
本開示の実施例によれば、ディープラーニングモデルは、前処理モジュールを含んでもよい。前処理モジュールは、オブジェクト処理手段及びカテゴリ処理手段を含んでもよい。オブジェクト処理手段は、識別対象画像に含まれる複数の識別対象画像ブロックを処理して、複数の識別対象画像ブロックの各々のオブジェクト特徴データを得るために用いられてもよい。カテゴリ処理手段は、所定のデータを処理して、第１のカテゴリ特徴データを得るために用いられてもよい。オブジェクト処理手段及びカテゴリ処理手段は、いずれも、特徴抽出を実現できるネットワーク構造を含んでもよい。例えば、オブジェクト処理手段は、畳み込みニューラルネットワークを含んでもよい。カテゴリ処理手段は、畳み込みニューラルネットワークを含んでもよい。オブジェクト処理手段及びカテゴリ処理手段のネットワーク構造は同じであってもよく、異なってもよい。
【0127】
本開示の実施例によれば、複数のカテゴリ確率値は、ディープラーニングモデルのカテゴリ分類モジュールを用いて第２の中間特徴データに含まれる第２のカテゴリ特徴データを処理して得られたものであってもよい。
【0128】
本開示の実施例によれば、ディープラーニングモデルは、カテゴリ分類モジュールを含んでもよい。カテゴリ分類モジュールは、第２のカテゴリ特徴データを処理して、複数のカテゴリ確率値を得るために用いられてもよい。カテゴリ分類モジュールは、分類を実現できるネットワーク構造を含んでもよい。例えば、カテゴリ分類モジュールは、いずれも、線形分類器及び非線形分類器のいずれかを含んでもよい。
【0129】
本開示の実施例によれば、カテゴリ分類モジュールを用いて第２のカテゴリ特徴データを処理して、識別対象画像が複数のタスクの各々に属するカテゴリ確率値を得て、複数のカテゴリ確率値を得てもよい。
【0130】
本開示の実施例によれば、操作Ｓ６４１～Ｓ６４２は、電子機器によって実行されてもよい。電子機器は、サーバ又は端末機器であってもよい。サーバは、図１におけるサーバ１０５であってもよい。端末機器は、図１における端末機器１０１、端末機器１０２又は端末機器１０３であってもよい。
【0131】
図７は、本開示の実施例によるマルチタスク識別方法の例示的な模式図を概略的に示している。
【0132】
図７に示すように、７００において、識別対象画像７０１及び所定のデータ７０３を取得する。
【0133】
識別対象画像７０１を処理して、識別対象画像７０１に含まれる複数の識別対象画像ブロックの各々のオブジェクト特徴データ７０２を得る。所定のデータ７０３を処理して、第１のカテゴリ特徴データ７０４を得る。第１のカテゴリ特徴データ７０４及び複数の識別対象画像ブロックの各々のオブジェクト特徴データ７０２により、第４の中間特徴データ７０５を得る。アテンションポリシーに基づいて、第４の中間特徴データ７０５を処理して、第１の中間特徴データ７０６を得る。
【0134】
ターゲット選択ポリシー７０７により、ターゲット選択マトリックス７０８を特定する。第１の中間特徴データ７０６により、中間マトリックス７０９を特定する。ターゲット選択マトリックス７０８及び中間マトリックス７０９により、ターゲットエキスパート確率マトリックス７１０を特定する。ターゲットエキスパート確率マトリックス７１０は、複数の特徴抽出ポリシー７１１の各々に対応する要素を含む。要素の要素値は、特徴抽出ポリシー７１１が選択される確率を表す。ターゲットエキスパート確率マトリックス７１０から要素値が限界値である要素を特定して、ターゲット要素を得る。ターゲット要素に対応する特徴抽出ポリシーをターゲット特徴抽出ポリシー７１２として特定する。
【0135】
ターゲット特徴抽出ポリシー７１２に基づいて、第１の中間特徴データ７０６のグローバル特徴及びローカル特徴のうちの少なくとも一方を抽出して、第２の中間特徴データ７１３を得る。第２の中間特徴データ７１３は、第２のカテゴリ特徴データ７１４を含む。第２のカテゴリ特徴データ７１４により、識別対象画像７０１が複数のタスクの各々に属するカテゴリ確率値７１５を特定して、複数のカテゴリ確率値７１５を得る。複数のカテゴリ確率値７１５により、識別対象画像７０１のマルチタスク識別結果７１６を得る。
【0136】
図８は、本開示の実施例によるディープラーニングモデルのトレーニング方法のフローチャートを概略的に示している。
【0137】
図８に示すように、該方法８００は操作Ｓ８１０～Ｓ８５０を含む。
【0138】
操作Ｓ８１０において、サンプル画像により、第１の中間サンプル特徴データを得る。
【0139】
操作Ｓ８２０において、選択ポリシー及び第１の中間サンプル特徴データに基づいて、複数のサンプル特徴抽出ポリシーからサンプル画像とのマッチング度が最も高いサンプル特徴抽出ポリシーを選択して、ターゲットサンプル特徴抽出ポリシーを得る。
【0140】
操作Ｓ８３０において、ターゲットサンプル特徴抽出ポリシーに基づいて、第１の中間サンプル特徴データを処理して、第２の中間サンプル特徴データを得る。
【0141】
操作Ｓ８４０において、第２の中間サンプル特徴データにより、サンプル画像のマルチタスク識別結果を得る。
【0142】
操作Ｓ８５０において、サンプル画像のマルチタスク識別結果及びラベル値を用いてディープラーニングモデルをトレーニングして、トレーニングされたディープラーニングモデルを得る。
【0143】
本開示の実施例によれば、サンプル画像、第１の中間サンプル特徴データ及び第２の中間サンプル特徴データに対する説明については、前文における識別対象画像、第１の中間特徴データ及び第２の中間特徴データに対する関連内容を参照することができ、ここで説明を繰り返さない。
【0144】
本開示の実施例によれば、ディープラーニングモデルは、前処理モジュール、バックボーンモジュール及びカテゴリ分類モジュールを含んでもよい。
【0145】
本開示の実施例によれば、損失関数に基づいて、サンプル画像のマルチタスク識別結果及びラベル値を用いてディープラーニングモデルをトレーニングして、トレーニングされたディープラーニングモデルを得てもよい。トレーニングされたディープラーニングモデルは、マルチタスク識別を実現するために用いられてもよい。損失関数は、実際の業務ニーズに応じて配置されてもよく、ここで限定されない。例えば、損失関数は、クロスエントロピー損失関数、指数損失関数及び二乗損失関数の少なくとも一方を含んでもよい。所定の条件は、出力値が収束すること、及びトレーニング回数が最大トレーニング回数に達することのうちの少なくとも一方を含んでもよい。
【0146】
本開示の実施例によれば、操作Ｓ８１０～Ｓ８５０は、電子機器によって実行されてもよい。電子機器は、サーバ又は端末機器であってもよい。サーバは、図１におけるサーバ１０５であってもよい。端末機器は、図１における端末機器１０１、端末機器１０２又は端末機器１０３であってもよい。
【0147】
本開示の実施例によれば、サンプル画像は、該サンプル画像に対応するターゲットサンプル特徴抽出ポリシーを有し、異なるサンプル画像のターゲットサンプル特徴抽出ポリシーは同じであってもよく、異なってもよいので、サンプル画像のためにターゲットサンプル特徴抽出ポリシーを動的に選択することを実現し、これにより、異なるサンプル画像の間のサンプル特徴抽出ポリシーの結合度を低減させている。そのうえで、ターゲットサンプル特徴抽出ポリシーはサンプル画像とのマッチング度が最も高いので、ターゲットサンプル特徴抽出ポリシーに基づいて第１の中間サンプル特徴データを処理して得られたマルチタスク識別結果を用いてディープラーニングモデルをトレーニングすることで、異なるタスクのモデルパラメータ更新での衝突を低減することができ、これにより、マルチタスク識別モデルのマルチタスク識別精度を向上させている。
【0148】
本開示の実施例によれば、操作Ｓ８２０は、以下のような操作を含んでもよい。
【0149】
選択ポリシー及び第１の中間サンプル特徴データに基づいて、第３の中間サンプル特徴データを得る。第３の中間サンプル特徴データにより、複数のサンプル特徴抽出ポリシーからサンプル画像とのマッチング度が最も高いサンプル特徴抽出ポリシーを選択して、ターゲットサンプル特徴抽出ポリシーを得る。
【0150】
本開示の実施例によれば、選択ポリシー及び第１の中間サンプル特徴データに基づいて、第３の中間サンプル特徴データを得ることは、以下のような操作を含んでもよい。
【0151】
選択ポリシーにより、選択マトリックスを特定する。第１の中間サンプル特徴データにより、中間サンプルマトリックスを特定する。選択マトリックス及び中間サンプルマトリックスにより、サンプルエキスパート確率マトリックスを特定する。サンプルエキスパート確率マトリックスは、複数のサンプル特徴抽出ポリシーの各々に対応するサンプル要素を含む。サンプル要素の要素値は、サンプル特徴抽出ポリシーが選択される確率を表す。サンプルエキスパート確率マトリックスを第３の中間サンプル特徴データとして特定する。
【0152】
本開示の実施例によれば、選択マトリックス及び中間サンプルマトリックスにより、サンプルエキスパート確率マトリックスを特定することは、以下のような操作を含んでもよい。
【0153】
選択マトリックスと中間サンプルマトリックスとを掛け合わせて、サンプルエキスパート確率マトリックスを得る。
【0154】
本開示の実施例によれば、第３の中間サンプル特徴データにより、複数のサンプル特徴抽出ポリシーからサンプル画像とのマッチング度が最も高いサンプル特徴抽出ポリシーを選択して、ターゲットサンプル特徴抽出ポリシーを得ることは、以下のような操作を含んでもよい。
【0155】
サンプルエキスパート確率マトリックスからサンプル要素値が限界値であるサンプル要素を特定して、ターゲットサンプル要素を得る。限界値は、最大値又は最小値を含む。ターゲットサンプル要素に対応するサンプル特徴抽出ポリシーをターゲットサンプル特徴抽出ポリシーとして特定する。
【0156】
本開示の実施例によれば、操作Ｓ８１０は、以下のような操作を含んでもよい。
【0157】
サンプル画像を処理して、複数のサンプル画像ブロックの各々のサンプルオブジェクト特徴データを得る。所定のサンプルデータを処理して、第１のサンプルカテゴリ特徴データを得る。複数のサンプル画像ブロックの各々のサンプルオブジェクト特徴データ及び第１のサンプルカテゴリ特徴データにより、第４の中間サンプル特徴データを得る。第４の中間サンプル特徴データを処理して、第１の中間サンプル特徴データを得る。
【0158】
本開示の実施例によれば、第４の中間サンプル特徴データを処理して、第１の中間サンプル特徴データを得ることは、以下のような操作を含んでもよい。
【0159】
アテンションポリシーに基づいて、第４の中間サンプル特徴データを処理して、第１の中間サンプル特徴データを得る。
【0160】
本開示の実施例によれば、ディープラーニングモデルは、バックボーンモジュールを含んでもよい。バックボーンモジュールは、カスケード接続された少なくとも１つのバックボーンサブモジュールを含んでもよい。バックボーンサブモジュールは、アテンション手段を含んでもよい。
【0161】
本開示の実施例によれば、アテンションポリシーに基づいて、第４の中間サンプル特徴データを処理して、第１の中間サンプル特徴データを得ることは、以下のような操作を含んでもよい。
【0162】
バックボーンモジュールにおける所期のアテンション手段を用いて第４の中間サンプル特徴データを処理して、第１の中間サンプル特徴データを得る。
【0163】
本開示の実施例によれば、ターゲットサンプル特徴抽出ポリシーに基づいて、第１の中間サンプル特徴データを処理して、第２の中間サンプル特徴データを得ることは、以下のような操作を含んでもよい。
【0164】
ターゲットサンプル特徴抽出ポリシーに基づいて、第１の中間サンプル特徴データのグローバル特徴及びローカル特徴のうちの少なくとも一方を抽出して、第２の中間サンプル特徴データを得る。
【0165】
本開示の実施例によれば、バックボーンサブモジュールは、複数のエキスパート手段をさらに含んでもよい。エキスパート手段は、マルチヘッドセルフアテンション層及びフィードフォワードネットワーク層の少なくとも一方を含んでもよい。
【0166】
本開示の実施例によれば、ターゲットサンプル特徴抽出ポリシーに基づいて、第１の中間サンプル特徴データのグローバル特徴及びローカル特徴のうちの少なくとも一方を抽出して、第２の中間サンプル特徴データを得ることは、以下のような操作を含んでもよい。
【0167】
複数のエキスパート手段からターゲットサンプル特徴抽出ポリシーに対応する少なくとも１つのエキスパート手段を特定して、少なくとも１つのターゲットサンプルエキスパート手段を得る。少なくとも１つのターゲットサンプルエキスパート手段を用いて第１の中間サンプル特徴データを処理して、第２の中間サンプル特徴データを得る。
【0168】
本開示の実施例によれば、バックボーンモジュールは、カスケード接続されたＭ個のバックボーンサブモジュールを含んでもよい。Ｍは１以上の整数である。
【0169】
本開示の実施例によれば、バックボーンサブモジュールは、エキスパート選択手段をさらに含んでもよい。
【0170】
本開示の実施例によれば、少なくとも１つのターゲットサンプルエキスパート手段を用いて第１の中間サンプル特徴データを処理して、第２の中間サンプル特徴データを得ることは、以下のような操作を含んでもよい。
【0171】
Ｍ＝１の場合に、第１階層のターゲットサンプルエキスパート手段を用いて第１の中間サンプル特徴データを処理して、第１階層の第５の中間サンプル特徴データを得る。第１階層の第５の中間サンプル特徴データにより、第２の中間サンプル特徴データを得る。
【0172】
Ｍ＞１且つｍ＞１の場合に、第ｍ階層のターゲットサンプルエキスパート手段を用いて第ｍ階層の第６の中間サンプル特徴データを処理して、第ｍ階層の第５の中間サンプル特徴データを得る。第ｍ階層の第６の中間サンプル特徴データは、第ｍ階層のアテンション手段を用いて第（ｍ－１）階層の第５の中間サンプル特徴データを処理して得られたものである。第ｍ階層のターゲットサンプルエキスパート手段は、第ｍ階層のエキスパート選択手段を用いて第（ｍ－１）階層の第５の中間サンプル特徴データを処理して得られた結果により特定されるものである。第Ｎ階層の第５の中間サンプル特徴データにより、第２の中間サンプル特徴データを得る。Ｎは１以上且つＭよりも小さい整数である。
【0173】
本開示の実施例によれば、ターゲットサンプルエキスパート手段は、ターゲットマルチヘッドセルフアテンション層及びターゲットフィードフォワードネットワーク層を含んでもよい。
【0174】
本開示の実施例によれば、第ｍ階層のターゲットサンプルエキスパート手段を用いて第ｍ階層の第６の中間サンプル特徴データを処理して、第ｍ階層の第５の中間サンプル特徴データを得ることは、以下のような操作を含んでもよい。
【0175】
第ｍ階層のターゲットマルチヘッドセルフアテンション層を用いて第ｍ階層の第６の中間サンプル特徴データを処理して、第ｍ階層の第７の中間サンプル特徴データを得る。第ｍ階層のターゲットフィードフォワードネットワーク層を用いて第ｍ階層の第７の中間サンプル特徴データを処理して、第ｍ階層の第５の中間サンプル特徴データを得る。
【0176】
本開示の実施例によれば、サンプル画像は該サンプル画像に対応するターゲットサンプルエキスパート手段を有し、異なるサンプル画像のターゲットサンプルエキスパート手段は同じであってもよく、異なってもよいので、サンプル画像のためにターゲットサンプルエキスパート手段を動的に選択することを実現し、これにより、バックボーンモジュールの結合度を低減させている。そのうえで、ターゲットサンプルエキスパート手段はサンプル画像とのマッチング度が最も高いので、ターゲットサンプルエキスパート手段に基づいて第１の中間サンプル特徴データを処理して得られたマルチタスク識別結果を用いてディープラーニングモデルをトレーニングすることで、異なるタスクのモデルパラメータ更新での衝突を低減することができ、これにより、マルチタスク識別モデルのマルチタスク識別精度を向上させている。
【0177】
本開示の実施例によれば、第２の中間サンプル特徴データは、第２のサンプルカテゴリ特徴データを含んでもよい。
【0178】
本開示の実施例によれば、第２の中間サンプル特徴データにより、サンプル画像のマルチタスク識別結果を得ることは、以下のような操作を含んでもよい。
【0179】
第２のサンプルカテゴリ特徴データにより、サンプル画像が複数のタスクの各々に属するカテゴリ確率値を特定して、複数のサンプルカテゴリ確率値を得る。複数のサンプルカテゴリ確率値により、サンプル画像のマルチタスク識別結果を得る。
【0180】
本開示の実施例によれば、ディープラーニングモデルは、カテゴリ分類モジュールを含んでもよい。
【0181】
本開示の実施例によれば、第２のサンプルカテゴリ特徴データにより、サンプル画像が複数のタスクの各々に属するカテゴリ確率値を特定して、複数のサンプルカテゴリ確率値を得ることは、以下のような操作を含んでもよい。
【0182】
カテゴリ分類モジュールを用いて第２のサンプルカテゴリ特徴データを処理して、サンプル画像が複数のタスクの各々に属するカテゴリ確率値を特定して、複数のサンプルカテゴリ確率値を得る。
【0183】
本開示の実施例によれば、複数のサンプルカテゴリ確率値及びラベル値を損失関数に入力して、出力値を得てもよい。所定の終了条件を満足するまで、出力値によりディープラーニングモデルのモデルパラメータを調整してもよい。所定の終了条件を満足する場合に得られたディープラーニングモデルをトレーニングされたディープラーニングモデルとして特定してもよい。所定の終了条件は、出力値が収束すること、及びトレーニング回数が最大トレーニング回数に達することのうちの少なくとも一方を含んでもよい。例えば、所定の終了条件を満足するまで、逆伝播アルゴリズム又は確率的勾配降下アルゴリズムにより、ディープラーニングモデルのモデルパラメータを調整してもよい。
【0184】
本開示の実施例によれば、以下のような式（１）により損失関数を特定してもよい。
本開示の実施例によれば、Ｌjは、損失関数を表す。Ｂは、各々のロットに含まれるサンプル画像の数を表す。Ｂは、１よりも大きい整数であってもよい。Ｔは、タスクの数を表す。Ｔは、１よりも大きい数であってもよい。Ｃjは、ｊ番目のタスクに含まれるカテゴリの数を表す。Ｃjは、１以上の整数であってもよい。ｙijは、ｉ番目のサンプル画像のｊ番目のタスクのタスクラベル値を表す、すなわち、ｙijは、ｉ番目のサンプル画像がｊ番目のタスクに属するか否かを表す。ｙij＝１は、ｉ番目のサンプル画像がｊ番目のタスクに属することを表す。ｙij＝０は、ｉ番目のサンプル画像がｊ番目のタスクに属しないことを表す。ｚijkは、ｉ番目のサンプル画像のｊ番目のタスクのｋ番目のカテゴリのカテゴリラベル値を表す、すなわち、ｚijkは、ｉ番目のサンプル画像がｊ番目のタスクのｋ番目のカテゴリに属するか否かを表す。ｚijk＝１は、ｉ番目のサンプル画像がｊ番目のタスクのｋ番目のカテゴリに属することを表す。ｚijk＝０は、ｉ番目のサンプル画像がｊ番目のタスクのｋ番目のカテゴリに属しないことを表す。
【数2】
【0185】
本開示の実施例によれば、ディープラーニングモデルは、前処理モジュールを含んでもよい。前処理モジュールは、オブジェクト処理手段及びカテゴリ処理手段を含んでもよい。
【0186】
本開示の実施例によれば、サンプルオブジェクト特徴データは、オブジェクト処理手段を用いてサンプル画像ブロックを処理して得られたものである。
【0187】
本開示の実施例によれば、第１のサンプルカテゴリ特徴データは、カテゴリ処理手段を用いて所定のサンプルデータを処理して得られたものである。
【0188】
【0189】
図９Ａは、本開示の実施例によるディープラーニングモデルの例示的な模式図を概略的に示している。
【0190】
図９Ａに示すように、９００Ａにおいて、ディープラーニングモデル９０１は、前処理モジュール９０２、バックボーンモジュール９０３及びカテゴリ分類モジュール９０４を含む。
【0191】
前処理モジュール９０２は、オブジェクト処理手段９０２０及びカテゴリ処理手段９０２１を含む。
【0192】
バックボーンモジュール９０３は、カスケード接続されたＭ個のバックボーンサブモジュール、すなわち、バックボーンサブモジュール９０３＿１、…、バックボーンサブモジュール９０３＿ｍ、…、バックボーンサブモジュール９０３＿Ｍを含む。Ｍは、１以上の整数であってもよい。
【0193】
図９Ｂは、本開示の実施例によるバックボーンサブモジュールの模式的な例示図を概略的に示している。
【0194】
図９Ｂに示すように、９００Ｂにおいて、バックボーンサブモジュール９０５は、アテンション手段９０５＿１、エキスパート選択手段９０５＿２及びＱ個のエキスパート手段セット９０５＿３を含む。エキスパート手段セット９０５＿３は、Ｑ個のエキスパート手段、すなわち、エキスパート手段９０５＿３＿１、…、エキスパート手段９０５＿３＿ｑ、…、エキスパート手段９０５＿３＿Ｑを含む。Ｑは、１よりも大きい整数であってもよい。アテンション手段９０５＿３＿１は、マルチヘッドセルフアテンション手段であってもよい。エキスパート選択手段９０５＿３＿２は、要素値を更新できる選択マトリックスであってもよい。エキスパート手段９０５＿３＿ｑは、マルチヘッドセルフアテンション層、フィードフォワードネットワーク層、並びにカスケード接続されたマルチヘッドセルフアテンション層及びフィードフォワードネットワーク層を含んでもよい。カスケード接続されたマルチヘッドセルフアテンション層及びフィードフォワードネットワーク層のうちマルチヘッドセルフアテンション層の出力は、フィードフォワードネットワーク層の入力とする。
【0195】
図１０は、本開示の実施例によるディープラーニングモデルのトレーニング方法の模式的な模式図を概略的に示している。
【0196】
図１０に示すように、１０００において、ディープラーニングモデルは、前処理モジュール、バックボーンモジュール及びカテゴリ分類モジュール１０１６を含む。前処理モジュールは、オブジェクト処理手段１００２及びカテゴリ処理手段１００５を含む。バックボーンモジュールは、アテンション手段１００８、エキスパート手段１０１０及び３個のエキスパート手段を含む。３個のエキスパート手段は、エキスパート手段１０１１、エキスパート手段１０１２及びエキスパート手段１０１３を含む。バックボーンモジュールは、Ｔｒａｎｓｆｏｒｍｅｒを含んでもよい。
【0197】
オブジェクト処理手段１００２を用いてサンプル画像１００１を処理して、サンプル画像１００１に含まれる複数のサンプル画像ブロックの各々のサンプルオブジェクト特徴データ１００３を得る。カテゴリ処理手段１００５を用いて所定のサンプルデータ１００４を処理して、第１のサンプルカテゴリ特徴データ１００６を得る。第１のサンプルカテゴリ特徴データ１００６及び複数のサンプル画像ブロックの各々のサンプルオブジェクト特徴データ１００３により、第４の中間サンプル特徴データ１００７を得る。第４の中間サンプル特徴データ１００７のディメンションは、（ｂ，ｔ＋１，ｄ）であってもよい。ｂは、現在のロットに含まれるサンプル画像の数を表す。ｔは、現在のロットに含まれるオブジェクトの数を表す。ｄは、各々のオブジェクトの特徴ディメンションを表す。
【0198】
アテンション手段１００８を用いて第４の中間サンプル特徴データ１００７を処理して、第１の中間サンプル特徴データ１００９を得る。第１の中間サンプル特徴データ１００９のディメンションは、（ｂ，ｔ＋１，ｄ）であってもよい。
【0199】
第１の中間サンプル特徴データ１００９により、中間サンプルマトリックスを特定する。すなわち、第１の中間サンプル特徴データ１００９の後ろの２つのディメンションを合併して、ディメンションが（ｂ，ｔｄ＋ｄ）である中間サンプルマトリックスを得る。エキスパート選択手段１０１０を用いて中間サンプルマトリックスを処理して、エキスパートサンプル確率マトリックスを得る。エキスパート選択手段１０１０は、ディメンションが（ｔｄ＋ｄ，Ｑ＝３）である要素値を更新できるマトリックスであってもよい。エキスパートサンプル確率マトリックスのディメンションは、（ｂ，Ｑ＝３）であってもよい。サンプルエキスパート確率マトリックスからサンプル要素値が限界値であるサンプル要素を特定して、ターゲットサンプル要素を得る。ターゲットサンプル要素に対応するエキスパート選択手段１０１１をターゲットサンプルエキスパート手段として特定する。
【0200】
ターゲットサンプルエキスパート手段（すなわち、エキスパート手段１０１１）を用いて第１の中間サンプル特徴データ１００９を処理して、第２の中間サンプル特徴データ１０１４を得る。第２の中間サンプル特徴データ１０１４は、第２のカテゴリサンプル特徴データ１０１５を含む。
【0201】
カテゴリ分類モジュール１０１６を用いて第２のサンプルカテゴリ特徴データ１０１５を処理して、サンプルカテゴリ確率値１０１７を得る。損失関数１０１９に基づいて、サンプルカテゴリ確率値１０１７及びカテゴリラベル値１０１８を用いて、出力値１０２０を得る。
【0202】
所定の終了条件を満足するまで、出力値１０２０によりオブジェクト処理手段１００２、カテゴリ処理手段１００５、アテンション手段１００８、エキスパート選択手段１０１０、エキスパート手段１０１１、エキスパート手段１０１２、エキスパート手段１０１３及びカテゴリ分類モジュール１０１６のモデルパラメータを調整して、トレーニングされたディープラーニングモデルを得る。
【0203】
本開示の技術案では、係られたユーザ個人情報の収集、記憶、使用、加工、転送、提供及び公開などの処理は、いずれも関連法律や法規の規定に合致しており、公序良俗に反していない。
【0204】
以上は、例示的な実施例に過ぎず、これに限定されなく、当分野で知られている他のマルチタスク識別方法及びディープラーニングモデルのトレーニング方法をさらに含んでもよく、マルチタスク識別精度を向上できればよい。
【0205】
図１１は、本開示の実施例によるマルチタスク識別装置のブロック図を概略的に示している。
【0206】
図１１に示すように、マルチタスク識別装置１１００は、第１の取得モジュール１１１０、第２の取得モジュール１１２０、第３の取得モジュール１１３０及び第４の取得モジュール１１４０を含む。
【0207】
第１の取得モジュール１１１０は、識別対象画像により、第１の中間特徴データを得る。
【0208】
第２の取得モジュール１１２０は、ターゲット選択ポリシー及び第１の中間特徴データに基づいて、複数の特徴抽出ポリシーから識別対象画像とのマッチング度が最も高い特徴抽出ポリシーを選択して、ターゲット特徴抽出ポリシーを得る。
【0209】
第３の取得モジュール１１３０は、ターゲット特徴抽出ポリシーに基づいて、第１の中間特徴データを処理して、第２の中間特徴データを得る。
【0210】
第４の取得モジュール１１４０は、第２の中間特徴データにより、識別対象画像のマルチタスク識別結果を得る。
【0211】
本開示の実施例によれば、第２の取得モジュール１１２０は、第１の取得サブモジュール及び第２の取得サブモジュールを含んでもよい。
【0212】
第１の取得サブモジュールは、ターゲット選択ポリシー及び第１の中間特徴データに基づいて、第３の中間特徴データを得る。
【0213】
第２の取得サブモジュールは、第３の中間特徴データにより、複数の特徴抽出ポリシーから識別対象画像とのマッチング度が最も高い特徴抽出ポリシーを選択して、ターゲット特徴抽出ポリシーを得る。
【0214】
本開示の実施例によれば、第１の取得サブモジュールは、第１の特定手段、第２の特定手段、第３の特定手段及び第４の特定手段を含んでもよい。
【0215】
第１の特定手段は、ターゲット選択ポリシーにより、ターゲット選択マトリックスを特定する。
【0216】
第２の特定手段は、第１の中間特徴データにより、中間マトリックスを特定する。
【0217】
第３の特定手段は、ターゲット選択マトリックス及び中間マトリックスにより、ターゲットエキスパート確率マトリックスを特定する。ターゲットエキスパート確率マトリックスは、複数の特徴抽出ポリシーの各々に対応する要素を含む。要素の要素値は、特徴抽出ポリシーが選択される確率を表す。
【0218】
第４の特定手段は、ターゲットエキスパート確率マトリックスを第３の中間特徴データとして特定する。
【0219】
本開示の実施例によれば、第３の特定手段は、第１の取得サブ手段を含んでもよい。
【0220】
第１の取得サブ手段は、ターゲット選択マトリックスと中間マトリックスとを掛け合わせて、ターゲットエキスパート確率マトリックスを得る。
【0221】
本開示の実施例によれば、第２の取得サブモジュールは、第１の取得手段及び第５の特定手段を含んでもよい。
【0222】
第１の取得手段は、ターゲットエキスパート確率マトリックスから要素値が限界値である要素を特定して、ターゲット要素を得る。限界値は、最大値又は最小値を含む。
【0223】
第５の特定手段は、ターゲット要素に対応する特徴抽出ポリシーをターゲット特徴抽出ポリシーとして特定する。
【0224】
本開示の実施例によれば、第１の取得モジュール１１１０は、第３の取得サブモジュール、第４の取得サブモジュール、第５の取得サブモジュール及び第６の取得サブモジュールを含んでもよい。
【0225】
第３の取得サブモジュールは、識別対象画像を処理して、複数の識別対象画像ブロックの各々のオブジェクト特徴データを得る。
【0226】
第４の取得サブモジュールは、所定のデータを処理して、第１のカテゴリ特徴データを得る。
【0227】
第５の取得サブモジュールは、複数の識別対象画像ブロックの各々のオブジェクト特徴データ及び第１のカテゴリ特徴データにより、第４の中間特徴データを得る。
【0228】
第６の取得サブモジュールは、第４の中間特徴データを処理して、第１の中間特徴データを得る。
【0229】
本開示の実施例によれば、第６の取得サブモジュールは、第２の取得手段を含んでもよい。
【0230】
第２の取得手段は、アテンションポリシーに基づいて、第４の中間特徴データを処理して、第１の中間特徴データを得る。
【0231】
本開示の実施例によれば、第１の中間特徴データは、ディープラーニングモデルの所期のアテンション手段を用いて第４の中間特徴データを処理して得られたものである。
【0232】
本開示の実施例によれば、第３の取得モジュール１１３０は、第７の取得サブモジュールを含んでもよい。
【0233】
第７の取得サブモジュールは、ターゲット特徴抽出ポリシーに基づいて、第１の中間特徴データのグローバル特徴及びローカル特徴のうちの少なくとも一方を抽出して、第２の中間特徴データを得る。
【0234】
本開示の実施例によれば、第７の取得サブモジュールは、第３の取得手段及び第４の取得手段を含んでもよい。
【0235】
第３の取得手段は、ディープラーニングモデルに含まれる複数のエキスパート手段からターゲット特徴抽出ポリシーに対応する少なくとも１つのエキスパート手段を特定して、少なくとも１つのターゲットエキスパート手段を得る。エキスパート手段は、マルチヘッドセルフアテンション層及びフィードフォワードネットワーク層の少なくとも一方を含む。
【0236】
第４の取得手段は、少なくとも１つのターゲットエキスパート手段を用いて第１の中間特徴データを処理して、第２の中間特徴データを得る。
【0237】
本開示の実施例によれば、第２の中間特徴データは、第２のカテゴリ特徴データを含む。
【0238】
本開示の実施例によれば、第４の取得モジュール１１４０は、第８の取得サブモジュール及び第９の取得サブモジュールを含んでもよい。
【0239】
第８の取得サブモジュールは、第２のカテゴリ特徴データにより、識別対象画像が複数のタスクの各々に属するカテゴリ確率値を特定して、複数のカテゴリ確率値を得る。
【0240】
第９の取得サブモジュールは、複数のカテゴリ確率値により、識別対象画像のマルチタスク識別結果を得る。
【0241】
図１２は、本開示の実施例によるディープラーニングモデルのトレーニング装置のブロック図を概略的に示している。
【0242】
図１２に示すように、ディープラーニングモデルのトレーニング装置１２００は、第５の取得モジュール１２１０、第６の取得モジュール１２２０、第７の取得モジュール１２３０、第８の取得モジュール１２４０及び第９の取得モジュール１２５０を含む。
【0243】
第５の取得モジュール１２１０は、サンプル画像により、第１の中間サンプル特徴データを得る。
【0244】
第６の取得モジュール１２２０は、選択ポリシー及び第１の中間サンプル特徴データに基づいて、複数のサンプル特徴抽出ポリシーからサンプル画像とのマッチング度が最も高いサンプル特徴抽出ポリシーを選択して、ターゲットサンプル特徴抽出ポリシーを得る。
【0245】
第７の取得モジュール１２３０は、ターゲットサンプル特徴抽出ポリシーに基づいて、第１の中間サンプル特徴データを処理して、第２の中間サンプル特徴データを得る。
【0246】
第８の取得モジュール１２４０は、第２の中間サンプル特徴データにより、サンプル画像のマルチタスク識別結果を得る。
【0247】
第９の取得モジュール１２５０は、サンプル画像のマルチタスク識別結果及びラベル値を用いてディープラーニングモデルをトレーニングして、トレーニングされたディープラーニングモデルを得る。
【0248】
本開示の実施例によれば、第６の取得モジュール１２２０は、第１０の取得サブモジュール及び第１１の取得サブモジュールを含んでもよい。
【0249】
第１０の取得サブモジュールは、選択ポリシー及び第１の中間サンプル特徴データに基づいて、第３の中間サンプル特徴データを得る。
【0250】
第１１の取得サブモジュールは、第３の中間サンプル特徴データにより、複数のサンプル特徴抽出ポリシーからサンプル画像とのマッチング度が最も高いサンプル特徴抽出ポリシーを選択して、ターゲットサンプル特徴抽出ポリシーを得る。
【0251】
本開示の実施例によれば、第１０の取得サブモジュールは、第６の特定手段、第７の特定手段、第８の特定手段及び第９の特定手段を含んでもよい。
【0252】
第６の特定手段は、選択ポリシーにより、選択マトリックスを特定する。
【0253】
第７の特定手段は、第１の中間サンプル特徴データにより、中間サンプルマトリックスを特定する。
【0254】
第８の特定手段は、選択マトリックス及び中間サンプルマトリックスにより、サンプルエキスパート確率マトリックスを特定する。サンプルエキスパート確率マトリックスは、複数のサンプル特徴抽出ポリシーの各々に対応するサンプル要素を含み、サンプル要素の要素値は、サンプル特徴抽出ポリシーが選択される確率を表す。
【0255】
第９の特定手段は、サンプルエキスパート確率マトリックスを第３の中間サンプル特徴データとして特定する。
【0256】
本開示の実施例によれば、第８の特定手段は、第２の取得サブ手段を含んでもよい。
【0257】
第２の取得サブ手段は、選択マトリックスと中間サンプルマトリックスとを掛け合わせて、サンプルエキスパート確率マトリックスを得る。
【0258】
本開示の実施例によれば、第１１の取得サブモジュールは、第５の取得手段及び第１０の特定手段を含んでもよい。
【0259】
第５の取得手段は、サンプルエキスパート確率マトリックスからサンプル要素値が限界値であるサンプル要素を特定して、ターゲットサンプル要素を得る。限界値は、最大値又は最小値を含む。
【0260】
第１０の特定手段は、ターゲットサンプル要素に対応するサンプル特徴抽出ポリシーをターゲットサンプル特徴抽出ポリシーとして特定する。
【0261】
本開示の実施例によれば、第５の取得モジュール１２１０は、第１２の取得サブモジュール、第１３の取得サブモジュール、第１４の取得サブモジュール及び第１５の取得サブモジュールを含んでもよい。
【0262】
第１２の取得サブモジュールは、サンプル画像を処理して、複数のサンプル画像ブロックの各々のサンプルオブジェクト特徴データを得る。
【0263】
第１３の取得サブモジュールは、所定のサンプルデータを処理して、第１のサンプルカテゴリ特徴データを得る。
【0264】
第１４の取得サブモジュールは、複数のサンプル画像ブロックの各々のサンプルオブジェクト特徴データ及び第１のサンプルカテゴリ特徴データにより、第４の中間サンプル特徴データを得る。
【0265】
第１５の取得サブモジュールは、第４の中間サンプル特徴データを処理して、第１の中間サンプル特徴データを得る。
【0266】
本開示の実施例によれば、第１５の取得サブモジュールは、第６の取得手段を含んでもよい。
【0267】
第６の取得手段は、アテンションポリシーに基づいて、第４の中間サンプル特徴データを処理して、第２の中間サンプル特徴データを得る。
【0268】
本開示の実施例によれば、ディープラーニングモデルは、バックボーンモジュールを含む。バックボーンモジュールは、カスケード接続された少なくとも１つのバックボーンサブモジュールを含む。バックボーンサブモジュールは、アテンション手段を含む。
【0269】
本開示の実施例によれば、第６の取得手段は、第３の取得サブ手段を含んでもよい。
【0270】
第３の取得サブ手段は、バックボーンモジュールにおける所期のアテンション手段を用いて第４の中間サンプル特徴データを処理して、第１の中間サンプル特徴データを得る。
【0271】
本開示の実施例によれば、第７の取得モジュール１２３０は、第１６の取得サブモジュールを含んでもよい。
【0272】
第１６の取得サブモジュールは、ターゲットサンプル特徴抽出ポリシーに基づいて、第１の中間サンプル特徴データのグローバル特徴及びローカル特徴のうちの少なくとも一方を抽出して、第２の中間サンプル特徴データを得る。
【0273】
本開示の実施例によれば、バックボーンサブモジュールは、複数のエキスパート手段をさらに含む。エキスパート手段は、マルチヘッドセルフアテンション層及びフィードフォワードネットワーク層の少なくとも一方を含む。
【0274】
本開示の実施例によれば、第１６の取得サブモジュールは、第７の取得手段及び第８の取得手段を含んでもよい。
【0275】
第７の取得手段は、複数のエキスパート手段からターゲットサンプル特徴抽出ポリシーに対応する少なくとも１つのエキスパート手段を特定して、少なくとも１つのターゲットサンプルエキスパート手段を得る。
【0276】
第８の取得手段は、少なくとも１つのターゲットサンプルエキスパート手段を用いて第１の中間サンプル特徴データを処理して、第２の中間サンプル特徴データを得る。
【0277】
本開示の実施例によれば、バックボーンモジュールは、カスケード接続されたＭ個のバックボーンサブモジュールを含む。Ｍは１以上の整数。
【0278】
本開示の実施例によれば、バックボーンサブモジュールは、エキスパート選択手段をさらに含む。
【0279】
本開示の実施例によれば、第８の取得手段は、第４の取得サブ手段、第５の取得サブ手段、第６の取得サブ手段及び第７の取得サブ手段を含んでもよい。
【0280】
Ｍ＝１の場合に、
【0281】
第４の取得サブ手段は、第１階層のターゲットサンプルエキスパート手段を用いて第１の中間サンプル特徴データを処理して、第１階層の第５の中間サンプル特徴データを得る。
【0282】
第５の取得サブ手段は、第１階層の第５の中間サンプル特徴データにより、第２の中間サンプル特徴データを得る。
【0283】
Ｍ＞１且つｍ＞１の場合に、
【0284】
第６の取得サブ手段は、第ｍ階層のターゲットサンプルエキスパート手段を用いて第ｍ階層の第６の中間サンプル特徴データを処理して、第ｍ階層の第５の中間サンプル特徴データを得る。第ｍ階層の第６の中間サンプル特徴データは、第ｍ階層のアテンション手段を用いて第（ｍ－１）階層の第５の中間サンプル特徴データを処理して得られたものである。第ｍ階層のターゲットサンプルエキスパート手段は、第ｍ階層のエキスパート選択手段を用いて第（ｍ－１）階層の第５の中間サンプル特徴データを処理して得られた結果により特定されるものである。
【0285】
第７の取得サブ手段は、第Ｎ階層の第５の中間サンプル特徴データにより、第２の中間サンプル特徴データを得る。Ｎは１以上且つＭよりも小さい整数である。
【0286】
本開示の実施例によれば、ターゲットサンプルエキスパート手段は、ターゲットマルチヘッドセルフアテンション層及びターゲットフィードフォワードネットワーク層を含む。
【0287】
本開示の実施例によれば、第６の取得サブ手段は、
【0288】
第ｍ階層のターゲットマルチヘッドセルフアテンション層を用いて第ｍ階層の第６の中間サンプル特徴データを処理して、第ｍ階層の第７の中間サンプル特徴データを得ており、
【0289】
第ｍ階層のターゲットフィードフォワードネットワーク層を用いて第ｍ階層の第７の中間サンプル特徴データを処理して、第ｍ階層の第５の中間サンプル特徴データを得てもよい。
【0290】
本開示の実施例によれば、第２の中間サンプル特徴データは、第２のサンプルカテゴリ特徴データを含む。
【0291】
本開示の実施例によれば、第８の取得モジュールは、特定サブモジュール及び第１７の取得サブモジュールを含んでもよい。
【0292】
特定サブモジュールは、第２のサンプルカテゴリ特徴データにより、サンプル画像が複数のタスクの各々に属するカテゴリ確率値を特定して、複数のサンプルカテゴリ確率値を得る。
【0293】
第１７の取得サブモジュールは、複数のサンプルカテゴリ確率値により、サンプル画像のマルチタスク識別結果を得る。
【0294】
本開示の実施例によれば、ディープラーニングモデルは、カテゴリ分類モジュールを含む。
【0295】
本開示の実施例によれば、特定サブモジュールは、第９の取得手段を含んでもよい。
【0296】
第９の取得手段は、カテゴリ分類モジュールを用いて第２のサンプルカテゴリ特徴データを処理して、サンプル画像が複数のタスクの各々に属するカテゴリ確率値を特定して、複数のサンプルカテゴリ確率値を得る。
【0297】
本開示の実施例によれば、ディープラーニングモデルは、前処理モジュールを含む。前処理モジュールは、オブジェクト処理手段及びカテゴリ処理手段を含む。
【0298】
本開示の実施例によれば、サンプルオブジェクト特徴データは、オブジェクト処理手段を用いてサンプル画像ブロックを処理して得られたものである。
【0299】
本開示の実施例によれば、第１のサンプルカテゴリ特徴データは、カテゴリ処理手段を用いて所定のサンプルデータを処理して得られたものである。
【0300】
本開示の実施例によれば、本開示は、電子機器、読取可能な記憶媒体及びコンピュータプログラムをさらに提供している。
【0301】
本開示の実施例によれば、少なくとも１つのプロセッサと、少なくとも１つのプロセッサと通信接続されたメモリとを備える電子機器であって、メモリには、少なくとも１つのプロセッサにより実行可能な命令が記憶されており、命令は、少なくとも１つのプロセッサが上記のような方法を実行することができるように、少なくとも１つのプロセッサにより実行される電子機器を提供している。
【0302】
本開示の実施例によれば、コンピュータ命令が記憶された非一時的なコンピュータ読取可能な記憶媒体であって、コンピュータ命令は、コンピュータに上記のような方法を実行させる記憶媒体を提供している。
【0303】
本開示の実施例によれば、プロセッサにより実行される場合に、上記のような方法を実現するコンピュータプログラムを提供している。
【0304】
図１３は、本開示の実施例によるマルチタスク識別方法及びディープラーニングモデルのトレーニング方法を実現することに適す電子機器のブロック図を概略的に示している。電子機器は、様々な形式のデジタルコンピュータを示すことを目的とし、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ及び他の適切なコンピュータである。電子機器は、さらに様々な形式の移動装置を示してもよく、例えば、パーソナルデジタルアシスタント、携帯電話、スマートフォン、ウェアラブル機器及び他の類似の演算装置である。本明細書に示された部品、それらの接続及び関係、並びにそれらの機能は、例示に過ぎず、本明細書に記載された及び／又は要求された本開示の実現を限定しない。
【0305】
図１３に示すように、機器１３００は、計算手段１３０１を含み、計算手段１３０１は、リードオンリーメモリ（ＲＯＭ）１３０２に記憶されたコンピュータプログラム又は記憶手段１３０８からランダムアクセスメモリ（ＲＡＭ）１３０３にロードされたコンピュータプログラムに基づいて、様々な適切な動作及び処理を実行してもよい。ＲＡＭ１３０３には、さらに電子機器１３００の操作に必要な様々なプログラム及びデータを記憶してもよい。計算手段１３０１、ＲＯＭ１３０２、及びＲＡＭ１３０３は、バス１３０４を介して相互に接続される。入出力（Ｉ／Ｏ）インターフェース１３０５も、バス１３０４に接続される。
【0306】
電子機器１３００における複数の部品は、Ｉ／Ｏインターフェース１３０５に接続され、例えばキーボード、マウス等の入力手段１３０６と、例えば様々な種類のディスプレイ、スピーカ等の出力手段１３０７と、例えば磁気ディスク、光ディスク等の記憶手段１３０８と、例えばネットワークカード、モデム、無線通信トランシーバ等の通信手段１３０９とを含む。通信手段１３０９は、電子機器１３００がインターネット等のコンピュータネットワーク及び／又は各種の電気ネットワークを介して他の機器と情報・データをやり取りすることを可能にする。
【0307】
計算手段１３０１は、処理及び演算能力を有する各種の汎用及び／又は専用の処理モジュールであってもよい。計算手段１３０１の幾つかの例として、中央処理ユニット（ＣＰＵ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、各種専用の人工知能（ＡＩ）演算チップ、各種機械学習モデルアルゴリズムをランニングする演算ユニット、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、並びに任意の適切なプロセッサ、コントローラ、マイクロコントローラ等が挙げられるが、これらに限定されない。計算手段１３０１は、前文で記載された各方法及び処理、例えばマルチタスク識別方法及びディープラーニングモデルのトレーニング方法を実行する。例えば、幾つかの実施例において、マルチタスク識別方法及びディープラーニングモデルのトレーニング方法は、例えば記憶ユニット１３０８のような機械可読媒体に有形的に含まれるコンピュータソフトウェアプログラムとして実現されてもよい。いくつかの実施例において、コンピュータプログラムの一部又は全部は、ＲＯＭ１３０２及び／又は通信手段１３０９を介して電子機器１３００にロード及び／又はインストールされてもよい。コンピュータプログラムがＲＡＭ１３０３にロードされて計算手段１３０１により実行される場合、前文に記載のマルチタスク識別方法及びディープラーニングモデルのトレーニング方法の１つ又は複数のステップを実行してもよい。代替的に、他の実施例において、計算手段１３０１は、他の任意の適切な方式（例えば、ファームウェアを介する）によりマルチタスク識別方法及びディープラーニングモデルのトレーニング方法を実行するように構成されてもよい。
【0308】
本明細書で以上に説明されたシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラマブルロジックデバイス （ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実現されてもよい。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムにおいて実施され、該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムで実行され及び／又は解釈されることが可能であり、該プログラマブルプロセッサは、専用又は汎用のプログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、かつデータ及び命令を該記憶システム、該少なくとも１つの入力装置、及び該少なくとも１つの出力装置に伝送することができることを含んでもよい。
【0309】
本開示の方法を実施するためのプログラムコードは、１つ又は複数のプログラミング言語の任意の組み合わせで作成されてもよい。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供されてもよく、それによって、プログラムコードがプロセッサ又はコントローラにより実行される時に、フローチャート及び／又はブロック図に規定された機能・操作が実施される。プログラムコードは、機器に完全に実行されてもよく、部分的に機器で実行されてもよく、独立したソフトウェアパッケージとして部分的に機器で実行され、かつ部分的に遠隔機器で実行されるか又は完全に遠隔機器又はサーバで実行されてもよい。
【0310】
本開示のコンテキストにおいて、機械可読媒体は、有形の媒体であってもよく、命令実行システム、装置又は電子機器に使用され、又は命令実行システム、装置又は電子機器と組み合わせて使用されるプログラムを含んで又は記憶してもよい。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であってもよい。機械可読媒体は、電子の、磁気的、光学的、電磁的、赤外線の、又は半導体システム、装置又は電子機器、又は上記内容の任意の適切な組み合わせを含んでもよいが、それらに限定されない。機械可読記憶媒体のより具体的な例としては、１つ以上の線による電気的接続、携帯式コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、コンパクトディスクリードオンリーメモリ（ＣＤ-ＲＯＭ）、光学記憶装置、磁気記憶装置、又は上記内容の任意の適切な組み合わせを含む。
【0311】
ユーザとの対話を提供するために、コンピュータにここで説明されたシステム及び技術を実施させてもよく、該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを備え、ユーザは、該キーボード及び該ポインティングデバイスを介して入力をコンピュータに提供することができる。他の種類の装置は、さらにユーザとの対話を提供してもよく、例えば、ユーザに提供されたフィードバックは、いかなる形式のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、かついかなる形式（音声入力、語音入力又は、触覚入力を含む）でユーザからの入力を受信してもよい。
【0312】
ここで説明されたシステム及び技術は、バックグラウンド部品を含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェア部品を含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンド部品を含むコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザが該グラフィカルユーザインタフェース又は該ネットワークブラウザを介してここで説明されたシステム及び技術の実施形態と対話することができる）、又はこのようなバックグラウンド部品、ミドルウェア部品、又はフロントエンド部品のいずれかの組み合わせを含むコンピューティングシステムに実施されることが可能である。任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によりシステムの部品を互いに接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及びインターネットを例示的に含む。
【0313】
コンピュータシステムは、クライアント及びサーバを含んでもよい。クライアントとサーバ同士は、一般的に離れており、通常、通信ネットワークを介して対話する。クライアントとサーバとの関係は、該当するコンピュータ上でランニングし、クライアント－サーバの関係を有するコンピュータプログラムによって生成される。サーバは、クラウドサーバであってもよく、分散型システムのサーバであってもよく、又はブロックチェーンを組み合わせたサーバであってもよい。
【0314】
理解されるべきこととして、以上に示された様々な形式のフローを使用してもよく、操作を改めてソーティングしたり、追加したり又は削除してもよい。例えば、本開示に記載の各操作は、並列に実行されたり、順次に実行されたり、又は異なる順序で実行されてもよく、本開示の発明の所望の結果を実現することができれば、本明細書はここで限定されない。
【0315】
上記具体的な実施形態は、本開示の保護範囲を限定するものではない。当業者であれば、設計要件及び他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション及び代替を行うことが可能であると理解すべきである。本開示の精神と原則内で行われる任意の修正、均等置換及び改良などは、いずれも本開示の保護範囲内に含まれるべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9A】
【図9B】
【図10】
【図11】
【図12】
【図13】