(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023180251
(43)【公開日】2023-12-20
(54)【発明の名称】ニューラルネットワークのトレーニングデータのドメイン転送
(51)【国際特許分類】
G06N 20/00 20190101AFI20231213BHJP
【FI】
G06N20/00 130
【審査請求】未請求
【請求項の数】16
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2023094417
(22)【出願日】2023-06-07
(31)【優先権主張番号】10 2022 205 841.0
(32)【優先日】2022-06-08
(33)【優先権主張国・地域又は機関】DE
(71)【出願人】
【識別番号】390023711
【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング
【氏名又は名称原語表記】ROBERT BOSCH GMBH
【住所又は居所原語表記】Stuttgart, Germany
(74)【代理人】
【識別番号】100114890
【弁理士】
【氏名又は名称】アインゼル・フェリックス=ラインハルト
(74)【代理人】
【識別番号】100098501
【弁理士】
【氏名又は名称】森田 拓
(74)【代理人】
【識別番号】100116403
【弁理士】
【氏名又は名称】前川 純一
(74)【代理人】
【識別番号】100134315
【弁理士】
【氏名又は名称】永島 秀郎
(74)【代理人】
【識別番号】100162880
【弁理士】
【氏名又は名称】上島 類
(72)【発明者】
【氏名】イェンス エリック マルクス メーネルト
(57)【要約】 (修正有)
【課題】生成器ネットワークをトレーニングする。
【解決手段】方法100は、第1のドメイン2のトレーニングデータレコード2a
*を、生成器ネットワーク1を用いて第2のドメイン3の合成データレコード3bに移行させ、第2のドメインのトレーニングデータレコード3a
*及び合成データレコードを、設定されたタスクに関連してタスクネットワーク4から出力にマッピングし、タスクネットワークの夫々の出力に寄与したトレーニングデータレコード又は合成データレコードの割合を伴う顕著性レコード6を作成し、それを、弁別器ネットワーク7により、どのトレーニングデータレコード又合成データレコードに属するか分類し、達成された精度を評価し、生成器ネットワークのパラメータ1aを、伝達コスト関数による評価を悪化させる目標に向かって最適化し、弁別器ネットワークのパラメータを、伝達コスト関数8による評価を改善する目標に向かって最適化する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
第1のドメイン(2)に属するデータレコード(2a)を、第2のドメイン(3)に属する合成データレコード(3b)に移行させる課題のために生成器ネットワーク(1)をトレーニングするための方法(100)であって、
・前記第1のドメイン(2)のトレーニングデータレコード(2a*)と、前記第2のドメイン(3)のトレーニングデータレコード(3a*)とを提供するステップ(110)と、
・前記第1のドメイン(2)の前記トレーニングデータレコード(2a*)を、前記生成器ネットワーク(1)を用いて前記第2のドメイン(3)の前記合成データレコード(3b)に移行させるステップ(120)と、
・前記第2のドメイン(3)の前記トレーニングデータレコード(3a*)及び前記第2のドメイン(3)の前記合成データレコード(3b)を両方とも、予め設定されたタスクに関連してタスクネットワーク(4)から出力(5)にマッピングさせるステップ(130)と、
・各前記トレーニングデータレコード(3a*)について又は各前記合成データレコード(3b)について、前記タスクネットワーク(4)のそれぞれの前記出力(5)に寄与した前記トレーニングデータレコード(3a*)又は前記合成データレコード(3b)の割合を伴う顕著性を有する顕著性レコード(6)を作成するステップ(140)と、
・前記顕著性レコード(6)を、プール(P)に併合するステップ(150)と、
・前記プール(P)からサンプリングされた前記顕著性レコード(6)を、弁別器ネットワーク(7)により、1つのトレーニングデータレコード(3a*)に属するか、又は、1つの合成データレコード(3b)に属するかに関して分類するステップ(160)と、
・前記分類において達成された精度を、予め設定された伝達コスト関数(8)を用いて評価するステップ(170a)と、
・前記生成器ネットワーク(1)の挙動を特徴付けるパラメータ(1a)を、前記伝達コスト関数(8)による評価(8a)を悪化させる目標に向かって最適化するステップ(180a)と、
・前記弁別器ネットワーク(7)の挙動を特徴付けるパラメータ(7a)を、前記伝達コスト関数(8)による前記評価(8a)を改善する目標に向かって最適化するステップ(180a)と、
を含む方法(100)。
【請求項2】
・前記第1のドメイン(2)の前記トレーニングデータレコード(2a*)は、少なくとも1つの第1のセンサ(10)及び/又は第1のセンサ構成を用いて記録された測定データを含み、及び/又は、
・前記第2のドメイン(3)の前記トレーニングデータレコード(3a*)は、少なくとも1つの第2のセンサ(10)及び/又は第2のセンサ構成を用いて記録された測定データを含む、
請求項1に記載の方法(100)。
【請求項3】
前記顕著性レコード(6)は、自身が関連する前記タスクネットワーク(4)の前記出力(5)を用いて付加的にラベル付けされる(141)、
請求項1又は2に記載の方法(100)。
【請求項4】
・それぞれ目標出力(5*)を用いてラベル付けされた前記トレーニングデータレコード(2a*,3a*)が選択され、
・前記タスクネットワーク(4)の前記出力(5)と、それぞれの前記トレーニングデータレコード(2a*,3a*)に対する前記目標出力(5*)との偏差が、タスクコスト関数(9)を用いて評価され(170b)、
・前記タスクネットワーク(4)の挙動を特徴付けるパラメータ(4a)が、前記タスクコスト関数(9)による評価(9a)を改善する目標に向かって最適化される(180c)、
請求項1乃至3のいずれか一項に記載の方法(100)。
【請求項5】
前記タスクネットワーク(4)の挙動を特徴付けるパラメータ(4a)が、前記伝達コスト関数(8)による前記評価(8a)を悪化させる目標に向かって最適化される(180d)、
請求項1乃至4のいずれか一項に記載の方法(100)。
【請求項6】
・1つの前記トレーニングデータレコード(3a*)又は1つの前記合成データレコード(3b)に関連する各前記顕著性レコード(6)における顕著性が集約され(142)、
・すべての前記トレーニングデータレコード(3a*)又はすべての前記合成データレコード(3b)にわたり、集約時に得られた結果(6a)の頻度分布(6b)が求められる(143)、
請求項1乃至5のいずれか一項に記載の方法(100)。
【請求項7】
前記伝達コスト関数(8)は、一方ではすべての前記トレーニングデータレコード(3a*)にわたって求められた前記頻度分布(6b)と、他方ではすべての前記合成データレコード(3b)にわたって求められた前記頻度分布(6b)とが、どの程度、
・類似した桁数の結果を含むか、及び/又は、
・類似した形状を有するか、
を測定する(171)、
請求項6に記載の方法(100)。
【請求項8】
前記顕著性は、前記タスクネットワーク(4)のそれぞれの前記出力(5)に寄与した前記トレーニングデータレコード(3a*)又は前記合成データレコード(3b)の割合を伴う強度及び/又は重みを含む、
請求項1乃至7のいずれか一項に記載の方法(100)。
【請求項9】
前記第2のドメイン(3)の前記トレーニングデータレコード(3a*)又は前記合成データレコード(3b)に、1つ又は複数の分類スコア及び/又はセマンティックセグメンテーションを予め設定された量のクラスに関連して割り当てる1つの前記タスクネットワーク(4)が選択される、
請求項1乃至8のいずれか一項に記載の方法(100)。
【請求項10】
前記顕著性は、前記トレーニングデータレコード(3a*)又は前記合成データレコード(3b)の割合が、前記トレーニングデータレコード(3a*)又は前記合成データレコード(3b)への1つ又は複数の所定のクラスの割り当てにどの程度寄与したかを示す、
請求項9に記載の方法(100)。
【請求項11】
・それぞれ前記目標出力(5*)を用いてラベル付けされた前記第1のドメイン(2)のさらなるトレーニングデータレコード(2a*)が、トレーニングされた前記生成器ネットワーク(1*)を用いて前記第2のドメイン(3)の前記合成データレコード(3b)に変換され(190)、
・前記タスクネットワーク(4)は、前記第2のドメイン(3)のさらなるトレーニングデータレコードとして前記合成データレコード(3b)を用いて教師あり方式によりトレーニングされ又はさらにトレーニングされ(200)、前記目標出力(5*)は、前記合成データレコード(3b)が求められた前記第1のドメイン(2)の前記さらなるトレーニングデータレコード(2a*)に対してさらに使用される、
請求項1乃至10のいずれか一項に記載の方法(100)。
【請求項12】
・トレーニングされた又はさらにトレーニングされた前記タスクネットワーク(4*)に、少なくとも1つのセンサ(10)を用いて記録された測定データを有する前記第2のドメイン(3)のデータレコード(3a)が供給され(210)、
・それに従って前記タスクネットワーク(4*)から供給された出力(5)から駆動制御信号(11)が形成され(220)、
・車両、品質管理用システム(60)、領域監視用システム(70)、及び/又は、医療用画像処理システム(80)が、前記駆動制御信号(11)を用いて駆動制御される(230)、
請求項11に記載の方法(100)。
【請求項13】
コンピュータプログラムであって、1つ又は複数のコンピュータ及び/又は計算処理インスタンスにより実行されるときに、前記コンピュータ又は前記計算処理インスタンスに請求項1乃至12のいずれか一項に記載の方法(100)を実施させるための機械可読命令を含むコンピュータプログラム。
【請求項14】
請求項13に記載のコンピュータプログラムを備えている機械可読データ担体。
【請求項15】
請求項13に記載のコンピュータプログラム及び/又は請求項14に記載の機械可読データ担体及び/又はダウンロード製品を備えている1つ又は複数のコンピュータ及び/又は計算処理インスタンス。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば、センサ又はセンサ構成の測定データを含み得るデータレコードを、例えば、他のセンサ又は他のセンサ構成の測定データを表し得る他のドメインに変換することに関する。
【背景技術】
【0002】
従来技術
運転支援システム及び少なくとも部分的に自動化された運転のためのシステムは、車両を現在の交通状況に最も適した挙動に駆動制御するために、車両の環境の自動的に評価可能な表現を必要とする。この種の表現は、例えば、車両環境からの画像又はレーダ若しくはライダデータを、そこに含まれるオブジェクトに従って分類し又はセマンティックセグメンテーションするニューロンネットワークを用いて求められる。
【0003】
この種のニューラルネットワークは、多くの場合、教師あり方式によりトレーニングされる。この目的のために、ニューラルネットワークがそれぞれのトレーニングデータに対して出力すべき目標出力でラベル付けされたトレーニングデータが使用される。その際には、通常、手作業が必要となる目標出力でラベル付けすることにかかる最大コストが不要になる。所定のセンサ構成を用いて記録されたトレーニングデータを用いてトレーニングすることにより、ニューラルネットワークは、同一のセンサ構成を用いて記録された測定データを処理する能力を備え得る。しかしながら、ニューラルネットワークが新規のセンサ構成又は改良されたセンサ構成を用いて記録された測定データに対しても有用な結果を供給することに対する保証を提供するものではない。
【発明の概要】
【課題を解決するための手段】
【0004】
発明の開示
本発明は、生成器ネットワークをトレーニングするための方法を提供する。この生成器ネットワークの課題は、第1のドメインに属するデータレコードを、第2のドメインに属する合成データレコードに移行させることである。さらに、トレーニングされた状態において、生成器ネットワークは、特に例えば、第1のセンサ又は第1のセンサ構成を用いて記録された既存のトレーニングデータを、第2のセンサ又は第2のセンサ構成が同一の状況において記録し得たような合成データに変換するために使用することができる。さらに、これらの合成データは、例えば、ニューラルネットワークを、第2のセンサ又は第2のセンサ構成の測定データの処理に対してトレーニングするために使用することができる。元のトレーニングデータが目標出力でラベル付けされている限りにおいては、これらのラベルをさらに使用することができる。
【0005】
「ドメイン」という用語は、概して、そのドメインに属するデータレコードが1つ又は複数の共通性を有することを表している。そのような共通性とは、例えば、データレコードが、以下のような事実、
・同一の測定モダリティ(例えば、カメラ、レーダ、ライダ、熱画像)により捕捉されたもの、及び/又は、
・所定の同一条件下で(例えば、同一の時間帯若しくは季節において、又は、同一の視点から)捕捉されたもの、及び/又は、
・共通の分布に属するもの、
からなり得るものである。
【0006】
ドメインは、予め形式化される必要はなく、むしろ、特に例えば、それに属するデータレコードのセットによって定義されるものとしてもよい。
【0007】
「レコード」という用語は、データベースの文脈における英語表記の「record」に類似する、又は、インデックスカードボックスにおけるインデックスカードに類似する「データで満たされたデータ構造部」を意味するものと理解されたい。データレコードは、例えば、画像又は測定値の時系列を含み得る。「データセット」という用語は、ドイツ語では、基本的に同様に該当するものではあるが、機械学習の技術用語では、主にデータレコードの全体像と関連付けられるため、本明細書においては避けている。そのような全体像は、インデックスカードから類推すれば、すべてのインデックスカードが入った完全なインデックスカードボックスに相当する。
【0008】
データレコードとしての画像は、特に例えば、強度値などの少なくとも1つの変数の値が割り当てられる画素を含み得る。さらに、分類器は、特に例えば、これらの画素の少なくとも一部又は全部の値に依存して、画像を1つ又は複数のクラスに割り当てるように構成されるものとしてよい。同様に、分類器は、例えば、時系列を、そこに含まれる測定値の少なくとも一部又は全部に依存して、1つ又は複数のクラスに割り当てるように構成されるものとしてもよい。
【0009】
本方法の枠内においては、第1のドメインのトレーニングデータレコードと、第2のドメインのトレーニングデータレコードとが提供される。第1のドメインのトレーニングデータレコードは、生成器ネットワークを用いて第2のドメインの合成データレコードに移行される。先に説明したように、特に例えば、
・第1のドメインのトレーニングデータレコードは、少なくとも1つの第1のセンサ及び/又は第1のセンサ構成を用いて記録された測定データを含み、及び/又は、
・第2のドメインのトレーニングデータレコードは、少なくとも1つの第2のセンサ及び/又は第2のセンサ構成を用いて記録された測定データを含む。
【0010】
第2のドメインのトレーニングデータレコード及び第2のドメインの合成データレコードの両方とも、予め設定されたタスクに関連してタスクネットワークから出力にマッピングさせる。そのようなタスクネットワークは、特に例えば、第2のドメインのトレーニングデータレコード又は合成データレコードに、1つ又は複数の分類スコア及び/又はセマンティックセグメンテーションを予め設定された量のクラスに関連して割り当てるように構成されるものとしてよい。
【0011】
ここで、各トレーニングデータレコードについて又は各合成データレコードについて、タスクネットワークのそれぞれの出力に寄与したトレーニングデータレコード又は合成データレコードの割合を伴う顕著性を有する顕著性レコードが作成される。これらの顕著性は、特に例えば、タスクネットワークのそれぞれの出力に寄与したトレーニングデータレコード又は合成データレコードの割合を伴う強度及び/又は重みを含み得る。換言すれば、顕著性は、タスクネットワークの出力が、トレーニングデータレコード又は合成データレコードの所定の割合に基づいている範囲を示すことができ、これらの割合が変更された場合には、別の結果になる可能性もあるであろう。
【0012】
そのため、例えば、分類スコア又はセマンティックセグメンテーションを提供するタスクネットワークにおいては、顕著性は、トレーニングデータレコード又は合成データレコードの割合が、トレーニングデータレコード又は合成データレコードへの1つ又は複数の所定のクラスの割り当てにどの程度寄与したかを示すことができる。この種の顕著性の測定については、例えば、障害がデータレコードの割合においてどの程度分類スコア又はセマンティックセグメンテーションに影響を及ぼすかを調べる多くの方法が存在する。
【0013】
例えば、画素からなる画像についての顕著性レコードは、画像の各画素に顕著性値が割り当てられ、強度値として示される顕著性画像であるものとしてよい。
【0014】
顕著性を観察することにより、特に例えば、タスクネットワークの実際に学習された知識を、オーバーフィッティングによって「暗記した」知識から区別することも可能である。簡単に言えば、顕著性とは、タスクネットワークの入力後の出力の部分的な導出として把握することができる。オーバーフィッティングに基づくタスクネットワークの出力は、もはや改善不可能であり、その限りにおいては極値的であるため、入力後の微分係数、即ち、顕著性は、0に等しくなる。
【0015】
顕著性レコードは、プールに併合される。このプールからは、顕著性レコードがサンプリングされる、即ち、ランダムに引き出される。サンプリングされた顕著性レコードは、弁別器ネットワークにより、それらが、
・最初から第2のドメインに属していたトレーニングデータレコードに属しているか、又は、
・元来第1のドメインに属し、生成器ネットワークによって初めて第2のドメインに移行された合成データレコードに属しているか
に関して分類される。
【0016】
この分類において達成された精度は、予め設定された伝達コスト関数を用いて評価される。この精度は、例えば、弁別器が、第2のドメインの「本物の」メンバーとしてのトレーニングデータレコードを、第2のドメインの「偽物の」メンバーとしての合成データレコードと区別するヒット率を示し得る。
【0017】
生成器ネットワークは、ここで、弁別器ネットワークと敵対的にトレーニングされる。即ち、弁別器ネットワークを特徴付けるパラメータは、伝達コスト関数による評価(即ち、識別された「偽物」に対して取られる「キャッチプレミアム」)を改善する目標に向かって最適化される。それに対して、生成器ネットワークの挙動を特徴付けるパラメータは、伝達コスト関数による評価を悪化させる目標に向かって最適化される。即ち、生成器ネットワークは、弁別器ネットワークにとって識別することがより困難となるように自身の「偽物」を改良する。
【0018】
この手順は、既知の敵対的生成ネットワーク(Generative Adversarial Networks)のトレーニングに類似している。しかしながら、実質的な差異は、トレーニングデータレコードと合成データレコードとの間の比較が、これらのデータレコード自体から切り離されていることである。その代わりに、顕著性を介して、タスクネットワークが供給する結果に対するそれぞれのデータレコードの効果が比較される。
【0019】
このことにより、結果として、合成データレコードを、タスクネットワークに入力されたときに第2のドメインの「本物の」トレーニングデータレコードと同様に作用するように特別にカッティングすることができる。このことは、そのような合成データレコードが第2のドメインの「本物の」トレーニングデータレコードと区別することが困難であることと必ずしも相関するものではない。合成データレコードと「本物の」トレーニングデータレコードとの類似性は、詳細には、それぞれのデータレコードのみの特性であり、予め設定される課題(タスク)には依存しない。それに対して、タスクネットワークの出力に対する偶発的な差異の影響は、具体的なタスクに依存する。
【0020】
さらに、トレーニングの全体的な課題は、その次元において著しく低減され、従って、簡素化される。そのため、例えば、非常に広範な画像スペクトルが、データレコードとして同一の又は類似の顕著性に凝縮される。例えば、交通状況の処理の際に、関係する車両の表面の色又は質感に関する差異を平準化することができる。特に、トレーニングデータレコードの総量においてより頻繁に表される事実又は状況の場合でも、顕著性の変動は、トレーニングデータレコード自体の変動よりも少なくなる。
【0021】
また、顕著性を考慮することにより、内容的に類似するタスク間の差異も平準化することができる。そのため、例えば、画像の画素についての顕著性は、タスクとして問われていることがオブジェクト周りのバウンディングボックスの識別にあるのか、又は、画像のセマンティックセグメンテーションにあるのかには、実質的に依存しない。同一の画素は、両タスクにとって実質的に同程度に関連する。
【0022】
好適には、顕著性レコードは、自身が関連するタスクネットワークの出力を用いて付加的にラベル付けすることができる。このようにして、弁別器ネットワークは、一方の合成データレコードと、他方のトレーニングデータレコードとの間の区別のための付加的な手がかりを得る。特に、この区別は、それぞれのデータレコードの間の差異がタスクネットワークの出力に与える影響にさらに強く的を絞ることができる。
【0023】
特に好適な実施形態においては、それぞれ目標出力を用いてラベル付けされたトレーニングデータレコードが選択される。タスクネットワークの出力と、それぞれのトレーニングデータレコードに対する目標出力との偏差は、タスクコスト関数を用いて評価される。タスクネットワークの挙動を特徴付けるパラメータは、タスクコスト関数による評価を改善する目標に向かって最適化される。このようにして、顕著性に関してより良好な第2のドメインのトレーニングデータレコードの「偽物」のためのすべての努力において、タスクの解決手段を見失わないことが保証され得る。
【0024】
さらに、このタスクネットワークのトレーニングによって、合成データレコードを処理する能力も改善する。基本的に、第2のドメインのトレーニングデータレコードを用いてトレーニングされた、そのパラメータが記録されるタスクネットワークも使用することができる。それにもかかわらず、タスクネットワークの既存のトレーニングは、使用されるトレーニングデータレコードが存在する第2のドメインの部分を主に包含している。第1のドメインにおける完全に異なるトレーニングデータレコードから生成された合成データレコードは、タスクネットワークをその汎化能力に基づいて処理することができる。ただし、これらの合成データレコードの処理は、既に完了したトレーニングの規模に対応するデータレコードの処理の場合ほど「熟練」したものではない。
【0025】
さらなる特に好適な実施形態においては、タスクネットワークの挙動を特徴付けるパラメータが、伝達コスト関数による評価を悪化させる目標に向かって最適化される。このようにして、タスクネットワークは、生成器ネットワークが、この場合、合成データレコードと第2のドメインのトレーニングデータレコードとの間の差異を弁別器ネットワークから隠蔽することを支援することができる。タスクネットワークは、特に例えば、そのような差異に対してより不変になるように学習することができる。
【0026】
さらなる特に好適な実施形態においては、トレーニングデータレコード又は合成データレコードに関連する各顕著性レコードにおける顕著性が集約される。次いで、すべてのトレーニングデータレコード又はすべての合成データレコードにわたり、集約時に得られた結果の頻度分布が求められる。この頻度分布は、タスクネットワークの出力に及ぼす影響に関して、トレーニングデータレコードの全体又は合成データレコードの全体の「指紋」として使用することができる。
【0027】
例えば、伝達コスト関数は、一方ではすべてのトレーニング例にわたって求められた頻度分布と、他方ではすべての合成データレコードにわたって求められた頻度分布とが、どの程度、
・類似した桁数(Groessenordnung:オーダー)の結果を含むか、及び/又は、
・類似した形状を有するか、
を測定することができる。
【0028】
この種の寄与に基づいて、例えば、伝達コスト関数のパラメータを、最適化の開始時点において初期化することができる。即ち、最適化は、頻度分布が既に類似した桁数の結果を含み、及び/又は、類似した形状を有するパラメータから開始することができる。従って、予想では、この最適化は、パラメータのランダムな初期化による場合よりも良好に集束する。
【0029】
先に説明したように、好適には、第2のドメインのトレーニングデータレコード又は合成データレコードに、1つ又は複数の分類スコア及び/又はセマンティックセグメンテーションを予め設定された量のクラスに関連して割り当てるタスクネットワークが選択される。
【0030】
冒頭で説明したように、生成器ネットワークの実質的に有用な用途は、トレーニングデータレコードを第1のドメインから第2のドメインに移行させることにより、この第2のドメインにおけるトレーニングデータレコードの新たな物理的記録と、特に新たなラベル付けとを節約することにある。
【0031】
それゆえ、さらなる特に好適な実施形態においては、それぞれ目標出力を用いてラベル付けされた第1のドメインのさらなるトレーニングデータレコードが、トレーニングされた生成器ネットワークを用いて第2のドメインの合成データレコードに変換される。このタスクネットワークは、第2のドメインのさらなるトレーニングデータレコードとしてこれらの合成データレコードを用いて教師あり方式によりトレーニングされ又はさらにトレーニングされ、ここで、目標出力は、合成データレコードが求められた第1のドメインのさらなるトレーニングデータレコードに対してさらに使用される。
【0032】
例えば、トレーニング画像のストックは、既に第1のカメラシステムにより記録され、続いてラベル付けされたものであってよい。ここで、第1のカメラシステムを、より良好な光学系とより良好なチップ技術とを備えた第2のカメラシステムに交換すべき場合には、既存のトレーニング画像を、生成器ネットワークを用いて、第2のカメラシステムから供給される画像によって定義されたドメインの新規のトレーニング画像に変換することができる。次いで、タスクネットワークは、新規の画像を記録したり、ラベル付けしたりする必要なく、このドメインで教師あり方式によりトレーニングすることができる。
【0033】
次いで、このようにトレーニングされたタスクネットワークには、特に好適なさらなる実施形態においては、少なくとも1つのセンサを用いて記録された測定データを有する第2のドメインのデータレコードを供給することができる。それに従ってタスクネットワークから供給された出力から駆動制御信号を形成することができる。次いで、車両、品質管理用システム、領域監視用システム、及び/又は、医療用画像処理システムを、この駆動制御信号を用いて駆動制御することができる。このようにして、それぞれ駆動制御されるシステムの応答が、少なくとも1つのセンサにより捕捉された状況に合わせられる確率が高まる。
【0034】
本方法は、完全に又は部分的にコンピュータ実装され、そのため、ソフトウェアにおいて具体化されるものとしてよい。それゆえ、本発明は、1つ又は複数のコンピュータ及び/又は計算処理インスタンスにより実行されるときに、コンピュータ及び/又は計算処理インスタンスに本明細書に記載の方法を実施させるための機械可読命令を含むコンピュータプログラムにも関する。この意味においては、機械可読命令を実行することができる車両用制御装置及び技術的装置用埋込みシステムも、コンピュータとみなすことができる。計算処理インスタンスは、特に例えば、仮想マシン、コンテナ、又は、クラウドにおいてプログラムコードを実行するための他の実行環境であるものとしてよい。
【0035】
同様に、本発明は、機械可読データ担体及び/又はコンピュータプログラムを有するダウンロード製品にも関する。ダウンロード製品は、データネットワークを介して伝送可能な、即ち、データネットワークのユーザによってダウンロード可能なデジタル製品であり、このデジタル製品は、例えば、直ちにダウンロードすることができるようにオンラインショップにおいて販売することができる。
【0036】
さらに、1つ又は複数のコンピュータ及び/又は計算処理インスタンスは、コンピュータプログラム、機械可読データ担体、又は、ダウンロード製品を備え得る。
【0037】
以下においては、本発明を改善するさらなる手段を、本発明の好適な実施例の説明と共に図面に基づいて、より詳細に説明する。
【図面の簡単な説明】
【0038】
【
図1】生成器1をトレーニングするための方法100の実施例を示した図である。
【
図2】ドメイン転送のための顕著性の重要性を可視化した図である。
【発明を実施するための形態】
【0039】
実施例
図1は、生成器ネットワーク1をトレーニングするための方法100の一実施例の概略的なフローチャートである。この生成器ネットワーク1は、第1のドメイン2に属するデータレコード2aを、第2のドメイン3に属する合成データレコード3bに移行させる課題を有している。
【0040】
ステップ110においては、第1のドメイン2のトレーニングデータレコード2a*と、第2のドメイン3のトレーニングデータレコード3a*とが提供される。トレーニングレコード2a*,3a*は、目標出力5*でラベル付けされるものとしてよい。
【0041】
ステップ120においては、第1のドメイン2のトレーニングデータレコード2a*は、生成器ネットワーク1を用いて第2のドメイン3の合成データレコード3bに移行される。
【0042】
ステップ130においては、第2のドメイン3の学習データレコード3a*及び第2のドメイン3の合成データレコード3bの両方とも、予め設定されたタスクに関連してタスクネットワーク4から出力5にマッピングさせる。
【0043】
ステップ140においては、各トレーニングデータレコード3a*について又は各合成データレコード3bについて、トレーニングデータレコード3a*又は合成データレコード3bの、タスクネットワーク4のそれぞれの出力5に寄与した割合を伴う顕著性を有する顕著性レコード6が作成される。
【0044】
ブロック141に従って、顕著性レコード6は、自身が関連するタスクネットワーク4の出力5を用いて付加的にラベル付けされるものとしてよい。
【0045】
ブロック142に従って、トレーニングデータレコード3a*又は合成データレコード3bに関連する各顕著性レコード6における顕著性を結果6aに集約することができる。次いで、ブロック143に従って、すべてのトレーニングデータレコード3a*又はすべての合成データレコード3bにわたり、集約時に得られた結果6aの頻度分布6bを求めることができる。
【0046】
ステップ150においては、顕著性レコード6がプールPに併合される。
【0047】
ステップ160においては、プールPからサンプリングされた顕著性レコード6は、弁別器ネットワーク7によって、1つのトレーニングデータレコード3a*に属するか、又は、1つの合成データレコード3bに属するかについて分類される。
【0048】
ステップ170aにおいては、この分類の際に得られた精度が、予め設定された伝達コスト関数8により評価される。
【0049】
ブロック171に従って、伝達コスト関数8は、特に例えば、一方ではすべてのトレーニングデータレコード3a*にわたって求められた頻度分布6bと、他方ではすべての合成データレコード3bにわたって求められた頻度分布6bとが、どの程度、
・類似した桁数の結果を含むか、及び/又は、
・類似した形状を有するか、
を測定することができる。
【0050】
ステップ180aにおいては、生成器ネットワーク1の挙動を特徴付けるパラメータ1aは、伝達コスト関数8による評価8aを悪化させる目標に向かって最適化される。同時に、ステップ180bにおいては、弁別器ネットワーク7の挙動を特徴付けるパラメータ7aは、伝達コスト関数8による評価8aを改善する目標に向かって最適化される。即ち、生成器ネットワーク1と弁別器ネットワーク7とが相互に敵対的にトレーニングされる。パラメータ1aの完成された最適化状態は、参照符号1a*によって示される。これらのパラメータ1a*は、生成器ネットワーク1の完成された最適化状態1*を定義する。
【0051】
ステップ170bにおいては、タスクネットワーク4の出力5と、それぞれのトレーニングデータレコード2a*,3a*に対する目標出力5*との偏差が、タスクコスト関数9を用いて評価される。この場合、第1のドメイン2のトレーニングデータレコード2a*に対する目標出力5*は、そこから生成された第2のドメイン3の合成データレコード3bに対する目標出力5*としても当てはまる。
【0052】
ステップ180cにおいては、タスクネットワーク4の挙動を特徴付けるパラメータ4aが、タスクコスト関数9による評価9aを改善する目標に向かって最適化される。
【0053】
ステップ180dにおいては、タスクネットワーク4の挙動を特徴付けるパラメータ4aが、伝達コスト関数8による評価8aを悪化させる目標に向かって付加的に最適化される。
【0054】
ステップ190においては、それぞれ目標出力5*でラベル付けされた第1のドメイン2のさらなるトレーニングデータレコード2a*が、トレーニングされた生成器ネットワーク1*を用いて第2のドメイン3の合成データレコード3bに変換される。
【0055】
ステップ200においては、タスクネットワーク4は、第2のドメイン3のさらなるトレーニングデータレコードとしてこれらの合成データレコード3bを用いて教師あり方式によりトレーニングされ又はさらにトレーニングされ、ここで、目標出力5*は、合成データレコード3bが求められた第1のドメイン2のさらなるトレーニングデータレコード2a*に対してさらに使用される。このトレーニングは、既にステップ180c及び180dにおいて最適化されたタスクネットワーク4のパラメータ4a*から開始される。タスクネットワーク4の完成されたトレーニング状態は、参照符号4*によって示される。
【0056】
ステップ210においては、トレーニングされた又はさらにトレーニングされたタスクネットワーク4*に、少なくとも1つのセンサ10を用いて記録された測定データを有する第2のドメイン3のデータレコード3aが供給される。
【0057】
ステップ220においては、それに従ってタスクネットワーク4*から供給された出力5から駆動制御信号11が形成される。
【0058】
ステップ230においては、車両50、品質管理用システム60、領域監視用システム70、及び/又は、医療用画像処理システム80が、駆動制御信号11を用いて駆動制御される。
【0059】
図2は、顕著性がドメイン転送のための適当なフィードバックを本明細書で提案するトレーニング方法の枠内において形成する理由を説明する。
【0060】
図2に示されている例においては、交通状況のトレーニング画像が、2つの異なるカメラ構成を用いて記録された。第1のカメラ構成を用いて記録されたトレーニング画像2a*は、第1のドメイン2を形成する。第2のカメラ構成を用いて記録されたトレーニング画像3a*は、第2のドメイン3を形成する。
【0061】
各画像2a*,3a*は、それぞれのドメイン2,3でトレーニングされたタスクネットワーク4に供給されたものであり、画像2a*,3a*の各画素について、顕著性がタスクネットワーク4のそれぞれの出力5に関連して求められた。これらの顕著性は、それぞれの画像2a*,3a*についての結果6a(2a*),6a(3a*)として平均値に集約された。
【0062】
図2には、集約結果6a(2a*),6a(3a*)の頻度Hの分布6b(2a*),6b(3a*)がプロットされている。ここでは、横軸にプロットされた集約結果6a(2a*),6a(3a*)が、明らかに異なる値域にわたって延在し、分布の形状も相互に大きく異なっていることが目立つ。これに寄与する例示的な原因には、以下のもの、即ち、
・2つのカメラ構成における異なる材料の異なる光透過率、
・2つのカメラ構成の異なる設計、
・それぞれのカメラチップの感度の差異
が挙げられる。全体として、両カメラ構成が、画像画素ごとに質的にも量的にも大きく相違する情報内容を生成することが前提とされている。
【手続補正書】
【提出日】2023-06-26
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
第1のドメイン(2)に属するデータレコード(2a)を、第2のドメイン(3)に属する合成データレコード(3b)に移行させる課題のために生成器ネットワーク(1)をトレーニングするための方法(100)であって、
・前記第1のドメイン(2)のトレーニングデータレコード(2a*)と、前記第2のドメイン(3)のトレーニングデータレコード(3a*)とを提供するステップ(110)と、
・前記第1のドメイン(2)の前記トレーニングデータレコード(2a*)を、前記生成器ネットワーク(1)を用いて前記第2のドメイン(3)の前記合成データレコード(3b)に移行させるステップ(120)と、
・前記第2のドメイン(3)の前記トレーニングデータレコード(3a*)及び前記第2のドメイン(3)の前記合成データレコード(3b)を両方とも、予め設定されたタスクに関連してタスクネットワーク(4)から出力(5)にマッピングさせるステップ(130)と、
・各前記トレーニングデータレコード(3a*)について又は各前記合成データレコード(3b)について、前記タスクネットワーク(4)のそれぞれの前記出力(5)に寄与した前記トレーニングデータレコード(3a*)又は前記合成データレコード(3b)の割合を伴う顕著性を有する顕著性レコード(6)を作成するステップ(140)と、
・前記顕著性レコード(6)を、プール(P)に併合するステップ(150)と、
・前記プール(P)からサンプリングされた前記顕著性レコード(6)を、弁別器ネットワーク(7)により、1つのトレーニングデータレコード(3a*)に属するか、又は、1つの合成データレコード(3b)に属するかに関して分類するステップ(160)と、
・前記分類において達成された精度を、予め設定された伝達コスト関数(8)を用いて評価するステップ(170a)と、
・前記生成器ネットワーク(1)の挙動を特徴付けるパラメータ(1a)を、前記伝達コスト関数(8)による評価(8a)を悪化させる目標に向かって最適化するステップ(180a)と、
・前記弁別器ネットワーク(7)の挙動を特徴付けるパラメータ(7a)を、前記伝達コスト関数(8)による前記評価(8a)を改善する目標に向かって最適化するステップ(180b)と、
を含む方法(100)。
【請求項2】
・前記第1のドメイン(2)の前記トレーニングデータレコード(2a*)は、少なくとも1つの第1のセンサ(10)及び/又は第1のセンサ構成を用いて記録された測定データを含み、及び/又は、
・前記第2のドメイン(3)の前記トレーニングデータレコード(3a*)は、少なくとも1つの第2のセンサ(10)及び/又は第2のセンサ構成を用いて記録された測定データを含む、
請求項1に記載の方法(100)。
【請求項3】
前記顕著性レコード(6)は、自身が関連する前記タスクネットワーク(4)の前記出力(5)を用いて付加的にラベル付けされる(141)、
請求項1に記載の方法(100)。
【請求項4】
・それぞれ目標出力(5*)を用いてラベル付けされた前記トレーニングデータレコード(2a*,3a*)が選択され、
・前記タスクネットワーク(4)の前記出力(5)と、それぞれの前記トレーニングデータレコード(2a*,3a*)に対する前記目標出力(5*)との偏差が、タスクコスト関数(9)を用いて評価され(170b)、
・前記タスクネットワーク(4)の挙動を特徴付けるパラメータ(4a)が、前記タスクコスト関数(9)による評価(9a)を改善する目標に向かって最適化される(180c)、
請求項1に記載の方法(100)。
【請求項5】
前記タスクネットワーク(4)の挙動を特徴付けるパラメータ(4a)が、前記伝達コスト関数(8)による前記評価(8a)を悪化させる目標に向かって最適化される(180d)、
請求項1に記載の方法(100)。
【請求項6】
・1つの前記トレーニングデータレコード(3a*)又は1つの前記合成データレコード(3b)に関連する各前記顕著性レコード(6)における顕著性が集約され(142)、
・すべての前記トレーニングデータレコード(3a*)又はすべての前記合成データレコード(3b)にわたり、集約時に得られた結果(6a)の頻度分布(6b)が求められる(143)、
請求項1に記載の方法(100)。
【請求項7】
前記伝達コスト関数(8)は、すべての前記トレーニングデータレコード(3a*)にわたって求められた前記頻度分布(6b)と、すべての前記合成データレコード(3b)にわたって求められた前記頻度分布(6b)とが、どの程度、
・類似した桁数の結果を含むか、及び/又は、
・類似した形状を有するか、
を測定する(171)、
請求項6に記載の方法(100)。
【請求項8】
前記顕著性は、前記タスクネットワーク(4)のそれぞれの前記出力(5)に寄与した前記トレーニングデータレコード(3a*)又は前記合成データレコード(3b)の割合を伴う強度及び/又は重みを含む、
請求項1に記載の方法(100)。
【請求項9】
前記第2のドメイン(3)の前記トレーニングデータレコード(3a*)又は前記合成データレコード(3b)に、1つ又は複数の分類スコア及び/又はセマンティックセグメンテーションを予め設定された量のクラスに関連して割り当てる1つの前記タスクネットワーク(4)が選択される、
請求項1に記載の方法(100)。
【請求項10】
前記顕著性は、前記トレーニングデータレコード(3a*)又は前記合成データレコード(3b)の割合が、前記トレーニングデータレコード(3a*)又は前記合成データレコード(3b)への1つ又は複数の所定のクラスの割り当てにどの程度寄与したかを示す、
請求項9に記載の方法(100)。
【請求項11】
・それぞれ前記目標出力(5*)を用いてラベル付けされた前記第1のドメイン(2)のさらなるトレーニングデータレコード(2a*)が、トレーニングされた前記生成器ネットワーク(1*)を用いて前記第2のドメイン(3)の前記合成データレコード(3b)に変換され(190)、
・前記タスクネットワーク(4)は、前記第2のドメイン(3)のさらなるトレーニングデータレコードとして前記合成データレコード(3b)を用いて教師あり方式によりトレーニングされ又はさらにトレーニングされ(200)、前記目標出力(5*)は、前記合成データレコード(3b)が求められた前記第1のドメイン(2)の前記さらなるトレーニングデータレコード(2a*)に対してさらに使用される、
請求項1に記載の方法(100)。
【請求項12】
・トレーニングされた又はさらにトレーニングされた前記タスクネットワーク(4*)に、少なくとも1つのセンサ(10)を用いて記録された測定データを有する前記第2のドメイン(3)のデータレコード(3a)が供給され(210)、
・それに従って前記タスクネットワーク(4*)から供給された出力(5)から駆動制御信号(11)が形成され(220)、
・車両、品質管理用システム(60)、領域監視用システム(70)、及び/又は、医療用画像処理システム(80)が、前記駆動制御信号(11)を用いて駆動制御される(230)、
請求項11に記載の方法(100)。
【請求項13】
コンピュータプログラムであって、1つ又は複数のコンピュータ及び/又は計算処理インスタンスにより実行されるときに、前記コンピュータ又は前記計算処理インスタンスに請求項1に記載の方法(100)を実施させるための機械可読命令を含むコンピュータプログラム。
【請求項14】
請求項13に記載のコンピュータプログラムを備えている機械可読データ担体。
【請求項15】
請求項13に記載のコンピュータプログラム又は請求項14に記載の機械可読データ担体を備えている1つ又は複数のコンピュータ。
【請求項16】
請求項13に記載のコンピュータプログラム又は請求項14に記載の機械可読データ担体を備えている1つ又は複数の計算処理インスタンス。
【外国語明細書】