特開 2024-22546 ナレッジグラフを用いたニューラルネットワークのトレーニング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024022546

(43)【公開日】2024-02-16

(54)【発明の名称】ナレッジグラフを用いたニューラルネットワークのトレーニング

(51)【国際特許分類】

   G06N 3/09 20230101AFI20240208BHJP

   G06N 3/0464 20230101ALI20240208BHJP

【ＦＩ】

G06N3/09

G06N3/0464

【審査請求】未請求

【請求項の数】16

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023126354

(22)【出願日】2023-08-02

(31)【優先権主張番号】10 2022 208 083.1

(32)【優先日】2022-08-03

(33)【優先権主張国・地域又は機関】DE

(71)【出願人】

【識別番号】390023711

【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング

【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ

【住所又は居所原語表記】Ｓｔｕｔｔｇａｒｔ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】ラヴディム ハリライ

(72)【発明者】

【氏名】ゼバスティアン モンカ

(57)【要約】      （修正有）

【課題】特徴マップを生成する特徴抽出器を有するニューラルネットワークをトレーニングする。
【解決手段】ラベリングされたトレーニング例２ａと、ノードがエンティティを、エッジがエンティティ間の関係を表現する包括的なナレッジグラフ４を用意し、ナレッジグラフから、設定されたタスクを解決するためのコンテキストに関連する下位グラフ４３を選択し、各トレーニング例に対して特徴抽出器１１を用いて特徴マップ２ｂを算定し、夫々の目標出力３ａに関連する各トレーニング例から特徴マップの空間内の下位グラフの表現を算定し、特徴マップから設定されたタスクに関連する出力を評価１６０、１６１し、設定されたコスト関数５を用いて特徴マップが下位グラフの表現にどの程度類似しているかを評価し、ニューラルネットワーク１のパラメータを最適化し各トレーニング例に対する目標出力に可能な限り良好に対応するように特徴マップの評価を調整する。
【選択図】図１

【特許請求の範囲】

【請求項1】

測定データ（２）を評価するためのニューラルネットワーク（１）をトレーニングする方法（１００）であって、前記ニューラルネットワーク（１）は、測定データ（２）から特徴マップ（２ｂ）を生成する特徴抽出器（１１）を有する、方法（１００）において、
・設定されたタスクに関連する目標出力（３ａ）によってラベリングされたトレーニング例（２ａ）を用意するステップ（１１０）と、
・ノード（４１）がエンティティを表現しかつエッジ（４２）が前記エンティティ間の関係を表現する包括的なナレッジグラフ（４）を用意するステップ（１２０）と、
・前記包括的なナレッジグラフ（４）から、設定されたタスクを解決するためのコンテキストに関連する下位グラフ（４３）を選択するステップ（１３０）と、
・各トレーニング例（２ａ）に対して、前記ニューラルネットワークの特徴抽出器（１１）を用いて特徴マップ（２ｂ）を算定するステップ（１４０）と、
・それぞれの目標出力（３ａ）に関連する各トレーニング例（２ａ）から、前記特徴マップ（２ｂ）の空間内の下位グラフ（４３）の表現（４３ａ）を算定するステップ（１５０）と、
・前記特徴マップ（２ｂ）から、設定されたタスクに関連する出力（３）を評価するステップ（１６０）と、
・設定されたコスト関数（５）を用いて、前記特徴マップ（２ｂ）が前記下位グラフ（４３）の表現（４３ａ）にどの程度類似しているかを評価するステップ（１７０）と、
・トレーニング例（２ａ）のさらなる処理の際に前記コスト関数（５）による評価（５ａ）を予測により改善する目的で、前記ニューラルネットワーク（１）の挙動を特徴付けるパラメータ（１ａ，１１ａ）を最適化するステップ（１８０）と、
・各トレーニング例（２ａ）に対する出力（３）がそれぞれのトレーニング例（２ａ）に対する目標出力（３ａ）に可能な限り良好に対応するように、前記特徴マップ（２ｂ）の評価を調整するステップ（１９０）と、
を含む方法（１００）。

【請求項2】

前記ニューラルネットワーク（１）は、付加的に、前記設定されたタスクに関して前記特徴マップ（２ｂ）を評価（１６０，１６１）するためのタスクヘッド（１２）を備え、
前記特徴マップ（２ｂ）の評価を調整するステップ（１９０）は、
・各トレーニング例（２ａ）に対する前記タスクヘッド（１２）の出力（３）がそれぞれのトレーニング例（２ａ）に対する目標出力（３ａ）にどの程度良好に対応するかを、コスト関数（５，５’）を用いて評価するステップ（１９１）と、
・前記タスクヘッド（１２）のパラメータ（１ａ，１２ａ）を、前記コスト関数（５，５’）による評価（５ａ，５ａ’）に関して最適化するステップ（１９２）と、
を含む、
請求項１に記載の方法（１００）。

【請求項3】

前記下位グラフ（４３）の表現（４３ａ）に対する前記特徴マップ（２ｂ）の類似度が、他の目標出力（３ａ’）を用いて他のトレーニング例（２ａ’）につき算定された特徴マップ（２ｂ’）に対する下位グラフ（４３）の表現（４３ａ）の類似度と比較される（１７１）、
請求項１又は２に記載の方法（１００）。

【請求項4】

前記目標出力（３ａ）は、前記測定データ（２）の設定された分類の１つ又は複数のクラスに関連する分類スコアを含む、
請求項１乃至３のいずれか一項に記載の方法（１００）。

【請求項5】

前記設定された分類のクラスは、測定データ（２）により当該測定データ（２）の記録時に監視される領域内に存在することが示された物体のタイプを表現する、
請求項４に記載の方法（１００）。

【請求項6】

車両（５０）の周囲における他の車両、交通標識、車線標示、交通障害物、及び／又は、他の交通関連物体が、物体のタイプとして選択される、
請求項５に記載の方法（１００）。

【請求項7】

前記特徴マップ（２ｂ）を評価するステップ（１６０）は、ガウス過程を用いて前記特徴マップ（２ｂ）をクラスに割り当てるステップ（１６２）を含み、
前記評価を調整するステップ（１９０）は、
・全てのトレーニング例（２ａ）の特徴マップ（２ｂ）を算定するステップ（１９３）と、
・それぞれの目標出力（３ａ）に基づいて、前記特徴マップ（２ｂ）の空間内のクラス間の決定限界を定めるステップ（１９４）と、
を含む、
請求項４乃至６のいずれか一項に記載の方法（１００）。

【請求項8】

画像、オーディオ信号、測定値の時系列、レーダデータ、及び／又は、ＬｉＤＡＲデータが、測定データ（２）として選択される、
請求項１乃至７のいずれか一項に記載の方法（１００）。

【請求項9】

前記下位グラフ（４３）は、視覚的コンテキスト、分類学的コンテキスト、又は、機能的コンテキストに関連する、
請求項１乃至８のいずれか一項に記載の方法（１００）。

【請求項10】

前記下位グラフ（４３）の選択もまた、前記コスト関数（５）による評価（５ａ）に関連して、前記最適化するステップ（１８０）へと導入される（１８１）、
請求項１乃至９のいずれか一項に記載の方法（１００）。

【請求項11】

前記特徴マップ（２ｂ）の空間内の前記下位グラフ（４３）の表現（４３ａ）は、前記トレーニング例（２ａ）及び前記目標出力（３ａ）に基づいて、事前に計算されたルックアップテーブルから呼び出される（１５１）、
請求項１乃至１０のいずれか一項に記載の方法（１００）。

【請求項12】

別の機械学習モデルが、前記特徴マップ（２ｂ）の空間内の前記下位グラフ（４３）の表現（４３ａ）を生成するために、前記ニューラルネットワーク（１）と共にトレーニングされる（１５２）、
請求項１乃至１０のいずれか一項に記載の方法（１００）。

【請求項13】

・トレーニングされたニューラルネットワーク（１）に測定データ（２）が供給され（２００）、これにより、当該トレーニングされたニューラルネットワーク（１）が出力（３）を生成し、
・前記ニューラルネットワーク（１）の出力（３）から駆動制御信号（２１０ａ）が形成され（２１０）、
・車両（５０）、運転支援システム（６０）、品質管理システム（７０）、エリア監視システム（８０）、及び／又は、医用画像形成システム（９０）が、前記駆動制御信号（２１０ａ）によって駆動制御される（２２０）、
請求項１乃至１２のいずれか一項に記載の方法（１００）。

【請求項14】

１つ又は複数のコンピュータ及び／又はコンピュータインスタンス上において実行されるときに、前記１つ又は複数のコンピュータ及び／又はコンピュータインスタンスに請求項１乃至１３のいずれか一項に記載の方法（１００）を実施させるための機械可読命令を含むコンピュータプログラム。

【請求項15】

請求項１４に記載のコンピュータプログラムを含む機械可読データ担体。

【請求項16】

請求項１４に記載のコンピュータプログラムを含む、及び／又は、請求項１５に記載の機械可読データ担体を含む１つ又は複数のコンピュータ及び／又はコンピュータインスタンス。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、例えば、特定のタイプの物体の存在に関連する画像又は他の測定データの分類に利用可能なニューラルネットワークのトレーニングに関する。

【背景技術】

【0002】

背景技術
例えば、特定の物体の存在に関連する画像又は他の測定データを分類するためのニューラルネットワークは、典型的には、目標出力によってラベリングされた多数のトレーニング例が監視されてトレーニングされる。トレーニングの終了後には、トレーニング中には観察されなかった画像又は測定データについても、設定された具体的なタスクに関連する正しい出力をニューラルネットワークが送出することが期待される。

【0003】

このことは、典型的には、後の作用モードにおいてニューラルネットワークに入力される測定データが少なくともトレーニング例と同様の分布又は同一のドメインにどの程度属するかに関して、少なくとも保証されている。S. Monka等著“Learning Visual Models using a Knowledge Graph as a Trainer”、arXiv:2102.08747v2（2021）は、ニューラルネットワークの少なくとも１つの特徴抽出器がナレッジグラフからの包括的な知識の表現によってもトレーニングされるトレーニング方法を開示している。これにより、トレーニングは、トレーニング例の分布内又はドメイン内に完全な形態では存在しなくなった測定データ上において良好に生成される。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】S. Monka等著“Learning Visual Models using a Knowledge Graph as a Trainer”、arXiv:2102.08747v2（2021）

【発明の概要】

【課題を解決するための手段】

【0005】

発明の開示
本発明は、測定データを評価するためのニューラルネットワークをトレーニングする方法を提供する。当該ニューラルネットワークは、測定データから特徴マップを生成する特徴抽出器を有する。このように、ニューラルネットワークに入力される測定データは、まず特徴抽出器を通過して特徴マップへと処理され、その後、次のステップにおいて、当該特徴マップから、設定されたタスク（Task）に関連する出力が算定される。

【0006】

特徴抽出器は、例えば、畳み込み層の積層体を含み得る。これらの畳み込み層のそれぞれにおいて、１つ又は複数のフィルタコアを固定のパターンで適用することにより、畳み込み層の入力から、その次元数が畳み込み層の入力よりも低減された少なくとも１つの特徴マップが生成される。

【0007】

本方法の枠組みにおいては、設定されたタスクに関連する目標出力によってラベリングされたトレーニング例が提供される。さらに、ノードがエンティティを表現しかつエッジがエンティティ間の関係を表現する包括的なナレッジグラフが提供される。このようにして、有向性ナレッジグラフにおいては、例えば、
・具体的な特性を有する別のノードを付加し、元のノードからエッジ「～の特性を有する」で参照を行うことによって、ノードによって表現される物体又は他のエンティティが特定の特性を有すること、
・具体的な下位クラスを有する別のノードを付加し、エッジ「～の下位クラスである」で元のノードへ参照を行うことによって、ノードによって表現される物体又は他のエンティティが下位クラスを有すること、及び／又は、
・具体的な上位クラスを有する別のノードを付加し、元のノードからエッジ「～の下位クラスである」で参照を行うことによって、ノードによって表現される物体又は他のエンティティが上位クラスに属すること
が符号化可能となる。

【0008】

例えば、交通標識は、形状、色及びシンボルを有し得るものであり、また、特定の国において有効である。クラス「交通標識」は、例えば、指示標識、危険標識、規則標識、禁止標識及び優先標識についての下位クラスを含み得る。逆に、クラス「交通標識」が「交通関連物体」の下位クラスとなることもある。

【0009】

包括的なナレッジグラフからは、設定されたタスクを解決するためのコンテキストに関連する下位グラフが選択される。この場合、コンテキストを設けることができる。ただし、後に説明するように、下位グラフの選択もまた、最適化の枠組みにおいて完全自動で又は部分自動で実行することもできる。

【0010】

ここで、各トレーニング例に対して、ニューラルネットワークの特徴抽出器を用いて、特徴マップが算定される。さらに、それぞれのトレーニング例から、それぞれの目標出力に関連して、特徴マップの空間内の下位グラフの表現が算定される。ここで、「特徴マップの空間内」とは、特に、一方の表現と他方の特徴マップとの間の比較結果及び／又は類似度若しくは距離尺度が説明されていることを意味する。

【0011】

表現は特に、例えば、任意の「ナレッジグラフ埋め込み」法を用いて算定することができ、この方法によって、下位グラフを、エンティティ間の差を距離の形態で識別し得る表現へと移行させることができる。例えば、このために、下位グラフを入力として受け取る“Ｇｒａｐｈ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ”すなわちＧＮＮを使用することができる。このようなＧＮＮは特に、例えば、下位グラフのノードごとに表現を算定することができる。

【0012】

特徴マップから、設定されたタスクに関連する出力が評価される。これは、例えば、同様にトレーニング可能なタスクヘッドによって行うことができる。ただし、さらに後述するように、当該タスクヘッドの分類タスクにつき特別に、ガウス過程としての評価をモデル化することによって置換することもできる。

【0013】

ここで、設定されたコスト関数を用いて、特徴マップが下位グラフの表現にどの程度類似しているかが評価される。

【0014】

ニューラルネットワークの挙動を特徴付けるパラメータは、トレーニング例のさらなる処理の際にコスト関数による評価を予測により改善する目的で、最適化される。パラメータは、特に、例えばニューラルネットワークのニューロン又は他の処理ユニットに供給される入力を重み付け加算するための重みを含み得る。さらに、特徴マップの評価は、各トレーニング例に対する出力がそれぞれのトレーニング例に対する目標出力に可能な限り良好に対応するように調整される。

【0015】

それぞれ次の学習ステップのためのパラメータの変化量は、特に、例えば勾配降下法において算定することができ、この勾配降下法では、コスト関数による評価がニューラルネットワークを通して逆伝播され、次の学習ステップにおいて、それぞれのパラメータを変化させるための勾配へと変換される。

【0016】

具体的なタスクの解決にとって、多くの場合、全体としてナレッジグラフに格納された知識のうちの小さい部分しか関与しないことが認識されている。こうした小さい部分の作用は、具体的なタスクにとってあまり重要でない非常に多くの他の知識によって完全に若しくは部分的に隠蔽されたり又は中性化されたりすることがある。このような傾向が、下位グラフの事前選択によって抑制される。

【0017】

さらに、下位グラフの選択による特定のコンテキストへのフォーカシングにより、多義性の発生が抑制される。こうした多義性は、人間の知覚に基づき、いわゆる「多義図形」によって具体的に示すことができる。「多義図形」は、個人の関連付けのコンテキストに依存して、可能な複数の意味論的意味のうちの１つによって主観的に知覚される。例えば、ルビンの壺の画像を目にした際に物体を想起した人は、画像内に壺を認識する。これに対して、画像を人物に関連付けた人は、画像内に向かい合った２つの顔を認識する。ここで、非常に広範囲にわたるナレッジグラフが特徴マップの空間内の表現へと変換されると、そこでは、想定され得る複数の意味論的意味、すなわち、例えば、「壺」及び「顔」が重なる可能性があり、このことは、ナレッジグラフの利用の意図される効果を損ないかねず又は相殺するおそれさえある。本明細書において提案するコンテキストの選択によれば、このような場合にも厳密に１つの意味論的意味が選択される。

【0018】

特に有利な構成においては、ニューラルネットワークが、付加的に、設定されたタスクに関して当該特徴マップを評価するためのタスクヘッドを備える。当該タスクヘッドも同様にトレーニング可能である。この場合、特徴マップの評価の調整には、
・各トレーニング例に対するタスクヘッドの出力がそれぞれのトレーニング例に対する目標出力にどの程度良好に対応するかを、コスト関数を用いて評価することと、
・タスクヘッドのパラメータもまたコスト関数による評価に関して最適化することと、
が含まれる。

【0019】

例えば、２つの寄与を有するコスト関数を使用することができる。第１の寄与は、特徴マップと下位グラフの表現との間の類似度に関連し、第２の寄与は、出力と目標出力との一致度に関連する。パラメータの最適化、例えば勾配降下法による最適化の際には、特徴抽出器のパラメータのみに第１の寄与が作用する。これは、当該類似度がタスクヘッドの挙動に依存しないからである。これに対して、第２の寄与は、特徴マップがタスクヘッドの作業の基礎を形成するので、タスクヘッドのパラメータと特徴抽出器のパラメータとの双方に非常に良好に作用し得る。

【0020】

しかし、タスクヘッドが、例えば最適化後も特徴マップと下位グラフの表現との間の類似度に関して、別個に固有のコスト関数を用いてトレーニングを行うことができる一方、特徴抽出器の挙動を特徴付けるパラメータは凍結されている。

【0021】

タスクヘッドは特に、例えば最後に計算された特徴マップの全体にアクセスしてこの特徴マップを所望の出力のために圧縮する全結合層を含み得る。

【0022】

特に有利な構成においては、下位グラフの表現に対する特徴マップの類似度は、他の目標出力を用いて他のトレーニング例につき算定された特徴マップに対する下位グラフの表現の類似度と比較される。すなわち、コスト関数による評価は、
・それぞれのトレーニング例から算定された特徴マップが当該トレーニング例に基づいて算定された下位グラフの表現に類似しているほど（「正の例」）、及び、
・下位グラフの表現が他の目標出力を用いて他のトレーニング例につき算定された特徴マップに類似していないほど（「負の例」）、
より良好となる。

【0023】

これにより、下位グラフの表現に対する類似度に関連するコスト関数（損失関数とも称する）への寄与は、最も広い意味でのメッセージング技術における信号対雑音比と同等の「コントラスト損失」となる。類似度又は非類似度は、適当なあらゆる類似性尺度によって、例えば余弦類似度によって測定することができる。

【0024】

目標出力は特に、例えば、測定データの設定された分類の１つ又は複数のクラスに関連する分類スコアを含み得る。すなわち、ニューラルネットワークを、測定データのための分類器として構成することができる。この場合、クラスは特に、例えば測定データにより当該測定データの記録時に監視される領域内に存在することが示された物体のタイプを表現することができる。このような用途においては、まさに、多義性の解決が特に有利である。

【0025】

この場合、特に、例えば、車両の周囲における車両、交通標識、車線標示、交通障害物、及び／又は、他の交通関連物体を、物体のタイプとして選択することができる。これらの物体のタイプにおいては、まさに、ナレッジグラフの利用により意図される、トレーニング例の分布又はドメインとは異なる分布又はドメインへの一般化が特に重要である。ここで、例えば、同様の意味論的意味を有する交通標識も、他の国においては、幾分異なった外観を有する。例えば、ヨーロッパの多くの国の危険標識は、シンボルが配置された白色の面を含む赤色の三角形から成る。他の国においては、三角形につき異なる色調の赤色が定められており、又は、わずかに異なるシンボルが用いられている。フィンランド及びギリシャにおいてはさらに、赤色の三角形の内部に、白色の面に代えて黄色の面が使用されている。

【0026】

同様に、交通標識及び他の交通関連物体の場合にはまさに、特定のコンテキストへのフォーカシングによって改善される識別の一義性が重要である。

【0027】

他の有利な構成においては、特徴マップを評価するステップには、ガウス過程を用いて特徴マップをクラスに割り当てるステップが含まれる。この場合、評価を調整するステップには、
・全てのトレーニング例の特徴マップを算定するステップと、
・それぞれの目標出力に基づいて、特徴マップの空間内のクラス間の決定限界を定めるステップと、
が含まれる。

【0028】

特に、全ての特徴マップの全体から、個々の各クラスに対してそれぞれ平均値行列及び共分散行列を算定することができる。これらからクラス間の決定限界を定めることができる。

【0029】

トレーニングされたニューラルネットワークに対して後の作用動作中に測定データが供給されると、この測定データは、まず特徴抽出器によって特徴マップへと処理される。ここで、当該特徴マップに対して、ガウス過程により、各クラスに対して、特徴マップが当該クラスに属する確率が割り当てられる。この場合、最大確率を有するクラスを分類器の最終的な判定として評価することができる。

【0030】

特徴マップを１つのクラスに割り当てるためにタスクヘッドに代えてガウス過程を使用することにより、一方の特徴抽出器のトレーニングと他方のタスクヘッドのトレーニングとの間の相互作用が回避されるという利点が得られる。このような相互作用は、下位グラフを用いた特徴抽出器のトレーニングを妨害する可能性がある。なぜなら、タスクヘッドのトレーニングは、下位グラフの使用から利益を得ることができないからである。

【0031】

測定データとして特に、例えば、画像、オーディオ信号、測定値の時系列、レーダデータ及び／又はＬｉＤＡＲデータを選択することができる。これらのデータ形式はまさに、多くの様相に関連する記述を含み得るという意味で非常に多様である。下位グラフを選択することにより、検査すべき様相を選択することができる。下位グラフは特に、例えば、測定データの視覚的コンテキスト、分類学的コンテキスト又は機能的コンテキストに関連するものとすることができる。

【0032】

視覚的コンテキストは、物体の抽象的な視覚的特性、例えば、色、形状又はテクスチャを記述する。これらの特性は、トレーニング例の設定されたセット内に存在するものとしてよく又は存在しないものとしてもよい。下位グラフを利用することにより、この点に関して、トレーニング例において下位グラフを有利に拡張することができる。例えば、トレーニング例のデータセットが条件に応じた白い馬が存在する画像のみを含む場合、下位グラフにより、特徴抽出器に、馬が他の色を有していてもよいという付加情報を伝達することができる。

【0033】

分類学的コンテキストは、階層に基づいたクラス間の関係を記述する。分類法により、特に、例えば外部の予備知識を考慮することができる。このため、例えば、交通標識が情報、警告、規定、規則又は禁止を表示できるようにする交通標識の分類が存在する。したがって、当該分類法には、例えば車両の自動誘導に必要とされる、交通標識の意味論的意味の重要部分が組み込まれている。

【0034】

機能的コンテキストは、物体の機能を記述する特性を含む。ここで、例えば、ねじ止め、鋸切削又は穿孔を行うことができるかどうかに応じて工具をカテゴリ分類することができる。

【0035】

特に有利な他の構成においては、下位グラフの選択もまた、コスト関数による評価に関連して、最適化するステップへと導入される。すなわち、例えば、下位グラフの表現とトレーニング例から生成された特徴マップとの最良の一致が得られる下位グラフを算定することができる。例えば、複数の候補下位グラフを作成することができ、当該各候補下位グラフに対してニューラルネットワークのトレーニングを実行することができる。次いで、例えば、コスト関数の最良の値を得ることが可能な候補下位グラフを最終的に選択することができる。候補下位グラフの作成は、特に、例えば、下位グラフの検索空間を体系的に検査すること、及び／又は、候補下位グラフをヒューリスティックスに基づいて算定することを含み得る。特に、ナレッジグラフの内容に関する予備知識を考慮して検索空間を限定することができ、及び／又は、こうした予備知識をヒューリスティクスに含めることができる。

【0036】

他の有利な構成においては、特徴マップの空間内の下位グラフの表現は、トレーニング例及び目標出力に基づいて、事前に計算されたルックアップテーブルから呼び出される。よって、下位グラフの表現を計算する際のコストをフロントローディングすることができる。

【0037】

他の有利な構成においては、別の機械学習モデルが、特徴マップの空間内の下位グラフの表現を生成するために、ニューラルネットワークと共にトレーニングされる。例えば、この目的のために、下位グラフ又は包括的なナレッジグラフを既に入力として受け取るグラフニューラルネットワークＧＮＮを使用することができる。この場合、一方の特徴抽出器と他方の下位グラフの表現の生成部とは、特徴マップと下位グラフの表現との類似度を最大化するために同程度に寄与することができる。

【0038】

他の有利な構成においては、トレーニングされたニューラルネットワークに測定データが供給される。ニューラルネットワークの出力からは、駆動制御信号が形成される。車両、運転支援システム、品質管理システム、エリア監視システム、及び／又は、医用画像形成システムが、当該駆動制御信号によって駆動制御される。この場合、トレーニングの際に使用されたトレーニング例を超えて一般化を行うニューラルネットワークの改善された能力に基づき、駆動制御されるそれぞれのシステムの応動が測定データによって検出された状況に対して適当なものとなる確率が高まる。

【0039】

当該方法は、特に完全に又は部分的にコンピュータ実装可能である。したがって、本発明は、１つ又は複数のコンピュータ及び／又はコンピュータインスタンスにおいて実行される際に当該１つ又は複数のコンピュータ及び／又はコンピュータインスタンスに上述した方法を実施させるための機械可読命令を含むコンピュータプログラムにも関する。この意味においては、同様に機械可読命令を実行し得る車両用の制御装置及び技術装置用のエンベデッドシステムもコンピュータとみなすことができる。コンピュータインスタンスの例は、クラウド内において機械可読命令を実行する仮想機械、コンテナ又はサーバレス実行環境である。

【0040】

同様に、本発明は、コンピュータプログラムを含む機械可読データ担体及び／又はダウンロード製品にも関する。ダウンロード製品とは、データネットワークを介して伝送可能なデジタル製品、すなわち、データネットワークのユーザがダウンロード可能なデジタル製品であり、例えばオンラインショップでの即時ダウンロードにおいて入手可能である。

【0041】

さらに、コンピュータには、コンピュータプログラム、機械可読データ担体又はダウンロード製品が備えられているものとしてよい。

【0042】

本発明を改善する他の措置を、図面に即した本発明の好ましい実施例の説明と共に、以下において詳細に説明する。

【図面の簡単な説明】

【0043】

【図1】ニューラルネットワーク１をトレーニングする方法１００の実施例を示す図である。

【図2】包括的なナレッジグラフ４の下位グラフ４３に関する様々なコンテキストが考慮されることを示す図である。

【発明を実施するための形態】

【0044】

実施例
図１は、ニューラルネットワーク１をトレーニングする方法の一実施例の概略的なフローチャートである。当該ニューラルネットワーク１は、測定データ２から特徴マップ２ｂを生成する特徴抽出器１１を有する。

【0045】

ステップ１１０において、トレーニング例２ａが用意される。当該トレーニング例２ａは、設定されたタスクに関連する目標出力３ａによってラベリングされている。

【0046】

ステップ１２０において、ノード４１がエンティティを表現しかつエッジ４２がエンティティ間の関係を表現する包括的なナレッジグラフ４が用意される。例えば、第１のエンティティ４１としての物体を、エッジ４２としての関係「～を有する／～である」を介して、第２のエンティティ４１としての特性に結び付けることができる。

【0047】

ステップ１３０において、包括的なナレッジグラフ４から、設定されたタスクを解決するためのコンテキストに関連する下位グラフ４３が選択される。

【0048】

ステップ１４０において、各トレーニング例２ａに対してニューラルネットワークの特徴抽出器１１により、特徴マップ２ｂが算定される。

【0049】

ステップ１５０においては、それぞれの目標出力３ａに関連するそれぞれのトレーニング例２ａから、特徴マップ２ｂの空間内の下位グラフ４３の表現４３ａが算定される。

【0050】

ブロック１５１によれば、トレーニング例２ａ及び目標出力３ａに基づいて、事前に計算されたルックアップテーブルから、特徴マップ２ｂの空間内の下位グラフ４３の表現４３ａを呼び出すことができる。

【0051】

ブロック１５２によれば、別の機械学習モデルを、特徴マップ２ｂの空間内の下位グラフ４３の表現４３ａを生成するために、ニューラルネットワーク１と共にトレーニングすることができる。

【0052】

ステップ１６０においては、特徴マップ２ｂから、設定されたタスクに関連する出力３が評価される。

【0053】

ブロック１６１によれば、ニューラルネットワーク１の付加的なタスクヘッド１２を用いて、特徴マップ２ｂから出力３を評価することができる。

【0054】

ブロック１６２によれば、特徴マップ２ｂの評価は、ガウス過程を用いて特徴マップ２ｂを出力３としてのクラスに割り当てることを含み得る。

【0055】

ステップ１７０においては、設定されたコスト関数５を用いて、特徴マップ２ｂが下位グラフ４３の表現４３ａにどの程度類似しているかが評価される。コスト関数５は、評価５ａを出力する。

【0056】

ブロック１７１によれば、下位グラフ４３の表現４３ａに対する特徴マップ２ｂの類似度が、他の目標出力３ａ’を用いて他のトレーニング例２ａ’につき算定された特徴マップ２ｂ’に対する下位グラフ４３の表現４３ａの類似度と比較可能となる。

【0057】

ステップ１８０においては、トレーニング例２ａのさらなる処理の際にコスト関数５による評価５ａを予測により改善する目的で、ニューラルネットワーク１（及びここでは特に特徴抽出器１１）の挙動を特徴付けるパラメータ１ａ，１１ａが最適化される。パラメータ１ａ，１１ａの最終的なトレーニング状態には、符号１ａ^＊，１１ａ^＊が付されている。

【0058】

ブロック１８１によれば、下位グラフ４３の選択もまた、コスト関数５による評価５ａに関連して、最適化へと導入することができる。

【0059】

ステップ１９０においては、各トレーニング例２ａに対する出力３がそれぞれのトレーニング例２ａに対する目標出力３ａに可能な限り良好に対応するように、特徴マップ２ｂの評価が調整される。

【0060】

特徴マップ２ｂがブロック１６１によりタスクヘッド１２を用いて評価される場合、コスト関数５，５’を用いるブロック１９１により、各トレーニング例２ａに対するタスクヘッド１２の出力３がそれぞれのトレーニング例２ａに対するそれぞれの目標出力３ａにどの程度良好に対応するかを評価することができる。この場合、ブロック１９２によれば、タスクヘッド１２のパラメータ１ａ，１２ａを、コスト関数５，５’による評価５ａ，５ａ’に関して最適化することができる。ここでのトレーニングは、特徴抽出器１１のトレーニングと同時に実行可能であり、又は、特徴抽出器１１のトレーニングが終了した後にはじめて実行可能となる。

【0061】

特徴マップ２ｂがブロック１６２によりガウス過程を用いて評価される場合、ブロック１９３によれば全てのトレーニング例２ａについての特徴マップ２ｂを算定することができる。次いで、ブロック１９４によれば、それぞれの目標出力３ａに基づいて、特徴マップ２ｂの空間内のクラス間の決定限界を定めることができる。

【0062】

図１に示されている例においては、ステップ２００において、トレーニングされたニューラルネットワーク１に測定データ２が供給され、これにより、トレーニングされたニューラルネットワーク１が出力３を生成する。

【0063】

ステップ２１０においては、ニューラルネットワーク１の出力３から駆動制御信号２１０ａが形成される。

【0064】

ステップ２２０においては、車両５０、運転支援システム６０、品質管理システム７０、エリア監視システム８０、及び／又は、医用画像形成システム９０が、駆動制御信号２１０ａによって駆動制御される。

【0065】

図２には、ニューラルネットワーク１のトレーニングにおいて包括的なナレッジグラフ４の下位グラフ４３に関する様々なコンテキストを考慮し得る様子が示されている。

【0066】

第１の下位グラフ４３は、視覚的コンテキストを表現しており、特徴マップ２ｂの空間内に例示的な表現４３ａを有する。第２の下位グラフ４３’は、分類学的コンテキストを表現しており、特徴マップ２ｂの空間内に例示的な表現４３ａ’を有する。第３の下位グラフ４３’’は、分類学的コンテキストを表現しており、特徴マップ２ｂの空間内に例示的な表現４３ａ’’を有する。

【0067】

どのコンテキストが選択されるかに応じて、与えられたトレーニング例２ａに対し、目標出力３ａを用いて、それぞれの下位グラフ４３，４３’又は４３’の表現４３ａ，４３ａ’又は４３ａ’’がトレーニング例２ａの特徴マップ２ｂと比較され、類似度が評価される。

【図1】

【図2】

【手続補正書】

【提出日】2023-10-12

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

測定データ（２）を評価するためのニューラルネットワーク（１）をトレーニングする方法（１００）であって、前記ニューラルネットワーク（１）は、測定データ（２）から特徴マップ（２ｂ）を生成する特徴抽出器（１１）を有する、方法（１００）において、
・設定されたタスクに関連する目標出力（３ａ）によってラベリングされたトレーニング例（２ａ）を用意するステップ（１１０）と、
・ノード（４１）がエンティティを表現しかつエッジ（４２）が前記エンティティ間の関係を表現する包括的なナレッジグラフ（４）を用意するステップ（１２０）と、
・前記包括的なナレッジグラフ（４）から、設定されたタスクを解決するためのコンテキストに関連する下位グラフ（４３）を選択するステップ（１３０）と、
・各トレーニング例（２ａ）に対して、前記ニューラルネットワークの特徴抽出器（１１）を用いて特徴マップ（２ｂ）を算定するステップ（１４０）と、
・それぞれの目標出力（３ａ）に関連する各トレーニング例（２ａ）から、前記特徴マップ（２ｂ）の空間内の下位グラフ（４３）の表現（４３ａ）を算定するステップ（１５０）と、
・前記特徴マップ（２ｂ）から、設定されたタスクに関連する出力（３）を評価するステップ（１６０）と、
・設定されたコスト関数（５）を用いて、前記特徴マップ（２ｂ）が前記下位グラフ（４３）の表現（４３ａ）にどの程度類似しているかを評価するステップ（１７０）と、
・トレーニング例（２ａ）のさらなる処理の際に前記コスト関数（５）による評価（５ａ）を予測により改善する目的で、前記ニューラルネットワーク（１）の挙動を特徴付けるパラメータ（１ａ，１１ａ）を最適化するステップ（１８０）と、
・各トレーニング例（２ａ）に対する出力（３）がそれぞれのトレーニング例（２ａ）に対する目標出力（３ａ）に可能な限り良好に対応するように、前記特徴マップ（２ｂ）の評価を調整するステップ（１９０）と、
を含む方法（１００）。

【請求項2】

前記ニューラルネットワーク（１）は、付加的に、前記設定されたタスクに関して前記特徴マップ（２ｂ）を評価（１６０，１６１）するためのタスクヘッド（１２）を備え、
前記特徴マップ（２ｂ）の評価を調整するステップ（１９０）は、
・各トレーニング例（２ａ）に対する前記タスクヘッド（１２）の出力（３）がそれぞれのトレーニング例（２ａ）に対する目標出力（３ａ）にどの程度良好に対応するかを、コスト関数（５，５’）を用いて評価するステップ（１９１）と、
・前記タスクヘッド（１２）のパラメータ（１ａ，１２ａ）を、前記コスト関数（５，５’）による評価（５ａ，５ａ’）に関して最適化するステップ（１９２）と、
を含む、
請求項１に記載の方法（１００）。

【請求項3】

前記下位グラフ（４３）の表現（４３ａ）に対する前記特徴マップ（２ｂ）の類似度が、他の目標出力（３ａ’）を用いて他のトレーニング例（２ａ’）につき算定された特徴マップ（２ｂ’）に対する下位グラフ（４３）の表現（４３ａ）の類似度と比較される（１７１）、
請求項１に記載の方法（１００）。

【請求項4】

前記目標出力（３ａ）は、前記測定データ（２）の設定された分類の１つ又は複数のクラスに関連する分類スコアを含む、
請求項１に記載の方法（１００）。

【請求項5】

前記設定された分類のクラスは、測定データ（２）により当該測定データ（２）の記録時に監視される領域内に存在することが示された物体のタイプを表現する、
請求項４に記載の方法（１００）。

【請求項6】

車両（５０）の周囲における他の車両、交通標識、車線標示、交通障害物、及び／又は、他の交通関連物体が、物体のタイプとして選択される、
請求項５に記載の方法（１００）。

【請求項7】

前記特徴マップ（２ｂ）を評価するステップ（１６０）は、ガウス過程を用いて前記特徴マップ（２ｂ）をクラスに割り当てるステップ（１６２）を含み、
前記評価を調整するステップ（１９０）は、
・全てのトレーニング例（２ａ）の特徴マップ（２ｂ）を算定するステップ（１９３）と、
・それぞれの目標出力（３ａ）に基づいて、前記特徴マップ（２ｂ）の空間内のクラス間の決定限界を定めるステップ（１９４）と、
を含む、
請求項４に記載の方法（１００）。

【請求項8】

画像、オーディオ信号、測定値の時系列、レーダデータ、及び／又は、ＬｉＤＡＲデータが、測定データ（２）として選択される、
請求項１に記載の方法（１００）。

【請求項9】

前記下位グラフ（４３）は、視覚的コンテキスト、分類学的コンテキスト、又は、機能的コンテキストに関連する、
請求項１に記載の方法（１００）。

【請求項10】

前記下位グラフ（４３）の選択もまた、前記コスト関数（５）による評価（５ａ）に関連して、前記最適化するステップ（１８０）へと導入される（１８１）、
請求項１に記載の方法（１００）。

【請求項11】

前記特徴マップ（２ｂ）の空間内の前記下位グラフ（４３）の表現（４３ａ）は、前記トレーニング例（２ａ）及び前記目標出力（３ａ）に基づいて、事前に計算されたルックアップテーブルから呼び出される（１５１）、
請求項１に記載の方法（１００）。

【請求項12】

機械学習モデルが、前記特徴マップ（２ｂ）の空間内の前記下位グラフ（４３）の表現（４３ａ）を生成するために、前記ニューラルネットワーク（１）と共にトレーニングされる（１５２）、
請求項１に記載の方法（１００）。

【請求項13】

・トレーニングされたニューラルネットワーク（１）に測定データ（２）が供給され（２００）、これにより、当該トレーニングされたニューラルネットワーク（１）が出力（３）を生成し、
・前記ニューラルネットワーク（１）の出力（３）から駆動制御信号（２１０ａ）が形成され（２１０）、
・車両（５０）、運転支援システム（６０）、品質管理システム（７０）、エリア監視システム（８０）、及び／又は、医用画像形成システム（９０）が、前記駆動制御信号（２１０ａ）によって駆動制御される（２２０）、
請求項１に記載の方法（１００）。

【請求項14】

１つ又は複数のコンピュータ上において実行されるときに、前記１つ又は複数のコンピュータに請求項１に記載の方法（１００）を実施させるための機械可読命令を含むコンピュータプログラム。

【請求項15】

請求項１４に記載のコンピュータプログラムを含む機械可読データ担体。

【請求項16】

請求項１４に記載のコンピュータプログラムを含む、又は、請求項１５に記載の機械可読データ担体を含む１つ又は複数のコンピュータ。

【外国語明細書】