(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024180359
(43)【公開日】2024-12-26
(54)【発明の名称】センサシステムのセンサ値の経年変化に起因する偏差を補正するための方法
(51)【国際特許分類】
G06N 3/04 20230101AFI20241219BHJP
G01D 18/00 20060101ALI20241219BHJP
【FI】
G06N3/04 100
G01D18/00
【審査請求】未請求
【請求項の数】13
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2024096477
(22)【出願日】2024-06-14
(31)【優先権主張番号】10 2023 205 657.7
(32)【優先日】2023-06-16
(33)【優先権主張国・地域又は機関】DE
(71)【出願人】
【識別番号】390023711
【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング
【氏名又は名称原語表記】ROBERT BOSCH GMBH
【住所又は居所原語表記】Stuttgart, Germany
(74)【代理人】
【識別番号】100114890
【弁理士】
【氏名又は名称】アインゼル・フェリックス=ラインハルト
(74)【代理人】
【識別番号】100098501
【弁理士】
【氏名又は名称】森田 拓
(74)【代理人】
【識別番号】100116403
【弁理士】
【氏名又は名称】前川 純一
(74)【代理人】
【識別番号】100134315
【弁理士】
【氏名又は名称】永島 秀郎
(74)【代理人】
【識別番号】100162880
【弁理士】
【氏名又は名称】上島 類
(72)【発明者】
【氏名】パトリック トリッチュラー
(72)【発明者】
【氏名】トビアス ヒラー
【テーマコード(参考)】
2F076
【Fターム(参考)】
2F076AA06
2F076AA18
(57)【要約】 (修正有)
【課題】物理変数を測定するために、トレーニングされたデータに基づく較正モデルを事後較正するセンサシステム及びコンピュータ実装方法を提供する。
【解決手段】センサシステムにおいて、較正モデルは、センサ状態を表すセンサ状態グラフに依存して、出力変数と複数の補助変数とを含む出力ベクトルを出力するようにトレーニングされたニューラルグラフネットワークとして構成され、物理変数に関する1捕捉変数と、センサシステムに対する環境の影響を示す状態変数とを捕捉し、捕捉変数と1状態変数とに依存してセンサ状態グラフを捕捉時点において求め、センサ状態グラフを拡張し、拡張されたセンサ状態グラフを、出力ベクトルを得るために、データに基づく較正モデルを用いて評価し、出力ベクトルに依存して損失を決定し、決定された損失に依存して較正モデルを教師なしトレーニングする。
【選択図】
図1
【特許請求の範囲】
【請求項1】
1つ又は複数の物理変数を測定するためのセンサシステム(1)において使用するための、トレーニングされた、データに基づく較正モデル(6)を事後較正するための方法、特にコンピュータ実装された方法であって、前記データに基づく較正モデル(6)は、センサ状態を表すセンサ状態グラフ(10)に依存して、1つ又は複数の出力変数(A)と複数の補助変数とを含む出力ベクトルを出力するようにトレーニングされた、ニューラルグラフネットワークとして構成されている、方法において、
-1つ又は複数の物理変数に関する1つ又は複数の捕捉変数(E)と、センサシステム(1)に対する1つ又は複数の環境の影響を示す1つ又は複数の状態変数(Z)とを捕捉時点において捕捉するステップ(S2)と、
-前記1つ又は複数の捕捉変数(E)と前記1つ又は複数の状態変数(Z)とに依存してセンサ状態グラフ(10)を求めるステップ(S3)と、
-前記センサ状態グラフ(10)を拡張するステップ(S4)と、
-前記拡張されたセンサ状態グラフ(10)を、出力ベクトルを得るために、データに基づく較正モデル(6)を用いて評価するステップ(S5)と、
-前記出力ベクトルに依存して損失(L)を決定するステップと、
-前記決定された損失(L)に依存して前記較正モデル(6)を教師なしトレーニングするステップ(S6)と、
を含む方法。
【請求項2】
前記センサ状態グラフ(10)を求めるステップは、前記センサ状態グラフ(10)のノードに、前記捕捉時点における前記1つ又は複数の捕捉変数(E)と前記1つ又は複数の状態変数(Z)とに対応するノード変数を割り当て、前記センサ状態グラフ(10)のそれぞれ2つのノードを相互接続する前記センサ状態グラフ(10)の辺に、前記それぞれの辺によって接続されたノード間の相関を表す前記捕捉変数(E)又は前記状態変数(Z)を示すそれぞれ1つの辺変数を割り当てることによって実施され、特に、前記相関は、予め設定された時間窓内の前記捕捉変数(E)又は前記状態変数(Z)の時間経過の評価によって決定される、請求項1に記載の方法。
【請求項3】
前記センサ状態グラフ(10)を拡張するステップは、1つ又は複数のノードをランダムに除去すること、1つ又は複数の辺をランダムに除去すること、ノード変数をランダムに交換すること、及び/又は、辺変数をランダムに交換することによって実施される、請求項2に記載の方法。
【請求項4】
前記損失(L)は、
-前記較正モデル(6)を用いて、前記較正モデル(6)に対応する又は前記較正モデル(6)に対して付加的に下流側に配置される1つ又は複数のさらなるニューロン層又はデータに基づくモデルを含む評価モデルを提供し、
-前記評価モデル(21)と同様にトレーニングされ、かつ、前記評価モデル(21)に関して他の構成(24)を有する双子モデル(23)を提供し、
-評価ベクトル(B)を得るために、拡張されたセンサ状態グラフ(10)を前記評価モデル(21)により評価し、
-さらなる評価ベクトル(B)を得るために、さらなる拡張されたセンサ状態グラフ(10)を前記双子モデル(23)によって評価し、
-前記損失を、前記評価ベクトル(B)間の差異の尺度として求める
ことによって決定される、請求項1乃至3のいずれか一項に記載の方法。
【請求項5】
前記損失(L)に依存して、前記評価モデルも前記双子モデルも事後トレーニングされる、請求項4に記載の方法。
【請求項6】
前記損失(L)は、コサイン類似度又はユークリッド距離として求められる、請求項4又は5に記載の方法。
【請求項7】
前記較正モデル(6)は、前記補助変数が前記較正モデル(6)の出力グラフを示すように提供され、
前記損失(L)は、
-再構築されたセンサ状態グラフ(10)を得るために、前記較正モデル(6)を、拡張された前記センサ状態グラフ(10)を用いて評価し、
-前記損失(L)を、元のセンサ状態グラフ(10)と再構成されたセンサ状態グラフとの間の差異の尺度として求める
ことによって決定される、請求項1乃至3のいずれか一項に記載の方法。
【請求項8】
前記データに基づく較正モデル(6)は、前記損失(L)が複数のセンサ状態について求められ、かつ、さらなる損失(L)が教師ありトレーニングのためのトレーニングデータセットから求められることによって、前記センサシステム(1)の運転開始前に初期トレーニングされ(S1)、全損失(L)が前記損失(L)と前記さらなる損失とから決定され、これによって、前記較正モデル(6)が初期トレーニングされる、請求項1乃至7のいずれか一項に記載の方法。
【請求項9】
前記1つ又は複数の出力変数は、1つ又は複数の補正変数に依存して、1つ又は複数のセンサ出力変数を得るために、前記1つ又は複数の捕捉変数(E)に印加するための1つ又は複数の補正変数を含み、又は、前記1つ又は複数の出力変数は、前記1つ又は複数のセンサ出力変数に対応する、請求項1乃至8のいずれか一項に記載の方法。
【請求項10】
前記較正モデル(6)は、前記1つ又は複数の捕捉変数(E)と、前記センサ状態グラフの前記1つ又は複数の状態変数(Z)とに依存して決定されるように使用され、前記センサ状態グラフに依存して前記1つ又は複数の出力変数が決定される、請求項1乃至9のいずれか一項に記載の方法。
【請求項11】
請求項1乃至10のいずれか一項に記載の方法を実施するように構成されている、データ処理装置を備えた装置。
【請求項12】
コンピュータプログラム製品であって、少なくとも1つのデータ処理装置によって実行されるときに、前記データ処理装置に、請求項1乃至9のいずれか一項に記載の方法のステップを実施させるための命令を含むコンピュータプログラム製品。
【請求項13】
機械可読記憶媒体であって、少なくとも1つのデータ処理装置によって実行されるときに、前記データ処理装置に、請求項1乃至9のいずれか一項に記載の方法のステップを実施させるための命令を格納している機械可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、少なくとも1つのセンサ変数を捕捉するためのセンサシステムに関する。本発明は、さらに、センサシステムの動作中に教師なし適合化又は教師なしトレーニングされる、データに基づく補正モデルを用いて、経年変化の影響を補正するための手段に関する。
【背景技術】
【0002】
センサシステムは、通常、その製造後に較正される。なぜなら、使用されるコンポーネントが、許容誤差の範囲内に存在する偏差を有しているからである。較正は、数学的較正モデルに基づいて実施することができ、この場合、モデルのモデルパラメータは、較正過程の際に個々のセンサシステムに適合化される。このために、例えば較正過程中、センサシステムにより、基準状態についての測定値が記録され、測定値に依存して、モデルパラメータが、比較アルゴリズムを介して適合化される。較正モデルはセンサシステムに統合されており、それにより、センサ生データに対応する捕捉変数が、較正モデルを用いて、測定変数の提供のために処理される。
【0003】
センサシステムの使用場所に応じて、多少の動作時間が経過した後で、及び/又は、周囲条件が変化した場合の累積効果に基づき、元の較正は、もはやセンサシステムにとって最適に適合化されない場合がある。事後較正を用いることにより、この偏差は補償可能ではあるが、これはセンサシステムの正確な機能方式及びその較正に関する知識不足に基づいて不十分であることが多い。その他にも、センサシステムの寿命にわたって経年変化の影響に基づき特性が変化するため、較正モデルは、いつまでもセンサ値の十分に良好な補正を行うことができるわけではない。
【0004】
較正モデルについては、本来の初期較正過程の後でこれを新たな条件に適合化させるための適合化方法が既に公知である。これらは、いわゆるテストタイムトレーニングアルゴリズムであり、それらは、例えば、Liu,Yuejiang等による文献「TTT++: When Does Self-Supervised Test-Time Training Fail or Thrive?」(2021年)、及び、Sun,Yu等による文献「Test-Time Training for Out-of-Distribution Generalization」(2019年)から公知である。このような場合には、トレーニングタスクは、例えば、ニューラルネットワークによる画像分類であり、ここでは、教師なし事後トレーニングがラベルなしで記載される。
【先行技術文献】
【非特許文献】
【0005】
【非特許文献1】Liu,Yuejiang等著、「TTT++: When Does Self-Supervised Test-Time Training Fail or Thrive?」(2021年)
【非特許文献2】Sun,Yu等著、「Test-Time Training for Out-of-Distribution Generalization」(2019年)
【発明の概要】
【発明が解決しようとする課題】
【0006】
発明の開示
本発明によれば、請求項1によるセンサシステム用の、データに基づく較正モデルを適合化するための方法、及び、並列的関係におかれた請求項によるセンサシステムが想定される。
【0007】
さらなる実施形態は、従属請求項に記載されている。
【課題を解決するための手段】
【0008】
第1の態様によれば、1つ又は複数の物理変数を測定するためのセンサシステムにおいて使用するための、データに基づく較正モデルを事後較正するための方法、特にコンピュータ実装された方法が想定され、データに基づく較正モデルは、ニューラルグラフネットワークとして構成されており、当該ニューラルグラフネットワークは、センサ状態を表すセンサ状態グラフに依存して、1つ又は複数の出力変数と複数の補助変数とを含む出力ベクトルを出力するようにトレーニングされ、当該方法は、以下のステップ、すなわち、
-1つ又は複数の物理変数に関する(又は、1つ又は複数の物理変数を表す)1つ又は複数の捕捉変数と、1つ又は複数のセンサ内部変数、及び/又は、センサシステムに対する1つ又は複数の環境の影響を示す1つ又は複数の状態変数とを捕捉するステップと、
-1つ又は複数の捕捉変数と捕捉時点における1つ又は複数の状態変数とに依存してセンサ状態グラフを求めるステップと、
-センサ状態グラフを拡張するステップと、
-拡張されたセンサ状態グラフを、出力ベクトルを得るために、データに基づく較正モデルを用いて評価するステップと、
-出力ベクトルに依存して損失を決定するステップと、
-決定された損失に依存して較正モデルを教師なしトレーニングするステップと、
を含む。
【0009】
センサシステム、例えば、加速度センサ、ジャイロスコープ、振動センサ、放射センサ、容量性センサ及び圧電センサなどの、例えば統合されたセンサシステムにおいては、構成部品個別の標準特性からの偏差を補償することができる較正が必要になる。このために、センサシステムにおいては、(センサ出力変数を求めるために)捕捉変数(捕捉されたセンサ生データ)を適用するための補正変数として出力変数を出力する、又は、捕捉変数に依存して修正されたセンサ出力変数を同時に出力する較正モデルが実装可能である。
【0010】
モデルとは、本明細書においては、一般に、所望の関数関係を表すためにトレーニングすることができる、データに基づく計算モデルを意味するものと理解される。
【0011】
捕捉変数に対する環境の影響などの多様な影響に基づき、センサ出力変数は、較正モデルを使用して、捕捉変数と、さらなるセンサ素子を介して捕捉可能な1つ又は複数の状態変数との組合せから生じる。これらの状態変数は、例えば、温度、湿度、空気圧、汚染レベル、電磁ビームの作用、機械的応力の作用、振動などのような、センサシステムに対する1つ又は複数の環境の影響を示し得る。代替的又は付加的に、これらの状態変数は、例えば、1つ又は複数の捕捉変数のためのセンサによって捕捉されたオフセット又はセンサの感度、専用の応力センサの信号、BITE(built-in test equipment)の信号、センサシステムにおけるアクチュエータの振幅制御又は位相制御からの信号、センサの検出モードの品質及び/又は周波数、又は、そこから導出される特徴などのような、1つ又は複数のセンサ内部変数を示すことができる。
【0012】
慣性センサについては、これらの状態変数は、1つ又は複数の以下のもの、すなわち、
加速度センサ又は角速度センサのオフセット又は感度、
専用応力センサからの信号、
捕捉された(検出モード)位相値、
BITE(built-in test equipment)からの信号、
角速度センサの駆動部の振幅又は位相制御からの信号、
角速度センサの駆動モード又は検出モードの品質と周波数、
加速度センサのモードの品質と周波数、
角速度センサの駆動モード周波数と検出モード周波数との差分、
加速度センサ又は角速度センサの交差軸感度、
予め設定された直角位相刺激又は角速度刺激の印加の際の直角位相又は角速度の微分値又は動的応答
を含む。
【0013】
1つ又は複数の状態変数に依存して、較正のための捕捉変数の補正を行うことができる。
【0014】
データに基づく較正モデルは、センサシステムの製造後に一度だけ適合化又はトレーニングされ、場合によっては、最終用途への組み込み直後に再び一度だけ事後トレーニング又は微調整することが可能である。センサシステムが、ここにおいて、最終用途に使用される場合、寿命期間の間は、提供されるセンサ出力変数が、経年変化の影響及び環境の影響に依存することなく、高い信頼性のもとで正確に提供可能であることが保証される必要があろう。それゆえ、定期的な事後較正が通常は必要である。
【0015】
しかしながら、これらの事後較正のために、通常は、検査レベルデータ/トレーニングデータは利用できない。なぜなら、センサシステムは、最終用途に組み込まれており、検査レベル測定が不可能だからである。それゆえ、事後較正過程は、ラベル付けされたデータなしでのみ行うことができる。上記の方法によれば、このことは、データに基づく較正モデルに対して、教師なしトレーニング方法を用いて実施される。
【0016】
このために、本方法は、1つ又は複数の捕捉変数と、時間ステップ又は捕捉時点において捕捉される1つ又は複数の状態変数とに基づいて、ノード及び辺を有する数学的グラフを作成することを想定している。
【0017】
センサ状態グラフを求めるステップは、センサ状態グラフのノードに、捕捉時点における1つ又は複数の捕捉変数と1つ又は複数の状態変数とに対応するノード変数を割り当て、センサ状態グラフのそれぞれ2つのノードを相互接続するセンサ状態グラフの辺に、ノードを表す捕捉変数又は状態変数の間の相関を示すそれぞれ1つの辺変数を割り当てることによって実施され、ここで、特に、この相関は、予め設定された時間窓内での捕捉変数又は状態変数の時間経過の評価によって決定される。
【0018】
したがって、1つ又は複数の捕捉変数及び1つ又は複数の状態変数は、ノード変数とも称される。グラフは、ノード変数のうちのそれぞれ1つに割り当てられたノードを有し得る。ノード値として、捕捉時点におけるノード変数のそれぞれの値が想定される。1つの辺は2つのノードを接続し、2つのノード間の関係は、例えば対応するノード変数間の相関の形態で辺値として示される。例えば、該当する2つのノード変数の経過の比較から求めることができる相関の代わりに、ノード変数のそれぞれ2つが相互に関連している他の関数も使用することができる。次いで、そのように定式化された数学的センサ状態グラフは、捕捉されたセンサ状態を反映し、次いで、このセンサ状態は、2つのノード間の辺のノード及び辺値としての捕捉変数の値によって示される。
【0019】
ニューラルグラフネットワークを用いることによって、センサ状態グラフのデータ構造を出力ベクトルに変換することができる。この出力ベクトルは、捕捉変数を修正するための補正変数として、又は、修正されたセンサ出力変数として出力変数を含む。さらに、出力ベクトルは、事後較正過程のために使用することができるさらなる補助変数を含む。
【0020】
ニューラルグラフネットワークを用いて得られる出力ベクトルは、一方では出力変数を出力し、他方では補助変数により、ニューラルグラフモデルのトレーニングのための損失を求めるために適した出力を提供するように構成されている。この損失は、較正モデルの精度又は予測精度についての記述に対応し、較正モデルのトレーニングのために利用される。上記の方法は、センサ状態グラフの形態でのセンサ状態の表示と、センサ状態グラフの拡張によるニューラルグラフネットワークの利用とによって、ニューラルグラフネットワークの教師なし事後トレーニングに適している損失を求めることを可能にする。
【0021】
センサ状態グラフの拡張は、1つ又は複数のノードをランダムに除去すること、1つ又は複数の辺をランダムに除去すること、ノード変数をランダムに交換すること、及び/又は、辺変数をランダムに交換することによって実施することができる。
【0022】
センサ状態グラフの拡張の際には、1つ又は複数のノード及び/又は1つ又は複数の辺をそれ自体公知の手法により除去することができ又は交換することができる。ノード及び/又は辺の削除又は交換は、ランダムに行われる。ここでは、可能性を制限することができるので、特定の拡張だけが可能である。また、例えば、グラフのランダムな特定の回転を実現することもできる。その他にもさらに、数値の特殊な変更などのさらなる拡張の可能性も考えられる。
【0023】
このようにして、個々の影響変数が入力側における数学的なグラフの拡張により、例えばフィードアウト及び/又は交換することができるようになることによって、ラベルを求めることなくセンサシステムの較正を行うことが可能になる。そのため、初期トレーニング過程の間の較正モデルの教師なし学習のために、補正変数の出力と補助変数とを結合することにより、効率的な手法により事後較正を実施することができる。
【0024】
センサ状態が、1つ又は複数の捕捉変数の値及び1つ又は複数の状態変数の値の形態で、捕捉時点に対して数学的グラフとして提供されると直ちに、このセンサ状態は、出力変数を得るために、データに基づく較正モデルを用いて評価することができる。このデータに基づく較正モデルは、出力変数と補助変数とを有する出力ベクトルを提供するためにニューラルグラフネットワークとして構成され、トレーニングされる。
【0025】
同時に、又は、規則的であり得る予め設定された時点において、事後較正を行うことができる。このために、較正モデルは、経年変化及び環境の影響に基づいて増大する偏差を補償するために、教師なしトレーニング方法を用いて開発される。教師なしトレーニング方法は、ニューラルグラフネットワークにおいて入力データが欠如しているのにもかかわらず評価を行うことができるという利点を利用する。教師なしトレーニング方法は、トレーニングのために必要とされる損失を決定するために、拡張されたセンサ状態グラフを利用する。
【0026】
一実施形態によれば、損失は、
-較正モデルを用いて、較正モデルに対応する又は較正モデルに対して付加的に下流側に配置される1つ又は複数のさらなるニューロン層又はデータに基づくモデルを含む評価モデルを提供し、
-評価モデルと同様にトレーニングされ、かつ、評価モデルに関して他の構成を有する双子モデルを提供し、
-評価ベクトルを得るために、拡張されたセンサ状態グラフを評価モデルにより評価し、
-さらなる評価ベクトルを得るために、さらなる拡張されたセンサ状態グラフを双子モデルによって評価し、
-損失を、評価ベクトル間の差異の尺度として求める
ことによって決定することができる。
【0027】
ここでは、データに基づく較正モデルの教師なしトレーニング方法のために、第1及び第2の拡張されたセンサ状態グラフを作成することができる。
【0028】
ここにおいて、補助変数を有する第1の出力ベクトルを得るために、評価が評価モデルを用いて行われる。
【0029】
評価モデルの他に双子モデルが設けられており、この双子モデルは、較正モデルと同様にニューラルグラフネットワークとして構成され、トレーニングされているが、それとは異なる構成を有し、特にハイパーパラメータの他のセットに基づいて構成されている。そのため、例えば、評価モデルが較正モデルを変更せずに使用すること、又は、第1の数の下流側に配置されたニューロン層を用いて(例えば、Fully connected Layernの形態で)評価モデルに対して補足することが可能であり、それに対して、評価モデルとは完全に異なる構成を有する双子モデルが提供される。この双子モデルは、例えば、第1とは異なる第2の数の下流側に配置されたニューロン層を有する較正モデルによって(例えば、Fully connected Layernの形態で)形成することができる。評価モデル及び双子モデルは、それぞれの出力ベクトルのフォーマットが同等であるように構成されており、そのため、簡単な手法により出力ベクトル間の相違を評価することができる。
【0030】
このようにして、第1の拡張されたセンサ状態グラフが評価モデルによって評価され、第2の拡張されたセンサ状態グラフが双子モデルによって評価される。結果として生じた出力ベクトル間の相違は、損失によって評価することができる。
【0031】
損失Lは、例えば、以下のように、
L=2-2{(yKalmodyZwilling)/(||yKalmod||2||yZwilling||2)}
コサイン類似度の2つの結果として生じる出力ベクトルyKalmod,yZwillingのユークリッド距離に基づいて計算することができ、ここで、yKalmodは、評価モデルの出力ベクトルに対応し、yZwillingは、双子モデルの出力ベクトルに対応する。
【0032】
損失は、評価モデルも双子モデルも、それ自体公知の勾配ベースの方法、例えば逆伝播法を用いて事後トレーニングするために使用され、それにより、この損失を、センサシステムの従来の動作時に出力変数を求めるために使用することが可能になる。
【0033】
評価モデル及び双子モデルは、初期の較正過程においては、一緒にラベル付けされたデータを用いて初期トレーニングされる。このために、較正モデルのトレーニングは、損失と共に従来の手法によりトレーニングデータセットに基づいて行われ、これらのトレーニングデータセットは、較正モデルによって出力ベクトルにおける出力変数のモデル出力を適合化する一方で数学的センサ状態グラフの拡張による教師なしトレーニングによって較正モデルの出力ベクトルの対応する補助変数を得るために、特定の捕捉時点におけるセンサ状態を表すセンサ状態グラフと、出力変数として割り当てられたラベルとを含む。これについては、逆伝播法を用いた古典的なトレーニングの他に、Meta-Learning又はFew-Shot-Learningも使用することができる。双子モデルも同様に初期トレーニングすることができる。トレーニングデータセットによる較正モデルの交互のトレーニングと、教師なしトレーニング方法を用いた評価モデル及び双子モデルに対するその修正とによって、出力ベクトルにおける出力変数と補助変数との適当な結合を達成することができる。
【0034】
共通の損失は、評価モデル(修正された較正モデル)及び双子モデルのトレーニングのために使用することができる。損失は、2つのモデルを使用して計算されるので、両モデルに対する勾配は、1つの損失を用いて計算することができる。例えば、逆伝播を介すことにより、結果として生じる損失が逆算され、ひいては勾配が計算される。これにより、逆伝播の逆算が、2つのモデルを介して行われる。通常、この勾配には2つのモデルで異なる学習レートが適用されるが、ここでは、同一の学習レートであるものとしてもよい。
【0035】
データに基づく較正モデルのための教師なしトレーニング方法のさらなる実施形態においては、較正モデルは、補助変数が較正モデルの出力グラフを示すように提供され、ここで、損失は、再構築されたセンサ状態グラフを得るために、較正モデルを拡張されたセンサ状態グラフを用いて評価し、損失を、元のセンサ状態グラフと再構築されたセンサ状態グラフとの間の差異の尺度として求めることによって決定されることが想定されるものとしてよい。
【0036】
ここでは、出力ベクトルの補助変数は、元の、拡張されていないセンサ状態グラフの形態(ノードの数及び辺による結合)を有するセンサ状態グラフの表現である。補助変数は、センサ状態グラフを記述するためのパラメータとして想定することができる。
【0037】
これらの補助変数は、拡張されたセンサ状態グラフに依存して較正モデルの評価により決定することができ、ここでは、これらの補助変数は、元のセンサ状態グラフの再構成を示すべきである。トレーニングは、(拡張前の)元のセンサ状態グラフと再構築されたセンサ状態グラフとの間の相違から生じる損失を用いて行うことができる。この相違は、元のセンサ状態グラフと、再構築されたセンサ状態グラフを記述するベクトル(又はテンソル)との間のユークリッド距離として示すことができる。
【0038】
一実施形態によれば、データに基づく較正モデルは、損失が複数のセンサ状態について求められ、かつ、さらなる損失が教師ありトレーニングのためのトレーニングデータセットから求められることによって、センサシステムの運転開始前に初期トレーニングすることができ、ここで、全損失が損失とさらなる損失とから決定され、ここで、全損失に基づいて較正モデルが初期トレーニングされる。
【0039】
すなわち、センサシステムが製造された後、最初に、較正モデルは、センサ状態グラフを出力ベクトルの出力変数に割り当てるラベル付けされたトレーニングデータを使用して初期トレーニングされる。この初期トレーニングは、上述したように、拡張されたセンサ状態グラフに基づく教師なし学習方法のステップと交互に又は同時に(共通の損失を用いて)行われ、ここで、較正モデルの出力ベクトルは、出力変数と、教師なし損失を決定するための補助変数とを示す。その際、補助変数は、センサ状態グラフの形式でグラフを記述することができる。
【0040】
ここにおいて、動作中、専ら教師なしトレーニングによって、拡張されたセンサ状態グラフに基づく損失が求められ、ひいては較正モデルが、例えば勾配ベースのトレーニング方法に基づいて事後トレーニングされる。これにより、較正モデルの評価の際に、出力ベクトルにおける出力変数の相応の適合化が生じる。なぜなら、この適合化は、較正モデルを介して、出力ベクトルの補助変数と直接接続形成されるからである。このようにして、センサシステムの動作中に利用可能なラベル付けされたトレーニングデータセットなしの事後較正を改善された手法により実行する手段が生じる。
【0041】
以下においては、実施形態を添付の図面に基づいてより詳細に説明する。
【図面の簡単な説明】
【0042】
【
図1】事後トレーニング可能な実装型較正モデルを有するセンサ出力変数の値を提供するための例示的なセンサシステムを示す図である。
【
図3】第1の実施形態による較正モデルの教師なし事後トレーニングのための方法を示す概略図である。
【
図4】
図3の描写による較正モデルの教師なし事後トレーニングのための方法を説明するためのフローチャートである。
【
図5】さらなる実施形態による較正モデルの教師なし事後トレーニングのためのモデルを示す概略図である。
【
図6】
図5の描写による較正モデルの事後トレーニングのための方法を説明するためのフローチャートである。
【発明を実施するための形態】
【0043】
実施形態の説明
図1は、例えば、加速度、放射、振動、充填レベルなどの1つ又は複数の物理変数を捕捉し、1つ又は複数の物理変数に依存する1つ又は複数の特に電気的な捕捉変数Eを提供するためのセンサ素子2を有するセンサシステム1の概略図を示す。1つ又は複数の捕捉変数Eは、前処理ユニット3によって、例えば増幅及び/又はフィルタリングされるなどのように前処理される。捕捉変数Eにより、複数の同種の物理変数、例えば、複数の空間方向での加速度なども表すことができる。
【0044】
さらに、状態変数Zを捕捉するために、1つ又は複数の状態センサ4が設けられている。これらの状態変数Zは、例えば環境条件を表すことができ、例えば、温度、湿度、空気圧、機械的応力負荷、例えば曲げ負荷、振動負荷、電磁放射線による負荷などを示すことができる。さらに、状態変数は、センサシステムの状態を示す内部センサによって捕捉された信号であることも可能である。例えば、状態変数は、例えば加速度センサの場合の直交値又はレーザーダイオードの動作電圧などを示すことができる。1つ又は複数の状態変数Zも同様に前処理ユニット3によって、例えば増幅及び/又はフィルタリングされるなどのように前処理することができる。
【0045】
グラフ作成ユニット5においては、1つ又は複数の捕捉変数E及び1つ又は複数の状態変数Zが数学的センサ状態グラフ10に処理される。そのようなセンサ状態グラフは、例示的に
図2に示されている。1つ又は複数の捕捉変数E及び1つ又は複数の状態変数Zは、ここでは、ノード変数Kとも称され、それらはセンサ状態グラフのノード11に割り当てられている。センサ状態グラフのノード11は、辺12によって相互接続されており又は関係付けられており、ここでは、これらの辺12にそれぞれの辺変数Gが割り当てられている。
【0046】
ここでは、辺変数Gは、ノード変数間の辺関係を、例えばノード変数間の相関の形態で示すことができる。相関は、特に現在の時点(最後に求められたサンプル)で終了することができる、予め定められた時間窓内のそれぞれのノード変数の時間経過の比較によって求めることができる。さらに、辺変数Gは、他の形態においても、ノード11によって示されるそれぞれ2つのノード変数K間の関係を示すことができる。結果として生じる数学的センサ状態グラフ10は、特定の時間ステップにおける、すなわち、捕捉時点におけるセンサシステム1の状態を示す。
【0047】
辺変数は、特別な測定系列で1度求めることができる。その際、時系列は、当該時系列を時間窓内で捕捉して相関値を決定するために、様々な環境条件下で記録することができる。さらに、辺変数は、一種の階層的なトレーニングにおいて最適な値を求めるために、辺変数がトレーニング中に変化することにより、先行の教師ありトレーニングによっても求めることができる。このトレーニングは、ここでは、往々にして、例えば、ベイズ方式で変化させることができる異なる辺変数を用いて繰り返すことができる。
【0048】
センサ状態グラフは、ここにおいて、初期トレーニングされた、データに基づく較正モデル6に供給される。較正モデルの出力側においては、1つ又は複数の捕捉変数E及びさらなる補助変数の各々について出力変数を有する出力ベクトルが出力される。1つ又は複数の出力変数は、特に較正モデル6に応じて修正され得るセンサ出力変数Aに対応することができ、それぞれの捕捉変数Eによって表される物理変数の尺度に一義的に割り当てることができる。代替的には、各出力変数は、センサ状態に依存してセンサ出力変数Aを計算するために、例えば任意選択的な印加ブロック7において各捕捉変数に例えば加算的又は乗算的に印加することができる補正変数であるものとしてもよい。
【0049】
較正モデル6は、センサ状態グラフが、測定された物理変数に対応する又は測定された物理変数から求めることができる1つ又は複数の出力変数に割り当てられたトレーニングデータセットに基づいて初期トレーニングされる。以下においては、さらに較正モデルの初期トレーニングをより詳細に説明する。
【0050】
センサシステム1の動作中、経年変化の影響及び/又は環境の影響に基づいて、センサ特性の偏差が発生し、そのため、較正モデル6は、益々僅かにしか実際のセンサシステム1に適合化しなくなる。したがって、結果として生じるセンサ出力変数は、測定された物理変数を益々不鮮明にしか写像しなくなる可能性があり、これによって測定結果が改ざんされることとなる。このために較正制御ユニット8が設けられており、この較正制御ユニット8は、センサシステム1の動作中に最終用途において規則的に又は予め定められた時点において又は外部からトリガされて、教師なし(unsupervised)トレーニング方法を用いた事後較正を実施する。
【0051】
以下においては、較正モデル6の事後較正を実施するための実施形態をより詳細に説明する。
【0052】
事後較正においては、データに基づく較正モデル6又はそのモデルパラメータが変更され、それにより、1つ又は複数の捕捉変数が、変更されるように修正される。データに基づく較正モデル6のトレーニングは、それぞれ修正された捕捉変数としてのセンサ出力変数に対応し、又は、引き続き捕捉変数を修正するための補正変数に対応し、かつ、対応する物理変数に割り当てられたセンサ出力変数を提供するために適している又は寄与する1つ又は複数の出力変数を提供するという目的を有する。
【0053】
ここからは、
図3の概略図及び
図4のフローチャートに基づいて、較正モデルを事後トレーニングするための方法をより詳細に説明する。本方法は、ステップS1において、トレーニングデータセットに基づいて初期トレーニングされた較正モデル6を提供するステップを起点とする。
【0054】
ステップS2においては、特定の時間ステップ又は捕捉時点の間、センサ状態が捕捉され、ステップS3において、上述したようにセンサ状態グラフが作成される。センサ状態は、1つ又は複数の捕捉変数及び1つ又は複数の状態変数によって示される。
【0055】
後続するステップS4においては、センサ状態グラフから、第1の拡張されたセンサ状態グラフと、第2の拡張されたセンサ状態グラフとが生成される。センサ状態グラフの拡張は、
図3に概略的に示されているように、ノード及び/又は辺を省略すること、又は、ノード及び辺を交換することによって行うことができる。この拡張はランダムに行われ、特に、捕捉変数及び/又は1つ又は複数の状態変数の値に依存せずに実施される。
【0056】
較正モデルに対応し、出力ベクトルを評価ベクトルBとして提供できる評価モデル21が提供される。代替的に、評価モデルは、較正モデル6と、下流側に配置された1つ又は複数のさらなる第1のニューロン層22とをFully Connected Layern(MLP)の形態で含み得るものであり、これらは、較正モデルの出力ベクトルをさらに処理し、出力側から評価ベクトルを提供する。1つ又は複数のニューロン層又はさらなるデータに基づくモデルを有する他の拡張も考えられる。
【0057】
さらに、双子モデル23が提供され、この双子モデル23は、評価モデル21と同一の手法によりトレーニングされているが、他の構成24を有している。双子モデル23は、較正モデル6を含み得るものであり、構成24の差異を実現するために、評価モデル21とは異なる手法により修正されるものとしてよい。
【0058】
評価モデル21の初期トレーニングの際には、双子モデル23も同様に、この双子モデル23が評価モデル21と同一の評価ベクトルBを提供するという目的でトレーニングされる。評価モデル21及び双子モデル23は、それぞれ入力変数としてグラフを処理し、同種のフォーマットを有する評価ベクトルBを出力するために適している。
【0059】
双子モデル23も、較正モデルと同様にニューラルグラフネットワークとして構成されているが、ハイパーパラメータの他の選択に基づけば、他の構造を有し得る。
【0060】
評価モデル21及び双子モデル23は、同一に構成されるものとしてもよいが、後続のFully Connected Layernの異なる数によって拡張することができ、そのため、2つの、データに基づくニューラルグラフネットワークモデルは、相互に1:1のコピーを表さずかつ異なる構成を有する。
【0061】
較正モデルを事後トレーニングするための教師なしトレーニングステップの枠内では、ステップS5において、評価ベクトルBを得るために、拡張された第1のセンサ状態グラフを有する評価モデル21と、拡張された第2のセンサ状態グラフを有する双子モデル23とが評価される。
【0062】
ステップS6においては、損失Lを用いて評価モデル21及び双子モデル23のトレーニングが行われる。この損失は、評価モデル21の評価ベクトルBと双子モデル23の評価ベクトルBとを比較することにより、それぞれの結果として生じる評価ベクトルB間の差異として生じる。このために、評価ベクトルBは、損失Lを求めるために、ユークリッド距離又はコサイン類似度に関して検査することができる。損失Lは、実質的に評価ベクトルB相互の距離を評価する。
【0063】
事後トレーニングは、評価モデル21においても双子モデル23においても、勾配ベースのトレーニング方法に基づいて実施される。評価モデル21には較正モデル6が含まれているので、この較正モデル6は、この過程においてセンサ状態に適合化される。次いで、較正モデル6は、捕捉信号を修正し、センサシステム1の性能を改善するために用いられる。
【0064】
さらなる実施形態によれば、事後トレーニングは、双子モデル23の使用なしで実施することができる。ここからは、
図5の概略図及び
図6のフローチャートに基づいて、較正モデル6を事後トレーニングするための方法がより詳細に説明される。本方法は、ステップS11において、トレーニングデータセットに基づいて初期トレーニングされた較正モデル6を提供するステップを起点とする。
【0065】
ステップS12においては、特定の時間ステップ又は捕捉時点の間、センサ状態が捕捉され、上述したようにセンサ状態グラフ10が作成される。センサ状態は、1つ又は複数の捕捉変数E及び1つ又は複数の状態変数Zによって示される。
【0066】
このために、ステップS13においては、上述したように、拡張されたセンサ状態グラフ10が、現在のセンサ状態又は特定の時点におけるセンサ状態のセンサ状態グラフ10から、上述した方法により求められる。このセンサ状態グラフ10は、拡張され、較正モデル6に供給される。
【0067】
較正モデル6は、拡張されたセンサ状態グラフの評価によって、一方では、1つ又は複数の出力変数Aと、そのフォーマットが元のセンサ状態グラフに対応するセンサ状態グラフ10を表す補助変数とを含む出力ベクトルを提供するように構成されている。
【0068】
したがって、校正モデル6は、出力変数の出力の他にも、元のセンサ状態グラフに対応する拡張されたセンサ状態グラフから、補助変数によって記述されるセンサ状態グラフ10を再構築するように構成されるものとしてよい。元のセンサ状態グラフと再構築されたセンサ状態グラフとの比較により、センサ状態グラフ10間の評価された差異として損失Lを求めることができる。この差異は、例えば、グラフベクトルとして、特に、2つのグラフベクトルのユークリッド距離又はコサイン類似度を求めることによって記述することができる、センサ状態グラフのパラメータに基づいて決定することができる。
【0069】
ステップS14において、較正モデル6のトレーニングは、損失Lに基づいて行われる。
【0070】
この実施形態は、センサ状態グラフの単一の拡張のみを行う必要があるだけであり、データに基づくニューラルグラフネットワークモデルのみをトレーニングする必要があるだけであるという利点を有する。
【0071】
このようにして、データに基づく較正モデル6のモデルパラメータも同様に相応に適合化させることができ、オンラインで、すなわち、センサシステム1の動作中に適用することができる。
【0072】
センサシステム1の使用前に、較正モデル6を初期トレーニングすることが必要である。ここでは、出力ベクトルの要素、詳細には1つ又は複数の出力変数A及び補助変数が、教師なしトレーニングにおいて、センサシステム1の動作中に(上述したように)較正モデル6のモデルパラメータが、捕捉変数の最適な適合化又は補正を行うことができるように変更されるように相互に関連付けられる。
【0073】
較正モデルの初期トレーニングにおいては、1つ又は複数の求めるべき出力変数を、同様に出力される補助変数を用いて適当な手法により結合することが必要である。このために、組み合わせられたトレーニングが設けられており、この組み合わせられたトレーニングは、トレーニングデータセットに基づく教師ありトレーニングと、例えば上述のトレーニング方法のうちの1つを用いて求められる損失に基づく教師ありトレーニングとを交互に又は並行して実施する。このトレーニングは、好適には、周囲条件が変化する場合(すなわち、状態変数が変化する場合)、較正モデルによる、入力データ空間の可及的に空間充填された写像を達成するために、物理変数の複数の異なる値に対して行われる。
【0074】
教師ありトレーニングのためのトレーニングデータセットは、テストベンチでのセンサシステムの測定から生じ、ここでは、センサシステムによって測定されるべき印加される1つ又は複数の物理変数と、対応する捕捉変数とが所期のように捕捉される。印加される物理変数は、対応する物理変数が存在する場合にセンサシステムが出力すべきセンサ出力変数に割り当てられる。したがって、トレーニングデータセットは、1つ又は複数の捕捉変数と、(特定の物理変数が印加されている場合の)対応するそれぞれの物理変数に割り当てられたセンサ出力変数を用いてラベル付けされた複数の状態変数のうちの1つとからの入力ベクトルに対応する。
【0075】
一方、教師なしトレーニングに対する損失Lunsupervisedは、較正モデル6の出力側の補助変数の評価にほぼ基づいているのに対し、教師あり損失Lsupervisedの算出は、トレーニングデータセットのそれぞれの評価に、特に、トレーニングデータセットのラベルと、出力された較正モデルの1つ又は複数の出力変数との比較に基づいている。
【0076】
そこから生じる2つの損失値Lunsupervised、Lsupervisedは、以下のように、
Ltotal=λ1・Lunsupervised+λ2・Lsupervised
全損失Ltotalを計算することができ、ここで、λ1及びλ2は、事前に確定することができる重み付け係数である。このようにして、較正モデル6は、2つのタスク、詳細には、1つ又は複数の適正な出力変数の出力と、較正モデルの教師なし事後トレーニングを可能にさせる補助変数の出力とを一緒に解決するために、初期トレーニングすることができる。
【0077】
事後較正は、1つ又は複数の出力変数を求める前に、各捕捉時間ステップ中に実施することができ、それにより、出力変数を求める際に、センサシステムの現在の状態を考慮することができる。
【0078】
さらに、事後トレーニングのステップに対して付加的に、センサシステム1の各捕捉時点において、較正モデル6がリセットされ、すなわち、較正モデル6のモデルパラメータが、初期トレーニングによって得られた初期値にリセットされることが想定されるものとしてよい。これには、事後較正によって較正モデル6のモデルパラメータの偏差が過度に大きくなりすぎず、これによって、時間にわたり性能が再び悪化しないという利点がある。その代わりに、較正モデルのモデルパラメータの変化のための予測可能なパラメータ空間のみを達成することができ、これは、安全な用途のためにトレーニング段階の間に既に制御及び確定することができる。
【手続補正書】
【提出日】2024-08-27
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
1つ又は複数の物理変数を測定するためのセンサシステム(1)において使用するための、トレーニングされた、データに基づく較正モデル(6)を事後較正するための方法、特にコンピュータ実装された方法であって、前記データに基づく較正モデル(6)は、センサ状態を表すセンサ状態グラフ(10)に依存して、1つ又は複数の出力変数(A)と複数の補助変数とを含む出力ベクトルを出力するようにトレーニングされた、ニューラルグラフネットワークとして構成されている、方法において、
-1つ又は複数の物理変数に関する1つ又は複数の捕捉変数(E)と、センサシステム(1)に対する1つ又は複数の環境の影響を示す1つ又は複数の状態変数(Z)とを捕捉時点において捕捉するステップ(S2)と、
-前記1つ又は複数の捕捉変数(E)と前記1つ又は複数の状態変数(Z)とに依存してセンサ状態グラフ(10)を求めるステップ(S3)と、
-前記センサ状態グラフ(10)を拡張するステップ(S4)と、
-前記拡張されたセンサ状態グラフ(10)を、出力ベクトルを得るために、データに基づく較正モデル(6)を用いて評価するステップ(S5)と、
-前記出力ベクトルに依存して損失(L)を決定するステップと、
-前記決定された損失(L)に依存して前記較正モデル(6)を教師なしトレーニングするステップ(S6)と、
を含む方法。
【請求項2】
前記センサ状態グラフ(10)を求めるステップ(S3)は、前記センサ状態グラフ(10)のノードに、前記捕捉時点における前記1つ又は複数の捕捉変数(E)と前記1つ又は複数の状態変数(Z)とに対応するノード変数を割り当て、前記センサ状態グラフ(10)のそれぞれ2つのノードを相互接続する前記センサ状態グラフ(10)の辺に、前記それぞれの辺によって接続されたノード間の相関を表す前記捕捉変数(E)又は前記状態変数(Z)を示すそれぞれ1つの辺変数を割り当てることによって実施され、特に、前記相関は、予め設定された時間窓内の前記捕捉変数(E)又は前記状態変数(Z)の時間経過の評価によって決定される、請求項1に記載の方法。
【請求項3】
前記センサ状態グラフ(10)を拡張するステップ(S4)は、1つ又は複数のノードをランダムに除去すること、1つ又は複数の辺をランダムに除去すること、ノード変数をランダムに交換すること、及び/又は、辺変数をランダムに交換することによって実施される、請求項2に記載の方法。
【請求項4】
前記損失(L)は、
-前記較正モデル(6)を用いて、前記較正モデル(6)に対応する又は前記較正モデル(6)に対して付加的に下流側に配置される1つ又は複数のさらなるニューロン層又はデータに基づくモデルを含む評価モデルを提供し、
-前記評価モデル(21)と同様にトレーニングされ、かつ、前記評価モデル(21)に関して他の構成(24)を有する双子モデル(23)を提供し、
-評価ベクトル(B)を得るために、拡張されたセンサ状態グラフ(10)を前記評価モデル(21)により評価し、
-さらなる評価ベクトル(B)を得るために、さらなる拡張されたセンサ状態グラフ(10)を前記双子モデル(23)によって評価し、
-前記損失を、前記評価ベクトル(B)間の差異の尺度として求める
ことによって決定される、請求項1に記載の方法。
【請求項5】
前記損失(L)に依存して、前記評価モデルも前記双子モデルも事後トレーニングされる、請求項4に記載の方法。
【請求項6】
前記損失(L)は、コサイン類似度又はユークリッド距離として求められる、請求項4に記載の方法。
【請求項7】
前記較正モデル(6)は、前記補助変数が前記較正モデル(6)の出力グラフを示すように提供され、
前記損失(L)は、
-再構築されたセンサ状態グラフ(10)を得るために、前記較正モデル(6)を、拡張された前記センサ状態グラフ(10)を用いて評価し、
-前記損失(L)を、元のセンサ状態グラフ(10)と再構成されたセンサ状態グラフとの間の差異の尺度として求める
ことによって決定される、請求項1に記載の方法。
【請求項8】
前記データに基づく較正モデル(6)は、前記損失(L)が複数のセンサ状態について求められ、かつ、さらなる損失(L)が教師ありトレーニングのためのトレーニングデータセットから求められることによって、前記センサシステム(1)の運転開始前に初期トレーニングされ(S1)、全損失(L)が前記損失(L)と前記さらなる損失とから決定され、これによって、前記較正モデル(6)が初期トレーニングされる、請求項1に記載の方法。
【請求項9】
前記1つ又は複数の出力変数は、1つ又は複数の補正変数に依存して、1つ又は複数のセンサ出力変数を得るために、前記1つ又は複数の捕捉変数(E)に印加するための1つ又は複数の補正変数を含み、又は、前記1つ又は複数の出力変数は、前記1つ又は複数のセンサ出力変数に対応する、請求項1に記載の方法。
【請求項10】
前記較正モデル(6)は、前記1つ又は複数の捕捉変数(E)と、前記センサ状態グラフの前記1つ又は複数の状態変数(Z)とに依存して決定されるように使用され、前記センサ状態グラフに依存して前記1つ又は複数の出力変数が決定される、請求項1に記載の方法。
【請求項11】
請求項1に記載の方法を実施するように構成されている、データ処理装置を備えた装置。
【請求項12】
コンピュータプログラムであって、少なくとも1つのデータ処理装置によって実行されるときに、前記データ処理装置に、請求項1に記載の方法のステップを実施させるための命令を含むコンピュータプログラム。
【請求項13】
機械可読記憶媒体であって、少なくとも1つのデータ処理装置によって実行されるときに、前記データ処理装置に、請求項1に記載の方法のステップを実施させるための命令を格納している機械可読記憶媒体。
【外国語明細書】