▶ ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024161006
(43)【公開日】2024-11-15
(54)【発明の名称】情報保存型ニューラルネットワークアーキテクチャ
(51)【国際特許分類】
G06N 3/04 20230101AFI20241108BHJP
【ＦＩ】
G06N3/04
【審査請求】未請求
【請求項の数】16
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024074813
(22)【出願日】2024-05-02
(31)【優先権主張番号】10 2023 204 154.5
(32)【優先日】2023-05-04
(33)【優先権主張国・地域又は機関】DE
(71)【出願人】
【識別番号】390023711
【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング
【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ
【住所又は居所原語表記】Ｓｔｕｔｔｇａｒｔ， Ｇｅｒｍａｎｙ
(74)【代理人】
【識別番号】100114890
【弁理士】
【氏名又は名称】アインゼル・フェリックス＝ラインハルト
(74)【代理人】
【識別番号】100098501
【弁理士】
【氏名又は名称】森田 拓
(74)【代理人】
【識別番号】100116403
【弁理士】
【氏名又は名称】前川 純一
(74)【代理人】
【識別番号】100134315
【弁理士】
【氏名又は名称】永島 秀郎
(74)【代理人】
【識別番号】100162880
【弁理士】
【氏名又は名称】上島 類
(72)【発明者】
【氏名】フランク シュミット
(72)【発明者】
【氏名】チャバ ドモコス
(72)【発明者】
【氏名】キリアン ランバッハ
(57)【要約】
【課題】測定データ（１ｂ）を処理するためのニューラルネットワークアーキテクチャ（１）に関する。
【解決手段】当該ニューラルネットワークアーキテクチャ（１）は、それぞれ複数のニューロン（２ａ，３ａ，４ａ）を有する複数の層（２，３，４）を含み、各ニューロンは、複素数値の入力（２ｂ，３ｂ，４ｂ）を活性化（６）のために正則オフセット関数（５）を用いて処理し、非線形活性化関数（７）を活性化（６）に適用することにより自身の出力（８）を求めるように構成されており、活性化関数も同様に正則である。
【選択図】図１
【解決手段】当該ニューラルネットワークアーキテクチャ（１）は、それぞれ複数のニューロン（２ａ，３ａ，４ａ）を有する複数の層（２，３，４）を含み、各ニューロンは、複素数値の入力（２ｂ，３ｂ，４ｂ）を活性化（６）のために正則オフセット関数（５）を用いて処理し、非線形活性化関数（７）を活性化（６）に適用することにより自身の出力（８）を求めるように構成されており、活性化関数も同様に正則である。
【選択図】図１
【特許請求の範囲】
【請求項1】
測定データ（１ｂ）を処理するためのニューラルネットワークアーキテクチャ（１）であって、前記ニューラルネットワークアーキテクチャ（１）は、それぞれ複数のニューロン（２ａ，３ａ，４ａ）を有する複数の層（２，３，４）を含み、各ニューロンは、複素数値の入力（２ｂ，３ｂ，４ｂ）を活性化（６）のために正則オフセット関数（５）を用いて処理し、非線形活性化関数（７）を前記活性化（６）に適用することにより自身の出力（８）を求めるように構成されており、前記活性化関数も同様に正則である、ニューラルネットワークアーキテクチャ（１）。
【請求項2】
前記活性化関数（７）及び／又は当該活性化関数（７）の微分は、２つの複素数ｚ１及びｚ２に適用された後、当該２つの複素数ｚ１及びｚ２の間の中間角度が複素平面で維持され続ける共形写像である、請求項１に記載のニューラルネットワークアーキテクチャ（１）。
【請求項3】
前記活性化関数（７）は、自由係数ａ，ｂ，ｃ，ｄを用いた以下の形式
ｆ（ｚ）＝（ａ・ｚ＋ｂ）／（ｃ・ｚ＋ｄ）
のメビウス変換を含む、請求項１又は２に記載のニューラルネットワークアーキテクチャ（１）。
ｆ（ｚ）＝（ａ・ｚ＋ｂ）／（ｃ・ｚ＋ｄ）
のメビウス変換を含む、請求項１又は２に記載のニューラルネットワークアーキテクチャ（１）。
【請求項4】
前記メビウス変換の前記係数ａ，ｂ，ｃ，ｄは、実数値である、請求項３に記載のニューラルネットワークアーキテクチャ（１）。
【請求項5】
前記メビウス変換の前記係数の行列
は、予め設定された値から最大で予め設定された絶対値分だけ偏差する行列式ｄｅｔ（Ａ）を有する、請求項３又は４に記載のニューラルネットワークアーキテクチャ（１）。
【数1】
【請求項6】
前記ニューラルネットワークアーキテクチャ（１）は、少なくとも部分的に特徴抽出器（９ａ）として構成され、前記特徴抽出器（９ａ）の異なる層（２，３，４）におけるニューロン（２ａ，３ａ，４ａ）の出力は、前記測定データ（１ｂ）における異なるスケール及び／又は複雑性の特徴の表現度を示す、請求項１乃至５のいずれか一項に記載のニューラルネットワークアーキテクチャ（１）。
【請求項7】
前記ニューラルネットワークアーキテクチャ（１）は、前記測定データ（１ｂ）に関して、前記特徴抽出器（９ａ）の１つ又は複数の出力から、予め設定されたタスクの解を求めるように構成されたタスクヘッド（９ｂ）をさらに含む、請求項６に記載のニューラルネットワークアーキテクチャ（１）。
【請求項8】
前記タスクヘッド（９ｂ）は、前記測定データ（１ｂ）について予め設定された分類の１つ又は複数のクラスに関して分類スコアを求めるように構成されている、請求項７に記載のニューラルネットワークアーキテクチャ（１）。
【請求項9】
少なくとも１つの電磁場の空間的及び／又は時間的分布を示す測定データ（１ｂ）を処理するための、請求項１乃至８のいずれか一項に記載のニューラルネットワークアーキテクチャ（１）の使用。
【請求項10】
前記電磁場は、少なくとも部分的に、１つ又は複数の対象物における電磁的問合せビームの反射に由来する、請求項９に記載の使用。
【請求項11】
前記ニューラルネットワークアーキテクチャ（１）によって提供される１つ又は複数の出力（１ｃ）から駆動制御信号（１０）が形成され、
前記駆動制御信号（１０）を用いて、車両（５０）、運転支援システム（５１）、ロボット（６０）、品質管理システム（７０）、領域監視システム（８０）、及び／又は、医療用撮像システム（９０）が駆動制御される、請求項９又は１０に記載の使用。
前記駆動制御信号（１０）を用いて、車両（５０）、運転支援システム（５１）、ロボット（６０）、品質管理システム（７０）、領域監視システム（８０）、及び／又は、医療用撮像システム（９０）が駆動制御される、請求項９又は１０に記載の使用。
【請求項12】
請求項１乃至８のいずれか一項に記載のニューラルネットワークアーキテクチャ（１）をトレーニングするための方法（１００）であって、当該方法は、
測定データ（１ｂ）のトレーニングレコード（１ｂ＊）が提供されるステップ（１１０）と、
前記トレーニングレコード（１ｂ＊）が前記ニューラルネットワークアーキテクチャ（１）に供給され、前記ニューラルネットワークアーキテクチャ（１）によって出力（１ｃ）に処理されるステップ（１２０）と、
前記出力（１ｃ）が、予め設定された実数値コスト関数（１１）を用いて評価されるステップ（１３０）と、
前記ニューラルネットワークアーキテクチャ（１）の挙動を特徴付けるパラメータ（１ａ）が、前記トレーニングレコード（１ｂ）のさらなる処理の際に、前記コスト関数（１１）による評価（１１ａ）を改善する目的で最適化されるステップ（１４０）と、
を含み、
前記パラメータ（１ａ）には、正則活性化関数（７）のためのパラメータ化されたアプローチの自由係数（７ａ）も含まれる、方法（１００）。
測定データ（１ｂ）のトレーニングレコード（１ｂ＊）が提供されるステップ（１１０）と、
前記トレーニングレコード（１ｂ＊）が前記ニューラルネットワークアーキテクチャ（１）に供給され、前記ニューラルネットワークアーキテクチャ（１）によって出力（１ｃ）に処理されるステップ（１２０）と、
前記出力（１ｃ）が、予め設定された実数値コスト関数（１１）を用いて評価されるステップ（１３０）と、
前記ニューラルネットワークアーキテクチャ（１）の挙動を特徴付けるパラメータ（１ａ）が、前記トレーニングレコード（１ｂ）のさらなる処理の際に、前記コスト関数（１１）による評価（１１ａ）を改善する目的で最適化されるステップ（１４０）と、
を含み、
前記パラメータ（１ａ）には、正則活性化関数（７）のためのパラメータ化されたアプローチの自由係数（７ａ）も含まれる、方法（１００）。
【請求項13】
前記最適化されるステップ（１４０）の枠内において、
前記正則活性化関数のパラメータ化されたアプローチの係数から形成される行列Ａの行列式ｄｅｔ（Ａ）の予め設定された値からの偏差が、予め設定された絶対値を上回っているかどうかが検査され（１４１）、
このことが該当する場合、当該行列の要素は、行列式ｄｅｔ（Ａ）の平方根
によって除算される（１４２）、請求項１２に記載の方法（１００）。
前記正則活性化関数のパラメータ化されたアプローチの係数から形成される行列Ａの行列式ｄｅｔ（Ａ）の予め設定された値からの偏差が、予め設定された絶対値を上回っているかどうかが検査され（１４１）、
このことが該当する場合、当該行列の要素は、行列式ｄｅｔ（Ａ）の平方根
【数2】
【請求項14】
コンピュータプログラムであって、当該コンピュータプログラムが１つ又は複数のコンピュータ上で実行されるときに、前記１つ又は複数のコンピュータに、請求項１乃至８のいずれか一項に記載のニューラルネットワークアーキテクチャ（１）の少なくとも１つのインスタンスを実現させるための、及び／又は、請求項１２又は１３に記載の方法（１００）を実施させるための機械可読命令を含むコンピュータプログラム。
【請求項15】
請求項１４に記載のコンピュータプログラムを含む機械可読データ担体及び／又はダウンロード製品。
【請求項16】
１つ又は複数のコンピュータであって、請求項１４に記載のコンピュータプログラム、及び／又は、請求項１５に記載の機械可読データ担体及び／又はダウンロード製品を備えた１つ又は複数のコンピュータ。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、特に車両の環境監視の際に付随的に発生する、例えば画像又は点群などの測定データを評価するためのニューラルネットワークアーキテクチャに関する。
【背景技術】
【0002】
背景技術
道路交通又は企業敷地内での車両又はロボットの少なくとも部分的に自動化された運転のためには、車両又はロボットの環境の常時監視が不可欠である。そのような環境監視は、例えば画像又は点群などの測定データの記録を収集し、これらの記録を予め設定されたタスクに関してトレーニングされた機械学習モデルを用いて評価する。この目的のために、複数の層からなるニューラルネットワークアーキテクチャが使用されることが多い。典型的には、これらの測定データは、入力層に入力され、続いて、処理の結果が出力層から出力される前に１つ又は複数の中間層を通過する。
道路交通又は企業敷地内での車両又はロボットの少なくとも部分的に自動化された運転のためには、車両又はロボットの環境の常時監視が不可欠である。そのような環境監視は、例えば画像又は点群などの測定データの記録を収集し、これらの記録を予め設定されたタスクに関してトレーニングされた機械学習モデルを用いて評価する。この目的のために、複数の層からなるニューラルネットワークアーキテクチャが使用されることが多い。典型的には、これらの測定データは、入力層に入力され、続いて、処理の結果が出力層から出力される前に１つ又は複数の中間層を通過する。
【0003】
測定データが複素数値である限り、常用的なアプローチは、各測定値の実部及び虚部を、又は、各測定値の極表現における絶対値及び位相も、ニューラルネットワークアーキテクチャの相互に独立した入力として処理することである。
【発明の概要】
【発明が解決しようとする課題】
【0004】
発明の開示
本発明は、測定データを処理するためのニューラルネットワークアーキテクチャを提供する。このネットワークアーキテクチャは、それぞれ複数のニューロンを有する複数の層を含む。これらのニューロンは、実質的に同等の効果を有する他の処理ユニットによって置き換えることもできる。以下においては、簡単化のために、ニューロンのみを取り上げる。
本発明は、測定データを処理するためのニューラルネットワークアーキテクチャを提供する。このネットワークアーキテクチャは、それぞれ複数のニューロンを有する複数の層を含む。これらのニューロンは、実質的に同等の効果を有する他の処理ユニットによって置き換えることもできる。以下においては、簡単化のために、ニューロンのみを取り上げる。
【課題を解決するための手段】
【0005】
ニューラルネットワークアーキテクチャにおいては、特に、例えば層の出力を、入力として隣接する層へ案内するものとしてよい。すなわち、入力された測定データは、結果が１つ又は複数の中間層で継続処理される前にまず入力層において処理され、出力層において処理の最終結果が求められる。この最終結果は、ニューラルネットワークアーキテクチャから出力される。
【0006】
各ニューロンは、複素数値の入力を活性化のために正則オフセット関数を用いて処理するように構成されている。ニューラルネットワークアーキテクチャの挙動は、実質的にこのオフセット関数のトレーニング可能なパラメータによって特徴付けられる。これらのパラメータには、例えば、ニューロンに供給される入力が活性化のためにオフセットされる重みを含めることができる。さらに、これらのパラメータには、例えば、活性化に含まれる加算バイアスを含めることもできる。
【0007】
各ニューロンは、さらに、非線形活性化関数をそのように得られた活性化に適用することにより自身の出力を求めるように構成されている。ここでは、活性化関数も同様に正則である。
【0008】
このようにして、複素数値の測定データの完全な情報内容が使用することができるようになることが認識された。この情報内容には、複素数値の変数の実部及び虚部（又は、絶対値及び位相）だけでなく、実部と虚部との間の関係又は絶対値と位相との間の関係も含まれる。特に、ニューラルネットワークアーキテクチャのトレーニングも、この完全な情報内容も使用して行うことができる。そのようなトレーニングの場合、ニューラルネットワークの出力に関するフィードバックとして、多くの場合、コスト関数（損失関数とも呼ばれる）の値が付随的に発生する。このコスト関数の値からは、いわゆるバックプロパゲーションによって勾配が求められ、それらに沿って、ニューラルネットワークアーキテクチャのトレーニング可能なパラメータは、高い確率でコスト関数の値の改善を達成するために有意に変更されるべきであろう。このバックプロパゲーションは、測定データ又はトレーニングの際に使用されるトレーニングデータの処理が完全に微分可能な方法により行われることを前提としている。ここでは、複素微分可能性が与えられていることにより、前述の実部と虚部との間の関係も、探索されるパラメータの勾配の算出に完全に含めることができる。
【0009】
これを簡単な例で明確にするならば、減衰された調和振動の場合、偏位ｓは、時間ｔの関数としての次の複素数値の関数
ｓ＝ｅｘｐ（ｉ・ω・ｔ－δ・ｔ）
によって記述され、ここで、ωは、角振動数、δは、減衰定数である。この複素指数関数による記述方式においては、角振動数ωの自由振動が、減衰定数δの減衰項によってどのように修正されるかが直接明らかとなる。それに対して、ｓの実部と虚部とがそれぞれ実数値の三角関数を用いて記述される場合、この関係は、あまり明確ではなくなる。
ｓ＝ｅｘｐ（ｉ・ω・ｔ－δ・ｔ）
によって記述され、ここで、ωは、角振動数、δは、減衰定数である。この複素指数関数による記述方式においては、角振動数ωの自由振動が、減衰定数δの減衰項によってどのように修正されるかが直接明らかとなる。それに対して、ｓの実部と虚部とがそれぞれ実数値の三角関数を用いて記述される場合、この関係は、あまり明確ではなくなる。
【0010】
冒頭で述べた車両又はロボットの環境監視についてさらに関連するのは、測定データが少なくとも１つの電磁場の空間的及び／又は時間的分布を示す用途ケースである。そのため、特にマクスウェル方程式は、電気力学の基本として複素数値であり、この複素数値の力学には、単に実部と虚部とを相互に並べたものよりも多くの情報が含まれている。
【0011】
電磁場は、特に、例えば少なくとも部分的に、１つ又は複数の対象物における電磁的問合せビームの反射に由来し得る。この種の測定データは、例えば、環境が対象物についての問合せビームとしてレーダビーム又はライダビームを用いて探索されるときに付随的に発生する。次いで、完全な正則処理によって獲得可能な情報の多くは、例えば、それに続く対象物の位置の特定及び／又は対象物のタイプの分類の際に、より高い精度を生じさせることができる。そのため、例えば複素数値のレーダ信号には、信号の受信に関与したすべての物理的アンテナチャンネル及び／又は仮想アンテナチャンネルにわたるドップラースペクトル、並びに、送信された各レーダパルス（チャープ）の方位角スペクトルが含まれる。そのようなストレートなスペクトルは、対象物の識別や分類に役立つ。仮想アンテナチャンネルは、例えば、「多入力多出力」（ＭＩＭＯ）レーダを使用する場合に存在する。ホロモルフィック処理は、例えば、レーダ反射又はライダ反射が到来する方向（Direction of Arrival，ＤＯＡ）を正確に求める場合にも有利であるが、この方向は、常に切り替わる環境条件と、各問合せビームのマルチパス伝搬の可能性とによって複雑になる。
【0012】
同様のことは、電磁場の伝搬が好適には複素数値の変数で示される他の無線用途にも当てはまる。
【0013】
具体的な用途に依存することのない、正則活性化関数を有するニューラルネットワークアーキテクチャの最も目立っている利点は、例えば、その活性化関数が実部と虚部とを相互に分離して処理するアーキテクチャよりも、トレーニング中の未知の入力に対する汎化がより良好なことである。したがって、これは、ニューラルネットワークアーキテクチャの入力空間における決定境界が平滑化されることを伴う。例えば、特に、例えば複素ＲｅＬＵ活性化関数の使用によって促進される断絶箇所の発生が抑制される。
【0014】
特に好適な態様においては、活性化関数及び／又はこの活性化関数の微分は、共形写像である。この共形写像に、複素平面での中間角度を含む２つの複素数ｚ１及びｚ２が供給される場合、共形写像によって供給される結果は、複素平面での同等の中間角度を含む。さらに、複素数ｚ１とｚ２との間の長さ比も同様に共形写像によって供給される結果の間で維持することができる。したがって、共形写像は複素平面での遠隔秩序を変化させるものではあるが、少なくともある程度の近傍秩序は維持される。特に、相互に直交する特徴の表現は、共形写像の適用後も同様に相互に直交したままである。ストレートな直交性は、特に重要な情報を体現する特徴間の関係である。それに対して、写像が共形写像でない場合、前述した表現からは、相互に非常に近い結果が現れ、それらはもはや数値的に相互に区別することができない。
【0015】
さらに特に好適な態様においては、活性化関数は、自由係数ａ，ｂ，ｃ，ｄを用いた以下の形式
ｆ（ｚ）＝（ａ・ｚ＋ｂ）／（ｃ・ｚ＋ｄ）
のメビウス変換を含む。これらの係数は、特に、例えば、ニューラルネットワークアーキテクチャをトレーニングする際に共にトレーニングすることができる。このようにして、パラメータ化されたアプローチの範囲内で、ニューラルネットワークアーキテクチャによって解決すべきタスク全体に関して最良の結果を提供する変換を見出すことができる。例えば、ＲｅＬＵ、Ｓｉｇｍｏｉｄ及びｔａｎｈなどの従来の常用的な活性化関数は、この種の自由度を有しておらず、したがって、解決すべき具体的なタスクに適合化させることはできない。係数を共にトレーニングすることは、ここでは、利用可能な関数のカタログから厳密に１つの具体的な活性化関数を選択するよりも明らかに良好な動機付けが可能である。
ｆ（ｚ）＝（ａ・ｚ＋ｂ）／（ｃ・ｚ＋ｄ）
のメビウス変換を含む。これらの係数は、特に、例えば、ニューラルネットワークアーキテクチャをトレーニングする際に共にトレーニングすることができる。このようにして、パラメータ化されたアプローチの範囲内で、ニューラルネットワークアーキテクチャによって解決すべきタスク全体に関して最良の結果を提供する変換を見出すことができる。例えば、ＲｅＬＵ、Ｓｉｇｍｏｉｄ及びｔａｎｈなどの従来の常用的な活性化関数は、この種の自由度を有しておらず、したがって、解決すべき具体的なタスクに適合化させることはできない。係数を共にトレーニングすることは、ここでは、利用可能な関数のカタログから厳密に１つの具体的な活性化関数を選択するよりも明らかに良好な動機付けが可能である。
【0016】
特に好適には、メビウス変換の係数ａ，ｂ，ｃ，ｄは、実数値である。このようにして、探索空間が明らかに縮小されている。同時に、正の虚部半平面がそれ自体に写像されることが保証される。さらに、ニューラルネットワークアーキテクチャの出力が実数値軸に「崩壊」する確率が減少する。
【0017】
さらに特に好適な態様においては、メビウス変換の係数の行列
は、予め設定された値から最大で予め設定された絶対値分だけ偏差する行列式ｄｅｔ（Ａ）を有する。例えば、ｄｅｔ（Ａ）は、半径１／２の複素平面での円描写において、値１近辺に維持することができる。このようにして、例えば、行列Ａが特異的にならないことを保証することができる。特に、例えば行列Ａを変更する各トレーニングステップにおいてｄｅｔ（Ａ）を検査することができる。後でさらに説明するように、行列式ｄｅｔ（Ａ）の偏差が過度に大きい場合、Ａのすべての要素を行列式ｄｅｔ（Ａ）の平方根
によって除算することができる。
【数1】
【数2】
【0018】
ニューラルネットワークアーキテクチャは、特に、例えば特徴抽出器として構成されるものとしてよい。したがって、特徴抽出器の異なる層におけるニューロンの出力は、測定データにおける異なるスケール及び／又は複雑性の特徴の表現度を示す。特徴抽出器についての一例は、畳み込みニューラルネットワーク（Convolutional Neural Network，ＣＮＮ）であり、これは測定データへのフィルターカーネルのスライディング方式での適用によって特徴マップを生成する。測定データへのフィルターカーネルの適用によって生成された特徴マップの部分は、このフィルターカーネルに対応する特徴マップの「チャネル」とも呼ばれる。すなわち、特徴マップは、この種のチャネルの積層体である。
【0019】
さらに特に好適な態様においては、ニューラルネットワークアーキテクチャは、測定データに関して、特徴抽出器の１つ又は複数の出力から予め設定されたタスクの解を求めるように構成されたタスクヘッドを含む。タスクヘッドのアーキテクチャは、ここでは、予め設定されたタスクに適合化される。ニューラルネットワークアーキテクチャのトレーニング後にタスクヘッドを切り替える場合は、新しいタスクヘッドをトレーニングするだけで十分となるであろう。それに対して、特徴抽出器は、例えば、短縮されたさらなるトレーニング（「微調整」）だけを受けること、又は、先行してトレーニングされた自身の状態で完全に固定することができる。タスクヘッドは、特に、例えば実数値の結果を提供することができる。すなわち、タスクヘッドは、例えば、最初に特徴抽出器の複素数値の出力を受け取ることができ、その限りにおいては、まだ完全な情報内容から入手することができる。次いで、この情報は、予め設定されたタスクに関する解に凝縮され、同時に実数値軸に移行される。
【0020】
タスクヘッドは、特に、例えば、測定データについて予め設定された分類の１つ又は複数のクラスに関して分類スコアを求めるように構成されるものとしてよい。例えば、タスクヘッドは、その存在を測定データが示唆する対象物のタイプを分類することができる。
【0021】
さらなる特に好適な態様においては、ニューラルネットワークアーキテクチャによって供給される１つ又は複数の出力から駆動制御信号が形成される。この駆動制御信号を用いて、車両、運転支援システム、ロボット、品質管理システム、領域監視システム、及び／又は、医療用撮像システムが駆動制御される。このようにして、各技術システムにより駆動制御信号に応答して実行される反応が、測定データによって具現化される状況において適当である確率が高まる。
【0022】
本発明は、先に説明したニューラルネットワークアーキテクチャをトレーニングするための方法にも関する。
【0023】
本方法の枠内においては、測定データのトレーニングレコードが提供される。これらのトレーニングレコードは、例えば、教師ありトレーニングのために目標出力で注釈（ラベル付け）されるものとしてもよい。
【0024】
ここでは、「レコード」という用語は、カードインデックスボックスのインデックスカードの情報に匹敵する、関連データのデータセットを表す。レコードには、例えば、技術システムの動作状態を併せて特徴付ける複数の測定変数の値、又は、画像データ及び場合によっては所属のメタデータが含まれる。ここでは「データセット」の代わりに「レコード」という用語が使用される。なぜなら、「データセット」という用語が機械学習の技術用語において既に多方面で例証されており、すべてのインデックスカードを含むカードインデックスボックスに匹敵する、すべてのレコードのコレクションを表すからである。
【0025】
トレーニングレコードは、トレーニングすべきニューラルネットワークアーキテクチャに供給され、このニューラルネットワークアーキテクチャによって出力に処理される。これらの出力は、予め設定された実数値コスト関数を用いて評価される。そのため、例えば、教師ありトレーニングの際に目標出力からの出力の偏差を測定することができる。しかしながら、例えば、特徴抽出器は、例えば特徴抽出器の出力から元の入力を再構成しようと試みるデコーダと併せて自己教師ありトレーニングを行うことも可能である。
【0026】
ニューラルネットワークアーキテクチャの挙動を特徴付けるパラメータは、トレーニングレコードのさらなる処理の際に、コスト関数による評価を改善する目的で最適化される。これらのパラメータには、例えばニューロンの活性化に対する入力のオフセットのための重み及びバイアス値などのニューラルネットワークの通常の調整ねじだけでなく、正則活性化関数のためのパラメータ化されたアプローチの自由係数も含まれる。すなわち、これらの係数は、例えば、重み及びバイアス値とともにベクトルに統合することができる。しかしながら、例えば、切り替えにおいて、一方では、重み及びバイアス値を有するベクトルを、他方では、係数を有するベクトルをトレーニングステップにおいて更新することも可能である。したがって、各勾配は、「混合」された空間における勾配よりも、具体的な用途に関してそれ自体でより意味のあるものとなる。
【0027】
先に説明したように、このようにして、活性化関数の選択に関して大きい柔軟性が造り出される。パラメータ化されたアプローチを可能にする関数の大きいクラスから、ニューラルネットワークアーキテクチャで最終的に追求される目標を達成するために最良であるものが正確に選択される。したがって、この選択は、例えば活性化関数を手動で選択するよりも良好に自動的に動機付けされる。パラメータ化されたアプローチとして、例えば、先に紹介したメビウス変換のクラスを選択することができる。
【0028】
特に好適な態様においては、最適化されるステップの枠内において、正則活性化関数のためのパラメータ化されたアプローチの係数から形成される行列Ａの行列式ｄｅｔ（Ａ）の予め設定された値からの偏差が、予め設定された絶対値を上回っているかどうかが検査される。このことが該当する場合、当該行列の要素は、行列式ｄｅｔ（Ａ）の平方根
によって除算される。このようにして、特に、例えば、行列Ａが特異的になったり、活性化関数が単純化したりすることを阻止することができる。
【数3】
【0029】
ニューラルネットワークアーキテクチャは、特に、例えば、コンピュータ実装されるものとしてよい。それゆえ、本発明は、コンピュータプログラムが１つ又は複数のコンピュータ上で実行されるときに、当該１つ又は複数のコンピュータに、先に説明したニューラルネットワークアーキテクチャの少なくとも１つのインスタンスを実現させるための機械可読命令を含むコンピュータプログラムにも関する。この文脈において、特に、例えば、それぞれ同様に機械可読命令を実行することが可能であるグラフィックプロセッサ、ＧＰＵ、車両用制御装置、又は、他の装置への組み込み用埋め込みシステムも、コンピュータとみなすことができる。
【0030】
同様に、本発明は、１つ又は複数のコンピュータプログラムを含む機械可読データ担体及び／又はダウンロード製品にも関する。ダウンロード製品とは、データネットワークを介して転送可能な、すなわち、データネットワークのユーザによってダウンロード可能なデジタル製品であり、これは、例えばオンラインショップにおいて即時ダウンロード販売可能である。
【0031】
さらに、１つ又は複数のコンピュータ及び／又は計算インスタンスは、１つ又は複数のコンピュータプログラム、機械可読データ担体又はダウンロード製品を備えるものとしてよい。
【0032】
以下においては、本発明を改善するさらなる手段を、図面に基づいた本発明の好適な実施例の説明と併せてより詳細に示す。
【図面の簡単な説明】
【0033】
【図1】ニューラルネットワークアーキテクチャ１の実施例を示した図である。
【図2】ニューラルネットワークアーキテクチャ１の出力１ｃの例示的使用を示した図である。
【図3】ニューラルネットワークアーキテクチャ１をトレーニングするための方法１００の実施例を示した図である。
【図4a】同様のトレーニングデータ（図４ａ）で、非正則活性化関数（図４ｂ）を用いてトレーニングされたネットワークアーキテクチャ１の挙動と、正則活性化関数７（図４ｃ）を用いてトレーニングされたネットワークアーキテクチャ１の挙動との比較を示した図である。
【発明を実施するための形態】
【0034】
実施例
図１は、ニューラルネットワークアーキテクチャ１の一実施例の概略図である。このニューラルネットワークアーキテクチャ１は、入力として測定データ１ｂを受け取るニューロン２ａを有する入力層２を含む。続いて、これらの測定データは、ニューロン３ａを有する複数の中間層３において逐次的に継続処理される。これらの入力層２及び中間層３は、併せて特徴抽出器９ａを形成する。
図１は、ニューラルネットワークアーキテクチャ１の一実施例の概略図である。このニューラルネットワークアーキテクチャ１は、入力として測定データ１ｂを受け取るニューロン２ａを有する入力層２を含む。続いて、これらの測定データは、ニューロン３ａを有する複数の中間層３において逐次的に継続処理される。これらの入力層２及び中間層３は、併せて特徴抽出器９ａを形成する。
【0035】
ニューラルネットワークアーキテクチャ１は、付加的にさらに出力層４を含む。この出力層４は、解決すべきタスクに関して特徴抽出器９ａの出力をニューラルネットワークアーキテクチャ１全体によって供給される最終結果１ｃに処理する。すなわち、出力層４は、同時に特徴抽出器９ａの出力を継続処理するタスクヘッド９ｂとしても用いられる。
【0036】
図１の中央においては、中間層３におけるニューロン３ａ内における処理がどのように実行されるかが例示的に示されている。ニューロン３ａに供給された入力３ｂは、活性化６のために、正則オフセット関数、ここでは加重和を用いて処理される。この加重和の重みと、活性化６に追加される任意選択的な加算バイアス値とは、ニューラルネットワークアーキテクチャ１の挙動を特徴付けるパラメータ１ａに属する。活性化６は、ニューロン３ａの出力８のために、正則非線形活性化関数７によって処理される。図１に示されている例においては、この非線形活性化関数７に対して自由係数７ａを用いてパラメータ化されるアプローチが選択される。したがって、これらの係数７ａも同様に、ニューラルネットワークアーキテクチャ１の挙動を特徴付けるパラメータ１ａになる。
【0037】
図２は、ニューラルネットワークアーキテクチャ１によって提供される出力１ｃがさらにどのように使用され得るのかを例示的に示している。制御ユニットＳは、ニューラルネットワークアーキテクチャ１の出力１ｃを受信し、駆動制御信号１０を求める。この駆動制御信号１０を用いて、車両５０、運転支援システム５１、ロボット６０、品質管理システム７０、領域監視システム８０、及び／又は、医療用撮像システム９０が駆動制御される。
【0038】
図３は、前述したニューラルネットワークアーキテクチャ１をトレーニングするための方法１００の一実施例の概略的なフローチャートである。
【0039】
ステップ１１０においては、測定データ１ｂのトレーニングレコード１ｂ＊が提供される。これらのトレーニングレコード１ｂ＊は、ステップ１２０において、ニューラルネットワークアーキテクチャ１に供給され、当該ニューラルネットワークアーキテクチャ１によって出力１ｃに処理される。そのように得られた出力１ｃは、ステップ１３０において、予め設定された実数値コスト関数１１を用いて評価される。ここでは、評価１１ａが生じる。
【0040】
ステップ１４０においては、ニューラルネットワークアーキテクチャ１の挙動を特徴付けるパラメータ１ａは、トレーニングレコード１ｂのさらなる処理の際に、コスト関数１１による評価１１ａを改善する目的で最適化される。その際、これらのパラメータ１ａには、正則活性化関数７のためのパラメータ化されたアプローチの自由係数７ａも含まれる。パラメータ１ａ及び７ａの最適化が完了した状態は、符号１ａ＊又は７ａ＊で示される。これらのパラメータ１ａ，７ａは、同時にニューラルネットワークアーキテクチャ１のトレーニングが完了した状態１＊も確定する。
【0041】
ブロック１４１に従って、この最適化されるステップの枠内において、特に、例えば、正則活性化関数のためのパラメータ化されたアプローチの係数から形成される行列Ａの行列式ｄｅｔ（Ａ）の予め設定された値からの偏差が、予め設定された絶対値を上回っているかどうかを検査することが可能である。このことが該当する場合（真理値１）、ブロック１４２に従って、当該行列の要素は、行列式ｄｅｔ（Ａ）の平方根
によって除算することができる。
【数4】
【0042】
図４は、同様のトレーニングデータを起点として、非正則活性化関数から正則活性化関数への切り替えが、ニューラルネットワークアーキテクチャ１のトレーニングにどのように作用するのかを示す図である。図４に示されている例においては、ニューラルネットワークアーキテクチャ１は、単一の複素数からなる入力１ｂを、２つの可能なクラスＣ１及びＣ２のうちの１つに割り当てる二値分類器である。
【0043】
図４ａは、トレーニングデータのレコード１ｂ＊を示す。各レコード１ｂ＊について、それぞれ虚部Ｉｍ（１ｂ＊）が実部Ｒｅ（１ｂ＊）に関してプロットされている。曲線Ｃ１上のレコード１ｂ＊は、目標出力としてクラスＣ１でラベル付けされている。曲線Ｃ２上のレコード１ｂ＊は、目標出力としてクラスＣ２でラベル付けされている。
【0044】
図４ｂは、それらの実部Ｒｅ（１ｂ）と虚部（１ｂ）とによって拡張された平面での例示的な測定データ１ｂについて、図４ａに示されているレコード１ｂ＊を用いてトレーニングされたニューラルネットワークアーキテクチャが、これらの測定データ１ｂをそれぞれ出力１ｃとしてどのクラスに割り当てるかを示す。活性化関数は、ここでは、非正則複素ＲｅＬＵ関数である。欠如する複素微分可能性は、ここでは、クラスＣ１とＣ２との間の決定境界における鋭角の折れ曲がりや断絶箇所の形態で顕著に表れている。
【0045】
図４ｃは、これに対する比較において、活性化関数７として正則メビウス変換ｆ（ｚ）＝１－（１／ｚ）への切り替えがどのように作用するのかを示している。クラスＣ１とクラスＣ２との間の決定境界がここでは明らかに滑らかになったことが、明確に認識することができる。鋭角の折れ曲がりや断絶箇所は完全に消えている。このことは、測定データ１ｂの小さい変化が出力１ｃの大きい変化につながりにくいという意味でもニューラルネットワークアーキテクチャ１をより堅固にする。
【図1】
【図2】
【図3】
【図4a】
【図4b】
【図4c】
【手続補正書】
【提出日】2024-07-18
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
測定データ（１ｂ）を処理するためのニューラルネットワークアーキテクチャ（１）であって、前記ニューラルネットワークアーキテクチャ（１）は、それぞれ複数のニューロン（２ａ，３ａ，４ａ）を有する複数の層（２，３，４）を含み、各ニューロンは、複素数値の入力（２ｂ，３ｂ，４ｂ）を活性化（６）のために正則オフセット関数（５）を用いて処理し、非線形活性化関数（７）を前記活性化（６）に適用することにより自身の出力（８）を求めるように構成されており、前記非線形活性化関数（７）も同様に正則である、ニューラルネットワークアーキテクチャ（１）。
【請求項2】
前記非線形活性化関数（７）及び／又は当該非線形活性化関数（７）の微分は、２つの複素数ｚ１及びｚ２に適用された後、当該２つの複素数ｚ１及びｚ２の間の中間角度が複素平面で維持され続ける共形写像である、請求項１に記載のニューラルネットワークアーキテクチャ（１）。
【請求項3】
前記非線形活性化関数（７）は、自由係数ａ，ｂ，ｃ，ｄを用いた以下の形式
ｆ（ｚ）＝（ａ・ｚ＋ｂ）／（ｃ・ｚ＋ｄ）
のメビウス変換を含む、請求項１又は２に記載のニューラルネットワークアーキテクチャ（１）。
ｆ（ｚ）＝（ａ・ｚ＋ｂ）／（ｃ・ｚ＋ｄ）
のメビウス変換を含む、請求項１又は２に記載のニューラルネットワークアーキテクチャ（１）。
【請求項4】
前記メビウス変換の前記自由係数ａ，ｂ，ｃ，ｄは、実数値である、請求項３に記載のニューラルネットワークアーキテクチャ（１）。
【請求項5】
前記メビウス変換の前記自由係数ａ，ｂ，ｃ，ｄの行列
は、予め設定された値から最大で予め設定された絶対値分だけ偏差する行列式ｄｅｔ（Ａ）を有する、請求項３に記載のニューラルネットワークアーキテクチャ（１）。
【数1】
【請求項6】
前記ニューラルネットワークアーキテクチャ（１）は、少なくとも部分的に特徴抽出器（９ａ）として構成され、前記特徴抽出器（９ａ）の異なる層（２，３，４）におけるニューロン（２ａ，３ａ，４ａ）の出力は、前記測定データ（１ｂ）における異なるスケール及び／又は複雑性の特徴の表現度を示す、請求項１に記載のニューラルネットワークアーキテクチャ（１）。
【請求項7】
前記ニューラルネットワークアーキテクチャ（１）は、前記測定データ（１ｂ）に関して、前記特徴抽出器（９ａ）の１つ又は複数の出力から、予め設定されたタスクの解を求めるように構成されたタスクヘッド（９ｂ）をさらに含む、請求項６に記載のニューラルネットワークアーキテクチャ（１）。
【請求項8】
前記タスクヘッド（９ｂ）は、前記測定データ（１ｂ）について予め設定された分類の１つ又は複数のクラスに関して分類スコアを求めるように構成されている、請求項７に記載のニューラルネットワークアーキテクチャ（１）。
【請求項9】
少なくとも１つの電磁場の空間的及び／又は時間的分布を示す測定データ（１ｂ）を処理するための、請求項１に記載のニューラルネットワークアーキテクチャ（１）の使用。
【請求項10】
前記電磁場は、少なくとも部分的に、１つ又は複数の対象物における電磁的問合せビームの反射に由来する、請求項９に記載の使用。
【請求項11】
前記ニューラルネットワークアーキテクチャ（１）によって提供される１つ又は複数の出力（１ｃ）から駆動制御信号（１０）が形成され、
前記駆動制御信号（１０）を用いて、車両（５０）、運転支援システム（５１）、ロボット（６０）、品質管理システム（７０）、領域監視システム（８０）、及び／又は、医療用撮像システム（９０）が駆動制御される、請求項９又は１０に記載の使用。
前記駆動制御信号（１０）を用いて、車両（５０）、運転支援システム（５１）、ロボット（６０）、品質管理システム（７０）、領域監視システム（８０）、及び／又は、医療用撮像システム（９０）が駆動制御される、請求項９又は１０に記載の使用。
【請求項12】
請求項１に記載のニューラルネットワークアーキテクチャ（１）をトレーニングするための方法（１００）であって、当該方法は、
測定データ（１ｂ）のトレーニングレコード（１ｂ＊）が提供されるステップ（１１０）と、
前記トレーニングレコード（１ｂ＊）が前記ニューラルネットワークアーキテクチャ（１）に供給され、前記ニューラルネットワークアーキテクチャ（１）によって出力（１ｃ）に処理されるステップ（１２０）と、
前記出力（１ｃ）が、予め設定された実数値コスト関数（１１）を用いて評価されるステップ（１３０）と、
前記ニューラルネットワークアーキテクチャ（１）の挙動を特徴付けるパラメータ（１ａ）が、前記トレーニングレコード（１ｂ＊）のさらなる処理の際に、前記コスト関数（１１）による評価（１１ａ）を改善する目的で最適化されるステップ（１４０）と、
を含み、
前記パラメータ（１ａ）には、正則活性化関数（７）のためのパラメータ化されたアプローチの自由係数（７ａ）も含まれる、方法（１００）。
測定データ（１ｂ）のトレーニングレコード（１ｂ＊）が提供されるステップ（１１０）と、
前記トレーニングレコード（１ｂ＊）が前記ニューラルネットワークアーキテクチャ（１）に供給され、前記ニューラルネットワークアーキテクチャ（１）によって出力（１ｃ）に処理されるステップ（１２０）と、
前記出力（１ｃ）が、予め設定された実数値コスト関数（１１）を用いて評価されるステップ（１３０）と、
前記ニューラルネットワークアーキテクチャ（１）の挙動を特徴付けるパラメータ（１ａ）が、前記トレーニングレコード（１ｂ＊）のさらなる処理の際に、前記コスト関数（１１）による評価（１１ａ）を改善する目的で最適化されるステップ（１４０）と、
を含み、
前記パラメータ（１ａ）には、正則活性化関数（７）のためのパラメータ化されたアプローチの自由係数（７ａ）も含まれる、方法（１００）。
【請求項13】
前記最適化されるステップ（１４０）の枠内において、
前記正則活性化関数のパラメータ化されたアプローチの係数から形成される行列Ａの行列式ｄｅｔ（Ａ）の予め設定された値からの偏差が、予め設定された絶対値を上回っているかどうかが検査され（１４１）、
前記正則活性化関数のパラメータ化されたアプローチの係数から形成される行列Ａの行列式ｄｅｔ（Ａ）の予め設定された値からの偏差が、予め設定された絶対値を上回っている場合、当該行列の要素は、行列式ｄｅｔ（Ａ）の平方根
によって除算される（１４２）、請求項１２に記載の方法（１００）。
前記正則活性化関数のパラメータ化されたアプローチの係数から形成される行列Ａの行列式ｄｅｔ（Ａ）の予め設定された値からの偏差が、予め設定された絶対値を上回っているかどうかが検査され（１４１）、
前記正則活性化関数のパラメータ化されたアプローチの係数から形成される行列Ａの行列式ｄｅｔ（Ａ）の予め設定された値からの偏差が、予め設定された絶対値を上回っている場合、当該行列の要素は、行列式ｄｅｔ（Ａ）の平方根
【数2】
【請求項14】
コンピュータプログラムであって、当該コンピュータプログラムが１つ又は複数のコンピュータ上で実行されるときに、前記１つ又は複数のコンピュータに、請求項１に記載のニューラルネットワークアーキテクチャ（１）の少なくとも１つのインスタンスを実現させるための、又は、請求項１２に記載の方法（１００）を実施させるための機械可読命令を含むコンピュータプログラム。
【請求項15】
請求項１４に記載のコンピュータプログラムを含む機械可読データ担体。
【請求項16】
１つ又は複数のコンピュータであって、請求項１４に記載のコンピュータプログラム、又は、請求項１５に記載の機械可読データ担体を備えた１つ又は複数のコンピュータ。
【外国語明細書】