▶ バイエリシエ・モトーレンウエルケ・アクチエンゲゼルシヤフトの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-08-23
(54)【発明の名称】情報信号を処理するシステムおよび方法
(51)【国際特許分類】
G06N 3/063 20230101AFI20230816BHJP
G06T 7/00 20170101ALI20230816BHJP
G06T 1/40 20060101ALI20230816BHJP
G06N 3/0455 20230101ALI20230816BHJP
G06N 3/0464 20230101ALI20230816BHJP
【ＦＩ】
G06N3/063
G06T7/00 350C
G06T1/40
G06N3/0455
G06N3/0464
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022570154
(86)(22)【出願日】2021-07-09
(85)【翻訳文提出日】2022-11-16
(86)【国際出願番号】 EP2021069179
(87)【国際公開番号】W WO2022022989
(87)【国際公開日】2022-02-03
(31)【優先権主張番号】102020119743.8
(32)【優先日】2020-07-27
(33)【優先権主張国・地域又は機関】DE
(81)【指定国・地域】
(71)【出願人】
【識別番号】398037767
【氏名又は名称】バイエリシエ・モトーレンウエルケ・アクチエンゲゼルシヤフト
(74)【代理人】
【識別番号】100069556
【弁理士】
【氏名又は名称】江崎 光史
(74)【代理人】
【識別番号】100111486
【弁理士】
【氏名又は名称】鍛冶澤 實
(74)【代理人】
【識別番号】100191835
【弁理士】
【氏名又は名称】中村 真介
(74)【代理人】
【識別番号】100221981
【弁理士】
【氏名又は名称】石田 大成
(72)【発明者】
【氏名】ハイムラート・アンドレアス
【テーマコード（参考）】
5B057
5L096
【Ｆターム（参考）】
5B057AA16
5B057BA02
5B057CA08
5B057CA12
5B057CA16
5B057DA12
5B057DB02
5B057DB09
5B057DC40
5L096AA06
5L096BA04
5L096CA02
5L096DA02
5L096EA13
5L096HA11
5L096KA04
(57)【要約】
いくつかの例は、情報信号（１１，１２）を受信する信号入力部（１３）を備えるとともにシステム（１０）のニューラルネットワークの共通ユニット（１４）を備えた、情報信号（１１，１２）を処理するシステム（１０）に関するものである。ニューラルネットワークの共通ユニット（１４）は、情報信号（１１，１２）のそれぞれの一番目の信号処理ステップのために形成されている。さらに、信号の流れにおいて共通ユニット（１４）の下流側に配備されたニューラルネットワークの少なくとも二つの分割ユニット（１５ａ，１５ｂ）が設けられている。少なくとも二つの分割ユニット（１５ａ，１５ｂ）の第一のユニット（１５ａ）は、第一の情報信号（１１）の二番目の信号処理のために形成され、少なくとも二つの分割ユニット（１５ａ，１５ｂ）の第二のユニット（１５ｂ）は、第二の情報信号（１２）の二番目の信号処理のために形成されている。さらに、信号処理のためのセンサシステム、自動車（４０）並びに方法（３０）も提案されている。
【特許請求の範囲】
【請求項1】
少なくとも一つの第一の情報信号（１１）および少なくとも一つの第二の情報信号（１２）を処理するシステム（１０）であって、前記情報信号（１１，１２）を受信する信号入力部（１３）と、
システム（１０）のニューラルネットワークの共通ユニット（１４）であって、前記情報信号（１１，１２）の、それぞれ一番目の信号処理ステップのために形成されているニューラルネットワークの共通ユニット（１４）と、
信号の流れにおいて共通ユニット（１４）の下流側に配備された、ニューラルネットワークの少なくとも二つの分割ユニット（１５ａ，１５ｂ）であって、少なくとも二つの分割ユニット（１５ａ，１５ｂ）の第一のユニット（１５ａ）が、第一の情報信号（１１）の二番目の信号処理のために形成されているとともに、少なくとも二つの分割ユニット（１５ａ，１５ｂ）の第二のユニット（１５ｂ）が、第二の情報信号（１２）の二番目の信号処理のために形成されている分割ユニット（１５ａ，１５ｂ）と、
処理された情報信号（１１’，１２’）を出力する信号出力部（１６）と
を有するシステム（１０）。
【請求項2】
ニューラルネットワークの少なくとも二つの分割ユニット（１５ａ，１５ｂ）は、ニューラルネットワークの、ソフトウェアにより実装される少なくとも一つのユニットと、ニューラルネットワークの、ハードウェアにより実装される少なくとも一つのユニットとを有している請求項１に記載のシステム（１０）。
【請求項3】
ニューラルネットワークの少なくとも二つの分割ユニット（１５ａ，１５ｂ）は、信号の流れにおいて並列に配備されている請求項１または２に記載のシステム（１０）。
【請求項4】
ニューラルネットワークの共通ユニット（１４）は、ハードウェアにより形成されている請求項１から３のいずれかに記載のシステム（１０）。
【請求項5】
ニューラルネットワークの共通ユニット（１４）は、畳み込みニューラルネットワークを有する請求項１から４のいずれかに記載のシステム（１０）。
【請求項6】
ニューラルネットワークの共通ユニット（１４）は、オートエンコーダを有する請求項１から５のいずれかに記載のシステム（１０）。
【請求項7】
請求項１から６のいずれかに記載のシステム（１０）であって、前処理ユニット（４３）をさらに含み、
当該前処理ユニット（４３）は、信号の流れにおいて信号入力部（１３）とニューラルネットワークの共通ユニット（１４）との間に配備され、
前処理ユニット（４３）は、前記情報信号（１１，１２）に、ニューラルネットワークの共通ユニット（１４）による一番目の信号処理ステップのためのそれぞれの処理時間を割り当てるように形成されている
システム（１０）。
【請求項8】
前処理ユニット（４３）は、前記情報信号（１１，１２）を、ニューラルネットワークの共通ユニット（１４）に適合した信号規格に変換するように形成されている請求項７に記載のシステム（１０）。
【請求項9】
第一の情報信号（１１）および第二の情報信号（１２）は、いずれも画像信号であり、前処理ユニット（４３）は、当該画像信号を所定のフレームレートおよび／または所定の解像度のそれぞれの標準画像信号に変換するように形成されている請求項８に記載のシステム（１０）。
【請求項10】
第一の情報信号（１１）および第二の情報信号（１２）は、いずれも画像信号であり、前処理ユニット（４３）は、それぞれの画像信号が用いられる対象の機能に基づいて、ニューラルネットワークによる信号処理のために、画像信号の予め決まった選別による情報のみを選び出すように形成されている請求項８または９に記載のシステム（１０）。
【請求項11】
前処理ユニット（４３）は、信号入力部（１３）に存在する情報信号（１１，１２）に応じて、二番目の信号処理のために、ニューラルネットワークの二つの分割ユニット（１５ａ，１５ｂ）の第一のユニット（１５ａ）を使用するか或いは第二のユニット（１５ｂ）を使用するかを選択するように形成されている請求項７から１０のいずれかに記載のシステム（１０）。
【請求項12】
情報信号（２１）を処理するシステム（２０）であって、情報信号（２１）を受信する信号入力部（２３）と、
システム（２０）のニューラルネットワークの共通ユニット（２４）であって、情報信号（２１）の一番目の信号処理ステップのために形成されているニューラルネットワークの共通ユニット（２４）と、
信号の流れにおいて共通ユニット（２４）の下流側に並列に配備された、ニューラルネットワークの少なくとも二つの分割ユニット（２５ａ，２５ｂ）とを有し、
第一の動作モードでは、少なくとも二つの分割ユニット（２５ａ，２５ｂ）の第一のユニット（２５ａ）を情報信号（２１）の二番目の信号処理のために用い、第二の動作モードでは、少なくとも二つの分割ユニット（２５ａ，２５ｂ）の第二のユニット（２５ｂ）を情報信号（２１）の二番目の信号処理のために用いるように形成されたシステム（２０）であって、
さらに、処理された情報信号（２１’）を出力する信号出力部（２６）を
を有するシステム（２０）。
【請求項13】
請求項１２に記載のシステム（２０）であって、第一および第二の動作モードを並列に実施させるために、第一の分割ユニット（２５ａ）と第二の分割ユニット（２５ｂ）の両方を二番目の信号処理のために並列に用いるシステム（２０）。
【請求項14】
請求項１から１３のいずれかに記載のシステム（１０，２０）と、当該システム（１０，２０）の信号入力部（１３，２３）に接続されている少なくとも二つのセンサ（４２ａ，４２ｂ）であって、それぞれ違った情報信号を信号入力部（１３，２３）に送るように形成されている少なくとも二つのセンサ（４２ａ，４２ｂ）とを有する
センサシステム。
【請求項15】
少なくとも二つのセンサ（４２ａ，４２ｂ）は、光学センサ、カメラ（４２ａ，４２ｂ）、電流センサ、温度センサ、充電状態センサまたは回生事象を予測するように形成されたセンサ装置の少なくとも一つを有する請求項１４に記載のセンサシステム。
【請求項16】
自動車（４０）の制御装置（４０ａ）内に配備されている請求項１から１３のいずれかに記載のシステム（１０，２０）と、自動車（４０）の車載ネットワーク（４１）を介してシステム（１０，２０）の信号入力部（１３，２３）に接続されている少なくとも二つのセンサ（４２ａ，４２ｂ）とを有する
自動車（４０）。
【請求項17】
少なくとも一つの情報信号（１１，１２）を信号処理する方法（３０）であって、一番目の信号処理ステップにおいて、ニューラルネットワークの上流側のユニット（１４）により情報信号（１１，１２）を処理すること（３１）、
情報信号（１１，１２）の種類および／または情報信号（１１，１２）が用いられる機能を特定すること（３２）、
二番目の信号処理ステップにおいて、ニューラルネットワークの下流側の第一のユニット（１５ａ）により或いはニューラルネットワークの下流側の第二のユニット（１５ｂ）により情報信号（１１，１２）をさらに処理すること（３３）、
そのとき、ニューラルネットワークの下流側の第一のユニット（１５ａ）または下流側の第二のユニット（１５ｂ）の選択が、情報信号（１１，１２）の種類および／または信号処理するために用いられる機能の種類に応じて行なわれること
を有する方法（３０）。
【発明の詳細な説明】
【技術分野】
【0001】
実施例は、少なくとも一つの第一の、および少なくとも一つの第二の情報信号を処理するシステム並びに一つの情報信号を処理するシステムに関する。さらなる実施例は、センサシステム並びに自動車に関する。さらに、情報信号を信号処理する方法を提案する。
【背景技術】
【0002】
近年の自動車では、例えば異なる種類のセンサ信号など、多くの情報信号を処理する必要がある。この種の信号は、車両の様々な機能に使用することができる。
【0003】
人工知能を利用した信号処理が例えば公知である。とりわけ、（例えば、クラスタリングのための教師ありと教師なしの）機械学習および畳み込みニューラルネットワーク（ＣＮＮ）の考え方が、例えば、オブジェクト認識、オブジェクトの分類およびセグメンテーションのためのコンピュータビジョンの分野で知られている。ニューラルネットワークは、例えばハードウェアに実装することができる。
【0004】
ＣＮＮハードウェアアクセラレータが例えば公知であるが、これは、例えばソフトウェアベースのＣＮＮシステムとは対照的に処理速度にプラスに働き得る。一つの目標が、ハードウェア資源の負荷をできるだけ少なくした、できるだけ高い計算能力である場合もある。このようにして、例えば、目指す性能（例えば、１秒あたりの所望の処理画像数）を達成することができる。さらには、例えば、プロセッサ面積、ひいてはコストも低減させることができる。
【0005】
しかしながら、特に車両の分野における公知のシステムでは、高い機能的要件に対するエネルギー需要が依然として高すぎる場合がある。ハードウェアにより実装されたニューラルネットワークは、例えば、それ以上トレーニングができないので、さほど柔軟に使用できない。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本開示の課題は、ニューラルネットワークを備えたシステムに対するさらに優れた考え方を提供することである。
【課題を解決するための手段】
【0007】
この課題は、独立請求項の主題によって解決される。さらに他の有利な実施形態は、従属特許請求項、明細書および図面との関連で述べられる。
【0008】
少なくとも一つの第一の情報信号および少なくとも一つの第二の情報信号を処理するシステムを然るべく提案する。このシステムは、情報信号を受信する信号入力部と、システムのニューラルネットワークの共通ユニットとを有する。ニューラルネットワークの共通ユニットはここで、複数の情報信号の、それぞれ一番目の信号処理ステップのために形成されている。さらに、システムは、信号の流れにおいて共通ユニットの下流側に配備された、ニューラルネットワークの少なくとも二つの分割ユニットを有する。ここで、少なくとも二つの分割ユニットの第一のユニットが、第一の情報信号の二番目の信号処理のために形成されているとともに、少なくとも二つの分割ユニットの第二のユニットが、第二の情報信号の二番目の信号処理のために形成されている。システムの信号出力部は、処理された情報信号を出力するために形成されている。
【0009】
従って、このシステムは、ニューラルネットワークの複数の別個のユニットを有する。提案のシステムは、信号処理をより効率的なものにすることを可能にできる。従って、第一と第二の両方の情報信号を処理するために、ニューラルネットワークの共通ユニットを使用することができる。共通に使用されるユニットの一番目の信号処理ステップは、例えば、第一と第二の両方の情報信号に適したものにすることができる。
【0010】
このシステムは、一番目の信号処理ステップの後、二番目の信号処理において信号を二つの分割ユニットの第一のユニットによってさらに処理すべきか或いは第二のユニットによってさらに処理すべきかを選択する機会を提供する。これにより、例えば、異なる情報信号を処理するための様々な要件を満たすことができる。例えば、分割ユニットの第一のユニットは、分割ユニットの第二のユニットとは違った信号の処理を行なうように形成されていてもよい。
【0011】
このようにして、ニューラルネットワークの一部を共同で使用（共用）する（例えば、ニューラルネットワークの層（レイヤ）を分かち合って使用（共有）する）ことで、この一部が他のシステムのように重複して用意されなくてもよいようにすることを可能にできる。例えば、一般的な信号処理を共通ユニットにより行なうことができる一方、分割ユニット（例えばシステムの柔軟性を高めるために、例えば二つ以上の分割ユニット、例えば少なくとも三つまたは少なくとも四つの分割ユニット）が、より特殊な信号処理ステップを実施することができる。例えば、両方の分割ユニットの第一のユニットと関連した共通ユニットは、システムの第一のニューラルネットワークとみなすことができ、両方の分割ユニットの第二のユニットと関連した共通ユニットは、システムの第二のニューラルネットワークとみなすことができる。
【0012】
二つの情報信号は、例えば、少なくとも二つの異なる信号装置からの、例えば二つの異なる信号とすることができる。この種の信号装置は、例えば、カメラなどのセンサである場合もある。このシステムは、例えば、ニューラルネットワークの第一の共通部分においてカメラ画像の一般的な信号処理ステップを実行し、より特殊なステップ（例えば、特定の機能、例えば、使用したカメラタイプに適した特殊な処理）を後からニューラルネットワークの別々に分けた部分で実行することを可能にできる。
【0013】
例えば、ニューラルネットワークの少なくとも二つの分割ユニットは、ニューラルネットワークの、ソフトウェアにより実装される少なくとも一つのユニットと、ニューラルネットワークの、ハードウェアにより実装される少なくとも一つのユニットとを有するようにしてもよい。これにより、例えば、ソフトウェアによる実装とハードウェアによる実装のそれぞれの長所をシステムにおいて同時に活かすことができる。ハードウェアによる実装は、確かに信号処理における柔軟性を低下させる可能性はあるものの、その代わりに、例えば、有利なことに、より高速の処理速度および／または処理時におけるより少ない使用エネルギーを可能にし得る。これに対して、ソフトウェアによる実装は、例えば、処理パラメータ（例えば、ニューラルネットワークの重み付け）をプログラミングし直すことにより、例えばシステムの使用中など、後になってからでも柔軟性をさらに高めることを可能にし得る。第一の分割ユニットは、例えば、予め決まっている不変的な機能のために使用することができるのに対して、第二の分割ユニットは、新しい機能に合わせる必要がある場合にも使うことができる。
【0014】
例えば、ニューラルネットワークの少なくとも二つの分割ユニットは、信号の流れにおいて並列に配備されているようにしてもよい。これにより、二つの情報信号が、二番目の信号処理において少なくとも二つの分割ユニットにより処理される前に、分割ユニットのどちらを使用するかを選択することができる。この選択は、例えば、信号情報の種類および／またはシステムにより実施される機能に応じて行なうことができる。処理経路の選択は、例えば、どの信号源（例えばどのセンサ、例えばどのカメラ）から第一または第二の情報信号が来るのかに応じて制御してもよい。
【0015】
例えば、ニューラルネットワークの共通ユニットは、ハードウェアにより形成されているようにしてもよい。例えば、共通ユニットのハードウェア実装は、より一般的な信号処理ステップ（例えば、ニューラルネットワークによる信号の前処理、例えば、情報信号からの一般的な特徴の抽出）に、効率的に使用することができる。この種の信号処理ステップは、例えば、異なるセンサからの信号に対し、より特殊な、各センサに合わせた信号処理ステップを行うことができるのに先立って必要になる。
【0016】
例えば、ニューラルネットワークの共通ユニットは、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）（略して、ＣＮＮ；例えば、深層畳み込みニューラルネットワーク）を有するようにしてもよい。畳み込みニューラルネットワークは、例えばプーリング層が後続し得る一つ又は複数の畳み込み層を有することもある。ＣＮＮは、例えば、例えば画像認識または音声認識のために、（例えば、画像から特徴を抽出する）分類機能を実施するのに使用することができる。
【0017】
例えば、ニューラルネットワークの共通ユニットは、オートエンコーダまたはオートエンコーダの一部を有するようにしてもよい。オートエンコーダは、より効率的なコーディングを可能にするために使用することができる。オートエンコーダの目的は、データを削減することである場合もあり、例えば、オートエンコーダは、次元削減に使用することができる。オートエンコーダは、入力層と、入力層（符号化を形成する層；例えば符号化層）よりもかなり小さい少なくとも一つの他の層とを有することができる。符号化層は、一番目の信号処理ステップにおいて処理された信号を共通ユニットから出力するために使用することができる。このようにして、データの圧縮（例えば、圧縮されたセンサデータ）のためにシステムを用いることが可能とされていてもよい。
【0018】
一実施例によれば、システムは、前処理ユニット（例えば、プリプロセッシング・ユニット）をさらに有するようにしてもよい。この場合、前処理ユニットは、信号の流れにおいて信号入力部とニューラルネットワークの共通ユニットとの間に配備されているようにしてもよい。前処理ユニットは、特に、情報信号に、一番目の信号処理ステップのためのそれぞれの処理時間を割り当てるように形成されている。例えば、共通ユニットが第一および第二の情報信号（および、例えば、二つの別々の信号源からのさらに他の信号）の信号処理に使用されるため、スケジューリング（例えば、いつ第一の信号を処理することができ、いつ－例えば続けて－第二の信号を処理することができるのか）が提供されなければならない。例えば、情報信号を逐次処理する（例えば、システムの信号入力部に到着する順序で、例えば、異なる信号源の信号を交互に処理する）ものとしてよい。代替的または追加的に、例えば、情報信号の優先順位付けを考慮に入れてもよい。例えば、ニューラルネットワークの共通ユニットを前にして、待ちリスト（キュー）に処理対象の優先度の低い信号がまだ他にあるときでも、より重要な信号タイプを先に処理することが有意義である場合がある。例えば、車両の２台のカメラは、画像をシステム内に取り込むことができる（例えば、第一のカメラからの第一の情報信号および第二のカメラからの第二の情報信号）。この場合、例えば、これらのカメラの一方が、これらのカメラの他方よりも、より安全性に重要なタスクに使用されている場合がある。より安全性に重要なタスクのためのこのカメラの情報信号の処理を優先することができる。
【0019】
前処理ユニットは、例えば、情報信号を、ニューラルネットワークの共通ユニットに適合した信号規格に変換するように形成されているものとしてよい。こうして、前処理ユニットは、異なる信号源（例えばセンサ）全ての信号を共通ユニットを用いて一律に処理することができるように、異なる信号源（例えば、異なる解像度および／または異なるフレームレートを有する異なるカメラ）からの信号の適合化を可能にできる。
【0020】
例えば、適切にも、第一および第二の情報信号は、いずれも画像信号であり、前処理ユニットは、この画像信号を所定のフレームレートおよび／または所定の解像度のそれぞれの標準画像信号に変換するように形成されているものとしてよい。
【0021】
例えば、第一および第二の情報信号は、いずれも画像信号であり、前処理ユニットは、それぞれの画像信号が用いられる対象の機能に基づいて、ニューラルネットワークによる信号処理のために、画像信号の予め決まった選別による情報のみを選び出すように形成されているものとしてよい。例えば、情報信号の全ての画像フレームが処理されるのではなく、その一部のみが（例えば、２フレーム毎に或いは５フレーム毎に）処理されるようにしてもよい。例えば、より安全性に重要な機能に関しては、安全性にあまり重要でない機能に関してよりも、一層頻繁に画像フレームを（例えばより高い周波数の、例えばより多くの画像フレームを）分析するのでもよい。例えば、それほどクリティカルでない機能の場合、画像信号の単に５（或いは１０または２０）フレームごとに分析を行なうようにしてもよい。例えば、運転者の眠気を検出する機能の場合、比較的低い画像認識レートでも十分であり得るが、他方で、例えば歩行者認識といった機能に関しては、画像フレームはより頻繁に分析されなければならない（例えば２フレーム毎）。分析するフレームの周波数の選択は、カメラの画像周波数に応じて選択を行なうことができる。
【0022】
例えば、前処理ユニットは、信号入力部に存在する情報信号に応じて、ニューラルネットワークの分割された第一のユニットを二番目の信号処理に使用するか或いは第二のユニットを二番目の信号処理に使用するかを選択するように形成されているものとしてよい。例えば、情報信号に、情報信号がどの信号源から生じたかを示す識別子を付すことができる。この識別子を用いて、次に、二番目の信号処理において、ニューラルネットワークの分割された第一のユニットを用いてこの情報信号を処理するか或いは第二のユニットを用いてこの情報信号を処理するかを選択することができる。
【0023】
本開示の一態様はさらに、情報信号を処理するシステムに関する。このシステムは、情報信号を受信する信号入力部と、システムのニューラルネットワークの共通ユニットであって、情報信号の一番目の信号処理ステップのために形成されているニューラルネットワークの共通ユニットとを有する。
【0024】
このシステムはさらに、信号の流れにおいて共通ユニットの下流側に並列に配備された、ニューラルネットワークの少なくとも二つの分割ユニットを有する。ここで、このシステムは、第一の動作モードでは、少なくとも二つの分割ユニットの第一のユニットを情報信号の二番目の信号処理のために用い、第二の動作モードでは、少なくとも二つの分割ユニットの第二のユニットを情報信号の二番目の信号処理のために用いるように形成されている。システムの信号出力部は、処理された情報信号を出力するように形成されている。
【0025】
提案のシステムは、異なる機能に（例えば、第一および第二の動作モードに）必要になる信号処理ステップに共通ユニットを使用することを有利な態様で可能にできる。これにより、他のシステムとは対照的に、付加的なニューラルネットワークの層を省略することができる。というのも、これらの層を重複して設ける必要がないからである。
【0026】
これに対して、後続の信号処理を可能にするニューラルネットワークの少なくとも二つの分割ユニット（例えば、ニューラルネットワークの最終層）は、それぞれの機能に特化して設けることができる。例えば、分割ユニットの少なくとも一つは、ソフトウェアにより形成することができる（例えば、ハードウェアにより設けるのとは対照的に、実装した後でも訓練可能にできる。）。例えば、或るセンサの信号を用いて第一の機能を実現しようとするときに、訓練可能な最終層を使用することができ、同じセンサの信号を用いて第二の機能（例えば、様々な類の検出）を実現しようとするときに、他の（例えば、ニューラルネットワークの第二の分割ユニットの）ハードウェアによる最終層を使用することができる。
【0027】
例えば、第一および第二の動作モードを並列に実施させるために、第一の分割ユニットと第二の分割ユニットの両方を二番目の信号処理のために並列に用いるシステムにしてもよい。
【0028】
一つの態様は、センサシステムに関する。このセンサシステムは、上述または後述のシステムによるシステムのいずれかを有する。さらに、このセンサシステムは、上記システムの信号入力部に接続されている少なくとも二つのセンサを有する。ここで、これら少なくとも二つのセンサは、それぞれ違った情報信号を信号入力部に送るように形成されている。有利にも、例えば、システムのニューラルネットワークの共通ユニットおよび分割ユニットの第一のユニットを用いて第一のセンサの情報信号の信号処理を行なうことができ、システムのニューラルネットワークの共通ユニットおよび分割ユニットの第二のユニットを用いて第二のセンサの情報信号の信号処理を行なうことができる。ニューラルネットワークの共通の部分を共用することで、センサシステムを効率的に設ける（例えば低コスト化；例えば小型化）ことができる。
【0029】
例えば、少なくとも二つのセンサは、光学センサ、カメラ、電流センサ、温度センサ、充電状態センサまたは回生事象を予測するように形成されたセンサ装置の少なくとも一つを有するようにしてもよい。システムのニューラルネットワークの異なる要素を分離することにより、有利にも多くの用途にこれを効率的に使用することができる（例えば、画像からの特徴の分類；例えば、センサデータを効率的に後続処理するためのセンサデータの削減）。
【0030】
一態様は、上述または後述のシステムのいずれかによるシステムを有する自動車に関する。このシステムは、自動車の制御装置内に配備されている。この自動車はさらに、自動車の車載ネットワークを介してシステムの信号入力部に接続されている少なくとも二つのセンサを有する。
【0031】
特に自動車では、常に増え続ける数のセンサ、例えばカメラが使用される。提案のシステムは、各センサに独自の完全なニューラルネットワークを用意しなければならないのではなく、多数のセンサに少なくとも部分的に共用されるニューラルネットワーク若しくは層を可能にすることをできるようにすることが可能である。これにより、車両内でのより効率的な信号処理を可能にできる。
【0032】
一態様は、情報信号を信号処理する方法に関する。第一の工程は、一番目の信号処理ステップにおいて、ニューラルネットワークの上流側のユニットにより情報信号を処理することに関する。第二の工程は、信号情報の種類および／または情報信号が用いられる機能を特定することに関する。第三の工程は、二番目の信号処理において、ニューラルネットワークの下流側の第一のユニットにより或いはニューラルネットワークの下流側の第二のユニットにより情報信号をさらに処理することに関し、そのとき、ニューラルネットワークの下流側の第一のユニットまたは下流側の第二のユニットが、情報信号の種類および／または信号処理するために用いられる機能の種類に応じて選択される。
【0033】
例えば、提案のシステムの一つは、提案の方法を実行するために効率的な態様で使用することができる。ニューラルネットワークの分割ユニットを用いると、処理される信号および／または信号に割り当てられた機能に最もよく適した信号処理のユニットの柔軟な選択が可能になる。
【0034】
以下に、添付の図面を参照しながら実施例を詳しく説明する。
【図面の簡単な説明】
【0035】
【図1】第一および第二の情報信号を処理するシステムの概略的な一例を示す図である。
【図2】ニューラルネットワークの下流側の第一のユニットまたは第二のユニットを用いて情報信号を処理するシステムの概略的な一例を示す図である。
【図3】情報信号を処理する方法の概略的な一例を示す図である。
【図4】車両内に２台のカメラを備えたセンサシステムの一例を示す図である。
【発明を実施するための形態】
【0036】
ここで、いくつかの実施例が示されている添付の図面を参照しながら様々な実施例をより詳細に説明する。図において、線、層、および／または領域の厚みは、分かり易くするために誇張して示されている場合がある。いくつかの例示的な実施例のみを示す添付図面の以下の説明において、同じ符号は、同じまたは同等の構成要素を示す場合がある。
【0037】
別の要素に“接続”されている或いは“結合”されていると示される要素は、他の要素に直接的に接続または結合されていてもよいし、それらの間の要素が存在していてもよい。特段の定めがない限り、本明細書で使用される全ての用語（技術用語および科学用語を含む）は、実施例が属する分野における当業者が理解するのと同じ意味を有する。
【0038】
車両において人工知能（ＡＩ）若しくは機械学習を用いたアプリケーションの使用を次第に増やして行くと、エネルギー需要も増えることになる可能性がある。この一つの例が、多数のセンサを分析しなければならない自動運転であろう。そこでは、機械学習を用いたカメラ画像の分析などが、オブジェクト認識、オブジェクトの分類および／またはセグメンテーションにおいて重要な役割を果たす。
【0039】
車両内の様々なカメラシステムに対して、例えば畳み込みニューラルネットワーク（ＣＮＮ）を用いたアルゴリズムが実行されるが、これは、複数の制御装置に分担させる他の考え方および／または例えばソフトウェアへ実装するだけの考え方の場合、エネルギー需要とコストの増加をもたらす。ＡＩアルゴリズムを実行するためのエネルギーを提供することは、エネルギー効率がよい自動運転を導入することに対する支障になり得る。しかも、他の考え方によれば、付加的な制御装置の数が多いことにより、ハードウェアのコストが高くなる可能性もある。
【0040】
以下に、エネルギー需要および／またはハードウェア費用を削減することを可能にできる考え方を提案する。図示された自動運転の例は、ここでは例示的にのみ見做されるべきである。提案の考え方は、多くの用途にメリットをもたらし得る。ここで、言及するに値するのは、例えば、人工知能を用いたエネルギーマネジメントの分野における実装に関する応用である。
【0041】
図１は、第一および第二の情報信号１１，１２を処理するシステム１０の概略的な一例を示す。このシステム１０は、情報信号１１，１２を受信する信号入力部１３を有する。
【0042】
システム１０は、データ処理のために、さらにニューラルネットワークを有する。システム１０のニューラルネットワークの共通ユニット１４は、複数の情報信号１１，１２の、それぞれ一番目の信号処理ステップのために形成されている。例えば、情報信号１１，１２は、順に信号入力部１３に受信される。すると次に、共通ユニット１４は、第一の信号１１のための一番目の信号処理ステップを実行し、続いて第二の信号１２のための一番目の信号処理ステップを実行することができる。或いは、任意選択的な前処理ユニット（図４も参照）が、共通ユニット１４による入力信号の処理のためのスケジューリングを提供するのでもよい。
【0043】
システム１０は、信号の流れにおいて共通ユニット１４の下流側に配備された、ニューラルネットワークの少なくとも二つの分割ユニット１５ａ，１５ｂを備え、少なくとも二つの分割ユニット１５ａ，１５ｂの第一のユニット１５ａが、第一の情報信号１１の二番目の信号処理のために形成されているとともに、少なくとも二つの分割ユニット１５ａ，１５ｂの第二のユニット１５ｂが、第二の情報信号１２の二番目の信号処理のために形成されている。システム１０により処理された情報信号１１’，１２’は、システム１０の信号出力部１６において出力することができる。
【0044】
この例は、ニューラルネットワークを備えたシステム１０内で様々な信号を処理するためにいかにして幾つかの層が効率的に共用され得るのかを示している。例えば、第一の信号１１は、第一のセンサから来ることができ、第二の信号１２は、第二のセンサから来ることができる。共通ユニット１４は、両方の信号タイプの処理ステップを実行するために設けられていてもよい。これにより、両方のセンサそれぞれに対する別々のシステムとは対照的に、共通ユニット１４内に形成されているニューラルネットワークの層を重複して設けることを省くことが可能になる。
【0045】
例えば、任意選択的な制御ユニットは、その都度処理される入力信号がどのセンサにより生成されたかを割り出すことができ、ニューラルネットワークの二つの分割ユニット１５ａ，１５ｂのどちらを用いてそれぞれの信号を第二の処理ステップで処理するようにするかを一貫して制御することができる。
【0046】
さらに他の詳細および態様は、上述または後述の実施例との関連で述べられている。図１に示された実施例は、提案の考え方との関連で或いは一または複数の上述または後述（例えば図２乃至４）の実施例との関連で述べられている一または複数の態様に対応する一つ又は複数の任意選択的な付加的な特徴を備えることができる。
【0047】
図２は、システム２０のニューラルネットワークの第一のユニット２５ａまたは第二のユニット２５ｂを用いて情報信号を処理するシステム２０の概略的な一例を示す。
【0048】
システム２０はここで、情報信号２１、例えばカメラなどのセンサからの信号を受信する信号入力部２３を有する。特に、センサの複数の信号を受信し、これらの信号を、例えば、様々な機能（例えば歩行者の検知、交通標識の検知、車両の周辺の検知および／または車両状態の検知、乗員の検知）において利用するために処理することができる。
【0049】
システム２０のニューラルネットワークの共通ユニット２４は、情報信号２１の一番目の信号処理ステップのために形成されている。
【0050】
システム２０はさらに、信号の流れにおいて共通ユニット２４の下流側に並列に配備された、ニューラルネットワークの少なくとも二つの分割ユニット２５ａ，２５ｂを備えている。ここで、システム２０は、第一の動作モードでは、少なくとも二つの分割ユニット２５ａ，２５ｂの第一のもの２５ａを情報信号２１の二番目の信号処理のために用い、第二の動作モードでは、少なくとも二つの分割ユニット２５ａ，２５ｂの第二のもの２５ｂを情報信号２１の二番目の信号処理のために用いるように形成されている。処理された情報信号２１’は、信号出力部２６を介して出力することができる。
【0051】
例えば、システム２０の第一および第二の両方の機能のために（或いはさらに他の複数の機能のために）センサの信号を同じように処理することが必要とされる場合がある（例えば、基本的な画像処理ステップ）。この信号処理ステップは、ニューラルネットワークの共通ユニット２４により両方の機能に対して効率的に行なうことができる。これに対して、機能の、信号処理に対する特殊な要件は、互いに異なっている場合がある。従って、分割ユニットの第一のユニット２５ａが、例えば、第一の機能のための信号処理を進行させるか或いは完了させるために提供され、分割ユニット２５ａ，２５ｂの第一のユニット２５ｂが、例えば、第二の機能のための信号処理を進行させるか或いは完了させるために提供される。ここでもまた、共通ユニット２４内のニューラルネットワークの層（例えば、両機能のために共有される（分ち合われる）層）を効率的に使用することができる。
【0052】
さらに他の詳細および態様は、上述または後述の実施例との関連で述べられている。図２に示された実施例は、提案の考え方との関連で或いは一つ又は複数の上述（例えば図１）または後述（例えば図３乃至４）の実施例との関連で述べられている一つまたは複数の態様に対応する一つ又は複数の任意選択的な付加的な特徴を備えることができる。
【0053】
図３は、情報信号を信号処理する方法３０の概略的な一例を示す。この方法３０は、一番目の信号処理ステップにおけるニューラルネットワークの上流側のユニットによる情報信号の処理３１を有する。方法３０はさらに、信号情報の種類（例えば、情報信号を生成した信号源）および／または情報信号が用いられる機能の特定３２を有する。
【0054】
方法３０はさらに、二番目の信号処理ステップにおけるニューラルネットワークの下流側の第一のユニット１５ａによる或いはニューラルネットワークの下流側の第二のユニット１５ｂによる情報信号のさらなる処理３３を有する。ニューラルネットワークの下流側のユニット１５ａ，１５ｂ両方のいずれを二番目の信号処理ステップのために使用するかの選択が、信号情報の種類および／または信号処理するために用いられる機能の種類に応じて行なわれる。
【0055】
さらに他の詳細および態様は、上述または後述の実施例との関連で述べられている。図３に示された実施例は、提案の考え方との関連で或いは一つ又は複数の上述（例えば図１乃至２）または後述（例えば図４）の実施例との関連で述べられている一つ又は複数の態様に対応する一つ又は複数の任意選択的な付加的な特徴を備えることができる。
【0056】
図４は、（部分的）自動運転用に作られている車両４０内、特に自動車内に２台のカメラ４２ａ，４２ｂ（例えば、一般的なセンサ）を備えたセンサシステムの一例を示す。
【0057】
自動車４０は、自動車４０の制御装置４０ａ内に配備されている上述または後述したようなシステムを有する。この自動車４０はさらに、自動車４０の車載ネットワーク４１を介してシステムの信号入力部に接続されている少なくとも二つのセンサ４２ａ，４２ｂを有する。
【0058】
カメラ４２ａ，４２ｂは、例えば、車両４０のフロントカメラ、リアビューカメラ、サイドカメラおよび／または室内カメラを有することができる。車載ネットワーク４１は、車両４０内の通信ネットワーク、例えば、イーサネットワーク、例えばＬＩＮバスまたはＣＡＮバスを有するのでもよい。カメラ４２ａ，４２ｂは、例えば、送信される情報信号に識別子を付すことができ、これにより、現在受信している情報信号がどのカメラ４２ａ，４２ｂから来たのかについての情報がシステムにおいて利用可能になる。或いは、システムの信号入力部は、どのカメラ４２ａ，４２ｂから情報信号が送信されたのかを認識し、それに然るべき識別子を付すように形成されていてもよい。
【0059】
制御装置４０ａには、信号入力部と、制御装置のニューラルネットワークの共通ユニット４４との間に、前処理ユニット４３が配備されている。このユニットは、例えば、ハードウェア型信号処理ユニットを有することができる。前処理ユニット４３は、共通のシステムにおける信号処理を可能にするために、異なるカメラの画像信号を規格化するのに使用することができる。例えば、前処理ユニット４３によりプロセッサ処理された画像は、適切なサイズ（例えば解像度）で且つ正規化して各カメラ４２ａ，４２ｂに関する識別子付きのメッセージとしてニューラルネットワークの共通ユニット４４宛てに送信することができる。
【0060】
ニューラルネットワークの共通ユニット４４は、異なるカメラ４２ａ，４２ｂにより（例えば、異なるカメラ４２ａ，４２ｂ間で分かち合って）共用されるニューラルネットワークの層を有することができる。これらの共有される（分かち合われる）（例えば畳み込みニューラルネットワークの）層は、ハードウェアで実現できる。共通ユニット４４の出力信号は、ＣＮＮからの特徴マップ或いは各カメラ４２ａ，４２ｂに関する識別子を有する平坦化操作後のベクトルとすることができる。
【0061】
識別子により、（例えば、不図示の制御ユニットにより）ニューラルネットワークの少なくとも二つの分割ユニット４５ａ，４５ｂのいずれをさらなる信号処理（例えば、二番目の信号処理）に使用するか制御することができる。
【0062】
例えば、このとき、二つの（或いは複数の）分割ユニット４５ａ，４５ｂの第一のユニット４５ａは、トレーニングできるようにソフトウェアで実現されている。第一のユニット４５ａは、例えば異なるタスクのための（例えばＣＮＮおよび全結合された）ニューラルネットワークの下流側の層のモデルを有していてもよい。このように処理された信号は、セグメンテーション、検出および／または分類に使用することができる。
【0063】
例えば、このとき、二つの（或いは複数の）分割ユニット４５ａ，４５ｂの第二のユニット４５ｂは、トレーニングできないようにソフトウェアで実現されている。また、第二のユニット４５ｂは、例えば異なるタスクのための（例えばＣＮＮおよび全結合された）ニューラルネットワークの下流側の層のモデルを有していてもよい。このように処理された信号は、セグメンテーション、検出および／または分類に使用することができる。
【0064】
分割ユニット４５ａ，４５ｂは、例えば、共通ユニット４４との組み合わせでそれぞれ完全なニューラルネットワークを形成することができる。ニューラルネットワークの層の共用により効率を向上させることができる。これは、（例えばニューラルネットワークの最終層を有する）複数の（例えば三つ、四つ又は少なくとも五つの）分割ユニットがそれぞれ共通ユニット４４の層を分かち合う場合が特に該当し得る。例えば、共通ユニットは、複数の分割ユニットの少なくとも一つよりも多くの層を有することができる。例えば、二つの分割ユニットは、様々な数の層を備えることができる。システムは、こうして例えば、多数の異なるセンサ（例えばカメラ）を処理および／または異なる機能を使用するために用いることができる。例えば、一つのセンサに対して二番目の信号処理のために四つの分割ユニットを用いる場合、様々な四つの機能を実現することができる。
【0065】
システムの典型的な使用例を以下に説明する。異なるカメラシステムが画像を記録し、これらの画像に対して、オブジェクト認識、オブジェクトの分類およびセグメンテーションなどのアルゴリズムを実行することができる。いくつかのタスクは、余分の或いは似通ったアルゴリズムを必要とするため、例えば、人物検出（フロントカメラ、室内カメラ）ごとに、ニューラルネットワークを有する専用の制御装置は存在しない。ＣＮＮの畳み込み層は、特徴抽出法と解することができる。提案の考え方では、訓練されたＣＮＮの畳み込み層は、制御装置内のハードウェア（例えばニューラルネットワークの共通ユニット）に実装される。オブジェクト認識、オブジェクトの分類およびセグメンテーションなどの全てのタスクは、これらの（例えばニューラルネットワークの共通ユニットの）共有される畳み込み層を利用することができ、タスク内容に特化した畳み込み式で全結合型のニューラルネットワーク（例えばニューラルネットワークの分割ユニット）をそれに接続することができる。これらは、ソフトウェアで（例えばトレーニング可能に）実現されていてもよいし或いはハードウェアで（例えばトレーニング不可能に）実現されていてもよい。人物を検出する必要があり、それを一方では室内カメラによってもフロントカメラによっても行なう必要がある場合に、性能トレードオフ（Ｐｅｒｆｏｒｍａｎｃｅ－Ｔｒａｄｅ－ｏｆｆ）を意のままにできるようにして余分をなくすことによるアプローチのメリットが顕著になる（例えば、共通のタスクのために信号処理においてニューラルネットワークの共通ユニットを使用することができる。例えば、前処理ユニットは、ニューラルネットワークの共通ユニットによる信号処理の時分割を可能にできる。）。
【0066】
共有されるニューラルネットワーク層の説明した考え方は、画像処理に限定されず、ここでは説明の目的にのみ用いられている。例えば、提案の考え方は、例えば、エネルギーマネジメントにおいても、例えばオートエンコーダ層を共有することで、（例えばデータ削減など）次元を削減するために使用することができる。
【0067】
さらに他の詳細および態様は、上述または後述の実施例との関連で述べられている。図４に示された実施例は、提案の考え方との関連で或いは一つ又は複数の上述（例えば図１乃至３）の実施例との関連で述べられている一つまたは複数の態様に対応する一つ又は複数の任意選択的な付加的な特徴を備えることができる。
【0068】
複数例が、例えば、コストを同時に削減しながらの自動運転時の画像処理のために、高いエネルギー効率で機械学習を実装する方法およびシステムに関係している。単一のシステムにおいて共用層と（例えば異なる信号タイプまたはアプリケーションのために）分離されたニューラルネットワークの層の両方を用いることにより、従来のシステムに比して効率を良くする効果を得ることができる。
【0069】
提案の態様により、制御装置の数を減らすことと畳み込み層のハードウェア実装とによる高いエネルギー効率を可能にできる。さらに、制御装置の数の削減と、共有される畳み込み層とにより、コストを削減させることができる。
【図1】
【図2】
【図3】
【図4】
【国際調査報告】