(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-06-15
(45)【発行日】2022-06-23
(54)【発明の名称】状態推定器
(51)【国際特許分類】
B60W 40/02 20060101AFI20220616BHJP
B60W 30/08 20120101ALI20220616BHJP
G08G 1/16 20060101ALI20220616BHJP
G06N 3/04 20060101ALI20220616BHJP
【ＦＩ】
B60W40/02
B60W30/08
G08G1/16 C
G06N3/04 190
【請求項の数】
9
(21)【出願番号】P 2020529361
(86)(22)【出願日】2018-11-22
(65)【公表番号】
(43)【公表日】2021-02-15
(86)【国際出願番号】 EP2018082275
(87)【国際公開番号】W WO2019120865
(87)【国際公開日】2019-06-27
【審査請求日】2020-06-01
(31)【優先権主張番号】17208656.3
(32)【優先日】2017-12-19
(33)【優先権主張国・地域又は機関】EP
【前置審査】
(73)【特許権者】
【識別番号】518238850
【氏名又は名称】ヴィオニア スウェーデン エービー
(74)【代理人】
【識別番号】100098143
【弁理士】
【氏名又は名称】飯塚 雄二
(72)【発明者】
【氏名】シュタングル、アーミン
【審査官】菅家 裕輔
(56)【参考文献】
【文献】特開２００７－２２３４９４（ＪＰ，Ａ）
【文献】特開２０１７－１５４７２５（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１７／０２８６８２６（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ６０Ｗ １０／００－１０／３０
Ｂ６０Ｗ ３０／００－６０／００
Ｂ６０Ｔ ７／１２－ ８／９６
Ｂ６２Ｄ ６／００－ ６／１０
Ｂ６０Ｋ ３１／００－３１／１８
Ｂ６０Ｋ ３５／００－３７／０６
Ｇ０８Ｇ １／００－９９／００
Ｇ０５Ｄ １／００－ １／１２
Ｇ０１Ｃ ２１／００－２１／３６
Ｇ０１Ｃ ２３／００－２５／００
Ｇ０６Ｎ ３／０４
(57)【特許請求の範囲】
【請求項1】
自動車運転者支援システムであって、自車両の周辺の状況を検出するセンサと；
回帰神経回路網（「ＲＮＮ」）を有し、自車両の後続の状態を推定する状態推定器と；を備え、
前記ＲＮＮは、前記センサによる検出値と、現在の演算サイクルに先行する演算サイクルの結果である複数の第１の状態とに基づいて、後続する第２の状態を決定し、
前記ＲＮＮが、複数のフィードバック結合を含み、前記ＲＮＮが、前記現在の演算サイクルに先行する複数の先行する演算サイクルからの情報を使用するように構成されており、各先行する演算サイクルが、前記複数のフィードバック結合のうちの少なくとも１つに対応し、
前記第１の状態及び前記第２の状態が各々、前記自車両の近傍に位置する局所的物体を表す局所的物体属性を含み、
当該装置が、前記第２の状態に基づいて、自車両の動作に能動的に介在する能動的運転者支援デバイスを更に含むことを特徴とする自動車運転者支援システム。
【請求項2】
前記装置が、前記運転者支援システムによって使用するために前記ＲＮＮから少なくとも１つの現実世界の属性を導出するように更に構成されている、請求項１に記載の装置。
【請求項3】
前記ＲＮＮに接続された出力人工神経回路網（「ＡＮＮ」）が、前記ＲＮＮから前記少なくとも１つの現実世界の属性を導出するように構成されている、請求項２に記載の装置。
【請求項4】
前記第１の状態及び前記第２の状態が各々、前記自車両の運動の一態様を記述する少なくとも１つの自車両の属性を含む、請求項１～３のいずれか一項に記載の装置。
【請求項5】
前記局所的物体が、前記自車両の近傍に位置する他の車両であることを特徴とする請求項４に記載の装置。
【請求項6】
前記少なくとも１つの局所的物体属性が、前記局所的物体の位置を含む、請求項５に記載の装置。
【請求項7】
前記第１の状態の前記局所的物体の第１の位置を使用して、前記推定された第２の状態の前記局所的物体の第２の位置を推定するように構成されている、請求項６に記載の装置。
【請求項8】
前記第２の状態の測定値に対応する前記少なくとも１つの値が、前記局所的車両の前記第２の位置の測定値を含む、請求項７に記載の装置。
【請求項9】
前記第１の状態及び前記第２の状態が各々、前記自車両の周辺環境を表す環境属性を含むことを特徴とする請求項１～８のいずれか一項に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自車両のための自動車運転者支援システムに関し、より具体的には、自車両の状態を推定するための装置に関する。
【背景技術】
【0002】
事故が回避され、運転に関する法律が遵守されるために、車両を運転することは、運転者の集中力を多くの場合長時間必要とする。運転者の集中力が低下すると、事故のリスクの増加及び／又は法律の非遵守につながる。ますます、支援機能を実行することが可能な運転者支援システムが、運転者の車両（以下、「自車両」と称する）に装着されるようになっている。例えば、支援機能は、運転者から彼／彼女の運転責務の一部を軽減することを含んでもよく、又はエラーが予測及び／若しくは回避され得るように、運転者のパフォーマンスを監視することを含んでもよい。
【0003】
代替的に、支援機能は、運転者に従来利用可能ではないいくつかの付加的な機能を導入することができる。かかる付加的な機能は、運転者が、運転タスクをより容易に実行することができるように、運転者が、従来有していたであろう情報よりも多くの情報を有することを可能にし得る。例えば、逆動時に運転者にビデオフィードを提供することができる後ろ向きのカメラは、かかる付加的な機能の一例を構成する。この実施例では、ビデオフィードは、運転者が、より容易かつ安全に後ろ向き駐車することを可能にするが、実際には、必ずしも運転者のパフォーマンスを監視する、又は運転者のいくつかのタスクを実行しているわけではない。
【0004】
したがって、運転者支援システムは、自車両の運転者、彼／彼女の乗員、及び他の道路使用者のリスクを軽減する。最終的には、運転者支援機能は、自車両を運転するほとんどの又は全ての態様を制御することができる程度にまで高められるであろう。この場合、運転者支援システムは、自律運転システムである。
【0005】
運転者支援システムは、例えば、自車両の速度を変更することによって、自車両の動作に能動的に介在することができる能動的デバイスを含んでもよい。運転者支援システムは、代替的に又は付加的に、ユーザが通知に反応することができるように、特定の運転状況を運転者に通知する、受動的デバイスを含んでもよい。例えば、運転者支援システムは、自車両が路面標識を不意に越えて外れたとき、可聴信号を作製することができる。所与の自車両は、受動的システム及び能動的システムの両方を含んでもよい。
【0006】
一般に、運転者支援システムは、少なくとも１つのセンサを含むことができる。特定のセンサは、車両及び／又はその周囲のパラメータを測定する。かかるセンサからのデータは、センサ測定値に基づいて、結論を引き出すために処理される。次いで、運転者支援システムは、結論の結果に基づいて、自車両との相互作用、又は運転者との相互作用をトリガし得る。自律運転システムの場合、実質的に全ての運転機能は、システムによって制御される。
【0007】
運転者支援システム及び自律運転システム内で使用される潜在的センサの実施例は、ＲＡＤＡＲシステム、ＬＩＤＡＲシステム、複数又は１つのカメラ、車両間通信、及び車両対インフラストラクチャ通信を含む。
【0008】
運転者支援システムは、安全運転又は運転者の監視の様々な異なる態様を制御するために使用され得る。例えば、「適応クルーズ制御」（Adaptive Cruise Control、ＡＣＣ）は、自車両と道路上のすぐ前の車両との間の距離を監視するために、ＲＡＤＡＲ又はＬＩＤＡＲシステムを使用してもよい。かかるセンサは、前方の車両までの距離を判定することができる。運転者支援システムはまた、自車両の速度を知り、かつ制御することができる。運転者支援システムは、前方車両に対する予め定義された安全条件を維持するために、自車両の速度を制御し得る。例えば、運転者支援システムは、自車両と前方車両との間の特定の距離を維持するために、速度を制御し得る。代替的に、運転者支援システムは、前方車両がある点を通過してから、自車両が同じ点を通過するまでの所定の時間を維持するために、速度を制御し得る。
【0009】
自車両の周囲を監視して、自車両が走行している道路上又は道路の周りの他の車両及び実体の位置を特定する、既存の運転支援システムが存在する。周囲を監視することによって、かかる運転者支援システムは、自車両の状況認識を維持することができる。この状況認識は、ユーザに潜在的な危険を通知するために使用することができる。例えば、運転者は、第２の車両が死角にあるとき、自車両が車線変更すること、又は、自車両の経路への第２の車両の割り込みを検出することについて、通知されてもよい。状況認識はまた、例えば、ＡＣＣシステムへの入力として使用されてもよい。
【0010】
詳細かつ信頼性の高い状況認識を提供することは、多数の異なる運転者支援機能に重要である。
【0011】
一般に、自車両は、運転者支援システムの一部である多数の異なるセンサ及びセンサシステムを装着することができる。各センサ／センサシステムは、異なる形態の情報を提供することができる。情報は、生の測定値の形態であってもよく、又は、より大きい又はより小さい程度に処理されたデータ／情報の形態であってもよい。センサからの情報はまた、関連する不確実性を有し得る。
【0012】
運転者支援システムは、自車両の現在の現実世界の状況について状況認識を維持する必要がある。自車両の状況としては、自車両情報（例えば、位置、速度、方向等）、周囲環境情報（例えば、車線区分線、道路標識、地理的な目印、ランドマーク等の位置）、及び／又は局所的物体（複数可）情報（例えば、局所的車両（複数可）の位置及び速度）等、様々な情報カテゴリを含んでもよい。
【0013】
この現実世界の状況の数学的表現は、自車両の「状態」として称される。この状態は、時間的な単一の時点における自車両に関して既知である全てのものを記述する。一例として、この状態は、数字のベクトルｘ、及びｘ、Ｐタプルを共に形成する数字のベクトルの分散又は共分散であってもよい。自車両の状態は、上記の情報カテゴリのいくつか又は全てを含んでもよい。したがって、この状態は、自車両の状況認識の表現を効率的に構成する。状態の情報、及びその情報が対応する現実世界の要素は、時間と共に変化し得ることが理解されるであろう。例えば、局所的物体が存在しない場合、自車両の状態における局所的物体に関する情報は何ら存在しない。その後、局所的物体が運転者支援システムによって検出された場合、その局所的物体に関する情報は、次いで、その状態に組み込まれてもよい。
【0014】
自車両の状態は、多数の運転者支援機能への入力として使用されてもよい。これらは、最新運転者支援システム（Advanced Driver assistance system、ＡＤＡＳ）であってもよい。これらの下流の運転支援装置は、安全が重大な結果に関わり得、かつ／又は車両情報を運転者に与え、及び／又は何らかの方法で車両を実際に制御することができる。したがって、状態は、可能な限り正確かつ堅牢であることが重要である。この状態はまた、自動運転システムで使用されてもよい。
【0015】
状態の精度の観点から、状態の精度を向上させるために、利用可能な情報を可能な限り最大限に利用することが重要である。このようにして、状態は、自車両の現実世界の状況をより信頼性の高い形で反映することができる。利用可能な情報には、状態の測定値又は状態の要素に対応し得るセンサデータを含んでもよい。
【0016】
堅牢性の観点から言うと、センサ測定値は、多くの場合、本質的にノイズが多い。すなわち、センサが提供する生の測定値、又は生のセンサ測定値を使用して計算されるパラメータは、関連する不確実性を有する。不確実性は、体系的（例えば、車両仕様によって正確に予測されないセンサの取り付け位置）である場合があり、及び／又は不確実性は、ランダムである（例えば、ＧＰＳ受信機は、計算することができる位置の精度に基本的な限界がある）場合がある。最新運転システムでは、センサ測定値におけるこれらの両方の不確実性の原因は、回避されないか、又は特定の最小値を超えて削減できない場合がある。状態は、安全重視の運転支援装置に使用され得るため、状態が堅牢であり、状態に含まれる情報が現実世界の状況を信頼性の高い形で反映することが最も重要であることは明らかである。不確定性の変化、及び／又は大きな不確定性に堅牢な状態は、この要件を満たすための一部である。
【0017】
自車両の状態は、多数の情報カテゴリを記述した情報を含んでもよい。状態に含まれるこの情報の多くは、相互に関連し得る。
【0018】
一般に、自車両上のセンサからの測定値の数及び／又は対応する不確定性は可変であり得ることも理解されるであろう。例えば、天候は、センサからのデータの利用可能度及び／又は精度に影響を及ぼし得る。例えば、いくつかのセンサのパフォーマンスは、雨の条件では低下し得る。いくつかのセンサのパフォーマンスは、体系的に変化し得る。例えば、いくつかのセンサは、温度の変化によって影響され得る。センサ測定値（複数可）の不確実性は、状態の不確実性に反映され得る。
【0019】
状態の不確定性の原因に関わらず、幅広い条件及びセンサ品質にわたって現実世界の状況を正確に反映する、自車両の堅牢な状態を維持することが望ましい。
【0020】
自車両の現実世界の状況は、一般に、動的である。すなわち、１つの時間工程から次の時間工程まで、運動は、一般に、行われる。これは、自車両自体の運動、又は自車両付近の他の局所的物体の運動、若しくは２つの運動タイプの組み合わせであってもよい。現実世界の状況は動的であるため、現実世界の状況を記述した状態は、その動感を反映し、予測し、記述することができるべきである。
【発明の概要】
【0021】
本発明の目的は、運転者支援システムのための改良された装置、及び運転者支援システムのための装置を動作させる方法を提供することであり、これらの問題のいくつか又は全てに対処しようとするものである。
【0022】
本発明の第１の態様によれば、自車両のための自動車運転者支援システムの装置が提供され、この装置は、現在の演算サイクル中に、自車両の第１の状態を使用して自車両の後続の第２の状態を推定するように構成された状態推定器を実装するように構成されており、状態推定器は、回帰神経回路網（Recurrent Neural Network、「ＲＮＮ」）を含み、ＲＮＮは、第２の状態の測定値に対応する少なくとも１つの値を入力としてとり、少なくとも１つの値は、センサ測定値から決定され、ＲＮＮは、第２の状態の少なくとも一部を出力として生成し、ＲＮＮは、現在の演算サイクルに先行する少なくとも１つの先行する演算サイクルからの情報を使用するように構成されている。
【0023】
好ましくは、ＲＮＮは、内部に含まれる少なくとも１つのフィードバック結合を含む。
【0024】
有利には、ＲＮＮは、複数のフィードバック結合を含み、ＲＮＮは、現在の演算サイクルに先行する複数の先行する演算サイクルからの情報を使用するように構成されており、各先行する演算サイクルは、当該複数のフィードバック結合のうちの少なくとも１つに対応している。
【0025】
好都合には、装置は、運転者支援システムが使用するためにＲＮＮから少なくとも１つの現実世界の属性を導出するように更に構成されている。
【0026】
好ましくは、ＲＮＮに接続された出力ＡＮＮは、ＲＮＮから少なくとも１つの現実世界の属性を導出するように構成されている。
【0027】
有利には、第１の状態及び第２の状態は各々、自車両の運動の一態様を記述した少なくとも１つの自車両の属性を含む。
【0028】
好都合には、第１の状態及び第２の状態は各々、自車両の近傍に位置する物体を記述した少なくとも１つの局所的物体属性を含む。
【0029】
好ましくは、少なくとも１つの局所的物体属性は、局所的物体の位置を含む。
【0030】
有利には、予測要素は、第１の状態の局所的物体の第１の位置を使用して、推定された第２の状態の局所的物体の第２の位置を推定するように構成されている。
【0031】
好都合には、局所的物体は、局所的車両である。
【0032】
好ましくは、第２の状態の測定値に対応する少なくとも１つの値は、局所的車両の第２の位置の測定値を含む。
【0033】
有利には、装置は、能動的運転者支援デバイス又は受動的運転者支援デバイスによって使用されるために、第２の状態から出力変数を出力するように構成されている。
【0034】
好都合には、装置は、自車両の運転者に提示するために、第２の状態から出力変数を出力するように構成されている。
【0035】
好ましくは、第１の状態及び第２の状態は各々、自車両が位置する環境を記述した少なくとも１つの環境属性を含む。
【0036】
本発明の第２の態様によれば、自車両の状態を推定するための方法が提供され、状態は、自車両の自動車運転者支援システムで使用するためのものであり、方法は、状態推定器を使用して、現在の演算サイクル中に自車両の第１の状態を使用して自車両の後続の第２の状態を推定する工程を含み、状態推定器は、回帰神経回路網（「ＲＮＮ」）を含み、ＲＮＮは、第２の状態の測定値に対応する少なくとも１つの値を入力としてとり、少なくとも１つの値は、センサ測定値から決定され、ＲＮＮは、第２の状態の少なくとも一部を出力ベクトルとして生成し、ＲＮＮは、現在の演算サイクルに先行する少なくとも１つの先行する演算サイクルからの情報を使用するように構成されている。
【0037】
当然ながら、各特定の態様に関して列挙された特徴は、他の態様に容易に適用され得る。
【図面の簡単な説明】
【0038】
本発明がより容易に理解され得、その更なる特徴が理解され得るように、本発明の実施形態は、添付図面を参照して、例として説明されるであろう。
【図1】本発明によるシステムを含む自車両の概略図である。
【図2】カルマンフィルタ状態推定器を示すフローチャートである。
【図3】人工神経回路網（「ＡＮＮ」）を示す。
【図4】第１の実施形態による状態推定器を示すフローチャートである。
【図6】第２の実施形態による状態推定器を示すフローチャートである。
【図8】第３の実施形態による状態推定器を示すフローチャートである。
【図10】第４の実施形態による回帰神経回路網（「ＲＮＮ」）を含む状態推定器を示すフローチャートである。
【発明を実施するための形態】
【0039】
ここで図１をより詳細に考察すると、自車両２内にインストールされた例示的な運転者支援システム１の例解された概略表現である（車両の配向を示すために、車両の一方のパネルのみが、図１に示される）。運転者支援システム１は、自車両２上の適切な位置に取り付けられた、多数の異なるタイプのセンサを備える。具体的には、示されるシステム１は、車両２のそれぞれのフロント角に取り付けられた一対の発散型かつ外向きに方向付けられた中央範囲レーダー（「mid-range radar、ＭＲＲ」）センサ３と、車両のそれぞれの後角に取り付けられた、同様の一対の発散型かつ外向きに方向付けられた多機能レーダーセンサ４と、車両２の前方で中央に取り付けられた前方に方向付けられた長範囲レーダー（「long-range radar、ＬＲＲ」）センサ５と、例えば、車両のフロントガラスの上縁部の領域内に装着され得る、ステレオビジョンシステム（「stereo vision system、ＳＶＳ」）７の一部を形成する一対の概して前方に方向付けられた光学センサ６（カメラ）と、を含む。様々なセンサ３～６は、車両内の好都合な位置に取り付けられた統合電子制御ユニット８の形態で典型的に提供される、中央電子制御システムに動作可能に接続される。示された特定の構成では、前側及び後側ＭＲＲセンサ３、４は、従来のコントローラエリアネットワーク（Controller Area Network、「ＣＡＮ」）バス９を介してＥＣＵ８に接続され、ＬＲＲセンサ５及びＳＶＳ７のセンサは、同様にそれ自体既知のタイプのバスであるより速いＦｌｅｘＲａｙシリアルバス１０を介してＥＣＵ８に接続される。
【0040】
総じて、ＥＣＵ８の制御下で、様々なセンサ３～６は、例えば、死角監視、適応クルーズ制御、衝突防止支援、車線離脱保護、及び後方衝突緩和等の様々な異なるタイプの運転者支援機能を提供するために使用され得る。同様のセンサは、自律運転システム内で使用することができる。
【0041】
ＣＡＮバス９は、ＥＣＵに自車両パラメータを提供するセンサとしてＥＣＵによって処理され得ることに留意されたい。ＧＰＳモジュールはまた、ＥＣＵにセンサとして接続されてもよく、ＥＣＵに測位パラメータを提供する。
【0042】
運転者支援システム１は、後続の自車両の第２の状態を推定するために、自車両の第１の状態を使用するための状態推定器及び人口神経回路網（本明細書では「ＡＮＮ」）を実装する。ＥＣＵ８は、状態推定器を実装するように構成されてもよい。
【0043】
自車両の状態、又は自車両の構成要素は、例えば、運転者支援システム／機能又はＡＤＡＳシステム若しくは自律運転システム／機能によって使用されてもよい。付加的に又は代替的に、自車両の状態、又は自車両の構成要素は、自車両の運転者に提示するために出力されてもよい（例えば、画面上に表示するか、又は運転者に可聴的に通知される）。状態は、パラメータを含んでもよく、又はパラメータが状態から導出されることを可能にすることができ、これは、自車両上のＡＤＡＳ／自律運転システムによって使用され得る。自車両については、状態推定は、環境パラメータ及び車両パラメータ推定を含んでもよく、例えば、相手方の車両運動学、自車両運動、車線及び道路の幾何学的形状、又は自由空間部を追跡する。
【0044】
車両上のセンサから来るデータのみを使用して、各時間工程の状態を計算する代わりに、持続的な状態を運転者支援システム内に維持することができる。持続的な状態は、状態推定器によって一連の時間工程又は動作サイクルの各々の間に維持される。状態推定器による持続的な状態の維持は、一般に、連続的なプロセスであり得る。状態推定の目標は、経時的にノイズ及び不正確な測定値をフィルタリングすることによって、システムの現在の状態空間部の値の正確な数を見出すことである。これは、例えばカルマンフィルタ等の状態推定器によって達成される。
【0045】
運転者支援システムでは、状態推定は、主に、例えば、相手方の車両運動学、自運動、車線及び道路の幾何学的形状、又は自由空間部を追跡するときに、環境及び自車両状態推定において生じる。これらは、非常に非線形の問題であり得る。
【0046】
一般に、状態推定器は、通常、持続的な状態推定値を経時的に記憶する。状態推定器は、交互の方式で、まず代数モデルを使用して状態空間部を通る第１の状態の軌跡を予測し、次いで、感知デバイスによって取得された測定値を使用してこの予測を更新する。測定値は、通常、一度使用された後に破棄されるため、状態推定器によって抽出された情報全体が状態内に記憶される。この効率的な圧縮により、信号遅延を導入する場合があるが、事実上は軌跡の平滑化、つまり状態推定器の望ましい特性が効率的にもたらされる。
【0047】
図２は、カルマンフィルタ状態推定器の原理を示す。状態の事前知識は、第１の状態１５に対応している。ｘ、Ｐタプル体制では、第１の状態は
である。第１の状態１５はまた、状態空間部における第１の状態プロット１５Ａに概略的に示されているため、第１の状態プロットの軸は、第１の状態１５に含まれる変数に対応している。例として、第１の状態１５及びその結果として第１の状態プロット１５Ａは、２次元である。しかしながら、一般に、自車両状態は、より高い次元性を有し得る。数百～数千の次元は、自車両状態の典型的なものであると考えられ得る。複数の（分離された）フィルタを実装して、多数の次元をカバーすることができる。それにも関わらず、図２に例示され、本明細書で説明される原理は、自車両状態に適用可能である。
【数1】
【0048】
「状態の出力推定」は、第１の状態１５に対する後続の第２の状態１６に対応し、第２の状態プロット１６Ａに示される。ｘ、Ｐタプル体制では、第１の状態は
である。第２の状態１６は、ｋ→ｋ－１である次の時間工程１７において、第１の状態になることが理解されるであろう。
【数2】
【0049】
状態推定器の目標及び目的は、第１の状態１５から第２の状態１６を計算することである。第１～第２の状態の計算を繰り返すことは、持続的な状態の維持として考慮され得る。
【0050】
第１の状態１５から第２の状態１６を計算することには、２つの要素が存在する。第１の要素は、予測要素１８である。第２の要素は、更新要素１９である。
【0051】
予測要素１８は、予測モデルを含む。この予測モデルは、一般に、第１の状態１５と第２の状態１６との間で経過した時間の状態空間部にわたる第１の状態１５の軌跡を記述する。予測モデルは、第２の状態１６を推定するために、第１の状態１５で時間工程をどのように実装するかを数学的に記述する。
【0052】
例えば、自車両の近くに位置する物体は、自車両上のセンサによって検出されてもよい。この検出された物体を記述したパラメータは、第１の状態に含まれてもよい。その物体についての予測モデルは、物体が次の時間工程でどのように移動し得るかを予測し、その結果、物体が第２の状態でどのように記述されるべきかを予測する。実際に現実世界にある物体は、最も適用可能な物理的モデルを決定することができる。例えば、物体が別の車両である場合、「調整されたターンモデル」は、最も適切なモデルであり得る。調整されたターンモデルは、輪状線に沿って移動する車両の経路を記述するために使用される。代替的に、例えば、物体が歩行者である場合、一定の加速度モデルがより適切であり得る。検出された物体のタイプが決定されなかった場合（例えば、物体が車両又は歩行者であるかどうか）、最も適切な予測モデルもまた、いまだ未定であり得る。
【0053】
更新要素１９は、更新モデルを含む。この更新モデルは、一般に、第２の状態１６のセンサ測定値２０が第２の状態１６にどのように組み込まれるかを記述する。測定値２０は、測定値プロット２０Ａに概略的に示されている。ｘ、Ｐタプル体制では、ｘのセンサ測定値は、ｙｋである。更新モデルによって正確なものにされる第２の状態１６は、予測モデルによって作製された予測を受けた、推定された第２の状態１６であり、これは中間状態２１と考えることができる。ｘ、Ｐタプル体制では、中間状態は、
である。しかしながら、予測モデル及び更新モデルは、１つの動作において、又は、事実上、同じ等式として、第１の状態１５に効率的に適用されてもよい。中間状態２１を明確に生成する必要はない場合がある。
【数3】
【0054】
例えば、車両の状態ｘは、位置＝（ｘ、ｙ、ｖｘ、ｖｙ）とすることができ、一方、例えば、センサからの測定値は、ｙ＝（範囲、軸受、範囲＿速度）とすることができる。
【0055】
一般に、予測要素１８は、状態の不確実性を増加させる場合がある。更新要素１９は、現実世界の測定値を状態に組み込むことによって、状態における不確実性を減少させることができる。事実上、現実世界のセンサ測定値は、第２の状態の測定値に対応している。更新モデルを導出することは、センサの精度と予測モデルの精度とをトレードオフする最適化プロセスであってもよい。
【0056】
自車両の現在の状態は、様々な運転者支援システムにおいて、多数の異なる方法のうちのいずれかで読み取られ、使用されてもよい。これは、状態出力２２によって示される。
【0057】
例として、車両が現在位置ｘ、ｙに位置し、速度ｖで走行している場合、その後の時間ｔ＝ｔ＋ｄｔにおける位置ｘ’、ｙ’及び速度ｖ’は何であるか？時間工程ｄｔの大きさは、異なる時間工程について異なっていてもよい。予測モデルは、この質問に対する回答を推定する。この単純な例では、予測モデルは、運動の等式を含んでもよい。
【0058】
一般に、センサから受け取られ得るものは、測定値ｙのストリームである。内部状態のｘ、Ｐタプルドメインが存在するのと同様に、Ｒが第１次モーメントの（ほとんど未知の）行列である、センサ測定値のためのｙ、Ｒタプルドメインも存在する。モーメントＲは、多くの場合、センサから利用できない。
【0059】
しかしながら、ｘ’、ｙ’のうちの１つ又はいくつかから作製された測定値、又はｔ＝ｔ＋１におけるｖ’が存在してもよい。これは、第２の状態１６の精度を向上させるために中間状態に組み込まれ得る情報である。したがって、状態変数のうちの少なくとも１つの測定値２０は、更新要素１９内の更新モデルによって中間状態に組み込まれる。測定値２０は、第２の状態１６における変数の全ての測定値を含まなくてもよい。変数の共分散は、直接測定されなくてもよい。共分散は、推定システムの「ビリーフ確率分布」のモーメントを表す。測定値は、非線形であってもよい。例えば、レーダーセンサは、ｘ又はｙを直接測定する代わりに、距離＝ｓｑｒｔ（ｘ＾２＋ｙ＾２）を測定することができる。一般に、状態は、測定値によって不十分な状態で決定され得る、又は決定され得る。
【0060】
Ｒの値が低いと、高精度のセンサであることを示す。Ｑ（予測モデルノイズ）の値が低いと、正確な物理的モデルであることを示し得る。
【0061】
一般に、カルマンフィルタは、第１の状態をとり、ａ）中間状態を形成するための物理的モデルに基づいて第２の状態を予測することと、ｂ）第２の状態（又はその一部）の測定値に基づいて中間状態を更新することと、によって、第２の状態を計算する。上記のように、２つの工程（予測及び更新）は、数学的に同時に実行されてもよく、中間状態は実際には明確に形成されていなくてもよいことが理解されるであろう。
【0062】
特定の状態は、状態ベクトル
及び状態ベクトルの共分散行列Ｐｋの両方を含み得る。図２では、
は、状態空間部内の位置（状態の中心位置）を表す数字のベクトルである状態ベクトルである。Ｐｋは、
の共分散行列であり、中心位置の周りの状態の広がりを表す。換言すれば、共分散行列は、これまでに受信した測定値を考慮して、可能性のある状態値に対する事後確率分布の第１のモーメントである。
【数4】
【数5】
【数6】
【0063】
カルマンフィルタは、関与する全ての分布が真にガウス分布であり、全ての演算が線形であり、正確に知られているという仮定の下で、状態推定問題に理論的に正しい解を見出すように設計されている。カルマンフィルタの場合、計算工程、予測及び更新の両方は、数値上の行列演算である。全ての演算は、本質的に状態を持たない。次の時間工程に持ち越される唯一の情報は、カルマンフィルタ状態
及びＰｋであり、これらは事後を近似すると想定される。
【数7】
【0064】
データのノイズ挙動の特定の要件が測定値２０によって満たされる場合、測定値２０は、更新要素１９内の第２の状態１６に組み込まれた後、破棄されてもよい。事実上、測定値２０によって具体化された情報の全ては更新要素によって抽出され、第２の状態２０に組み込まれる。次の時間工程では、第２の状態１６は、第１の状態１５になる。したがって、状態は、状態推定器により、自車両システムの現在状態を効率的に維持することができる。状態推定器を使用して現在の状態を維持することによって、測定値を使用後に破棄することができるため、状態推定器を実行する計算モジュールの必要記憶部は最小化される。
【0065】
本発明によれば、自動車運転支援システムのための状態推定の一部としてＡＮＮが使用される。ＡＮＮを使用することにより、非線形モデル、非ガウスビリーフ分布、及び未知の、又は部分的に既知のモデリング等式のみを可能にし得る。システムに関する不足している知識は、ＡＮＮの訓練プロセス中に抽出される。低遅延と高平滑化との間のトレードオフは、任意のエラー関数を最小化することによって自動的に行われる。オンライン学習も実装することができ、これは、リアルタイムで発生する変更を補正することができる。かかる変更には、例えば、センサのずれ、センサの故障若しくは劣化、及び／又は環境の変化を含むことができる。
【0066】
ＡＮＮは、機械学習技術である。一般に、ＡＮＮは、（数学的な意味で）相互接続された複数の計算ユニット（一般に「神経細胞」と称される）に基づいている。一般に、神経細胞は層で接続され、信号は第１の（入力）層から最後の（出力）層へと移動する。信号（入力及び発信）及び各神経細胞の状態は実数であり、典型的には０～１の間で選択される。
【0067】
図３は、フィードフォワード人工神経回路網（feedforward artificial neural network、ＦＮＮ）の一例を示す。ＦＮＮは、ＡＮＮのカテゴリである。ＦＮＮは、入力層２２及び出力層２３を含む。入力層２２と出力層２３との間は、単一の隠れ層２４である。入力層２２は、入力神経細胞２２Ａを含み、隠れ層２４は、隠れ神経細胞２４Ａを含み、出力層２３は、出力神経細胞２３Ａを含む。入力神経細胞２２Ａと隠れ神経細胞２４Ａとの間に入力神経接続部２５が存在する。隠れ神経細胞２４Ａと出力神経細胞２３Ａとの間に出力神経接続部２６が存在する。データは、入力層２２から、隠れ層２４を通って出力層２３へと一方向に流れる。ＦＮＮでは、データはこのようにのみ流れる。ＦＮＮ（及び一般にＡＮＮ）は、２つ以上の隠れ層２３を有してもよい。入力層への入力は、入力ベクトルであってもよい。入力ベクトルは、複数の値であってもよく、入力ベクトル内のそれぞれの値は、入力層内の対応する入力神経細胞への入力として使用される。出力層からの出力は、出力ベクトルであってもよい。出力ベクトルは、複数の出力値であってもよく、出力ベクトル内のそれぞれの出力値は、出力層内の対応する出力神経細胞から出力される。入力ベクトルの長さは、出力ベクトルの長さと異なっていてもよい。入力ベクトルの長さは、出力ベクトルの長さと等しくてもよい。
【0068】
一般に、各神経細胞２２Ａ、２３Ａ、２４Ａは、その入力の全ての加重和を計算する。加重和は、それぞれの神経細胞に対する活性化関数の引数として使用される。活性化関数の出力は、神経細胞の出力として使用される。神経細胞の出力は、１つ以上のアウトバウンド神経細胞接続部を介して、１つ以上の下流（すなわち、後続の層）神経細胞に供給され得る。
【0069】
ＡＮＮは、回帰問題を解決するように設計及び実装されている。回帰は、変数間の数学的関係を推定することを含む。例えば、回帰は、ノイズの多いデータに連続曲線を当てはめるプロセスに対応することができ、したがって、ノイズの多いデータによって記述される変数間の関係の数学的形態を推定する。
【0070】
ＡＮＮを使用することにより、高度に非線形であり、任意の複雑性であり得る変数間の関係を記述することができる。ＡＮＮが記述することができる関係の複雑性は、ＡＮＮのハイパーパラメータの選択によって制限され得る。ＡＮＮのハイパーパラメータは、基礎となるデータではなく、ＡＮＮ自体の記述子に対応する。例えば、ハイパーパラメータは、ＡＮＮ内の神経細胞の数及びそれらの神経細胞が配置されている層の数を含んでもよい。
【0071】
これらの機能を達成するために、ＡＮＮを訓練する必要がある。ごく一般的な言い方をすると、訓練とは、各神経細胞の入力に適用される重みを決定することである。一般に、訓練は、入力及び所望の出力が既知である訓練データセットを使用することによって達成され、これは、ラベル付きのデータセットを有する教師あり訓練と呼ばれる（以下を参照）。ＡＮＮの神経細胞間の重みは、入力が可能な限り厳密に所望の出力に変換されるように変更される。重みは、エラー関数を最小化することによって（例えば、エラー逆伝搬を介して）最適化することができる。
【0072】
所望の出力を有する入力も含む検証データセットを使用して、ＡＮＮのパフォーマンスを検証及び確認することができる。検証データセットは、ＡＮＮを訓練する際に使用されない（すなわち、ＡＮＮの重みを決定する）。換言すれば、検証データセットは、訓練データセットとは異なる。
【0073】
訓練及び検証データセットを生成するには、通常、データセットの「ラベル付け」を必要とする。これは、出力が対応する入力から所望されるものであると決定されたことを意味する。ラベル付けには時間がかかる場合がある。
【0074】
上述のＦＮＮの場合、入力層への各入力ベクトルは、入力層への互いの入力ベクトルから独立していると見なされる。その結果、出力層からの各出力ベクトルは、互いの出力ベクトルから独立している。
【0075】
回帰神経回路網（ＲＮＮ）は、入力ベクトル間の時間的な関係を利用することができるＡＮＮのカテゴリである。これは、ＲＮＮによる処理において、第１の演算サイクル（第１の入力ベクトルが処理されて第１の出力ベクトルを形成する間）と、第２の後続の演算サイクル（第２の入力ベクトルが処理されて第２の出力ベクトルを形成する間）との間のフィードバックを含むことによって達成される。
【0076】
かかるフィードバック結合を実装する２つの例示的な方法が記述される。第１に、ＲＮＮ内の神経細胞のうちの少なくとも１つが、同じ又は後続の層内の神経細胞の少なくとも１つの出力を入力として（直接的又は間接的に）とることである。使用される出力は、前の演算サイクル中の同じ神経細胞からのものであってもよい。第２に、特定の神経細胞における活性化関数が時間の関数であることである。具体的には、活性化関数は、先行するサイクルによって少なくとも部分的に定義され得る。両方の場合では、演算サイクル間のフィードバックを有効にすることができる。
【0077】
フィードバックにより、特定の神経細胞の出力は、先行する層からの値だけでなく、前の時間工程で先行したデータに依存することができる。したがって、ＲＮＮは、入力ベクトル間の関係を使用することができる。入力ベクトルが時間的に連続している場合、ＲＮＮは、入力ベクトル間の時間的な関係を使用してパフォーマンスを改善することができる。一般に、ＲＮＮの場合、第２のサイクルにおける隠れ層（単数又は複数）の入力／重み及び／又は活性化関数は、第１の先行するサイクルにおける隠れ層（単数又は複数）の入力／重み及び／又は活性化関数に依存している。ＲＮＮは、異なるメモリタイムスケールを有する複数のフィードバック結合を実装してもよい。ＲＮＮは、少なくとも１つの先行するサイクルのメモリを示す。ＲＮＮは、複数の先行するサイクルのメモリを示してもよい。
【0078】
図４は、本発明による状態推定器の第１の実施形態を示す。図４の実施形態及び図２の状態推定器に共通する要素は、同じ要素参照番号を使用する。図４の実施形態では、予測要素の予測モデルは、予測ＡＮＮ２７を含む。
【0079】
【0080】
図５はまた、値のベクトルとしての第１の状態１５、及び値のベクトルとして推定された第２の状態２１も示す。第１の状態ベクトルの各値は、第１の状態１５に含まれる属性に対応している。推定された第２の状態ベクトルの各値は、推定された第２の状態２１に含まれる属性に対応している。中間状態は、推定された第２の状態に対応している。
【0081】
予測ＡＮＮ２７の入力層２７Ａは、入力ベクトル２７Ｄを使用する。入力ベクトル２７Ｄは、第１の状態１５からの入力値１５Ｂのセットを含む。入力値１５Ｂは、第１の状態の値の選択であってもよく、又は入力値１５Ｂは、第１の状態１５の値の全てを含んでもよい。いずれの場合でも、入力ベクトル２７Ｄのそれぞれの値は、予測ＡＮＮ２７の入力層２７Ａのそれぞれの入力神経細胞に対する入力を形成してもよい。
【0082】
入力ベクトル２７Ｄは、予測ＡＮＮ２７を介して処理され、予測ＡＮＮ２７の出力層２７Ｃの出力神経細胞から出力ベクトル２７Ｅを形成する。出力ベクトル２７Ｅは、推定された第２の状態２１における出力値２１Ｂのセットである。出力値２１Ｂは、入力ベクトル２７Ｄが入力状態１５になるとき、推定された第２の状態２１における同じパラメータに対応してもよい。
【0083】
予測ＡＮＮ２７は、出力値２１Ｂのセットを形成するために、入力値１５Ｂのセットの状態空間部を通る軌跡を予測してもよい。
【0084】
予測ＡＮＮ２７がそうすることができる前に、予測ＡＮＮ２７は、ラベル付きの訓練データで訓練されてもよい。ラベル付きの訓練データは、「グラウンドトルース」を含んでもよい。すなわち、予測ＡＮＮ２７からの所望の出力が知られている。訓練は、センサ測定値２０が第２の状態を改良しないという仮定を必要とし得る。
【0085】
予測ＡＮＮ２７は、入力値１５Ｂのセットと出力値２１Ｂのセットとの間の非線形関係を再現することができる。予測ＡＮＮ２７を使用することにより、予測要素１８が予測することができる挙動は、分析線形予測モデルによって制限されない。
【0086】
予測要素１７は、２つ以上の予測ＡＮＮ２７を含み得る。それぞれの予測ＡＮＮ２７は、それぞれの予測モデルに対応し得る。各ＡＮＮは、予測要素１７内の互いの予測ＡＮＮ２７について第１の状態１５から選択された入力値と比較して、第１の状態１５から選択された入力値１５Ｂの異なるセットを有してもよい。１つの予測ＡＮＮ２７の入力ベクトル２７Ｄは、別の予測ＡＮＮ２７の入力ベクトル２７Ｄにも含まれている第１の状態からのいくつかの値を含んでもよい。ＡＮＮのいずれかによって実現される等式は、内部物体のクラス属性を考慮することができる。
【0087】
各々が状態の異なる部分に対応している、異なる予測ＡＮＮが存在し得る。また、異なる予測ＡＮＮ間の相互接続（及びしたがって依存性）も存在し得る。代替的に、単一のＡＮＮは、全状態について予測ＡＮＮを形成してもよい。
【0088】
図６は、本発明による状態推定器の第２の実施形態を示す。図６の実施形態及び図２の状態推定器に共通する要素は、同じ要素参照番号を使用する。図６の実施形態では、更新要素の更新モデルは、更新ＡＮＮ２８を含む。
【0089】
【0090】
図７はまた、値のベクトルとしての測定値２０Ｂ、及び値のベクトルとして推定された第２の状態２１Ｂの少なくとも一部を示す。更新ＡＮＮ２８は、推定された第２の状態２１Ｂの全体を入力として使用することができる。この場合、更新ＡＮＮ２８の重みのいくつかは、訓練プロセス中にゼロになり得る。これは、例えば、センサからの測定値が第２の状態の特定の態様に影響を及ぼさない場合にあり得る。
【0091】
測定値ベクトル２０Ｂの各値は、少なくとも１つのセンサからの少なくとも１つの測定された属性に対応している。属性は直接測定値であってもよく、又はパラメータは、センサからＥＣＵに送信された測定値から計算された値であってもよい。推定された状態ベクトル２１Ｂの各値は、推定された状態２１に含まれる属性に対応している。
【0092】
測定値２０Ｂ及び推定された第２の状態（又はその一部）２１Ｂは共に、更新ＡＮＮ２８への入力ベクトル２８Ｄを形成する。更新ＡＮＮ２８は、測定値ベクトル２０Ｂを推定された第２の状態ベクトル２１Ｂに効率的に組み込み、出力ベクトル２８Ｅを形成する。出力ベクトル２８Ｅは、第２の状態１６における出力値１６Ｂのセットである。したがって、更新ＡＮＮ２８は、第２の状態を形成するために測定値を使用して推定された第２の状態を正確なものにする。
【0093】
更新ＡＮＮ２８がそうすることができる前に、更新ＡＮＮ２８は、ラベル付きの訓練データを使用して訓練されてもよい。ラベル付きの訓練データは、「グラウンドトルース」を含んでもよい。すなわち、更新ＡＮＮ２８からの所望の出力が知られている。
【0094】
一般に、更新ＡＮＮは、予測モデルによって誤って推定された全てを修正するべきである。換言すれば、更新ＡＮＮは、予測モデルの不正確さを修正するためにセンサ測定値を使用するべきである。
【0095】
例えば、交通物体は、予測モデルに従って、直線経路に沿って走行し続けることができる。実際に、物体が実際に非直線経路に沿って走行する場合、推定された第２の状態による物体の位置は正しくない。更新モデルは、推定された第２の状態を正確なものにするためのセンサ測定値を使用して、第２の状態における交通物体の実際の位置をより正確に反映する。
【0096】
したがって、更新ＡＮＮの訓練では、最終モデルで使用される予測工程を使用する場合がある。例えば、これを達成する方法は、工程ｋ－１からのグラウンドトルースの状態ベクトルを使用し、次いで、（古典的な）予測モデルを実行することである。古典的な予測は、ＡＮＮを更新するための入力である。予想出力は、工程ｋからのグラウンドトルースｘである。更新ＡＮＮは、かかる既知の入力及び出力に基づいて訓練される。
【0097】
かかる訓練スキームでは、Ｐはアルゴリズムから省略されてもよく、又は近似値が使用される。近似値は、古典的なカルマンフィルタを並列に実行することから（訓練中のみ）導出することができる。
【0098】
更新ＡＮＮ２８は、その２つの入力と推定された第２の状態との間の非線形関係を再現することができる。更新ＡＮＮの利点は、数学的センサモデルが必要ない、又は既知である必要がないことである。
【0099】
更新要素１９は、２つ以上の更新ＡＮＮ２８を含み得る。状態の測定値を提供する各センサ又はセンサシステムは、それらの測定値を推定された第２の状態に組み込むための別個の更新ＡＮＮ２８を有し得る。これは、異なるセンサ及びセンサシステムが異なる速度で、又は異なる時間に測定値を提供し、したがって特定のセンサに対応する特定の更新ＡＮＮ２８は、そのセンサからの利用可能な測定値が状態に組み込まれるときにのみ使用することができるため、柔軟なシステムを提供する。
【0100】
図８は、本発明の第３の実施形態を示す。図８の実施形態では、単一の組み合わせた予測及び更新ＡＮＮ（「組み合わされたＡＮＮ」）２９が提供される。組み合わされたＡＮＮ２９は、第１の実施形態の予測ＡＮＮ２７及び第２の実施形態の更新ＡＮＮ２８の両方の機能を実行する。
【0101】
【0102】
図９はまた、値のベクトルとしての測定値２０Ｂ、及び値のベクトルとしての第１の状態１５Ｂの少なくとも一部を示す。測定値ベクトル２０Ｂの各値は、センサからの測定されたパラメータに対応している。パラメータは直接測定値であってもよく、又はパラメータは、センサからＥＣＵに送信された測定値から計算された値であってもよい。第１の状態ベクトル１５Ｂの各値は、第１の状態１５に含まれる属性に対応している。
【0103】
測定値ベクトル２０Ｂと第１の状態ベクトル１５Ｂは共に、組み合わされたＡＮＮ２９に入力ベクトル２９Ｄを形成する。組み合わされたＡＮＮ２９は、測定値ベクトル２０Ｂ及び第１の状態ベクトル１５Ｂを効率的に組み込み、出力ベクトル２９Ｅを形成する。組み合わされたＡＮＮ２９は、状態空間部を通る第１の状態ベクトル１５Ｂの軌跡を効率的に予測し、測定値ベクトル２０Ｂを第１の状態ベクトル１５Ｂに組み込み、出力ベクトル２９Ｅ．を形成する。出力ベクトル２９Ｅは、第２の状態１６における出力値のセット１６Ｂを含む。組み合わされたＡＮＮでは、異なる第２の状態推定及び正確なものにする工程は存在しないことが理解されるであろう。その代わりに、両方の工程は、組み合わされたＡＮＮによって、区別がつかないほど効率的に実装される。換言すれば、組み合わされたＡＮＮ２９は、第１の実施形態の予測ＡＮＮ２７及び第２の実施形態の更新ＡＮＮ２８の両方の機能を実行する。
【0104】
組み合わされたＡＮＮを訓練するために、例えば、サイクルｋ－１からのグラウンドトルースｘを入力として使用することができ、サイクルｋからのグラウンドトルースｘを所望の出力として使用することができる。組み合わされたＡＮＮは、これに基づいて訓練され、これに基づいて予測及び正確なものにする挙動を導出する。
【0105】
かかる訓練スキームでは、Ｐはアルゴリズムから省略されてもよく、又は近似値が使用される。近似値は、古典的なカルマンフィルタを並列に（訓練中のみ）実行し、Ｐ（ｋ－１）及びＰ（ｋ）値を使用することから導出することができる。上述の第１、第２、及び第３の実施形態では、ＡＮＮはＦＮＮであってもよいが、ＡＮＮの他のカテゴリもまた、第１～第３の実施形態の予測ＡＮＮ、更新ＡＮＮ、又は組み合わされたＡＮＮの適切な選択と見なされる。
【0106】
図１０は、本発明の第４の実施形態を示す。図１０は、第１の状態３０及び第２の、後続の状態３１を示す。第１の状態３０及び第２の状態３１の各々は、自車両の状態を表す。状態推定ＲＮＮ３２が示されている。状態推定ＲＮＮ３２は、第１の状態３０、及びセンサ測定値２０に基づいて第２の状態３１を推定する。状態推定は、一連の演算サイクルの各々の間に実行される。状態推定ＲＮＮ３２による第２の状態３１の各推定は、単一の演算サイクルと見なすことができる。
【0107】
図１０では、状態推定ＲＮＮ３２は、第１の状態３１及び第２の状態３２に接続されているものとして表される。演算サイクル間の時間工程１７もまた表される。説明を明確にするために、状態推定ＲＮＮ３２からの第１の状態と、状態推定ＲＮＮ３２からの第２の状態との分離が提示されていることが理解されるであろう。状態推定ＲＮＮ３２は、第１の状態３０、第２の状態３１、及び時間工程１７を含むと見なすことができる。第１と第２の状態は同時に存在しなくてもよく、第１の状態からの第２の状態の推定は、状態推定ＲＮＮ３２内の持続的な状態の更新及び正確なものにすることに対応することができる。
【0108】
状態推定ＲＮＮ３２では、データは、少なくとも１つの先行する演算サイクルから現在の演算サイクルで状態推定ＲＮＮ３２にフィードバックされる。したがって、状態推定ＲＮＮ３２は、少なくとも１つの先行する演算サイクルの「メモリ」を有する。これにより、状態推定ＲＮＮ３２は、入力内の時間的なパターンを状態推定ＲＮＮ３２に使用することを可能にする。本発明の文脈では、これにより、システムは、データ内のこれらの時間的な関係を利用することによって、第２の状態をより正確に導出することを可能にし得る。かかる挙動は、１つの時間工程から次の時間への時間的な関係が予想される運転者支援システムで特に有用である。
【0109】
状態推定ＲＮＮ３２は、１つの演算サイクル中に、第１の状態３０からの第２の状態３１の推定と、センサ測定値２０に基づくその推定された第２の状態３１の正確なものにすることとを同時に効率的に実装する。このプロセスにより、状態推定ＲＮＮ３２が、自車両の現在の状態に対応する「持続的な状態」を維持することを可能にすると考えられ得る。状態推定ＲＮＮ３２は、フィードバック機構を実装するので、状態推定ＲＮＮ３２は、現在の演算サイクル中に少なくとも１つの先行する演算サイクルからの情報を利用する。したがって、自動車のための装置は、第２の状態を決定する（又は持続的な状態を維持する）ときに、入力データの時間的な順序におけるパターンを使用することができる。
【0110】
図１１では、入力層３２Ａ、出力層３２Ｃ、及びそれらの間の少なくとも１つの隠れ層３２Ｂを有する状態推定ＲＮＮ３２が示されている。状態推定ＲＮＮ３２は、（上述のように）少なくとも１つのフィードバック結合を有する回帰神経回路網である。少なくとも１つのフィードバック結合は、少なくとも１つの隠れ層３２Ｂ内に形成されてもよい。フィードバック結合は、先行するサイクルからの状態推定ＲＮＮ３２の少なくとも１つのパラメータ、又は先行するサイクルからの状態推定ＲＮＮ３２の少なくとも１つのパラメータに依存する値を記憶するためのメモリを含んでもよい。少なくとも１つのフィードバック結合は、状態推定ＲＮＮ３２が、状態推定ＲＮＮ３２への少なくとも１つの先行するサイクルのメモリを有することを意味する。状態推定ＲＮＮ３２は、それぞれの過去の先行する演算サイクルに対応する複数のフィードバック結合を有するように構成されてもよい。例えば、状態推定ＲＮＮ３４は、５つの先行する演算サイクルのメモリを有するように構成されてもよい。フィードバック結合によって使用される複数の先行する演算サイクルは、現在の演算サイクルの直前に先行する、複数の先行する演算サイクルであってもよい。
【0111】
図１１はまた、値のベクトルとしての測定値２０Ｂ、及び値のベクトルとしての第１の状態３０Ｂの少なくとも一部を示す。測定値ベクトル２０Ｂの各値は、センサからの測定されたパラメータに対応している。パラメータは直接測定値であってもよく、又はパラメータは、センサからＥＣＵに送信された測定値から計算された値であってもよい。第１の状態ベクトル３０Ｂの各値は、第１の状態３０に含まれるパラメータに対応している。
【0112】
測定値ベクトル２０Ｂと第１の状態ベクトル３０Ｂは共に、状態推定ＲＮＮ３２に入力ベクトル３２Ｄを形成する。状態推定ＲＮＮ３２は、測定値ベクトル２０Ｂを第１の状態ベクトル３０Ｂに効率的に組み込み、出力ベクトル３２Ｅを形成する。状態推定ＲＮＮ３２は、状態空間部を通る第１の状態ベクトル３０Ｂの軌跡を効率的に予測し、測定値ベクトル２０Ｂを第１の状態ベクトル３０Ｂに組み込み、出力ベクトル３２Ｅを形成する。出力ベクトル３２Ｅは、第２の状態３１における出力値のセット３１Ｂを含む。
【0113】
第１～第３の実施形態は、特定の自車両状態を表すためにｘ、Ｐタプルを使用してもよい。式中、ｘ値は、例えば、自車両の位置、自車両の速度、局所的物体、並びにそれらのそれぞれの位置及び速度等、現実世界のパラメータであってもよい。
【0114】
しかしながら、第４の実施形態を使用すると、状態にｘ、Ｐタプルを使用できる場合がある一方で、状態推定ＲＮＮ３２が、ｘ、Ｐタプルから離れた状態（すなわち、第１の状態３０及び第２の状態３１）の表現を、異なる抽象化された状態空間部に抽象化することもあり得、これは、ｘ、Ｐタプルとは無関係であり得る（例えば、ｘ値とＰ値を区別することは全く不可能であり得る）。抽象化された状態空間部は、状態推定ＲＮＮ３２を訓練するプロセスにおいて自動的に形成され得る。抽象化された状態空間部は、特定のｘ、Ｐタプルで見られるのと同じ量の情報が、状態推定ＲＮＮ３２によって形成された抽象化された状態空間部内で表すことによって、よりコンパクト及び／又は正確な形態で表され得るという意味で、より効率的であり得る。状態推定ＲＮＮ３２を使用することは、計算の複雑性及び必要な記憶容量を低減することができるため、有利であり得る。これは、計算容量が制限され得る、自車両運転者支援システムに特に有用である。例えば、フィードバック結合の数に依存する精度とメモリ要件との間のトレードオフがなされ得る。状態推定ＲＮＮ３２は、フィードバック結合に割り当てられた帯域幅、すなわちフィードバックのために提供される持続的なメモリの量を考慮して最適な表現に到達することができる。
【0115】
状態推定ＲＮＮ３２によるこの抽象的な状態表現のために、運転者支援システムが使用する状態推定ＲＮＮから少なくとも１つの現実世界の属性を導出するための出力工程が提供される。出力工程３３は、出力ＡＮＮを含んでもよい。出力ＡＮＮは、運転者支援システムが使用する状態推定ＲＮＮ３２の現実世界の属性から導出されるように訓練される。
【0116】
前述の説明において、又は以下の特許請求の範囲において、又は添付図面内において、それらの特定の形態で、又は開示された機能を実行するための手段の観点から表現される、開示された特徴、若しくは、開示された結果を得るための方法又はプロセスは、適宜、別個に、又はかかる特徴の任意の組み合わせで、本発明を多様な形態で再利用するために利用することができる。
【0117】
本発明を、上記の例示的な実施形態と併せて説明してきたが、所与の本開示を考慮すると、当業者には多くの等価な修正及び変形が明らかとなるであろう。したがって、上述の本発明の例示的な実施形態は、例示的であり、限定的ではないと考えられる。説明される実施形態に対する様々な変更が、本発明の趣旨及び範囲から逸脱することなく行われてもよい。
【0118】
いかなる誤解も避けるために、本明細書で提供される任意の理論的な説明は、読者の理解を深める目的で提供されている。本発明者らは、これらの理論的な説明のいずれかによって拘束されることを望むものではない。
【0119】
本明細書で使用される任意のセクションの見出しは、構成目的のみのためであり、記載される主題を限定するものとして解釈されるべきではない。
【0120】
本明細書全体を通して、文脈が他の方法で必要とされない限り、「備える（comprise）」及び「含む（include）」という語、並びに「備える（comprises）」、「備える（comprising）」、及び「含む（including）」等の変形は、記載された整数又は工程又は整数又は工程群の包含を意味するが、任意の他の整数又は工程又は整数又は工程群を除外しないことを意味すると理解されるであろう。
【0121】
本明細書及び添付の特許請求の範囲で使用される場合、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈がそうでない旨を明確に指示しない限り、複数の指示対象を含むことに留意されたい。範囲は、本明細書において、「約（about）」の１つの特定の値から、及び／又は「約（about）」の別の特定の値までを表してもよい。このような範囲を表す場合、別の実施形態は、１つの特定の値及び／又は他の特定の値を含む。同様に、値を近似値として表す場合、先行詞「約（about）」を使用することによって、特定の値が別の実施形態を形成することが理解されるであろう。数値に対する「約（about）」という用語は任意であり、例えば、＋／－１０％を意味する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】