特表 2024-545300 車両センサデータの分散処理

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-12-05

(54)【発明の名称】車両センサデータの分散処理

(51)【国際特許分類】

   G08G 1/16 20060101AFI20241128BHJP

【ＦＩ】

G08G1/16 C

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024537511

(86)(22)【出願日】2023-01-11

(85)【翻訳文提出日】2024-06-20

(86)【国際出願番号】 JP2023000377

(87)【国際公開番号】W WO2023162491

(87)【国際公開日】2023-08-31

(31)【優先権主張番号】17/680,503

(32)【優先日】2022-02-25

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】509186579

【氏名又は名称】日立Ａｓｔｅｍｏ株式会社

(74)【代理人】

【識別番号】110002572

【氏名又は名称】弁理士法人平木国際特許事務所

(72)【発明者】

【氏名】ワッツ ラース ステファン

(72)【発明者】

【氏名】入江 耕太

(72)【発明者】

【氏名】有馬 秀俊

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181BB04

5H181CC03

5H181CC04

5H181CC11

5H181CC12

5H181CC14

5H181CC27

5H181FF04

5H181FF27

5H181LL01

5H181LL02

5H181LL09

(57)【要約】

幾つかの例において、第１の電子制御ユニット（ＥＣＵ）は、車両と関連付けられる複数のゾーンのゾーンセンサデータを受信する。例えば、それぞれの第２のＥＣＵ及びゾーンセンサのそれぞれのセットは、複数のゾーンの各それぞれのゾーンと関連付けられる。車両の指示された運転モードに基づいて、第１のＥＣＵは、複数のゾーンのうちの第１のゾーンからのゾーンセンサデータに対して認識を実行して、第１の認識情報を決定することができる。第１のＥＣＵは、それぞれのゾーンのそれぞれの第２のＥＣＵから第２の認識情報を受信する。例えば、それぞれの第２のＥＣＵは、それぞれのゾーンのゾーンセンサのセットからのそれぞれのゾーンセンサデータに対して認識処理を実行するように構成される。第１の認識情報及び第２の認識情報に基づいて、第１のＥＣＵは、少なくとも１つの車両アクチュエータに少なくとも１つの制御信号を送信する。
【選択図】図３

【特許請求の範囲】

【請求項1】

車両内でセンサデータを処理するためのシステムであって、
第１の電子制御ユニット（ＥＣＵ）を備え、このＥＣＵは複数のゾーンＥＣＵと通信することができ、前記第１のＥＣＵは、前記複数のゾーンＥＣＵのそれぞれのゾーンＥＣＵよりも高いデータ処理能力を有し、各それぞれのゾーンＥＣＵは、前記車両と関連付けられる複数のゾーンのそれぞれのゾーンと関連付けられ、前記それぞれのゾーンと関連付けられる前記それぞれのゾーンＥＣＵにゾーンセンサデータを提供するために、ゾーンセンサのセットが各それぞれのゾーンと関連付けられ、前記第１のＥＣＵがプロセッサを含み、前記プロセッサは、実行可能命令によって、
前記第１のＥＣＵの前記プロセッサにより、前記複数のゾーンの前記各ゾーンのゾーンセンサの各セットからゾーンセンサデータを受信する動作と、
前記車両の指示された運転モードに基づいて、前記第１のＥＣＵの前記プロセッサにより、前記複数のゾーンのうちの第１のゾーンの前記ゾーンセンサデータを選択する動作と、
前記第１のＥＣＵの前記プロセッサにより、前記第１のゾーンの前記ゾーンセンサデータに対して認識を実行して、第１の認識情報を決定する動作と、
前記第１のＥＣＵの前記プロセッサにより、前記複数のゾーンの前記それぞれのゾーンと関連付けられる前記それぞれのゾーンＥＣＵから第２の認識情報を受信する動作と、
前記第１のＥＣＵの前記プロセッサにより、少なくとも前記第１の認識情報及び前記第２の認識情報に基づいて、少なくとも１つの制御信号を少なくとも１つの車両アクチュエータに送信する動作と、
を含む動作を実行するように構成される、システム。

【請求項2】

前記動作は、
車両動作に関連する情報から指示された運転モードを決定する動作と、
前記第１のＥＣＵの前記プロセッサにより、前記車両動作に関連する前記情報から前記指示された運転モードを決定することに基づいて、前記認識を実行するために前記第１のゾーンから前記ゾーンセンサデータを動的に選択する動作と、
を更に含む、請求項１に記載のシステム。

【請求項3】

前記動作は、
前記指示された運転モードの変化の指示に基づいて、前記第１のＥＣＵの前記プロセッサにより、前記認識を実行するために第２のゾーンからゾーンセンサデータを選択する動作と、前記第１のゾーンから受信される前記ゾーンセンサデータに対する前記認識の実行を停止する動作と、
を更に含む、請求項１に記載のシステム。

【請求項4】

前記それぞれのゾーンＥＣＵは、
前記それぞれのゾーンＥＣＵと関連付けられる前記それぞれのゾーンと関連付けられる前記ゾーンセンサのセットからゾーンセンサデータを受信する動作と、
前記それぞれのゾーンＥＣＵにより、低減されたセンサデータを取得するために前記ゾーンセンサデータの量を低減する動作と、
前記低減されたセンサデータに対して認識を実行して認識情報を取得する動作と、
前記認識情報を前記第２の認識情報の一部として前記第１のＥＣＵに送信する動作と、
を含む動作を実行するように構成される、請求項１に記載のシステム。

【請求項5】

前記車両の前記指示された運転モードは、
前記車両が前進方向に走行している前進運転モード、又は
前記車両が後進方向に走行している後進運転モード、
のうちの一方である、請求項１に記載のシステム。

【請求項6】

前記車両の前記指示された運転モードは、
前記車両が左旋回に近づいている左折運転モード、又は
前記車両が右旋回に近づいている右折運転モード
のうちの一方であり、
前記動作は、
前記第１のＥＣＵの前記プロセッサにより、前記指示された運転モードが前記左折運転モード又は前記右折運転モードのうちの一方であることに基づいて、前記複数のゾーンのうちの第２のゾーンの前記ゾーンセンサデータを選択する動作と、
前記第１のＥＣＵの前記プロセッサにより、前記第１のゾーンの前記ゾーンセンサデータに加えて前記第２のゾーンの前記ゾーンセンサデータに対して認識を実行し、前記第１の認識情報を決定する動作と、
を更に含む、請求項１に記載のシステム。

【請求項7】

前記動作は、
少なくとも指示された車速が閾値速度を下回っていることに基づいて、低電力運転モードを選択する動作と、前記第１のＥＣＵの前記プロセッサにより、前記認識の実行を中止する動作とを更に含み、前記ゾーンＥＣＵは、前記それぞれのゾーンにおける前記第２の認識情報を前記第１のＥＣＵに提供する、請求項１に記載のシステム。

【請求項8】

第１の電子制御ユニット（ＥＣＵ）により、車両と関連付けられる複数のゾーンのゾーンセンサデータを受信するステップであって、それぞれの第２のＥＣＵ及びゾーンセンサのそれぞれのセットが前記複数のゾーンの各それぞれのゾーンと関連付けられる、ステップと、
前記車両の指示された運転モードに基づいて、前記第１のＥＣＵにより、前記複数のゾーンのうちの第１のゾーンからの前記ゾーンセンサデータに対して認識を実行し、第１の認識情報を決定するステップと、
前記第１のＥＣＵにより、前記それぞれのゾーンと関連付けられる前記それぞれの第２のＥＣＵのうちの１つ以上から第２の認識情報を受信するステップであって、前記それぞれの第２のＥＣＵが関連付けられる前記それぞれのゾーンの前記ゾーンセンサのセットからのそれぞれのゾーンセンサデータに対して認識処理を実行するように前記それぞれの第２のＥＣＵが構成される、ステップと、
前記第１のＥＣＵにより、少なくとも前記第１の認識情報及び前記第２の認識情報に基づき、少なくとも１つの制御信号を少なくとも１つの車両アクチュエータに送信するステップと、
を含む方法。

【請求項9】

前記第１のＥＣＵは、前記それぞれのゾーンと関連付けられる前記それぞれの第２のＥＣＵよりも高いデータ処理能力を有する、請求項８に記載の方法。

【請求項10】

前記第１のＥＣＵにより、前記複数のゾーンの前記ゾーンのそれぞれのゾーンセンサの各セットから前記ゾーンセンサデータを受信するステップと、
前記第１のＥＣＵにより、車両動作に関連する情報から前記指示された運転モードを決定することに基づいて認識を実行するために前記第１のゾーンから前記ゾーンセンサデータを動的に選択するステップと、
を更に含む、請求項８に記載の方法。

【請求項11】

前記指示された運転モードの変化の指示に基づいて、前記第１のＥＣＵにより、前記認識を実行するために第２のゾーンからゾーンセンサデータを選択するステップと、前記第１のゾーンから受信される前記ゾーンセンサデータに対する前記認識の実行を停止するステップとを更に含む、請求項８に記載の方法。

【請求項12】

前記それぞれの第２のＥＣＵは、
前記それぞれの第２のＥＣＵと関連付けられる前記それぞれのゾーンと関連付けられる前記ゾーンセンサのセットからゾーンセンサデータを受信し、
低減されたセンサデータを取得するために前記ゾーンセンサデータの量を低減させ、低減されたセンサデータに対して認識を実行して認識情報を取得し、
前記認識情報を前記第２の認識情報の一部として前記第１のＥＣＵに送信する、
ように構成される、請求項８に記載の方法。

【請求項13】

前記車両の前記指示された運転モードは、
前記車両が左旋回に近づいている左折運転モード、又は
前記車両が右旋回に近づいている右折運転モード
のうちの一方であり、
前記方法は、
前記第１のＥＣＵにより、前記指示された運転モードが前記左折運転モード又は前記右折運転モードのうちの一方であることに基づいて、前記複数のゾーンのうちの第２のゾーンの前記ゾーンセンサデータを選択するステップと、
前記第１のＥＣＵにより、前記第１のゾーンの前記ゾーンセンサデータに加えて前記第２のゾーンの前記ゾーンセンサデータに対して認識を実行し、前記第１の認識情報を決定するステップと、
を更に含む、請求項８に記載の方法。

【請求項14】

前記第１のＥＣＵの故障に続いて、前記第２のＥＣＵのうちの１つが、少なくとも続いて決定された第２の認識情報に基づいて、少なくとも１つの後続の制御信号を少なくとも１つの車両アクチュエータに送信するように構成される、請求項８に記載の方法。

【請求項15】

車両に配置されるとともに、前記車両に配置される複数の第２のＥＣＵと通信することができる第１の電子制御ユニット（ＥＣＵ）を備え、各それぞれの第２のＥＣＵは、前記車両と関連付けられる複数のゾーンのうちのそれぞれのゾーンと関連付けられ、少なくとも１つのそれぞれのセンサは、前記それぞれのゾーンにおけるゾーンセンサデータを前記それぞれのゾーンと関連付けられる前記それぞれの第２のＥＣＵに提供するために各それぞれのゾーンと関連付けられ、前記第１のＥＣＵは、実行可能命令により、
前記第１のＥＣＵにより、前記複数のゾーンの前記それぞれのゾーンの前記ゾーンセンサデータを受信する動作と、
前記車両の指示された運転モードに基づいて、前記第１のＥＣＵにより、前記複数のゾーンのうちの第１のゾーンからの前記ゾーンセンサデータに対して認識を実行し、第１の認識情報を決定する動作と、
前記第１のＥＣＵにより、前記それぞれのゾーンと関連付けられる前記それぞれの第２のＥＣＵのうちの１つ以上から第２の認識情報を受信する動作であって、前記それぞれの第２のＥＣＵが関連付けられる前記それぞれのゾーンと関連付けられる前記少なくとも１つのそれぞれのセンサからのそれぞれのゾーンセンサデータに対して認識処理を実行するように前記それぞれの第２のＥＣＵが構成される、動作と、
前記第１のＥＣＵにより、少なくとも前記第１の認識情報及び前記第２の認識情報に基づいて、少なくとも１つの制御信号を少なくとも１つの車両アクチュエータに送信する動作と、
を含む動作を実行するように構成される、システム。

【請求項16】

前記第１のＥＣＵは、前記それぞれのゾーンと関連付けられる前記それぞれの第２のＥＣＵよりも高いデータ処理能力を有する、請求項１５に記載のシステム。

【請求項17】

前記動作は、
前記指示された運転モードの変化の指示に基づいて、前記第１のＥＣＵにより、前記認識を実行するために第２のゾーンからゾーンセンサデータを選択する動作と、前記第１のゾーンから受信される前記ゾーンセンサデータに対する前記認識の実行を停止する動作と、
を更に含む、請求項１５に記載のシステム。

【請求項18】

前記それぞれの第２のＥＣＵは、
前記それぞれの第２のＥＣＵと関連付けられる前記それぞれのゾーンと関連付けられる前記ゾーンセンサのセットからゾーンセンサデータを受信し、
低減されたセンサデータを取得するために前記ゾーンセンサデータの量を低減させ、低減されたセンサデータに対して認識を実行して認識情報を取得し、
前記認識情報を前記第２の認識情報の一部として前記第１のＥＣＵに送信する、
ように構成される、請求項１５に記載のシステム。

【請求項19】

前記車両の前記指示された運転モードは、
前記車両が左旋回に近づいている左折運転モード、又は
前記車両が右旋回に近づいている右折運転モード
のうちの一方であり、
前記方法は、
前記第１のＥＣＵにより、前記指示された運転モードが前記左折運転モード又は前記右折運転モードのうちの一方であることに基づいて、前記複数のゾーンのうちの第２のゾーンの前記ゾーンセンサデータを選択するステップと、
前記第１のＥＣＵにより、前記第１のゾーンの前記ゾーンセンサデータに加えて前記第２のゾーンの前記ゾーンセンサデータに対して認識を実行し、前記第１の認識情報を決定するステップと、
を更に含む、請求項１５に記載のシステム。

【請求項20】

前記第１のＥＣＵの故障に続いて、前記第２のＥＣＵのうちの１つが、少なくとも続いて決定された第２の認識情報に基づいて、少なくとも１つの後続の制御信号を少なくとも１つの車両アクチュエータに送信するように構成される、請求項１５に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書の幾つかの実装形態は、車両におけるＡＤＡＳ及び／又はＡＤシステム動作を可能にするべく認識及び他のタスクを実行するために複数の車両センサのセンサデータを処理するためのプライマリプロセッサに課される処理要件を低減するための、複数の分散プロセッサ及びインテリジェント処理分散方式を採用するための技術及び構成に関する。

【背景技術】

【0002】

先進運転者支援システム（ＡＤＡＳ）、並びに半自律型車両システム、完全自律型車両システム、又は他の自律運転（ＡＤ）システムは、安全性の向上、自動化ナビゲーションなどのために車両制御を自動化又は他の方法で強化するシステムである。これらのシステムは、一般に、道路を認識し、他の車両、障害物、歩行者などを認識して回避するために複数のタイプのセンサを使用する。しかしながら、センサ、プロセッサ、及びセンサデータを処理するために使用される他のコンピューティング構成要素は、車両のコストを実質的に増加させる可能性がある。更に、車両が電動車両である場合、センサ及びコンピューティング構成要素によって必要とされる電力は、車両のバッテリを著しく消耗させる場合がある。更に、中央プロセッサがセンサデータ処理のほとんど又は全てに依存している場合、これは、中央プロセッサが故障すれば又はウイルス、マルウェアなどによって攻撃されれば、車両を単一の故障ポイントに対して脆弱なままにする可能性がある。

【発明の概要】

【0003】

幾つかの実装形態において、第１の電子制御ユニット（ＥＣＵ）は、車両と関連付けられる複数のゾーンのゾーンセンサデータを受信する。例えば、それぞれの第２のＥＣＵ及びゾーンセンサのそれぞれのセットは、複数のゾーンの各それぞれのゾーンと関連付けられる。車両の指示された運転モードに基づいて、第１のＥＣＵは、複数のゾーンのうちの第１のゾーンからのゾーンセンサデータに対して認識を実行して、第１の認識情報を決定することができる。第１のＥＣＵは、それぞれのゾーンのそれぞれの第２のＥＣＵから第２の認識情報を受信する。例えば、それぞれの第２のＥＣＵは、それらのそれぞれのゾーンのゾーンセンサのセットからのそれぞれのゾーンセンサデータに対して認識処理を実行するように構成される。第１の認識情報及び第２の認識情報に基づいて、第１のＥＣＵは、少なくとも１つの車両アクチュエータに少なくとも１つの制御信号を送信する。

【図面の簡単な説明】

【0004】

詳細な説明は、添付図面に関連して説明される。図において、参照番号の左端の数字は、参照番号が最初に現れる図を特定する。異なる図における同じ参照番号の使用は、類似又は同一の項目又は特徴を示す。

【図1】幾つかの実装形態に係る、車両センサデータの分散処理のためのシステムの一例を示す。

【図2】幾つかの実装形態に係る、図１のシステムの物理的及び論理的アーキテクチャの一例を示す。

【図3】幾つかの実装形態に係る、高性能電子制御ユニット（ＨＰＥＣＵ）及びゾーン電子制御ユニット（ゾーンＥＣＵ）によって実行されるプロセスの一例を示す。

【図4】幾つかの実装形態に係る、ＨＰＥＣＵが故障した場合に１つ以上のゾーンＥＣＵによって実行されるプロセスの一例を示す。

【図5】幾つかの実装形態に係る、車両動作モードを決定するためのプロセスの一例を示すフロー図である。

【図6】幾つかの実装形態に係る、ＨＰＥＣＵとゾーンＥＣＵとの特徴及び能力の比較を示すデータ構造を示す。

【図7】幾つかの実装形態に係る、前進運転モードにおけるセンサ対象領域の一例を示す。

【図8】幾つかの実装形態に係る、後進運転モードにおけるセンサ対象領域の一例を示す。

【図9】幾つかの実装形態に係る、左折運転モードにおけるセンサ対象領域の一例を示す。

【図10】幾つかの実装形態に係る、右折運転モードにおけるセンサ対象領域の一例を示す。

【図11】幾つかの実装形態に係る、低電力運転モードにおけるデータ処理の一例を示す。

【発明を実施するための形態】

【0005】

本明細書の幾つかの実装形態は、車両におけるＡＤＡＳ及び／又はＡＤシステム動作を可能にするべく認識及び他のタスクを実行するために複数の車両センサのセンサデータを処理するためのプライマリプロセッサに課される処理要件を低減するための、複数の分散プロセッサ及びインテリジェント処理分散方式を採用するための技術及び構成に関する。本明細書の例は、構成要素の故障、マルウェア、ウイルス、ハッキングなどに対する耐性を改善しながら、車両の動作をサポートするのに匹敵する性能を提供することができる。

【0006】

幾つかの例では、システムは、本明細書でそれぞれの電子制御ユニット（ＥＣＵ）と呼ばれる複数の別個の車載プロセッサを含むことができ、これらのプロセッサは、車両が部分的又は完全に自動化された車両として動作できるようにする検知機能を果たす複数のそれぞれのセンサからセンサデータを受信することができる。一例として、システムは、少なくとも１つの高性能ＥＣＵ（ＨＰＥＣＵ）及び複数のゾーンＥＣＵを含む。ＨＰＥＣＵは、一次ＥＣＵとして機能することができ、それぞれのゾーンＥＣＵよりも大容量のデータ処理が可能な比較的高性能のプロセッサを含むことができる第１のタイプのＥＣＵであってもよい。システムは、第２のタイプのＥＣＵであってもよい複数のゾーンＥＣＵを更に含むことができ、各ゾーンＥＣＵは、ＨＰＥＣＵと比較して比較的低電力のプロセッサを有し、したがって、ＨＰＥＣＵと比較してデータ処理の容量が低い。

【0007】

ゾーンＥＣＵは、それぞれのゾーンＥＣＵがデータを受信するそれぞれのセンサに近接するように、車両内の戦略的位置に配置することができる。例えば、各ゾーンは、１つ以上のセンサのセットに対応することができ、それぞれのゾーンＥＣＵは、そのそれぞれのゾーンに対応するセンサのセンサデータを処理するためにそれぞれのゾーンに割り当てることができる。一例として、４つのゾーン、例えば、前方、後方、左側、及び右側が存在してもよく、それぞれのゾーンがそれぞれのゾーンＥＣＵ及び対応するセンサのセットを有するが、本明細書の他の実装形態は、より多くの又はより少ないゾーンを含んでもよい。

【0008】

ゾーンＥＣＵは、有線又は無線ネットワークを介してＨＰＥＣＵに接続され、処理済みデータ又は生データの少なくとも一方をＨＰＥＣＵに送信することができる。ゾーンＥＣＵは、それぞれのセンサから生データを受信し、生センサデータを集約又は他の様態で低減し、次いで低減されたデータを処理して、車両に対する検出された物体の位置を決定するための物体検出などの認識処理を実行するように構成される。選択された車両動作モードについて、ＨＰＥＣＵは、選択された車両動作モードに関して対象であると決定される１つ以上の選択されたゾーンから生センサデータを受信することができ、選択された１つ以上のゾーンに関して認識処理を実行するために生データを処理することができる。ＨＰＥＣＵはより高いコンピュータ処理能力を有するため、ＨＰＥＣＵは、生データを処理し、選択された車両動作モードに対応する特定の対象領域に関して対応するゾーンＥＣＵが可能であるよりも高い性能の認識結果（例えば、より正確、より詳細など）を提供するように構成することができる。ＨＰＥＣＵによる処理のために選択されたゾーンセンサデータは、走行方向、車両の速度、気象条件、車両が右折しようとしているか、左折しようとしているかなどに基づくなど、車両の指示された動作モードに少なくとも部分的に基づいて選択される。１つ以上の選択されたゾーン自体からの生センサデータを処理することに加えて、ＨＰＥＣＵは、各ゾーンＥＣＵから認識結果を受信することもできる。したがって、どのＥＣＵがどのセンサデータを処理したかにかかわらず、認識結果の全ては、車両の１つ以上のアクチュエータ又は他の装置に送信する１つ以上の信号を決定するためのＨＰＥＣＵによる入力として使用することができる。

【0009】

説明の目的のために、幾つかの例示的な実装形態は、車両の指示された運転モードに基づいてセンサデータを処理するために複数のＥＣＵのＥＣＵを選択する環境で説明されている。しかしながら、本明細書の実装形態は、提供される特定の例に限定されず、本明細書の開示に照らして当業者には明らかなように、他のタイプのプロセッサ、処理タスクを分散させるための他の技術、他のタイプのデータ処理、他のタイプの車両、他のタイプのセンサなどに拡張されてもよい。例えば、本明細書の実装形態は、個人車両、フリート車両及び他の商業的に所有される車両、トラック、貨物輸送機、又はある程度の自律性を有する任意の他の車両に使用することができる。更に、バッテリ駆動車両の場合、本明細書の実施形態によって提供される電力消費の減少は、バッテリ駆動車両の範囲を増加させる可能性がある。更に、内燃車両の場合、本明細書の実装形態は、車両の燃料消費量を低減することができる。

【0010】

図１は、幾つかの実装形態に係る、車両センサデータの分散処理のためのシステム１００の一例を示す。この例において、車両１０２は、複数のゾーン１０８と１つ以上のネットワークを介して通信することができる高性能ＥＣＵ（ＨＰＥＣＵ）１０４を含み、図示の例では、複数のゾーン１０８は、車両１０２の前方に対応する第１のゾーン１０８（１）と、車両１０２の後部に対応する第２のゾーン１０８（２）と、車両１０２の右側に対応する第３のゾーン１０８（３）と、車両１０２の左側に対応する第４のゾーン１０８（４）とを含む。

【0011】

各ゾーン１０８は、それぞれのゾーンＥＣＵ１１０と、ゾーンセンサ１１２のセットとを含む。この例において、第１のゾーン１０８（１）は、第１のゾーンＥＣＵ１１０（１）と、１つ以上の第１のゾーンセンサ１１２（１）とを含み、第２のゾーン１０８（２）は、第２のゾーンＥＣＵ１１０（２）と、１つ以上の第２のゾーンセンサ１１２（２）とを含み、第３のゾーン１０８（３）は、第３のゾーンＥＣＵ１１０（３）と、１つ以上の第３のゾーンセンサ１１２（３）とを含み、第４のゾーン１０８（４）は、第４のゾーンＥＣＵ１１０（４）と、１つ以上の第４のゾーンセンサ１１２（４）とを含む。以下で更に説明するように、各それぞれのゾーン１０８のそれぞれのゾーンＥＣＵ１１０は、そのそれぞれのゾーン１０８に含まれるそれぞれのセンサ１１２から生センサデータを受信することができる。

【0012】

更に、ＨＰＥＣＵ１０４は、ＨＰＥＣＵ１０４及びゾーンＥＣＵ１１０によって実行されたセンサデータ処理の結果に基づいてアクチュエータ１１４のうちの１つ以上に１つ以上の制御信号を送信するためなどに、１つ以上のネットワークを介して１つ以上のアクチュエータ１１４と通信することができる。例えば、システム１００は、ステアリング、ブレーキ、アクセル、信号、照明などの車両動作の一部又は全ての態様を制御することができるアクチュエータを有する車両１０２に含まれてもよい。

【0013】

ゾーンセンサ１１２は、一般に、カメラ（モノラル及び／又はステレオ、可視光及び／又は近赤外）、ライダセンサ、レーダセンサ、超音波センサ、熱画像センサなどのうちの１つ以上を含むことができる。更に、他のセンサ１１６をシステム１００に含めることができ、幾つかの例では、他のセンサ１１６は、それらのセンサデータをＨＰＥＣＵ１０４に直接供給することができる。他のセンサ１１６の例としては、全地球航法衛星システム（ＧＮＳＳ）センサ又は他の位置センサ、ステアリングホイール位置センサ（又は車両にステアリングホイールがない場合には前輪位置センサ）、車速センサ、及び当該技術分野で知られているような様々な他の車両状態センサを挙げることができる。更に、図１は、ＨＰＥＣＵ１０４に直接センサ情報を提供するものとして他のセンサ１１６を示しているが、他の例では、他のセンサ１１６は、それらのセンサ情報を１つ以上のゾーンＥＣＵ１１０に提供することができる。

【0014】

ゾーンＥＣＵ１１０は、１つ以上のネットワーク１０６を介して互いに及びＨＰＥＣＵ１０４と通信することができる。例えば、車両ＥＣＵは、一般に、車両バスプロトコルに従って車両バスを介して互いに通信することができる。一例として、１つ以上のネットワークは、ＣＡＮバスプロトコルによる通信を可能にするコントローラエリアネットワークバス（ＣＡＮバス）を含むことができる。ＣＡＮバスプロトコルは、ＥＣＵ並びに他の車両装置及びシステムがホストコンピュータを伴うことなく互いに通信できるようにする車両バスプロトコルである。ＣＡＮバスは、少なくとも２つの異なるタイプを含むことができる。例えば、高速ＣＡＮは、バスが環境の一端から他端まで動作するアプリケーションで使用されてもよく、フォールトトレラントＣＡＮは、ノードのグループが互いに接続される場合に使用されてもよい。更に、１つ以上のネットワーク１０６は、ＣＡＮバスプロトコルに限定されず、イーサネット、光ファイバ、Ｗｉ－Ｆｉ又は他の短距離無線技術などの他のタイプの有線及び無線ネットワーク技術を含むことができる。したがって、本明細書の実装形態は、いかなる特定のネットワーキング技術又はプロトコルにも限定されない。

【0015】

自動車技術会（ＳＡＥ）によって定義されているように、レベル０からレベル５まで６レベルの運転自動化がある。特に、「レベル０」（運転の自動化なし）では、運転者は、操向、制動、加速などの全ての操作タスクを実行する。「レベル１」（運転者支援）では、車両は幾つかの機能（例えば、巡航制御）で支援することができるが、運転者は依然として周囲環境の全ての加速、制動、及び監視を処理する。「レベル２」（部分運転自動化）において、車両は、操向又は加速機能を支援し、運転者が自分のタスクの一部から離れることを可能にすることができる。アダプティブクルーズコントロールは、レベル２の自律性の一例である。

【0016】

自動運転の概念は、主に「レベル３」（条件付き運転自動化）から始まり、車両自体が周囲を監視し、車両に対して何らかの制御を及ぼすことができる（例えば、自動緊急ブレーキ）。「レベル４」（高度な運転自動化）では、車両はほとんどの場合独立して運転することができるが、全ての条件が満たされ、操作者が依然として引き継ぐことができることが要求されない限り、動作しない。「レベル５」（完全運転自動化）では、車両は操作者を伴うことなくあらゆる条件のどこでも運転することができる。したがって、本明細書の幾つかの例は、レベル３～５の運転自動化システムに有用であり得る。

【0017】

前述したように、ゾーンＥＣＵ１１０は、一般に、ゾーンＥＣＵ１１０が割り当てられるそれぞれのゾーンのそれぞれのセンサから受信したセンサデータを処理することができる。車両の現在及び今後の動作モードに応じて、ＨＰＥＣＵ１０４は、追加的又は代替的に、ゾーン１０８（１）－１０８（４）のうちの１つ以上からのセンサデータを処理することができる。一例として、ＨＰＥＣＵ１０４は、それぞれのゾーン内のそれぞれのセンサから生センサデータを直接受信することができ、或いは、ＨＰＥＣＵ１０４は、それぞれのゾーンのそれぞれのゾーンＥＣＵ１１０を介して生センサデータを受信することができる。更なる詳細は、図２～図１１に関して以下に説明される。

【0018】

図２は、幾つかの実装形態に係る、図１のシステム１００の物理的及び論理的アーキテクチャ２００の一例を示す。この例において、ＨＰＥＣＵ１０４は、１つ以上のプロセッサ２０２と、１つ以上のコンピュータ可読媒体２０４と、１つ以上の通信インタフェース２０６とを含む。１つ以上のプロセッサ２０２は、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、マイクロプロセッサ、マイクロコンピュータ、マイクロコントローラ、デジタル信号プロセッサ、ステートマシン、論理回路、及び／又は動作命令に基づいて信号を操作する他の装置の１つ以上を含んでもよい。一例として、プロセッサ２０２は、本明細書に記載のアルゴリズム及び他のプロセスを実行するように特にプログラム又は構成された任意の適切なタイプの１つ以上のハードウェアプロセッサ及び／又は論理回路を含むことができる。プロセッサ２０２は、コンピュータ可読媒体２０４に記憶されたコンピュータ可読命令をフェッチ及び実行するように構成することができ、コンピュータ可読命令は、本明細書に記載の機能を実行するようにプロセッサ２０２をプログラムすることができる。

【0019】

コンピュータ可読媒体２０４は、コンピュータ可読命令、データ構造、プログラム、プログラムモジュール、及び他のコード又はデータなどの情報を記憶するための任意の種類の技術で実装された揮発性及び不揮発性メモリ並びに／又はリムーバブル及び非リムーバブル媒体を含むことができる。例えば、コンピュータ可読媒体２０４は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリもしくは他のメモリ技術、光学記憶装置、固体記憶装置、磁気ディスク、クラウドストレージ、又は所望の情報を記憶するために使用することができ、コンピューティングデバイスによってアクセスすることができる任意の他の媒体を含むことができるが、これらに限定されない。ＨＰＥＣＵ１０４の構成に応じて、コンピュータ可読媒体２０４は、言及される場合、非一時的コンピュータ可読媒体がエネルギー、搬送波信号、電磁波、及び／又は信号自体などの媒体を除外する限り、有形の非一時的媒体であってもよい。場合によっては、コンピュータ可読媒体２０４は、ＨＰＥＣＵ１０４と同じ場所にあってもよいが、他の例では、コンピュータ可読媒体２０４は、無線ネットワークなどを介してアクセス可能など、ＨＰＥＣＵ１０４から部分的に離れていてもよい。

【0020】

コンピュータ可読媒体２０４は、プロセッサ２０２によって実行可能な任意の数の機能コンポーネントを格納するために使用することができる。多くの実施形態では、これらの機能構成要素は、プロセッサ２０２によって実行可能であり、実行されると、具体的には、ＨＰＥＣＵ１０４に起因する動作を実行するようにプロセッサ２０２をプログラムする命令又はプログラムを含む。コンピュータ可読媒体２０４に記憶された機能構成要素は、処理管理プログラム２０８、認識プログラム２１０、車両制御プログラム２１２、及び経路計画プログラム２１４を含むことができ、それらのそれぞれは、１つ以上のコンピュータプログラム、アプリケーション、実行可能コード、又はそれらの一部を含むことができる。なお、この例では、これらのプログラム２０８～２１４は別個のプログラムとして示されているが、これらのプログラムの一部又は全部は、１つ以上のプログラムに結合されてもよいし、より多数のプログラムに分割されてもよい。

【0021】

更に、コンピュータ可読媒体２０４は、データ、データ構造、及び本明細書に記載の機能及びサービスを実行するために使用される他の情報を格納することができる。例えば、コンピュータ可読媒体２０４は、認識情報２１６、車両データ２１８、センサデータ２２０、及び幾つかの例では、例えば認識プログラム２１０及び／又は車両制御プログラム２１２によって使用され得る１つ以上の機械学習モデル（ＭＬＭ（ｓ））２２２を格納することができる。ＨＰＥＣＵ１０４はまた、プログラム、ドライバなどを含むことができる他の機能構成要素及びデータ、並びに機能構成要素によって使用又は生成されるデータを含むか又は維持することができる。更に、ＨＰＥＣＵ１０４は、多くの他の論理的、プログラム的、及び物理的構成要素を含むことができ、それらの前述の構成要素は、本明細書の説明に関連する単なる例である。

【0022】

１つ以上の通信インタフェース２０６は、１つ以上のネットワーク１０６を介して、及び／又は車両１０２の外部の外部コンピューティングデバイス（図２には示されていない）と通信するためのセルラネットワークもしくは他の無線通信ネットワークを介してなど、様々な他のデバイスとの通信を可能にするための１つ以上のソフトウェア及びハードウェア構成要素を含むことができる。例えば、通信インタフェース２０６は、ＬＡＮ、インターネット、ケーブルネットワーク、セルラネットワーク、無線ネットワーク（例えば、Ｗｉ－Ｆｉ）及び有線ネットワーク（例えば、ＣＡＮ、光ファイバ、イーサネット）、直接接続、並びにＢＬＵＥＴＯＯＴＨ（Ｒ）などの近距離通信のうちの１つ以上を介した通信を可能にすることができる。

【0023】

ゾーンＥＣＵ１１０は、それぞれ、１つ以上のプロセッサ２０２、１つ以上のコンピュータ可読媒体２０４、及び１つ以上の通信インタフェース２０６を含む、ＨＰＥＣＵ１０４と同様のハードウェア構成を有することができる。しかしながら、ゾーンＥＣＵ１１０は、より低いクロック速度を有するより低い性能のプロセッサ２０２、より低い性能のメモリ、より少ない量のメモリ及び他のコンピュータ可読媒体などのより低い性能の構成要素を含む、ＨＰＥＣＵ１０４と比較して実質的に低い全体的な性能を有することができる。したがって、それぞれのゾーンＥＣＵのデータ処理能力は、毎秒数百万回の動作（ＭＯＰＳ）、毎秒数百万回の命令（ＭＩＰＳ）、データ処理ベンチマーク、又は認識プログラム２１０を使用して同じ量のセンサデータを処理するのに必要な時間で測定されるように、ＨＰＥＣＵ１０４のデータ処理能力よりも実質的に低くてもよい。一例として、ＨＰＥＣＵ１０４の測定された性能は、それぞれのゾーンＥＣＵ１１０の性能よりも１０倍など大きくてもよいが、本明細書の実施形態は、ゾーンＥＣＵ１１０の性能に対するＨＰＥＣＵ１０４の測定された性能の利点のいかなる特定の違いにも限定されない。

【0024】

更に、ゾーンＥＣＵ１１０は、ＨＰＥＣＵ１０４に含まれるか又はＨＰＥＣＵ１０４によってアクセスされる前述のプログラム２０８，２１０，２１２，２１４、データ２１６，２１８，２２０、及びＭＬＭ２２２の一部又は全てを含むか又はそれにアクセスすることもできる。例えば、ＨＰＥＣＵ１０４が故障した場合、ゾーンＥＣＵ１１０は、車両１０２が安全に動作し続けることができるようにするために必要な物体認識及び車両制御プログラムを実行することができる。この動作モードの更なる詳細は、例えば図４に関して以下に説明される。

【0025】

前述したように、各ゾーン１０８内のそれぞれのセンサ１１２は、そのゾーン１０８におけるそれぞれのゾーンＥＣＵ１１０にセンサデータ２２０を提供することができる。更に、ゾーンセンサ１１２の各セットからのセンサデータ２２０はまた、ＨＰＥＣＵ１０４によって受信されてもよく、コンピュータ可読媒体２０４によって提供されるバッファなどに、センサデータ２２０として少なくとも一時的に格納されてもよい。場合によっては、センサ１１２から直接受信したセンサデータ２２０は、データがまだデータ処理、フィルタリング、正規化などを受けていないため、生センサデータと呼ばれることがある。したがって、図２の例に示すように、ＨＰＥＣＵ１０４は、第１のゾーンセンサ１１２（１）から第１のセンサデータ２２０（１）を受信することができ、第２のゾーンセンサ１１２（２）から第２のセンサデータ２２０（２）を受信することができ、第３のゾーンセンサ１１２（３）から第３のセンサデータ２２０（３）を受信することができ、第４のゾーンセンサ１１２（４）から第４のセンサデータ２２０（４）を受信することができる。しかしながら、ＨＰＥＣＵ１０４は、全てのゾーン１０８からセンサデータ２２０を受信することができるが、ＨＰＥＣＵ１０４は、このセンサデータの大部分を無視することができ、一般に、車両１０２の指示された動作モードに基づくなど、受信されたセンサデータ２２０のサブセットのみに対して認識処理を実行することができる。

【0026】

ゾーンＥＣＵ１１０はまた、それぞれのゾーン１０８に関して、受信したセンサデータ２２０に対して認識処理を実行することができる。例えば、第１のゾーンＥＣＵ１１０（１）は、第１のゾーンセンサ１１２（１）から生センサデータ２２０（１）を受信することができ、受信したセンサデータ２２０（１）に対してデータ低減プロセスを実行することができ、低減されたセンサデータ２２０（１）に対して認識処理を実行するために認識プログラム２１０のインスタンスを実行することができる。第１のゾーンＥＣＵ１１０（１）は、認識処理の結果を第１の認識情報２１６（１）としてＨＰＥＣＵ１０４に送ってもよい。同様に、第２のゾーンＥＣＵ１１０（２）は、第２のゾーンセンサ１１２（２）から受信した第２のセンサデータ２２０（２）の認識処理の結果に基づいて、第２の認識情報２１６（２）をＨＰＥＣＵ１０４に送信することができる。同様に、第３のゾーンＥＣＵ１１０（３）は、第３の認識情報２１６（３）をＨＰＥＣＵ１０４に送信してもよく、第４のゾーンＥＣＵ１１０（４）は、第４の認識情報２１６（４）をＨＰＥＣＵ１０４に送信してもよい。ＨＰＥＣＵ１０４は、受信した認識情報２１６（１）、２１６（２）、２１６（３）及び／又は２１６（４）、並びに認識プログラム２１０の自身の実行によって決定された認識情報を、アクチュエータ１１４に送信する１つ以上の制御信号２２３を決定するための車両制御プログラム２１２への入力として使用することができる。図２の例では、アクチュエータ１１４は、サスペンションコントローラ２２４、ステアリングコントローラ２２６、車速コントローラ２２８、制動コントローラ２３０、及び１つ以上の警告装置２３２を含む。制御信号１２３を受信することができる車両内の多数の他の装置、システム、又は他のアクチュエータは、本明細書の開示の利益を有する当業者には明らかとなり得る。

【0027】

一例として、車両制御プログラム２１２は、ルールベース及び／又は機械学習ベースの制御アルゴリズムを使用して、車両１０２を制御するためのパラメータを決定することができる。例えば、車両制御プログラム２１２は、ＨＰＥＣＵ１０４によって決定された認識情報２１６、及びゾーンＥＣＵ１１０から受信した認識情報２１６に基づいて、制動、操向、減速、加速などの適切な動作を決定するために、機械学習モデル２２２のうちの１つ以上を適用することができる。更に、車両制御プログラム２１２は、認識情報２１２に応答して、１つ以上の制御信号２２３を１つ以上の車両システムに送信することができる。例えば、車両制御プログラム２１２は、サスペンションコントローラ２２４、ステアリングコントローラ２２６、車速コントローラ２２８、及び／又は制動コントローラ２３０に制御信号２２３を送信することができる。例えば、制御信号２２３は、サスペンションコントローラ２２４に送信される特定のばね係数及び／又は減衰制御情報、１つ以上の車輪を操向するためにステアリングコントローラ２２６に送信される特定の操向角、車速コントローラ２２８に送られる特定の加減速制御情報、及び／又は車両ブレーキを制御するための指定されたブレーキ制御情報を含むことができる。更に、幾つかの例では、車両乗員に警告を鳴らすか表示するためなど、制御信号２２３を１つ以上の警告装置２３２に送信することもできる。

【0028】

加えて、前述したように、ＨＰＥＣＵ１０４は、車両１０２内の他のセンサ１０２から他のセンサデータ２３４を受信することができる。例えば、車両は、車両制御プログラム２１２によって使用されるセンサ情報を提供することができるゾーンセンサ１１２に加えて、複数の他のセンサ１１６を含むことができる。他のセンサデータ２３４はまた、サスペンションコントローラ２２４、ステアリングコントローラ２２６、車速コントローラ２２８などから受信された位置情報などの、様々な車両システムから受信された、又はそれらに関連付けられた情報を含むことができる。

【0029】

一例として、レベル３～５の自律性の場合など、ＨＰＥＣＵ１０４及びそれぞれのゾーンＥＣＵ１１０は、車両が動いている間、生センサデータ２２０を継続的に受信することができる。更に、ＨＰＥＣＵ１０４及び各ゾーンＥＣＵ１１０によって実行される認識プログラム２１０は、受信したセンサデータ２２０を処理して、道路の特徴、障害物などを認識することができる。ＨＰＥＣＵ１０４は、検出された障害物、道路特徴などに関する認識情報２１６を車両制御プログラム２１２に提供することができ、車両制御プログラム２１２は、レベル３～５の自律性の場合、認識情報に応答して１つ以上の措置をとることができる。幾つかの例において、車両制御プログラム２１２及び／又は認識プログラム２１０は、車両を制御するために車両制御プログラム２１２に追加の利用可能な情報を提供するために、画像データから決定された認識情報を他のタイプのセンサデータ（例えば、レーダ、ライダー、超音波など）と融合又は結合及び統合することができる。センサ融合は、全てのセンサ検出結果（例えば、ライダー、レーダ、他のカメラ）を考慮に入れることができ、様々なセンサの結果を他のセンサの結果と比較することができ、車両制御を実行するために組み合わせた結果を使用することができる。センサが１つ以上の潜在的な障害物の存在又は位置について合意しない場合、センサ融合機能は、各センサの信頼値を決定することができ、いくつのセンサが合意するかを決定することができ、現在の環境条件がセンサ性能に悪影響を及ぼし得るかどうかなどを決定することができ、特定の物体が実際に存在する可能性に関する結論を決定することができる。

【0030】

それに加えて又は代えて、車両が人間の運転者の制御下にある場合などにおいて、車両制御プログラム２１２は、制御信号２２３を、可聴又は視覚警報装置などの１つ以上の警告装置２３２に送信することができる。警告装置２３２の例としては、可聴警報を生成することができるスピーカ、振動又は他の種類の触覚警報（例えば、シート又はステアリングホイール内）を生成することができる触覚装置、及び／又は視覚警報を生成することができる視覚信号装置が挙げられる。

【0031】

図３～図５は、幾つかの実装形態に係るアルゴリズム又は他のプロセスの例を示すフロー図を含む。プロセスは、一連の動作を表す論理フロー図のブロックの集合として示されており、その一部又は全部は、ハードウェア、ソフトウェア、又はそれらの組み合わせで実施することができる。ソフトウェアとの関連で、ブロックは、１つ以上のプロセッサによって実行されるときに列挙された動作を実行するようにプロセッサをプログラムする、１つ以上のコンピュータ可読媒体に記憶されたコンピュータ実行可能命令に相当し得る。一般に、コンピュータ実行可能命令は、特定の機能を実行するか、又は特定のデータタイプを実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。ブロックが説明される順序は、限定として解釈されるべきではない。任意の数の記載されたブロックを任意の順序で及び／又は並列に組み合わせてプロセス又は代替プロセスを実施することができ、全てのブロックを実行する必要はない。説明のために、プロセスは、本明細書の例に記載されている環境、フレームワーク、及びシステムを参照して説明されているが、プロセスは、多種多様な他の環境、フレームワーク、及びシステムで実施されてもよい。

【0032】

図３は、幾つかの実施形態に係る、ＨＰＥＣＵ及びゾーンＥＣＵによって実行されるプロセスの例３００を示す。前述したように、ゾーンＥＣＵ１１０は、それぞれのゾーンセンサ１１２から受信したセンサデータ２２０に対して物体検出及び基本的なセンサフュージョンなどの認識処理を実行するように構成することができる。ゾーンＥＣＵは、前述した機械学習モデル２２２のうちの１つ以上を使用して深層機械学習を実行し、そのゾーンが対応する車両の側方に見えるか、そうでなければ検出可能な各認識された物体の位置、相対速度、及び識別を検出する。各ゾーンＥＣＵ１１０は、前述したように、比較的下位から中位範囲のプロセッサを含むことができる。ゾーンＥＣＵ１１０は低性能プロセッサを含むので、ゾーンＥＣＵ１１０は、車両の安全性を確保するために必要な時間内にそのそれぞれのセンサからの生データを処理することができない場合がある。したがって、ゾーンＥＣＵ１１０は、受信した生画像をクロップし、生画像の解像度を低減することができ、同様に、それぞれのセンサ１１２からの全てのデータのサンプリング周波数を低減することなどによって、他のセンサデータのサイズを縮小することができる。次いで、ゾーンＥＣＵは、それぞれのゾーンに対応する車両の周囲のマップ（例えば、視差マップ）を生成することを含むことができる、認識情報２１６を生成するために低減されたデータを処理することができる。各ゾーンＥＣＵ１１０は、更なる分析のために、及び車両制御プログラム２１２への入力として、認識情報をＨＰＥＣＵ１０４に送信することができる。

【0033】

更に、ＨＰＥＣＵ１０４は、指示された車両の動作モードに応じて、ゾーンのうちの１つ以上から選択されたセンサデータ２２０に対して認識処理を実行することもできる。例えば、車両が閾値速度を超えて前進方向に走行している場合、車両は前進運転モードで動作しており、ＨＰＥＣＵ１０４は、車両の前方に対応する第１のゾーンセンサ１１２（１）によって収集されたセンサデータ２２０（１）に対して認識処理を実行することができる。ＨＰＥＣＵ１０４によって実行され得る例示的なプロセス３０２が図３に示されている。

【0034】

３０４において、ＨＰＥＣＵ１０４は、ゾーンセンサからセンサデータを受信し、車両の指示された動作モードに基づいて対象の１つ以上のゾーンを決定する。図示の例では、指示された動作モードが前進運転モードであるとする。したがって、ＨＰＥＣＵ１０４は、第１のゾーンセンサ１１２（１）から受信したセンサデータ２２０（１）に対して処理を実行することができ、第２、第３、及び第４のゾーンセンサ１１２（２）－１１２（４）から受信したセンサデータを無視するか、そうでなければ処理しないことができる。

【0035】

３０６において、ＨＰＥＣＵ１０４は、対象領域からのセンサデータに対して認識を実行することができる。この例では、ＨＰＥＣＵ１０４は、第１のゾーンセンサ１１２－１から受信した生センサデータ２２０－１に対して高分解能認識を実行することができる。前述したように、ＨＰＥＣＵ１０４は、認識プログラム２１０を実行することができ、認識プログラムは、認識を実行するときに１つ以上の機械学習モデル２２２を採用することもできる。例えば、認識プログラム２１０の出力は、ディスパリティマップ又は他の認識情報２１６であってもよい。

【0036】

３０８において、ＨＰＥＣＵ１０４は、それぞれのゾーンＥＣＵ１１０（１）－１１０（４）から認識情報２１６（１）－２１６（４）を受信することができる。この例では、第１のゾーンＥＣＵ１１０（１）は、第１のゾーンセンサ情報２２０（１）に対して認識処理を実行してもよい。例えば、ＨＰＥＣＵ１０４は、出力認識情報２１６（１）を、２つの認識結果間の任意の不一致を検出するなどのために、第１のゾーンセンサデータ２２０（１）の処理から決定された自身の認識情報と比較することができる。他の例では、消費電力の更なる低減を提供するために、第１のゾーンＥＣＵ１１０（１）は、センサデータ２２０（１）に関してＨＰＩＥＣＵ１０４によって認識処理が実行されているときに認識処理を実行しないように構成されてもよい。

【0037】

３１０において、ＨＰＥＣＵ１０４は、ＨＰＥＣＵ１０４によって決定された認識情報、及びゾーンＥＣＵ１１０から受信した認識情報にも基づいて、経路計画、リスクマップ生成、及び／又は車両制御処理を実行することができる。

【0038】

３１２において、ＨＰＥＣＵ１０４は、経路計画、リスクマップ生成、及び／又は車両制御処理の結果に基づいて、アクチュエータ１１４のうちの１つ以上に１つ以上の制御信号を送信することができる。

【0039】

また、各ゾーンＥＣＵ１１０は、後述するように処理３２０を実行してもよい。

【0040】

３２２において、ゾーンＥＣＵ１１０は、そのゾーンのそれぞれのゾーンセンサからセンサデータ２２０を受信することができる。

【0041】

３２４において、ゾーンＥＣＵ１１０は、それぞれのゾーンセンサから受信したセンサデータのサイズを縮小することができる。前述したように、ゾーンＥＣＵ１１０は、センサデータのサンプリングレートを低減することができ、受信した画像の解像度を低減することができ、受信した画像をトリミングすることができ、又は受信したデータに対して認識処理を実行する前に、受信したデータのサイズを縮小するための他の動作を行うことができる。

【0042】

３２６において、ゾーンＥＣＵ１１０は、各ゾーンの低減されたセンサデータに対して認識処理を実行することができる。

【0043】

３２８において、ゾーンＥＣＵ１１０は、認識情報２１６をＨＰＥＣＵ１０４に送信することができる。

【0044】

図４は、幾つかの実施形態に係る、ＨＰＥＣＵの故障の場合にゾーンＥＣＵのうちの１つ以上によって実行されるプロセス４００の一例を示す。例えば、ＨＰＥＣＵ１０４が故障した場合、４０２に示すように、ゾーンＥＣＵ１１０（１）－１１０（４）は、ＨＰＥＣＵが動作しているときよりも精度は低いが、ＨＰＥＥＣＵ１０４なしで車両を動作させることもできる。例えば、幾つかの例では、ゾーンＥＣＵ１１０は、車線維持、適応走行制御、自動緊急ブレーキなどの典型的なＡＤＡＳ機能を実行することができる。更に、ゾーンＥＣＵの仕様に応じて、場合によっては、ゾーンＥＣＵ１１０は、少なくとも幾つかの運転条件で、又はより低い速度などで完全自動運転を実行することもできる。したがって、本明細書のシステムは、いずれか１つの構成要素が故障した場合でも車両を動作させることができる。

【0045】

４０４において、ゾーンＥＣＵ１１０は、そのそれぞれのゾーンセンサ１１２からセンサデータを受信する。

【0046】

４０６において、ゾーンＥＣＵ１１０は、それぞれのゾーンセンサから受信したセンサデータのサイズを縮小する。前述したように、サイズ縮小は、受信したセンサデータのサンプリング周波数を低減すること、受信したセンサデータの解像度を低減すること、受信したセンサデータの画像を切り取ることなどを含むことができる。

【0047】

４０８において、ゾーンＥＣＵ１１０は、認識情報を決定するために、低減されたセンサデータに対して認識を実行する。一例として、認識情報は、各センサの範囲内で検出された物体に関連する１つ以上の視差マップ又は他の様々な種類の情報のいずれかを含むことができる。

【0048】

４１０において、ゾーンＥＣＵは、経路計画及び／又は車両制御処理を実行することができる。例えば、ゾーンＥＣＵのうちの１つ以上は、経路計画プログラム２１４のインスタンス及び／又は車両制御プログラム２１２のインスタンスを実行することができる。場合によっては、これらのプログラム２１４及び２１２は、ＨＰＥＣＵ１０４よりも低電力プロセッサ上で実行するように最適化されてもよい。場合によっては、ゾーンＥＣＵ１１０は、経路計画及び／又は車両制御処理を実行するために、様々な選択技術のいずれかを使用してゾーンＥＣＵのうちの１つを選択することができる。一例として、車両が現在前進運転モードで動作している場合、第２のゾーンセンサ１１２（２）（すなわち、後方ゾーン）に関連するゾーンＥＣＵ１１０（２）を選択して、第２のゾーンセンサから受信したセンサデータをより多く低減しながら、経路計画処理及び／又は車両制御処理を実行することができる。別の例として、一方のゾーンＥＣＵ１１０を選択して経路計画処理を実行し、他方のゾーンＥＣＵ１１０を選択して車両制御処理を実行してもよい。本明細書の開示の利益を有する当業者には、多数の他の変形形態が明らかとなり得る。

【0049】

４１２において、経路計画及び／又は車両制御処理を実行するゾーンＥＣＵ１１０は、結果に基づいて、アクチュエータ１１４のうちの１つ以上に１つ以上の制御信号４１４を送信することができる。

【0050】

図５は、幾つかの実装形態に係る、車両動作モードを決定するためのプロセス５００の一例を示すフロー図である。幾つかの例では、プロセス５００は、ＨＰＥＣＵ１０４の少なくとも一方及び／又はゾーンＥＣＵ１１０のうちの１つ以上で処理管理プログラム２０８を実行することなどによって、前述のシステムによって実行されてもよい。

【0051】

５０２において、システムは、車両動作に関する情報を受信することができる。例えば、システムは、衛星測位情報、車両が横断している計画経路に関する情報、車両の現在の速度情報、現在の気象状況情報、現在の昼間及び時間情報などを受信することができる。

【0052】

５０４において、システムは、車両が後退走行しているかどうかを決定することができる。そうである場合、プロセスは５０６に進む。そうでない場合、プロセスは５０８に進む。

【0053】

５０６において、指示された車両動作モードが、車両が後退走行していることである場合、システムは、車両の後部ゾーンに対応するセンサ１１２、すなわち、図１～図４に関して前述した例示的なゾーン構成における第２のゾーンセンサ１１２（２）から受信したセンサ情報をＨＰＥＣＵ１０４が処理する後進運転モードで動作することができる。

【0054】

５０８において、システムは、旋回が近づいているかどうかを決定することができる。そうである場合、プロセスは５１０に進む。そうでない場合、プロセスは５１６に進む。

【0055】

５１０において、車両が旋回に近づいているとシステムが決定すると、システムは、車両が右折するか左折するかを決定することができる。車両が右折している場合、プロセスは５１２に進む。車両が左折している場合、プロセスは５１４に進む。

【0056】

５１２で、システムは右折運転モードで動作する。例えば、車両動作の右折運転モード中に、ＨＰＥＣＵ１０４は、例えば、図１～図４に関して前述した例示的なゾーン構成における第１のゾーンセンサ１１２（１）及び第４のゾーンセンサ１１２（４）に対応する、車両の前方ゾーン及び左ゾーンのためのセンサから受信したセンサデータ１１２を処理することができる。

【0057】

５１４で、システムは左折運転モードで動作する。例えば、車両動作の左折運転モード中に、ＨＰＥＣＵ１０４は、例えば、図１～図４に関して前述した例示的なゾーン構成における第１のゾーンセンサ１１２（１）及び第３のゾーンセンサ１１２（３）に対応する、車両の前方ゾーン及び右ゾーンのためのセンサから受信したセンサデータ１１２を処理することができる。

【0058】

５１６において、車両が後退走行しておらず、旋回に近づいていないとき、システムは、車両の現在速度が閾値速度を超えているかどうかを決定することができる。例えば、車速が時速１０マイル、時速２０マイル、時速３０マイルなどの閾値速度を超えると、安全性を確保するために、前方センサが車両の前方の視野のより高い解像度の検知を実行することがより重要になる。したがって、車速が閾値を超える場合、プロセスは５１８に進む。そうでない場合、プロセスは５２０に進む。

【0059】

５１８において、閾値を超える車速に基づいて、システムは、車両の前方ゾーンに対応するセンサ１１２、すなわち、図１～図４に関して前述した例示的なゾーン構成における第１のゾーンセンサ１１２（１）から受信したセンサ情報をＨＰＥＣＵ１０４が処理する前進運転モードで動作することができる。

【0060】

５２０において、システムは、車両が夜間に動作しているかどうかを決定することができる。そうである場合、プロセスは５２２に進む。そうでない場合、プロセスは５２４に進む。

【0061】

５２２において、車両が前進方向で夜間に動作されていることに基づいて、システムは、車両のフロントゾーンに対応するセンサ１１２、すなわち、図１～図４に関して前述した例示的なゾーン構成における第１のゾーンセンサ１１２（１）から受信したセンサ情報をＨＰＥＣＵ１０４が処理する前進運転モードで動作することができる。

【0062】

５２４において、システムは、車両が悪天候で運転されているかどうかを決定することができる。そうである場合、プロセスは５２６に進む。そうでない場合、プロセスは５２８に進む。

【0063】

５２６において、車両が前進方向に動作していることに基づいて、悪天候の間、システムは、車両の前方ゾーンに対応するセンサ１１２、すなわち、図１～図４に関して前述した例示的なゾーン構成における第１のゾーンセンサ１１２（１）から受信したセンサ情報をＨＰＥＣＵ１０４が処理する前進運転モードで動作することができる。

【0064】

５２８において、システムは、ＨＰＥＣＵ１０４がいずれのゾーンから受信したセンサデータ１１２に対しても認識処理を実行しない低電力モードで動作することができる。例えば、夜間や悪天候時ではなく、車両が旋回なしに前進方向に、閾値速度未満の速度で動作していることに基づいて、センサデータの高分解能処理を実行する必要はない。したがって、ゾーンＥＣＵによって認識を実行して、ＨＰＥＣＵ１０４の消費電力を低減することができる。一例として、ゾーンＥＣＵ１１０は、経路計画プログラム及び／又は車両制御プログラムへの入力として、決定された認識情報をＨＰＥＣＵ１０４に送信することができる。別の例として、低電力モードでは、ゾーンＥＣＵ１１０のうちの一以上が経路計画プログラム及び／又は車両制御プログラムを実行して、ＨＰＥＣＵ１０４によって消費される電力を更に低減してもよい。

【0065】

図６は、幾つかの実装形態に係る、ＨＰＥＣＵ１０４及びゾーンＥＣＵ１１０の特徴及び能力の比較を示すデータ構造６００を例示する。前述したように、ＨＰＥＣＵ１０４は、１つ以上の高性能プロセッサを含み、一方、ゾーンＥＣＵ１１０は、ＨＰＥＣＵプロセッサよりも消費電力が少ない低性能プロセッサを含む。ＨＰＥＣＵ１０４は、生センサデータ１２０（１）－１２０（４）を、それぞれ、ゾーンセンサ１１２（１）－１１２（４）から直接受信することができる。ゾーンＥＣＵ１１０は、一般に、それらの割り当てられたゾーンセンサ１１２からのみセンサデータを受信する。ＨＰＥＣＵ１０４は、指示された車両の車両動作モードに応じて、受信したセンサデータ１２０（１）－１２０（４）の一部又はいずれにも認識処理を実行することができ、ゾーンＥＣＵ１１０によって決定された認識情報を受信することができる。

【0066】

データ構造６００は、６０２に列挙されたＨＰＥＣＵ１０４の能力、及び６０４に列挙されたゾーンＥＣＵ１１０の能力を含む。例えば、６０６に示すように、ＨＰＥＣＵ１０４は、生のセンサデータに基づいて物体認識を実行することができ、ゾーンＥＣＵ１１０は、それぞれのゾーンセンサのサイズが縮小されたセンサデータに基づいて物体認識を実行することができる。更に、６０８に示すように、ＨＰＥＣＵ１０４及びゾーンＥＣＵ１１０の両方は、それらが決定した物体認識情報に基づいて物体追跡を実行することができる。更に、６１０に示すように、ＨＰＥＣＵ１０４は、生センサデータに基づいてセンサ融合を実行することができるが、ゾーンＥＣＵ１１０は、サイズが縮小されたセンサデータ又はオブジェクトとして認識されたデータに基づいてのみセンサ融合を実行することができる。

【0067】

更に、６１２，６１４及び６１６に示すように、ＨＰＥＣＵ１０４は、認識情報を使用して、リスクマップ生成、経路計画、及び車両制御などの追加の処理を実行することができる。例えば、ＨＰＥＣＵ１０４は、各位置における運転に関連するリスクのレベルを示す車両の周囲の領域のマップを作成することを含むことができる、リスクマップを生成することができる。例えば、リスクマップは、少なくとも認識された物体の識別情報、位置、及び相対速度、並びに車両の周囲の地形、並びに車両の速度、気象条件、時刻などの他の情報に基づいて決定することができる。リスクマップは、ＨＰＥＣＵ１０４が選択する経路が車両乗員又は車両周囲を危険にさらさないことを確実にするのに役立ち得る。しかしながら、リスクマップを決定することは計算コストがかかる場合があり、本明細書の幾つかの例では、ゾーンＥＣＵ１１０は、認識処理及び他の処理タスクと並行してこの動作を実行することができない場合がある。

【0068】

更に、６１４に示すように、ＨＰＥＣＵ１０４は、ＨＰＥＣＵ１０４及びゾーンＥＣＵ１１０によって決定された認識情報に基づいて経路計画を実行することができる。幾つかの例では、ゾーンＥＣＵ１１０は、ＨＰＥＣＵ１０４が故障した場合などのバックアップとして経路計画を実行することができる。同様に、ＨＰＥＣＵ１０４は、認識情報及び他車両情報に基づいて車両制御処理を行ってもよい。ゾーンＥＣＵ１１０は、ゾーンＥＣＵプロセッサの特定の能力に応じて、及びＨＰＥＣＵ１０４が故障した場合などに、バックアップ又は低機能車両制御として車両制御処理を実行することができる。

【0069】

図７は、幾つかの実装形態に係る、前進運転モードにおけるセンサ対象領域の例７００を示す。例えば、車両が前進方向に走行していることが示され、図５のブロック５１８，５２２又は５２６のうちの１つの条件が満たされると、ＨＰＥＣＵ１０４は、ＨＰＥＣＵ１０４が第１のゾーンセンサ１１２（１）に対応する前向きセンサから受信したセンサデータを処理する前進運転モードで動作することができる。

【0070】

７０２に示すように、前進運転モードでは、前向きセンサの視野７０４は、ＨＰＥＣＵ１０４による処理のための対象のセンサデータに対応する。この例では、前向きセンサの視野７０４は、前述の第１のゾーンセンサ１１２（１）に対応し、後向きセンサの視野７０６は、前述の第２のゾーンセンサ１１２（２）に対応し、右側センサの視野７０８は、前述の第３のゾーンセンサ１１２（３）に対応し、左側センサの視野７１０は、前述の第４のゾーンセンサ１１２（４）に対応する。

【0071】

７１２に示すように、前進運転モードでは、ＨＰＥＣＵ１０４は、第１のゾーンセンサデータ２２０（１）に対して認識処理を実行し、第２～第４のゾーンセンサ１１２（２）－２２０（４）から受信したセンサデータ２２０（２）－１１２（４）に対して認識処理を実行しない。例えば、ＨＰＥＣＵ１０４が前方視野７０４からのセンサデータに対して認識処理を実行することによって、より正確な高解像度の物体検出、したがってより安全な車両動作が提供される。幾つかの例では、第１のゾーンＥＣＵ１１０（１）はまた、第１のゾーンセンサデータ２２０（１）に対して認識処理を実行する。その状況では、第１のゾーンＥＣＵ１１０（１）は、冗長性、セキュリティの向上、エラーチェックなどを提供するために、認識情報２１６（１）をＨＰＥＣＵ１０４に提供することができる。他のゾーンＥＣＵ１１０（２）－１１０（４）はまた、経路計画、リスクマップ生成、及び／又は車両制御処理などのために、それぞれの認識データ２１６（２）－２１６（４）をＨＰＥＣＵ１０４に提供する。

【0072】

図８は、幾つかの実装形態に係る、後進運転モードにおけるセンサ対象領域の例８００を示す。例えば、８０２に示すように、車両が後退走行しているとき、視野７０６に対応するセンサデータは、ＨＰＥＣＵ１０４による処理のための対象のセンサデータである。したがって、車両が後進方向に走行していることが示され、図５のブロック５０６の条件が満たされるとき、ＨＰＥＣＵ１０４は、第２のゾーンセンサ１１２（２）に対応する後向きセンサから受信したセンサデータをＨＰＥＣＵ１０４が処理する後進運転モードで動作することができる。

【0073】

８０４に示すように、後進運転モードでは、ＨＰＥＣＵ１０４は、第２のゾーンセンサデータ２２０（２）に対して認識処理を行い、ゾーンセンサ１１２（１）、１１２（３）、１１２（４）から受信したセンサデータ２２０（１）、２２０（３）、２２０（４）に対しては認識処理を行わない。したがって、後進運転モードが選択されると、システムは、進行方向のより高い精度の認識を行うためにＨＰＥＣＵ１０４による処理のために後向きセンサに焦点を合わせる。幾つかの例では、第２のゾーンＥＣＵ１１０（２）はまた、第２のゾーンセンサデータ２２０（２）に対して認識処理を実行する。その状況では、第２のゾーンＥＣＵ１１０（２）は、冗長性、セキュリティの向上、エラーチェックなどを提供するために、認識情報２１６（２）をＨＰＥＣＵ１０４に提供することができる。他のゾーンＥＣＵ１１０（１）、１１０（３）、及び１１０（４）はまた、経路計画、リスクマップ生成、及び／又は車両制御処理などのために、それぞれの認識データ２１６（１）、２１６（３）、及び２１６（４）をＨＰＥＣＵ１０４に提供する。

【0074】

図９は、幾つかの実装形態に係る、左折運転モードにおけるセンサ対象領域の例９００を示す。例えば、９０２に示すように、車両が左折しているとき、（対向交通を検出するための）視野７０４及び７０８に対応するセンサデータは、ＨＰＥＣＵ１０４による処理のための対象のセンサデータとなり得る。したがって、車両が左折していることが示され、図５のブロック５１４の条件が満たされると、ＨＰＥＣＵ１０４は、第１のゾーンセンサ１１２（１）に対応する前向きセンサ及び第３のゾーンセンサ１１２（３）に対応する右側センサから受信したセンサデータをＨＰＥＣＵ１０４が処理する左折運転モードで動作することができる。

【0075】

９０４に示すように、左折運転モードでは、ＨＰＥＣＵ１０４は、第１のゾーンセンサデータ２２０（１）及び第３のゾーンセンサデータ２２０（３）に対して認識処理を実行し、ゾーンセンサ１１２（２）及び１１２（４）からそれぞれ受信したセンサデータ２２０（２）又は２２０（４）に対して認識処理を実行しない。したがって、左折運転モードが選択されると、システムは、これらの方向のより高い精度の認識を行うためにＨＰＥＣＵ１０４による処理のために前向き及び右向きセンサに焦点を合わせる。幾つかの例では、第１のゾーンＥＣＵ１１０（１）及び第３のゾーンＥＣＵ１１０（３）も、それぞれセンサデータ２２０（１）及び２２０（３）に対して認識処理を実行する。その状況では、ゾーンＥＣＵ１１０（１）及び１１０（３）は、冗長性、セキュリティの向上、エラーチェックなどを提供するために、認識情報２１６（１）及び２１６（３）をそれぞれＨＰＥＣＵ１０４に提供することができる。他のゾーンＥＣＵ１１０（２）及び１１０（４）はまた、経路計画、リスクマップ生成、及び／又は車両制御処理などのために、それぞれの認識データ２１６（２）及び２１６（４）をＨＰＥＣＵ１０４に提供する。

【0076】

図１０は、幾つかの実装形態に係る、右折運転モードにおけるセンサ対象領域の例１０００を示す。例えば、１００２に示すように、車両が右折しているとき、（対向交通を検出するための）視野７０４及び７１０に対応するセンサデータは、ＨＰＥＣＵ１０４による処理のための対象のセンサデータとなり得る。したがって、車両が右折していることが示され、図５のブロック５１２の条件が満たされると、ＨＰＥＣＵ１０４は、第１のゾーンセンサ１１２（１）に対応する前向きセンサ及び第４のゾーンセンサ１１２（４）に対応する左側センサから受信したセンサデータをＨＰＥＣＵ１０４が処理する右折運転モードで動作することができる。

【0077】

１００４に示すように、右折運転モードでは、ＨＰＥＣＵ１０４は、第１のゾーンセンサデータ２２０（１）及び第４のゾーンセンサデータ２２０（４）に対して認識処理を実行し、ゾーンセンサ１１２（２）及び１１２（３）からそれぞれ受信したセンサデータ２２０（２）又は２２０（３）に対して認識処理を実行しない。したがって、右折運転モードが選択された場合、システムは、これらの方向のより高い精度の認識を行うためにＨＰＥＣＵ１０４による処理のために前向き及び左向きセンサに焦点を合わせる。幾つかの例では、第１のゾーンＥＣＵ１１０（１）及び第４のゾーンＥＣＵ１１０（４）も、それぞれセンサデータ２２０（１）及び２２０（４）に対して認識処理を実行する。その状況では、ゾーンＥＣＵ１１０（１）及び１１０（４）は、冗長性、セキュリティの向上、エラーチェックなどを提供するために、認識情報２１６（１）及び２１６（４）をそれぞれＨＰＥＣＵ１０４に提供することができる。他のゾーンＥＣＵ１１０（２）及び１１０（３）はまた、経路計画、リスクマップ生成、及び／又は車両制御処理などのために、それぞれの認識データ２１６（２）及び２１６（３）をＨＰＥＣＵ１０４に提供する。

【0078】

図１１は、幾つかの実装形態に係る、低電力運転モードのためのデータ処理の例１１００を示す。例えば、図５のブロック５２８の条件が満たされるとき、システムは、センサゾーンのいずれかに焦点を合わせる必要はない。１１０２に示されるように、低電力運転モードは、車両１０２が閾値速度を下回って前進している状況、昼間、及び晴天で実施され得る。このような状況では、１１０４に示すように、ゾーンＥＣＵ１１０（１）－１１０（４）は、全ての認識処理を実行することができ、認識データ２１６（１）－２１６（４）をそれぞれＨＰＥＣＵ１０４に提供することができ、ＨＰＥＣＵ１０４は依然としてリスクマップ生成、経路計画、及び車両制御処理を実行することができる。システムを低電力モードで動作させることにより、ＨＰＥＣＵ１０４の処理負荷が低減され、ＨＰＥＣＵ１０４の消費電力が低減される。

【0079】

本明細書に記載の例示的なプロセスは、説明の目的で提供されるプロセスの例にすぎない。本明細書の開示に照らして、多数の他の変形形態が当業者には明らかとなり得る。更に、本明細書の開示は、プロセスを実行するための適切なフレームワーク、アーキテクチャ、及び環境の幾つかの例を記載しているが、本明細書の実装形態は、図示及び説明された特定の例に限定されない。更に、本開示は、説明され、図面に示されるように、様々な例示的な実装形態を提供する。しかしながら、本開示は、本明細書に記載及び図示された実装形態に限定されず、当業者に知られているように、又は当業者に知られるようになるように、他の実装形態に拡張することができる。

【0080】

本明細書で説明される様々な命令、プロセス、及び技術は、コンピュータ可読媒体に格納され、本明細書のプロセッサによって実行されるコンピュータプログラム及びアプリケーションなどのコンピュータ実行可能命令の一般的な文脈で考慮され得る。一般に、プログラム及びアプリケーションという用語は、交換可能に使用されてもよく、特定のタスクを実行するため、又は特定のデータタイプを実装するための命令、ルーチン、モジュール、オブジェクト、コンポーネント、データ構造、実行可能コードなどを含んでもよい。これらのプログラム、アプリケーションなどは、ネイティブコードとして実行されてもよく、仮想マシン又は他のジャストインタイムコンパイル実行環境などでダウンロード及び実行されてもよい。一般に、プログラム及びアプリケーションの機能は、様々な実装形態において所望に応じて組み合わされ又は分散されてもよい。これらのプログラム、アプリケーション、及び技術の実装は、コンピュータ記憶媒体に記憶されてもよく、又は何らかの形態の通信媒体を介して送信されてもよい。

【0081】

主題は、構造的特徴及び／又は方法論的行為に特有の言語で記載されているが、添付の特許請求の範囲で定義される主題は、記載された特定の特徴又は行為に必ずしも限定されないことを理解すべきである。むしろ、特定の特徴及び動作は、特許請求の範囲を実施する例示的な形態として開示されている。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【国際調査報告】