特許 7633999 自律運転における機能的安全性

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-02-12

(45)【発行日】2025-02-20

(54)【発明の名称】自律運転における機能的安全性

(51)【国際特許分類】

   B60W 40/02 20060101AFI20250213BHJP

   B60W 40/04 20060101ALI20250213BHJP

   B60W 40/068 20120101ALI20250213BHJP

   B60W 50/06 20060101ALI20250213BHJP

   B60W 50/04 20060101ALI20250213BHJP

   B60W 30/18 20120101ALI20250213BHJP

   B60W 60/00 20200101ALI20250213BHJP

   G08G 1/16 20060101ALI20250213BHJP

【ＦＩ】

B60W40/02

B60W40/04

B60W40/068

B60W50/06

B60W50/04

B60W30/18

B60W60/00

G08G1/16 D

【請求項の数】 22

(21)【出願番号】P 2022518801

(86)(22)【出願日】2020-09-22

(65)【公表番号】

(43)【公表日】2022-12-09

(86)【国際出願番号】 IL2020051027

(87)【国際公開番号】W WO2021053679

(87)【国際公開日】2021-03-25

【審査請求日】2023-09-21

(31)【優先権主張番号】62/903,845

(32)【優先日】2019-09-22

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】522114173

【氏名又は名称】ヴァヤヴィジョン センシング リミテッド

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【氏名又は名称】西島 孝喜

(74)【代理人】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(72)【発明者】

【氏名】ネフマディ ユヴァル

(72)【発明者】

【氏名】マンガン シュムエル

(72)【発明者】

【氏名】ワグナー マーク

【審査官】藤村 泰智

(56)【参考文献】

【文献】特開２０１８－００８６８８（ＪＰ，Ａ）

【文献】特開２０１８－２０３２５０（ＪＰ，Ａ）

【文献】特開２０１７－１５９７８９（ＪＰ，Ａ）

【文献】特開２００５－３００２２７（ＪＰ，Ａ）

【文献】特開２０１０－１３７７５７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０１３１７１９（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６０Ｗ ３０／００ ～ ６０／００

Ｇ０８Ｇ １／００ ～ １／１６

(57)【特許請求の範囲】

【請求項1】

車両の自律運転のためのシステムであって、
カメラ及びライダーセンサを含む前記車両のセンサからデータを受け取るように構成されたインターフェイスと、
少なくとも１つのプロセッサを含む処理エンティティと、
を備え、前記処理エンティティは、
前記センサからの前記データに基づいて、前記車両の環境の三次元（３Ｄ）モデル及び前記車両の位置に関する情報を含む、前記車両の前記環境及び前記車両の状態の知覚に関する知覚情報を提供し、
前記車両の前記環境の前記３Ｄモデル及び前記車両の前記位置に関する前記情報に基づいて前記車両を自律的に運転するための制御信号を生成し、
前記車両の前記環境の前記３Ｄモデル及び前記車両の前記位置に関する前記情報に基づいて前記車両を自律的に運転するための前記制御信号を生成する以外に、前記知覚情報を処理して前記車両に影響を与えかつ前記車両の環境内で検出される他の車両、歩行者、及びその他の関心オブジェクトと無関係な所定の条件が存在するかどうかを判定し、存在する場合には前記所定の条件に基づいて前記車両に関する動作を実行する、
ように構成され、
前記処理エンティティは、前記車両に影響を与えかつ前記車両の環境内で検出される他の車両、歩行者、及びその他の関心オブジェクトと無関係な前記所定の条件が存在すると判定するために、前記知覚情報内の前記所定の条件を示すパターンを検出するように構成される、
ことを特徴とするシステム。

【請求項2】

前記処理エンティティは、前記知覚情報内の前記所定の条件を示す前記パターンを検出するように訓練された人工ニューラルネットワークを含む、
請求項１に記載のシステム。

【請求項3】

前記知覚情報内の前記所定の条件を示す前記パターンは、前記センサのうちの異なるセンサの組み合わせから生じ、前記センサのうちの前記異なるセンサのいずれかから個別に検出することはできない、
請求項１又は２に記載のシステム。

【請求項4】

前記処理エンティティは、前記車両に影響を与えかつ前記車両の環境内で検出される他の車両、歩行者、及びその他の関心オブジェクトと無関係な前記所定の条件が存在すると判定するために、前記知覚情報の時間的変化をモニタするように構成される、
請求項１乃至３のいずれか１項に記載のシステム。

【請求項5】

前記車両に影響を与えかつ前記車両の環境内で検出される他の車両、歩行者、及びその他の関心オブジェクトと無関係な前記所定の条件は前記車両の外部に存在し、前記車両の前記環境に由来する、
請求項１から４のいずれか１項に記載のシステム。

【請求項6】

前記車両に影響を与えかつ前記車両の環境内で検出される他の車両、歩行者、及びその他の関心オブジェクトと無関係な前記所定の条件は、前記車両が移動する道路に関連する、
請求項５に記載のシステム。

【請求項7】

前記車両に影響を与えかつ前記車両の環境内で検出される他の車両、歩行者、及びその他の関心オブジェクトと無関係な前記所定の条件は、前記道路の滑りやすさ及び粗さの少なくとも一方に関連する、
請求項６に記載のシステム。

【請求項8】

前記車両に影響を与えかつ前記車両の環境内で検出される他の車両、歩行者、及びその他の関心オブジェクトと無関係な前記所定の条件は、前記道路の形状に関連する、
請求項６から７のいずれか１項に記載のシステム。

【請求項9】

前記車両に影響を与えかつ前記車両の環境内で検出される他の車両、歩行者、及びその他の関心オブジェクトと無関係な前記所定の条件は、前記車両の前記環境内の気象に関連する、
請求項５に記載のシステム。

【請求項10】

前記車両に影響を与えかつ前記車両の環境内で検出される他の車両、歩行者、及びその他の関心オブジェクトと無関係な前記所定の条件は、前記車両の前記環境内の降水量に関連する、
請求項９に記載のシステム。

【請求項11】

前記車両に影響を与えかつ前記車両の環境内で検出される他の車両、歩行者、及びその他の関心オブジェクトと無関係な前記所定の条件は、前記車両の前記環境内の照明に関連する、
請求項５に記載のシステム。

【請求項12】

前記車両に影響を与えかつ前記車両の環境内で検出される他の車両、歩行者、及びその他の関心オブジェクトと無関係な前記所定の条件は前記車両に内在し、前記車両のコンポーネントに由来する、
請求項１から４のいずれか１項に記載のシステム。

【請求項13】

前記車両に影響を与えかつ前記車両の環境内で検出される他の車両、歩行者、及びその他の関心オブジェクトと無関係な前記所定の条件は、前記車両の前記コンポーネントの機能不全に関連する、
請求項１２に記載のシステム。

【請求項14】

前記車両の前記コンポーネントは前記車両の車輪のタイヤであり、前記車両に影響を与えかつ前記車両の環境内で検出される他の車両、歩行者、及びその他の関心オブジェクトと無関係な前記所定の条件は、前記タイヤの摩耗及び空気抜けの少なくもと一方に関連する、
請求項１３に記載のシステム。

【請求項15】

前記車両の前記コンポーネントは前記車両のステアリングシステムであり、前記車両に影響を与えかつ前記車両の環境内で検出される他の車両、歩行者、及びその他の関心オブジェクトと無関係な前記所定の条件は前記ステアリングシステムのステアリング異常に関連する、
請求項１２に記載のシステム。

【請求項16】

前記車両の前記コンポーネントは前記車両のヘッドライトであり、前記車両に影響を与えかつ前記車両の環境内で検出される他の車両、歩行者、及びその他の関心オブジェクトと無関係な前記所定の条件は前記車両の前記ヘッドライトの不具合に関連する、
請求項１２に記載のシステム。

【請求項17】

前記車両に関する前記動作は、前記所定の条件に基づく前記車両の自律運転の調整を含む、
請求項１から１６のいずれか１項に記載のシステム。

【請求項18】

前記車両の自律運転の前記調整は、前記車両の速度の変化を含む、
請求項１７に記載のシステム。

【請求項19】

前記車両に関する前記動作は、前記車両に関するメッセージの伝達を含む、
請求項１から１６のいずれか１項に記載のシステム。

【請求項20】

前記車両に関する前記メッセージは、前記車両のコンポーネントの機能不全を示す、
請求項１９に記載のシステム。

【請求項21】

処理装置によって実行可能な、車両の自律運転のための命令を含む非一時的コンピュータ可読媒体であって、前記命令は、前記処理装置によって実行された時に、
カメラ及びライダーセンサを含む前記車両のセンサからデータを受け取り、
前記センサからの前記データに基づいて、前記車両の環境の三次元（３Ｄ）モデル及び前記車両の位置に関する情報を含む、前記車両の前記環境及び前記車両の状態の知覚に関する知覚情報を提供し、
前記車両の前記環境の前記３Ｄモデル及び前記車両の前記位置に関する前記情報に基づいて前記車両を自律的に運転するための制御信号を生成し、
前記車両の前記環境の前記３Ｄモデル及び前記車両の前記位置に関する前記情報に基づいて前記車両を自律的に運転するための前記制御信号を生成する以外に、前記知覚情報を処理して前記車両に影響を与えかつ前記車両の環境内で検出される他の車両、歩行者、及びその他の関心オブジェクトと無関係な所定の条件が存在するかどうかを判定し、存在する場合には前記所定の条件に基づいて前記車両に関する動作を実行する、
ことを前記処理装置に行わせ、
前記処理エンティティは、前記車両に影響を与えかつ前記車両の環境内で検出される他の車両、歩行者、及びその他の関心オブジェクトと無関係な前記所定の条件が存在すると判定するために、前記知覚情報内の前記所定の条件を示すパターンを検出するように構成される、ことを特徴とする非一時的コンピュータ可読媒体。

【請求項22】

車両の自律運転のための方法であって、
カメラ及びライダーセンサを含む前記車両のセンサからデータを受け取るステップと、
前記センサからの前記データに基づいて、前記車両の環境の三次元（３Ｄ）モデル及び前記車両の位置に関する情報を含む、前記車両の前記環境及び前記車両の状態の知覚に関する知覚情報を提供するステップと、
前記車両の前記環境の前記３Ｄモデル及び前記車両の前記位置に関する前記情報に基づいて前記車両を自律的に運転するための制御信号を生成するステップと、
前記車両の前記環境の前記３Ｄモデル及び前記車両の前記位置に関する前記情報に基づいて前記車両を自律的に運転するための前記制御信号を生成する以外に、前記知覚情報を処理して前記車両に影響を与えかつ前記車両の環境内で検出される他の車両、歩行者、及びその他の関心オブジェクトと無関係な所定の条件が存在するかどうかを判定し、存在する場合には前記所定の条件に基づいて前記車両に関する動作を実行するステップと、
を含み、
前記処理エンティティは、前記車両に影響を与えかつ前記車両の環境内で検出される他の車両、歩行者、及びその他の関心オブジェクトと無関係な前記所定の条件が存在すると判定するために、前記知覚情報内の前記所定の条件を示すパターンを検出するように構成されることを特徴とする方法。

【発明の詳細な説明】

【技術分野】

【0001】

〔関連出願との相互参照〕
本出願は、２０１９年９月２２日に出願された米国仮特許出願第６２／９０３，８４５号に基づく優先権を主張するものであり、この文献は引用により本明細書に組み入れられる。

【0002】

本開示は、自律運転（別名、自動運転）能力を有する車両（例えば、自動車、トラック、バス及びその他の道路車両）に関する。

【背景技術】

【0003】

（例えば、操縦、加速及び／又は減速を自律的に行うことによって）人間の制御を伴わずに走行できる自律運転（すなわち、自動運転）可能な車両が普及してきている。

【0004】

例えば、自動車、トラック及びその他の道路車両は、１又は２以上の先進運転支援システム（ＡＤＡＳ）を使用した部分的運転自動化から完全運転自動化までの様々なレベルの運転自動化（例えば、ＳＡＥ Ｊ３０１６運転自動化レベルのレベル２～５のうちのいずれか１つ）を特徴とすることができる。

【0005】

これらの車両をどこでどのようにして安全に動かすかを判定し、これに従って車両を動かすようにアクチュエータ（例えば、パワートレイン、ステアリングシステムなど）を制御することによって車両を自律的に走行させるために、様々なセンサ（例えば、カメラ、ライダー（光検出及び測距）装置、レーダー装置、ＧＰＳ又はその他の位置センサ、慣性計測装置（ＩＭＵ)など）に基づく、これらの車両による環境及び車両自体（例えば、エゴモーション）のコンピュータ制御知覚（ｃｏｍｐｕｔｅｒｉｚｅｄ ｐｅｒｃｅｐｔｉｏｎ）が使用される。

【先行技術文献】

【特許文献】

【0006】

【文献】米国特許第８，８１８，６０８号明細書

【文献】米国特許出願公開第２０１４／０３０３８２７号明細書

【文献】米国特許出願公開第２０１６／０２９１１５４号明細書

【非特許文献】

【0007】

【文献】インターネット＜ｈｔｔｐｓ：／／ｗａｙｍｏ．ｃｏｍ／ｔｅｃｈ／＞

【文献】インターネット＜ｈｔｔｐｓ：／／ｗａｙｍｏ．ｃｏｍ／ｓａｆｅｔｙｒｅｐｏｒｔ／＞

【文献】Ｐｅｎｄｌｅｔｏｎ他著、「自律走行車のための知覚、計画、制御及び協調（Ｐｅｒｃｅｐｔｉｏｎ，Ｐｌａｎｎｉｎｇ，Ｃｏｎｔｒｏｌ，ａｎｄ Ｃｏｏｒｄｉｎａｔｉｏｎ ｆｏｒ Ａｕｔｏｎｏｍｏｕｓ Ｖｅｈｉｃｌｅｓ）」、ＭＤＰＩ、２０１７年２月１７日

【発明の概要】

【発明が解決しようとする課題】

【0008】

これらの車両によるコンピュータ制御知覚は大きく進歩したが、場合によっては未だ十分に活用されておらず、このためこれらの車両の自律運転の性能、安全性及び／又はその他の属性が準最適なものになっている可能性もある。

【0009】

これらの及びその他の理由で、自律運転能力を有する車両に改善に目を向ける必要がある。

【課題を解決するための手段】

【0010】

様々な態様によれば、本開示は、車両による環境及び車両自体（例えば、そのエゴモーション）などのコンピュータ制御知覚を使用して車両を自律的に運転し、さらには（例えば、車両によって知覚されたもののパターンを検出し又は別様に分析することによって、車両に影響を与えるいくつかの条件が存在すると判定された時に）車両の自律運転を調整し、車両に関するメッセージを伝え、及び／又は車両に関するその他の動作を実行することなどによって、車両の自律運転の性能、安全性及び／又はその他の属性を強化するためにフィードバックを提供することもできる、車両の自律運転又は様々なレベルの運転支援に関する。

【0011】

例えば、１つの態様によれば、本開示は、車両の自律運転又は様々なレベルの運転支援のためのシステムに関する。システムは、とりわけカメラ及びライダーセンサを含む車両のセンサからデータを受け取るように構成されたインターフェイスを含む。システムは、少なくとも１つのプロセッサを含む処理エンティティも含み、処理エンティティは、センサからのデータに基づいて、車両の環境の３Ｄモデル及び車両の位置に関する情報を含む、車両の環境及び車両の状態の知覚に関する知覚情報を提供し、車両の環境の３Ｄモデル及び車両の位置に関する情報に基づいて車両を自律的に運転するための制御信号を生成し、車両の環境の３Ｄモデル及び車両の位置に関する情報に基づいて車両を自律的に運転するための制御信号を生成する以外に、知覚情報を処理して車両に影響を与える所定の条件が存在するかどうかを判定し、存在する場合には所定の条件に基づいて車両に関する動作を実行するように構成される。

【0012】

別の態様によれば、本開示は、車両の自律運転又は様々なレベルの運転支援のためのシステムに関する。システムは、とりわけカメラ及びライダーセンサを含む車両のセンサからデータを受け取るように構成されたインターフェイスを含む。システムは、少なくとも１つのプロセッサを含む処理エンティティも含み、処理エンティティは、センサからのデータに基づいて、車両の環境の３Ｄモデル及び車両の位置に関する情報を含む、車両の環境及び車両の状態の知覚に関する知覚情報を提供し、車両の環境の３Ｄモデル及び車両の位置に関する情報に基づいて車両を自律的に運転するための制御信号を生成し、知覚情報を処理して、知覚情報内の車両に影響を与える所定の条件を示すパターンを検出するように構成される。

【0013】

別の態様によれば、本開示は、処理装置によって実行可能な、車両の自律運転又は様々なレベルの運転支援のための命令を含む非一時的コンピュータ可読媒体に関し、この命令は処理装置によって実行された時に、とりわけカメラ及びライダーセンサを含む車両のセンサからデータを受け取り、センサからのデータに基づいて、車両の環境の３Ｄモデル及び車両の位置に関する情報を含む、車両の環境及び車両の状態の知覚に関する知覚情報を提供し、車両の環境の３Ｄモデル及び車両の位置に関する情報に基づいて車両を自律的に運転するための制御信号を生成し、車両の環境の３Ｄモデル及び車両の位置に関する情報に基づいて車両を自律的に運転するための制御信号を生成する以外に、知覚情報を処理して車両に影響を与える所定の条件が存在するかどうかを判定し、存在する場合には所定の条件に基づいて車両に関する動作を実行することを処理装置に行わせる。

【0014】

別の態様によれば、本開示は、処理装置によって実行可能な、車両の自律運転又は様々なレベルの運転支援のための命令を含む非一時的コンピュータ可読媒体に関し、この命令は、処理装置によって実行された時に、とりわけカメラ及びライダーセンサを含む車両のセンサからデータを受け取り、センサからのデータに基づいて、車両の環境の３Ｄモデル及び車両の位置に関する情報を含む、車両の環境及び車両の状態の知覚に関する知覚情報を提供し、車両の環境の３Ｄモデル及び車両の位置に関する情報に基づいて車両を自律的に運転するための制御信号を生成し、知覚情報を処理して、知覚情報内の車両に影響を与える所定の条件を示すパターンを検出することを処理装置に行わせる。

【0015】

別の態様によれば、本開示は、車両の自律運転又は様々なレベルの運転支援のための方法に関する。この方法は、とりわけカメラ及びライダーセンサを含む車両のセンサからデータを受け取るステップと、センサからのデータに基づいて、車両の環境の３Ｄモデル及び車両の位置に関する情報を含む、車両の環境及び車両の状態の知覚に関する知覚情報を提供するステップと、車両の環境の３Ｄモデル及び車両の位置に関する情報に基づいて車両を自律的に運転するための制御信号を生成するステップと、車両の環境の３Ｄモデル及び車両の位置に関する情報に基づいて車両を自律的に運転するための制御信号を生成する以外に、知覚情報を処理して車両に影響を与える所定の条件が存在するかどうかを判定し、存在する場合には所定の条件に基づいて車両に関する動作を実行するステップとを含む。

【0016】

別の態様によれば、本開示は、車両の自律運転又は様々なレベルの運転支援のための方法に関する。この方法は、とりわけカメラ及びライダーセンサを含む車両のセンサからデータを受け取るステップと、センサからのデータに基づいて、車両の環境の３Ｄモデル及び車両の位置に関する情報を含む、車両の環境及び車両の状態の知覚に関する知覚情報を提供するステップと、車両の環境の３Ｄモデル及び車両の位置に関する情報に基づいて車両を自律的に運転するための制御信号を生成するステップと、知覚情報を処理して、知覚情報内の車両に影響を与える所定の条件を示すパターンを検出するステップとを含む。

【0017】

添付図面と共に実施形態の説明を再検討すれば、当業者には本開示のこれらの及びその他の態様が明らかになるであろう。

【0018】

以下、添付図面を参照しながら実施形態の詳細な説明をほんの一例として示す。

【図面の簡単な説明】

【0019】

【図1】自律運転可能な車両の実施形態を示す図である。

【図2】車両の環境のシーンの例を示す図である。

【図3】車両のコンポーネントの例を示す図である。

【図4】車両の制御システムの実施形態を示す図である。

【図5】車両の制御システムのコントローラの実施形態を示す図である。

【図6】車両の制御システムのコントローラの実施形態を示す図である。

【図7】車両の制御システムのコントローラの実施形態を示す図である。

【図8】コントローラによって実行されるプロセス例を示す図である。

【図9】他の実施形態におけるコントローラの変形例を示す図である。

【図10】他の実施形態におけるコントローラの変形例を示す図である。

【発明を実施するための形態】

【0020】

説明及び図面はいくつかの実施形態を例示するためのものにすぎず、理解を支援するものであると明確に理解されたい。これらは限定を意図するものではなく、限定であってもならない。

【0021】

図１～図５に、車両１０の環境１１内の自律運転（すなわち、自動運転）可能な車両１０の実施形態を示す。この実施形態では、車両１０が道路車両であり、その環境１１は道路１９を含む。車両１０は、公道インフラ（例えば、公道、幹線道路など）の一部である道路１９上で人々及び／又は貨物を合法的に運ぶように設計される。この例では、車両１０が自動車（例えば、乗用車）である。

【0022】

車両１０は、その使用の少なくとも一部について目的地に向けて移動するために自動で操縦、加速及び／又は減速（例えば、制動）を行うことなどによって直接的な人間の制御を伴わずに走行可能であるという点で自律運転可能である。車両１０は、いくつかの実施形態では自律運転可能であるが、状況によっては人間のドライバーによって制御又は管理することもできる。従って、車両１０は、１又は２以上の先進運転支援システム（ＡＤＡＳ）を使用した部分的運転自動化から完全運転自動化までの様々なレベルの運転自動化（例えば、ＳＡＥ Ｊ３０１６運転自動化レベルのレベル２～５のうちのいずれか１つ）を特徴とすることができる。

【0023】

以下でさらに説明するように、この実施形態では、車両１０による環境１１及び車両１０自体（例えば、そのエゴモーション）などのコンピュータ制御知覚を使用して車両１０を自律的に運転し、さらには（例えば、車両１０によって知覚されたもののパターンを検出し又は別様に分析することによって、車両１０に影響を与えるいくつかの条件が存在すると判定された時に）車両１０の自律運転を調整し、車両１０に関するメッセージを伝え、及び／又は車両１０に関するその他の動作を実行することなどによって、車両１０の自律運転の性能、安全性及び／又はその他の属性を強化するためにフィードバックを提供することもできる。

【0024】

この実施形態では、車両１０が、フレーム１２と、パワートレイン１４と、ステアリングシステム１６と、サスペンション１８と、車輪２０と、キャビン２２と、少なくとも使用の一部について車両１０を自律的に（すなわち、人間の制御を伴わずに）動作させるように構成された制御システム１５とを含む。

【0025】

パワートレイン１４は、車輪２０が道路１９上で車両１０を推進するための原動力を含む、車両１０のための動力を生成するように構成される。この目的のために、パワートレイン１４は、１又は２以上のモータを含む動力源（例えば、原動機）を含む。例えば、いくつかの実施形態では、パワートレイン１４の動力源が、内燃エンジン、（例えば、バッテリ駆動式の）電気モータ、又は異なるタイプのモータの組み合わせ（例えば、内燃エンジンと電気モータ）を含むことができる。パワートレイン１４は、いずれかの好適な方法で（例えば、トランスミッション、ディファレンシャル、モータに係合（すなわち、直接連結）するシャフト、及び車輪２０のうちの所与の車輪を介して）動力源から１又は２以上の車輪２０に動力を伝えることができる。

【0026】

ステアリングシステム１６は、道路１９上で車両１０を操縦するように構成される。この実施形態では、ステアリングシステム１６が、車両１０を所望の方向に動かすために、車輪２０のうちの前方車輪を曲げて車両１０のフレーム１２に対する前方車輪の向きを変化させるように構成される。

【0027】

サスペンション１８は、フレーム１２と車輪２０との間に接続されて、車両１０が道路１９上を移動する際にフレーム１２と車輪２０との間の相対的な動きを可能にする。例えば、サスペンション１８は、衝撃を吸収して車輪２０と道路１９との間の静止摩擦の維持を支援することによって、道路１９上における車両１０の操作を強化することができる。サスペンション１８は、１又は２以上のばね、ダンパー及び／又はその他の弾性装置を含むことができる。

【0028】

キャビン２２は、車両１０の１又は２人以上の乗員によって占有されるように構成される。この実施形態では、キャビン２２が車両の１又は２人以上の乗員と相互作用するように構成され、車両１０の乗員が車両１０にコマンド及び／又はその他の情報を入力できるようにする１又は２以上の入力装置（例えば、一連のボタン、レバー、ダイヤルなど、タッチ画面、マイクなど）を含む入力部と、車両１０の乗員に情報を提供する１又は２以上の出力装置（例えば、ディスプレイ、スピーカなど）を含む出力部とを含むユーザインターフェイス７０を含む。ユーザインターフェイス７０の出力部は、車両１０の動作に関連するインジケータ（例えば、スピードメータインジケータ、タコメータインジケータなど）を提供する計器パネル（例えば、ダッシュボード）を含むことができる。

【0029】

制御システム１５は、車両１０が道路１９上でルートに沿って目的地に向かって進んでいる時に、自律運転車両１０の操縦、加速及び／又は減速（例えば、制動）を含めて自律的に（すなわち、人間の制御を伴わずに）車両１０を動作させるように構成される。具体的には、制御システム１５は、とりわけ車両１０の環境１１及び車両１０自体（例えば、エゴモーション）のコンピュータ制御知覚に基づいて道路１９上をその目的地に向けて移動するように車両１０を制御する動作（操縦、加速、減速などの動作）を実行するコントローラ８０及び検知装置８２を含む。

【0030】

車両１０は、その制御システム１５によって走行することができるが、状況によってはキャビン２２内の乗員などの人間のドライバーによって制御することもできる。例えば、いくつかの実施形態では、制御システム１５が、様々な環境において車両１０を自律的に（すなわち、人間の制御を伴わずに）又は人間の制御下で（すなわち、人間のドライバーによって）選択的に動作可能にすることができる（例えば、車両１０は、自律動作モード及び人間の制御による動作モードのいずれかで動作することができる）。例えば、この実施形態では、キャビン２２のユーザインターフェイス７０が、車両１０を道路１９上で制御するためにキャビン２２内の人間のドライバーが操作できる加速装置（例えば、アクセルペダル）、制動装置（例えば、ブレーキペダル）及びステアリング装置（例えば、ハンドル）を含むことができる。

【0031】

コントローラ８０は、道路１９上での目的地に向けた車両１０の操縦、加速及び／又は減速を含む車両１０の制御動作を実行するために、検知装置８２及び場合によっては他のソースから受け取られた情報を処理するように構成された処理装置である。この実施形態では、コントローラ８０が、インターフェイス１６６と、処理エンティティ１６８と、メモリ１７０とを含み、これらは好適なハードウェア及びソフトウェアによって実装される。

【0032】

インターフェイス１６６は、検知装置８２、パワートレイン１４、ステアリングシステム１６、サスペンション１８、及び場合によってはユーザインターフェイス７０、通信ネットワーク（例えば、インターネット及び／又はその他の通信のためのセルラー又はその他の無線ネットワーク）を介して及び／又は車両１０の近くの１又は２以上の他の車両と通信（すなわち、車両間通信）するように構成された通信インターフェイス６８などの他のコンポーネントを含むコントローラ８０の接続先の（すなわち、直接的又は間接的な接続先の）他のコンポーネントとの間でコントローラ８０が入力信号の受信及び出力信号の送信を行えるようにする１又は２以上の入力部及び出力部（例えば、入力／出力インターフェイス）を含む。コントローラ８０は、車両バス５８（例えば、コントローラエリアネットワーク（ＣＡＮ）バス又は他の好適な車両バス）を介して車両１０の他のコンポーネントと通信することができる。

【0033】

処理エンティティ１６８は、コントローラ８０の機能性を実装する処理動作を実行する１又は２以上のプロセッサを含む。処理エンティティ１６８のプロセッサは、メモリ１７０に記憶されたプログラムコードを実行する汎用プロセッサとすることができる。或いは、処理エンティティ１６８のプロセッサは、１又は２以上の予めプログラムされたハードウェア又はファームウェア要素（例えば、特定用途向け集積回路（ＡＳＩＣ）、電気的に消去可能なプログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）など）、或いはその他の関連要素を含む特定用途向けプロセッサとすることもできる。

【0034】

メモリ１７０は、処理エンティティ１６８によって実行されるプログラムコード及び／又は処理エンティティ１６８の動作中に使用されるデータ（例えば、マップ、車両パラメータなど）を記憶する１又は２以上の記憶素子を含む。メモリ１７０の記憶素子は、（例えば、固体メモリを含む）半導体媒体、磁気記憶媒体、光学記憶媒体、及び／又は他のいずれかの好適なタイプのメモリとすることができる。メモリ１７０の記憶素子は、例えばリードオンリメモリ（ＲＯＭ）素子及び／又はランダムアクセスメモリ（ＲＡＭ）素子を含むことができる。

【0035】

いくつかの実施形態では、コントローラ８０が、車両１０の１又は２以上の他の制御ユニットに関連する（例えば、このような制御ユニットを含み及び／又はこのような制御ユニットと相互作用する）ことができる。例えば、いくつかの実施形態では、コントローラ８０が、エンジン制御ユニット（ＥＣＵ）、トランスミッション制御ユニット（ＴＣＵ）などの、パワートレイン１４のパワートレイン制御ユニットを含み、及び／又はこのようなパワートレイン制御ユニットと相互作用することができる。

【0036】

検知装置８２は、車両１０の環境１１内のオブジェクト３２（例えば、人々、動物、他の車両、無生物、信号機及び交通標識などの交通管理装置、他の障害物、車線、自由走行可能エリア、及び／又は他のいずれかの有形の静的又は動的オブジェクト）を含む環境１１の側面と、車両１０の位置（例えば、場所、向き及び／又は動き）を含む車両１０の状態の側面とを検知してこれらの側面を示すデータを生成するように構成されたセンサ９０を含み、これらのデータはコントローラ８０に提供され、コントローラはこのデータを処理して、車両１０がその目的地に向けて移動し続けるために自律的に実行すべき動作を決定することができる。

【0037】

センサ９０は、いずれかの好適な検知装置を含むことができる。例えば、いくつかの実施形態では、センサ９０が、
－ カメラ９２、音センサ、光センサなどの１又は２以上のパッシブセンサ、
－ ライダー（光検出及び測距）センサ９４（例えば、微小電気機械システム（ＭＥＭＳ）ライダー、フラッシュライダー、光位相アレイライダー又は周波数変調連続波（ＦＭＣＷ）ライダーなどの回転機械部品を含まない固体ライダー装置、或いは回転アセンブリを含む機械的ライダー）、レーダーセンサ９６、超音波センサなどの１又は２以上のアクティブセンサ、
－ （例えば、ＧＰＳに基づく）位置センサ９８、
－ 車両速度センサ９７、
－ 加速度計、ジャイロスコープなどを含む慣性計測装置（ＩＭＵ)９５、及び／又は、
－ 他のいずれかの検知装置、
を含むことができる。

【0038】

車両１０は、いずれかの好適な方法で実装することができる。例えば、いくつかの実施形態では、制御システム１５を含む車両１０を、ｈｔｔｐｓ：／／ｗａｙｍｏ．ｃｏｍ／ｔｅｃｈ／及びｈｔｔｐｓ：／／ｗａｙｍｏ．ｃｏｍ／ｓａｆｅｔｙｒｅｐｏｒｔ／、米国特許第８，８１８，６０８号又は米国特許出願公開第２０１４／０３０３８２７号に記載されている技術を使用して、或いは他のいずれかの好適な自律運転技術（例えば、１又は２以上の先進運転支援システム（ＡＤＡＳ））を使用して実装することができ、これらの文献は全て引用により本明細書に組み入れられる。

【0039】

引き続き図５を参照すると、この実施形態では、コントローラ８０が、車両１０を道路１９上で目的地に向けて自律的に運転（例えば、加速、減速、操縦など）して別様に制御する、知覚モジュール５０及び運転モジュール５４を含む複数のモジュールを含む。様々な実施形態では、これらのモジュールをいずれかの好適な方法で（例えば、引用により本明細書に組み入れられる、Ｐｅｎｄｌｅｔｏｎ他、「自律走行車のための知覚、計画、制御及び協調（Ｐｅｒｃｅｐｔｉｏｎ，Ｐｌａｎｎｉｎｇ，Ｃｏｎｔｒｏｌ，ａｎｄ Ｃｏｏｒｄｉｎａｔｉｏｎ ｆｏｒ Ａｕｔｏｎｏｍｏｕｓ Ｖｅｈｉｃｌｅｓ）」、ＭＤＰＩ、２０１７年２月１７日などに記載されている方法又はいずれかの既知の方法で）実装することができる。

【0040】

知覚モジュール５０は、センサ９０からのデータに基づいて、車両１０の環境１１及び車両１０の状態の知覚に関する情報２１０をリアルタイムで提供するように構成される。この「知覚情報」と呼ぶ情報２１０は、車両１０の環境１１及び車両の状態（例えば、位置、エゴモーションなど）の知識を伝え、車両１０を自律的に運転するために運転モジュール５４によって使用される。

【0041】

具体的には、この実施形態では、知覚モジュール５０が、センサ９０からのデータに基づいて車両１０の環境１１の３Ｄモデルを生成するように構成される。この「３Ｄ環境モデル」と呼ぶ３Ｄモデルは、車両１０の環境１１内のオブジェクト３２を含む環境１１の表現を提供する情報を含む。３Ｄ環境モデルは、これらのオブジェクト３２のクラス（すなわち、タイプ）、形状、車両１０までの距離、速度、いくつかの基準点に対する位置などの、オブジェクト３２の特性を含むことができる。知覚モジュール５０は、ディープニューラルネットワーク又はその他の人工ニューラルネットワークなどを使用するフレームベースの処理、セグメンテーション、深層学習又はその他の機械学習アルゴリズムなどのいずれかの好適な既知の技術を使用して、車両１０の環境１１のシーン内の様々なオブジェクト３２を検出して潜在的に分類することができる。

【0042】

いくつかの実施形態では、図６に示すように、知覚モジュール５０が、カメラ９２、ライダーセンサ９４、及び場合によってはレーダーセンサ９６などの他のセンサを含むセンサ９０のそれぞれのセンサからのデータを融合し、すなわちこれらのデータを組み合わせ、統合して処理するデータ融合を実行するように構成されたセンサデータ融合モジュール５５を含むことができる。このようなデータ融合は、いずれかの好適な方法で（例えば、引用により本明細書に組み入れられる米国特許出願公開第２０１６／０２９１１５４号に記載されるような方法又は他のいずれかの既知の方法で）実装することができる。

【0043】

知覚モジュール５０は、位置センサ９８、車両速度センサ９７及びＩＭＵ９５などのセンサ９０からのデータに基づいて車両１０の位置特定を実行して車両の位置及び動きを決定することによって、環境１１内の車両１０の位置に関する情報を生成するようにも構成される。この「位置情報」と呼ぶ情報は、車両１０の位置（例えば、場所及び向き）、及び／又は車両の動き（例えば、速度、加速度など）及び／又はエゴモーションとして規定できる車両１０の他の運動学的側面などの、車両１０の位置に依存する１又は２以上の他のパラメータを示す。

【0044】

従って、この実施形態では、知覚モジュール５０によって提供される知覚情報２１０が、車両１０の３Ｄ環境モデル及び位置情報を含むとともに、センサ９０自体からのデータを含む、センサ９０から導出された他の情報を含むことができる。

【0045】

例えば、いくつかの実施形態では、知覚モジュール５０を、ＬｅｄｄａｒＴｅｃｈ（登録商標）社（例えば、ｈｔｔｐｓ：／／ｌｅｄｄａｒｔｅｃｈ．ｃｏｍ／ｌｅｄｄａｒｖｉｓｉｏｎ／）から市販されているＬｅｄｄａｒＶｉｓｉｏｎ（商標）、又はその他のいずれかの商用技術によって実装することができる。

【0046】

運転モジュール５４は、車両１０の３Ｄ環境モデル及び位置情報と、場合によっては他の情報とを含む、知覚モジュール５０によって提供された知覚情報２１０に基づいて車両１０の運転（例えば、加速、減速、及び／又は操縦）方法を決定し、パワートレイン１４、ステアリングシステム１６、及び／又は車両１０の動き及び／又はその他の動作側面を制御する車両１０の他のコンポーネントなどのアクチュエータ７０に制御信号を送信することによって車両１０を制御するように構成される。

【0047】

例えば、この実施形態では、運転モジュール５４が、運転ポリシーを適用し、交通ルールを順守し、（例えば、衝突を避けるために）車両１０及び環境１１内の他のオブジェクトの軌道に関する予測を行い、及び／又はその他の好適な動作を実行することなどによって車両１０のための安全経路を計画する計画モジュール４０と、車両１０を経路に沿って自律的に動かすための、アクチュエータ７０に送信される制御信号を生成する制御モジュール５６とを実装することができる。

【0048】

この実施形態では、コントローラ８０が、知覚モジュール５０によって提供された知覚情報２１０に基づいて車両１０に影響を与える１又は２以上の所定の条件が存在するかどうかを判定し、存在する場合には車両１０に影響を与える所定の条件の存在に関する情報２４０を生成するように構成された条件検出モジュール４８を含む。運転モジュール５４は、この「検出条件情報」と呼ぶ情報を使用して、車両１０の自律運転及び／又はその他の動作の調整、車両１０に関するメッセージの伝達、及び／又は車両１０の自律運転の性能、安全性及び／又はその他の属性を強化する別の行為などの、車両１０に関する１又は２以上の動作を実行することができる。いくつかの事例では、これにより、別の方法では入手できないフィードバックを運転モジュール５４に提供し、及び／又は車両１０の自律運転のより迅速な調整を可能にすることができる。

【0049】

条件検出モジュール４８が検出して検出条件情報２４０が示すことができる車両１０に影響を与える所定の条件のうちの１つは、環境的なもの、すなわち車両１０の外部に存在して環境１１に由来するものであって、一般にアクチュエータ７０に送信されるコマンドを決定するために運転モジュール５４が使用するシーン内の関心オブジェクトとは無関係なものとすることができる。関心オブジェクトの例としては、とりわけ隣接する車両及び歩行者が挙げられる。例えば、いくつかの実施形態では、車両１０に影響を与える所定の条件のうちの環境的条件が、
－ 道路１９の形状（例えば、道路の湾曲性又は直線性など）、道路１９の状態（例えば、道路１９の滑りやすさ、道路１９の粗さ、及び／又は道路１９の湿り具合又は乾き具合に関連し得る道路１９の表面の他の属性、道路１９の表面材料（例えば、舗装道路又は未舗装道路、アスファルト、コンクリート、砂利などの舗装のタイプなど）、及び／又は道路１９の損傷（例えば、穴）、道路１９の道路工事など）、及び／又は道路１９の他のいずれかの特性などの、道路１９、
－ 車両１０が（例えば、故意に又は偶然に）進入した可能性があるような車両１０の環境１１のオフロードエリア、
－ 降水量（例えば、雨、みぞれ、雪など）、風（例えば、風速又は風の強さ、風の方向など）、温度、霧、及び／又は環境内の他のいずれかの気象特性などの、車両１０の環境１１内の気象、
－ 光のタイプ（例えば、日光、月光、人工光、屋外、駐車場又はトンネル照明などの屋内など）、光の強度、及び／又はその環境内の他のいずれかの照明特性などの、車両１０の環境１１内の照明、
－ オブジェクト３２の密度（例えば、都会又は比較的交通量が多いその他のエリアを示す高密度、郊外、田舎又は比較的交通量が少ないその他のエリアを示す低密度など）、オブジェクト３２から車両１０までの距離、オブジェクト３２及び車両１０が互いに到達する（例えば、衝突する）時間、及び／又はその環境内のオブジェクト３２の他のいずれかの特性などの、車両１０の環境１１内のオブジェクト３２、及び／又は、
－ 車両１０の環境１１の他のいずれかの側面、
に関連することができる。

【0050】

或いは、検出条件情報は、車両１０に関連して車両１０が動作する環境１１には直接関連しない条件を示すこともできる。条件検出モジュール４８が検出して検出条件情報２４０が示すことができるこれらの条件は、車両的なもの、すなわち車両１０に内在するものであって、車両１０のパワートレイン１４、ステアリングシステム１６、サスペンション１８、車輪２０及び／又は他のいずれかのコンポーネントなどの車両１０の１又は２以上のコンポーネントに由来するものである。例えば、いくつかの実施形態では、車両１０に影響を与える所定の条件のうちの車両的条件が、
－ 車両１０のコンポーネントの機能不全（例えば、車両１０のコンポーネント（エンジン又はパワートレイン１４の他のモータ）の過剰な振動、車両１０のコンポーネントの摩耗、損傷又はその他の劣化（例えば、車両１０の車輪２０のタイヤの空気抜け又は摩耗）、ステアリングシステム１６内のステアリング異常（例えば、過剰な動きの自由度）、ヘッドライトの不具合、パワートレイン１４、ステアリングシステム１６又はサスペンション１８によって生じる異常音など）、及び／又は車両１０のコンポーネントの他のいずれかの機能障害などの、車両１０の１又は２以上のコンポーネントの機能、
－ パワートレイン１４の出力、ステアリングシステム１６の感度（例えば、ハンドルの動き）、サスペンション１８の剛性及び／又は減衰、及び／又は車両１０の１又は２以上のコンポーネントの設定の他のいずれかの特性などの、車両１０の１又は２以上のコンポーネントの設定、及び／又は、
－ 車両１０の１又は２以上のコンポーネントの他のいずれかの側面、
に関連することができる。

【0051】

従って、条件検出モジュール４８によって生成される、車両１０に影響を与える１又は２以上の所定の条件を示す検出条件情報２４０はメンテナンスに関連し、機能不全、或いはメンテナンス又は調整の必要性を示すことができる。

【0052】

例えば、知覚モジュール５０によって提供される知覚情報２１０は、概念的に２つの検出ストリーム、すなわち３Ｄ環境モデル内に車両１０の動き制御を提供するための短期的アクチュエータコマンドを決定するために運転モジュール５４によって使用される出力を有する関心オブジェクトの検出を実行するメイン又は直接ストリームと、一般に短期的な動き制御を決定する関心オブジェクトとは無関係な、又は少なくとも関心オブジェクトの特性とは無関係な環境１１内の所定の条件を探す補助ストリームとを実装するものとみなすことができる。いくつかの実施形態では、このような両検出ストリームが、少なくともライダーセンサ９４及びカメラ９２によって伝えられる情報で運ばれる。換言すれば、ライダーセンサ９４及びカメラ９２によって収集された情報は、短期的な動き制御のための関心オブジェクトと、より長期的な運転ポリシー及び／又は車両メンテナンスに影響を与える所定の条件とを探すために使用される。

【0053】

従って、知覚モジュール５０によって提供される知覚情報２１０は、３Ｄ環境モデルにおける動き制御のための制御信号を生成するため以外にも、車両１０に影響を与える１又は２以上の所定の条件を検出するためにさらに処理することができる。

【0054】

この実施形態では、条件検出モジュール４８が、車両１０に影響を与える１又は２以上の所定の条件が存在するかどうかを判定するために、知覚モジュール５０によって出力された知覚情報２１０内の１又は２以上の所定の条件の存在を示す１又は２以上のパターンを検出するように構成される。これらの「知覚フィンガープリント」と呼ぶ各パターンは、条件検出モジュール４８によって生成される検出条件情報２４０がこの知覚フィンガープリントを伝えるように又はこの知覚フィンガープリントに別様に基づくように、車両１０に影響を与える所定の条件を示す。

【0055】

様々な例では、これらの知覚フィンガープリントのうちの所与の１つが、３Ｄ環境モデルに存在する（例えば、道路１９、気象、照明及び／又は車両１０の環境１１のその他の側面に関連する所定の条件を示す）パターン、車両１０の（例えば、エゴモーションの）位置情報に存在する（例えば、車輪２０のタイヤの摩耗又は空気抜け、ステアリングシステム１６内のステアリング異常、パワートレイン１４のモータの異常な振動、及び／又は車両１０の１又は２以上のコンポーネントの別の側面などの、車両１０の機能不全に関する所定の条件を示す）パターン、車両１０の３Ｄ環境モデル及び位置情報の両方に存在するパターン、或いは（例えば、センサ９０からのデータにおける）車両１０の３Ｄ環境モデル及び位置情報のいずれにも存在しないパターンを反映することができる。また、これらの知覚フィンガープリントのうちの所与の１つは、センサ９０の異なるセンサのいずれかを個別に検討することによって検出できない、センサ９０の異なるセンサの組み合わせからのデータパターンであることもできる。

【0056】

具体的に言えば、この実施形態では、条件検出モジュール４８が、知覚モジュール５０によって提供された知覚情報２１０から１又は２以上の知覚フィンガープリントを検出して、条件検出モジュール４８によって生成された検出条件情報２４０がこれらの１又は２以上の知覚フィンガープリントを伝えるように、又はこれらの１又は２以上の知覚フィンガープリントに別様に基づくように仕向けるよう構成された知覚フィンガープリント識別モジュール６０を含む。

【0057】

知覚フィンガープリント識別モジュール６０は、知覚モジュール５０によって提供された知覚情報２１０から１又は２以上の知覚フィンガープリントを検出するためのいずれかの好適なパターン認識アルゴリズムを実装することができる。例えば、この実施形態では、知覚フィンガープリント識別モジュール６０が、人工ニューラルネットワーク、サポートベクターマシン又はその他のいずれかのＡＩユニットなどの人工知能（ＡＩ－機械知能又は機械学習とも呼ばれる）を、知覚モジュール５０によって提供された知覚情報２１０から知覚フィンガープリントを認識するように構成されたソフトウェア、ハードウェア、及び／又はこれらの組み合わせの形で実装する。

【0058】

具体的に言えば、この実施形態では、図７に示すように、知覚フィンガープリント識別モジュール６０が、知覚モジュール５０によって提供された知覚情報２１０から１又は２以上の知覚フィンガープリントを検出するように構成された人工ニューラルネットワーク６４を含む。人工ニューラルネットワーク６４は、ディープニューラルネットワーク（例えば、畳み込み、回帰型など）とすることができ、及び／又はいずれかの既知の種類のニューラルネットワーク技術を使用して実装することができる。

【0059】

人工ニューラルネットワーク６４は、知覚モジュール５０によって提供された知覚情報２１０からどのようにして知覚フィンガープリントを検出するかを学習するように構成される。人工ニューラルネットワーク６４による学習は、いずれかの既知の教師あり、半教師あり又は教師なし技術を使用して達成することができる。

【0060】

いくつかの実施形態では、人工ニューラルネットワーク６４が、３Ｄ環境モデル内で探している（知覚情報２１０の一部と思われるものと同様の）情報及び／又は車両１０の位置情報を伝える「訓練」データ、具体的には、検出されるべき、従って車両１０に影響を与える１又は２以上の所定の条件を示す１又は２以上の知覚フィンガープリントを含むデータを学習モード中に処理することによって学習することができる。例えば、所定の関心条件を特徴とする状況では、車両１０のセンサ９０、知覚モジュール５０及び人工ニューラルネットワーク６４と同様のセンサ、知覚モジュール及び人工ニューラルネットワークを有する訓練車両を走行させることによって、訓練車両の知覚モジュールが、これらの所定の条件を示す知覚フィンガープリント（すなわち、パターン）を含む訓練データを生成し、訓練車両の人工ニューラルネットワークが、この訓練データを処理することによってこれらの知覚フィンガープリントを識別するように学習することができる。

【0061】

例えば、いくつかの実施形態では、検出されるべき所定の条件が、悪路、舗装道路、滑りやすい道路、曲がりくねった道路、強風、大雪、みぞれ、人工光、摩耗したタイヤ、空気の抜けたタイヤ、モータ（例えば、エンジン）の振動異常、ヘッドライトの不具合、ステアリングの異常、異常音、又はこれらの組み合わせ（例えば、強風時の悪路、強風時の滑りやすい道路、滑りやすい曲がりくねった道路、強風時の滑りやすい曲がりくねった道路、人工光の中での滑りやすい道路、滑りやすい道路での摩耗したタイヤ、悪路での空気の抜けたタイヤ、ヘッドライト不具合時の人工光など）、又は他のいずれかの検出されるべき所定の条件を含む場合、学習モードは、これらの所定の条件のうちの各所与の条件について、この所与の所定の条件によって特徴付けられる１又は２以上の状況（例えば、１又は２以上の悪路、１又は２以上の舗装道路、１又は２以上の滑りやすい道路、１又は２以上の曲がりくねった道路、強風を伴う１又は２以上の気象イベント、大雪を伴う１又は２以上の気象イベント、みぞれを伴う１又は２以上の気象イベント、１又は２以上のエリアにおいて人工光、１又は２以上の摩耗したタイヤ、１又は２以上の空気の抜けたタイヤ、１又は２以上のステアリング異常、１又は２以上の異常なモータ振動、１又は２以上の異常音を伴う状況など）において訓練車両を運転することを伴うことにより、訓練車両の知覚モジュールが、この所与の所定の条件を示す知覚フィンガープリントを含む訓練知覚情報を生成し、訓練車両の人工ニューラルネットワークが、この知覚フィンガープリントを識別するように学習することができる。

【0062】

従って、いくつかの実施形態では、知覚フィンガープリント識別モジュール６０によって検出可能な知覚フィンガープリント、及びこれらが示す車両１０に影響を与える所定の条件をライブラリ又はその他のデータベース内に維持することができる。いくつかの事例では、知覚フィンガープリント識別モジュール６０が、それまで見たことがない知覚フィンガープリントを識別しようと試みることができ、この場合、知覚フィンガープリント識別モジュール６０は、この知覚フィンガープリントが以前に遭遇した知覚フィンガープリントに対して異なる又は異常であると判定することができる。例えば、ニューラルネットワークの実装では、知覚フィンガープリントを、ニューラルネットワークがセンサデータを調べることによって検出するように訓練されるクラスの情報とすることができる。図６及び図７の実施形態では、知覚フィンガープリント識別モジュール６０が、モジュール６０が知覚情報２１０内で識別できる数ある環境のうちの車両１０が動作する現在の環境１１を区別する知覚フィンガープリントを継続的に出力することができる。

【0063】

この知覚フィンガープリントは、車両１０のアクチュエータ７０に送信される信号を調整するための運転モジュール５４へのさらなる入力として使用することができる。従って、運転モジュール５４は、具体的には短期的な動き制御を決定する関心オブジェクト情報、及び短期的な動き制御を決定する実際のルールを調整する環境入力という、いずれも同じ知覚情報２１０に由来する２つの入力を使用する。例えば、センサによって生成された情報が滑りやすい道路に関連するフィンガープリントに分類されることが環境入力によって示される場合、この入力は、運転モジュール５４によって決定される短期的な動き制御に影響を与えるものであり、従って例えばステアリング入力、スロットル入力及びブレーキ入力が、予想される滑りやすい路面を考慮するように異なって調整される。

【0064】

条件検出モジュール４８の人工ニューラルネットワーク６４は、たとえセンサ９０が直接所定の条件を測定するように設計されていない場合でも、知覚モジュール５０によって提供された知覚情報２１０から車両１０に影響を与える所定の条件を示す知覚フィンガープリントを識別するように訓練することができる。例えば、いくつかの実施形態では、人工ニューラルネットワーク６４によるパターンの分類が、フィンガープリントを伴う振動及び固有振動数と荒れた路面及び影響を与える恐れがある車両１０の外部のその他の現象とを分離又は区別することできるので、この分類が振動源を示す時には、パワートレイン１４のモータ（例えば、エンジン）の振動を車両１０の（例えば、エゴモーションの）位置情報の異常パターンとして、又は知覚情報２１０内のＩＭＵ９５からの信号として識別することができる。

【0065】

従って、図８をさらに参照すると、この実施形態では、コントローラ８０が以下のようなプロセスを実装することができる。

【0066】

知覚モジュール５０は、センサ９０からのデータに基づいて３Ｄ環境モデル及び車両１０の位置情報を含む位置情報２１０を生成し、運転モジュール５４は、知覚情報２１０を使用して車両１０の運転（例えば、加速、減速及び操縦）方法を決定して（例えば、パワートレイン１４、ステアリングシステム１６などの）アクチュエータ７０に信号を送出し、車両１０はこの信号に従って自律的に運転されるようになる。

【0067】

一方で、条件検出モジュール４８は、知覚モジュール５０によって提供された知覚情報２１０を処理して、車両１０に影響を与える１又は２以上の所定の条件を示す１又は２以上の知覚フィンガープリントがこの情報に含まれているかどうかを判定する。条件検出モジュール４８が、車両１０に影響を与える１又は２以上の所定の条件を示す１又は２以上の知覚フィンガープリントを検出した場合、条件検出モジュール４８によって生成される検出条件情報２４０は、これらの１又は２以上の知覚フィンガープリントを伝え、又はこれらの１又は２以上の知覚フィンガープリントに別様に基づく。

【0068】

運転モジュール５４は、車両１０に影響を与える所定の条件を示す１又は２以上の知覚フィンガープリントを伝える、又はこれらの１又は２以上の知覚フィンガープリントに別様に基づく検出条件情報２４０を使用して、車両１０に関する１又は２以上の動作を実行する。

【0069】

例えば、いくつかの実施形態では、運転モジュール５４が、条件検出モジュール４８によって検出された知覚フィンガープリントに基づいて車両１０の自律運転及び／又はその他の動作を調整することができる。例えば、いくつかの事例では、検出された（単複の）知覚フィンガープリントが、道路１９が荒れていること、滑りやすいこと及び／又は曲がりくねっていること、強風が吹いていること、車輪２０のうちの１つ又は２つ以上が摩耗している又は空気が抜けていること、パワートレイン１４のモータ（例えば、エンジン）が異常に振動していること、ステアリングシステム１６内にステアリング異常があることなどを示す場合、運転モジュール５４は、短期アクチュエータコマンドを決定し、車両１０をより低速で自律的に運転し（例えば、真っ直ぐ進む際及び／又は曲がる際に車両１０の速度を落とし）、サスペンション１８の剛性を低減し又は減衰を高めるようにロジックを調整することができる。これとは逆に、検出された（単複の）知覚フィンガープリントが、道路１９がなだらかであること、乾いていること及び／又は真っ直ぐであること、強風が吹いていないことなどを示す場合、運転モジュール５４は、車両１０をより高速で自律的に運転し（例えば、真っ直ぐ進む際及び／又は曲がる際に車両１０の速度を上げ）、サスペンションの剛性を高め又は減衰を低下させるように短期制御ロジックを調整することができる。運転モジュール５４は、車両１０の自律運転をこのように調整する信号をパワートレイン１４、ステアリングシステム１６及び／又はサスペンション１８などのアクチュエータ７０に送出することができる。

【0070】

別の例として、いくつかの実施形態では、運転モジュール５４が、条件検出モジュール４８によって検出された（単複の）知覚フィンガープリントに基づいて、個人（例えば、車両１０のユーザ）又はコンピュータ装置などに車両１０に関するメッセージを伝えることができる。このメッセージは、車両１０の１又は２以上のコンポーネントの機能不全又は別の問題を示すことができる。例えば、いくつかの事例では、検出された（単複の）知覚フィンガープリントが、車輪２０の１又は２以上のタイヤが摩耗しており又は空気が抜けていること、１又は２以上のヘッドライトが作動していないこと、パワートレイン１４のモータ（例えば、エンジン）が異常に振動していること、ステアリングシステム１６内にステアリング異常があることなどを示す場合、運転モジュール５４は、車両１０に対してメンテナンス、修理又はその他のサービスを行うべきである旨の通知を伝えることができる。いくつかの事例では、車両１０に関するメッセージを車両１０のユーザインターフェイス７０に伝えることができる。他の実施形態では、車両１０に関するメッセージを、車両１０の通信インターフェイス６８を介して異なる（すなわち、車両１０の一部ではなく、場合によっては車両１０の外部の）通信装置（例えば、スマートフォン又はコンピュータ）に伝えることができる。

【0071】

他の実施形態では、条件検出モジュール４８を、車両１０に影響を与える１又は２以上の所定の条件が存在するかどうかを他の様々な方法で判定するように構成することができる。

【0072】

例えば、いくつかの実施形態では、図９に示すように、車両１０に影響を与える１又は２以上の所定の条件が存在するかどうかを判定するために、条件検出モジュール４８を、知覚モジュール５０によって提供された知覚情報２１０と、コントローラ８０が利用できる、３Ｄ環境モデル及び車両１０の（例えば、エゴモーションの）位置情報とは異なる他の情報３５０とを比較するように構成することができる。この「知覚非依存参考情報」と呼ぶ情報３５０は、３Ｄ環境モデル及び車両１０の位置情報を生成するために使用されるセンサ９０とは無関係な１又は２以上のソースから取得することができる。条件検出モジュール４８は、知覚情報２１０が知覚非依存参考情報３５０に一致しないと判定すると、車両１０に影響を与える所定の条件が存在すると判定して、この所定の条件を示す有効な検出条件情報２４０を生成し、運転モジュール５４は、上述したようにこの情報を使用して車両１０の自律運転及び／又はその他の動作の調整、或いは車両１０に関するメッセージの伝達などの車両１０に関する１又は２以上の動作を実行することができる。

【0073】

いくつかの実施形態では、車両１０に関する（例えば、車両の環境１１及び／又は車両１０の１又は２以上の動作面に関する）予測を表すデータ６７から知覚非依存参考情報３５０を導出して、これをコントローラ８０のメモリ７０に記憶し、通信インターフェイス６８を介して受け取り、又はコントローラ８０が別様に利用することができる。

【0074】

一例として、いくつかの実施形態では、車両１０の場所を表すマップ６５（例えば、高解像度マップ）から知覚非依存参考情報３５０を導出して、これをコントローラ８０のメモリ７０に記憶し、通信インターフェイス６８を介して受け取り、又はコントローラ８０が別様に利用することができる。マップ６５は、車両１０が特定の場所で遭遇すると予想すべき道路１９の路面の種類（例えば、舗装道路、未舗装道路、開けた平野、砂浜など）などの知覚非依存参考情報３５０を提供することができる。運転モジュール５４は、このマップ６５によって提供された情報に基づいて車両１０を制御することができる。

【0075】

条件検出モジュール４８は、知覚モジュール５０によって提供された知覚情報２１０とマップ６５によって提供された知覚非依存参考情報３５０とを比較することによって、（３Ｄ環境モデル及び／又は車両１０のエゴモーションに基づいて）知覚モジュール５０によって知覚された道路１９の表面が実際にマップ６５によって予測される通りであるかどうかを判定し、そうでなければ実際に道路１９の表面がどのようなものであるかを示すように検出条件情報２４０を生成することができる。この結果、運転モジュール５４は、検出条件情報２４０に基づいて車両１０の自律運転を調整すべきであるかどうか及び調整方法を決定することができる。例えば、運転モジュール５４は、検出条件情報２４０に基づいて、推定されるアクチュエータ７０のアクチュエータ設定が運転の円滑性及び安全性にとって不適切（例えば、準最適又は不十分）であると判定した場合、これに応じてこの設定を調整する信号をアクチュエータ７０に送信することができる。

【0076】

別の例として、いくつかの実施形態では、車両１０の周囲の予想される照明（例えば、光及び影）を表す照明モデル３４から知覚非依存参考情報３５０を導出して、これをコントローラ８０のメモリ７０に記憶し、通信インターフェイス６８を介して受け取り、又はコントローラ８０が別様に利用することができる。

【0077】

条件検出モジュール４８は、（例えば、カメラ９２からの画像に基づいて）知覚モジュール５０によって提供された知覚情報２１０によって伝えられる実際の照明と、知覚非依存参考情報３５０の照明モデル３４によって指定される予想照明とを比較することにより、知覚モジュール５０によって知覚された実際の照明が実際に照明モデル３４によって予測される通りであるかどうかを判定し、そうでなければ実際の照明を示すように検出条件情報２４０を生成する。この結果、運転モジュール５４は、検出条件情報２４０に基づいて車両１０の自律運転を調整すべきであるかどうか及び調整方法を決定することができる。例えば、運転モジュール５４は、検出条件情報２４０に基づいて、アクチュエータ７０の設定が運転の円滑性及び安全性にとって不適切（例えば、準最適又は不十分）であると判定した場合、これに応じてこの設定を調整する信号をアクチュエータ７０に送信することができる。これに代えて又はこれに加えて、運転モジュール５４は、車両１０に対してメンテナンス又はその他のサービスを実行すべき旨を示すメッセージを送信することもできる。

【0078】

いくつかの実施形態では、図１０に示すように、パワートレイン１４、ステアリングシステム１６、サスペンション１８、及び／又は車両１０の動きを制御する他のいずれかのコンポーネントから知覚非依存参考情報３５０を導出することができる。例えば、いくつかの実施形態では、知覚非依存参考情報３５０が、車両バス５８（例えば、ＣＡＮバス）上で報告されるような、ステアリングシステム１６によって行われる車輪２０のうちの操縦される車輪のステアリング動作を示すことができる一方で、知覚モジュール５０によって提供された知覚情報２１０に含まれる車両１０のエゴモーションを使用して、車輪２０のうちの操縦される車輪の知覚された（例えば、過去の）ステアリング動作を推定することができる。

【0079】

条件検出モジュール４８は、知覚されたハンドルの動きを報告されたハンドルの動きと比較することにより、知覚モジュール５０によって知覚されたハンドルの動きが実際に車両バス５８上で報告されたハンドルの動きに対応するかどうかを判定し、そうでなければ実際のハンドルの動きを示すように検出条件情報２４０を生成する。この結果、運転モジュール５４は、検出条件情報２４０に基づいて車両１０の自律運転を調整すべきであるかどうか及び調整方法を決定することができる。例えば、運転モジュール５４は、検出条件情報２４０に基づいて、ステアリングシステム１６内のアクチュエータ７０のそれぞれのアクチュエータの推定されるアクチュエータ設定が操縦性にとって不適切（例えば、準最適又は不十分）であると判定した場合、これに応じてこの設定を調整する信号をこれらのアクチュエータ７０に送信することができる。これに代えて又はこれに加えて、運転モジュール５４は、車両１０に対してメンテナンス又はその他のサービスを実行すべき旨を示すメッセージを送信することもできる。

【0080】

別の例として、いくつかの実施形態では、車両１０に影響を与える１又は２以上の所定の条件が存在するかどうかを判定するために、条件検出モジュール４８を、知覚モジュール５０によって提供された知覚情報２１０の時間的変化（時間の変化）をモニタするように構成することができる。例えば、条件検出モジュール４８は、３Ｄ環境モデルに依存するパラメータの時間的変化をモニタし、これらの３Ｄ環境モデルのパラメータのうちの車両１０に影響を与える所定の条件を示すとみなされる１つ又は２つ以上のパラメータが所定の方法で時間と共に変化したことを観察すると、この所定の条件を示すように検出条件情報２４０を生成し、運転モジュール５４は、上述したようにこの情報を使用して車両１０の自律運転及び／又はその他の動作の調整、或いは車両１０に関するメッセージの伝達などの車両１０に関する１又は２以上の動作を実行することができる。

【0081】

例えば、いくつかの実施形態では、条件検出モジュール４８が、３Ｄ環境モデルの時間に依存する統計的挙動をモニタすることができる。例えば、車両１０の環境１１内のオブジェクト３２の「障害物までの距離」又は「衝突までの時間」の分布をモニタすることができる。所与の運転シナリオにおける望ましい挙動は、この分布への変化が低速でスムーズ（例えば、閾値比率未満）であることと考えられる。運転モジュール５４による車両１０の制御は運転ポリシーによって決定され、環境モデル分布の統計を追跡することは、異なるポリシーを評価してこれらのポリシー同士を調整するのに役立つことができる。

【0082】

別の変形例では、知覚フィンガープリントを、動き制御に影響を与えることなく車両メンテナンス目的のみに使用することができる。このような事例では、知覚フィンガープリント識別モジュール６０が、カメラ及びライダーデータに加えて、特定の機能不全又は駆動系条件を検出するように構成された駆動系センサから入力を受け取ることができる。この事例では、条件検出モジュール４８がより高いレベルの障害検出知能を提供し、駆動系センサによって報告された障害条件の実際の影響が３Ｄ環境モデル内で観察された時にメンテナンスメッセージをトリガする。

【0083】

上記で検討した実施形態では車両１０が地上を移動するが、他の実施形態では車両１０が地上以外を移動することができる。例えば、他の実施形態では、車両１０が飛行（例えば、配送用ドローン又はその他の無人空中輸送手段、空飛ぶ車又はその他の個人用航空機など）又は水上移動（例えば、水上タクシー又はその他の船舶）することができ、従って「運転」は、一般に車両１０の進路の操作、制御及び方向付けを意味する。

【0084】

いくつかの実施形態の動作にとって必要となり得る特定の追加要素は当業者の範囲内に含まれると思われるので、これらの要素については説明又は図示していない。さらに、いくつかの実施形態は、本明細書で具体的に開示していないいずれかの要素を含んでおらず、このような要素を欠いており、又はこのような要素を伴わずに機能することができる。

【0085】

いくつかの実装例では、本明細書で説明したいずれかの実施形態のいずれかの特徴を本明細書で説明した他のいずれかの実施形態のいずれかの特徴と組み合わせることができる。

【0086】

本明細書で使用する用語と引用により本明細書に組み入れられるいずれかの文書で使用されている用語との間にいずれかの矛盾、不一致又はその他の差異がある場合には、本明細書で使用する用語の意味を優先して使用すべきである。

【0087】

様々な実施形態及び実施例を提示したが、この提示は説明を目的とするものであって限定ではない。当業者には様々な修正及び強化が明らかになるであろう。

【符号の説明】

【0088】

１０ 車両
１１ 環境
１２ フレーム
１４ パワートレイン
１５ 制御システム
１６ ステアリングシステム
１８ サスペンション
１９ 道路
２０ 車輪
２２ キャビン
７０ ユーザインターフェイス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】