IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ヴァヤヴィジョン センシング リミテッドの特許一覧

<>
  • 特表-自律運転における機能的安全性 図1
  • 特表-自律運転における機能的安全性 図2
  • 特表-自律運転における機能的安全性 図3
  • 特表-自律運転における機能的安全性 図4
  • 特表-自律運転における機能的安全性 図5
  • 特表-自律運転における機能的安全性 図6
  • 特表-自律運転における機能的安全性 図7
  • 特表-自律運転における機能的安全性 図8
  • 特表-自律運転における機能的安全性 図9
  • 特表-自律運転における機能的安全性 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-12-09
(54)【発明の名称】自律運転における機能的安全性
(51)【国際特許分類】
   B60W 40/02 20060101AFI20221202BHJP
   G08G 1/16 20060101ALI20221202BHJP
   B60W 50/02 20120101ALI20221202BHJP
   B60W 50/04 20060101ALI20221202BHJP
【FI】
B60W40/02
G08G1/16 C
B60W50/02
B60W50/04
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022518801
(86)(22)【出願日】2020-09-22
(85)【翻訳文提出日】2022-05-17
(86)【国際出願番号】 IL2020051027
(87)【国際公開番号】W WO2021053679
(87)【国際公開日】2021-03-25
(31)【優先権主張番号】62/903,845
(32)【優先日】2019-09-22
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】522114173
【氏名又は名称】ヴァヤヴィジョン センシング リミテッド
(74)【代理人】
【識別番号】100094569
【弁理士】
【氏名又は名称】田中 伸一郎
(74)【代理人】
【識別番号】100103610
【弁理士】
【氏名又は名称】▲吉▼田 和彦
(74)【代理人】
【識別番号】100109070
【弁理士】
【氏名又は名称】須田 洋之
(74)【代理人】
【識別番号】100067013
【弁理士】
【氏名又は名称】大塚 文昭
(74)【代理人】
【識別番号】100086771
【弁理士】
【氏名又は名称】西島 孝喜
(74)【代理人】
【識別番号】100109335
【弁理士】
【氏名又は名称】上杉 浩
(74)【代理人】
【識別番号】100120525
【弁理士】
【氏名又は名称】近藤 直樹
(74)【代理人】
【識別番号】100139712
【弁理士】
【氏名又は名称】那須 威夫
(72)【発明者】
【氏名】ネフマディ ユヴァル
(72)【発明者】
【氏名】マンガン シュムエル
(72)【発明者】
【氏名】ワグナー マーク
【テーマコード(参考)】
3D241
5H181
【Fターム(参考)】
3D241BA63
3D241DC41Z
3D241DC51Z
3D241DC57Z
5H181AA01
5H181BB04
5H181CC03
5H181CC04
5H181CC11
5H181CC12
5H181CC14
5H181FF04
5H181FF05
5H181LL01
5H181LL02
5H181LL04
5H181LL09
(57)【要約】
車両による環境及び車両自体(例えば、そのエゴモーション)などのコンピュータ制御知覚を使用して車両を自律的に運転し、さらには(例えば、車両によって知覚されたもののパターンを検出し又は別様に分析することによって、車両に影響を与えるいくつかの条件が存在すると判定された時に)車両の自律運転を調整し、車両に関するメッセージを伝え、及び/又は車両に関するその他の動作を実行することなどによって、車両の自律運転の性能、安全性及び/又はその他の属性を強化するためにフィードバックを提供することもできる、車両の自律運転。
【選択図】 図1
【特許請求の範囲】
【請求項1】
車両の自律運転のためのシステムであって、
カメラ及びライダーセンサを含む前記車両のセンサからデータを受け取るように構成されたインターフェイスと、
少なくとも1つのプロセッサを含む処理エンティティと、
を備え、前記処理エンティティは、
前記センサからの前記データに基づいて、前記車両の環境の3Dモデル及び前記車両の位置に関する情報を含む、前記車両の前記環境及び前記車両の状態の知覚に関する知覚情報を提供し、
前記車両の前記環境の前記3Dモデル及び前記車両の前記位置に関する前記情報に基づいて前記車両を自律的に運転するための制御信号を生成し、
前記車両の前記環境の前記3Dモデル及び前記車両の前記位置に関する前記情報に基づいて前記車両を自律的に運転するための前記制御信号を生成する以外に、前記知覚情報を処理して前記車両に影響を与える所定の条件が存在するかどうかを判定し、存在する場合には前記所定の条件に基づいて前記車両に関する動作を実行する、
ように構成される、
ことを特徴とするシステム。
【請求項2】
前記処理エンティティは、前記車両に影響を与える前記所定の条件が存在すると判定するために、前記知覚情報内の前記所定の条件を示すパターンを検出するように構成される、
請求項1に記載のシステム。
【請求項3】
前記処理エンティティは、前記知覚情報内の前記所定の条件を示す前記パターンを検出するように訓練された人工ニューラルネットワークを含む、
請求項2に記載のシステム。
【請求項4】
前記知覚情報内の前記所定の条件を示す前記パターンは、前記車両の前記環境の前記3Dモデル内に存在する、
請求項2又は3に記載のシステム。
【請求項5】
前記知覚情報内の前記所定の条件を示す前記パターンは、前記車両の前記位置に関する前記情報内に存在する、
請求項2又は3に記載のシステム。
【請求項6】
前記知覚情報内の前記所定の条件を示す前記パターンは、前記車両の前記環境の前記3Dモデル内及び前記車両の前記位置に関する前記情報内の両方に存在する、
請求項2又は3に記載のシステム。
【請求項7】
前記知覚情報内の前記所定の条件を示す前記パターンは、前記車両の前記環境の前記3Dモデル内及び前記車両の前記位置に関する前記情報内のいずれにも存在しない、
請求項2又は3に記載のシステム。
【請求項8】
前記知覚情報内の前記所定の条件を示す前記パターンは、前記センサのうちの異なるセンサの組み合わせから生じ、前記センサのうちの前記異なるセンサのいずれかから個別に検出することはできない、
請求項2又は3に記載のシステム。
【請求項9】
前記処理エンティティは、前記車両に影響を与える前記所定の条件が存在すると判定するために、前記知覚情報と参考情報とを比較するように構成される、
請求項1に記載のシステム。
【請求項10】
前記参考情報は、前記車両の場所を表すマップから導出される、
請求項9に記載のシステム。
【請求項11】
前記車両は道路上を移動し、前記参考情報は、前記マップに従って前記道路の状態を示す、
請求項10に記載のシステム。
【請求項12】
前記参考情報は、前記車両の動きを制御するコンポーネントから導出される、
請求項9に記載のシステム。
【請求項13】
前記参考情報は、前記車両の動きを制御する前記コンポーネントに接続された車両バスから導出される、
請求項12に記載のシステム。
【請求項14】
前記車両の動きを制御する前記コンポーネントは、前記車両のパワートレインである、
請求項12又は13に記載のシステム。
【請求項15】
前記車両の動きを制御する前記コンポーネントは、前記車両のステアリングシステムである、
請求項12又は13に記載のシステム。
【請求項16】
前記処理エンティティは、前記車両に影響を与える前記所定の条件が存在すると判定するために、前記知覚情報の時間的変化をモニタするように構成される、
請求項1に記載のシステム。
【請求項17】
前記処理エンティティは、前記カメラ及び前記ライダーセンサを含む前記センサのそれぞれのセンサからの前記データに対してデータ融合を実行して前記知覚情報を提供するように構成される、
請求項1から16のいずれか1項に記載のシステム。
【請求項18】
前記車両に影響を与える前記所定の条件は前記車両の外部に存在し、前記車両の前記環境に由来する、
請求項1から17のいずれか1項に記載のシステム。
【請求項19】
前記車両に影響を与える前記所定の条件は、前記車両が移動する道路に関連する、
請求項18に記載のシステム。
【請求項20】
前記車両に影響を与える前記所定の条件は、前記道路の状態に関連する、
請求項19に記載のシステム。
【請求項21】
前記車両に影響を与える前記所定の条件は、前記道路の滑りやすさに関連する、
請求項20に記載のシステム。
【請求項22】
前記車両に影響を与える前記所定の条件は、前記道路の粗さに関連する、
請求項20又は21に記載のシステム。
【請求項23】
前記車両に影響を与える前記所定の条件は、前記道路の表面材料に関連する、
請求項20から22のいずれか1項に記載のシステム。
【請求項24】
前記車両に影響を与える前記所定の条件は、前記道路の形状に関連する、
請求項19から23のいずれか1項に記載のシステム。
【請求項25】
前記車両に影響を与える前記所定の条件は、前記道路の湾曲性に関連する、
請求項24に記載のシステム。
【請求項26】
前記車両に影響を与える前記所定の条件は、前記車両の前記環境内の気象に関連する、
請求項18に記載のシステム。
【請求項27】
前記車両に影響を与える前記所定の条件は、前記車両の前記環境内の降水量に関連する、
請求項26に記載のシステム。
【請求項28】
前記車両に影響を与える前記所定の条件は、前記車両の前記環境内の風に関連する、
請求項26又は27に記載のシステム。
【請求項29】
前記車両に影響を与える前記所定の条件は、前記車両の前記環境内の照明に関連する、
請求項18に記載のシステム。
【請求項30】
前記車両に影響を与える前記所定の条件は、前記車両の前記環境内のオブジェクトの密度に関連する、
請求項18に記載のシステム。
【請求項31】
前記車両に影響を与える前記所定の条件は前記車両に内在し、前記車両のコンポーネントに由来する、
請求項1から17のいずれか1項に記載のシステム。
【請求項32】
前記車両に影響を与える前記所定の条件は、前記車両の前記コンポーネントの機能性に関連する、
請求項31に記載のシステム。
【請求項33】
前記車両に影響を与える前記所定の条件は、前記車両の前記コンポーネントの機能不全に関連する、
請求項32に記載のシステム。
【請求項34】
前記車両に影響を与える前記所定の条件は、前記車両の前記コンポーネントの劣化に関連する、
請求項33に記載のシステム。
【請求項35】
前記車両の前記コンポーネントは前記車両の車輪のタイヤであり、前記車両に影響を与える前記所定の条件は前記タイヤの摩耗に関連する、
請求項34に記載のシステム。
【請求項36】
前記車両の前記コンポーネントは前記車両の車輪のタイヤであり、前記車両に影響を与える前記所定の条件は前記タイヤの空気抜けに関連する、
請求項34に記載のシステム。
【請求項37】
前記車両に影響を与える前記所定の条件は、前記車両の前記コンポーネントの振動に関連する、
請求項31に記載のシステム。
【請求項38】
前記車両の前記コンポーネントは前記車両のステアリングシステムであり、前記車両に影響を与える前記所定の条件は前記ステアリングシステムのステアリング異常に関連する、
請求項31に記載のシステム。
【請求項39】
前記車両の前記コンポーネントは前記車両のヘッドライトであり、前記車両に影響を与える前記所定の条件は前記車両の前記ヘッドライトの不具合に関連する、
請求項31に記載のシステム。
【請求項40】
前記車両に影響を与える前記所定の条件は、前記車両の前記コンポーネントの設定に関連する、
請求項31に記載のシステム。
【請求項41】
前記車両に関する前記動作は、前記所定の条件に基づく前記車両の自律運転の調整を含む、
請求項1から40のいずれか1項に記載のシステム。
【請求項42】
前記車両の自律運転の前記調整は、前記車両の速度の変化を含む、
請求項41に記載のシステム。
【請求項43】
前記車両に関する前記動作は、前記所定の条件に基づく前記車両のコンポーネントに向けられた信号の生成を含む、
請求項1から40のいずれか1項に記載のシステム。
【請求項44】
前記車両の前記コンポーネントは、前記車両のパワートレインである、
請求項43に記載のシステム。
【請求項45】
前記車両の前記コンポーネントは、前記車両のステアリングシステムである、
請求項43に記載のシステム。
【請求項46】
前記車両の前記コンポーネントは、前記車両のサスペンションである、
請求項43に記載のシステム。
【請求項47】
前記車両に関する前記動作は、前記車両に関するメッセージの伝達を含む、
請求項1から40のいずれか1項に記載のシステム。
【請求項48】
前記車両に関する前記メッセージは、前記車両のユーザインターフェイスに伝えられる、
請求項47に記載のシステム。
【請求項49】
前記車両に関する前記メッセージは、前記車両とは異なる通信装置に伝えられる、
請求項47に記載のシステム。
【請求項50】
前記車両に関する前記メッセージは、前記車両のコンポーネントの機能不全を示す、
請求項47から49のいずれか1項に記載のシステム。
【請求項51】
前記所定の条件は、前記車両に影響を与える複数の所定の条件のうちの1つであり、前記処理エンティティは、前記知覚情報を処理して、前記車両に影響を与える前記所定の条件のうちのいずれかの条件が存在するかどうかを判定し、存在する場合には、存在すると判定された前記所定の条件の各々に基づいて前記車両に関する動作を実行するように構成される、
請求項1から50のいずれか1項に記載のシステム。
【請求項52】
車両の自律運転のためのシステムであって、
カメラ及びライダーセンサを含む前記車両のセンサからデータを受け取るように構成されたインターフェイスと、
少なくとも1つのプロセッサを含む処理エンティティと、
を備え、前記処理エンティティは、
前記センサからの前記データに基づいて、前記車両の環境の3Dモデル及び前記車両の位置に関する情報を含む、前記車両の前記環境及び前記車両の状態の知覚に関する知覚情報を提供し、
前記車両の前記環境の前記3Dモデル及び前記車両の前記位置に関する前記情報に基づいて前記車両を自律的に運転するための制御信号を生成し、
前記知覚情報を処理して、前記知覚情報内の前記車両に影響を与える所定の条件を示すパターンを検出する、
ように構成される、
ことを特徴とするシステム。
【請求項53】
処理装置によって実行可能な、車両の自律運転のための命令を含む非一時的コンピュータ可読媒体であって、前記命令は、前記処理装置によって実行された時に、
カメラ及びライダーセンサを含む前記車両のセンサからデータを受け取り、
前記センサからの前記データに基づいて、前記車両の環境の3Dモデル及び前記車両の位置に関する情報を含む、前記車両の前記環境及び前記車両の状態の知覚に関する知覚情報を提供し、
前記車両の前記環境の前記3Dモデル及び前記車両の前記位置に関する前記情報に基づいて前記車両を自律的に運転するための制御信号を生成し、
前記車両の前記環境の前記3Dモデル及び前記車両の前記位置に関する前記情報に基づいて前記車両を自律的に運転するための前記制御信号を生成する以外に、前記知覚情報を処理して前記車両に影響を与える所定の条件が存在するかどうかを判定し、存在する場合には前記所定の条件に基づいて前記車両に関する動作を実行する、
ことを前記処理装置に行わせる、ことを特徴とする非一時的コンピュータ可読媒体。
【請求項54】
処理装置によって実行可能な、車両の自律運転のための命令を含む非一時的コンピュータ可読媒体であって、前記命令は、前記処理装置によって実行された時に、
カメラ及びライダーセンサを含む前記車両のセンサからデータを受け取り、
前記センサからの前記データに基づいて、前記車両の環境の3Dモデル及び前記車両の位置に関する情報を含む、前記車両の前記環境及び前記車両の状態の知覚に関する知覚情報を提供し、
前記車両の前記環境の前記3Dモデル及び前記車両の前記位置に関する前記情報に基づいて前記車両を自律的に運転するための制御信号を生成し、
前記知覚情報を処理して、前記知覚情報内の前記車両に影響を与える所定の条件を示すパターンを検出する、
ことを前記処理装置に行わせる、ことを特徴とする非一時的コンピュータ可読媒体。
【請求項55】
車両の自律運転のための方法であって、
カメラ及びライダーセンサを含む前記車両のセンサからデータを受け取るステップと、
前記センサからの前記データに基づいて、前記車両の環境の3Dモデル及び前記車両の位置に関する情報を含む、前記車両の前記環境及び前記車両の状態の知覚に関する知覚情報を提供するステップと、
前記車両の前記環境の前記3Dモデル及び前記車両の前記位置に関する前記情報に基づいて前記車両を自律的に運転するための制御信号を生成するステップと、
前記車両の前記環境の前記3Dモデル及び前記車両の前記位置に関する前記情報に基づいて前記車両を自律的に運転するための前記制御信号を生成する以外に、前記知覚情報を処理して前記車両に影響を与える所定の条件が存在するかどうかを判定し、存在する場合には前記所定の条件に基づいて前記車両に関する動作を実行するステップと、
を含むことを特徴とする方法。
【請求項56】
車両の自律運転のための方法であって、
カメラ及びライダーセンサを含む前記車両のセンサからデータを受け取るステップと、
前記センサからの前記データに基づいて、前記車両の環境の3Dモデル及び前記車両の位置に関する情報を含む、前記車両の前記環境及び前記車両の状態の知覚に関する知覚情報を提供するステップと、
前記車両の前記環境の前記3Dモデル及び前記車両の前記位置に関する前記情報に基づいて前記車両を自律的に運転するための制御信号を生成するステップと、
前記知覚情報を処理して、前記知覚情報内の前記車両に影響を与える所定の条件を示すパターンを検出するステップと、
を含むことを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【0001】
〔関連出願との相互参照〕
本出願は、2019年9月22日に出願された米国仮特許出願第62/903,845号に基づく優先権を主張するものであり、この文献は引用により本明細書に組み入れられる。
【0002】
本開示は、自律運転(別名、自動運転)能力を有する車両(例えば、自動車、トラック、バス及びその他の道路車両)に関する。
【背景技術】
【0003】
(例えば、操縦、加速及び/又は減速を自律的に行うことによって)人間の制御を伴わずに走行できる自律運転(すなわち、自動運転)可能な車両が普及してきている。
【0004】
例えば、自動車、トラック及びその他の道路車両は、1又は2以上の先進運転支援システム(ADAS)を使用した部分的運転自動化から完全運転自動化までの様々なレベルの運転自動化(例えば、SAE J3016運転自動化レベルのレベル2~5のうちのいずれか1つ)を特徴とすることができる。
【0005】
これらの車両をどこでどのようにして安全に動かすかを判定し、これに従って車両を動かすようにアクチュエータ(例えば、パワートレイン、ステアリングシステムなど)を制御することによって車両を自律的に走行させるために、様々なセンサ(例えば、カメラ、ライダー(光検出及び測距)装置、レーダー装置、GPS又はその他の位置センサ、慣性計測装置(IMU)など)に基づく、これらの車両による環境及び車両自体(例えば、エゴモーション)のコンピュータ制御知覚(computerized perception)が使用される。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】米国特許第8,818,608号明細書
【特許文献2】米国特許出願公開第2014/0303827号明細書
【特許文献3】米国特許出願公開第2016/0291154号明細書
【非特許文献】
【0007】
【非特許文献1】インターネット<https://waymo.com/tech/>
【非特許文献2】インターネット<https://waymo.com/safetyreport/>
【非特許文献3】Pendleton他著、「自律走行車のための知覚、計画、制御及び協調(Perception,Planning,Control,and Coordination for Autonomous Vehicles)」、MDPI、2017年2月17日
【発明の概要】
【発明が解決しようとする課題】
【0008】
これらの車両によるコンピュータ制御知覚は大きく進歩したが、場合によっては未だ十分に活用されておらず、このためこれらの車両の自律運転の性能、安全性及び/又はその他の属性が準最適なものになっている可能性もある。
【0009】
これらの及びその他の理由で、自律運転能力を有する車両に改善に目を向ける必要がある。
【課題を解決するための手段】
【0010】
様々な態様によれば、本開示は、車両による環境及び車両自体(例えば、そのエゴモーション)などのコンピュータ制御知覚を使用して車両を自律的に運転し、さらには(例えば、車両によって知覚されたもののパターンを検出し又は別様に分析することによって、車両に影響を与えるいくつかの条件が存在すると判定された時に)車両の自律運転を調整し、車両に関するメッセージを伝え、及び/又は車両に関するその他の動作を実行することなどによって、車両の自律運転の性能、安全性及び/又はその他の属性を強化するためにフィードバックを提供することもできる、車両の自律運転又は様々なレベルの運転支援に関する。
【0011】
例えば、1つの態様によれば、本開示は、車両の自律運転又は様々なレベルの運転支援のためのシステムに関する。システムは、とりわけカメラ及びライダーセンサを含む車両のセンサからデータを受け取るように構成されたインターフェイスを含む。システムは、少なくとも1つのプロセッサを含む処理エンティティも含み、処理エンティティは、センサからのデータに基づいて、車両の環境の3Dモデル及び車両の位置に関する情報を含む、車両の環境及び車両の状態の知覚に関する知覚情報を提供し、車両の環境の3Dモデル及び車両の位置に関する情報に基づいて車両を自律的に運転するための制御信号を生成し、車両の環境の3Dモデル及び車両の位置に関する情報に基づいて車両を自律的に運転するための制御信号を生成する以外に、知覚情報を処理して車両に影響を与える所定の条件が存在するかどうかを判定し、存在する場合には所定の条件に基づいて車両に関する動作を実行するように構成される。
【0012】
別の態様によれば、本開示は、車両の自律運転又は様々なレベルの運転支援のためのシステムに関する。システムは、とりわけカメラ及びライダーセンサを含む車両のセンサからデータを受け取るように構成されたインターフェイスを含む。システムは、少なくとも1つのプロセッサを含む処理エンティティも含み、処理エンティティは、センサからのデータに基づいて、車両の環境の3Dモデル及び車両の位置に関する情報を含む、車両の環境及び車両の状態の知覚に関する知覚情報を提供し、車両の環境の3Dモデル及び車両の位置に関する情報に基づいて車両を自律的に運転するための制御信号を生成し、知覚情報を処理して、知覚情報内の車両に影響を与える所定の条件を示すパターンを検出するように構成される。
【0013】
別の態様によれば、本開示は、処理装置によって実行可能な、車両の自律運転又は様々なレベルの運転支援のための命令を含む非一時的コンピュータ可読媒体に関し、この命令は処理装置によって実行された時に、とりわけカメラ及びライダーセンサを含む車両のセンサからデータを受け取り、センサからのデータに基づいて、車両の環境の3Dモデル及び車両の位置に関する情報を含む、車両の環境及び車両の状態の知覚に関する知覚情報を提供し、車両の環境の3Dモデル及び車両の位置に関する情報に基づいて車両を自律的に運転するための制御信号を生成し、車両の環境の3Dモデル及び車両の位置に関する情報に基づいて車両を自律的に運転するための制御信号を生成する以外に、知覚情報を処理して車両に影響を与える所定の条件が存在するかどうかを判定し、存在する場合には所定の条件に基づいて車両に関する動作を実行することを処理装置に行わせる。
【0014】
別の態様によれば、本開示は、処理装置によって実行可能な、車両の自律運転又は様々なレベルの運転支援のための命令を含む非一時的コンピュータ可読媒体に関し、この命令は、処理装置によって実行された時に、とりわけカメラ及びライダーセンサを含む車両のセンサからデータを受け取り、センサからのデータに基づいて、車両の環境の3Dモデル及び車両の位置に関する情報を含む、車両の環境及び車両の状態の知覚に関する知覚情報を提供し、車両の環境の3Dモデル及び車両の位置に関する情報に基づいて車両を自律的に運転するための制御信号を生成し、知覚情報を処理して、知覚情報内の車両に影響を与える所定の条件を示すパターンを検出することを処理装置に行わせる。
【0015】
別の態様によれば、本開示は、車両の自律運転又は様々なレベルの運転支援のための方法に関する。この方法は、とりわけカメラ及びライダーセンサを含む車両のセンサからデータを受け取るステップと、センサからのデータに基づいて、車両の環境の3Dモデル及び車両の位置に関する情報を含む、車両の環境及び車両の状態の知覚に関する知覚情報を提供するステップと、車両の環境の3Dモデル及び車両の位置に関する情報に基づいて車両を自律的に運転するための制御信号を生成するステップと、車両の環境の3Dモデル及び車両の位置に関する情報に基づいて車両を自律的に運転するための制御信号を生成する以外に、知覚情報を処理して車両に影響を与える所定の条件が存在するかどうかを判定し、存在する場合には所定の条件に基づいて車両に関する動作を実行するステップとを含む。
【0016】
別の態様によれば、本開示は、車両の自律運転又は様々なレベルの運転支援のための方法に関する。この方法は、とりわけカメラ及びライダーセンサを含む車両のセンサからデータを受け取るステップと、センサからのデータに基づいて、車両の環境の3Dモデル及び車両の位置に関する情報を含む、車両の環境及び車両の状態の知覚に関する知覚情報を提供するステップと、車両の環境の3Dモデル及び車両の位置に関する情報に基づいて車両を自律的に運転するための制御信号を生成するステップと、知覚情報を処理して、知覚情報内の車両に影響を与える所定の条件を示すパターンを検出するステップとを含む。
【0017】
添付図面と共に実施形態の説明を再検討すれば、当業者には本開示のこれらの及びその他の態様が明らかになるであろう。
【0018】
以下、添付図面を参照しながら実施形態の詳細な説明をほんの一例として示す。
【図面の簡単な説明】
【0019】
図1】自律運転可能な車両の実施形態を示す図である。
図2】車両の環境のシーンの例を示す図である。
図3】車両のコンポーネントの例を示す図である。
図4】車両の制御システムの実施形態を示す図である。
図5】車両の制御システムのコントローラの実施形態を示す図である。
図6】車両の制御システムのコントローラの実施形態を示す図である。
図7】車両の制御システムのコントローラの実施形態を示す図である。
図8】コントローラによって実行されるプロセス例を示す図である。
図9】他の実施形態におけるコントローラの変形例を示す図である。
図10】他の実施形態におけるコントローラの変形例を示す図である。
【発明を実施するための形態】
【0020】
説明及び図面はいくつかの実施形態を例示するためのものにすぎず、理解を支援するものであると明確に理解されたい。これらは限定を意図するものではなく、限定であってもならない。
【0021】
図1図5に、車両10の環境11内の自律運転(すなわち、自動運転)可能な車両10の実施形態を示す。この実施形態では、車両10が道路車両であり、その環境11は道路19を含む。車両10は、公道インフラ(例えば、公道、幹線道路など)の一部である道路19上で人々及び/又は貨物を合法的に運ぶように設計される。この例では、車両10が自動車(例えば、乗用車)である。
【0022】
車両10は、その使用の少なくとも一部について目的地に向けて移動するために自動で操縦、加速及び/又は減速(例えば、制動)を行うことなどによって直接的な人間の制御を伴わずに走行可能であるという点で自律運転可能である。車両10は、いくつかの実施形態では自律運転可能であるが、状況によっては人間のドライバーによって制御又は管理することもできる。従って、車両10は、1又は2以上の先進運転支援システム(ADAS)を使用した部分的運転自動化から完全運転自動化までの様々なレベルの運転自動化(例えば、SAE J3016運転自動化レベルのレベル2~5のうちのいずれか1つ)を特徴とすることができる。
【0023】
以下でさらに説明するように、この実施形態では、車両10による環境11及び車両10自体(例えば、そのエゴモーション)などのコンピュータ制御知覚を使用して車両10を自律的に運転し、さらには(例えば、車両10によって知覚されたもののパターンを検出し又は別様に分析することによって、車両10に影響を与えるいくつかの条件が存在すると判定された時に)車両10の自律運転を調整し、車両10に関するメッセージを伝え、及び/又は車両10に関するその他の動作を実行することなどによって、車両10の自律運転の性能、安全性及び/又はその他の属性を強化するためにフィードバックを提供することもできる。
【0024】
この実施形態では、車両10が、フレーム12と、パワートレイン14と、ステアリングシステム16と、サスペンション18と、車輪20と、キャビン22と、少なくとも使用の一部について車両10を自律的に(すなわち、人間の制御を伴わずに)動作させるように構成された制御システム15とを含む。
【0025】
パワートレイン14は、車輪20が道路19上で車両10を推進するための原動力を含む、車両10のための動力を生成するように構成される。この目的のために、パワートレイン14は、1又は2以上のモータを含む動力源(例えば、原動機)を含む。例えば、いくつかの実施形態では、パワートレイン14の動力源が、内燃エンジン、(例えば、バッテリ駆動式の)電気モータ、又は異なるタイプのモータの組み合わせ(例えば、内燃エンジンと電気モータ)を含むことができる。パワートレイン14は、いずれかの好適な方法で(例えば、トランスミッション、ディファレンシャル、モータに係合(すなわち、直接連結)するシャフト、及び車輪20のうちの所与の車輪を介して)動力源から1又は2以上の車輪20に動力を伝えることができる。
【0026】
ステアリングシステム16は、道路19上で車両10を操縦するように構成される。この実施形態では、ステアリングシステム16が、車両10を所望の方向に動かすために、車輪20のうちの前方車輪を曲げて車両10のフレーム12に対する前方車輪の向きを変化させるように構成される。
【0027】
サスペンション18は、フレーム12と車輪20との間に接続されて、車両10が道路19上を移動する際にフレーム12と車輪20との間の相対的な動きを可能にする。例えば、サスペンション18は、衝撃を吸収して車輪20と道路19との間の静止摩擦の維持を支援することによって、道路19上における車両10の操作を強化することができる。サスペンション18は、1又は2以上のばね、ダンパー及び/又はその他の弾性装置を含むことができる。
【0028】
キャビン22は、車両10の1又は2人以上の乗員によって占有されるように構成される。この実施形態では、キャビン22が車両の1又は2人以上の乗員と相互作用するように構成され、車両10の乗員が車両10にコマンド及び/又はその他の情報を入力できるようにする1又は2以上の入力装置(例えば、一連のボタン、レバー、ダイヤルなど、タッチ画面、マイクなど)を含む入力部と、車両10の乗員に情報を提供する1又は2以上の出力装置(例えば、ディスプレイ、スピーカなど)を含む出力部とを含むユーザインターフェイス70を含む。ユーザインターフェイス70の出力部は、車両10の動作に関連するインジケータ(例えば、スピードメータインジケータ、タコメータインジケータなど)を提供する計器パネル(例えば、ダッシュボード)を含むことができる。
【0029】
制御システム15は、車両10が道路19上でルートに沿って目的地に向かって進んでいる時に、自律運転車両10の操縦、加速及び/又は減速(例えば、制動)を含めて自律的に(すなわち、人間の制御を伴わずに)車両10を動作させるように構成される。具体的には、制御システム15は、とりわけ車両10の環境11及び車両10自体(例えば、エゴモーション)のコンピュータ制御知覚に基づいて道路19上をその目的地に向けて移動するように車両10を制御する動作(操縦、加速、減速などの動作)を実行するコントローラ80及び検知装置82を含む。
【0030】
車両10は、その制御システム15によって走行することができるが、状況によってはキャビン22内の乗員などの人間のドライバーによって制御することもできる。例えば、いくつかの実施形態では、制御システム15が、様々な環境において車両10を自律的に(すなわち、人間の制御を伴わずに)又は人間の制御下で(すなわち、人間のドライバーによって)選択的に動作可能にすることができる(例えば、車両10は、自律動作モード及び人間の制御による動作モードのいずれかで動作することができる)。例えば、この実施形態では、キャビン22のユーザインターフェイス70が、車両10を道路19上で制御するためにキャビン22内の人間のドライバーが操作できる加速装置(例えば、アクセルペダル)、制動装置(例えば、ブレーキペダル)及びステアリング装置(例えば、ハンドル)を含むことができる。
【0031】
コントローラ80は、道路19上での目的地に向けた車両10の操縦、加速及び/又は減速を含む車両10の制御動作を実行するために、検知装置82及び場合によっては他のソースから受け取られた情報を処理するように構成された処理装置である。この実施形態では、コントローラ80が、インターフェイス166と、処理エンティティ168と、メモリ170とを含み、これらは好適なハードウェア及びソフトウェアによって実装される。
【0032】
インターフェイス166は、検知装置82、パワートレイン14、ステアリングシステム16、サスペンション18、及び場合によってはユーザインターフェイス70、通信ネットワーク(例えば、インターネット及び/又はその他の通信のためのセルラー又はその他の無線ネットワーク)を介して及び/又は車両10の近くの1又は2以上の他の車両と通信(すなわち、車両間通信)するように構成された通信インターフェイス68などの他のコンポーネントを含むコントローラ80の接続先の(すなわち、直接的又は間接的な接続先の)他のコンポーネントとの間でコントローラ80が入力信号の受信及び出力信号の送信を行えるようにする1又は2以上の入力部及び出力部(例えば、入力/出力インターフェイス)を含む。コントローラ80は、車両バス58(例えば、コントローラエリアネットワーク(CAN)バス又は他の好適な車両バス)を介して車両10の他のコンポーネントと通信することができる。
【0033】
処理エンティティ168は、コントローラ80の機能性を実装する処理動作を実行する1又は2以上のプロセッサを含む。処理エンティティ168のプロセッサは、メモリ170に記憶されたプログラムコードを実行する汎用プロセッサとすることができる。或いは、処理エンティティ168のプロセッサは、1又は2以上の予めプログラムされたハードウェア又はファームウェア要素(例えば、特定用途向け集積回路(ASIC)、電気的に消去可能なプログラマブルリードオンリメモリ(EEPROM)など)、或いはその他の関連要素を含む特定用途向けプロセッサとすることもできる。
【0034】
メモリ170は、処理エンティティ168によって実行されるプログラムコード及び/又は処理エンティティ168の動作中に使用されるデータ(例えば、マップ、車両パラメータなど)を記憶する1又は2以上の記憶素子を含む。メモリ170の記憶素子は、(例えば、固体メモリを含む)半導体媒体、磁気記憶媒体、光学記憶媒体、及び/又は他のいずれかの好適なタイプのメモリとすることができる。メモリ170の記憶素子は、例えばリードオンリメモリ(ROM)素子及び/又はランダムアクセスメモリ(RAM)素子を含むことができる。
【0035】
いくつかの実施形態では、コントローラ80が、車両10の1又は2以上の他の制御ユニットに関連する(例えば、このような制御ユニットを含み及び/又はこのような制御ユニットと相互作用する)ことができる。例えば、いくつかの実施形態では、コントローラ80が、エンジン制御ユニット(ECU)、トランスミッション制御ユニット(TCU)などの、パワートレイン14のパワートレイン制御ユニットを含み、及び/又はこのようなパワートレイン制御ユニットと相互作用することができる。
【0036】
検知装置82は、車両10の環境11内のオブジェクト32(例えば、人々、動物、他の車両、無生物、信号機及び交通標識などの交通管理装置、他の障害物、車線、自由走行可能エリア、及び/又は他のいずれかの有形の静的又は動的オブジェクト)を含む環境11の側面と、車両10の位置(例えば、場所、向き及び/又は動き)を含む車両10の状態の側面とを検知してこれらの側面を示すデータを生成するように構成されたセンサ90を含み、これらのデータはコントローラ80に提供され、コントローラはこのデータを処理して、車両10がその目的地に向けて移動し続けるために自律的に実行すべき動作を決定することができる。
【0037】
センサ90は、いずれかの好適な検知装置を含むことができる。例えば、いくつかの実施形態では、センサ90が、
- カメラ92、音センサ、光センサなどの1又は2以上のパッシブセンサ、
- ライダー(光検出及び測距)センサ94(例えば、微小電気機械システム(MEMS)ライダー、フラッシュライダー、光位相アレイライダー又は周波数変調連続波(FMCW)ライダーなどの回転機械部品を含まない固体ライダー装置、或いは回転アセンブリを含む機械的ライダー)、レーダーセンサ96、超音波センサなどの1又は2以上のアクティブセンサ、
- (例えば、GPSに基づく)位置センサ98、
- 車両速度センサ97、
- 加速度計、ジャイロスコープなどを含む慣性計測装置(IMU)95、及び/又は、
- 他のいずれかの検知装置、
を含むことができる。
【0038】
車両10は、いずれかの好適な方法で実装することができる。例えば、いくつかの実施形態では、制御システム15を含む車両10を、https://waymo.com/tech/及びhttps://waymo.com/safetyreport/、米国特許第8,818,608号又は米国特許出願公開第2014/0303827号に記載されている技術を使用して、或いは他のいずれかの好適な自律運転技術(例えば、1又は2以上の先進運転支援システム(ADAS))を使用して実装することができ、これらの文献は全て引用により本明細書に組み入れられる。
【0039】
引き続き図5を参照すると、この実施形態では、コントローラ80が、車両10を道路19上で目的地に向けて自律的に運転(例えば、加速、減速、操縦など)して別様に制御する、知覚モジュール50及び運転モジュール54を含む複数のモジュールを含む。様々な実施形態では、これらのモジュールをいずれかの好適な方法で(例えば、引用により本明細書に組み入れられる、Pendleton他、「自律走行車のための知覚、計画、制御及び協調(Perception,Planning,Control,and Coordination for Autonomous Vehicles)」、MDPI、2017年2月17日などに記載されている方法又はいずれかの既知の方法で)実装することができる。
【0040】
知覚モジュール50は、センサ90からのデータに基づいて、車両10の環境11及び車両10の状態の知覚に関する情報210をリアルタイムで提供するように構成される。この「知覚情報」と呼ぶ情報210は、車両10の環境11及び車両の状態(例えば、位置、エゴモーションなど)の知識を伝え、車両10を自律的に運転するために運転モジュール54によって使用される。
【0041】
具体的には、この実施形態では、知覚モジュール50が、センサ90からのデータに基づいて車両10の環境11の3Dモデルを生成するように構成される。この「3D環境モデル」と呼ぶ3Dモデルは、車両10の環境11内のオブジェクト32を含む環境11の表現を提供する情報を含む。3D環境モデルは、これらのオブジェクト32のクラス(すなわち、タイプ)、形状、車両10までの距離、速度、いくつかの基準点に対する位置などの、オブジェクト32の特性を含むことができる。知覚モジュール50は、ディープニューラルネットワーク又はその他の人工ニューラルネットワークなどを使用するフレームベースの処理、セグメンテーション、深層学習又はその他の機械学習アルゴリズムなどのいずれかの好適な既知の技術を使用して、車両10の環境11のシーン内の様々なオブジェクト32を検出して潜在的に分類することができる。
【0042】
いくつかの実施形態では、図6に示すように、知覚モジュール50が、カメラ92、ライダーセンサ94、及び場合によってはレーダーセンサ96などの他のセンサを含むセンサ90のそれぞれのセンサからのデータを融合し、すなわちこれらのデータを組み合わせ、統合して処理するデータ融合を実行するように構成されたセンサデータ融合モジュール55を含むことができる。このようなデータ融合は、いずれかの好適な方法で(例えば、引用により本明細書に組み入れられる米国特許出願公開第2016/0291154号に記載されるような方法又は他のいずれかの既知の方法で)実装することができる。
【0043】
知覚モジュール50は、位置センサ98、車両速度センサ97及びIMU95などのセンサ90からのデータに基づいて車両10の位置特定を実行して車両の位置及び動きを決定することによって、環境11内の車両10の位置に関する情報を生成するようにも構成される。この「位置情報」と呼ぶ情報は、車両10の位置(例えば、場所及び向き)、及び/又は車両の動き(例えば、速度、加速度など)及び/又はエゴモーションとして規定できる車両10の他の運動学的側面などの、車両10の位置に依存する1又は2以上の他のパラメータを示す。
【0044】
従って、この実施形態では、知覚モジュール50によって提供される知覚情報210が、車両10の3D環境モデル及び位置情報を含むとともに、センサ90自体からのデータを含む、センサ90から導出された他の情報を含むことができる。
【0045】
例えば、いくつかの実施形態では、知覚モジュール50を、LeddarTech(登録商標)社(例えば、https://leddartech.com/leddarvision/)から市販されているLeddarVision(商標)、又はその他のいずれかの商用技術によって実装することができる。
【0046】
運転モジュール54は、車両10の3D環境モデル及び位置情報と、場合によっては他の情報とを含む、知覚モジュール50によって提供された知覚情報210に基づいて車両10の運転(例えば、加速、減速、及び/又は操縦)方法を決定し、パワートレイン14、ステアリングシステム16、及び/又は車両10の動き及び/又はその他の動作側面を制御する車両10の他のコンポーネントなどのアクチュエータ70に制御信号を送信することによって車両10を制御するように構成される。
【0047】
例えば、この実施形態では、運転モジュール54が、運転ポリシーを適用し、交通ルールを順守し、(例えば、衝突を避けるために)車両10及び環境11内の他のオブジェクトの軌道に関する予測を行い、及び/又はその他の好適な動作を実行することなどによって車両10のための安全経路を計画する計画モジュール40と、車両10を経路に沿って自律的に動かすための、アクチュエータ70に送信される制御信号を生成する制御モジュール56とを実装することができる。
【0048】
この実施形態では、コントローラ80が、知覚モジュール50によって提供された知覚情報210に基づいて車両10に影響を与える1又は2以上の所定の条件が存在するかどうかを判定し、存在する場合には車両10に影響を与える所定の条件の存在に関する情報240を生成するように構成された条件検出モジュール48を含む。運転モジュール54は、この「検出条件情報」と呼ぶ情報を使用して、車両10の自律運転及び/又はその他の動作の調整、車両10に関するメッセージの伝達、及び/又は車両10の自律運転の性能、安全性及び/又はその他の属性を強化する別の行為などの、車両10に関する1又は2以上の動作を実行することができる。いくつかの事例では、これにより、別の方法では入手できないフィードバックを運転モジュール54に提供し、及び/又は車両10の自律運転のより迅速な調整を可能にすることができる。
【0049】
条件検出モジュール48が検出して検出条件情報240が示すことができる車両10に影響を与える所定の条件のうちの1つは、環境的なもの、すなわち車両10の外部に存在して環境11に由来するものであって、一般にアクチュエータ70に送信されるコマンドを決定するために運転モジュール54が使用するシーン内の関心オブジェクトとは無関係なものとすることができる。関心オブジェクトの例としては、とりわけ隣接する車両及び歩行者が挙げられる。例えば、いくつかの実施形態では、車両10に影響を与える所定の条件のうちの環境的条件が、
- 道路19の形状(例えば、道路の湾曲性又は直線性など)、道路19の状態(例えば、道路19の滑りやすさ、道路19の粗さ、及び/又は道路19の湿り具合又は乾き具合に関連し得る道路19の表面の他の属性、道路19の表面材料(例えば、舗装道路又は未舗装道路、アスファルト、コンクリート、砂利などの舗装のタイプなど)、及び/又は道路19の損傷(例えば、穴)、道路19の道路工事など)、及び/又は道路19の他のいずれかの特性などの、道路19、
- 車両10が(例えば、故意に又は偶然に)進入した可能性があるような車両10の環境11のオフロードエリア、
- 降水量(例えば、雨、みぞれ、雪など)、風(例えば、風速又は風の強さ、風の方向など)、温度、霧、及び/又は環境内の他のいずれかの気象特性などの、車両10の環境11内の気象、
- 光のタイプ(例えば、日光、月光、人工光、屋外、駐車場又はトンネル照明などの屋内など)、光の強度、及び/又はその環境内の他のいずれかの照明特性などの、車両10の環境11内の照明、
- オブジェクト32の密度(例えば、都会又は比較的交通量が多いその他のエリアを示す高密度、郊外、田舎又は比較的交通量が少ないその他のエリアを示す低密度など)、オブジェクト32から車両10までの距離、オブジェクト32及び車両10が互いに到達する(例えば、衝突する)時間、及び/又はその環境内のオブジェクト32の他のいずれかの特性などの、車両10の環境11内のオブジェクト32、及び/又は、
- 車両10の環境11の他のいずれかの側面、
に関連することができる。
【0050】
或いは、検出条件情報は、車両10に関連して車両10が動作する環境11には直接関連しない条件を示すこともできる。条件検出モジュール48が検出して検出条件情報240が示すことができるこれらの条件は、車両的なもの、すなわち車両10に内在するものであって、車両10のパワートレイン14、ステアリングシステム16、サスペンション18、車輪20及び/又は他のいずれかのコンポーネントなどの車両10の1又は2以上のコンポーネントに由来するものである。例えば、いくつかの実施形態では、車両10に影響を与える所定の条件のうちの車両的条件が、
- 車両10のコンポーネントの機能不全(例えば、車両10のコンポーネント(エンジン又はパワートレイン14の他のモータ)の過剰な振動、車両10のコンポーネントの摩耗、損傷又はその他の劣化(例えば、車両10の車輪20のタイヤの空気抜け又は摩耗)、ステアリングシステム16内のステアリング異常(例えば、過剰な動きの自由度)、ヘッドライトの不具合、パワートレイン14、ステアリングシステム16又はサスペンション18によって生じる異常音など)、及び/又は車両10のコンポーネントの他のいずれかの機能障害などの、車両10の1又は2以上のコンポーネントの機能、
- パワートレイン14の出力、ステアリングシステム16の感度(例えば、ハンドルの動き)、サスペンション18の剛性及び/又は減衰、及び/又は車両10の1又は2以上のコンポーネントの設定の他のいずれかの特性などの、車両10の1又は2以上のコンポーネントの設定、及び/又は、
- 車両10の1又は2以上のコンポーネントの他のいずれかの側面、
に関連することができる。
【0051】
従って、条件検出モジュール48によって生成される、車両10に影響を与える1又は2以上の所定の条件を示す検出条件情報240はメンテナンスに関連し、機能不全、或いはメンテナンス又は調整の必要性を示すことができる。
【0052】
例えば、知覚モジュール50によって提供される知覚情報210は、概念的に2つの検出ストリーム、すなわち3D環境モデル内に車両10の動き制御を提供するための短期的アクチュエータコマンドを決定するために運転モジュール54によって使用される出力を有する関心オブジェクトの検出を実行するメイン又は直接ストリームと、一般に短期的な動き制御を決定する関心オブジェクトとは無関係な、又は少なくとも関心オブジェクトの特性とは無関係な環境11内の所定の条件を探す補助ストリームとを実装するものとみなすことができる。いくつかの実施形態では、このような両検出ストリームが、少なくともライダーセンサ94及びカメラ92によって伝えられる情報で運ばれる。換言すれば、ライダーセンサ94及びカメラ92によって収集された情報は、短期的な動き制御のための関心オブジェクトと、より長期的な運転ポリシー及び/又は車両メンテナンスに影響を与える所定の条件とを探すために使用される。
【0053】
従って、知覚モジュール50によって提供される知覚情報210は、3D環境モデルにおける動き制御のための制御信号を生成するため以外にも、車両10に影響を与える1又は2以上の所定の条件を検出するためにさらに処理することができる。
【0054】
この実施形態では、条件検出モジュール48が、車両10に影響を与える1又は2以上の所定の条件が存在するかどうかを判定するために、知覚モジュール50によって出力された知覚情報210内の1又は2以上の所定の条件の存在を示す1又は2以上のパターンを検出するように構成される。これらの「知覚フィンガープリント」と呼ぶ各パターンは、条件検出モジュール48によって生成される検出条件情報240がこの知覚フィンガープリントを伝えるように又はこの知覚フィンガープリントに別様に基づくように、車両10に影響を与える所定の条件を示す。
【0055】
様々な例では、これらの知覚フィンガープリントのうちの所与の1つが、3D環境モデルに存在する(例えば、道路19、気象、照明及び/又は車両10の環境11のその他の側面に関連する所定の条件を示す)パターン、車両10の(例えば、エゴモーションの)位置情報に存在する(例えば、車輪20のタイヤの摩耗又は空気抜け、ステアリングシステム16内のステアリング異常、パワートレイン14のモータの異常な振動、及び/又は車両10の1又は2以上のコンポーネントの別の側面などの、車両10の機能不全に関する所定の条件を示す)パターン、車両10の3D環境モデル及び位置情報の両方に存在するパターン、或いは(例えば、センサ90からのデータにおける)車両10の3D環境モデル及び位置情報のいずれにも存在しないパターンを反映することができる。また、これらの知覚フィンガープリントのうちの所与の1つは、センサ90の異なるセンサのいずれかを個別に検討することによって検出できない、センサ90の異なるセンサの組み合わせからのデータパターンであることもできる。
【0056】
具体的に言えば、この実施形態では、条件検出モジュール48が、知覚モジュール50によって提供された知覚情報210から1又は2以上の知覚フィンガープリントを検出して、条件検出モジュール48によって生成された検出条件情報240がこれらの1又は2以上の知覚フィンガープリントを伝えるように、又はこれらの1又は2以上の知覚フィンガープリントに別様に基づくように仕向けるよう構成された知覚フィンガープリント識別モジュール60を含む。
【0057】
知覚フィンガープリント識別モジュール60は、知覚モジュール50によって提供された知覚情報210から1又は2以上の知覚フィンガープリントを検出するためのいずれかの好適なパターン認識アルゴリズムを実装することができる。例えば、この実施形態では、知覚フィンガープリント識別モジュール60が、人工ニューラルネットワーク、サポートベクターマシン又はその他のいずれかのAIユニットなどの人工知能(AI-機械知能又は機械学習とも呼ばれる)を、知覚モジュール50によって提供された知覚情報210から知覚フィンガープリントを認識するように構成されたソフトウェア、ハードウェア、及び/又はこれらの組み合わせの形で実装する。
【0058】
具体的に言えば、この実施形態では、図7に示すように、知覚フィンガープリント識別モジュール60が、知覚モジュール50によって提供された知覚情報210から1又は2以上の知覚フィンガープリントを検出するように構成された人工ニューラルネットワーク64を含む。人工ニューラルネットワーク64は、ディープニューラルネットワーク(例えば、畳み込み、回帰型など)とすることができ、及び/又はいずれかの既知の種類のニューラルネットワーク技術を使用して実装することができる。
【0059】
人工ニューラルネットワーク64は、知覚モジュール50によって提供された知覚情報210からどのようにして知覚フィンガープリントを検出するかを学習するように構成される。人工ニューラルネットワーク64による学習は、いずれかの既知の教師あり、半教師あり又は教師なし技術を使用して達成することができる。
【0060】
いくつかの実施形態では、人工ニューラルネットワーク64が、3D環境モデル内で探している(知覚情報210の一部と思われるものと同様の)情報及び/又は車両10の位置情報を伝える「訓練」データ、具体的には、検出されるべき、従って車両10に影響を与える1又は2以上の所定の条件を示す1又は2以上の知覚フィンガープリントを含むデータを学習モード中に処理することによって学習することができる。例えば、所定の関心条件を特徴とする状況では、車両10のセンサ90、知覚モジュール50及び人工ニューラルネットワーク64と同様のセンサ、知覚モジュール及び人工ニューラルネットワークを有する訓練車両を走行させることによって、訓練車両の知覚モジュールが、これらの所定の条件を示す知覚フィンガープリント(すなわち、パターン)を含む訓練データを生成し、訓練車両の人工ニューラルネットワークが、この訓練データを処理することによってこれらの知覚フィンガープリントを識別するように学習することができる。
【0061】
例えば、いくつかの実施形態では、検出されるべき所定の条件が、悪路、舗装道路、滑りやすい道路、曲がりくねった道路、強風、大雪、みぞれ、人工光、摩耗したタイヤ、空気の抜けたタイヤ、モータ(例えば、エンジン)の振動異常、ヘッドライトの不具合、ステアリングの異常、異常音、又はこれらの組み合わせ(例えば、強風時の悪路、強風時の滑りやすい道路、滑りやすい曲がりくねった道路、強風時の滑りやすい曲がりくねった道路、人工光の中での滑りやすい道路、滑りやすい道路での摩耗したタイヤ、悪路での空気の抜けたタイヤ、ヘッドライト不具合時の人工光など)、又は他のいずれかの検出されるべき所定の条件を含む場合、学習モードは、これらの所定の条件のうちの各所与の条件について、この所与の所定の条件によって特徴付けられる1又は2以上の状況(例えば、1又は2以上の悪路、1又は2以上の舗装道路、1又は2以上の滑りやすい道路、1又は2以上の曲がりくねった道路、強風を伴う1又は2以上の気象イベント、大雪を伴う1又は2以上の気象イベント、みぞれを伴う1又は2以上の気象イベント、1又は2以上のエリアにおいて人工光、1又は2以上の摩耗したタイヤ、1又は2以上の空気の抜けたタイヤ、1又は2以上のステアリング異常、1又は2以上の異常なモータ振動、1又は2以上の異常音を伴う状況など)において訓練車両を運転することを伴うことにより、訓練車両の知覚モジュールが、この所与の所定の条件を示す知覚フィンガープリントを含む訓練知覚情報を生成し、訓練車両の人工ニューラルネットワークが、この知覚フィンガープリントを識別するように学習することができる。
【0062】
従って、いくつかの実施形態では、知覚フィンガープリント識別モジュール60によって検出可能な知覚フィンガープリント、及びこれらが示す車両10に影響を与える所定の条件をライブラリ又はその他のデータベース内に維持することができる。いくつかの事例では、知覚フィンガープリント識別モジュール60が、それまで見たことがない知覚フィンガープリントを識別しようと試みることができ、この場合、知覚フィンガープリント識別モジュール60は、この知覚フィンガープリントが以前に遭遇した知覚フィンガープリントに対して異なる又は異常であると判定することができる。例えば、ニューラルネットワークの実装では、知覚フィンガープリントを、ニューラルネットワークがセンサデータを調べることによって検出するように訓練されるクラスの情報とすることができる。図6及び図7の実施形態では、知覚フィンガープリント識別モジュール60が、モジュール60が知覚情報210内で識別できる数ある環境のうちの車両10が動作する現在の環境11を区別する知覚フィンガープリントを継続的に出力することができる。
【0063】
この知覚フィンガープリントは、車両10のアクチュエータ70に送信される信号を調整するための運転モジュール54へのさらなる入力として使用することができる。従って、運転モジュール54は、具体的には短期的な動き制御を決定する関心オブジェクト情報、及び短期的な動き制御を決定する実際のルールを調整する環境入力という、いずれも同じ知覚情報210に由来する2つの入力を使用する。例えば、センサによって生成された情報が滑りやすい道路に関連するフィンガープリントに分類されることが環境入力によって示される場合、この入力は、運転モジュール54によって決定される短期的な動き制御に影響を与えるものであり、従って例えばステアリング入力、スロットル入力及びブレーキ入力が、予想される滑りやすい路面を考慮するように異なって調整される。
【0064】
条件検出モジュール48の人工ニューラルネットワーク64は、たとえセンサ90が直接所定の条件を測定するように設計されていない場合でも、知覚モジュール50によって提供された知覚情報210から車両10に影響を与える所定の条件を示す知覚フィンガープリントを識別するように訓練することができる。例えば、いくつかの実施形態では、人工ニューラルネットワーク64によるパターンの分類が、フィンガープリントを伴う振動及び固有振動数と荒れた路面及び影響を与える恐れがある車両10の外部のその他の現象とを分離又は区別することできるので、この分類が振動源を示す時には、パワートレイン14のモータ(例えば、エンジン)の振動を車両10の(例えば、エゴモーションの)位置情報の異常パターンとして、又は知覚情報210内のIMU95からの信号として識別することができる。
【0065】
従って、図8をさらに参照すると、この実施形態では、コントローラ80が以下のようなプロセスを実装することができる。
【0066】
知覚モジュール50は、センサ90からのデータに基づいて3D環境モデル及び車両10の位置情報を含む位置情報210を生成し、運転モジュール54は、知覚情報210を使用して車両10の運転(例えば、加速、減速及び操縦)方法を決定して(例えば、パワートレイン14、ステアリングシステム16などの)アクチュエータ70に信号を送出し、車両10はこの信号に従って自律的に運転されるようになる。
【0067】
一方で、条件検出モジュール48は、知覚モジュール50によって提供された知覚情報210を処理して、車両10に影響を与える1又は2以上の所定の条件を示す1又は2以上の知覚フィンガープリントがこの情報に含まれているかどうかを判定する。条件検出モジュール48が、車両10に影響を与える1又は2以上の所定の条件を示す1又は2以上の知覚フィンガープリントを検出した場合、条件検出モジュール48によって生成される検出条件情報240は、これらの1又は2以上の知覚フィンガープリントを伝え、又はこれらの1又は2以上の知覚フィンガープリントに別様に基づく。
【0068】
運転モジュール54は、車両10に影響を与える所定の条件を示す1又は2以上の知覚フィンガープリントを伝える、又はこれらの1又は2以上の知覚フィンガープリントに別様に基づく検出条件情報240を使用して、車両10に関する1又は2以上の動作を実行する。
【0069】
例えば、いくつかの実施形態では、運転モジュール54が、条件検出モジュール48によって検出された知覚フィンガープリントに基づいて車両10の自律運転及び/又はその他の動作を調整することができる。例えば、いくつかの事例では、検出された(単複の)知覚フィンガープリントが、道路19が荒れていること、滑りやすいこと及び/又は曲がりくねっていること、強風が吹いていること、車輪20のうちの1つ又は2つ以上が摩耗している又は空気が抜けていること、パワートレイン14のモータ(例えば、エンジン)が異常に振動していること、ステアリングシステム16内にステアリング異常があることなどを示す場合、運転モジュール54は、短期アクチュエータコマンドを決定し、車両10をより低速で自律的に運転し(例えば、真っ直ぐ進む際及び/又は曲がる際に車両10の速度を落とし)、サスペンション18の剛性を低減し又は減衰を高めるようにロジックを調整することができる。これとは逆に、検出された(単複の)知覚フィンガープリントが、道路19がなだらかであること、乾いていること及び/又は真っ直ぐであること、強風が吹いていないことなどを示す場合、運転モジュール54は、車両10をより高速で自律的に運転し(例えば、真っ直ぐ進む際及び/又は曲がる際に車両10の速度を上げ)、サスペンションの剛性を高め又は減衰を低下させるように短期制御ロジックを調整することができる。運転モジュール54は、車両10の自律運転をこのように調整する信号をパワートレイン14、ステアリングシステム16及び/又はサスペンション18などのアクチュエータ70に送出することができる。
【0070】
別の例として、いくつかの実施形態では、運転モジュール54が、条件検出モジュール48によって検出された(単複の)知覚フィンガープリントに基づいて、個人(例えば、車両10のユーザ)又はコンピュータ装置などに車両10に関するメッセージを伝えることができる。このメッセージは、車両10の1又は2以上のコンポーネントの機能不全又は別の問題を示すことができる。例えば、いくつかの事例では、検出された(単複の)知覚フィンガープリントが、車輪20の1又は2以上のタイヤが摩耗しており又は空気が抜けていること、1又は2以上のヘッドライトが作動していないこと、パワートレイン14のモータ(例えば、エンジン)が異常に振動していること、ステアリングシステム16内にステアリング異常があることなどを示す場合、運転モジュール54は、車両10に対してメンテナンス、修理又はその他のサービスを行うべきである旨の通知を伝えることができる。いくつかの事例では、車両10に関するメッセージを車両10のユーザインターフェイス70に伝えることができる。他の実施形態では、車両10に関するメッセージを、車両10の通信インターフェイス68を介して異なる(すなわち、車両10の一部ではなく、場合によっては車両10の外部の)通信装置(例えば、スマートフォン又はコンピュータ)に伝えることができる。
【0071】
他の実施形態では、条件検出モジュール48を、車両10に影響を与える1又は2以上の所定の条件が存在するかどうかを他の様々な方法で判定するように構成することができる。
【0072】
例えば、いくつかの実施形態では、図9に示すように、車両10に影響を与える1又は2以上の所定の条件が存在するかどうかを判定するために、条件検出モジュール48を、知覚モジュール50によって提供された知覚情報210と、コントローラ80が利用できる、3D環境モデル及び車両10の(例えば、エゴモーションの)位置情報とは異なる他の情報350とを比較するように構成することができる。この「知覚非依存参考情報」と呼ぶ情報350は、3D環境モデル及び車両10の位置情報を生成するために使用されるセンサ90とは無関係な1又は2以上のソースから取得することができる。条件検出モジュール48は、知覚情報210が知覚非依存参考情報350に一致しないと判定すると、車両10に影響を与える所定の条件が存在すると判定して、この所定の条件を示す有効な検出条件情報240を生成し、運転モジュール54は、上述したようにこの情報を使用して車両10の自律運転及び/又はその他の動作の調整、或いは車両10に関するメッセージの伝達などの車両10に関する1又は2以上の動作を実行することができる。
【0073】
いくつかの実施形態では、車両10に関する(例えば、車両の環境11及び/又は車両10の1又は2以上の動作面に関する)予測を表すデータ67から知覚非依存参考情報350を導出して、これをコントローラ80のメモリ70に記憶し、通信インターフェイス68を介して受け取り、又はコントローラ80が別様に利用することができる。
【0074】
一例として、いくつかの実施形態では、車両10の場所を表すマップ65(例えば、高解像度マップ)から知覚非依存参考情報350を導出して、これをコントローラ80のメモリ70に記憶し、通信インターフェイス68を介して受け取り、又はコントローラ80が別様に利用することができる。マップ65は、車両10が特定の場所で遭遇すると予想すべき道路19の路面の種類(例えば、舗装道路、未舗装道路、開けた平野、砂浜など)などの知覚非依存参考情報350を提供することができる。運転モジュール54は、このマップ65によって提供された情報に基づいて車両10を制御することができる。
【0075】
条件検出モジュール48は、知覚モジュール50によって提供された知覚情報210とマップ65によって提供された知覚非依存参考情報350とを比較することによって、(3D環境モデル及び/又は車両10のエゴモーションに基づいて)知覚モジュール50によって知覚された道路19の表面が実際にマップ65によって予測される通りであるかどうかを判定し、そうでなければ実際に道路19の表面がどのようなものであるかを示すように検出条件情報240を生成することができる。この結果、運転モジュール54は、検出条件情報240に基づいて車両10の自律運転を調整すべきであるかどうか及び調整方法を決定することができる。例えば、運転モジュール54は、検出条件情報240に基づいて、推定されるアクチュエータ70のアクチュエータ設定が運転の円滑性及び安全性にとって不適切(例えば、準最適又は不十分)であると判定した場合、これに応じてこの設定を調整する信号をアクチュエータ70に送信することができる。
【0076】
別の例として、いくつかの実施形態では、車両10の周囲の予想される照明(例えば、光及び影)を表す照明モデル34から知覚非依存参考情報350を導出して、これをコントローラ80のメモリ70に記憶し、通信インターフェイス68を介して受け取り、又はコントローラ80が別様に利用することができる。
【0077】
条件検出モジュール48は、(例えば、カメラ92からの画像に基づいて)知覚モジュール50によって提供された知覚情報210によって伝えられる実際の照明と、知覚非依存参考情報350の照明モデル34によって指定される予想照明とを比較することにより、知覚モジュール50によって知覚された実際の照明が実際に照明モデル34によって予測される通りであるかどうかを判定し、そうでなければ実際の照明を示すように検出条件情報240を生成する。この結果、運転モジュール54は、検出条件情報240に基づいて車両10の自律運転を調整すべきであるかどうか及び調整方法を決定することができる。例えば、運転モジュール54は、検出条件情報240に基づいて、アクチュエータ70の設定が運転の円滑性及び安全性にとって不適切(例えば、準最適又は不十分)であると判定した場合、これに応じてこの設定を調整する信号をアクチュエータ70に送信することができる。これに代えて又はこれに加えて、運転モジュール54は、車両10に対してメンテナンス又はその他のサービスを実行すべき旨を示すメッセージを送信することもできる。
【0078】
いくつかの実施形態では、図10に示すように、パワートレイン14、ステアリングシステム16、サスペンション18、及び/又は車両10の動きを制御する他のいずれかのコンポーネントから知覚非依存参考情報350を導出することができる。例えば、いくつかの実施形態では、知覚非依存参考情報350が、車両バス58(例えば、CANバス)上で報告されるような、ステアリングシステム16によって行われる車輪20のうちの操縦される車輪のステアリング動作を示すことができる一方で、知覚モジュール50によって提供された知覚情報210に含まれる車両10のエゴモーションを使用して、車輪20のうちの操縦される車輪の知覚された(例えば、過去の)ステアリング動作を推定することができる。
【0079】
条件検出モジュール48は、知覚されたハンドルの動きを報告されたハンドルの動きと比較することにより、知覚モジュール50によって知覚されたハンドルの動きが実際に車両バス58上で報告されたハンドルの動きに対応するかどうかを判定し、そうでなければ実際のハンドルの動きを示すように検出条件情報240を生成する。この結果、運転モジュール54は、検出条件情報240に基づいて車両10の自律運転を調整すべきであるかどうか及び調整方法を決定することができる。例えば、運転モジュール54は、検出条件情報240に基づいて、ステアリングシステム16内のアクチュエータ70のそれぞれのアクチュエータの推定されるアクチュエータ設定が操縦性にとって不適切(例えば、準最適又は不十分)であると判定した場合、これに応じてこの設定を調整する信号をこれらのアクチュエータ70に送信することができる。これに代えて又はこれに加えて、運転モジュール54は、車両10に対してメンテナンス又はその他のサービスを実行すべき旨を示すメッセージを送信することもできる。
【0080】
別の例として、いくつかの実施形態では、車両10に影響を与える1又は2以上の所定の条件が存在するかどうかを判定するために、条件検出モジュール48を、知覚モジュール50によって提供された知覚情報210の時間的変化(時間の変化)をモニタするように構成することができる。例えば、条件検出モジュール48は、3D環境モデルに依存するパラメータの時間的変化をモニタし、これらの3D環境モデルのパラメータのうちの車両10に影響を与える所定の条件を示すとみなされる1つ又は2つ以上のパラメータが所定の方法で時間と共に変化したことを観察すると、この所定の条件を示すように検出条件情報240を生成し、運転モジュール54は、上述したようにこの情報を使用して車両10の自律運転及び/又はその他の動作の調整、或いは車両10に関するメッセージの伝達などの車両10に関する1又は2以上の動作を実行することができる。
【0081】
例えば、いくつかの実施形態では、条件検出モジュール48が、3D環境モデルの時間に依存する統計的挙動をモニタすることができる。例えば、車両10の環境11内のオブジェクト32の「障害物までの距離」又は「衝突までの時間」の分布をモニタすることができる。所与の運転シナリオにおける望ましい挙動は、この分布への変化が低速でスムーズ(例えば、閾値比率未満)であることと考えられる。運転モジュール54による車両10の制御は運転ポリシーによって決定され、環境モデル分布の統計を追跡することは、異なるポリシーを評価してこれらのポリシー同士を調整するのに役立つことができる。
【0082】
別の変形例では、知覚フィンガープリントを、動き制御に影響を与えることなく車両メンテナンス目的のみに使用することができる。このような事例では、知覚フィンガープリント識別モジュール60が、カメラ及びライダーデータに加えて、特定の機能不全又は駆動系条件を検出するように構成された駆動系センサから入力を受け取ることができる。この事例では、条件検出モジュール48がより高いレベルの障害検出知能を提供し、駆動系センサによって報告された障害条件の実際の影響が3D環境モデル内で観察された時にメンテナンスメッセージをトリガする。
【0083】
上記で検討した実施形態では車両10が地上を移動するが、他の実施形態では車両10が地上以外を移動することができる。例えば、他の実施形態では、車両10が飛行(例えば、配送用ドローン又はその他の無人空中輸送手段、空飛ぶ車又はその他の個人用航空機など)又は水上移動(例えば、水上タクシー又はその他の船舶)することができ、従って「運転」は、一般に車両10の進路の操作、制御及び方向付けを意味する。
【0084】
いくつかの実施形態の動作にとって必要となり得る特定の追加要素は当業者の範囲内に含まれると思われるので、これらの要素については説明又は図示していない。さらに、いくつかの実施形態は、本明細書で具体的に開示していないいずれかの要素を含んでおらず、このような要素を欠いており、又はこのような要素を伴わずに機能することができる。
【0085】
いくつかの実装例では、本明細書で説明したいずれかの実施形態のいずれかの特徴を本明細書で説明した他のいずれかの実施形態のいずれかの特徴と組み合わせることができる。
【0086】
本明細書で使用する用語と引用により本明細書に組み入れられるいずれかの文書で使用されている用語との間にいずれかの矛盾、不一致又はその他の差異がある場合には、本明細書で使用する用語の意味を優先して使用すべきである。
【0087】
様々な実施形態及び実施例を提示したが、この提示は説明を目的とするものであって限定ではない。当業者には様々な修正及び強化が明らかになるであろう。
【符号の説明】
【0088】
10 車両
11 環境
12 フレーム
14 パワートレイン
15 制御システム
16 ステアリングシステム
18 サスペンション
19 道路
20 車輪
22 キャビン
70 ユーザインターフェイス
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
【国際調査報告】