ホーム > 特許ランキング > ウェイモ エルエルシー
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-19
(45)【発行日】2024-09-30
(54)【発明の名称】車両センサ視野ボリュームの調整
(51)【国際特許分類】
H04N 23/60 20230101AFI20240920BHJP
B60W 60/00 20200101ALI20240920BHJP
B60W 40/02 20060101ALI20240920BHJP
B60W 50/02 20120101ALI20240920BHJP
B60W 50/04 20060101ALI20240920BHJP
G01S 17/86 20200101ALI20240920BHJP
【ＦＩ】
H04N23/60 500
B60W60/00
B60W40/02
B60W50/02
B60W50/04
G01S17/86
【請求項の数】
20
(21)【出願番号】P 2022536531
(86)(22)【出願日】2020-12-18
(65)【公表番号】
(43)【公表日】2023-02-21
(86)【国際出願番号】 US2020065952
(87)【国際公開番号】W WO2021133664
(87)【国際公開日】2021-07-01
【審査請求日】2022-08-09
(31)【優先権主張番号】17/126,231
(32)【優先日】2020-12-18
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/952,879
(32)【優先日】2019-12-23
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】317015065
【氏名又は名称】ウェイモ エルエルシー
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100126480
【弁理士】
【氏名又は名称】佐藤 睦
(72)【発明者】
【氏名】ヴァーギーズ，サイモン
(72)【発明者】
【氏名】マコーリー，アレクサンダー
【審査官】登丸 久寿
(56)【参考文献】
【文献】特開２０１６－０５８９１２（ＪＰ，Ａ）
【文献】特開２０１９－１０２９２９（ＪＰ，Ａ）
【文献】特開２０１４－０５２３４７（ＪＰ，Ａ）
【文献】特開２０１８－１０９５３５（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１７／０３２８７２９（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０２０／００６４４８３（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ２３／６０
Ｂ６０Ｗ ６０／００
Ｂ６０Ｗ ４０／０２
Ｂ６０Ｗ ５０／０２
Ｂ６０Ｗ ５０／０４
Ｇ０１Ｓ １７／８６
(57)【特許請求の範囲】
【請求項1】
方法であって、自律車両に関連付けられた１つ以上のセンサから、第１の環境条件の間の前記自律車両の環境内の対象物体に関連付けられたセンサデータを受信することであって、前記１つ以上のセンサのうちの少なくとも１つのセンサが、複数の動作視野ボリュームのうちの１つに関連付けられるように構成可能であり、各動作視野ボリュームは、前記少なくとも１つのセンサが最小の信頼レベルで前記自律車両の外部の物体を検出すると予想される空間を表し、前記少なくとも１つのセンサのうちの特定のセンサが、現在、前記複数の動作視野ボリュームのうちの第１の動作視野ボリュームに関連付けられていることと、
前記センサデータに基づいて、前記対象物体に関連付けられた少なくとも１つのパラメータを決定することと、
前記センサデータと過去のセンサデータとの間の前記少なくとも１つのパラメータの劣化を決定することであって、前記過去のセンサデータが、前記第１の環境条件とは異なる第２の環境条件の間の前記環境内の前記対象物体に関連付けられていることと、
前記少なくとも１つのパラメータの前記決定された劣化に基づいて、前記少なくとも１つのセンサの前記動作視野ボリュームを、前記複数の動作視野ボリュームのうちの異なる動作視野ボリュームに調整することであって、前記少なくとも１つのセンサの前記動作視野ボリュームを調整することが、
前記少なくとも１つのパラメータの前記決定された劣化に基づいて、前記特定のセンサのために前記複数の動作視野ボリュームのうちの第２の動作視野ボリュームを選択することであって、前記第２の動作視野ボリュームが、前記第１の動作視野ボリュームとは異なることと、
前記特定のセンサの前記動作視野ボリュームを前記第２の動作視野ボリュームとなるように調整することと、
を含むことと、を含む、方法。
【請求項2】
前記劣化を決定することが、前記１つ以上のセンサのうちの第１のセンサの前記センサデータに基づいており、前記特定のセンサが、前記１つ以上のセンサのうちの第２のセンサである、請求項１に記載の方法。
【請求項3】
前記第１のセンサが、カメラであり、前記第２のセンサが、ＬＩＤＡＲセンサである、請求項２に記載の方法。
【請求項4】
前記第１のセンサが、ＬＩＤＡＲセンサであり、前記第２のセンサが、カメラである、請求項２に記載の方法。
【請求項5】
前記第１のセンサおよび前記第２のセンサが、前記自律車両に対して異なる位置にある同じタイプのセンサである、請求項２に記載の方法。
【請求項6】
前記第１の環境条件が、雨の条件、霧の条件、または雪の条件のうちの１つ以上であり、前記第２の環境条件が、晴天の条件である、請求項１に記載の方法。
【請求項7】
前記センサデータおよび前記過去のセンサデータが、各々、１日の同じ時刻または１日の同じ時間帯の間の前記対象物体に関連付けられている、請求項１に記載の方法。
【請求項8】
方法であって、自律車両に関連付けられた１つ以上のセンサから、第１の環境条件の間の前記自律車両の環境内の対象物体に関連付けられたセンサデータを受信することであって、前記１つ以上のセンサが、１つ以上のカメラを含み、前記センサデータが、１つ以上の画像を含み、前記１つ以上のセンサのうちの少なくとも１つのセンサが、複数の動作視野ボリュームのうちの１つに関連付けられるように構成可能であり、各動作視野ボリュームは、前記少なくとも１つのセンサが最小の信頼レベルで前記自律車両の外部の物体を検出すると予想される空間を表すことと、
前記センサデータに基づいて、前記対象物体に関連付けられた少なくとも１つのパラメータを決定することと、
前記センサデータと過去のセンサデータとの間の前記少なくとも１つのパラメータの劣化を決定することであって、前記過去のセンサデータが、１つ以上の過去の画像を含み、前記過去のセンサデータが、前記第１の環境条件とは異なる第２の環境条件の間の前記環境内の前記対象物体に関連付けられ、前記少なくとも１つのパラメータが、前記１つ以上の画像内に示されている前記対象物体と空の領域とを比較する値を含むことと、
前記少なくとも１つのパラメータの前記決定された劣化に基づいて、前記少なくとも１つのセンサの前記動作視野ボリュームを、前記複数の動作視野ボリュームのうちの異なる動作視野ボリュームに調整することと、
を含む、方法。
【請求項9】
前記値が、コントラスト比である、請求項８に記載の方法。
【請求項10】
前記１つ以上の画像の第１のフーリエ変換を計算することと、前記１つ以上の過去の画像の第２のフーリエ変換を計算することと、
前記対象物体に対応する前記第１のフーリエ変換内の１つ以上の第１の領域と、前記対象物体に対応する前記第２のフーリエ変換内の１つ以上の第２の領域との１つ以上の比率を計算することと、をさらに含み、
前記センサデータと前記過去のセンサデータとの間の前記少なくとも１つのパラメータの前記劣化を決定することが、前記計算された１つ以上の比率に基づいて、さらに前記１つ以上のカメラまでの前記対象物体の距離に基づいて、前記対象物体と前記空の領域との間の前記コントラスト比の劣化を決定することを含む、請求項９に記載の方法。
【請求項11】
前記１つ以上の画像の第１のフーリエ変換を計算することと、前記１つ以上の過去の画像の第２のフーリエ変換を計算することと、
（ｉ）前記対象物体に対応し、さらに、前記１つ以上のカメラまでの前記対象物体の距離とほぼ同じ前記１つ以上のカメラまでの距離に位置する、前記環境の他の部分に対応する、前記第１のフーリエ変換内の第１の複数の領域と、（ｉｉ）前記対象物体に対応し、さらに前記環境の前記他の部分に対応する、前記第２のフーリエ変換内の第２の複数の領域との複数の比率を計算することであって、前記第１の複数の領域および前記第２の複数の領域が、同じ領域の数量を有することと、
前記複数の比率の和を前記領域の数量で割ったものとして平均比率を計算することと、をさらに含み、
前記センサデータと前記過去のセンサデータとの間の前記少なくとも１つのパラメータの前記劣化を決定することが、前記計算された平均比率に基づいて、さらに前記１つ以上のカメラまでの前記対象物体の前記距離に基づいて、前記対象物体と前記空の領域との間の前記コントラスト比の劣化を決定することを含む、請求項９に記載の方法。
【請求項12】
二次元エッジ検出カーネルを前記１つ以上の画像と畳み込み、前記１つ以上の画像の第１のエッジ強度を決定することと、前記二次元エッジ検出カーネルを前記１つ以上の過去の画像と畳み込み、前記１つ以上の過去の画像の第２のエッジ強度を決定することと、
前記対象物体に対応する前記１つ以上の画像の１つ以上の第１の領域の各々における前記第１のエッジ強度を足し合わせることと、
前記対象物体に対応する前記１つ以上の過去の画像の１つ以上の第２の領域の各々における前記第２のエッジ強度を足し合わせることと、
前記１つ以上の第１の領域の各々における前記足し合わされた第１のエッジ強度と、前記１つ以上の第２の領域の各々における前記足し合わされた第２のエッジ強度との１つ以上の比率を計算することと、をさらに含み、
前記センサデータと前記過去のセンサデータとの間の前記少なくとも１つのパラメータの前記劣化を決定することが、前記計算された１つ以上の比率に基づいて、さらに前記対象物体までの前記１つ以上のカメラの距離に基づいて、前記対象物体と前記空の領域との間の前記コントラスト比の劣化を決定することを含む、請求項９に記載の方法。
【請求項13】
二次元エッジ検出カーネルを前記１つ以上の画像と畳み込み、前記１つ以上の画像の第１のエッジ強度を決定することと、前記二次元エッジ検出カーネルを前記１つ以上の過去の画像と畳み込み、前記１つ以上の過去の画像の第２のエッジ強度を決定することと、
前記対象物体に対応し、さらに、前記１つ以上のカメラまでの前記対象物体の距離とほぼ同じ前記１つ以上のカメラまでの距離に位置する前記環境の他の部分に対応する、前記１つ以上の画像の第１の複数の領域の各々における前記第１のエッジ強度を足し合わせることと、
前記対象物体に対応し、さらに前記環境の前記他の部分に対応する前記１つ以上の過去の画像の第２の複数の領域の各々における前記第２のエッジ強度を足し合わせることであって、前記第１の複数の領域および前記第２の複数の領域が、同じ領域の数量を有することと、
前記第１の複数の領域における前記足し合わされた第１のエッジ強度と、前記第２の複数の領域における前記足し合わされた第２のエッジ強度との複数の比率を計算することと、
前記複数の比率の和を前記領域の数量で割ったものとして平均比率を計算することと、をさらに含み、
前記センサデータと前記過去のセンサデータとの間の前記少なくとも１つのパラメータの前記劣化を決定することが、前記計算された平均比率に基づいて、さらに前記１つ以上のカメラまでの前記対象物体の前記距離に基づいて、前記対象物体と前記空の領域との間の前記コントラスト比の劣化を決定することを含む、請求項９に記載の方法。
【請求項14】
前記１つ以上のセンサが、１つ以上のカメラを含み、前記センサデータが、１つ以上の画像を含み、
前記過去のセンサデータが、１つ以上の過去の画像を含み、
前記少なくとも１つのパラメータが、前記１つ以上の画像内の前記対象物体のエッジを前記１つ以上の画像の別の領域と比較する値を含む、請求項１に記載の方法。
【請求項15】
前記１つ以上のセンサが、１つ以上のＬＩＤＡＲセンサを含み、前記センサデータが、ＬＩＤＡＲデータを含み、
前記過去のセンサデータが、過去のＬＩＤＡＲデータを含み、
前記少なくとも１つのパラメータが、前記対象物体から反射されたレーザビームからのＬＩＤＡＲ強度を含む、請求項１に記載の方法。
【請求項16】
前記１つ以上のセンサが、１つ以上のカメラをさらに含み、前記センサデータと前記過去のセンサデータとの間の前記少なくとも１つのパラメータの前記劣化を決定することが、前記ＬＩＤＡＲデータと前記過去のＬＩＤＡＲデータとの間の、前記対象物体から反射されたレーザビームからの前記ＬＩＤＡＲ強度の劣化を決定することを含み、
前記少なくとも１つのセンサの前記動作視野ボリュームを調整することが、前記ＬＩＤＡＲ強度の前記決定された劣化に基づいて、前記１つ以上のカメラのうちの少なくとも１つ、および前記１つ以上のＬＩＤＡＲセンサのうちの少なくとも１つの前記動作視野ボリュームを調整することを含む、請求項１５に記載の方法。
【請求項17】
前記自律車両に関連付けられた前記１つ以上のセンサが、前記自律車両に取り付けられたセンサからなる、請求項１に記載の方法。
【請求項18】
前記少なくとも１つのセンサが、前記自律車両に取り付けられており、前記自律車両に関連付けられた前記１つ以上のセンサが、異なる自律車両に取り付けられた少なくとも１つのセンサをさらに含む、請求項１に記載の方法。
【請求項19】
前記自律車両に関連付けられた前記１つ以上のセンサが、前記自律車両が走行しているか、または走行するように経路設定されている道路沿いの静止物体に取り付けられたセンサを含む、請求項１に記載の方法。
【請求項20】
前記過去のセンサデータが、前記１つ以上のセンサから受信された、請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本開示は、２０１９年１２月２３日に提出された米国仮出願第６２／９５２，８７９号の優先権を主張する２０２０年１２月１８日に提出された米国非仮出願第１７／１２６，２３１号の優先権を主張し、その内容は参照によりその全体が本明細書に組み込まれる。本開示はまた、米国仮出願第６２／９５２，８７９号の優先権を主張する２０２０年８月２５日に提出された米国特許出願第１７／００２，０９２号に関連する。米国特許出願第１７／００２，０９２号の内容全体は、参照により本明細書に組み込まれる。
本開示は、２０１９年１２月２３日に提出された米国仮出願第６２／９５２，８７９号の優先権を主張する２０２０年１２月１８日に提出された米国非仮出願第１７／１２６，２３１号の優先権を主張し、その内容は参照によりその全体が本明細書に組み込まれる。本開示はまた、米国仮出願第６２／９５２，８７９号の優先権を主張する２０２０年８月２５日に提出された米国特許出願第１７／００２，０９２号に関連する。米国特許出願第１７／００２，０９２号の内容全体は、参照により本明細書に組み込まれる。
【背景技術】
【0002】
車両は、運転手からの入力がほとんどないか、または全くない状態であっても、車両が環境を通ってナビゲートする自律モードで動作するように構成され得る。そのような自律走行車は、車両が動作する環境に関する情報を検出するように構成されている１つ以上のシステム（例えば、センサおよび関連するコンピューティングデバイス）を含み得る。車両とそれに関連するコンピュータ実装コントローラは、検出された情報を使用して環境を通ってナビゲートする。例えば、車両が障害物に近づいていることをシステムが検出した場合、コンピュータ実装コントローラによる判定に従って、コントローラは車両の方向制御を調整して、車両に障害物を避けて走行させる。
【0003】
例えば、自律車両はレーザ、ソナー、レーダ、カメラ、熱撮像装置、および車両の周囲に関するデータを走査および／または記録する他のセンサを含み得る。これらのデバイスのうちの１つ以上からのセンサデータは、物体およびそれらのそれぞれの特性（位置、形状、進行方向、速度など）を検出するために使用され得る。この検出および識別は自律車両の動作に役立つ。
【発明の概要】
【0004】
一例では、本開示は方法を提供する。この方法は、自律車両に関連付けられた１つ以上のセンサから、第１の環境条件の間の自律車両の環境内の対象物体に関連付けられたセンサデータを受信することを含み、１つ以上のセンサのうちの少なくとも１つのセンサが、複数の動作視野ボリュームのうちの１つに関連付けられるように構成可能であり、各動作視野ボリュームは、少なくとも１つのセンサが最小の信頼レベルで自律車両の外部の物体を検出すると予想される空間を表す。この方法はまた、センサデータに基づいて、対象物体に関連付けられた少なくとも１つのパラメータを決定することを含む。この方法はまた、センサデータと過去のセンサデータとの間の少なくとも１つのパラメータの劣化を決定することを含み、過去のセンサデータが、第１の環境条件とは異なる第２の環境条件の間の環境内の対象物体に関連付けられている。この方法はまた、少なくとも１つのパラメータの決定された劣化に基づいて、少なくとも１つのセンサの動作視野ボリュームを、複数の動作視野ボリュームのうちの異なる動作視野ボリュームに調整することを含む。
【0005】
別の例では、本開示は、自律車両の動作を制御するためのシステムを提供する。システムは、１つ以上のセンサを含み、１つ以上のセンサのうちの少なくとも１つのセンサが、複数の動作視野ボリュームのうちの１つに関連付けられるように構成可能であり、各動作視野ボリュームは、少なくとも１つのセンサが最小の信頼レベルで自律車両の外部の物体を検出すると予想される空間を表す。システムはまた、１つ以上のセンサに結合された１つ以上のプロセッサを含む。システムはまた、１つ以上のプロセッサに結合されたメモリであって、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに動作を実行させる命令が保存されたメモリを含む。動作は、１つ以上のセンサから、第１の環境条件の間の自律車両の環境内の対象物体に関連付けられたセンサデータを受信することを含む。動作はまた、センサデータに基づいて、対象物体に関連付けられた少なくとも１つのパラメータを決定することを含む。動作はまた、センサデータと過去のセンサデータとの間の少なくとも１つのパラメータの劣化を決定することを含み、過去のセンサデータが、第１の環境条件とは異なる第２の環境条件の間の環境内の対象物体に関連付けられている。動作はまた、少なくとも１つのパラメータの決定された劣化に基づいて、少なくとも１つのセンサの動作視野ボリュームを、複数の動作視野ボリュームのうちの異なる動作視野ボリュームに調整することを含む。
【0006】
別の例では、本開示は、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに動作を実行させるプログラム命令が保存された非一時的なコンピュータ可読記憶媒体を提供する。動作は、自律車両に関連付けられた１つ以上のセンサから、第１の環境条件の間の自律車両の環境内の対象物体に関連付けられたセンサデータを受信することを含み、１つ以上のセンサのうちの少なくとも１つのセンサが、複数の動作視野ボリュームのうちの１つに関連付けられるように構成可能であり、各動作視野ボリュームは、少なくとも１つのセンサが最小の信頼レベルで自律車両の外部の物体を検出すると予想される空間を表す。動作はまた、センサデータに基づいて、対象物体に関連付けられた少なくとも１つのパラメータを決定することを含む。動作はまた、センサデータと過去のセンサデータとの間の少なくとも１つのパラメータの劣化を決定することを含み、過去のセンサデータが、第１の環境条件とは異なる第２の環境条件の間の環境内の対象物体に関連付けられている。動作はまた、少なくとも１つのパラメータの決定された劣化に基づいて、少なくとも１つのセンサの動作視野ボリュームを、複数の動作視野ボリュームのうちの異なる動作視野ボリュームに調整することを含む。
【0007】
これらおよび他の態様、利点、および代替物は、当業者には、添付の図面を適宜参照して、以下の詳細な説明を読み取ることにより明らかになるであろう。
【図面の簡単な説明】
【0008】
【図1】例示的な自律車両の態様を示す機能ブロック図である。
【図2】例示的な自律車両の外観図を示す。
【図3】自律車両に関連する様々なコンピューティングシステム間の無線通信の概念図である。
【図4】センサ視野のセットの一例を示す。
【図5】例示的な方法を示す。
【図6A-6B】少なくとも１つのセンサの動作視野ボリュームを調整するために使用される例示的な画像を示す。
【図7A-7B】少なくとも１つのセンサの動作視野ボリュームを調整するために使用される例示的な画像を示す。
【発明を実施するための形態】
【0009】
例示的な方法、デバイス、およびシステムが、本明細書に記載される。「例」および「例示的」という語は、本明細書においては、「例、事例、または例示としての役割を果たす」ことを意味するために使用されることを理解されたい。本明細書において「例」または「例示的」であるとして説明されるいずれの実施形態または特徴も、他の実施形態または特徴よりも好ましい、または有利であると必ずしも解釈されるべきではない。本明細書に提示されている主題の範囲から逸脱することなく、他の実施形態を利用することができ、他の変更を行うことができる。
【0010】
したがって、本明細書に記載される例示的な実施形態は、限定的であることを意味するものではない。本開示の態様は、本明細書に概して記載され、図に例示されているように、多種多様な異なる構成で配列、置き換え、結合、分離、および設計することができ、それらのすべてが、本明細書で想定されている。
【0011】
さらに、文脈上特段の示唆がある場合を除き、各図において例示された特徴は、互いに組み合わせて使用され得る。したがって、図は、概して、図示された特徴のすべてが、必ずしも各実施形態に必要であるとは限らないという理解のもとで、１つ以上の実施形態全体のうちの部分的な態様として見なされるべきである。
【0012】
Ｉ．概要
多くの車両には、車両のナビゲーションおよび制御を支援する様々な検知システムが含まれている。一部の車両は、人間とのインタラクションが動作に使用されない完全自律モード、人間とのインタラクションがほとんど動作に使用されない半自律モード、または人間が車両を操作し、センサが人間を支援し得る人間操作モードで動作する可能性がある。センサは車両の周囲の領域に関する情報を提供するために使用されてもよい。この情報は、車道および車両の近くにある他の物体（他の車両、歩行者など）の特徴を識別するために使用され得る。
多くの車両には、車両のナビゲーションおよび制御を支援する様々な検知システムが含まれている。一部の車両は、人間とのインタラクションが動作に使用されない完全自律モード、人間とのインタラクションがほとんど動作に使用されない半自律モード、または人間が車両を操作し、センサが人間を支援し得る人間操作モードで動作する可能性がある。センサは車両の周囲の領域に関する情報を提供するために使用されてもよい。この情報は、車道および車両の近くにある他の物体（他の車両、歩行者など）の特徴を識別するために使用され得る。
【0013】
車両のセンサシステムは、例えば、光検出および測距（ＬＩＤＡＲ）システムおよびレーダシステムを含み得る。ＬＩＤＡＲはレーザパルスを使用して、レーザ光を反射する物体までの距離と速度を測定する。レーダは電波を使用し、電波を反射する物体までの距離と速度を測定する。ＬＩＤＡＲおよびレーダシステムからのデータは、場合によってはカメラなどの車両のセンサシステムの他のセンサからのデータとともに、車両の周囲の環境のどこに物体が位置しているかを決定するために使用され得る。特定のＬＩＤＡＲセンサ、レーダセンサ、および／またはカメラは、それぞれがある視野を有する可能性がある。センサの視野は、センサが物体を検出することができる１つ以上の角度領域、およびセンサがその視野内の物体を確実に検出することができるセンサからの最大距離に対応する関連付けられた距離（ｒａｎｇｅ）を含み得る。場合によっては、関連付けられた距離（ｒａｎｇｅ）は視野内の様々な方位角／仰角によって異なる可能性がある。この視野を定義するパラメータの値、例えば距離（ｒａｎｇｅ）、方位角、および仰角の値は、合わせて、視野ボリュームまたは動作視野ボリュームと呼ばれ得るボリュームを形成する。
【0014】
特定のセンサの動作視野ボリュームは、その特定のセンサが最小の信頼レベル（例えば、高い信頼度を示す信頼レベル）で自律車両の外部の物体を検出することが期待できる空間の正確な表現と見なすことができる。言い換えれば、車両システムの１つ以上のプロセッサ（例えば、センサの動作を制御するチップ、または車両の制御システムのプロセッサ）は、センサの動作視野ボリュームによって定められる空間内で取得されたセンサデータに自信を持って依存するように構成され得る。例えば、特定のセンサに関連付けられたプロセッサは、そのセンサの動作視野ボリューム内の距離（ｒａｎｇｅ）、方位角、および／または仰角で検出された物体または他の情報に、より高い信頼レベル（例えば、事前定義された信頼閾値レベルよりも高い）を関連付けるように構成されてもよく、視野ボリュームであり、その動作視野ボリューム外の距離（ｒａｎｇｅ）、方位角、および／または仰角で検出された物体または他の情報に、より低い信頼レベル（例えば、事前定義された信頼閾値レベル以下）を関連付けるように構成されてもよい。
【0015】
車両は、天候の変化（霧、雨、雪など）、時刻の変化、制限速度の変化、地形またはその他の地理的条件の変化、居住地の変化（例えば、都市、郊外、地方）、車両に近接する他の車両もしくは物体の数の変化、車両外部の他の変化、および／または車両のシステム内部の変化（例えば、センサエラー、センサ表面の清浄度、車両サブシステムの障害など）など、動作中に様々な条件にさらされる可能性がある。任意の時点で、これらまたは他の条件の１つ以上が車両の動作環境に存在し得る。本開示の文脈において、車両の「動作環境」とは、上記の条件および本開示の他の箇所に記載されている他の条件を含むがこれらに限定されない、時間とともに変化する可能性のある車両の内部および／または外部の１つ以上の条件であるか、または１つ以上のそのような条件を含み得る。したがって、そのような条件の１つ以上が変化すると、車両の動作環境が変化する可能性がある。
【0016】
一部の実施形態では、車両のセンサのうちの少なくとも１つのセンサの動作視野ボリュームが、車両の運行設計領域（ＯＤＤ）に基づいて調整されてもよい。ＯＤＤは、所与の車両または他の運転自動化システムもしくはその機能が、その条件下で動作するように特別に設計されている条件によって定められるか、またはそのような条件を含む。そのような条件は、環境、地理、および時刻の制限、ならびに／または必要とされる特定の交通もしくは道路の特徴の有無を含むが、これらに限定されない。車両は複数のＯＤＤ有してもよく、各ＯＤＤは、環境条件、地理的条件、時刻条件、交通状況、または道路状況のうちの少なくとも１つを含み得る。車両システムは、ある時点で、車両を第１のＯＤＤに関連付け、したがって、車両システムを、第１のＯＤＤに対応する特定の方法で動作させることができる。その後の時点で、車両システムは車両の動作環境の変化を検出する可能性があり、その場合、車両システムはそれに応じて車両を第２の異なるＯＤＤに関連付け、したがって、車両システムを第２のＯＤＤに対応する異なる方法で動作させる可能性がある。
【0017】
特定のセンサは、複数の動作視野ボリュームのうちの１つに関連付けられるように構成され得る。複数の動作視野ボリュームは特定のセンサに固有であってもよいし、または同じタイプの複数のセンサ（例えば、ＬＩＤＡＲ、カメラ、またはレーダ）に関連付けられてもよい。
【0018】
一部の例では、複数の動作視野ボリュームは有限／所定の数の動作視野ボリュームであり得、それらの各々が、車両システムのメモリ（例えば、テーブル内）において、対応する動作環境および／またはＯＤＤにマッピングされ得る。追加でまたは代わりに、特定のセンサまたは複数のセンサのための複数の動作視野ボリュームのうちの任意の１つ以上が、トリガー条件（例えば、動作環境の変化）に応答してリアルタイムで決定されてもよい。追加でまたは代わりに、特定のセンサまたは複数のセンサに関連付けられた任意の所定の動作視野ボリュームを、新たに取得されたセンサデータと比較して、所定の動作視野ボリュームが依然として、特定の動作環境の場合にセンサが依存されるべき程度を正確に表しているか否かが決定されてもよい。
【0019】
自律車両の動作環境に基づいて（例えば、車両システムが動作環境を検出するか、またはある動作環境から別の動作環境への変化を検出することに基づいて）センサの動作視野ボリュームを調整するためのいくつかの例示的な方法およびシステム、ならびに、自律車両の動作環境に基づいて車両を特定のＯＤＤに関連付けるためのいくつかの例示的な方法およびシステムが米国特許出願第１７／００２，０９２に記載されており、その全体が参照により本明細書に組み込まれる。
【0020】
本開示は、車両の環境内の認識可能な対象物体に関連付けられているパラメータであって、対象物体に関連付けられたセンサデータから決定することができるパラメータを使用して、車両のセンサのうちの１つ以上のセンサの動作視野ボリュームを調整するためのシステムおよび方法を提供する。特に、第１の環境条件（例えば、晴天）から第２の環境条件（例えば、霧または雪の天候）への変化は、そのようなパラメータのうちの少なくとも１つを劣化させる可能性がある。したがって、開示されるシステムおよび方法は、パラメータの劣化に基づいて、車両のセンサのうちの少なくとも１つのセンサの動作視野ボリュームを、複数の動作視野ボリュームのうちの異なるものに調整することにより、第２の環境条件が存在するときにセンサが高い信頼性で物体を検出できる空間を正確に表す動作視野ボリュームを使用して、車両を動作させることができる。開示される方法は、車両システムが、対象物体に関連付けられた新たに取得されたセンサデータを対象物体に関連付けられた過去のセンサデータと比較するときに、リアルタイムまたはほぼリアルタイムで発生する可能性がある。
【0021】
一例として、車両のＬＩＤＡＲセンサは、晴天時および日中での使用のための動作視野ボリュームを有し得、その動作視野ボリュームは２００メートル以上の距離（ｒａｎｇｅ）を含み得る。これらの環境条件の間、車両は、電柱などの遠くにある対象物体から反射されたレーザビームからＬＩＤＡＲ強度を決定できる。しかし、その後、日中の濃い霧の条件では、同じ対象物体からのＬＩＤＡＲ強度が低下する可能性がある。この劣化に基づいて、車両システムは、車両のＬＩＤＡＲセンサのうちの少なくとも１つのＬＩＤＡＲセンサの動作視野ボリュームを、例えば、１００メートルの距離（ｒａｎｇｅ）を含む動作視野ボリュームに調整してもよい。
【0022】
本開示はまた、別のタイプのセンサ（例えば、ＬＩＤＡＲセンサ）から受信されたセンサデータから求められた劣化したパラメータに基づいて、あるタイプのセンサ（例えば、カメラ）の動作視野ボリュームを調整するための動作を提供する（その逆も可）。
【0023】
開示されるシステムおよび方法の実装形態は、有利なことに、車両システムが、移動中に変化する条件に動的に適応するように、受け取られたセンサデータをリアルタイムで調整することを可能にし、また、車両がその環境内の物体を正確に、かつ高い信頼性で連続的に検出することを可能にする。開示されるシステムおよび方法はまた、車両の環境内の既知の対象物体を使用して、センサの動作視野ボリュームに対する正確な調整を決定するための効率的で確実な方法を提供する。
【0024】
ＩＩ．例示的なシステムおよびデバイス
次に、例示的なシステムおよびデバイスについてより詳細に説明する。概して、本明細書に開示される実施形態は、システムの環境をスキャンする１つ以上のセンサを含む任意のシステムで使用することができる。本明細書に記載の例証的な実施形態は、ＬＩＤＡＲ、レーダ、ソナー、カメラなどのセンサを採用する車両を含む。しかし、システムの例はまた、他の可能性の中でもとりわけ、ロボットデバイス、産業システム（例えば、組立ラインなど）、またはモバイル通信システムもしくはデバイスなどの他のデバイスとして実装されるか、または他のデバイスの形態を取り得る。
次に、例示的なシステムおよびデバイスについてより詳細に説明する。概して、本明細書に開示される実施形態は、システムの環境をスキャンする１つ以上のセンサを含む任意のシステムで使用することができる。本明細書に記載の例証的な実施形態は、ＬＩＤＡＲ、レーダ、ソナー、カメラなどのセンサを採用する車両を含む。しかし、システムの例はまた、他の可能性の中でもとりわけ、ロボットデバイス、産業システム（例えば、組立ラインなど）、またはモバイル通信システムもしくはデバイスなどの他のデバイスとして実装されるか、または他のデバイスの形態を取り得る。
【0025】
「車両」という用語は、本明細書では、例えば航空機、船舶、宇宙船、自動車、トラック、バン、セミトレーラートラック、オートバイ、ゴルフカート、オフロード車、室内ロボットデバイス、倉庫輸送車、フォークリフト、トラクター、または農用車のほか、ローラーコースター、トロリー、トラム、電車などのレールに乗る運送車を含むあらゆる移動物体を網羅すると広く解釈される。一部の車両は、人間とのインタラクションが動作に使用されない完全自律モード、人間とのインタラクションが少しも動作に使用されない半自律モード、または人間が車両を操作し、センサが人間を支援し得る人間操作モードで動作する可能性がある。
【0026】
例示的な実施形態では、車両システムの例は、１つ以上のプロセッサ、１つ以上の形態のメモリ、１つ以上の入力デバイス／インターフェース、１つ以上の出力デバイス／インターフェース、および、１つ以上のプロセッサによって実行されると、上述した様々な機能、タスク、能力などをシステムに実行させる機械可読命令を含み得る。本開示の範囲内の例示的なシステムは、以下でより詳細に説明される。
【0027】
図１は、例示的な実施形態による車両１００を示す機能ブロック図である。車両１００は、完全にまたは部分的に自律モードで動作するように構成され得、したがって、「自律車両」と呼ばれ得る。車両はまた、人間によって操作されるが、車両の感知システムを介して人間に情報を提供するように構成されてもよい。例えば、コンピューティングシステム１１１は、自律モードの間、車両１００の制御システム１０６への制御命令を介して車両１００を制御することができる。コンピュータシステム１１１は、１つ以上のセンサシステム１０４から情報を受信し、自動的に、１つ以上の制御プロセスを受信した情報に基づくものにし得る（例えば、検出された障害物を回避するように向きを設定するなど）。
【0028】
自律車両１００は、完全自律型または部分的自律型であり得る。部分的自律型車両では、いくつかの機能は、任意選択的に、一時的にまたは常時、手動で（例えば、運転者によって）制御され得る。さらに、部分的自律型車両は、完全手動動作モードと、部分的自律型および／または完全自律型動作モードとの間で切り替わるように構成され得る。
【0029】
車両１００は、推進システム１０２、センサシステム１０４、制御システム１０６、１つ以上の周辺機器１０８、電源１１０、コンピューティングシステム１１１、およびユーザインターフェース１１２を含む。車両１００は、より多く、またはより少ないサブシステムを含むことができ、各サブシステムは、任意選択的に複数の構成要素を含むことができる。さらに、車両１００のサブシステムおよび構成要素の各々は、相互に接続され得、および／または通信し得る。したがって、本明細書に記載された車両１００の１つ以上の機能は、任意選択的に、追加の機能的または物理的構成要素の間で分割されてもよく、またはより少ない機能的または物理的構成要素に組み合わされ得る。いくつかのさらなる例では、追加の機能的および／または物理的構成要素が、図１によって図示された例に追加され得る。
【0030】
推進システム１０２は、車両１００に動力運動を提供するように動作可能な構成要素を含むことができる。いくつかの実施形態では、推進システム１０２は、エンジン／モータ１１８、エネルギー源１２０、トランスミッション１２２、およびホイール／タイヤ１２４を含む。エンジン／モータ１１８は、エネルギー源１２０を機械的エネルギーに変換する。いくつかの実施形態では、推進システム１０２は、任意選択的に、エンジンおよび／またはモータの一方または両方を含むことができる。例えば、ガス－電気ハイブリッド車両は、ガソリン／ディーゼルエンジンと電気モータの両方を含むことができる。
【0031】
エネルギー源１２０は、電気エネルギーおよび／または化学エネルギーなどのエネルギー源を表し、それは、その全部または一部が、エンジン／モータ１１８に電力を供給し得る。すなわち、エンジン／モータ１１８は、エネルギー源１２０を機械的エネルギーに変換してトランスミッションを動作させるように構成され得る。いくつかの実施形態では、エネルギー源１２０は、ガソリン、ディーゼル、他の石油系燃料、プロパン、他の圧縮ガスベースの燃料、エタノール、ソーラーパネル、バッテリー、コンデンサー、フライホイール、回生ブレーキシステム、および／または他の電力源などを含むことができる。エネルギー源１２０は、車両１００の他のシステムにエネルギーを提供することもできる。
【0032】
トランスミッション１２２は、エンジン／モータ１１８からホイール／タイヤ１２４に機械的動力を伝達するのに好適な適切なギアおよび／または機械的要素を含む。いくつかの実施形態では、トランスミッション１２２は、ギアボックス、クラッチ、ディファレンシャル、ドライブシャフト、および／または車軸などを含む。
【0033】
ホイール／タイヤ１２４は、車両１００が移動する道路などの表面に摩擦牽引力を与えながら、車両１００を安定して支持するように配置される。したがって、ホイール／タイヤ１２４は、車両１００の性質に応じて構成および配置される。例えば、ホイール／タイヤは、一輪車、自転車、オートバイ、三輪車、または自動車／トラックの四輪形態として配置され得る。６つ以上のホイールを含むものなど、他のホイール／タイヤ形状も可能である。車両１００のホイール／タイヤ１２４の任意の組み合わせは、他のホイール／タイヤ１２４に対して差動的に回転するように動作可能であり得る。ホイール／タイヤ１２４は、任意選択的に、トランスミッション１２２にしっかりと取り付けられた少なくとも１つのホイールと、走行面と接触する対応するホイールのリムに結合された少なくとも１つのタイヤと、を含むことができる。ホイール／タイヤ１２４は、金属とゴムの任意の組み合わせ、および／または他の材料もしくは材料の組み合わせを含み得る。
【0034】
センサシステム１０４は、概して、車両１００の周辺環境に関する情報を検出するように構成されている１つ以上のセンサを含む。例えば、センサシステム１０４は、グローバルポジショニングシステム（ＧＰＳ）１２６、慣性計測装置（ＩＭＵ）１２８、レーダユニット１３０、レーザ距離計／ＬＩＤＡＲユニット１３２、カメラ１３４、および／またはマイクロフォン１３６を含み得る。センサシステム１０４はまた、車両１００の内部システムを監視するように構成されているセンサ（例えば、Ｏ２モニタ、燃料計、エンジンオイル温度、ホイール速度センサなど）を含むことができる。センサシステム１０４に含まれる１つ以上のセンサは、１つ以上のセンサの位置および／または配向を修正するために、別々におよび／または集合的に作動されるように構成され得る。
【0035】
ＧＰＳ１２６は、車両１００の地理的位置を推定するように構成されているセンサである。この目的のために、ＧＰＳ１２６は、地球に対する車両１００の位置に関する情報を提供するように動作可能なトランシーバを含むことができる。
【0036】
ＩＭＵ１２８は、慣性加速度に基づいて車両１００の位置および配向の変化を感知するように構成されているセンサ（例えば、加速度計およびジャイロスコープ）の任意の組み合わせを含むことができる。
【0037】
レーダユニット１３０は、車両１００のローカル環境内の物体を感知するために無線信号を利用するシステムを表し得る。一部の実施形態では、物体を感知することに加えて、レーダユニット１３０および／またはコンピュータシステム１１１は、物体の速度および／または向きを感知するようにさらに構成され得る。レーダユニット１３０は、任意のアンテナ、導波路ネットワーク、通信チップ、および／またはレーダ操作を容易にする他の構成要素を含むことができる。
【0038】
同様に、レーザ距離計またはＬＩＤＡＲユニット１３２は、車両１００のいる環境内の物体をレーザを使用して感知するように構成されている任意のセンサであり得る。レーザ距離計／ＬＩＤＡＲユニット１３２は、他のシステム構成要素の中でもとりわけ、１つ以上のレーザ源、レーザスキャナ、および１つ以上の検出器を含むことができる。レーザ距離計／ＬＩＤＡＲユニット１３２は、（例えば、ヘテロダイン検出を使用して）コヒーレントまたはインコヒーレント検出モードで動作するように構成され得る。
【0039】
カメラ１３４は、車両１００の周辺環境の複数の画像を捕捉するように構成されている１つ以上のデバイスを含むことができる。カメラ１３４は、スチルカメラまたはビデオカメラであり得る。いくつかの実施形態では、カメラ１３４は、カメラが装着されているプラットフォームを回転および／または傾斜させることなどにより、機械的に移動可能であり得る。このように、車両１００の制御プロセスは、カメラ１３４の動きを制御するように実装することができる。
【0040】
センサシステム１０４はまた、マイクロフォン１３６を含むことができる。マイクロフォン１３６は、車両１００の周辺環境からの音を捕捉するように構成され得る。場合によっては、複数のマイクロフォンはマイクロフォンアレイとして、またはおそらくは複数のマイクロフォンアレイとして配置され得る。
【0041】
制御システム１０６は、車両１００およびその構成要素の加速を調節する動作を制御するように構成される。加速をもたらすために、制御システム１０６は、ステアリングユニット１３８、スロットル１４０、ブレーキユニット１４２、センサフュージョンアルゴリズム１４４、コンピュータビジョンシステム１４６、ナビゲーション／経路指定システム１４８、および／または障害物回避システム１５０などを含む。
【0042】
ステアリングユニット１３８は、車両１００の進行方向を調整するように動作可能である。例えば、ステアリングユニットは、車両の方向転換を効果的に行うように、１つ以上のホイール／タイヤ１２４の軸（または複数の軸）を調整し得る。スロットル１４０は、例えば、エンジン／モータ１１８の動作速度を制御し、次に、トランスミッション１２２およびホイール／タイヤ１２４を介して車両１００の前進加速度を調整するように構成される。ブレーキユニット１４２は、車両１００を減速させる。ブレーキユニット１４２は、摩擦を使用して、ホイール／タイヤ１２４を減速させ得る。いくつかの実施形態では、ブレーキユニット１４２は、回生ブレーキプロセスによってホイール／タイヤ１２４を誘導的に減速させて、ホイール／タイヤ１２４の運動エネルギーを電流に変換する。
【0043】
センサフュージョンアルゴリズム１４４は、センサシステム１０４からのデータを入力として受け入れるように構成されているアルゴリズム（またはアルゴリズムを記憶するコンピュータプログラム製品）である。データは、例えば、センサシステム１０４のセンサで感知された情報を表すデータを含み得る。センサフュージョンアルゴリズム１４４は、例えば、カルマンフィルタ、ベイジアンネットワークなどを含むことができる。センサフュージョンアルゴリズム１４４は、センサシステム１０４からのデータに基づいて、車両の周辺環境に関する評価を提供する。いくつかの実施形態では、評価は、車両１００の周辺環境における個々の物体および／もしくは特徴の評価、特定の状況の評価、ならびに／または特定の状況に基づく車両１００と環境における特徴との間の潜在的な干渉の評価（例えば、衝突および／または衝撃の予測など）を含むことができる。
【0044】
コンピュータビジョンシステム１４６は、カメラ１３４によって捕捉された画像を処理および分析して、車両１００の周辺環境内の物体および／または特徴を識別し得る。検出された特徴／物体は、交通信号、道路の境界、他の車両、歩行者、および／または障害物などを含むことができる。コンピュータビジョンシステム１４６は、任意選択的に、物体認識アルゴリズム、多視点三次元復元（ＳＦＭ：Ｓｔｒｕｃｔｕｒｅ Ｆｒｏｍ Ｍｏｔｉｏｎ）アルゴリズム、ビデオトラッキング、および／または利用可能なコンピュータビジョン技術を採用して、検出された特徴／物体の分類および／または識別を行い得る。いくつかの実施形態では、コンピュータビジョンシステム１４６は、環境をマッピングし、知覚された物体を追跡し、物体の速度を推定するなどのために追加的に構成され得る。
【0045】
ナビゲーションおよび経路指定システム１４８は、車両１００の走行経路を判定するように構成される。例えば、ナビゲーションおよび経路指定システム１４８は、例えば、ユーザインターフェース１１２を介したユーザ入力に従って設定することができ、最終目的地に至る車道ベースの経路に沿って概して車両を前進させながら、知覚された障害物を実質的に回避する経路に沿って車両の移動を行うために、一連の速度および指示進行方向を判定することができる。ナビゲーションおよび経路指定システム１４８は追加的に、知覚された障害物、交通パターン、天候／道路状況などに基づいて、車両１００が動作している間に、走行経路を動的に更新するように構成され得る。いくつかの実施形態では、ナビゲーションおよび経路指定システム１４８は、車両１００の走行経路を判定するために、センサフュージョンアルゴリズム１４４、ＧＰＳ１２６、および１つ以上の所定の地図からのデータを組み込むように構成され得る。
【0046】
障害物回避システム１５０は、車両１００の周辺環境内の潜在的な障害物を識別、評価、および回避、または別の方法で通り抜けるように構成されている制御システムを表し得る。例えば、障害物回避システム１５０は、進路変更操縦、方向転換操縦、制動操縦などを行うように制御システム１０６内の１つ以上のサブシステムを動作させることによって、車両のナビゲーションに変化をもたらし得る。一部の実施形態では、障害物回避システム１５０は、周囲の交通パターン、道路状況などに基づいて、実行可能な（「利用可能な」）障害物回避操縦を自動的に決定するように構成されている。例えば、障害物回避システム１５０は、他のセンサシステムが、進路変更先の車両の隣接領域内に車両、工事用のバリケード、他の障害物などを検出した場合、進路変更操縦が行われないように構成され得る。いくつかの実施形態では、障害物回避システム１５０は、利用可能な操作であり、かつ車両内の乗員の安全を最大限に配慮した操作を自動的に選択し得る。例えば、障害物回避システム１５０は、車両１００の車内の加速度が最小になると予測される回避操縦を選択し得る。
【0047】
車両１００はまた、車両１００と外部センサ、他の車両、他のコンピュータシステム、および／または車両１００の乗員などのユーザとの間の対話を可能にするように構成されている周辺機器１０８を含む。例えば、乗員、外部システム等から情報を受信するための周辺機器１０８は、無線通信システム１５２、タッチスクリーン１５４、マイクロフォン１５６、および／またはスピーカ１５８を含み得る。
【0048】
いくつかの実施形態では、周辺機器１０８は、車両１００のユーザがユーザインターフェース１１２と対話するための入力を受信するように機能する。この目的のために、タッチスクリーン１５４は、車両１００のユーザに情報を提供することと、タッチスクリーン１５４を介して示されたユーザからの情報をユーザインターフェース１１２に伝えることとの両方が可能である。タッチスクリーン１５４は、静電容量感知、抵抗感知、光学感知、表面音響派プロセスなどを介して、ユーザの指（またはスタイラスなど）からのタッチ位置およびタッチジェスチャの両方を感知するように構成され得る。タッチスクリーン１５４は、タッチスクリーン表面に平行な方向または平面的な方向、タッチスクリーン表面に法線の方向、またはその両方での指の動きを感知することができ、タッチスクリーン表面に加えられる圧力のレベルを感知することもできる。車両１００の乗員はまた、音声コマンドインターフェースを利用し得る。例えば、マイクロフォン１５６は、車両１００のユーザから音声（例えば、音声コマンドまたは他の音声入力）を受信するように構成され得る。同様に、スピーカ１５８は、車両１００のユーザに音声を出力するように構成され得る。
【0049】
いくつかの実施形態では、周辺機器１０８は、車両１００と、車両の周辺環境内のデバイス、センサ、他の車両などの外部システム、および／または交通情報、気象情報などの車両の周辺に関する有用な情報を提供する車両から物理的に離れた位置にあるコントローラ、サーバなどの外部システムとの間の通信を可能にするように機能する。例えば、無線通信システム１５２は、１つ以上のデバイスと直接または通信ネットワークを介して無線通信できる。無線通信システム１５２は、任意選択的に、ＣＤＭＡ、ＥＶＤＯ、ＧＳＭ／ＧＰＲＳなどの３Ｇセルラ通信、またはＷｉＭＡＸ又はＬＴＥなどの４Ｇセルラ通信を使用し得る。追加的に、または代替的に、無線通信システム１５２は、例えば、ＷｉＦｉを使用して無線ローカルエリアネットワーク（ＷＬＡＮ）と通信し得る。いくつかの実施形態では、無線通信システム１５２は、例えば、赤外線リンク、Ｂｌｕｅｔｏｏｔｈ、および／またはＺｉｇＢｅｅを使用して、デバイスと直接通信し得る。無線通信システム１５２は、車両および／または道路沿いのガソリンスタンド間の公共および／または私的データ通信を含むことができる１つ以上の専用狭域通信（ＤＳＲＣ）デバイスを含むことができる。様々な車両通信システムなど、信号に埋め込まれた情報を送受信するための他の無線プロトコルも、本開示の文脈内で無線通信システム１５２によって採用され得る。
【0050】
上記のように、電源１１０は、周辺機器１０８、コンピューティングシステム１１１、センサシステム１０４などに含まれる電子機器などの車両１００の構成要素に電力を供給し得る。電源１１０は、例えば、電気エネルギーを貯蔵し、様々な給電される構成要素に放電するために充電可能なリチウムイオン電池または鉛蓄電池を含み得る。いくつかの実施形態では、電池の１つ以上のバンクは、電力を提供するように構成され得る。いくつかの実施形態では、電源１１０およびエネルギー源１２０は、一部の全電気自動車のように、共に実装され得る。
【0051】
センサシステム１０４、周辺機器１０８などからの入力を受信して、適切な制御信号を推進システム１０２、制御システム１０６、周辺機器などに通信することで、車両１００の周囲に基づく車両１００の自動動作をもたらすコンピュータシステム１１１を介して、車両１００の機能の多くまたはすべてが制御されてもよい。コンピューティングシステム１１１は、データストレージ１１４などの非一時的なコンピュータ可読媒体に格納された命令１１５を実行する少なくとも１つのプロセッサ１１３（少なくとも１つのマイクロプロセッサを含むことができる）を含む。コンピューティングシステム１１１はまた、車両１００の個々の構成要素またはサブシステムを分散して制御するように機能する複数のコンピューティングデバイスを表してもよい。
【0052】
いくつかの実施形態では、データストレージ１１４は、図１に関連して上述したものを含めて、車両１００の様々な機能を実行するためにプロセッサ１１３によって実行可能な命令１１５（例えば、プログラム論理）を含んでいる。データストレージ１１４は、推進システム１０２、センサシステム１０４、制御システム１０６、および周辺機器１０８のうちの１つ以上に、データを送信するため、データを受信するため、相互作用するため、および／または制御するための命令を含む、追加の命令も含み得る。
【0053】
命令１１５に加えて、データストレージ１１４は、他の情報の中でもとりわけ、道路地図、経路情報などのデータをマップデータ１１６として格納し得る。そのような情報は、自律モード、半自律モード、および／または手動モードでの車両１００の動作中に、最終目的地までの利用可能な道路を選択したり、センサシステム１０４からの情報を解釈するなどのために車両１００およびコンピュータシステム１１１によって使用されてもよい。
【0054】
車両１００および関連付けられたコンピュータシステム１１１は、車両１００の車内の乗員などの車両１００のユーザに情報を提供し、かつ／または車両１００のユーザから入力を受信する。ユーザインターフェース１１２は、それに応じて、コンピュータシステム１１１と車両の乗員との間の通信を可能にするために、無線通信システム１５２、タッチスクリーン１５４、マイクロフォン１５６、および／またはスピーカ１５８など、周辺機器１０８のセット内に１つ以上の入力／出力デバイスを含み得る。
【0055】
コンピューティングシステム１１１は、車両および／または環境条件を示す様々なサブシステム（例えば、推進システム１０２、センサシステム１０４、および／または制御システム１０６）から受信した入力、ならびにユーザの好みを示すユーザインターフェース１１２から受信した入力に基づいて、車両１００の動作を制御する。例えば、コンピューティングシステム１１１は、制御システム１０６からの入力を利用して、センサシステム１０４および障害物回避システム１５０によって検出された障害物を回避するようにステアリングユニット１３８を制御し得る。コンピューティングシステム１１１は、車両１００およびそのサブシステムの多くの態様を制御するように構成されていてもよい。しかし、概して、緊急時または単にユーザが起動したオーバーライドに応答するような場合などは、自動化されたコントローラ駆動の動作を手動でオーバーライドするための規定が設けられている。
【0056】
本明細書に記載された車両１００の構成要素は、それぞれのシステム内またはシステム外の他の構成要素と相互接続して動作するように構成され得る。例えば、カメラ１３４は、自律モードで動作している間、車両１００の環境に関する情報を表す複数の画像を捕捉することができる。環境は、他の車両、信号機、道路標識、路面標示、歩行者などを含み得る。コンピュータビジョンシステム１４６は、データストレージ１１４に予め記憶された物体認識モデルに基づいて、および／または他の技術によって、センサフュージョンアルゴリズム１４４、コンピュータシステム１１１などと協力して、環境内の様々な態様を分類および／または認識することができる。
【0057】
車両１００は、車両１００の様々な構成要素、例えば無線通信システム１５２、コンピューティングシステム１１１、データストレージ１１４、およびユーザインターフェース１１２が車両１００に統合されているものとして記載されており、図１で図示されているが、これらの構成要素のうちの１つ以上は、任意選択で、車両１００とは別個に取り付けまたは関連付けることができる。例えば、データストレージ１１４は、例えば、クラウドベースのサーバ内などのように、車両１００から、部分的にまたは完全に分離して存在し得る。したがって、車両１００の機能要素のうちの１つ以上は、別々にまたは共に配置されたデバイス要素の形態で実装され得る。車両１００を構成する機能デバイス要素は、概して、有線および／または無線方式で共に通信可能に結合され得る。
【0058】
図２は、図１を参照して車両１００に関連して説明された機能の一部またはすべてを含み得る例示的な車両２００を示す。車両２００は、例示の目的で四輪車として図２に示されているが、本開示はそのように限定されない。例えば、車両２００は、トラック、バン、セミトレーラートラック、オートバイ、ゴルフカート、オフロード車両、または農業車両などを表し得る。
【0059】
車両例２００は、センサユニット２０２、第１のＬＩＤＡＲユニット２０４、第２のＬＩＤＡＲユニット２０６、第１のレーダユニット２０８、第２のレーダユニット２１０、第１のＬＩＤＡＲ／レーダユニット２１２、第２のＬＩＤＡＲ／レーダユニット２１４、ならびに、レーダユニット、ＬＩＤＡＲユニット、レーザ距離計ユニット、および／または他のタイプの１つ以上のセンサが車両２００上で位置し得る２つの追加の場所２１６、２１８を含む。第１のＬＩＤＡＲ／レーダユニット２１２および第２のＬＩＤＡＲ／レーダユニット２１４の各々はＬＩＤＡＲユニット、レーダユニット、またはその両方の形態を取り得る。
【0060】
さらに、例示的な車両２００は、図１の車両１００に関連して説明された構成要素のいずれかを含むことができる。第１および第２のレーダユニット２０８、２１０ならびに／または第１および第２のＬＩＤＡＲユニット２０４、２０６は、障害となり得るものがないか、その周囲環境を能動的に走査することができ、車両１００のレーダユニット１３０および／またはレーザ距離計／ＬＩＤＡＲユニット１３２と同様のものであり得る。加えて、第１のＬＩＤＡＲ／レーダユニット２１２および第２のＬＩＤＡＲ／レーダユニット２１４は、障害となり得るものがないか、その周囲環境を能動的に走査することができ、車両１００のレーダユニット１３０および／またはレーザ距離計／ＬＩＤＡＲユニット１３２と同様のものであり得る。
【0061】
一部の例では、ＬＩＤＡＲユニットは２つの異なるタイプのＬＩＤＡＲユニットのうちの１つであり得る。第１のタイプのＬＩＤＡＲユニットは、ＬＩＤＡＲユニットの視野の全領域を連続的に走査できるＬＩＤＡＲであり得る。第２のタイプのＬＩＤＡＲユニットは、ＬＩＤＡＲユニットの視野の特定の領域を走査するようにステアリングされたときにそのように走査できるＬＩＤＡＲであり得る。第１のタイプのＬＩＤＡＲユニットは、第２のタイプのＬＩＤＡＲユニットよりも短い距離（ｒａｎｇｅ）を有する可能性がある。第２のタイプのＬＩＤＡＲユニットは、第１のＬＩＤＡＲユニットと比較して、動作時の視野が狭い可能性がある。一部の例では、車両２００の指定されたＬＩＤＡＲユニットのうちの１つ以上は、一方または両方のタイプのＬＩＤＡＲユニットを含み得る。例えば、車両の上部に取り付けられたＬＩＤＡＲユニット２０４は、両方のタイプのＬＩＤＡＲユニットを含む場合もあれば、連続走査およびステアリングされた走査の両方が可能なＬＩＤＡＲユニットを含む場合もある。一例では、第２のタイプのＬＩＤＡＲユニットは動作中、水平面内では５～１５度の幅を有し、垂直面内では５～２５度の幅を有する視野を有し得る。
【0062】
センサユニット２０２は、車両２００の上部に取り付けられ、車両２００の周辺環境に関する情報を検出し、情報の指標を出力するように構成された１つ以上のセンサを含む。例えば、センサユニット２０２は、カメラ、レーダ、ＬＩＤＡＲ、距離計、音響センサ、ならびに気圧計および湿度センサなどの天候関連センサの任意の組み合わせを含み得る。センサユニット２０２は、センサユニット２０２内の１つ以上のセンサの向きを調整するように動作可能であり得る１つ以上の可動マウントを含み得る。一実施形態では、移動可能なマウントは、車両２００の周囲の各方向から情報を得るようにセンサを走査することができる回転プラットフォームを含み得る。別の実施形態では、センサユニット２０２の可動マウントは、角度および／または方位の特定の範囲内での走査方式で移動可能であり得る。センサユニット２０２は、他の取り付け場所も考えられ得るが、車の屋根上に取り付けられ得る。加えて、センサユニット２０２のセンサは、様々な場所に分散されてもよく、１つの場所に併置される必要はない。いくつかの考えられ得るセンサタイプおよび取り付け場所には、２つの追加の場所２１６、２１８が含まれる。さらに、センサユニット２０２の各センサは、センサユニット２０２の他のセンサと連動して、または他のセンサから独立して移動または走査されるように構成され得る。
【0063】
ある構成の例では、１つ以上のレーダスキャナ（例えば、第１および第２のレーダユニット２０８、２１０）は、車両２００の後方の領域を能動的に走査して電波反射物体の有無を調べるために、車両２００の後部付近に位置し得る。同様に、第１のＬＩＤＡＲ／レーダユニット２１２および第２のＬＩＤＡＲ／レーダユニット２１４は、車両の前方の領域を能動的に走査するために車両の前部付近に取り付けられ得る。レーダスキャナは、例えば、車両２００の他の特徴によって塞がれることなく、車両２００の前進路を含む領域を照らすのに好適な場所に位置付けられ得る。例えば、レーダスキャナは、フロントバンパー、フロントヘッドライト、カウル、および／またはボンネットなどの中または付近に埋め込まれたり、かつ／または取り付けられるように配置され得る。さらに、１つ以上の追加のレーダ走査デバイスは、例えば、リアバンパー、サイドパネル、ロッカーパネル、および／または車台などにそのようなデバイスを含むことによって、電波反射物体の有無を調べるために車両２００の側方および／または後方を能動的に走査するように配置され得る。
【0064】
実際には、各レーダユニットは９０度のビーム幅にわたって走査可能である可能性がある。レーダユニット２０８、２１０、２１２、および２１４によって示されるようにレーダユニットが車両の角に配置されている場合、各レーダユニットは水平面内で９０度の視野を走査し、車両周辺の完全な３６０度領域のレーダ視野を車両に提供できる可能性がある。さらに、車両はまた、２つの側方に面したレーダユニットを含み得る。側方に面したレーダユニットは、矢印信号が無い状態での右折（つまり、右折する車両の左側の車線に別の車両がある場合の右折）を行うときなど、他のレーダユニットが遮られたときにさらなるレーダイメージングを提供できる可能性がある。
【0065】
図２には示されていないが、車両２００は、無線通信システムを含み得る。無線通信システムは、車両２００の外部または内部のデバイスと通信するように構成され得る無線送信機および無線受信機を含み得る。具体的には、無線通信システムは、例えば、車両通信システムまたは道路ステーションにおいて、他の車両および／またはコンピューティングデバイスと通信するように構成されたトランシーバを含み得る。そのような車両通信システムの例は、専用の短距離通信（ＤＳＲＣ）、無線周波数識別（ＲＦＩＤ）、およびインテリジェント輸送システムに向けに提案されている他の通信規格を含む。
【0066】
車両２００は、場合によっては、センサユニット２０２の内側の場所にカメラを含み得る。カメラは、車両２００の環境の複数の画像をキャプチャするように構成されている、スチルカメラ、ビデオカメラなどの感光性機器であり得る。この目的のために、カメラは、可視光を検出するように構成され得、追加的または代替的に、赤外光または紫外光などのスペクトルの他の部分からの光を検出するように構成され得る。１つの特定の例では、センサユニット２０２は、光学カメラ（すなわち、人間の可視光を取り込むカメラ）および赤外線カメラの両方を含み得る。赤外線カメラは、カメラの視野内の熱画像を取り込むことが可能であってもよい。
【0067】
カメラは、二次元検出器であり得、任意選択で、三次元空間の感度範囲を有し得る。いくつかの実施形態では、カメラは、例えば、カメラから環境内のいくつかの点までの距離を示す二次元画像を生成するように構成された範囲検出器を含み得る。この目的のために、カメラは、１つ以上の範囲検出技法を使用し得る。例えば、カメラは、構造化光技法を使用することによって範囲情報を提供することができ、この構造化光技法では、車両２００が、格子またはチェッカーボードパターンなどの所定の光パターンで環境内のオブジェクトを照らし、カメラを使用して、環境周囲からの所定の光パターンの反射を検出する。反射光パターンの歪みに基づいて、車両２００は、オブジェクト上の点までの距離を決定し得る。所定の光パターンは、赤外光、またはそのような測定に好適な他の波長の放射線で構成され得る。いくつかの例では、カメラは、車両２００のフロントガラスの内側に取り付けられ得る。具体的には、カメラは、車両２００の向きに対して前方視から画像をキャプチャするように位置付けられ得る。カメラの他の取り付け場所および視野角も使用され得、車両２００の内部または外部のいずれであってもよい。また、カメラは、調整可能な視野を提供するように動作可能な関連する光学素子を有し得る。さらにまた、カメラは、パン／チルト機構を介してなど、カメラの指向角を変えるように、可動マウントを用いて車両２００に取り付けられ得る。
【0068】
さらに、カメラセンサは、ローリングシャッターで構成されてもよい。ローリングシャッターは、概して、光センサを反復的にサンプリングして画像データを取得する。カメラセンサからのデータは、画像、複数の画像、またはビデオを形成し得る。例えば、従来の画像センサでは、ローリングシャッターは一度に光センサの１行のセルを反復的にサンプリングし得る。ローリングシャッターを有するカメラセンサをサンプリングする場合、センサの視野内の高速の物体が歪んで見える場合がある。このような歪みは、反復サンプリングによって引き起こされる。セルのラインは反復的にサンプリングされるため、画像化されている物体は各サンプリング間にわずかに移動する。したがって、各ラインは前のラインよりも少し遅れた時間にサンプリングされる。それぞれのラインをサンプリングする際の遅延のために、水平方向の動きを有する物体は水平方向のスキューを有する場合がある。例えば、センサの視野を横切って移動する車両は、水平スキューおよび垂直圧縮（または拡張）を有する場合があり、それは車両を歪める。このスキューは、画像内の物体の水平方向の位置に基づく処理に対して面倒となり得る。本システムは、ローリングシャッターによって引き起こされる可能性のあるカメラの歪みを特定するのに役立つ可能性がある。
【0069】
図３は、実装形態例による、自律車両に関連する様々なコンピューティングシステム間の無線通信の概念図である。特に、無線通信は、ネットワーク３０４を介して、リモートコンピューティングシステム３０２と車両２００との間で発生し得る。無線通信は、サーバコンピューティングシステム３０６とリモートコンピューティングシステム３０２との間、またサーバコンピューティングシステム３０６と車両２００との間でも発生し得る。車両２００の動作中、車両は、車両２００の動作を支援するために、サーバコンピューティングシステム３０６およびリモートコンピューティングシステム３０２の両方からデータを送受信することができる。車両２００は、車両２００の動作に関連するデータおよび車両２００のセンサからのデータをサーバコンピューティングシステム３０６およびリモートコンピューティングシステム３０２に通信することができる。さらに、車両２００は、サーバコンピューティングシステム３０６およびリモートコンピューティングシステム３０２から、車両のセンサによって感知された物体に関連する動作命令および／またはデータを受信することができる。
【0070】
車両２００は、場所間で乗客またはオブジェクトを輸送することができる様々な種類の車両に対応することができ、上で考察される車両のうちの任意の１つ以上の形態を取り得る。
【0071】
リモートコンピューティングシステム３０２は、本明細書で説明されるものを含むがこれに限定されないリモートアシスタンスおよび動作技術に関連する任意のタイプのデバイスを表し得る。例の中で、リモートコンピューティングシステム３０２は、（ｉ）車両２００に関連する情報を受信し、（ｉｉ）人間のオペレータまたはコンピュータのオペレータが次に情報を知覚し、情報に関連する応答を入力することができるインターフェースを提供し、および（ｉｉｉ）応答を車両２００に、または他のデバイスに送信する、ように構成された任意のタイプのデバイスを表し得る。リモートコンピューティングシステム３０２は、ワークステーション、デスクトップコンピュータ、ラップトップ、タブレット、携帯電話（例えば、スマートフォン）、および／またはサーバなどの、様々な形態を取り得る。いくつかの例では、リモートコンピューティングシステム３０２は、ネットワーク構成でともに動作する多数のコンピューティングデバイスを含み得る。
【0072】
リモートコンピューティングシステム３０２は、車両２００のサブシステムおよび構成要素と同様または同一の１つ以上のサブシステムおよび構成要素を含み得る。最低でも、リモートコンピューティングシステム３０２は、本明細書で説明される様々な動作を行うために構成されたプロセッサを含み得る。いくつかの実装形態では、リモートコンピューティングシステム３０２はまた、タッチスクリーンおよびスピーカなどの入力／出力デバイスを含むユーザインターフェースを含み得る。他の例も、同様に可能である。
【0073】
ネットワーク３０４は、リモートコンピューティングシステム３０２と車両２００との間の無線通信を可能にするインフラストラクチャを表す。ネットワーク３０４はまた、サーバコンピューティングシステム３０６とリモートコンピューティングシステム３０２との間、またサーバコンピューティングシステム３０６と車両２００との間の無線通信を可能にする。
【0074】
リモートコンピューティングシステム３０２の位置は、例の範囲内で変わり得る。例えば、リモートコンピューティングシステム３０２は、ネットワーク３０４を介した無線通信を有する車両２００から遠隔位置にあり得る。別の例では、リモートコンピューティングシステム３０２は、車両２００とは別個であるが、人間のオペレータが車両２００の乗客または運転者と相互作用することができる、車両２００内のコンピューティングデバイスに対応し得る。いくつかの例では、リモートコンピューティングシステム３０２は、車両２００の乗客によって操作可能なタッチスクリーンを備えるコンピューティングデバイスであってもよい。
【0075】
いくつかの実装形態では、リモートコンピューティングシステム３０２によって行われる本明細書で説明される動作は、追加的にまたは代替的に、車両２００によって（すなわち、車両２００の任意のシステムまたはサブシステムによって）行われ得る。言い換えれば、車両２００は、車両の運転者または乗客が相互作用することができるリモートアシスタンス機構を提供するように構成され得る。
【0076】
サーバコンピューティングシステム３０６は、ネットワーク３０４を介してリモートコンピューティングシステム３０２および車両２００と（または、場合によっては、リモートコンピューティングシステム３０２および／もしくは車両２００と直接）無線通信するように構成され得る。サーバコンピューティングシステム３０６は、車両２００およびそのリモートアシスタンスに関する情報を受信し、格納し、判断し、かつ／または送信するように構成された任意のコンピューティングデバイスを表し得る。このように、サーバコンピューティングシステム３０６は、リモートコンピューティングシステム３０２および／または車両２００によって行われるものとして本明細書で説明される任意の動作またはそのような動作の一部を行うように構成され得る。リモートアシスタンスに関連する無線通信の一部の実装形態では、サーバコンピューティングシステム３０６を利用できるが、他の実装形態では利用できない。
【0077】
サーバコンピューティングシステム３０６は、本明細書に記載の様々な動作を行うように構成されたプロセッサ、ならびにリモートコンピューティングシステム３０２および車両２００から情報を受信し、それらに情報を提供するための無線通信インターフェースなどの、リモートコンピューティングシステム３０２および／または車両２００のサブシステムおよび構成要素と同様または同一の１つ以上のサブシステムおよび構成要素を含み得る。
【0078】
上記の様々なシステムは、様々な動作を行い得る。ここで、これらの動作および関連する特徴について説明する。
【0079】
上記の議論に沿って、コンピューティングシステム（例えば、リモートコンピューティングシステム３０２、またはおそらくサーバコンピューティングシステム３０６、あるいは車両２００にローカルなコンピューティングシステム）は、自律車両の環境の画像を捕捉するためにカメラを使用するように動作し得る。概して、少なくとも１つのコンピューティングシステムが画像を分析して、可能であれば自律車両を制御することができる。
【0080】
いくつかの実装形態では、自律動作を容易にするために、車両（例えば、車両２００）は、車両が動作する環境内の物体を表すデータ（本明細書では「環境データ」とも称される）を様々な方法で受信し得る。車両のセンサシステムは、環境の物体を表す環境データを提供し得る。例えば、車両は、カメラ、レーダユニット、レーザ距離計、マイクロフォン、無線ユニット、および他のセンサを含む様々なセンサを有し得る。これらのセンサの各々は、各それぞれのセンサが受信する情報に関する環境データを車両内のプロセッサに伝達し得る。
【0081】
一例では、レーダユニットは、車両の近くの１つ以上の物体で反射する電磁信号を送信するように構成され得る。その後、レーダユニットは、物体で反射した電磁信号をキャプチャし得る。キャプチャされた反射電磁信号は、レーダシステム（または処理システム）が電磁信号を反射したオブジェクトについて様々な判定を行うことを可能にし得る。例えば、様々な反射物体までの距離および位置が判定され得る。いくつかの実装形態では、車両は、異なる配向に２つ以上のレーダを有し得る。実際には、車両は６つの異なるレーダユニットを有する。さらに、各レーダユニットは、そのレーダユニットの４つの異なるセクターのうちの１つにビームをステアリングするように構成され得る。様々な例において、レーダユニットは、レーダユニットの４つの異なるセクターの各々を走査することによって９０度の範囲にわたってビームを走査可能であり得る。レーダシステムは、車両の処理システムによる後の処理のために、キャプチャされた情報をメモリに格納するように構成され得る。レーダシステムによってキャプチャされた情報は、環境データである場合がある。
【0082】
別の例では、レーザ距離計（例えば、ＬＩＤＡＲユニット）が、車両近くの１つ以上の対象物体によって反射され得る電磁信号（例えば、気体もしくはダイオードレーザ、または他の可能な光源からのものなどの光）を送信するように構成され得る。レーザ距離計は、反射された電磁（例えば、レーザ）信号をキャプチャすることができ得る。キャプチャされた反射電磁信号は、測距システム（または処理システム）が様々な物体、例えば、電磁信号を反射してレーザ距離計に返した物体までの距離（ｒａｎｇｅ）を求めることを可能にし得る。測距システムはまた、対象物体の速度またはスピードを判定することができ、それを環境データとして格納することができる。
【0083】
いくつかの実装形態では、処理システムは、車両の環境をさらに判定するために、様々なセンサからの情報を組み合わせることが可能であり得る。例えば、処理システムは、レーダ情報および捕捉された画像の両方からのデータを組み合わせて、別の車両または歩行者が自律車両の前にいるかどうかを判定し得る。他の実装形態では、センサデータの他の組み合わせを処理システムが使用して、環境についての判定を行い得る。
【0084】
自律モードで動作している間、車両はほとんど、またはまったく人間の入力なしでその動作を制御し得る。例えば、人間のオペレータが住所を車両に入力した場合、車両は、人間からのさらなる入力なしに（例えば、人間がブレーキ／アクセルペダルを操縦したり触れたりする必要がなく）、指定された目的地まで運転することができ得る。さらに、車両が自律的に動作している間、センサシステムは環境データを受信していてもよい。車両の処理システムは、様々なセンサから受信した環境データに基づいて車両の制御を変更し得る。いくつかの例では、車両は、様々なセンサからの環境データに応答して、車両の速度を変え得る。車両は、障害物を回避し、交通法に従うなどのために速度を変更し得る。車両の処理システムが車両の近くのオブジェクトを識別すると、車両は速度を変更するか、または別の方法で動きを変えることが可能であり得る。
【0085】
車両がオブジェクトを検出したがオブジェクトの検出に十分自信がない場合、車両は、人間のオペレータ（またはより強力なコンピュータ）に、（ｉ）オブジェクトが実際に環境内に存在するかどうかを確認する（例えば、実際に一時停止標識があるか、または実際に一時停止標識がないか）、（ｉｉ）オブジェクトについての車両の識別が正しいかどうかを確認する、（ｉｉｉ）識別が正しくなかった場合、識別を修正する、および／または（ｉｖ）自律車両に対して補足的な命令を提供する（または現在の命令を修正する）などの、１つ以上のリモートアシスタンスタスクを行うよう要求することができる。
【0086】
車両は、環境データのソースに応じて、様々な方法で環境のオブジェクトを検出し得る。いくつかの実装形態では、環境データは、カメラから来て、画像または映像データであり得る。車両は、キャプチャされた画像またはビデオデータを分析して、画像またはビデオデータ内のオブジェクトを識別し得る。他の実装形態では、環境データはＬＩＤＡＲユニットから来る場合がある。方法および装置は、環境のオブジェクトがあるかについて、画像および／またはビデオデータをモニタするように構成され得る。他の実装形態では、環境データは、レーダ、オーディオ、または他のデータであり得る。車両は、レーダ、オーディオ、または他のデータに基づいて環境のオブジェクトを識別するように構成され得る。
【0087】
いくつかの実装形態では、物体を検出するために車両が使用する技法は、既知のデータのセットに基づいていてもよい。例えば、環境物体に関連するデータは、車両に位置付けられたメモリに格納されてもよい。車両は、受信したデータを格納されたデータと比較して、物体を判定し得る。他の実装形態では、車両は、データの文脈に基づいて物体を判定するように構成され得る。例えば、建設に関連する街路標識は、概してオレンジ色を有し得る。したがって、車両は、道路脇近くに位置するオレンジ色のオブジェクトを、工事関連の街路標識として検出するように構成され得る。加えて、車両の処理システムは、キャプチャされたデータ内のオブジェクトを検出すると、それはまた各オブジェクトの信頼度を計算し得る。
【0088】
ＩＩＩ．車両センサの視野の例
図４は、様々なセンサ視野を有する自律車両４００の例を示している。図２に関して前述したように、車両４００は複数のセンサを含むことができる。様々なセンサの位置は、図２に開示されているセンサの位置に対応している可能性がある。しかし、場合によっては、センサが他の位置にあってもよい。図面を単純にするために、センサ位置は図４Ａから省かれている。図４Ａは、車両４００の各センサユニットのそれぞれの視野を示している。センサの視野は、センサが物体を検出することができる角度領域、およびセンサが確実に物体を検出することができるセンサからの最大距離に対応する距離（ｒａｎｇｅ）を含み得る。
図４は、様々なセンサ視野を有する自律車両４００の例を示している。図２に関して前述したように、車両４００は複数のセンサを含むことができる。様々なセンサの位置は、図２に開示されているセンサの位置に対応している可能性がある。しかし、場合によっては、センサが他の位置にあってもよい。図面を単純にするために、センサ位置は図４Ａから省かれている。図４Ａは、車両４００の各センサユニットのそれぞれの視野を示している。センサの視野は、センサが物体を検出することができる角度領域、およびセンサが確実に物体を検出することができるセンサからの最大距離に対応する距離（ｒａｎｇｅ）を含み得る。
【0089】
上記したように、車両４００は６つのレーダユニットを含み得る。第１のレーダユニットは、車両の左前部に配置され得、視野４０２Ａの角度部分に対応する角度視野を有することができる。第２のレーダユニットは、車両の右前部に配置され得、視野４０２Ｂの角度部分に対応する角度視野を有することができる。第３のレーダユニットは、車両の左後部に配置され得、視野４０２Ｃの角度部分に対応する角度視野を有することができる。第４のレーダユニットは、車両の右後部に配置され得、視野４０２Ｄの角度部分に対応する角度視野を有することができる。第５のレーダユニットは、車両の左側に配置され得、視野４０２Ｅの角度部分に対応する角度視野を有することができる。第６のレーダユニットは、車両の右側に配置され得、視野４０２Ｆの角度部分に対応する角度視野を有することができる。６つのレーダユニットの各々は、例えば、９０度以上の走査可能ビーム幅を有するように構成されてもよい。レーダビーム幅は９０度よりも小さくてもよいが、各レーダユニットは視野全体にわたってレーダビームをステアリング可能であってもよい。
【0090】
車両４００の第１のＬＩＤＡＲユニットは、視野４０４の角度部分に対応する角度視野によって示されるように、車両の周囲の完全な３６０度領域を走査するように、または完全な３６０度領域内で走査をするように構成され得る。車両４００の第２のＬＩＤＡＲユニットは、車両の周囲の３６０度領域よりも小さい領域を走査するように構成され得る。一例では、第２のＬＩＤＡＲユニットは、視野４０４の角度部分に対応する角度視野によって示されるように、水平面内で５～１５度の視野を有することができる。
【0091】
さらに、車両はまた、少なくとも１つのカメラを含み得る。カメラは光学カメラおよび／または赤外線カメラであり得る。カメラは、視野４０８の角度部分に対応する角度視野を有してもよい。
【0092】
車両４００の様々なセンサの各々の視野に加えて、各センサはまた、対応する距離（ｒａｎｇｅ）を有し得る。一例では、ＬＩＤＡＲユニット４０４および４０６の視野よりも遠くまで伸びているレーダユニット４０２Ａ～４０２Ｅの視野によって示されるように、レーダユニットの距離（ｒａｎｇｅ）はいずれのＬＩＤＡＲユニットの距離（ｒａｎｇｅ）よりも大きくてもよい。さらに、視野４０６よりも遠くまで伸びている視野４０４によって示されるように、第１のＬＩＤＡＲユニットは第２のＬＩＤＡＲユニットの距離（ｒａｎｇｅ）よりも大きい距離（ｒａｎｇｅ）を有し得る。カメラは、視野４０８の長さによって示される距離（ｒａｎｇｅ）を有し得る。様々な例において、カメラの距離（ｒａｎｇｅ）は、その他のセンサの距離（ｒａｎｇｅ）よりも大きくても小さくてもよい。
【0093】
図４のセンサ視野、レーダユニットなどは例示的な図として示されているのであって、縮尺通りではないことを理解されたい。
【0094】
ＩＶ．システムおよび方法の例
本開示のシステムおよび方法の例を以下でより詳細に説明する。
本開示のシステムおよび方法の例を以下でより詳細に説明する。
【0095】
図５は、例示的な実施形態による方法５００のフローチャートである。方法５００は、ブロック５０２～５０８のうちの１つ以上によって例示されるように、１つ以上の動作、機能、またはアクションを含み得る。各方法のブロックは連続した順番で示されているが、これらのブロックは、場合によっては、並列に、および／または本明細書で記載されるものとは異なる順序で実行され得る。また、様々なブロックは、所望の実装に基づいて、より少ないブロックに組み合わされ、さらなるブロックに分割され、および／または除去され得る。
【0096】
加えて、方法５００ならびに本明細書で開示される他のプロセスおよび方法について、フローチャートは、本実施形態のうちの１つの可能な実装形態の機能および動作を示す。これに関して、各ブロックは、モジュール、セグメント、製造または操作プロセスの一部、またはプログラムコードの一部を表すことができ、それにはプロセス内の特定の論理機能またはステップを実装するためのプロセッサによって実行可能な１つ以上の命令が含まれる。プログラムコードは、例えば、ディスクまたはハードドライブを含むストレージデバイスのような任意のタイプのコンピュータ可読媒体に格納され得る。コンピュータ可読媒体は、例えば、レジスタメモリ、プロセッサキャッシュ、およびランダムアクセスメモリ（ＲＡＭ）のような短期間にデータを格納するコンピュータ可読媒体などの非一時的なコンピュータ可読媒体を含み得る。コンピュータ可読媒体は、例えばリードオンリーメモリ（ＲＯＭ）、光ディスクまたは磁気ディスク、コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）のような補助ストレージまたは永続長期ストレージなどの非一時的なコンピュータ可読媒体を含むこともできる。コンピュータ可読媒体は、任意の他の揮発性または不揮発性ストレージシステムとすることもできる。コンピュータ可読媒体は、例えば、コンピュータ可読ストレージ媒体、または有形のストレージデバイスであると考えられ得る。
【0097】
加えて、または代わりに、方法５００ならびに本明細書で開示される他のプロセスおよび方法について、フローチャート内の１つ以上のブロックは、プロセス内の特定の論理機能を実行するために配線された回路を表し得る。
【0098】
一部の例では、方法５００、および本明細書に開示される他のプロセスおよび方法について、フローチャート内に表されている機能は、他の可能性の中でもとりわけ、単一の車両（例えば、車両１００、２００など）によって実行されてもよく、複数の車両間に分散されて実行されてもよく、リモートサーバ／外部コンピューティングシステム（例えば、システム３０２および３０６）によって実行されてもよく、および／または１つ以上の外部コンピューティングシステムと１つ以上の車両との組み合わせによって実行されてもよい。さらに、フローチャート内に表されている機能は、車両の制御システムの１つ以上のプロセッサによって、および／または車両のセンサうちのの１つ以上のセンサの動作を制御する１つ以上のチップによって実行され得る。
【0099】
ブロック５０２において、方法５００は、自律車両に関連付けられた１つ以上のセンサから、第１の環境条件の間の自律車両の環境内の対象物体に関連付けられたセンサデータを受信することを含み、１つ以上のセンサのうちの少なくとも１つのセンサが、複数の動作視野ボリュームのうちの１つに関連付けられるように構成可能であり、各動作視野ボリュームは、少なくとも１つのセンサが最小の信頼レベルで自律車両の外部の物体を検出すると予想される空間を表す。
【0100】
ブロック５０４において、方法５００は、センサデータに基づいて、対象物体に関連付けられた少なくとも１つのパラメータを決定することを含む。
【0101】
ブロック５０６において、方法５００は、センサデータと過去のセンサデータとの間の少なくとも１つのパラメータの劣化を決定することを含み、過去のセンサデータが、第１の環境条件とは異なる第２の環境条件の間の環境内の対象物体に関連付けられている。
【0102】
ブロック５０８において、方法５００は、少なくとも１つのパラメータの決定された劣化に基づいて、少なくとも１つのセンサの動作視野ボリュームを、複数の動作視野ボリュームのうちの異なる動作視野ボリュームに調整することを含む。
【0103】
一部の実施形態では、方法５００は、対象物体の複数の連続するカメラ画像（すなわち、フレーム）にわたって、および／または対象物体に関連付けられたＬＩＤＡＲデータの複数の連続する取り込みの事例にわたって繰り返され得、同じ１つ以上のセンサを使用して、または他のセンサを使用して実行され得る。この繰り返しは、どの動作視野ボリュームを選択するかの判断を検証するのに役立ち得、また、決定された劣化が他の要因（例えば、センサドリフト）ではなく環境条件の変化によるものかどうかを確認するのに役立ち得る。
【0104】
方法５００に関与する１つ以上のセンサは、他の可能なセンサタイプの中でもとりわけ、１つ以上のＬＩＤＡＲセンサのセット、１つ以上のレーダセンサのセット、および／または１つ以上のカメラのセット（可視および赤外線を含む様々な波長帯域で動作する）を含むことができる。実際には、ある特定のタイプのすべてのセンサは、同じ動作視野ボリュームを持つように構成されてもよく、センサデータを受信して処理する車両ソフトウェアは、その特定のタイプのすべてのセンサを、その動作視野ボリュームを持つものとして扱うように構成される。例えば、晴天で日中の環境条件では、車両のすべてのカメラの動作視野距離（ｒａｎｇｅ）は１５０メートルであり得、車両のすべてのＬＩＤＡＲセンサの動作視野距離（ｒａｎｇｅ）は２００メートルであり得る。これらのことに則して、車両のセンサのうちの少なくとも１つのセンサの視野ボリュームを調整する行為は、特定のセンサタイプの各センサに対して同じ視野調整を行うことを含み得る。例えば、車両システムが、車両の動作環境に基づいてＬＩＤＡＲセンサに対して行う調整を決定する場合、車両システムは、車両のすべてのＬＩＤＡＲセンサに対してその調整を行うことができる。他の例も、同様に可能である。さらに、他の実施形態では、動作センサ視野ボリュームが個別に構成されてもよく、よって、特定のセンサタイプのセンサが同じセンサタイプの別のセンサとは異なる動作視野ボリュームを有するように構成されてもよい。
【0105】
１つ以上のセンサは、車両に対して１つ以上の位置に取り付けられた１つ以上のセンサを含み得る。一部の実施形態では、例えば、１つ以上のセンサは、車両のある位置に取り付けられたカメラおよび車両の異なる位置に取り付けられたＬＩＤＡＲセンサ、車両の異なる位置に取り付けられた２つ以上のカメラ、または車両の異なる位置に取り付けられた２つ以上のＬＩＤＡＲセンサなどの車両に取り付けられたセンサからなり得る。他の実施形態では、１つ以上のセンサは、複数のセンサを含むことができ、そのうちの少なくとも１つは車両に取り付けられ、少なくとも１つの他のセンサは別の車両に取り付けられる。さらに他の実施形態では、１つ以上のセンサの少なくとも１つは、車両が走行している、または走行するように経路設定されている道路沿いの静止物体に取り付けられてもよい。静止物体は、他の可能性の中でもとりわけ、電柱、道路標識（例えば、一時停止の標識）、信号機、または建物である可能性がある。少なくとも１つのセンサが車両から離れている実施形態では、サーバまたは他のコンピューティングデバイスを使用して、リモートセンサから車両システムへのセンサデータの通信を容易にすることができる。例えば、静止物体上のセンサによって取得されたセンサデータは、車両が静止物体に接近するときに、または静止物体のそばを通過するときにサーバを介して車両システムに送信され得る。
【0106】
環境条件は、晴天（例えば、曇りではなく、雨、雪、または霧でもなく、晴れ）、日中（例えば、日の出から日没までの期間）、夜間（例えば、日没から日の出までの期間）、雨天、雪、霧、曇り（例えば、雲がより多く、光がより少ない）、および／または、車両の１つ以上のセンサにほこり、水滴、氷／霜、ぶつかった虫、油、道路の汚れ、またはセンサのカバー／窓もしくは他の表面を塞ぐ他の物質があることを車両が検出する、センサ清浄度条件であるか、またはそのような条件を含み得る。他の環境条件も考えられる。さらに、環境条件は、条件の組み合わせであるか、または条件の組み合わせを含み得る。例えば、環境条件は晴天、晴れ、日中の環境条件（例えば、午前１１時、晴れ）であり得る。別の例として、動作環境は霧のある日中の環境条件、または雨が降っている日中の環境条件であり得る。さらに、一部の例では、他の可能性の中でもとりわけ、激しい吹雪および／もしくは風、激しい雨および／もしくは風、または事前に定められた閾値を超える霧の濃さなど、様々な程度の気象条件を有する環境条件が存在する可能性がある。
【0107】
対象物体は、対象物体に関連付けられたセンサデータから決定される少なくとも１つのパラメータに対して、ある予想される影響を及ぼす可能性が高い特性を持つ、車両の環境内の物体であり得る。そのような特性の例には、対象物体の特定の１つ以上の材料（例えば、木材）、対象物体の表面の反射率、対象物体の色、対象物体のサイズ、対象物体の形状、物体が静的であるか動的であるか、および、変化する観測角度で対象物体の明るさに影響を及ぼす可能性のある鋭角を対象物体が有するかどうか、が含まれ得る。一部の実施形態では、対象物体が、低い反射率を有し（例えば、木材）、異なる観測角度で物体のセンサデータが取得された場合に少なくとも１つのパラメータに変動が生じる可能性が低い形状（例えば、鋭角が最少に抑えられているか、または存在しない実質的に丸みを帯びた形状）を有する材料から作られた物体であることが望ましい可能性がある。例えば、対象物体は、予想される反射率が低く、晴天の条件時に地平線に対して高いコントラストが予想される木製の電柱である可能性がある。建物、橋、その他の人工物など、他の対象物体の例も可能である。
【0108】
一部の実施形態では、対象物体は、開示される方法を支援するために意図的に環境に置かれた物体または物体のグループであり得る。例えば、対象物体は、最小の反射率を有する黒い表面、および単純な丸いデザインを有するように製造されてもよい。追加でまたは代わりに、対象物体には、既知の特性を持つ１つ以上の基準マーカーが装着されてもよい。他の実施形態では、対象物体は、開示される方法を支援する目的で環境に意図的に配置されていない物体であってもよく、物体のプロファイルを構築できるように経時的に環境から推測された物体であってもよい。例えば、様々な車両が電柱のそばを通過するときに、電柱に関連付けられたセンサデータ（例えば、画像またはＬＩＤＡＲ強度データ）が取得され、物体の様々な特性、および車両が物体に遭遇する頻度を示す統計プロファイルを生成するために使用され得る。例えば、統計プロファイルは、物体が環境内で移動することが予想されない静止物体であるか、または予測可能もしくは予測不可能な少量の移動をする動的物体であるかを示す場合がある。統計プロファイルは、センサ位置の関数として物体の１つ以上の光学特性を示すこともできる。他の例も、同様に可能である。
【0109】
対象物体の特性がわかっている場合、対象物体に関連付けられたセンサデータから決定されたパラメータの変動は、物体およびその特性に関する不確実性に起因するのではなく、環境条件の変化（例えば、天候および／または時刻）に起因するとより高い信頼性で考えることができる。
【0110】
過去のセンサデータには、１つ以上のセンサのうちの少なくとも１つから受信されたセンサデータ、および／または他のセンサもしくは別のソースから受信されたセンサデータを含み得る。過去のセンサデータは、対象物体の統計プロファイルが作成されている期間中に受信されてもよく、またはその後のある時点で受信されてもよい。
【0111】
上記のように、過去のセンサデータは、第１の環境条件とは異なる第２の環境条件の間の環境内の対象物体に関連付けられている。例えば、過去のセンサデータは、晴天の条件の間、および日中の特定の時間（例えば、午前１０時）の間の対象物体の画像、または対象物体を表すＬＩＤＡＲデータを含み得、一方、センサデータは、雨、霧、または雪の条件の間、および過去のセンサデータと同じ１日の時刻（例えば、午前１０時）の間、または同じ１日の部分（例えば、朝、昼間）の間の対象物体の画像、または対象物体を表すＬＩＤＡＲデータを含み得る。
【0112】
センサデータには、１つ以上のカメラからの１つ以上の画像、１つ以上のＬＩＤＡＲセンサからのＬＩＤＡＲデータ（例えば、点の強度を含む３Ｄ点群データ）、および／または他のタイプのセンサからの他のタイプのセンサデータが含まれ得る。同様に、過去のセンサデータには、１つ以上のカメラからの１つ以上の過去の画像、１つ以上のＬＩＤＡＲセンサからの過去のＬＩＤＡＲデータ（例えば、点の強度を含む３Ｄ点群データ）、および／または他のタイプのセンサからの他のタイプの過去のセンサデータが含まれ得る。
【0113】
一部の実施形態では、車両システムがセンサデータに基づいて決定する少なくとも１つのパラメータは、対象物体を、センサデータ内で表される環境の別の領域と比較する値を含むことができる。例えば、センサデータが１つ以上の画像を含む状況では、少なくとも１つのパラメータは、１つ以上の画像内に示される対象物体と、１つ以上の画像内に示される地平線との間のコントラスト比、または両者を比較する他の値を含み得る。コントラスト比を使用すると、雪または霧の天候では距離（ｒａｎｇｅ）とともにコントラストが劣化する可能性があるため、動作視野を調整すべきときを示す信頼できる指標になり得る。
【0114】
追加でまたは代わりに、少なくとも１つのパラメータは、１つ以上の画像内の対象物体のエッジを１つ以上の画像の別の領域、例えば、地平線、道路、または別の物体を示す領域と比較する値を含むことができる。例えば、少なくとも１つのパラメータは、対象物体の１つ以上のエッジのエッジ強度と、１つ以上の画像内に示される別の物体の１つ以上のエッジのエッジ強度との間の比率、または両者を比較する他の値を含み得る。
【0115】
他の実施形態では、少なくとも１つのパラメータは、対象物体から反射されたレーザビームからのＬＩＤＡＲ強度、および／または対象物体から反射されたレーザビームの数量を含み得る。さらに他の実施形態では、少なくとも１つのパラメータは、対象物体から反射されたレーザビームのＬＩＤＡＲ強度または数量を、道路、建物、または別の車両などの環境内の別の物体から反射されたＬＩＤＡＲ強度またはレーザビームの数量と比較する値を含み得る。
【0116】
【0117】
図６Ａおよび図６Ｂは、対象物体を画像内に示されている地平線と比較するコントラスト比または他の値の劣化を決定するために使用され得る画像の例を示している。地平線は劣化の信頼できる指標になり得るが、画像内の他の領域を代わりに使用することもできる。
【0118】
図６Ａは画像６００および過去の画像６０２を示しており、これらの各々が対象物体６０４および地平線６０６を示している。特に、画像６００、６０２内の対象物体６０４は樹木限界であり得る。画像６００は、日中の雪の気象条件の間の対象物体６０４および地平線６０６を示し、過去の画像６０２は、日中の晴天の気象条件の間の対象物体６０４および地平線６０６を示している。
【0119】
図６Ａはまた、過去の画像６０２のセグメント化されたバージョン６０８、具体的には、複数の長方形の方位角／仰角領域に分割されたものを示している。これらの領域は、少なくとも１つのパラメータの劣化を決定するために画像を使用する方法の代表的な例であり、他の例では他の形状、サイズ、および数量の領域を使用できることを理解されたい。例えば、車両システムは、対象物体６０４の少なくとも一部分を含む画像６００、６０２の領域のみを使用してもよい。さらに、一部の例では、車両システムは、環境内の動的物体（例えば、車または雲）に対応する領域を無視または削除するように構成されてもよい。さらに、他の例では、車両システムは、対象物体６０４の既知の位置を示す所定のマップデータに基づいて、使用する領域を選択することができる。
【0120】
対象物体６０４と地平線６０６との間のコントラスト比の劣化を決定するための例示的なプロセスでは、車両システムは、画像６００のフーリエ変換６１０を計算すること、および過去の画像６０２のフーリエ変換６１２を計算することができる。フーリエ変換６１０およびフーリエ変換６１２は、各々、過去の画像６０２のセグメント化されたバージョン６０８と同様の方法でセグメント化されて示されており、フーリエ変換の各領域は、それぞれの元画像の対応する領域の方位角／仰角におけるパワースペクトル密度のグラフの形態をとる。一部の例では、各フーリエ変換がレイズドコサインでアポダイズされてもよい。
【0121】
次に、車両システムは、フーリエ変換６１０とフーリエ変換６１２との比率を計算することができる。特に、車両システムは、フーリエ変換６１０の長方形領域（対象物体６０４に対応する１つ以上の領域を含むがこれらに限定されない）のうちの１つ以上の領域の各々と、フーリエ変換６１２の対応する領域との比率を計算することができる。一例として、図６Ａは、フーリエ変換６１０の各領域と、フーリエ変換６１２の対応する各領域との比率を示す画像６１４を示している。図６Ｂは、画像６１４の拡大版を示している。図６Ａおよび図６Ｂはまた、画像６００、６０２、フーリエ変換６１０、６１２、および画像６１４における特定の関心領域６１６を強調する境界ボックスを示している。特に、関心領域６１６は、樹木限界が画像６００、６０２内の地平線６０６と接する場所に対応する関心領域、および関心領域に隣接する他の領域を含む。
【0122】
画像６１４から、車両システムは、どの領域が画像６００と過去の画像６０２との間の最大の差を示すか、すなわち、どの領域が最も高い比率を有するかを特定し、その／それらの領域を、動作視野ボリュームをどのように調整するかの決定に使用するように構成され得る。例えば、図６Ｂに示されている領域６１８は最も強い劣化の程度を示している可能性がある（例えば、図示されているように、約４桁のコントラスト代替指標劣化（－４０ｄＢ））。
【0123】
計算された比率に基づいて、さらに、画像６００、６０２を提供した１つ以上のカメラまでの対象物体６０４の距離（ｒａｎｇｅ）に基づいて、車両システムはコントラスト比の劣化を決定することができる。対象物体６０４の距離（ｒａｎｇｅ）は、例えば既存のマップデータ、ＧＰＳデータ、および／もしくは他のデータなどから車両システムに知られていてもよく、または、晴天時の過去の画像６０２および／もしくは過去の画像６０２内の１つ以上の物体のＬＩＤＡＲデータなど、１つ以上のセンサを用いて取得されたデータを使用して推定され得る。
【0124】
一部の例では、コントラスト比の劣化は式１で表すことができ、ここで、Ｃ＿ｏは、雪（または霧）の条件での対象物体６０４と地平線６０６との間のコントラストであり（例えば、黒い対象物体の場合はＣ＿ｏ＝１）、ｋは消衰長であり、ｄは対象物体６０４までの距離（ｒａｎｇｅ）である。
Ｃ＝Ｃ＿ｏ＊ｅｘｐ（－ｋ＊ｄ） （式１）
Ｃ＝Ｃ＿ｏ＊ｅｘｐ（－ｋ＊ｄ） （式１）
【0125】
したがって、各領域について、ＣとＣ＿ｏとの比率の自然対数はその領域のｋ＊ｄを提供し、そこから既知のｄの値を使用してｋを推定することができる。一例として、領域６１８（－４０ｄＢ）が道路の約１０００メートル先にある場合、式２～５に示すようにしてｋを求めることができる。
２０＊ｌｏｇ１０（Ｃ／Ｃ＿ｏ）＝４０ （式２）
Ｃ／Ｃ＿ｏ＝１００ （式３）
ｌｎ（Ｃ／Ｃ＿ｏ）＝ｌｎ（１００）＝４．６＝ｋ＊ｄ （式４）
ｋ＝４．６／（１０００メートル）＝０．００４６ （式５）
２０＊ｌｏｇ１０（Ｃ／Ｃ＿ｏ）＝４０ （式２）
Ｃ／Ｃ＿ｏ＝１００ （式３）
ｌｎ（Ｃ／Ｃ＿ｏ）＝ｌｎ（１００）＝４．６＝ｋ＊ｄ （式４）
ｋ＝４．６／（１０００メートル）＝０．００４６ （式５）
【0126】
他の実施形態では、フーリエ変換６１０、６１２は比率以外の他の方法で比較され得る。
【0127】
図６Ａ～図６Ｂに示す画像内の特定の領域（例えば、ピクセル）は、物体と１つ以上のカメラとの間のそれぞれの距離に対応する可能性がある（例えば、ピクセル２５０は、１つ以上のカメラから約５０～７０メートル離れている地面に対応する可能性がある）。したがって、少なくとも１つのパラメータの劣化を決定するためのプロセスの別の例では、車両システムは、各々がほぼ同じ距離、すなわち、対象物体６０４が位置していると推定されているか、または知られている距離に対応する複数の領域にわたる平均を取るように構成され得る。
【0128】
これを容易にするために、例えば、車両システムは、（ｉ）対象物体６０４に対応し、さらに、１つ以上のカメラまでの対象物体６０４の距離（ｒａｎｇｅ）とほぼ同じ１つ以上のカメラまでの距離（ｒａｎｇｅ）に位置する、環境の他の部分に対応する、フーリエ変換６１０内の第１の複数の領域と、（ｉｉ）対象物体６０４に対応し、さらに環境の前述の他の部分に対応する、フーリエ変換６１２内の第２の複数の領域との複数の比率を計算するように構成され得る。第１の複数の領域および第２の複数の領域はともに、同じ領域の数量を有し得る。例えば、図６Ｂに示されるように、領域６１８および領域６２０が使用されてもよい。
【0129】
例えば、便宜的な近似の場合、車両システムは、複数の比率を足し合わせ、その和を領域の数量で割ることによって平均比率を計算することができる。例えば、車両システムは、ピクセル２５０を含むすべての領域（例えば、領域６２０などの領域６１８と同じ行の領域）の平均信号対雑音比を取得してもよい。平均比率に基づいて、さらに、画像６００、６０２を提供した１つ以上のカメラまでの対象物体６０４の距離（ｒａｎｇｅ）に基づいて、車両システムは、例えば、式１に関して上記した技術を使用することによって、コントラスト比の劣化を決定することができる。
【0130】
一部の例では、車両システムは、異なる距離（ｒａｎｇｅ）に位置する対象物体を有する複数の領域を使用し得る。例えば、車両システムは領域６１８についてｋを計算し、領域６２２についてｋを計算することができ、ここで、領域６２２は、対象物体６０４の距離（ｒａｎｇｅ）にほぼ等しい既知の距離（ｒａｎｇｅ）に位置する環境内の別の対象物体、例えば別の木に対応する可能性がある。雪（または他の状況では霧など）の濃さが実質的に均一である場合、領域６２２のｋの計算値は、領域６１８のｋの計算値とほぼ同じになる可能性がある。
【0131】
上記の技術を使用することに加えて、またはその代わりに、車両システムは、一部の例では、少なくとも１つのパラメータの劣化を決定するためにエッジ検出技術を実装することができる。
【0132】
エッジ検出技術を使用して、対象物体６０４と地平線６０６との間のコントラスト比の劣化を決定するためのプロセスの一例では、車両システムは、二次元エッジ検出カーネル（例えば、ＤｏＧ（ｄｉｆｆｅｒｅｎｃｅ ｏｆ Ｇａｕｓｓｉａｎｓ）フィルタを用いたエッジ検出カーネル）を１つ以上の画像と畳み込み、１つ以上の画像の第１のエッジ強度を決定し、二次元エッジ検出カーネルを１つ以上の過去の画像と畳み込み、１つ以上の過去の画像の第２のエッジ強度を決定することができる。図７Ａは、畳み込み後の画像７００および過去の画像７０２を示している。画像７００は、日中の雪の気象条件の間の対象物体６０４および地平線６０６を示し、過去の画像７０２は、日中の晴天の気象条件の間の対象物体６０４および地平線６０６を示している。前の例と同様に、対象物体６０４は樹木限界であるが、他の例では他の物体が使用されてもよい。図７Ａはまた、畳み込み前の基準過去画像７０４の例を示している。
【0133】
次に、車両システムは、対象物体に対応する１つ以上の画像の１つ以上の第１の領域の各々における第１のエッジ強度を足し合わせ、対象物体に対応する１つ以上の過去の画像の１つ以上の第２の領域の各々における第２のエッジ強度を足し合わせることができる。例えば、図７Ａは、画像７００のセグメント化されたバージョン７０６、および過去の画像７０２のセグメント化されたバージョン７０８を示している。示されている例では、各画像７０６、７０８は複数の長方形の方位角／仰角領域に分割されており、各領域のエッジ強度が足し合わされている。他の例では他の形状、サイズ、および数量の領域を使用できることを理解されたい。
【0134】
図７Ａおよび図７Ｂはまた、特定の関心領域７１０を強調する境界ボックスを示している。具体的には、関心領域７１０は、樹木限界（対象物体６０４を含む）が画像７００、７０２内の地平線６０６と接する場所に対応する関心領域、および関心領域に隣接する他の領域を含む。一部の例では、車両システムは、画像全体ではなく、画像の特定の関心領域内のエッジ強度のみを足し合わせる可能性がある。
【0135】
その後、車両システムは、１つ以上の第１の領域の各々における足し合わされた第１のエッジ強度と、１つ以上の第２の領域の各々における足し合わされた第２のエッジ強度との１つ以上の比率を計算し得る。一例として、図７Ａは、画像７０６の対応する各領域に対する画像７０８の各領域の比率を示す画像７１２を示している。図７Ｂは、画像７１２の拡大版を示している。
【0136】
画像７１２から、車両システムは、どの領域が画像７００と過去の画像７０２との間の最大の差を示すか、すなわち、どの領域が最も高い比率を有するかを特定し、その／それらの１つ以上の領域を、動作視野ボリュームをどのように調整するかの決定に使用するように構成され得る。例えば、図７Ｂに示されている領域７１４が最も強い劣化の程度を示している可能性がある。
【0137】
計算された比率に基づいて、さらに、画像７００、７０２を提供した１つ以上のカメラまでの対象物体６０４の距離（ｒａｎｇｅ）に基づいて、車両システムは、例えば、式１に関して上記した技術を使用することによって、コントラスト比の劣化を決定することができる。
【0138】
他の実施形態では、画像７０６、７０８は比率以外の代替の方法で比較され得る。
【0139】
一部の例では、車両システムは、画像７０６および７０８の複数の領域にわたる平均をとるように構成され得、各領域は、ほぼ同じ距離、すなわち、対象物体６０４が位置していると推定されるか、または知られている距離に対応する。
【0140】
これを容易にするために、例えば、車両システムは、（ｉ）対象物体６０４に対応し、さらに、１つ以上のカメラまでの対象物体６０４の距離（ｒａｎｇｅ）とほぼ同じ１つ以上のカメラまでの距離（ｒａｎｇｅ）に位置する、環境の他の部分に対応する、画像７００内の第１の複数の領域の各々における第１のエッジ強度を足し合わせ、（ｉｉ）対象物体６０４に対応し、さらに環境の前述の他の部分に対応する、過去の画像７０２内の第２の複数の領域の各々における第２のエッジ強度を足し合わせるように構成され得る。第１の複数の領域および第２の複数の領域はともに、同じ領域の数量を有し得る。
【0141】
次に、車両システムは、第１の複数の領域における足し合わされた第１のエッジ強度と、第２の複数の領域における足し合わされた第２のエッジ強度との複数の比率を計算し得る。例えば、車両システムは、画像７０６に示される領域（各々が画像７００のその領域における第１のエッジ強度の和を表す）の少なくとも一部分と、画像７０８の対応する領域（各々が画像７１２のその領域における第２のエッジ強度の和を表す）の少なくとも一部分との比率を計算することができる。
【0142】
その後、車両システムは、複数の比率の和を領域の数量で割ったものとして平均比率を計算することができる。例えば、車両システムは、ピクセル２５０を含むすべての領域（例えば、領域７１０と同じ行の領域）の平均信号対雑音比を取得してもよい。平均比率に基づいて、さらに、画像７００、７０２を提供した１つ以上のカメラまでの対象物体６０４の距離（ｒａｎｇｅ）に基づいて、車両システムは、例えば、式１に関して上記した技術を使用することによって、コントラスト比の劣化を決定することができる。
【0143】
一部の実施形態では、車両システムは、１つ以上の画像の１つ以上の領域（例えば、対象物体６０４を表す画像７００の１つ以上の領域）と、１つ以上の過去の画像の１つ以上の対応する領域（例えば、対象物体６０４を表す過去の画像７０２の１つ以上の領域）との間のエッジ強度の劣化を、コントラスト比の劣化を決定する動作を実行せずに決定するように構成され得る。その後、車両システムは、エッジ強度の決定された劣化に基づき、車両のセンサのうちの少なくとも１つのセンサの動作視野ボリュームを調整することができる。
【0144】
一部の実施形態では、上記のように、少なくとも１つのパラメータは、環境内の対象物体から反射されたレーザビームのＬＩＤＡＲ強度を含み得る。車両システムは、ＬＩＤＡＲデータおよび過去のＬＩＤＡＲデータを使用して、ＬＩＤＡＲデータと過去のＬＩＤＡＲデータとの間の、対象物体から反射されたレーザビームからのＬＩＤＡＲ強度の劣化（例えば、ｄＢ／メートル単位で表される劣化）を決定してもよい。その後、車両システムは、ＬＩＤＡＲ強度の決定された劣化に基づき、車両の１つ以上のＬＩＤＡＲセンサのうちの少なくとも１つのセンサの各々の動作視野ボリュームを調整することができる。一部の例では、ＬＩＤＡＲ強度の所与の劣化に対して、ＬＩＤＡＲセンサの最大動作視野距離（ｒａｎｇｅ）が劣化の平方根で割られてもよい。
【0145】
上記のように、カメラ画像から決定された劣化したパラメータに基づき、少なくとも１つのＬＩＤＡＲセンサの動作視野ボリュームが調整され得る。同様に、ＬＩＤＡＲデータから決定された劣化したパラメータに基づき、少なくとも１つのカメラの動作視野が調整されてもよい。これの理由の１つは、対象物体から戻る光と同様に対象物体と地平線との間のコントラストが劣化することであり得る。例えば、指数関数的減衰によってＬＩＤＡＲ強度の約９５％が失われる、ＬＩＤＡＲセンサからの距離は、地平線上の対象物体（理想的には黒い対象物体）の間のコントラストが約５％に指数関数的に減衰する距離とほぼ同じ距離である可能性がある。
【0146】
したがって、少なくとも１つのパラメータの決定された劣化に基づいて１つ以上のセンサの各々の視野ボリュームを調整する行為は、ＬＩＤＡＲデータと過去のＬＩＤＡＲデータとの間のＬＩＤＡＲ強度の決定された劣化に基づいて、１つ以上のカメラのうちの少なくとも１つのカメラの各々、および１つ以上のＬＩＤＡＲセンサのうちの少なくとも１つのＬＩＤＡＲセンサの各々の視野ボリュームを調整することを含み得る。追加でまたは代わりに、少なくとも１つのパラメータの決定された劣化に基づいて１つ以上のセンサの各々の視野ボリュームを調整する行為は、コントラスト比、エッジ強度、および／または、１つ以上の画像と１つ以上の過去の画像との間の別のパラメータ値の決定された劣化に基づいて、１つ以上のカメラのうちの少なくとも１つのカメラの各々、および１つ以上のＬＩＤＡＲセンサのうちの少なくとも１つのＬＩＤＡＲセンサの各々の視野ボリュームを調整することを含み得る。
【0147】
一例として、カメラの可視波長のｋはＬＩＤＡＲ波長と同様である可能性が高いため、上記のようにカメラ画像を使用してコントラスト劣化のｋを計算すると、車両システムは１つ以上のＬＩＤＡＲセンサからの信号がどれだけ減衰するかを計算することができる。例えば、雪または雨の条件では、ｋがほぼゼロである晴天の条件と比較して、受信光の強度は１／ｅｘｐ（－２ｋ＊ｄ）に劣化する可能性があり、ここで、ｄは対象物体までの距離（ｒａｎｇｅ）である。その後、車両システムはこの劣化を使用して、対象物体の方向における１つ以上のＬＩＤＡＲセンサの劣化した視野ボリュームを推測できる。
【0148】
少なくとも１つのパラメータの決定された劣化に基づいて、少なくとも１つのセンサの動作視野ボリュームを、複数の動作視野ボリュームのうちの異なる動作視野ボリュームに調整する行為を容易化するために、車両システムは、１つ以上のパラメータ値（例えば、コントラスト比、ＬＩＤＡＲ強度、エッジ強度など）の各々を、対応する有限／所定の数の動作視野ボリュームの各々にマッピングするテーブルまたは他の形式のデータをメモリ（例えば、データストレージ１１４）に保存し得る。したがって、車両システムが劣化を決定するとき、車両システムは、複数の動作視野ボリュームのうちの異なる動作視野ボリューム、特に、劣化したパラメータ値に対応する動作視野ボリュームを選択することができる。別の例として、車両システムは、決定された劣化に基づいて、新しい動作視野ボリュームの距離（ｒａｎｇｅ）、方位角、および／または仰角を決定することができる。さらに、テーブルまたは他の形式のデータはまた、有限／所定の数の動作視野ボリュームの各々および／または対応する１つ以上のパラメータ値の各々を、環境条件（例えば、雪、霧、または晴れ）もしくは複数の環境条件の組み合わせ（例えば、日中および雪、または日中および霧）を識別するラベルにマッピングしてもよい。テーブルまたは他のデータが格納されており、かつテーブルまたは他のデータへのアクセスを提供するメモリは、車両に対してローカルであってもよいし（例えば、車両に搭載されたメモリ内）、車両から離れていてもよい（例えば、サーバを介してアクセス可能なデータベース）。
【0149】
一部の実施形態では、対応する有限／所定の数の動作視野ボリュームは、１つ以上のパラメータ値のうちの所与の１つに対応する複数の動作視野ボリュームセットを含み得、各セットは、所与のタイプのセンサ（例えば、ＬＩＤＡＲセンサ）または１つ以上のセンサのうちの特定の１つ（例えば、車両の左側にあるＬＩＤＡＲセンサ）に関連付けられている有限／所定の数の動作視野ボリュームを有する。例えば、第２の異なるタイプのセンサのセンサデータから決定された少なくとも１つのパラメータの劣化に基づいて第１のタイプのセンサの動作視野ボリュームを調整する行為を容易にするために、パラメータ値が２つの動作視野ボリュームセット、すなわち、第１のタイプのセンサ（例えば、カメラ）用のセット、および第２のタイプのセンサ（例えば、ＬＩＤＡＲセンサ）用のセットにマッピングされてもよい。
【0150】
一部の実施形態では、劣化を決定するために使用されたセンサデータは、車両に取り付けられたセンサによって取得されたものではないセンサデータであり得るが、決定された劣化に基づいて、車両に取り付けられているセンサのうちの少なくとも１つのセンサの動作視野ボリュームが調整されてもよい。例えば、別の車両または交差点の信号機にカメラが取り付けられ得、車両システム以外のコンピューティングデバイス（例えば、他の車両のサーバまたは車両システム）がコントラスト比の劣化を決定するために使用できる画像を取得してもよい。その後、コンピューティングデバイスは、決定された劣化を示す信号を車両システムに送信し得、車両システムは、決定された劣化に基づいて、車両に取り付けられたカメラおよび／またはＬＩＤＡＲセンサのうちの１つ以上の動作視野を調整することができる。あるいは、コンピューティングデバイスは画像自体を車両システムに送信し、車両システムが劣化を決定してもよい。他の例も、同様に可能である。
【0151】
少なくとも１つのセンサの動作視野ボリュームを調整した後、車両システムは、調整された動作視野ボリュームを有する少なくとも１つのセンサを使用して動作するように車両を制御することができる。すなわち、車両システムは、自律モードでの動作中、調整された動作視野ボリュームに基づいて少なくとも１つのセンサを使用してセンサデータを取得するように車両を制御することができる。一部の実施形態においてこれを容易にするために、車両に搭載されたローカルコンピューティングシステムは、車両の動作中に取得された、少なくとも１つのセンサの各々の調整された動作視野ボリュームに関連付けられたそれぞれの距離（ｒａｎｇｅ）、方位角、および／または仰角を超えるセンサデータ読み取り値を無視するように自身を設定してもよい。追加でまたは代わりに、ローカルコンピューティングシステムによって受信されると、ローカルコンピューティングシステムに、少なくとも１つのセンサの各々の調整された動作視野ボリュームに関連付けられたそれぞれの距離（ｒａｎｇｅ）、方位角、および／または仰角を超えるセンサデータの読み取り値をローカルコンピューティングシステムが無視する自律モードで動作するように車両を制御させる命令を、リモートシステムが車両のローカルコンピューティングシステムに送信してもよい。他の例も、同様に可能である。上記のように、調整された動作視野ボリュームを有する少なくとも１つのセンサは、車両に取り付けられた少なくとも１つのセンサ、および／または車両から離れた場所にあるが、車両の動作を容易にするために車両システムによって使用される少なくとも１つのセンサを含み得る。
【0152】
一部の実施形態では、所与の時点で所与のセンサに使用される特定の動作視野ボリュームが、そのセンサおよびパラメータの最大動作視野値よりも低い可能性があるが、それにもかかわらず、センサは、その特定の動作視野ボリュームに関連付けられたそれぞれの距離（ｒａｎｇｅ）、方位、および／または仰角を超える距離（ｒａｎｇｅ）、方位、および／または仰角に対応するセンサデータを取得し、車両システム（例えば、センサデータを処理するように構成されたプロセッサ）に送信するように構成されてもよい。そのような実施形態では、車両システムは、特定の動作視野ボリュームに関連付けられたそれぞれの距離（ｒａｎｇｅ）、方位角、および／または仰角よりも大きい距離（ｒａｎｇｅ）、方位角、および／または仰角に対応するセンサデータを無視してもよい（例えば、破棄するか、または保存するが、それに基づいて物体検出などの車両の環境に関する決定を行わない）。例えば、ＬＩＤＡＲセンサの距離（ｒａｎｇｅ）が２００メートルから１５０メートルに縮まった場合、車両システムは、１５０メートルを超える車両からの距離に対応するセンサデータを無視してもよい。他の例も、同様に可能である。追加でまたは代わりに、車両システムは、特定の動作視野ボリュームの最大パラメータ値より大きいパラメータ値に対応するセンサデータを識別し得る（例えば、フラグを立てるか、またはデータが疑わしい可能性があるという表示を他の形でメモリに保存する）。他の実施形態では、そのようなセンサは、特定の動作視野ボリュームに関連付けられたそれぞれの距離（ｒａｎｇｅ）、方位角、および／または仰角を超える距離（ｒａｎｇｅ）、方位角、および／または仰角に対応するセンサデータを取得しないようにセンサが自身を設定できるように構成され得る。追加でまたは代わりに、センサは、特定の動作視野ボリュームに関連付けられたそれぞれの距離（ｒａｎｇｅ）、方位角、および／または仰角を超える距離（ｒａｎｇｅ）、方位角、および／または仰角に対応するセンサデータを取得するように構成され得るが、センサから車両システムの他のコンピューティングデバイスに送信されるデータの量を減らすために、そのようなセンサデータを破棄するようにさらに構成されてもよい。
【0153】
一部の実施形態では、車両のセンサ、および１つ以上のセンサの動作を制御するチップ（例えば、マイクロチップ）などの関連付けられたコンピューティングデバイスが、取得したセンサデータをセンサがオンボードコンピュータまたはリモートコンピュータに送信する前に動作を実行してもよく、これは、オンボードコンピュータまたはリモートコンピュータがどのように車両の動作を制御するかに影響し得る。特に、そのようなセンサチップは、方法５００の１つ以上の動作を実行してもよい。これに関連して、動作視野ボリュームを調整する行為は、調整された動作視野ボリュームに関連付けられたそれぞれの距離（ｒａｎｇｅ）、方位角、および／または仰角よりも大きい距離（ｒａｎｇｅ）、方位角、および／または仰角に対応するセンサデータをセンサチップが無視するか、またはそのようなセンサデータについてフラグを立てることを含み得る。追加でまたは代わりに、動作視野ボリュームを調整する行為は、センサチップが、（ｉ）センサデータの取得時に１つ以上のＬＩＤＡＲセンサによって送信されるレーザパルスのパワーレベルを、第１のパワーレベルから、第１のパワーレベルとは異なる調整されたパワーレベルに調整すること、および／または（ｉｉ）調整された動作視野ボリュームに関連付けられた調整されたパワーレベルで１つ以上のレーザパルスを送信することによってセンサデータを取得することを含み得る。他の例も、同様に可能である。
【0154】
本明細書で使用される「実質的に（ｓｕｂｓｔａｎｔｉａｌｌｙ）」、「およそ（ａｐｐｒｏｘｉｍａｔｅｌｙ）または「約（ａｂｏｕｔ）」という用語は、列挙された特性、パラメータ、値、または幾何学的平面性が、正確に達成される必要はないが、例えば、許容誤差、測定誤差、測定精度の限界、および当業者に既知の他の要因を含む、偏差または変動が、特性によって提供されることが意図された効果を排除しない量で起き得ることを意味する。
【0155】
様々な例示的な態様および例示的な実施形態が本明細書において開示されているが、他の態様および実施形態は、当業者には明らかであろう。本明細書において開示される様々な例示的な態様および例示的な実施形態は、例示を目的とするものであり、限定することを意図するものではなく、真の範囲および趣旨は、以下の特許請求の範囲により示される。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7A】
【図7B】
