特許 7443497 自己運転車両のセンサ視野

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-26

(45)【発行日】2024-03-05

(54)【発明の名称】自己運転車両のセンサ視野

(51)【国際特許分類】

   B60W 40/02 20060101AFI20240227BHJP

   B60W 60/00 20200101ALI20240227BHJP

   G08G 1/16 20060101ALI20240227BHJP

【ＦＩ】

B60W40/02

B60W60/00

G08G1/16 A

【請求項の数】 16

(21)【出願番号】P 2022514979

(86)(22)【出願日】2020-10-06

(65)【公表番号】

(43)【公表日】2022-12-14

(86)【国際出願番号】 US2020054384

(87)【国際公開番号】W WO2021071827

(87)【国際公開日】2021-04-15

【審査請求日】2022-04-28

(31)【優先権主張番号】16/598,060

(32)【優先日】2019-10-10

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】317015065

【氏名又は名称】ウェイモ エルエルシー

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100126480

【弁理士】

【氏名又は名称】佐藤 睦

(72)【発明者】

【氏名】ゾウ，ミン

(72)【発明者】

【氏名】モートン，ピーター

(72)【発明者】

【氏名】ラウターバッハ，クリスチャン

【審査官】鶴江 陽介

(56)【参考文献】

【文献】米国特許出願公開第２０１９／００９４８７５（ＵＳ，Ａ１）

【文献】再公表特許第２０１７／０２２４４８（ＪＰ，Ａ１）

【文献】米国特許出願公開第２０１８／０３１４２５３（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１９／０１３８８２３（ＵＳ，Ａ１）

【文献】Sanjiv Singh, Sebastian Scherer，Pushing the Envelope - Fast and Safe Landing by Autonomous Rotorcraft at Unprepared Sites，AHS 69th Annual Forum，2013年，第1-5頁

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６０Ｗ ３０／００－６０／００

Ｇ０８Ｇ １／００－ １／１６

(57)【特許請求の範囲】

【請求項1】

自律運転モードで車両を動作させる方法であって、前記方法が、
１つ以上のプロセッサによって、前記車両の知覚システムの１つ以上のセンサから受信した未加工のセンサデータのセットのレンジ画像を生成することと、
前記１つ以上のプロセッサによって、ノイズを除去すること、または前記未加工のセンサデータのセットの欠落しているデータポイントを埋めることのうちの少なくとも１つを実施することによって、前記レンジ画像を修正することと、
前記１つ以上のプロセッサによって、前記修正されたレンジ画像のピクセルに対応する前記車両の環境内の場所と前記車両との間の物理的な距離を決定することと、
前記１つ以上のプロセッサによって、前記修正されたレンジ画像の前記ピクセルの値が示す距離が前記物理的な距離より小さいことに基づいて、前記ピクセルが遮蔽に対応すると判断することと、
前記１つ以上のプロセッサによって、前記遮蔽を識別するセンサ視野データセットを生成することと、
前記遮蔽に基づいて出力を生成するために、前記１つ以上のプロセッサによって、前記センサ視野データセットを、前記車両のプランナモジュールに提供することと、
前記１つ以上のプロセッサによって、前記出力に基づいて前記自律運転モードで前記車両の方向または速度のうちの少なくとも１つを制御することと、を含む、方法。

【請求項2】

前記ノイズを除去することが、前記１つ以上のセンサが１回の放出に対して受信した複数の結果のうち時間的に最後に受信した結果に基づいて、前記レンジ画像からノイズの値をフィルタ処理することを含む、請求項１に記載の方法。

【請求項3】

前記欠落しているデータポイントを埋めることが、前記欠落しているデータポイントを有する前記レンジ画像の部分を、前記レンジ画像の１つ以上の隣接するエリアと同じ方法で、表現することを含む、請求項１に記載の方法。

【請求項4】

前記レンジ画像を修正することが、前記車両の環境内にある１つ以上の検出された物体を、ある期間にわたって追跡して、前記１つ以上の検出された物体に関連付けられた知覚データをどのように補正するかを決定することを含む、請求項１に記載の方法。

【請求項5】

前記１つ以上の検出された物体に関連付けられた前記知覚データが、所与の検出された物体に関連付けられたデータホールを埋めることによって補正される、請求項４に記載の方法。

【請求項6】

前記１つ以上の検出された物体に関連付けられた前記知覚データが、前記１つ以上の検出された物体の隣接する境界に従って、欠落しているピクセルを内挿することによって補正される、請求項４に記載の方法。

【請求項7】

前記センサ視野データセットを生成することが、指定された量のセンサ解像度を維持しながら、前記修正されたレンジ画像を圧縮することをさらに含む、請求項１に記載の方法。

【請求項8】

前記センサ視野データセットを生成することが、前記１つ以上のセンサの動作特性に基づいて、前記修正されたレンジ画像を圧縮するかどうかを決定することを含む、請求項１に記載の方法。

【請求項9】

前記動作特性が、センサのタイプ、最小解像度の閾値、および伝送帯域幅からなる群から選択される、請求項８に記載の方法。

【請求項10】

前記車両の動作を制御することが、
前記センサ視野データセットに従って、前記車両を取り巻く環境内に、特定の方向に沿って前記遮蔽が存在するかどうかを決定することと、
前記特定の方向に沿って前記遮蔽が存在すると決定した場合、前記遮蔽を考慮に入れるように、前記車両の前記方向または前記速度のうちの少なくとも１つを修正することと、を含む、請求項１に記載の方法。

【請求項11】

前記センサ視野データセットを遠隔コンピューティングシステムの少なくとも１つの車外モジュールに提供することをさらに含む、請求項１に記載の方法。

【請求項12】

自律運転モードで車両を動作させるように構成されたシステムであって、前記システムが、
メモリと、
前記メモリに動作可能に連結された１つ以上のプロセッサと、を備え、前記１つ以上のプロセッサが、
前記車両の知覚システムの１つ以上のセンサから受信した未加工のセンサデータのセットのレンジ画像を生成することと、
ノイズを除去すること、または前記未加工のセンサデータのセットの欠落しているデータポイントを埋めることのうちの少なくとも１つを実施することによって、前記レンジ画像を修正することと、
前記修正されたレンジ画像のピクセルに対応する前記車両の環境内の場所と前記車両との間の物理的な距離を決定することと、
前記修正されたレンジ画像の前記ピクセルの値が示す距離が前記物理的な距離より小さいことに基づいて、前記ピクセルが遮蔽に対応すると判断することと、
前記遮蔽を識別するセンサ視野データセットを生成することと、
前記遮蔽に基づいて出力を生成するために、前記センサ視野データセットを前記メモリに記憶することと、
前記出力に基づいて前記自律運転モードで前記車両の方向または速度のうちの少なくとも１つを制御することと、を行うように構成されている、システム。

【請求項13】

前記ノイズを除去することが、前記１つ以上のセンサが１回の放出に対して受信した複数の結果のうち時間的に最後に受信した結果に基づいて、前記レンジ画像からノイズの値をフィルタ処理することを含む、請求項１２に記載のシステム。

【請求項14】

前記欠落しているデータポイントを埋めることが、前記欠落しているデータポイントを有する前記レンジ画像の部分を、前記レンジ画像の１つ以上の隣接するエリアと同じ方法で、表現することを含む、請求項１２に記載のシステム。

【請求項15】

前記レンジ画像を修正することが、前記１つ以上のセンサの動作特性に基づいて、前記修正されたレンジ画像を圧縮するかどうかを決定することを含む、請求項１２に記載のシステム。

【請求項16】

自律運転モードで動作するように構成された車両であって、前記車両が、
請求項１２に記載のシステムと、
前記知覚システムと、を備える、車両。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、開示全体が参照により本明細書に組み込まれる、２０１９年１０月１０日に出願された米国特許出願第１６／５９８，０６０号の優先権を主張するものであり、該特許出願の継続出願である。

【背景技術】

【0002】

人間の運転者を必要としない車両などの自律型車両を、ある場所から別の場所への乗客または貨物の輸送を支援するために使用することができる。このような車両は、完全自律モードで動作する場合と、人が何らかの運転入力を提供し得る、部分的に自律的なモードで動作する場合がある。自律モードで動作するために、車両は様々な車載センサを用いて外部環境の特徴を検出し、受信されたセンサ情報を使用して様々な運転動作を実施することができる。しかしながら、車両の環境内にある物体を検出するためのセンサの能力が、遮蔽によって制限される場合がある。かかる遮蔽は、より遠く離れて位置する物体の存在を覆い隠す可能性があり、かつまた検出された物体のタイプを決定することからの車両のコンピュータシステムの能力に影響を与える可能性がある。これらの問題は、運転動作、ルート計画、およびその他の自律行動に悪影響を与える可能性がある。

【発明の概要】

【0003】

本技術は、車両の周りの環境内にある遮蔽の存在を決定することと、かかる遮蔽に関する情報を補正することと、補正された情報を車載システムおよび車外システムで用いて、自律運転モードで車両の動作を強化することに関する。

【0004】

本技術の１つの態様によれば、自律運転モードで車両を動作させる方法が提供される。本方法は、１つ以上のプロセッサによって、車両の知覚システムの１つ以上のセンサから未加工のセンサデータを受信することであって、１つ以上のセンサが、車両を取り巻く環境内にある物体を検出するように構成されている、受信することと、１つ以上のプロセッサによって、知覚システムの１つ以上のセンサのうちの所与の１つから受信した未加工のセンサデータのセットのレンジ画像を生成することと、１つ以上のプロセッサによって、ノイズを除去すること、または未加工のセンサデータのセットの欠落しているデータポイントを埋めることのうちの少なくとも１つを実施することによって、レンジ画像を修正することと、１つ以上のプロセッサによって、修正されたレンジ画像を含むセンサ視野（ＦＯＶ）データセットを生成することであって、センサＦＯＶデータセットが、所与のセンサの視野内に遮蔽があるかどうかを識別する、生成することと、センサＦＯＶデータセットを、車両の少なくとも１つの車載モジュールに提供することと、提供されたセンサＦＯＶデータセットに従って、自律運転モードで車両の動作を制御することと、を含む。

【0005】

１つの実施例では、ノイズを除去することは、所与のセンサが受信した最後に戻された結果に基づいて、レンジ画像からノイズの値をフィルタ処理することを含む。別の実施例では、欠落しているデータポイントを埋めることは、欠落しているデータポイントを有するレンジ画像の部分を、レンジ画像の１つ以上の隣接するエリアと同じ方法で、表現することを含む。

【0006】

さらなる実施例では、レンジ画像を修正することは、ヒューリスティック補正のアプローチを適用することを含む。ヒューリスティック補正のアプローチは、車両を取り巻く環境内にある１つ以上の検出された物体を、ある期間にわたって追跡して、１つ以上の検出された物体に関連付けられた知覚データをどのように補正するかを決定することを含み得る。１つ以上の検出された物体に関連付けられた知覚データは、所与の検出された物体に関連付けられたデータホールを埋めることによって補正され得る。１つ以上の検出された物体に関連付けられた知覚データは、１つ以上の検出された物体の隣接する境界に従って、欠落しているピクセルを内挿することによって補正され得る。

【0007】

さらに別の実施例では、センサＦＯＶデータセットを生成することは、指定された量のセンサ解像度を維持しながら、修正されたレンジ画像を圧縮することをさらに含む。センサＦＯＶデータセットを生成することは、所与のセンサの動作特性に基づいて、修正されたレンジ画像を圧縮するかどうかを決定することを含み得る。ここで、動作特性は、センサのタイプ、最小解像度の閾値、および伝送帯域幅からなる群から選択され得る。

【0008】

別の実施例では、本方法は、センサデータセットをプランナモジュールに提供することを含む、センサデータセットを少なくとも１つの車載モジュールに提供することを含み得、自律運転モードで車両の動作を制御することは、プランナモジュールが車両の方向または速度のうちの少なくとも１つを制御することを含む。この場合、車両の動作を制御することは、センサＦＯＶデータセットに従って、車両を取り巻く環境内に、特定の方向に沿って遮蔽が存在するかどうかを決定することと、遮蔽が存在すると決定した場合、遮蔽を考慮に入れるように、車両の方向または速度のうちの少なくとも１つを修正することと、を含み得る。

【0009】

さらに別の実施例では、センサＦＯＶデータセットを生成することは、最大視認可能レンジの値が、対象となるポイントの物理的な距離よりも近いかどうかを評価して、対象となるポイントが視認可能であるか、または遮蔽されているどうかを決定することを含む。また、別の実施例では、本方法は、センサＦＯＶデータセットを遠隔コンピューティングシステムの少なくとも１つの車外モジュールに提供することをさらに含む。

【0010】

本技術の別の態様によれば、自律運転モードで車両を動作させるようにシステムが構成されている。本システムは、メモリと、メモリに動作可能に連結された１つ以上のプロセッサとを備える。１つ以上のプロセッサは、車両の知覚システムの１つ以上のセンサから未加工のセンサデータを受信するように構成されている。１つ以上のセンサは、車両を取り巻く環境内にある物体を検出するように構成されている。プロセッサは、知覚システムの１つ以上のセンサのうちの所与の１つから受信した未加工のセンサデータのセットのレンジ画像を生成することと、ノイズを除去すること、または未加工のセンサデータのセットの欠落しているデータポイントを埋めることのうちの少なくとも１つを実施することによって、レンジ画像を修正することと、修正されたレンジ画像を含むセンサ視野（ＦＯＶ）データセットを生成することと、を行うようにさらに構成されている。センサＦＯＶデータセットは、所与のセンサの視野内に遮蔽があるかどうかを識別する。プロセッサは、生成されたセンサＦＯＶデータセットをメモリに記憶することと、記憶されたセンサＦＯＶデータセットに従って、自律運転モードで車両の動作を制御することと、を行うようにさらに構成されている。

【0011】

１つの実施例では、ノイズを除去することは、所与のセンサが受信した最後に戻された結果に基づいて、レンジ画像からノイズの値をフィルタ処理することを含む。別の実施例では、欠落しているデータポイントを埋めることは、欠落しているデータポイントを有するレンジ画像の部分を、レンジ画像の１つ以上の隣接するエリアと同じ方法で、表現することを含む。さらに別の実施例では、レンジ画像を修正することは、ヒューリスティック補正のアプローチを適用することを含む。また、さらなる実施例では、センサＦＯＶデータセットを生成することは、所与のセンサの動作特性に基づいて、修正されたレンジ画像を圧縮するかどうかを決定することを含む。

【0012】

本技術のさらに別の態様によれば、上に記載のシステムと知覚システムの両方を含む車両が提供される。

【図面の簡単な説明】

【0013】

【図1A-1B】本技術の態様とともに使用するように構成された例示的な乗客型車両を例示する。

【図1C-1D】本技術の態様とともに使用するように構成された例示的な貨物型車両を例示する。

【図2】本技術の態様による例示的な乗客型車両のシステムのブロック図である。

【図3A-3B】本技術の態様による例示的な貨物型車両のシステムのブロック図である。

【図4】本開示の態様による乗客型車両のための例示的なセンサ視野を例示する。

【図5A-5B】本開示の態様による貨物型車両のための例示的なセンサ視野を例示する。

【図6A-6C】異なる運転状況におけるセンサ視野内の例示的な遮蔽を例示する。

【図7A-7C】本技術の態様による、ノイズおよび欠落しているセンサデータの補正例を例示する。

【図7D-7F】本技術の態様によるレンジ画像の補正例を例示する。

【図8A-8B】本技術の態様による聴取レンジのシナリオ例を例示する。

【図9A-9B】本技術の態様による例示的なシステムを例示する。

【図10】本技術の態様による例示的な方法を例示する。

【発明を実施するための形態】

【0014】

本技術の態様は、車載センサからの受信データを集め、これらの受信データに基づいて、各センサのレンジ画像をコンピュータ処理する。各レンジ画像のデータを、取得した知覚情報、ヒューリスティック学習および／または機械学習に従って補正して、データのギャップを埋めること、ノイズをフィルタ処理することなどを行うことができる。センサのタイプおよびセンサの特性に応じて、結果として得られる補正されたデータは、車載システムおよび車外システムが消費するためのフォーマットにパッケージ化される前に圧縮され得る。かかるシステムは、運転動作の実施、次のルートの計画、運転シナリオの試験などの際に、補正されたデータを評価することができる。

【0015】

例示的な車両システム
図１Ａは、ミニバン、スポーツユーティリティビークル（ＳＵＶ）、または他の車両などの例示的な乗客用車両１００の斜視図を示す。図１Ｂは、乗客用車両１００の上から見た図を示す。乗客用車両１００は、車両の外部環境に関する情報を取得するための様々なセンサを含むことができる。例えば、屋上ハウジング１０２は、Ｌｉｄａｒセンサ、ならびに様々なカメラ、レーダーユニット、赤外線および／または音響センサを含むことができる。車両１００の前部端部に位置するハウジング１０４、ならびに車両の運転者側および乗客側の上にあるハウジング１０６ａ、１０６ｂは各々、Ｌｉｄａｒ、レーダー、カメラ、および／または他のセンサを組み込むことができる。例えば、ハウジング１０６ａは、車両のクォーターパネルに沿って運転者側のドアの前に位置し得る。図示されるように、乗客用車両１００はまた、レーダーユニット、Ｌｉｄａｒ、および／または車両の後部屋根部分にも向かって位置付けられる、カメラのためのハウジング１０８ａ、１０８ｂも含む。追加のＬｉｄａｒ、レーダーユニット、および／またはカメラ（図示せず）は、車両１００に沿った他の場所に位置付けられてもよい。例えば、矢印１１０は、センサユニット（図１Ｂの１１２）が、車両１００の後方に沿って、例えば、バンパー上またはバンパーに隣接して位置決めされてもよいことを示す。かつ、矢印１１４は、車両の前方を向いた方向に沿って配置された一連のセンサユニット１１６を示す。いくつかの実施例では、乗客用車両１００はまた、車両の内部空間（図示せず）に関する情報を取得するための様々なセンサも含むことができる。

【0016】

図１Ｃ～図１Ｄは、トラクタトレーラトラックなどの貨物車両１５０の例を示す。トラックは、例えば、シングル、ダブル、またはトリプルのトレーラを含むことができ、または商用重量クラス４～８などの別の中型または大型トラックであり得る。図示するように、トラックは、トラクタユニット１５２と、単一の貨物ユニットまたはトレーラ１５４と、を含む。トレーラ１５４は、輸送する貨物のタイプに応じて、完全に密閉されるか、フラットベッドのように開くか、または部分的に開くことができる。この実施例では、トラクタユニット１５２は、エンジンおよびステアリングシステム（図示せず）と、運転者および任意の乗客のための運転室１５６と、を含む。完全に自律的な配置では人が必要ない場合があるので、運転室１５６は、座席または手動運転構成要素を備えなくてもよい。

【0017】

トレーラ１５４は、キングピンとして知られるヒッチングポイント１５８を含む。キングピン１５８は、通常、中実のスチールシャフトとして形成され、トラクタユニット１５２に旋回可能に取り付けられるように構成される。特に、キングピン１５８は、運転室の後方に装着された第５輪として知られるトレーラ連結部１６０に取り付ける。ダブルまたはトリプルトラクタトレーラの場合、第２のおよび／または第３のトレーラは、先頭のトレーラへの単純なヒッチ接続を有してもよい。または代替的に、各トレーラは、独自のキングピンを有してもよい。この場合、少なくとも第１および第２のトレーラは、次のトレーラに連結するように配置された第５輪タイプの構造を含むことができる。

【0018】

図示するように、トラクタは、トラクタに沿って配設された１つ以上のセンサユニット１６２、１６４を有してもよい。例えば、１つ以上のセンサユニット１６２を運転室１５６の屋根または頂部部分に配設することができ、１つ以上の側方センサユニット１６４を運転室１５６の左側および／または右側に配設することができる。センサユニットはまた、運転室１０６の他の領域に沿って、例えば、前部バンパーまたはボンネットエリアに沿って、運転室の後部に、第５輪に隣接して、シャーシの下などに位置し得る。トレーラ１５４もまた、トレーラに沿って、例えば、トレーラ１５４の側部パネル、前部、後部、屋根、および／またはアンダーキャリッジに沿って配設された１つ以上のセンサユニット１６６を有し得る。

【0019】

例として、各センサユニットは、Ｌｉｄａｒ、レーダー、カメラ（例えば、光学もしくは赤外線）、音響センサ（例えば、マイクロフォンもしくはソナータイプセンサ）、慣性センサ（例えば、加速度計、ジャイロスコープなど）、またはその他のセンサ（例えば、ＧＰＳセンサなどの位置決めセンサ）などの、１つ以上のセンサを含み得る。本開示のある態様は、特定のタイプの車両に関連して特に有用であるが、車両は、乗用車、トラック、オートバイ、バス、レクリエーション用車両などを含むがこれらに限定されない任意のタイプの車両であってもよい。

【0020】

部分的または完全な自律運転モードで動作する車両では、異なる程度の自律性が発生する可能性がある。Ｕ．Ｓ．Ｎａｔｉｏｎａｌ Ｈｉｇｈｗａｙ Ｔｒａｆｆｉｃ Ｓａｆｅｔｙ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ ａｎｄ ｔｈｅ Ｓｏｃｉｅｔｙ ｏｆ Ａｕｔｏｍｏｔｉｖｅ Ｅｎｇｉｎｅｅｒｓは、どれだけ多く、またはどれだけ少なく、車両が運転を制御するかを示すために、様々なレベルを特定した。例えば、レベル０は自動化されておらず、運転者は、運転に関連するすべての決定を行う。最も低い半自律モードであるレベル１は、クルーズコントロールなど、何らかのドライブ支援を含む。レベル２は、特定の運転動作の部分的な自動化を有し、レベル３は、必要に応じて運転者席の人が制御することが可能であり得る条件付きの自動化を伴う。対照的に、レベル４は、車両が選んだ条件で支援なしで運転することができる高度な自動化レベルである。レベル５は、車両があらゆる状況下で支援なしで運転することができる完全自律モードある。本明細書に記載のアーキテクチャ、構成要素、システム、および方法は、本明細書で自律運転モードと呼ばれる、例えば、レベル１～５の半自律モードまたは完全自律モードのいずれかで機能することができる。したがって、自律運転モードへの言及には、部分的自律性と完全自律性の両方が含まれる。

【0021】

図２は、自律運転モードで動作するための、乗客用車両１００などの例示的な車両の様々な構成要素およびシステムを有するブロック図２００を示す。図示するように、ブロック図２００は、１つ以上のプロセッサ２０４、メモリ２０６、および汎用コンピューティングデバイスに典型的に存在する他の構成要素を含む、コンピューティングデバイスなどの１つ以上のコンピューティングデバイス２０２を含む。メモリ２０６は、１つ以上のプロセッサ２０４によってアクセス可能な情報を記憶し、その情報には、プロセッサ２０４によって実行されるかまたは他の方法で使用され得る命令２０８およびデータ２１０が含まれる。コンピューティングシステムは、自律運転モードで動作するとき、車両の全体的な動作を制御することができる。

【0022】

メモリ２０６は、プロセッサ２０４によって実行されるかまたは他の方法で使用され得る命令２０８およびデータ２１０を含む、プロセッサ２０４によってアクセス可能な情報を記憶する。メモリ２０６は、コンピューティングデバイス可読媒体を含む、プロセッサによってアクセス可能な情報を記憶することができる任意のタイプのものであり得る。メモリは、ハードドライブ、メモリカード、光ディスク、ソリッドステートなどの非一過性の媒体である。システムは、前述の異なる組み合わせを含むことができ、それにより、命令およびデータの異なる部分が異なるタイプの媒体に記憶される。

【0023】

命令２０８は、プロセッサによって直接（マシンコードなど）または間接的（スクリプトなど）に実行される任意の命令のセットであってもよい。例えば、命令は、コンピューティングデバイス可読媒体上にコンピューティングデバイスコードとして記憶されてもよい。その点において、「命令」、「モジュール」、および「プログラム」という用語は、本明細書では区別なく使用され得る。命令は、プロセッサによる直接処理のためのオブジェクトコード形式で、または要求に応じて解釈されるか、もしくは予めコンパイルされる、スクリプトもしくは独立したソースコードモジュールのコレクションを含む、任意の他のコンピューティングデバイス言語で記憶されてもよい。データ２１０は、命令２０８に従って、１つ以上のプロセッサ２０４によって検索、記憶、または修正され得る。１つの実施例では、メモリ２０６の一部または全部は、車両診断および／または検出されたセンサデータを記憶するように構成されたイベントデータレコーダまたは他のセキュアデータストレージシステムであってもよく、実装に応じて、車両に搭載されてもよく、または遠隔地にあってもよい。

【0024】

プロセッサ２０４は、市販されているＣＰＵなどの、任意の従来のプロセッサであってもよい。代替的に、各プロセッサは、ＡＳＩＣまたは他のハードウェアベースプロセッサなどの専用デバイスであってもよい。図２は、コンピューティングデバイス２０２のプロセッサ、メモリ、およびその他の要素が同じブロック内にあることを機能的に示すが、そのようなデバイスは、実際には、同じ物理的ハウジング内に格納されてもされなくてもよい複数のプロセッサ、コンピューティングデバイス、またはメモリを含んでもよい。同様に、メモリ２０６は、プロセッサ２０４のものとは異なるハウジング内に位置するハードドライブまたは他のストレージ媒体であり得る。したがって、プロセッサまたはコンピューティングデバイスへの言及は、並列に動作してもしなくてもよいプロセッサまたはコンピューティングデバイスまたはメモリの集合体への言及を含むことが理解される。

【0025】

１つの実施例では、コンピューティングデバイス２０２は、車両１００に組み込まれた自律運転コンピューティングシステムを形成し得る。自律運転コンピューティングシステムは、車両の様々な構成要素と通信することが可能であり得る。例えば、コンピューティングデバイス２０２は、（車両の制動を制御するための）減速システム２１２、（車両の加速を制御するための）加速システム２１４、（車輪の向きおよび車両の方向を制御するための）ステアリングシステム２１６、（方向指示器を制御するための）合図システム２１８、（車両をある場所にまたは物体の周りにナビゲートするための）ナビゲーションシステム２２０、および（例えば、車両の姿勢を含む、車両の位置を決定するための）位置決めシステム２２２を含む、運転システムを含む、車両の様々なシステムと通信し得る。自律運転コンピューティングシステムは、ナビゲーションシステム２２０、位置決めシステム２２２、および／またはシステムの他の構成要素に従って、例えば、出発点から目的地までのルートを決定するため、または現在のもしくは予想された牽引力状態を考慮して様々な運転の態様に対して修正を行うために、プランナモジュール２２３を用いることができる。

【0026】

コンピューティングデバイス２０２はまた、車両の乗客からの連続的または定期的な入力を要求しないかまたは必要としない自律運転モードで、メモリ２０６の命令２０８に従って、車両の動き、速度などを制御するために、（車両の環境内の物体を検出するための）知覚システム２２４、電力システム２２６（例えば、バッテリおよび／またはガソリンもしくはディーゼル動力エンジン）、ならびにトランスミッションシステム２３０に動作可能に連結される。車輪／タイヤ２２８は、トランスミッションシステム２３０に連結され、コンピューティングデバイス２０２は、自律モードでの運転に影響を与え得るタイヤ空気圧、バランス、および他の要因に関する情報を受信することが可能であり得る。

【0027】

コンピューティングデバイス２０２は、様々な構成要素を制御することによって、例えば、プランナモジュール２２３を介して、車両の方向および速度を制御し得る。例として、コンピューティングデバイス２０２は、地図情報およびナビゲーションシステム２２０からのデータを使用して、車両を目的地に完全に自律的にナビゲートし得る。コンピューティングデバイス２０２は、位置決めシステム２２２を使用して、車両の場所を決定し、その場所に安全に到着する必要があるときに、知覚システム２２４を使用して、物体を検出し、物体に応答することができる。そうするために、コンピューティングデバイス２０２は、車両を（例えば、加速システム２１４によってエンジンに提供される燃料または他のエネルギーを増加させることによって）加速し、（例えば、エンジンに供給される燃料を低減し、ギヤを切り替え、および／または減速システム２１２によって制動をかけることによって）減速し、（例えば、ステアリングシステム２１６によって、車両１００の前輪または他の車輪の方向を転換することによって）方向を変更し、（例えば、合図システム２１８の方向指示器を点灯することによって）そのような変更を合図し得る。したがって、加速システム２１４および減速システム２１２は、車両のエンジンと車両の車輪との間に様々な構成要素を含む、動力伝達装置または他のタイプのトランスミッションシステム２３０の一部であり得る。この場合も、これらのシステムを制御することによって、コンピューティングデバイス２０２はまた、車両を自律的に操縦するために、車両のトランスミッションシステム２３０を制御することができる。

【0028】

ナビゲーションシステム２２０は、ある場所までのルートを決定し、たどるために、コンピューティングデバイス２０２によって使用され得る。この点について、ナビゲーションシステム２２０および／またはメモリ２０６は、地図情報、例えば、コンピューティングデバイス２０２が車両をナビゲートまたは制御するために使用することができる非常に詳細な地図を記憶し得る。一例として、これらの地図は、車道、区画線、交差点、横断歩道、速度制限、交通信号機、建物、標識、リアルタイムの交通情報、植生、または他のそのような物体ならびに情報の形状および標高を識別し得る。区画線は、実線または破線の、二重または単一の車線境界線、実線または破線の車線境界線、反射板などの特徴を含み得る。所与の車線は、車線の境界を画定する、左および／または右の車線境界線または他の区画線と関連付けられ得る。このため、ほとんどの車線は、１つの車線境界線の左端と別の車線境界線の右端によって境界付けられ得る。

【0029】

知覚システム２２４は、車両の外部の物体を検出するためのセンサ２３２を含む。検出された物体は、他の車両、道路上の障害物、交通信号機、標識、樹木などであり得る。センサメイ２３２はまた、雪、雨、水しぶき、または道路上の水たまり、氷、または他の物質などの、気象状況の特定の態様を検出することもできる。

【0030】

単なる例として、知覚システム２２４は、１つ以上の光検出および測距（Ｌｉｄａｒ）センサ、レーダーユニット、カメラ（例えば、中性密度フィルタ（ＮＤ）フィルタを含むもしくは含まない、光学撮像デバイス）、位置決めセンサ（例えば、ジャイロスコープ、加速度計、および／もしくはその他の慣性構成要素）、赤外線センサ、音響センサ（例えば、マイクロフォンもしくはソナートランスデューサ）、および／またはコンピューティングデバイス２０２によって処理され得るデータを記録する任意の他の検出デバイスを含み得る。知覚システム２２４のそのようなセンサは、車両の外部の物体、およびそれらの特徴、例えば、場所、向き、サイズ、形状、タイプ（例えば、車両、歩行者、自転車運転者など）、進行方向、車両に対する移動速度を検出することができる。知覚システム２２４はまた、車両内の他のセンサを含み、客室内などの車両内の物体および状態を検出することもできる。例えば、かかるセンサは、例えば、１つ以上の人物、ペット、荷物など、ならびに温度、湿度などの車両の中および／または外の条件を検出することができる。知覚システム２２４の別のさらなるセンサ２３２は、車輪２２８の回転の速度、減速システム２１２による制動の量またはタイプ、および車両自体の設備と関連付けられた他の要因を測定することができる。

【0031】

以下でさらに考察されるように、センサによって取得された未加工のデータは、知覚システム２２４によって処理され、かつ／またはさらなる処理のために、データが知覚システム２２４によって生成されるときに、周期的または継続的にコンピューティングデバイス２０２に送信され得る。コンピューティングデバイス２０２は、位置決めシステム２２２を使用して、車両の場所を決定し、その場所に安全に到着する必要があるときに、知覚システム２２４を使用して、例えば、遮蔽およびその他の問題に対処するための動作上の調節を含む、プランナモジュール２２３によって行われる調節を介して、物体を検出し、物体に応答することができる。加えて、コンピューティングデバイス２０２は、個々のセンサ、特定のセンサアセンブリ内のすべてのセンサ、または異なるセンサアセンブリもしくは他の物理的ハウジング内のセンサ間の較正を実施してもよい。

【0032】

図１Ａ～図１Ｂに示すように、知覚システム２２４の特定のセンサは、１つ以上のセンサアセンブリまたはハウジングに組み込まれ得る。１つの実施例では、これらは車両のサイドビューミラーに組み込まれてもよい。別の実施例では、他のセンサは、屋上ハウジング１０２、または他のセンサハウジングもしくはユニット１０６ａ、ｂ、１０８ａ、ｂ、１１２、および／または１１６の一部であり得る。コンピューティングデバイス２０２は、車両上に位置付けられた、または他の方法で車両に沿って分散されたセンサアセンブリと通信することができる。各アセンブリは、上述したもののような１つ以上のタイプのセンサを有することができる。

【0033】

図２に戻ると、コンピューティングデバイス２０２は、上述のプロセッサおよびメモリ、ならびにユーザインターフェースサブシステム２３４などのコンピューティングデバイスに関連して通常使用されるすべての構成要素を含むことができる。ユーザインターフェースサブシステム２３４は、１つ以上のユーザ入力２３６（例えば、マウス、キーボード、タッチスクリーン、および／またはマイクロフォン）、ならびに１つ以上の表示デバイス２３８（例えば、画面を有するモニタ、または情報を表示するように動作可能な他の任意の電気デバイス）を含んでもよい。この点について、内部の電子ディスプレイは、車両の車内（図示せず）に位置付けられてもよく、車両内の乗客に情報を提供するためにコンピューティングデバイス２０２によって使用されてもよい。スピーカ２４０などの他の出力デバイスも、乗客用車両内に位置付けられてもよい。

【0034】

乗客用車両はまた、通信システム２４２も含む。例えば、通信システム２４２はまた、他のコンピューティングデバイス、例えば、車両内の乗客コンピューティングデバイス、道路上の別の近くの車両内などの車両外部のコンピューティングデバイス、および／または遠隔サーバシステムとの通信を容易にするために、１つ以上の無線構成を含むこともできる。無線ネットワーク接続は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）ローエネルギー（ＬＥ）、携帯電話接続、ならびにインターネット、ワールドワイドウェブ、イントラネット、仮想プライベートネットワーク、ワイドエリアネットワーク、ローカルネットワーク、１つ以上の企業独自の通信プロトコルを使用するプライベートネットワーク、イーサネット、ＷｉＦｉおよびＨＴＴＰ、ならびに前述の様々な組み合わせなどのショートレンジ通信プロトコルを含む、様々な構成およびプロトコルを含み得る。

【0035】

図３Ａは、車両、例えば図１Ｃの車両１５０の様々な構成要素およびシステムを有するブロック図３００を示す。一例として、車両は、動作の１つ以上の自律動作モードで動作するように構成されたトラック、農業設備、または建設設備であり得る。ブロック図３００に示すように、車両は、１つ以上のコンピューティングデバイスの制御システム、例えば、１つ以上のプロセッサ３０４、メモリ３０６、ならびに図２に関して上で考察された構成要素２０２、２０４、および２０６に類似または同等の他の構成要素を含むコンピューティングデバイス３０２を含む。制御システムは、貨物車両のトラクタユニットの電子制御ユニット（ＥＣＵ）を構成することができる。命令２０８と同様に、命令３０８は、プロセッサによって直接的に（マシンコードなど）または間接的に（スクリプトなど）実行される任意の命令のセットであってもよい。同様に、データ３１０は、命令３０８に従って、１つ以上のプロセッサ３０４によって検索、記憶、または修正され得る。

【0036】

１つの実施例では、コンピューティングデバイス３０２は、車両１５０に組み込まれた自律運転コンピューティングシステムを形成し得る。図２に関して上で考察された配置と同様に、ブロック図３００の自律運転コンピューティングシステムは、ルート計画および運転動作を実施するために、車両の様々な構成要素と通信することができる。例えば、コンピューティングデバイス３０２は、各々が図２に関して上で考察されるように機能することができる、減速システム３１２、加速システム３１４、ステアリングシステム３１６、合図システム３１８、ナビゲーションシステム３２０、および位置決めシステム３２２を含む運転システムなどの、車両の様々なシステムと通信することができる。

【0037】

コンピューティングデバイス３０２はまた、知覚システム３２４、電力システム３２６、およびトランスミッションシステム３３０にも動作可能に連結される。車輪／タイヤ２２８は、トランスミッションシステム２３０に連結され、コンピューティングデバイス２０２は、自律モードでの運転に影響を与え得るタイヤ空気圧、バランス、回転率、および他の要因に関する情報を受信することが可能であり得る。コンピューティングデバイス２０２と同様に、コンピューティングデバイス３０２は、様々な構成要素を制御することによって車両の方向および速度を制御してもよい。例として、コンピューティングデバイス３０２は、地図情報およびナビゲーションシステム３２０からのデータを使用して、車両を目的地に完全に自律的にナビゲートし得る。コンピューティングデバイス３０２は、図２について上述した方法と同様に、その場所に安全に到達する必要があるときに、位置決めシステム３２２、知覚システム３２４、および他のサブシステムとともにプランナモジュール３２３を用いて、物体を検出し、物体に応答することができる。

【0038】

知覚システム２２４と同様に、知覚システム３２４はまた、車両外部の物体、車両内部の物体もしくは条件、ならびに／または車輪および減速システム３１２などの特定の車両の設備の動作を検出するための、上述したような１つ以上のセンサもしくは他の構成要素を含む。例えば、図３Ａに示すように、知覚システム３２４は、１つ以上のセンサアセンブリ３３２を含む。各センサアセンブリ２３２は、１つ以上のセンサを含む。１つの実施例では、センサアセンブリ３３２は、トラック、農業設備、建設設備などのサイドビューミラーに組み込まれたセンサタワーとして配置されてもよい。センサアセンブリ３３２はまた、図１Ｃ～図１Ｄに関して上述したように、トラクタユニット１５２またはトレーラ１５４上の異なる場所に位置決めすることもできる。コンピューティングデバイス３０２は、トラクタユニット１５２およびトレーラ１５４の両方に位置付けられるセンサアセンブリと通信することができる。各アセンブリは、上述したもののような１つ以上のタイプのセンサを有することができる。

【0039】

また、図３Ａには、トラクタユニットとトレーラとの間の接続のための連結システム３３４が示される。連結システム３３４は、１つ以上の動力および／または空気圧接続（図示せず）、ならびにトレーラのキングピンに接続するためのトラクタユニットの第５輪３３６を含むことができる。通信システム２４２に相当する通信システム３３８も、車両システム３００の一部として示される。

【0040】

図３Ｂは、図１Ｃ～図１Ｄのトレーラ１５４などのトレーラのシステムの例示的なブロック図３４０を示す。図示するように、システムは、１つ以上のプロセッサ３４４、メモリ３４６、および汎用コンピューティングデバイスに典型的に存在する他の構成要素を含む、コンピューティングデバイスなどの１つ以上のコンピューティングデバイスのＥＣＵ３４２を含む。メモリ３４６は、１つ以上のプロセッサ３４４によってアクセス可能な情報を記憶し、その情報には、プロセッサ３４４によって実行されるかまたは他の方法で使用され得る命令３４８およびデータ３５０が含まれる。図２および３Ａのプロセッサ、メモリ、命令、およびデータの説明は、図３Ｂのこれらの要素に適用される。

【0041】

ＥＣＵ３４２は、トレーラユニットから情報および制御信号を受信するように構成される。ＥＣＵ３４２の車載プロセッサ３４４は、減速システム３５２、合図システム２５４、および位置決めシステム３５６を含む、トレーラの様々なシステムと通信することができる。ＥＣＵ３４２はまた、トレーラの環境内の物体を検出するための１つ以上のセンサを備える知覚システム３５８、およびローカルの構成要素に電力を供給する電力システム２６０（例えば、バッテリ電源）に動作可能に連結することもできる。トレーラの車輪／タイヤ３６２の一部または全部は、減速システム３５２に連結され、プロセッサ３４４は、タイヤ空気圧、バランス、車輪速度、および自律モードでの運転に影響を与える可能性のある他の要因に関する情報を受信し、その情報をトラクタユニットの処理システムに中継することができる。減速システム３５２、合図システム３５４、位置決めシステム３５６、知覚システム３５８、電力システム３６０、および車輪／タイヤ３６２は、図２および図３Ａに関して上述したような方法で動作させることができる。

【0042】

トレーラはまた、着陸装置のセット３６６、および連結システム３６８も含む。着陸装置は、トラクタユニットから切り離されたときに、トレーラの支持構造を提供する。連結システム３３４の一部である連結システム３６８は、トレーラとトラクタユニットとの間の接続を提供する。したがって、連結システム３６８は、接続区分３７０（例えば、動力および／または空気圧リンク用）を含むことができる。連結システムは、トラクタユニットの第５輪と接続するように構成されたキングピン３７２も含む。

【0043】

例示的な実装形態
上述され、図に示された構造および構成を考慮して、様々な態様を、本技術の態様に従って次に説明する。

【0044】

ロングレンジＬｉｄａｒおよびショートレンジＬｉｄａｒ、レーダーセンサ、カメラ、またはその他の撮像デバイスなどのようなセンサは、自律運転モードで動作して、車両の周りの環境内の物体およびで条件を検出するように構成されている、自己運転車両（ＳＤＶ）または他の車両で使用される。各センサは、最大レンジを含む特定の視野（ＦＯＶ）、ならびに一部のセンサについては、水平解像度および垂直解像度を有し得る。例えば、パノラマＬｉｄａｒセンサは、７０～１００メートルほどの最大レンジ、１°～３°の垂直解像度、および０．１°～０．４°の水平解像度を有し得る。例えば、車両の前部、後部、または側部エリアに関する情報を提供する指向性Ｌｉｄａｒセンサは、程度の差はあるが、１００～３００メートルほどの最大レンジ、０．０５°～０．２°の垂直解像度、および０．０１°～０．０３°の水平解像度を有し得る。

【0045】

図４は、図１Ｂに例示されるセンサに関するセンサ視野の一例４００を提供する。ここで、屋上ハウジング１０２がＬｉｄａｒセンサ、ならびに様々なカメラ、レーダーユニット、赤外線および／または音響センサを含む場合、これらのセンサの各々は異なる視野を有してもよい。したがって、示されるように、Ｌｉｄａｒセンサは、３６０°のＦＯＶ４０２を提供し得る一方、ハウジング１０２内に配置されたカメラは、個々のＦＯＶ４０４を有し得る。車両の前部端部にあるハウジング１０４内のセンサは、前方を向いたＦＯＶ４０６を有する一方、後部端部にあるハウジング１１２内のセンサは、後方を向いたＦＯＶ４０８を有する。車両の運転者側および乗客側の上にあるハウジング１０６ａ、１０６ｂは各々、Ｌｉｄａｒ、レーダー、カメラ、および／または他のセンサを組み込むことができる。例えば、ハウジング１０６ａおよび１０６ｂ内のＬｉｄａｒは、それぞれのＦＯＶ４１０ａまたは４１０ｂを有し得る一方、ハウジング１０６ａおよび１０６ｂ内のレーダーユニットまたは他のセンサは、それぞれのＦＯＶ４１１ａまたは４１１ｂを有し得る。同様に、車両の後部屋根部分に向かって位置するハウジング１０８ａ、１０８ｂ内のセンサは各々、それぞれのＦＯＶを有する。例えば、ハウジング１０８ａおよび１０８ｂ内のＬｉｄａｒは、それぞれのＦＯＶ４１２ａまたは４１２ｂを有し得る一方、ハウジング１０８ａおよび１０８ｂ内のレーダーユニットまたは他のセンサは、それぞれのＦＯＶ４１３ａまたは４１３ｂを有し得る。また、車両の前方を向いた方向に沿って配置された一連のセンサユニット１１６は、それぞれのＦＯＶ４１４、４１６、および４１８を有し得る。これらの視野の各々は、単なる例示であり、カバレッジレンジに関して正確な縮尺ではない。

【0046】

貨物型車両（例えば、図１Ｃ～図１Ｄの車両１５０）のＬｉｄａｒセンサ、カメラセンサ、およびレーダーセンサ、ならびにこれらのセンサの視野の例を、図５Ａおよび図５Ｂに示す。図５Ａの例５００では、１つ以上のＬｉｄａｒユニットが屋上センサハウジング５０２内に位置し得、他のＬｉｄａｒユニットが境界センサハウジング５０４内に位置し得る。特に、屋上センサハウジング５０２は、３６０°のＦＯＶを提供するように構成され得る。一対のセンサハウジング５０４が、トラクタユニットの運転室の両側に位置し得る。例えば、サイドビューミラーアセンブリに組み込まれ得るか、または運転室のサイドドアまたはクォーターパネルに沿って位置し得る。１つのシナリオでは、ロングレンジＬｉｄａｒは、センサハウジング５０２および５０４の頂部または上部エリアに沿って位置し得る。ロングレンジＬｉｄａｒは、車両のボンネット越しに見えるように構成され得る。また、ショートレンジＬｉｄａｒは、センサハウジング５０２および５０４の他の部分の中に位置し得る。ショートレンジＬｉｄａｒは、別の車両、歩行者、自転車乗用者などのような物体が車両の前部または側部の隣にあるかどうかを決定し、その情報を、運転または方向転換の方法を決定する際に考慮に入れるために知覚システムによって使用され得る。両方のタイプのＬｉｄａｒは、ハウジング内に同じ場所に位置し得る。例えば、共通の垂直軸に沿って整列し得る。

【0047】

図５Ａに例示されるように、屋上センサハウジング５０２内のＬｉｄａｒは、ＦＯＶ５０６を有し得る。ここで、領域５０８によって示されるように、トレーラまたは車両の他の関節運動部分は、信号リターンを提供し得、外部の環境の後方視界を部分的または完全に遮断し得る。トラクタユニットの左側および右側にあるロングレンジＬｉｄａｒは、ＦＯＶ５１０を有する。これらは、車両の側部および前部に沿った重要なエリアを包含し得る。示されるように、これらの視野の重複領域５１２が車両の前にあってもよい。重複領域５１２は、追加の情報またはトラクタユニットのすぐ前にある非常に重要な領域に関する情報を知覚システムに提供する。この冗長性は、安全面にも影響する。ロングレンジＬｉｄａｒセンサのうちの１つで性能の劣化に見舞われた場合でも、冗長性により自律モードでの動作が可能になる。左側および右側にあるショートレンジＬｉｄａｒは、より小さいＦＯＶ５１４を有する。図面を見やすくするために、異なる視野の間に空間が示されるが、実際には、カバレッジが途切れない場合がある。センサアセンブリの特定の配置および視野は単に例示的なものである、例えば、車両のタイプ、車両のサイズ、ＦＯＶ要件などによって異なる場合がある。

【0048】

図５Ｂは、図１Ｃ～図１Ｄの車両１５０などの、屋上ハウジングおよびトラクタ－トレーラの両側にある、レーダーセンサおよびカメラセンサのいずれか（または両方）の例示的な構成５２０を例示する。ここで、図６Ａのセンサハウジング５０２および５０４の各々の中に多様なレーダーセンサおよび／またはカメラセンサがあってもよい。示されるように、前部ＦＯＶ５２２、側部ＦＯＶ５２４、および後部ＦＯＶ５２６を備える、屋上ハウジング内のセンサがあってもよい。領域５０８と同様に、トレーラは、車両の後ろの物体を検出するセンサの能力に影響を与える可能性がある。センサハウジング５０４内のセンサは、前方を向いたＦＯＶ５２８（ならびに側部および／または後部の視野も）を有することができる。図５Ａに関して上で考察されるＬｉｄａｒと同様に、図５Ｂのセンサは、重複領域５３０によって示されるような、近接する視野が重複するように配置され得る。ここでの重複領域も同様に冗長性を提供することができ、１つのセンサが性能劣化に見舞われた場合でも同じ利点を有する。センサアセンブリの特定の配置および視野は単に例示的なものである、例えば、車両のタイプ、車両のサイズ、ＦＯＶ要件などによって異なる場合がある。

【0049】

図５Ａおよび図５Ｂの領域５０８および５２６によって示されるように、車両の環境内にある物体を検出するための特定のセンサの能力が、遮蔽によって制限される場合がある。これらの実施例では、遮蔽は、トレーラなどの車両自体の一部分による場合がある。他の実施例では、他の車両、建物、群葉などによって遮蔽が引き起こされる場合がある。かかる遮蔽は、介在する物体よりも遠く離れて位置する物体の存在を覆い隠す場合があるか、または車両のコンピュータシステムが検出された物体のタイプを決定する能力に影響を与える場合がある。

【0050】

例示的なシナリオ
遮蔽があるかどうかを車載コンピュータシステムが知ることが重要である。これは、これを知ることが、運転またはルート計画の決定、ならびにオフラインのトレーニングおよび分析に影響を与える可能性があるためである。例えば、図６Ａの上から見た図６００では、自律運転モードで動作している車両が、Ｔ字形の交差点に位置し、保護されていない左折を行うのを待っている可能性がある。車載センサは、左側から近づくいずれの車両も検出することができない。しかし、これは、実際には接近する車両がないのではなく、遮蔽（例えば、通りの脇に駐車された貨物トラック）があるという事実による場合がある。特に、サイドセンサ６０２ａおよび６０２ｂは、それぞれの破線領域６０４ａおよび６０４ｂによって示される対応するＦＯＶを有するように配置され得る。影付きの領域６０６によって例示されるように、駐車された貨物トラックは、接近する車両を部分的または完全に覆い隠す場合がある。

【0051】

図６Ｂは、車両６２２が指向性の前方を向いたセンサを使用して、他の車両の存在を検出する、別のシナリオ６２０を例示する。示されるように、センサは、車両６２２の前にある物体を検出するために、それぞれのＦＯＶ６２４および６２６を有する。この実施例では、センサは、例えば、Ｌｉｄａｒセンサ、レーダーセンサ、画像センサ、および／または音響センサであってもよい。ここで、第１の車両６２８は、車両６２２と第２の車両６３０との間にあってもよい。介在する第１の車両２６８は、ＦＯＶ６２４および／または６２６から第２の車両６３０を遮蔽し得る。

【0052】

また、図６Ｃは、車両６４２がセンサ、例えば、Ｌｉｄａｒまたはレーダーを使用して、円形の破線６４４によって示されるような、３６０°のＦＯＶを提供する、さらに別のシナリオ６４０を例示する。ここで、影付きの領域６５４および６５６によってそれぞれ示されるように、反対の方向から近づくオートバイ６４６は、セダンまたは他の乗客用車両６４８によって覆い隠され得る一方、同じ方向に進むトラック６５０は、トラック６５０と車両６４２との間にある別のトラック６５２によって覆い隠され得る。

【0053】

これらのすべての状況では、取り巻く環境内にある物体に関する情報の欠落は、１つの運転決定につながる可能性があるが、車両が考えられる遮蔽を認識している場合には、異なる運転決定につながる可能性がある。かかる問題に対処するために、本技術の態様に従って、視認度および遮蔽の情報が、知覚システムのセンサから受信したデータに基づいて決定され、リアルタイムの車両動作、モデル化、計画、および他の処理のために異なる車載システムおよび車外システムによって使用され得るセンサＦＯＶ結果が提供される。

【0054】

未加工の（未処理の）受信されたセンサデータからコンピュータ処理されたレンジ画像を使用して、視認度の情報をキャプチャする。例えば、この情報を、値のマトリックスとして記憶することができ、各値は、レンジ画像内のポイント（ピクセル）に関連付けられる。１つの実施例によれば、レンジ画像をユーザに視覚的に提示することができ、異なるマトリックス値を、異なる色またはグレースケールシェーディングに関連付けることができる。Ｌｉｄａｒセンサの場合、レンジ画像内に記憶されている各ピクセルは、レーザーショットが特定の方位角および傾斜角（視野角）に沿って見ることができる最大レンジを表現する。視認度が評価されている任意の３Ｄの場所について、３Ｄの場所のレーザーショットが該当するピクセルを識別することができ、レンジ（例えば、記憶されている最大視認可能レンジ対車両から３Ｄの場所までの物理的な距離）を比較することができる。記憶されている最大視認可能レンジの値が物理的な距離よりも近い場合、３Ｄポイントは、この視野角に沿ってより近い遮蔽があるため、視認可能ではないとみなされる。対照的に、記憶されている最大視認可能レンジの値が少なくとも物理的な距離と同じである場合、３Ｄポイントは、視認可能である（遮蔽されていない）とみなされる。車両の知覚システムの各センサについて、レンジ画像をコンピュータ処理することができる。

【0055】

レンジ画像には、ノイズが含まれている可能性があり、特定の放出されたレーザービームに対するリターンが欠落している、例えば、受信されたデータポイントがない、可能性がある。これは、視認度の悪化をもたらす場合がある。視認度の悪化により、同じ反射率を有する物体の最大検出レンジが低減する場合があり、その結果、レンジ画像の処理に問題が考慮される場合がある。例示的な悪化としては、太陽盲、雨滴もしくは葉などの、センサ開口部上の物質、霧もしくは大雨などの大気の影響、粉塵雲、排気などが挙げられるが、これらに限定されない。

【0056】

レンジ画像データを、車両の知覚システムによって取得された情報を使用して補正し、センサ視野（ＦＯＶ）データセットを生成することができる。例えば、ノイズをフィルタ処理することができ、データの穴を埋めることができる。１つの実施例では、ノイズは、最初に戻された結果または他の初期に戻された結果からではなく、最後に戻された結果（例えば、レーザーショット反射）からの情報を使用して補正され得る。これは、所与のセンサが１回の放出（例えば、レーザーの１回のショット）から多様なリターンを受信し得るためである。例えば、図７Ａのシナリオ７００に示されるように、第１のリターン７０２は、空気中の粉塵から来て、時間の第１のポイント（ｔ₁）で受信される一方、第２のリターン７０４は、粉塵の後ろに位置する車から、少しばかり後の時間（ｔ₂）で受信される。ここで、本システムは、（例えば、レーザーがそのショットに沿って見ることができる最も遠い）時間ｔ₂から最後に受信したリターンを使用する。図７Ｂの別の実施例７１０では、レーザービームが車両の他の部品に反射するのと同じ方法ではガラスに反射しないので、レンジ画像内の穴として車両７１４の窓７１２が現れることがある。窓の「穴」を埋めることは、レンジ画像のこれらの部分を、検出された車両の隣接するエリアと同じ方法で表現することを含み得る。図７Ｃは、領域７２２によって示されるように、窓の穴が埋められている図７２０を例示する。

【0057】

図７Ｄ～図７Ｆは、例えば、ノイズをフィルタ処理し、１つ以上の物体に関連付けられた穴を埋めるために、レンジ画像を補正するか、または別様に修正する１つの実施例を例示する。特に、図７Ｄは、車両７３２ａおよび７３２ｂ、草木７３４、および標識７３６などの物体を含む、未加工のレンジ画像７３０を例示する。未加工のレンジ画像７３０の異なる部分が、アーティファクトを含む場合もある。例えば、部分７３８ａは、グランドレベルにより近い領域を含み、グランドリターンからの後方散乱によって影響を受ける場合がある。部分７３８ｂは、空の遮られていない部分であり得るが、部分７３８ｃは、例えば、雲、太陽のまぶしさ、建物、または他の物体による、空の遮られた部分であり得るため、この部分７３８ｃは、部分７３８ｂとは異なる外観を有し得る。また、この実施例では、それぞれの車両７３２ａおよび７３２ｂの窓７４０ａおよび７４０ｂが穴として現れる場合があることも示されている。さらに、アーティファクト７４２ａおよび７４２ｂなどのアーティファクトが、未加工のレンジ画像の異なる部分に現れる場合がある。

【0058】

図７Ｅは、処理されたレンジ画像７５０を例示する。ここで、例として、車両の窓に関連付けられた穴は、７５２ａおよび７５２ｂによって示されるように埋められており、その結果、窓は、車両の他の部分と同じように見える。また、未加工のレンジ画像の異なる部分にある、欠落しているピクセルなどのアーティファクトが補正されている。処理された（修正された）レンジ画像７５０は、センサＦＯＶデータセットとして、例えば、レンジ画像に対して行われた補正に従って特定のピクセル値が変更されているマトリックスとして記憶され得る。

【0059】

図７Ｆは、圧縮されたレンジ画像７６０を例示する。以下でさらに考察されるように、修正されたレンジ画像は、特定のセンサに関連付けられたセットのサイズに応じて圧縮され得る。

【0060】

ヒューリスティックなまたは学習ベースのアプローチを用いて、レンジ画像を補正することができる。ヒューリスティックなアプローチでは、空（例えば、画像の頂部領域に沿って位置する）またはグランド（例えば、画像の底部領域に沿って位置する）である、画像の大部分を識別することができる。このアプローチは、知覚によって検出された物体を追跡して、特定のエリアまたは条件にどのように対処するかを決定するのに役立つ場合がある。例えば、物体が車両であると知覚システムが決定した場合、窓の「穴」を車両の一部として自動的に埋めることができる。他の欠落しているピクセルを、一定の色分析、水平内挿もしくは外挿、または変分修復などの様々な画像処理技術を使用して、（例えば、隣接する境界から内向きに）内挿することができる。別の実施例では、レーザーリターンのすべてではないが一部で、排気が検出される場合がある。これに基づいて、本システムは、排気が無視することができるものであると決定し得る。

【0061】

追加のヒューリスティックは、センサの最小レンジもしくは最大レンジにある、または最小レンジもしくは最大レンジの近くにある物体を伴う。例えば、物体がセンサの最小レンジよりも近くにある場合、センサは、この物体を検出することができない（したがって、レンジ画像の別のタイプの穴）ことになるが、物体は、センサの視野を遮断し、遮蔽を作り出すことになる。ここで、本システムは、画像の底部など、画像の特定の領域に関連付けられた穴を検索し、センサの最小レンジを有するものを考慮する場合がある。

【0062】

例えば、レーザーの最大センサレンジに関して、すべてのレーザーショットが同じであるとは限らない。例えば、いくつかのレーザーショットは、より遠くを見るように設計されているが、いくつかは、より近くを見るように設計されている。ショットが見えるように設計されている距離は、最大聴取レンジと呼ばれる。図８Ａおよび図８Ｂは、２つの例示的なシナリオ８００および８１０をそれぞれ例示している。図８Ａのシナリオ８００では、トラックは、レーザーショット８０２のセットを放出することができ、各ショットは、異なる方位角を有する。この場合、各ショットは、同じ聴取レンジを有するように選択され得る。対照的に、図８Ｂのシナリオ８１０に示されるように、破線で表現される１つ以上のレーザーショットのセット８１２は、第１の聴取レンジを有し、一点鎖線で表現される別のショットのセット８１４は、第２の聴取レンジを有し、実線で表現される第３のショットのセット８１６は、第３の聴取レンジを有する。この実施例では、セット８１２は、これらのショットがグランドに向かって近くを指すように配置されているため、近い聴取レンジ（例えば、２～１０メートル）を有する。セット８１４は、例えば、近くの車両を検出するために、中間の聴取レンジ（例えば、１０～３０メートル）を有し得る。また、セット８１６は、遠く離れて位置する物体のために、拡張された聴取レンジ（例えば、３０～２００メートル）を有し得る。このアプローチでは、本システムは、リソース（例えば、時間）を節約し得る。それに伴って、ショットが最大Ｘメートルにしか到達することができない場合、このピクセルを埋めるための最終的なレンジは、Ｘメートルよりも大きくすることはできない。したがって、本システムは、最小推定レンジおよび最大聴取レンジ、または最小（推定レンジ、最大聴取レンジ）を取って、特定のピクセルを埋めることができる。

【0063】

例示的な学習ベースのアプローチでは、解決すべき課題は、取得したセンサデータの欠落している部分を埋めることである。機械学習法の場合、収集されたデータから実際にキャプチャされたレーザーショットの一部を除去してトレーニング用レンジ画像を取得することによって、トレーニング用データのセットを作成することができる。除去された部分は、グラウンドトゥルースデータである。機械学習システムは、これらのグラウンドトゥルースを使用して、除去された部分をどのように埋めるかを学習する。トレーニングされると、次いで、本システムは、実際の未加工のセンサデータで用いられる。例えば、元のレンジ画像では、ピクセルの一部のサブセットがランダムに除去されることになる。トレーニング用レンジ画像では、除去されたピクセルが欠落しており、これらのピクセルは、グラウンドトゥルースである。本システムは、これらの画像全体から意図的に除去されたピクセルをどのように埋めるかを学習するように、ネットをトレーニングする。ここでは、このネットを「ライブ」センサデータの実際の穴に適用することができ、ネットは、学習した知識を用いて、これらの穴を埋めることを試みることになる。

【0064】

レンジ画像を補正するか、または別様に修正するために使用されるアプローチに関係なく、修正されたレンジ画像を含む、結果として得られたセンサＦＯＶデータセットは、セットのサイズに応じて圧縮され得る。圧縮するかどうかの決定は、最小解像度の閾値要件、伝送帯域幅要件（例えば、遠隔システムに伝送するための）、および／または他の要因に対して、センサごとに行うことができる。例えば、パノラマセンサ（例えば、３６０°のＬｉｄａｒセンサ）からのセンサＦＯＶデータセットが圧縮され得る一方、指向性センサからのデータは圧縮する必要がない場合がある。指定された量の解像度（例えば、１°以内）が維持される限り、様々な画像処理技術を使用することができる。例として、ＰＮＧ圧縮などのロスレス画像圧縮アルゴリズムを用いることができる。

【0065】

次いで、圧縮されているかどうかにかかわらず、１つ以上のセンサのセンサＦＯＶ情報が、車載システムおよび／または遠隔システムに対して利用可能になる。車載システムは、プランナモジュールおよび知覚システムを含み得る。１つの実施例では、プランナモジュールは、センサＦＯＶ情報を用いて、車両の方向および速度を制御する。異なるセンサに関連付けられた異なるセンサＦＯＶデータセットからの情報を、必要に応じて、プランナモジュールまたは他のシステムによって個別に組み合わせるか、または評価することができる。

【0066】

上で考察されるように、遮蔽が識別された場合、知覚システムによって検出された物体だけでは、プランナモジュールが、保護されていない左折を開始するかどうかなどの動作の決定を行うのに十分でない場合がある。遮蔽がある場合、物体がまったくないかどうか、または遮蔽により知覚システムによってフラグ付けされていない接近する車両が存在し得るかどうかを、本システムが知らせることは難しい場合がある。ここで、センサＦＯＶ情報は、遮蔽があることを示すためにプランナモジュールによって使用される。例えば、プランナモジュールは、車両がどのように挙動するかに影響を与え得る、接近する遮蔽された物体が存在するという可能性を考慮することになる。例として、これは、車両が、保護されていない左折を行っている状況で発生する可能性がある。例えば、プランナモジュールは、システムに照会して、車両の周りの外部環境内にある特定の領域が視認可能であるか、または遮蔽されているかどうかを見ることができる。これは、その領域をカバーする対応するピクセルを、センサＦＯＶのレンジ画像表現でチェックすることによって行うことができる。視認可能でない場合、領域の遮蔽を示すことになる。ここで、プランナモジュールは、遮蔽されたエリアに別の物体（例えば、接近する車両）があると推測し得る。この状況では、プランナモジュールは、そのセンサが環境に関する追加情報を取得することを可能にすることによって、遮蔽の影響を低減するために車両をゆっくりと道に出すことができる。

【0067】

別の実施例は、例えば、霧、粉塵、または他の環境条件により、視認度が低下した領域内に車両がある場合に、車両の速度を低下させることを含む。さらなる実施例は、以前は視認可能であったが、後で遮蔽に入った物体の存在を覚えることを伴う。例えば、別の車が、自己運転車両からは視認可能ではない領域を通って運転する可能性がある。またさらに別の実施例は、特定の対象となる領域、例えば、横断歩道が遮蔽されているため、完全に明瞭であることが保証されていない可能性があると判断することを伴い得る。

【0068】

車外システムは、センサＦＯＶ情報を使用して、実世界もしくは人工のシナリオに基づいて自律シミュレーションを実施するか、またはメトリック分析を使用して、視認度／遮蔽が影響を与え得るシステムメトリックを評価することができる。この情報は、モデルトレーニングで使用され得る。この情報を、一団の車両の間で共有して、これらの車両の知覚およびルート計画を強化することもできる。

【0069】

かかる配置の１つが図９Ａおよび図９Ｂに示されている。特に、図９Ａおよび図９Ｂは、ネットワーク９１６を介して接続されている、複数のコンピューティングデバイス９０２、９０４、９０６、９０８とストレージシステム９１０とを含む、例示的なシステム９００のそれぞれ絵図および機能図である。システム９００はまた、図１Ａおよび図１Ｂならびに図１Ｃおよび図１Ｄの車両１００および１５０とそれぞれ同じまたは同様に構成され得る、車両９１２および９１４を含む。車両９１２および／または車両９１４は、一団の車両の一部であってもよい。簡潔にするため、いくつかの車両およびコンピューティングデバイスのみを図示しているが、典型的なシステムは、これよりもはるかに多くのものを含むことができる。

【0070】

図９Ｂに示されるように、コンピューティングデバイス９０２、９０４、９０６、および９０８の各々は、１つ以上のプロセッサ、メモリ、データ、および命令を含み得る。そのようなプロセッサ、メモリ、データ、および命令は、図２に関して上で説明したものと同様に構成することができる。

【0071】

様々なコンピューティングデバイスおよび車両が、ネットワーク９１６などの１つ以上のネットワークを介して通信することができる。ネットワーク９１６および介在するノードは、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｂｌｕｅｔｏｏｔｈ ＬＥ（登録商標）、インターネット、ワールドワイドウェブ、イントラネット、仮想プライベートネットワーク、ワイドエリアネットワーク、ローカルネットワーク、１つ以上の企業独自の通信プロトコルを使用するプライベートネットワーク、イーサネット、ＷｉＦｉおよびＨＴＴＰ、ならびに前述の様々な組み合わせなどの短距離通信プロトコルを含む、様々な構成およびプロトコルを含み得る。かかる通信は、モデムおよび無線インターフェースなどの、他のコンピューティングデバイスとの間でデータを伝送することができる任意のデバイスによって容易に行うことができる。

【0072】

１つの実施例では、コンピューティングデバイス９０２は、複数のコンピューティングデバイスを有する１つ以上のサーバコンピューティングデバイス、例えば、負荷バランス型のサーバファームを含み得、これらは、他のコンピューティングデバイスとの間でデータを受信する、処理する、および伝送する目的のために、ネットワークの異なるノードと情報を交換する。例えば、コンピューティングデバイス９０２は、ネットワーク９１６を介して、車両９１２および／または９１４のコンピューティングデバイス、ならびにコンピューティングデバイス９０４、９０６、および９０８と通信することができる、１つ以上のサーバコンピューティングデバイスを含み得る。例えば、車両９１２および／または９１４は、サーバコンピューティングデバイスによって様々な場所に配車され得る一団の車両の一部であってもよい。この点において、コンピューティングデバイス９０２は、乗客を乗せる、および降ろすために、または貨物を受け取る、および届けるために、車両を異なる場所に配車するために使用され得る配車サーバコンピューティングシステムとして機能し得る。さらに、サーバコンピューティングデバイス９０２は、ネットワーク９１６を使用して、他のコンピューティングデバイスのうちの１つのユーザまたは車両の乗客に情報を伝送および提示することができる。この点において、コンピューティングデバイス９０４、９０６、および９０８は、クライアントコンピューティングデバイスと考慮することができる。

【0073】

図９Ａに示されるように、各クライアントコンピューティングデバイス９０４、９０６、および９０８は、それぞれのユーザ９１８による使用を意図されたパーソナルコンピューティングデバイスであり得、１つ以上のプロセッサ（例えば、中央処理ユニット（ＣＰＵ））、データおよび命令を記憶するメモリ（例えば、ＲＡＭおよび内蔵ハードドライブ）、ディスプレイ（例えば、スクリーンを有するモニタ、タッチスクリーン、プロジェクタ、テレビ、または情報を表示するように動作可能なスマートウォッチディスプレイなどの他のデバイス）、ならびにユーザ入力デバイス（例えば、マウス、キーボード、タッチスクリーン、またはマイクロフォン）を含む、パーソナルコンピューティングデバイスに接続して通常使用される構成要素のすべてを有し得る。クライアントコンピューティングデバイスはまた、ビデオストリームを記録するためのカメラ、スピーカ、ネットワークインターフェースデバイス、およびこれらの要素を互いに接続するために使用されるすべての構成要素を含むことができる。

【0074】

クライアントコンピューティングデバイスは各々、フルサイズのパーソナルコンピューティングデバイスを含み得るが、これらはインターネットなどのネットワークを介してサーバと無線でデータを交換することができるモバイルコンピューティングデバイスを代替的に含み得る。単なる例として、クライアントコンピューティングデバイス９０６および９０８は、携帯電話、あるいは無線対応ＰＤＡ、タブレットＰＣ、ウェアラブルコンピューティングデバイス（例えば、スマートウォッチ）、またはインターネットもしくは他のネットワークを介して情報を取得することができるネットブックなどのデバイスであってもよい。

【0075】

いくつかの実施例では、クライアントコンピューティングデバイス９０４は、配車された車両の乗客と通信するために管理者またはオペレータによって使用される遠隔支援ワークステーションであってもよい。図９Ａおよび図９Ｂには単一の遠隔支援ワークステーション９０４のみが示されているが、任意の数のかかるワークステーションを所与のシステムに含めることができる。さらに、動作ワークステーションはデスクトップタイプのコンピュータとして描かれているが、動作ワークステーションは、ラップトップコンピュータ、ネットブックコンピュータ、タブレットコンピュータなどといった様々なタイプのパーソナルコンピューティングデバイスを含み得る。

【0076】

ストレージシステム９１０は、サーバコンピューティングデバイス９０２によってアクセス可能な情報を記憶することができる、ハードドライブ、メモリカード、ＲＯＭ、ＲＡＭ、ＤＶＤ、ＣＤ－ＲＯＭ、フラッシュドライブ、および／またはテープドライブなどの任意のタイプのコンピュータ化されたストレージのものであってもよい。さらに、ストレージシステム９１０は、同じまたは異なる地理的な場所に物理的に位置し得る複数の異なるストレージデバイス上にデータが記憶されている分散ストレージシステムを含み得る。ストレージシステム９１０は、図９Ａおよび図９Ｂに示されるように、ネットワーク９１６を介してコンピューティングデバイスに接続され得、かつ／またはコンピューティングデバイスのうちのいずれかに直接接続され得るか、もしくは組み込まれ得る。

【0077】

乗客がいる状況では、車両または遠隔支援装置は、乗客のクライアントコンピューティングデバイスと直接または間接的に通信することができる。ここでは、例えば、現在の運転動作、状況に応じたルートへの変更などに関する情報を乗客に提供することができる。

【0078】

図１０は、上の考察による自律運転モードでの車両の例示的な動作方法１０００を例示する。ブロック１００２で、本システムは、車両の知覚システムの１つ以上のセンサから未加工のセンサデータを受信する。１つ以上のセンサは、車両を取り巻く環境内にある物体を検出するように構成されている。

【0079】

ブロック１００４で、知覚システムの１つ以上のセンサのうちの所与の１つから受信した未加工のセンサデータのセットのレンジ画像が生成される。ブロック１００６で、レンジ画像は、ノイズを除去すること、または未加工のセンサデータのセットの欠落しているデータポイントを埋めることのうちの少なくとも１つを実施することによって修正される。ブロック１００８で、修正されたレンジ画像を含むセンサ視野（ＦＯＶ）データセットが生成される。センサＦＯＶデータセットは、所与のセンサの視野内に遮蔽があるかどうかを識別する。

【0080】

ブロック１０１０で、センサＦＯＶデータセットは、車両の少なくとも１つの車載モジュールに提供される。またブロック１０１２で、本システムは、提供されたセンサＦＯＶデータセットに従って、自律運転モードで車両の動作を制御するように構成されている。

【0081】

最終的に、上述のように、本技術は、乗用車、バス、ＲＶ、およびトラック、またはその他の貨物を運ぶ車両を含む様々なタイプの車輪付き車両に適用可能である。

【0082】

特段の記述がない限り、前述の代替例は、相互に排他的ではないが、独自の利点を達成するために様々な組み合わせで実施することができる。上述した機能のこれらおよび他の変形および組み合わせは、特許請求の範囲によって定義される主題から逸脱することなく利用することができるので、実施形態の前述の説明は、特許請求の範囲によって定義される主題を限定するものとしてではなく、例示としてみなされるべきである。加えて、本明細書に記載の例、ならびに「など」、「含む」などと表現された節の提示は、特許請求の範囲の主題を特定の例に限定するものとして解釈されるべきではなく、むしろ、例は、多くの可能な実施形態のうちの１つだけを例示することが意図される。さらに、異なる図面中の同じ参照番号は、同じまたは類似の要素を特定することができる。プロセスまたは他の動作は、本明細書で特に明記しない限り、異なる順序で、または同時に実施されてもよい。

【図1A】

【図1B】

【図1C】

【図1D】

【図2】

【図3A】

【図3B】

【図4】

【図5A】

【図5B】

【図6A】

【図6B】

【図6C】

【図7A】

【図7B】

【図7C】

【図7D】

【図7E】

【図7F】

【図8A】

【図8B】

【図9A】

【図9B】

【図10】