ホーム > 特許ランキング > ウェイモ エルエルシー
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-02-28
(54)【発明の名称】密着検知カメラシステム
(51)【国際特許分類】
G08G 1/16 20060101AFI20230220BHJP
G06T 7/70 20170101ALI20230220BHJP
G06T 7/00 20170101ALI20230220BHJP
【ＦＩ】
G08G1/16 C
G06T7/70 B
G06T7/00 650
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022536697
(86)(22)【出願日】2020-11-19
(85)【翻訳文提出日】2022-08-02
(86)【国際出願番号】 US2020061260
(87)【国際公開番号】W WO2021137964
(87)【国際公開日】2021-07-08
(31)【優先権主張番号】62/954,930
(32)【優先日】2019-12-30
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/737,263
(32)【優先日】2020-01-08
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】317015065
【氏名又は名称】ウェイモ エルエルシー
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100126480
【弁理士】
【氏名又は名称】佐藤 睦
(72)【発明者】
【氏名】トス，キンバリー
(72)【発明者】
【氏名】ディットマー，ジェレミー
(72)【発明者】
【氏名】グイディ，ジュリア
(72)【発明者】
【氏名】アヴラム，ピーター
【テーマコード（参考）】
5H181
5L096
【Ｆターム（参考）】
5H181AA01
5H181BB04
5H181CC02
5H181CC03
5H181CC04
5H181CC11
5H181CC14
5H181LL01
5H181LL07
5H181LL08
5H181LL09
5L096AA06
5L096BA04
5L096CA04
5L096FA64
5L096FA66
5L096FA67
5L096FA69
5L096GA51
(57)【要約】
本技術は、自律運転モードで動作するように構成された車両のための外部センサシステム（２３２）に関する。本技術は、車両の周りの死角に対処するための密着検知（ＣＩＳ）カメラシステム（１４０４）を含む。ＣＩＳシステムは、車両から数メートル以内にある物体を検出する（１８０８）ために使用される。物体の分類に基づいて、本システムは、リアルタイム運転決定を行うことができる（１８１０、１８１２）。ライダーセンサ（７００）とともにカメラを用いることによって、分類が強化される。単一のセンサハウジング内における多数のセンサの特定の配置も、物体の検出および分類にとって重要である。したがって、センサおよび支持構成要素の位置決めは、遮蔽を回避し、かつ別様に様々なセンサハウジング要素（７１２、１４１４）間の干渉を防止するように選択される。
【選択図】図１８
【選択図】図１８
【特許請求の範囲】
【請求項1】
自律運転モードで動作するように構成された車両のための外部検知システムであって、前記外部検知システムが、前記車両の周りの外部環境の少なくともある領域内、および前記車両の閾値距離内にある物体を検出するように構成された視野を有するライダーセンサと、
前記ライダーセンサに隣接して配設され、かつ前記車両の前記閾値距離内にある前記外部環境の前記領域の重なり合う視野を有するように前記車両に沿って配置された画像センサであって、前記画像センサが、前記閾値距離内の物体に、選択された解像度を提供する、画像センサと、
前記画像センサおよび前記ライダーセンサに動作可能に連結された制御システムと、を備え、前記制御システムが、
前記ライダーセンサの動作を開始して、前記車両の前記閾値距離内にある前記領域内のライダーデータを取得することと、
前記車両が運転行為を実施する前に、前記画像センサによる画像キャプチャを開始することと、
前記ライダーセンサから前記ライダーデータを受信し、前記画像センサから、前記キャプチャされたイメージを受信することと、
前記ライダーデータの処理を実施して、前記車両の前記閾値距離内にある前記領域内の物体を検出することと、
前記キャプチャされたイメージの処理を実施して、前記検出された物体を分類することと、
前記検出された物体の分類に基づいて、前記車両の１つ以上のシステムに前記運転行為を実施させるかどうかを判断することと、を行うように構成された１つ以上のプロセッサを含む、外部検知システム。
【請求項2】
前記検出された物体の分類が、前記検出された物体のサイズ、近接、または向きのうちの少なくとも１つを判断することを含む、請求項１に記載の外部検知システム。
【請求項3】
前記画像センサが、前記検出された物体によって占められる最小閾値体積を観察するように構成されている、請求項１に記載の外部検知システム。
【請求項4】
前記最小閾値体積が、前記検出された物体を包含する３Ｄ形状の少なくとも５０％である、請求項３に記載の外部検知システム。
【請求項5】
前記画像センサが、前記ライダーセンサから０．３メートル以内に配設されている、請求項１に記載の外部検知システム。
【請求項6】
前記画像センサおよび前記ライダーセンサが、前記車両の外部表面上に配置された同じセンサハウジング内に配設されている、請求項１に記載の外部検知システム。
【請求項7】
前記閾値距離が、前記車両から３メートル以内である、請求項１に記載の外部検知システム。
【請求項8】
前記画像センサのレンズが、疎水性コーティングを有する、請求項１に記載の外部検知システム。
【請求項9】
前記画像センサが、密接検知カメラシステムの一部であり、前記密接検知カメラシステムが、前記画像センサの前記視野を照らすように構成された少なくとも１つの照明器をさらに含む、請求項１に記載の外部検知システム。
【請求項10】
前記少なくとも１つの照明器が、前記画像センサの片側に隣接して配置されている、請求項９に記載の外部検知システム。
【請求項11】
前記少なくとも１つの照明器が、前記画像センサの上に配置されている、請求項９に記載の外部検知システム。
【請求項12】
前記少なくとも１つの照明器が、前記画像センサの両側の上に配置された一対の照明器を備える、請求項９に記載の外部検知システム。
【請求項13】
前記密接検知カメラシステムが、前記画像センサおよび／または前記少なくとも１つの照明器を洗浄するように構成された少なくとも１つの洗浄機構をさらに含む、請求項９に記載の外部検知システム。
【請求項14】
前記画像センサが、前記ライダーセンサの下に垂直に位置合わせされている、請求項１に記載の外部検知システム。
【請求項15】
前記画像センサが、前記ライダーセンサの上に垂直に位置合わせされている、請求項１に記載の外部検知システム。
【請求項16】
自律運転モードで動作するように構成された車両であって、前記車両が、運転システムであって、
前記車両のブレーキを制御するように構成された減速システム、
前記車両の加速を制御するように構成された加速システム、および
車輪の向きと前記車両の方向を制御するように構成されたステアリングシステム、を含む、運転システムと、
外部検知システムと、を備え、前記外部検知システムが、
前記車両の周りの外部環境の少なくともある領域内、および前記車両の閾値距離内にある物体を検出するように構成された視野を有するライダーセンサ、
前記ライダーセンサに隣接して配設され、かつ前記車両の前記閾値距離内にある前記外部環境の前記領域の重なり合う視野を有するように前記車両に沿って配置された画像センサであって、前記画像センサが、前記閾値距離内の物体に、選択された解像度を提供する、画像センサ、および
前記画像センサおよび前記ライダーセンサに動作可能に連結された制御システム、を含み、前記制御システムが、
前記ライダーセンサの動作を開始して、前記車両の前記閾値距離内にある前記領域内のライダーデータを取得すること、
前記運転システムが運転行為を実施する前に、前記画像センサによる画像キャプチャを開始すること、
前記ライダーセンサから前記ライダーデータを受信し、前記画像センサから、前記キャプチャされたイメージを受信すること、
前記ライダーデータの処理を実施して、前記車両の前記閾値距離内にある前記領域内の物体を検出すること、
前記キャプチャされたイメージの処理を実施して、前記検出された物体を分類すること、および
前記検出された物体の分類に基づいて、前記車両の１つ以上のシステムに前記運転行為を実施させるかどうかを判断することと、を行うように構成された１つ以上のプロセッサを含む、車両。
【請求項17】
前記画像センサが、前記検出された物体によって占められる最小閾値体積を観察するように構成されている、請求項１６に記載の車両。
【請求項18】
前記画像センサが、前記ライダーセンサから０．３メートル以内に配設されている、請求項１６に記載の車両。
【請求項19】
前記画像センサおよび前記ライダーセンサが、前記車両の外部表面上に配置された同じセンサハウジング内に配設されている、請求項１６に記載の車両。
【請求項20】
方法であって、自律運転モードで動作するように構成された車両の制御システムによって、前記車両の知覚システムのライダーセンサの動作を開始して、前記車両の周りの領域内の閾値距離内にあるライダーデータを取得することと、
前記制御システムによって、前記車両が運転行為を実施する前に、前記知覚システムの画像センサによる画像キャプチャを開始することであって、前記画像センサが、前記ライダーセンサに隣接して配設され、かつ前記閾値距離内にある前記車両の周りの前記領域の重なり合う視野を有するように前記車両に沿って配置され、前記画像センサが、前記閾値距離内の物体に、選択された解像度を提供することと、
前記制御システムによって、前記ライダーセンサから前記ライダーデータを受信し、前記画像センサから、前記キャプチャされたイメージを受信することと、
前記制御システムによって、前記ライダーデータを処理して、前記車両の前記閾値距離内にある前記領域内の物体を検出することと、
前記制御システムによって、前記キャプチャされたイメージを処理して、前記検出された物体を分類することと、
前記制御システムによって、前記検出された物体の分類に基づいて、前記車両の１つ以上のシステムに前記運転行為を実施させるかどうかを判断することと、を含む、方法。
【請求項21】
前記検出された物体の分類が、前記検出された物体のサイズ、近接、または向きのうちの少なくとも１つを判断することを含む、請求項２０に記載の方法。【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、２０１９年１２月３０日に出願された米国仮出願第６２／９５４，９３０号の出願日の利益を主張する、２０２０年１月８日に出願された米国特許出願第１６／７３７，２６３号の継続出願であり、これらの出願の開示内容全体は、参照により本明細書に組み込まれる。
本出願は、２０１９年１２月３０日に出願された米国仮出願第６２／９５４，９３０号の出願日の利益を主張する、２０２０年１月８日に出願された米国特許出願第１６／７３７，２６３号の継続出願であり、これらの出願の開示内容全体は、参照により本明細書に組み込まれる。
【背景技術】
【0002】
自動運転（自律）車両は、一部またはすべての状況で人間の運転者を必要としない。かかる車両は、ある場所から別の場所に乗客または貨物を輸送することができる。該車両は、完全な自律モード、または人が何らかの運転入力を提供し得る部分的な自律モードで動作し得る。自律モードで動作するために、車両は、該車両の外部環境内にある車両および他の物体を検出するためのセンサを用いること、およびセンサから受信した情報を使用して様々な運転動作を実施することができる。しかしながら、車両にじかに隣接する物体およびセンサの視野内にある遮蔽物は、運転動作に悪影響を与える可能性がある。
【発明の概要】
【0003】
本技術は、自動運転（自律）モードで動作するように構成された車両のための外部センサシステムに関する。概して、センサは、車両の周りの環境内にある物体を検出するために使用される。これらは、ライダー、レーダー、カメラ、ソナー、および／またはその他のセンサを含む。異なるセンサが様々な利点を有し、多数のセンサによるセンサ融合を用いて、環境についてのより完全な理解を得ることができ、その結果、車両は、運転決定を行うことができる。しかしながら、環境内にある車両および物体のサイズ、形状などに応じて、運転決定および他の自律動作に影響を与え得る死角が存在する可能性がある。これらは、車両にじかに隣接する死角を含む。かかる問題は、統合されたユニット内に異なるタイプのセンサを同じ場所に配置することができるセンサハウジングを注意深く選択して位置決めすることによって大幅に軽減され得る。これは、ライダーセンサと統合された密着カメラシステム、レーダーおよび／またはその他のセンサと同じ場所に配置された周辺視界カメラなどを含み得る。
【0004】
１つの態様によれば、自律運転モードで動作するように構成された車両のための外部検知システムが提供される。外部検知システムは、ライダーセンサ、画像センサ、および制御システムを備える。ライダーセンサは、車両の周りの外部環境の少なくとも所与の領域内、および車両の閾値距離内にある物体を検出するように構成された視野を有する。画像センサは、ライダーセンサに隣接して配設され、かつ車両の閾値距離内にある外部環境の領域の重なり合う視野を有するように車両に沿って配置されている。画像センサは、閾値距離内の物体に、選択された解像度を提供するように構成されている。制御システムは、画像センサおよびライダーセンサに動作可能に連結されている。制御システムは、ライダーセンサの動作を開始して、車両の閾値距離内にある領域内のライダーデータを取得することと、車両が運転行為を実施する前に、画像センサによる画像キャプチャを開始することと、ライダーセンサからライダーデータを受信し、画像センサから、キャプチャされたイメージを受信することと、を行うように構成された１つ以上のプロセッサを含む。制御システムは、ライダーデータの処理を実施して、車両の閾値距離内にある領域内の物体を検出することと、キャプチャされたイメージの処理を実施して、検出された物体を分類することと、を行うようにさらに構成されている。制御システムはまた、検出された物体の分類に基づいて、車両の１つ以上のシステムに運転行為を実施させるかどうかを判断するように構成されている。検出された物体の分類は、検出された物体のサイズ、近接、または向きのうちの少なくとも１つを判断することを含み得る。
【0005】
画像センサは、検出された物体によって占められる最小閾値体積を観察するように構成され得る。例えば、最小閾値体積は、検出された物体を包含する３Ｄ形状の少なくとも５０％であってもよい。画像センサは、ライダーセンサから０．３メートル以内に配設され得る。画像センサおよびライダーセンサは、車両の外部表面上に配置された同じセンサハウジング内に配設され得る。閾値距離は、車両から３メートル以内であってもよい。画像センサのレンズは、疎水性コーティングを含み得る。
【0006】
１つのシナリオでは、画像センサは、密接検知カメラシステムの一部である。ここでは、密接検知カメラシステムは、画像センサの視野を照らすように構成された、赤外線照明器などの少なくとも１つの照明器を含む。少なくとも１つの照明器は、画像センサの片側に隣接して配置され得る。少なくとも１つの照明器は、代替的に、画像センサの上に配置され得る。少なくとも１つの照明器は、画像センサの両側の上に配置された一対の照明器を備え得る。密接検知カメラシステムは、画像センサおよび／または少なくとも１つの照明器を洗浄するように構成された少なくとも１つの洗浄機構をさらに含み得る。１つの実施例では、画像センサは、ライダーセンサの下に垂直に位置合わせされている。別の実施例では、画像センサは、ライダーセンサの上に垂直に位置合わせされている。
【0007】
別の態様によれば、車両は、自律運転モードで動作するように構成されている。車両は、運転システムと、外部検知システムと、を備える。運転システムは、車両のブレーキを制御するように構成された減速システム、車両の加速を制御するように構成された加速システム、および車輪の向きと車両の方向を制御するように構成されたステアリングシステムを含む。外部検知システムは、ライダーセンサ、画像センサ、および制御システムを含む。ライダーセンサは、車両の周りの外部環境の少なくともある領域内、および車両の閾値距離内にある物体を検出するように構成された視野を有する。画像センサは、ライダーセンサに隣接して配設され、かつ車両の閾値距離内にある外部環境の領域の重なり合う視野を有するように車両に沿って配置されている。画像センサは、閾値距離内の物体に、選択された解像度を提供する。制御システムは、画像センサおよびライダーセンサに動作可能に連結されている。制御システムは、ライダーセンサの動作を開始して、車両の閾値距離内にある領域内のライダーデータを取得することと、運転システムが運転行為を実施する前に、画像センサによる画像キャプチャを開始することと、ライダーセンサからライダーデータを受信し、画像センサから、キャプチャされたイメージを受信することと、を行うように構成された１つ以上のプロセッサを含む。これはまた、ライダーデータの処理を実施して、車両の閾値距離内にある領域内の物体を検出することと、キャプチャされたイメージの処理を実施して、検出された物体を分類することと、を行うように構成されている。したがって、制御システムは、検出された物体の分類に基づいて、車両の１つ以上のシステムに運転行為を実施させるかどうかを判断することができる。
【0008】
画像センサは、検出された物体によって占められる最小閾値体積を観察するように構成され得る。画像センサは、ライダーセンサから０．３メートル以内に配設され得る。画像センサおよびライダーセンサは、車両の外部表面上に配置された同じセンサハウジング内に配設され得る。
【0009】
さらなる態様によれば、方法は、自律運転モードで動作するように構成された車両の制御システムによって、車両の知覚システムのライダーセンサの動作を開始して、車両の周りの領域内の閾値距離内にあるライダーデータを取得することと、制御システムによって、車両が運転行為を実施する前に、知覚システムの画像センサによる画像キャプチャを開始することであって、画像センサが、ライダーセンサに隣接して配設され、かつ閾値距離内にある車両の周りの領域の重なり合う視野を有するように車両に沿って配置され、画像センサが、閾値距離内の物体に、選択された解像度を提供する、開始することと、制御システムによって、ライダーセンサからライダーデータを受信し、画像センサから、キャプチャされたイメージを受信することと、制御システムによって、ライダーデータを処理して、車両の閾値距離内にある領域内の物体を検出することと、制御システムによって、キャプチャされたイメージを処理して、検出された物体を分類することと、制御システムによって、検出された物体の分類に基づいて、車両の１つ以上のシステムに運転行為を実施させるかどうかを判断することと、を含む。検出された物体の分類は、検出された物体のサイズ、近接、または向きのうちの少なくとも１つを判断することを含み得る。
【図面の簡単な説明】
【0010】
【図1A-1B】本技術の態様とともに使用するように構成された例示的な車両を示す。
【図1C】本技術の態様とともに使用するように構成された別の例示的な車両を示す。
【図1D-1E】本技術の態様とともに使用するように構成された例示的な貨物用車両を示す。
【図2A】本技術の態様による例示的な車両のシステムのブロック図である。
【図2B-2C】本技術の態様による例示的な貨物型車両のシステムのブロック図である。
【図3】本開示の態様による車両の周りの領域の例を示す。
【図4】本開示の態様による、例示的なセンサの視野を示す。
【図5】本開示の態様による、例示的な周辺カメラの視野を示す。
【図6A-6C】本開示の態様による、周辺カメラおよび赤外線照明器の例示的な配置を示す。
【図7A-7F】本開示の態様による、例示的な周辺センサハウジングアセンブリを示す。
【図8】本開示の態様による、遮蔽を最小化するための例示的なセンサ配置を示す。
【図9】本開示の態様による、周辺センサの視野の例を示す。
【図10】本技術の態様による、例示的な遮蔽シナリオを示す。
【図11A-11C】本開示の態様による、例示的な周辺センサハウジングアセンブリを示す。
【図12】本開示の態様による、遮蔽を最小化するための例示的なセンサ配置を示す。
【図13】本開示の態様による、周辺センサの視野の例を示す。
【図14A-14E】本開示の態様による、別の例示的な周辺センサハウジングアセンブリを示す。
【図16A-16E】本開示の態様による、さらに別の例示的な周辺センサハウジングアセンブリを示す。
【図18】本開示の態様による動作方法を示す。
【発明を実施するための形態】
【0011】
本技術の態様は、車両の周りの死角に対処するための密着検知（ＣＩＳ）カメラシステムを伴う。ＣＩＳシステムは、車両から数メートル以内（例えば、３メートル未満）で検出された物体を分類するのを助けるために使用される。物体の分類に基づいて、本システムは、「運転可能」であってもよい物体（乗り越えて車両が運転することができるもの）と「運転不可能」であってもよい物体との間で区別することができる。例として、運転可能な物体は、植生、大量の葉、紙またはビニール袋などであってもよく、一方、運転不可能な物体は、回避しなければならないタイプの物体（例えば、歩行者、自転車乗用者、ペットなど）、または乗り越えて運転した場合に車両に損傷を与える可能性があるタイプの物体（例えば、背の高い縁石、割れたガラス、深い穴、消火栓など）のいずれかを含み得る。１つのシナリオでは、ライダーセンサとともにカメラを用いることによって、分類が強化される。これは、人が車両の隣にいるかどうかを判断しようとするときに非常に重要になる場合がある。カメラは、各々が１つ以上の画像センサを含み得る。画像センサは、ＣＭＯＳセンサであってもよいが、ＣＣＤまたは他のタイプの撮像要素が用いられ得る。
【0012】
本技術の他の態様は、単一のセンサハウジング内における多数のセンサの配置および構成に関する。以下でさらに考察されるように、例えば、センサ融合を支援するために、同じハウジング内において異なるセンサタイプを同じ場所に配置することには利点がある。しかしながら、センサの位置決めは、例えば、１つのセンサが別のセンサによって遮蔽されることを回避するため、センサ間の較正がより正確になることを確実にするため、および／または別様にセンサ間の干渉を防止するために、非常に重要な場合がある。例として、赤外線（ＩＲ）または光学照明器などの照明器を、カメラ、例えば、ＩＲ光に敏感なカメラのレンズに直接、照明器の光が当たるのを回避するように配置する必要がある。
【0013】
例示的な車両システム
図１Ａは、ミニバン、セダン、またはスポーツユーティリティビークルなどの、乗客用車両１００の斜視図を示す。図１Ｂは、乗客用車両１００の上から見た図を示す。乗客用車両１００は、車両の外部環境に関する情報を取得するための様々なセンサを含むことができる。例えば、屋根上ハウジング１０２は、ライダーセンサ、ならびに様々なカメラ、レーダーユニット、赤外線および／または音響センサを含み得る。車両１００の前端に位置するハウジング１０４、ならびに車両の運転者側および乗客側のハウジング１０６ａ、１０６ｂは各々、ライダーセンサおよび／または他のセンサを組み込むことができる。例えば、ハウジング１０６ａは、車両のクォーターパネルに沿って運転者側のドアの前に位置し得る。示されるように、乗客用車両１００はまた、レーダーユニット、ライダー、および／または車両の後部屋根部分にも向かって位置するカメラのための、ハウジング１０８ａ、１０８ｂを含む。他のハウジング１１０ａ、１１０ｂは、後部クォーターパネル、例えば、後部車輪の上および後ろに沿って位置し得る。
図１Ａは、ミニバン、セダン、またはスポーツユーティリティビークルなどの、乗客用車両１００の斜視図を示す。図１Ｂは、乗客用車両１００の上から見た図を示す。乗客用車両１００は、車両の外部環境に関する情報を取得するための様々なセンサを含むことができる。例えば、屋根上ハウジング１０２は、ライダーセンサ、ならびに様々なカメラ、レーダーユニット、赤外線および／または音響センサを含み得る。車両１００の前端に位置するハウジング１０４、ならびに車両の運転者側および乗客側のハウジング１０６ａ、１０６ｂは各々、ライダーセンサおよび／または他のセンサを組み込むことができる。例えば、ハウジング１０６ａは、車両のクォーターパネルに沿って運転者側のドアの前に位置し得る。示されるように、乗客用車両１００はまた、レーダーユニット、ライダー、および／または車両の後部屋根部分にも向かって位置するカメラのための、ハウジング１０８ａ、１０８ｂを含む。他のハウジング１１０ａ、１１０ｂは、後部クォーターパネル、例えば、後部車輪の上および後ろに沿って位置し得る。
【0014】
追加のライダー、レーダーユニット、および／またはカメラ（図示せず）が、車両１００に沿った他の場所に位置し得る。例えば、矢印１１２は、センサユニット（図１Ｂの１１２）が、バンパまたはトランクドア／蓋の上、もしくはこれらに隣接してなど、車両１００の後部に沿って位置決めされ得ることを示す。また、矢印１１４は、車両の前方に面する方向に沿って配置された一連のセンサユニット１１６を示す。別々に示されているが、１つの実施例では、センサユニット１１６は、屋根上ハウジング１０２の前部に面するセクションに統合され得る。いくつかの例では、乗客用車両１００はまた、車両の内部空間に関する情報を取得するための様々なセンサも含むことができる。内部センサは、カメラセンサ、聴覚センサ、および赤外線センサのうちの少なくとも１つを含むことができる。
【0015】
車両のタイプおよび構成に応じて、車両の周りに配設され得るセンサハウジングの数が増減する場合がある。例えば、図１Ｃの例示的な車両１５０で示されるように、車両１００と同様に、屋根上センサハウジング１５２、前部センサハウジング１５４、前部クォーターパネルに沿った側部ハウジング１５６ａおよび１５６ｂ、後部クォーターパネルに沿った側部ハウジング１５８、ならびに矢印１６０によって示される後部センサハウジングがあってもよい。本開示のある態様は、特定のタイプの車両に関連して特に有用であるが、車両は、乗用車、トラック、オートバイ、バス、レクリエーション用車両などを含むがこれらに限定されない任意のタイプの車両であってもよい。
【0016】
図１Ｄおよび図１Ｅは、トラクタトレーラトラックなどの、例示的な貨物用車両１７０を示す。トラックは、例えば、シングル、ダブル、またはトリプルのトレーラを含むことができ、または商用重量クラス４～８などの別の中型または大型トラックであり得る。示されるように、トラックは、トラクタユニット１７２と、単一の貨物ユニットまたはトレーラ１７４と、を含む。トレーラ１７４は、輸送される貨物のタイプに応じて、完全に囲まれていても、フラットベッドのように開いていても、または部分的に開いていてもよい。この実施例では、トラクタユニット１７２は、エンジンおよびステアリングシステム（図示せず）と、運転者および任意の乗客のための運転室１７６と、を含む。
【0017】
トレーラ１７４は、キングピンとして知られるヒッチングポイント１７８を含む。キングピン１７８は、通常、中実のスチールシャフトとして形成され、トラクタユニット１７２に枢動可能に取り付けられるように構成されている。特に、キングピン１７８は、運転室の後方に装着された第５輪として知られるトレーラ連結部１８０に取り付けられる。ダブルまたはトリプルトラクタトレーラの場合、第２のおよび／または第３のトレーラは、先頭のトレーラへの単純なヒッチ接続を有してもよい。または代替的に、各トレーラは、独自のキングピンを有してもよい。この場合、少なくとも第１および第２のトレーラは、次のトレーラに連結するように配置された第５輪タイプの構造を含むことができる。
【0018】
示されるように、トラクタは、トラクタに沿って配設された１つ以上のセンサユニット１８２、１８４、および／または１８６を有し得る。例えば、１つ以上のセンサユニット１８２を運転室１７６のルーフまたは頂部部分の上に配設することができ、１つ以上の側部センサユニット１８４を運転室１７６の左側および／または右側の上に配設することができる。センサユニットはまた、運転室１７６の他の領域に沿って、例えば、前部バンパまたはボンネットエリアに沿って、運転室の後部に、第５輪に隣接して、シャーシの下などに位置し得る。トレーラ１７４はまた、トレーラに沿って、例えば、トレーラ１７４の側部パネル、前部、後部、屋根、および／またはアンダーキャリッジに沿って配設された１つ以上のセンサユニット１８６を有し得る。
【0019】
図１Ａ～図１Ｂの乗客用車両のセンサユニットのように、貨物用車両の各センサユニットは、例えば、ライダー、レーダー、カメラ（例えば、光学もしくは赤外線）、音響センサ（例えば、マイクロフォンもしくはソナータイプセンサ）、慣性センサ（例えば、加速度計、ジャイロスコープ、など）、または他のセンサ（例えば、ＧＰＳセンサなどの位置決めセンサ）などの１つ以上のセンサを含み得る。本開示のある態様は、特定のタイプの車両に関連して特に有用であるが、車両は、乗用車、トラック、オートバイ、バス、レクリエーション用車両などを含むがこれらに限定されない任意のタイプの車両であってもよい。
【0020】
図２Ａは、動作の完全または半自律モードで動作するように構成された、車両１００および１５０などの例示的な車両の様々な構成要素およびシステムを有するブロック図２００を示す。例として、部分的または完全な自律運転モードで動作する車両では、異なる程度の自律性が発生し得る。Ｕ．Ｓ．Ｎａｔｉｏｎａｌ Ｈｉｇｈｗａｙ Ｔｒａｆｆｉｃ Ｓａｆｅｔｙ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ ａｎｄ ｔｈｅ Ｓｏｃｉｅｔｙ ｏｆ Ａｕｔｏｍｏｔｉｖｅ Ｅｎｇｉｎｅｅｒｓは、どれだけ多く、またはどれだけ少なく、車両が運転を制御するかを示すために、様々なレベルを特定した。例えば、レベル０は自動化されておらず、運転者は、運転に関連するすべての決定を行う。最も低い半自律モードであるレベル１は、クルーズコントロールなど、何らかの運転支援を含む。レベル２は、特定の運転動作の部分的な自動化を有し、レベル３は、必要に応じて運転者席の人が制御することが可能であり得る条件付きの自動化を伴う。対照的に、レベル４は、車両が選んだ条件で支援なしで運転することができる高度な自動化レベルである。レベル５は、車両があらゆる状況下で支援なしで運転することができる完全自律モードである。本明細書に記載のアーキテクチャ、構成要素、システム、および方法は、本明細書で「自律」運転モードと呼ばれる、例えば、レベル１～５の半自律モードまたは完全自律モードのいずれかで機能することができる。したがって、自律運転モードへの言及には、部分的自律性と完全自律性の両方が含まれる。
【0021】
図２に示されるように、ブロック図２００は、１つ以上のプロセッサ２０４、メモリ２０６、および汎用コンピューティングデバイスに典型的に存在する他の構成要素を含むコンピューティングデバイスなどの、１つ以上のコンピューティングデバイス２０２を含む。メモリ２０６は、１つ以上のプロセッサ２０４によってアクセス可能な情報を記憶し、その情報には、プロセッサ２０４によって実行されるかまたは他の方法で使用され得る命令２０８およびデータ２１０が含まれる。コンピューティングシステムは、自律モードで動作するとき、車両の全体的な動作を制御することができる。
【0022】
メモリ２０６は、プロセッサ２０４によって実行され得るかまたは別様に使用され得る命令２０８およびデータ２１０を含む、プロセッサ２０４によってアクセス可能な情報を記憶する。メモリ２０６は、コンピューティングデバイス可読媒体を含む、プロセッサによってアクセス可能な情報を記憶することができる任意のタイプのものであり得る。メモリは、ハードドライブ、メモリカード、光ディスク、ソリッドステートなどの非一過性の媒体である。システムは、前述の異なる組み合わせを含むことができ、それにより、命令およびデータの異なる部分が異なるタイプの媒体に記憶される。
【0023】
命令２０８は、プロセッサによって直接的に（マシンコードなど）または間接的に（スクリプトなど）実行される任意の命令のセットであってもよい。例えば、命令は、コンピューティングデバイス可読媒体上のコンピューティングデバイスコードとして記憶されてもよい。その点において、「命令」、「モジュール」、および「プログラム」という用語は、本明細書では区別なく使用され得る。データ２１０は、命令２０８に従って、１つ以上のプロセッサ３０４によって検索、記憶、または修正され得る。１つの実施例では、メモリ２０６の一部またはすべてが、車両診断、検出されたセンサデータ、ならびに／または物体の検出および分類とともに使用される１つ以上の挙動／分類モデルを記憶するように構成されたイベントデータレコーダもしくは他のセキュアデータストレージシステムであってもよく、これらは、実装形態に応じて、車両に搭載されてもよく、または遠隔地にあってもよい。例えば、モデルを使用して、物体が人（例えば、歩行者）、自転車、ボール、または車両に隣接する建設標識であるかどうかを分類することができる。分類に基づいて、本システムは、該物体の挙動を予測するか、または割り当てること、および分類／挙動を、運転関連の決定を行うときに使用することができる。これは、例えば、車両の隣にいる歩行者に、車両がオンになっており、駐車場を出る予定であることを警告することを含み得る。
【0024】
プロセッサ２０４は、市販されているＣＰＵなどの、任意の従来のプロセッサであってもよい。代替的に、各プロセッサは、ＡＳＩＣまたは他のハードウェアベースプロセッサなどの専用デバイスであってもよい。図２は、コンピューティングデバイス２０２のプロセッサ、メモリ、および他の要素が同じブロック内にあることを機能的に示すが、そのようなデバイスは、実際には、同じ物理的ハウジング内に格納されてもされなくてもよい複数のプロセッサ、コンピューティングデバイス、またはメモリを含んでもよい。同様に、メモリ２０６は、プロセッサ２０４のものとは異なるハウジング内に位置するハードドライブまたは他のストレージ媒体であり得る。したがって、プロセッサまたはコンピューティングデバイスへの言及は、並行に動作してもしなくてもよいプロセッサまたはコンピューティングデバイスまたはメモリの集合体への言及を含むことが理解されよう。
【0025】
１つの実施例では、コンピューティングデバイス２０２は、車両に組み込まれた自律運転コンピューティングシステムを形成し得る。自律運転コンピューティングシステムは、車両の様々な構成要素と通信することが可能であり得る。例えば、コンピューティングデバイス２０２は、（車両のブレーキを制御するための）減速システム２１２、（車両の加速を制御するための）加速システム２１４、（車輪の向きおよび車両の方向を制御するための）ステアリングシステム２１６、（方向指示器を制御するための）シグナリングシステム２１８、（車両をある場所または対象物の辺りにナビゲートするための）ナビゲーションシステム２２０、および（車両の位置を判断するための）位置決めシステム２２２を含む運転システムを含む、車両の様々なシステムと通信することができる。自律運転コンピューティングシステムは、ナビゲーションシステム２２０および位置決めシステム２２２に従って、例えば、出発点から目的地までのルートを判断するためのプランナとして部分的に動作し得る。
【0026】
コンピューティングデバイス２０２はまた、車両の乗客からの連続的または定期的な入力を要求しないかまたは必要としない自律運転モードで、メモリ２０６の命令２０８に従って、車両の動き、速度などを制御するために、（車両の環境内の物体を検出するための）知覚システム２２４、電力システム２２６（例えば、バッテリおよび／またはガソリンもしくはディーゼル動力エンジン）、ならびにトランスミッションシステム２３０に動作可能に連結される。車輪／タイヤ２２８は、トランスミッションシステム２３０に連結され、コンピューティングデバイス２０２は、自律モードでの運転に影響を与え得るタイヤ空気圧、バランス、および他の要因に関する情報を受信することが可能であり得る。電力システム２２６は、１つ以上の電力配分要素を有し得、電力配分要素の各々は、車両の選択された構成要素および他のシステムに電力を供給することができる場合がある。
【0027】
コンピューティングデバイス２０２は、様々な構成要素を制御することによって車両の方向および速度を制御してもよい。例として、コンピューティングデバイス２０２は、地図情報およびナビゲーションシステム２２０からのデータを使用して、車両を目的地に完全に自律的にナビゲートし得る。コンピューティングデバイス２０２は、位置決めシステム２２２を使用して車両の場所を判断し、その場所に安全に到着する必要があるとき、知覚システム２２４を使用して、物体を検出し、物体に応答することができる。そうするために、コンピューティングデバイス２０２は、車両に（例えば、加速システム２１４によってエンジンに提供される燃料または他のエネルギーを増加させることによって）加速すること、（例えば、エンジンに供給される燃料を減少させて、ギヤを変更すること、および／または減速システム２１２によってブレーキをかけることによって）減速すること、（例えば、ステアリングシステム２１６によって、車両の前輪または他の車輪を旋回させることによって）方向を変更すること、ならびに（例えば、合図システム２１８の旋回合図を点灯させることによって）かかる変更を合図すること、を行わせることができる。したがって、加速システム２１４および減速システム２１２は、車両のエンジンと車両の車輪との間に様々な構成要素を含む、動力伝達装置または他のタイプのトランスミッションシステム２３０の一部であり得る。この場合も、これらのシステムを制御することによって、コンピューティングデバイス２０２はまた、車両を自律的に操縦するために、車両のトランスミッションシステム２３０を制御することができる。
【0028】
ナビゲーションシステム２２０は、ある場所までのルートを判断し、たどるために、コンピューティングデバイス２０２によって使用され得る。この点について、ナビゲーションシステム２２０および／またはメモリ２０６は、地図情報、例えば、コンピューティングデバイス２０２が車両をナビゲートまたは制御するために使用することができる非常に詳細な地図を記憶し得る。一例として、これらの地図は、車道、区画線、交差点、横断歩道、速度制限、交通信号機、建物、標識、リアルタイムの交通情報、植生、または他のそのような物体ならびに情報の形状および高度を識別し得る。区画線は、実線または破線の、二重または単一の車線境界線、実線または破線の車線境界線、反射板などの特徴を含み得る。所定の車線は、車線の境界を画定する、左および／または右の車線境界線または他の区画線と関連付けられ得る。このため、ほとんどの車線は、１つの車線境界線の左端と、別の車線境界線の右端とによって境界付けられ得る。
【0029】
知覚システム２２４は、車両の外部の物体を検出するためのセンサユニットを含む。検出される物体は、他の車両、車道内の障害物、信号機、標識、樹木、歩行者、自転車乗用者などであってもよい。以下でさらに考察されるように、外部センサスイート２３２は、各々が、車両の外部の環境内の物体および条件を検出するための１つ以上のセンサを有する、様々なハウジングを含む。また、内部センサスイート２３４は、１つ以上の他のセンサを用いて、乗客、乗客コンパートメント内のペットおよびパッケージ、トランクエリア内のパッケージまたは他の貨物などといった、車両内の物体および条件を検出することができる。外部センサスイート２３２および内部センサスイート２３４の両方については、様々な環境条件における物体検出を提供するだけでなく、検出された物体の迅速な分類を可能にするために、異なるセンサを有するハウジングが車両の周りに配設されている。これにより、車両は効果的なリアルタイムの運転決定を行うことができる。
【0030】
センサからの未加工データおよび前述の特性は、知覚システム２２４によって処理され、かつ／またはデータが知覚システム２２４によって生成されるときに、周期的および連続的にコンピューティングデバイス２０２に、さらなる処理のために送信され得る。コンピューティングデバイス２０２は、位置決めシステム２２２を使用して車両の場所を判断し、その場所に安全に到着する必要があるとき、知覚システム２２４を使用して、対象物を検出し、対象物に応答することができる。加えて、コンピューティングデバイス２０２は、個々のセンサ、特定のセンサアセンブリ（ハウジング）内のすべてのセンサ、または異なるセンサアセンブリもしくは他の物理的ハウジング内のセンサ間の較正を実施し得る。
【0031】
１つの実施例では、外部センサハウジングは、車両上の側部ミラーに統合されたセンサタワーとして配置され得る。別の実施例では、他のセンサは、屋根上ハウジング１０２もしくは１５２、または図１Ａ～図１Ｃに示されるような他のハウジングの一部であってもよい。コンピューティングデバイス２０２は、車両上に位置し、または他の方法で車両に沿って配分されたセンサアセンブリと通信することができる。各アセンブリは、上述したもののような１つ以上のタイプのセンサを有することができる。
【0032】
図２に戻ると、コンピューティングデバイス２０２は、上述のプロセッサおよびメモリ、ならびにユーザインターフェースサブシステム２３６などのコンピューティングデバイスに関連して通常使用されるすべての構成要素を含むことができる。ユーザインターフェースサブシステム２３６は、１つ以上のユーザ入力２３８（例えば、マウス、キーボード、タッチ画面、および／またはマイクロフォン）、ならびに１つ以上の表示デバイス２４０（例えば、画面を有するモニタ、または情報を表示するように動作可能な他の任意の電気デバイス）を含んでもよい。この点について、内部の電子ディスプレイは、車両の車内（図示せず）に位置し得、車両内の乗客に情報を提供するためにコンピューティングデバイス２０２によって使用されてもよい。スピーカ２４２などの他の出力デバイス、およびタッチ画面またはボタンなどの入力デバイス２４４が、乗客用車両内に位置していてもよい。
【0033】
車両はまた、通信システム２４６を含む。例えば、通信システム２４６はまた、車両内の乗客コンピューティングデバイスなどの他のコンピューティングデバイス、および車道上の別の近くの車両内などにある、車両外部のコンピューティングデバイス、または遠隔サーバシステムとの通信を容易にするために、１つ以上の無線ネットワーク接続を含み得る。無線ネットワーク接続は、Ｂｌｕｅｔｏｏｔｈ（商標）、Ｂｌｕｅｔｏｏｔｈ（商標）ローエネルギー（ＬＥ）、携帯電話接続、ならびにインターネット、ワールドワイドウェブ、イントラネット、仮想プライベートネットワーク、ワイドエリアネットワーク、ローカルネットワーク、１つ以上の企業独自の通信プロトコルを使用するプライベートネットワーク、イーサネット、ＷｉＦｉおよびＨＴＴＰ、ならびに前述の様々な組み合わせなどの短距離通信プロトコルを含む、様々な構成およびプロトコルを含み得る。
【0034】
図２Ｂは、車両、例えば、図１Ｄおよび図１Ｅの車両１７０の様々な構成要素およびシステムを有するブロック図２５０を示す。例として、車両は、動作の１つ以上の部分的な自律モードで動作するように構成されたトラック、農機具、または建設機械であり得る。ブロック図２５０に示されるように、車両は、命令２０８’、および車両診断、検出されたセンサデータ、ならびに／または物体の検出および分類とともに使用される１つ以上の挙動／分類モデルなどのデータ２１０’を記憶している１つ以上のプロセッサ２０４’およびメモリ２０６’を含むコンピューティングデバイス２０２‘など、上記のものと同様の１つ以上のコンピューティングデバイスの制御システムを含む。この例において、制御システムは、貨物用車両のトラクタユニットの電子制御ユニット（ＥＣＵ）を構成し得る。
【0035】
１つの実施では、コンピューティングデバイスは、車両１７０に組み込まれた運転コンピューティングシステムを形成し得る。図２Ａに関して上で考察された配置と同様に、ブロック図２５０の運転コンピューティングシステムは、運転動作を実施するために、車両の様々な構成要素と通信することができる場合がある。例えば、コンピューティングデバイス２０２’は、各々が、図２Ａに関して上で考察されるように機能し得る、減速システム２１２’、加速システム２１４’、ステアリングシステム２１６’、合図システム２１８’、ナビゲーションシステム２２０’、および位置決めシステム２２２’を含む運転システムなど、車両の様々なシステムと通信することができる。
【0036】
コンピューティングデバイス３０２はまた、知覚システム２２４’、電力システム２２６’、およびトランスミッションシステム２３０’にも動作可能に連結される。車輪／タイヤ２２８’の一部またはすべてが、トランスミッションシステム２３０’に連結され、コンピューティングデバイス２０２’は、タイヤ空気圧、バランス、回転量、および運転に影響を与え得る他の要因に関する情報を受信することができる場合がある。コンピューティングデバイス２０２と同様に、コンピューティングデバイス２０２’は、様々な構成要素を制御することによって車両の方向および速度を制御することができる。例として、コンピューティングデバイス２０２’は、地図情報およびナビゲーションシステム２２０’からのデータを使用して、車両を目的地の場所までナビゲートするように支援し得る。
【0037】
知覚システム２２４と同様に、知覚システム２２４’もまた、車両外部の物体、車両内部の物体もしくは条件、ならびに／または車輪および減速システム２１２’などの特定の車両機器の動作を検出するための、上述したような１つ以上のセンサまたは他の構成要素を含む。例えば、図２Ｂに示されるように、知覚システム２２４’は、１つ以上のセンサアセンブリ２５２を含む。各センサアセンブリ２５２は、１つ以上のセンサを含む。１つの実施例では、センサアセンブリ２５２は、トラック、農機具、建設機械などの側部視界ミラーに組み込まれたセンサタワーとして配置され得る。センサアセンブリ２５２はまた、図１Ｄおよび図１Ｅに関して上述したように、トラクタユニット１７２またはトレーラ１７４上の異なる場所に位置決めされ得る。コンピューティングデバイス２０２’は、トラクタユニット１７２およびトレーラ１７４の両方の上に位置するセンサアセンブリと通信することができる。各アセンブリは、上述したもののような１つ以上のタイプのセンサを有することができる。
【0038】
また、図２Ｂには、トラクタユニットとトレーラとの間の接続のための連結システム２５４が示される。連結システム２５４は、１つ以上の電力および／または空気圧接続（図示せず）、ならびにトレーラのキングピンに接続するためのトラクタユニットの第５輪２５６を含むことができる。通信システム２４６と同等の通信システム２４６’も、車両システム２５０の一部として示される。同様に、ユーザインターフェース２３６と同等のユーザインターフェース２３６’もまた、車両の運転者および任意の乗客との対話のために含まれ得る。
【0039】
図２Ｃは、図１Ｄおよび図１Ｅのトレーラ１７４などのトレーラのシステムの例示的なブロック図２６０を示す。示されるように、システムは、１つ以上のプロセッサ２６４、メモリ２６６、および汎用コンピューティングデバイスに典型的に存在する他の構成要素を含む、コンピューティングデバイスなどの１つ以上のコンピューティングデバイスのＥＣＵ２６２を含む。メモリ２６６は、１つ以上のプロセッサ２６４によってアクセス可能な情報を記憶し、その情報には、プロセッサ２６４によって実行されるかまたは他の方法で使用され得る命令２６８およびデータ２７０が含まれる。図２Ａおよび図２Ｂのプロセッサ、メモリ、命令、およびデータの説明は、図２Ｃのこれらの要素に適用される。
【0040】
ＥＣＵ２６２は、トレーラユニットから情報および制御信号を受信するように構成されている。ＥＣＵ２６２の車載プロセッサ２６４は、減速システム２７２、合図システム２７４、および位置決めシステム２７６を含む、トレーラの様々なシステムと通信することができる。ＥＣＵ２６２はまた、トレーラの環境内の物体を検出するための１つ以上のセンサを備える知覚システム２７８、およびローカルの構成要素に電力を提供する電力システム２８０（例えば、バッテリ電源）に動作可能に連結され得る。トレーラの車輪／タイヤ２８２の一部またはすべてを、減速システム２７２に連結することができ、プロセッサ２６４は、タイヤ空気圧、バランス、車輪速度、および自律モードでの運転に影響を与える可能性のある他の要因に関する情報を受信し、その情報をトラクタユニットの処理システムに中継することができる場合がある。減速システム２７２、合図システム２７４、位置決めシステム２７６、知覚システム２７８、電力システム２８０、および車輪／タイヤ２８２、ならびにアセンブリ２８４は、図２Ａおよび図２Ｂに関して上述したような様式で動作することができる。
【0041】
トレーラはまた、着陸装置のセット２８６、および連結システム２８８も含む。着陸装置は、トラクタユニットから切り離されたときに、トレーラの支持構造を提供する。連結システム２５４の一部であってもよい連結システム２８８は、トレーラとトラクタユニットとの間の接続を提供する。したがって、連結システム２８８は、接続セクション２９０（例えば、電力および／または空気圧リンク用）を含むことができる。連結システムはまた、トラクタユニットの第５輪と接続するように構成されたキングピン２９２を含む。
【0042】
例示的な実装形態
上述され、図に示された構造および構成を考慮して、様々な実装形態を、本技術の態様に従ってここで説明する。
上述され、図に示された構造および構成を考慮して、様々な実装形態を、本技術の態様に従ってここで説明する。
【0043】
車両の周りの環境は、異なる象限または領域を有すると考えることができる。１つの実施例３００が図３に示されており、これは、車両の周りの前部右側、前部左側、右側後部、および左側後部のエリアの隣接するエリアと同様に、前部、後部、右側、および左側のエリアを示す。これらの領域は単なる例示にすぎない。車両の知覚システムは、車両の外部環境内の物体について可能な限り多くの情報を提供するために、車両の周りの領域の一部またはすべてをカバーし得る。
【0044】
例えば、これらの領域の一部またはすべてからデータを収集するために、様々なセンサが車両の周りの異なる場所に位置し得る（図１Ａ～図１Ｃを参照）。例として、図１の３つのセンサ１１６は、主に、車両の周りの前部、前部左側、および前部右側の領域からデータを受信することができる。対照的に、屋根上ハウジング１０２は、車両の周りに３６０°の視野（ＦＯＶ）を提供するために、多数のカメラおよび／または回転ライダーもしくはレーダーセンサなどの、他のセンサを含み得る。
【0045】
特定のセンサは、車両の周りの該センサの配置、および収集するように設計されている情報のタイプに応じて、異なる視野を有し得る。例えば、異なるライダーセンサは、車両に隣接する（例えば、２～１０メートル未満）物体の近距離（短距離）検出に使用されてもよく、他のセンサは、車両の前１００メートル（または１００メートル超もしくは１００メートル未満）の物体の遠距離（長距離）検出に使用されてもよい。中距離ライダーを用いて、例えば、車両から１０～１００メートルにある物体を検出することもできる。短距離または長距離の物体検出のために、車両の前部、後部、および／または側部に向かって多数のレーダーユニットを位置決めすることができる。車両の周りがよく見えるようにカメラを配置することができる。構成に応じて、特定のセンサハウジングは、重なり合う視野を有する多数の個々のセンサを含み得る。代替的に、他のセンサが冗長な３６０°の視野を提供してもよい。
【0046】
図４は、図１Ａおよび図１Ｂに示されるセンサに関連するセンサの視野の一例４００を提供する。ここで、屋根上ハウジング１０２がライダーセンサ、ならびに様々なカメラ、レーダーユニット、赤外線および／または音響センサを含む場合、これらのセンサの各々は異なる視野を有してもよい。したがって、示されるように、ライダーセンサは、３６０°のＦＯＶ４０２を提供し得、一方、ハウジング１０２内に配置されたカメラは、例えば、図３に示される車両の近くの１つ以上の領域をカバーするための、個々のＦＯＶ４０４を有し得る。車両の前端にあるハウジング１０４内のセンサは、前方に面するＦＯＶ４０６を有する。車両の運転者側および乗客側の上にあるハウジング１０６ａ、１０６ｂは各々、ライダー、レーダー、カメラ、および／または他のセンサを組み込むことができる。例えば、ハウジング１０６ａおよび１０６ｂ内のライダーは、それぞれのＦＯＶ４０６ａおよび４０６ｂを有し得、一方、ハウジング１０６ａおよび１０６ｂ内のレーダーユニット、カメラ、ならびに／または他のセンサは、それぞれのＦＯＶ４０７ａまたは４０７ｂを有し得る。同様に、車両の後部屋根部分に向かって位置するハウジング１０８ａ、１０８ｂ内のセンサは各々、それぞれのＦＯＶを有する。例えば、ハウジング１０８ａおよび１０８ｂ内のライダーは、それぞれのＦＯＶ４０８ａおよび４０８ｂを有し得、一方、ハウジング１０８ａおよび１０８ｂ内のレーダーユニット、カメラ、ならびに／または他のセンサは、それぞれのＦＯＶ４０９ａまたは４０９ｂを有し得る。車両の後部に向かってハウジング１１０ａおよび１１０ｂ内にあるセンサは、それぞれの視野４１０ａおよび４１０ｂを有し得る。後端にあるハウジング１１２内のセンサは、後方に面するＦＯＶ４１２を有し得る。また、車両の前方に面する方向に沿って配置された一連のセンサユニット１１６は、それぞれのＦＯＶ４１４、４１６、および４１８を有し得る。これらの視野の各々は、単なる例示であり、カバレッジレンジに関して正確な縮尺ではない。また、所与のセンサハウジングに関連付けられた１つまたは２つのＦＯＶだけが示されているが、センサの数およびセンサの構成に応じて、より多くの（またはより少ない）視野を、該センサハウジングに関連付けることができる。
【0047】
以下でさらに考察されるように、同じハウジング内において異なるタイプのセンサを同じ場所に配置することにより、強化された物体検出を提供し、車載システムが検出された物体を迅速に分類することを可能にすることができる。同じ場所に配置されたセンサは、同じまたは実質的に重なり合う視野であり得るか、または別様に補完的な視野を提供し得る。
【0048】
例示的なシナリオ
カメラ、ライダー、レーダー、ならびに／またはその他のセンササブシステムの高度および向きは、車両上の様々なハウジングの配置、および車両のタイプに依存し得る。例えば、センサアセンブリが大型ＳＵＶ（例えば、車両１００）の屋根の上または上方に装着されている場合、高度は通常、アセンブリがセダンまたはスポーツカー（例えば、車両１５０）の屋根の上に装着されている場合よりも高くなる。また、配置および構造上の制限により、車両のすべてのエリアの周りで視界が等しくない場合がある。車両上の配置を変化させることで、各ハウジング内のセンサのために好適な視野を取得することができる。これは、車両にじかに隣接する（例えば、車両から１～２メートル以内または３メートル以内の）物体を検出するため、ならびに車両からより遠い物体を検出するために、非常に重要である場合がある。駐車空間から出る前に、すぐ付近をチェックすること、保護されていない左折を行うかどうかを判断することなど、様々なシナリオで、隣接する物体および遠隔の物体を検出するための要件がある場合がある。
カメラ、ライダー、レーダー、ならびに／またはその他のセンササブシステムの高度および向きは、車両上の様々なハウジングの配置、および車両のタイプに依存し得る。例えば、センサアセンブリが大型ＳＵＶ（例えば、車両１００）の屋根の上または上方に装着されている場合、高度は通常、アセンブリがセダンまたはスポーツカー（例えば、車両１５０）の屋根の上に装着されている場合よりも高くなる。また、配置および構造上の制限により、車両のすべてのエリアの周りで視界が等しくない場合がある。車両上の配置を変化させることで、各ハウジング内のセンサのために好適な視野を取得することができる。これは、車両にじかに隣接する（例えば、車両から１～２メートル以内または３メートル以内の）物体を検出するため、ならびに車両からより遠い物体を検出するために、非常に重要である場合がある。駐車空間から出る前に、すぐ付近をチェックすること、保護されていない左折を行うかどうかを判断することなど、様々なシナリオで、隣接する物体および遠隔の物体を検出するための要件がある場合がある。
【0049】
密接検知カメラシステム
上記を考慮して、本技術の態様は、車両の閾値距離内にある物体のためのセンサスイートの一部として密接検知カメラシステムを提供する。このカメラシステムは、自動運転システムが車両から一定の距離内にある運転可能な物体と運転不可能な物体とを区別することができない場合に、車両が動かなくなるか（動いていないとき）または不自然に行動するのを防止するように設計されている。例として、密接検知カメラシステムは、例えば、車両から６～１０メートル以内の閾値距離内にある物体についてのセンサ情報を提供するように構成されている。場合によっては、閾値距離は、車両から２～３メートル以内であってもよい。この情報は、車両の隣に立っている歩行者、車両に隣接して駐車している自転車もしくはオートバイ、およびボール、建設標識、または近くの付近にある可能性のあるその他の物体などの物体を検出および分類するのを助けるために使用される。
上記を考慮して、本技術の態様は、車両の閾値距離内にある物体のためのセンサスイートの一部として密接検知カメラシステムを提供する。このカメラシステムは、自動運転システムが車両から一定の距離内にある運転可能な物体と運転不可能な物体とを区別することができない場合に、車両が動かなくなるか（動いていないとき）または不自然に行動するのを防止するように設計されている。例として、密接検知カメラシステムは、例えば、車両から６～１０メートル以内の閾値距離内にある物体についてのセンサ情報を提供するように構成されている。場合によっては、閾値距離は、車両から２～３メートル以内であってもよい。この情報は、車両の隣に立っている歩行者、車両に隣接して駐車している自転車もしくはオートバイ、およびボール、建設標識、または近くの付近にある可能性のあるその他の物体などの物体を検出および分類するのを助けるために使用される。
【0050】
死角を最小化し、物体を検出するために、ライダーセンサを車両の周りに配置することができる。かかるセンサは、物体の存在を真に検出することができる。しかしながら、ライダー（例えば、ライダーポイントクラウド）からのセンサデータだけでは、自動運転システムが、存在する物体の種類を判断するには不十分な場合がある。近くにある物体のタイプが不明な場合、車両は、数分待って車両の周りを観察すること、クラクションを鳴らすること、ライトを点滅させることなどを行って、物体がどのように応答するかを確認すること、またはゆっくりと後退もしくは前進して、周囲のより鮮明な映像を取得することなどの、保守的な挙動を用いることができる。しかしながら、これは、物体に関する追加の有用な情報を提供しない場合があり、乗客、近くの歩行者、および他の道路利用者を苛立たせるかまたは混乱させる可能性がある。
【0051】
したがって、本技術の１つの態様によれば、１つ以上のカメラを単一のセンサハウジング内にライダーセンサとともに配置して、例えば、物体が歩行者、自転車、またはトラフィックコーンであるかどうかを判断するために、物体の迅速な分類を可能にすることができる。カメラの視野は、ライダーの視野を包含し得、かつ特定の実施例では、ライダーの視野よりも大きい場合がある。これは、１つのカメラ、または補完的な視野もしくは別様に重なり合う視野を有する多数のカメラで実現され得る。例として、人が車両の隣に立っているか座っている場合がある。これは、例えば、人が車両から出るとき、近くの駐車中の車の後ろから現れたとき、または車両がオンになるか、もしくは駐車空間から出る準備をする前に、すでに死角内にいるときに、発生する可能性がある。このカメラシステムが有益であるその他のシナリオには、保護されていない旋回、高速車線変更、他の物体による対向車の遮蔽、低く装着された計測ライト（高速道路のランプなど）、ロードコーンおよびその他の建設アイテムを識別すること、ならびに小さな異物の破片（ＦＯＤ）を検出することが含まれる。
【0052】
検出された物体の分類は、検出された物体のサイズ、近接、および向きを判断することを含み得る。本システムは、カメラが、対象となる物体によって占められる最小閾値体積（例えば、直方体または他の３Ｄ形状の少なくとも５０％）を確認することができるように構成されている。１つ実施例では、密接検知システムの各カメラは、同伴ライダーセンサと同じ場所に配置されている。例えば、カメラは、視差を回避するなどのために、ライダーセンサから１フィートまたは０．３メートル以内にあってもよい。カメラは、ライダーと同じブラケットもしくはハウジングを使用して車両に装着することができるか、または別々に装着することができる。全般的な動作では、本システムのＦＯＶは、最大３メートル離れた車両の周りを３６０°見渡せるようにする必要がある。
【0053】
カメラの解像度は、最小ピクセル数に基づく閾値分類を満たすのに十分でなければならない。例として、１つの分類閾値は、物体が車両から３メートル以内にある場合に、３２～６４ピクセル以下を使用して、選択された直方体形状の特定の物体を分類する能力であってもよい。または、代替的に、閾値分類により、０．１～０．４ｍｒａｄ／ピクセルの解像度要件を有するカメラが必要になる場合がある。閾値分類要件は、例えば、物体のタイプおよびシナリオ（例えば、大人または子供が車両の横に立っているか、または座っているか、１００ｍ以上離れた車両の後ろからオートバイ乗用者が近づいているかなど）によって変化する場合がある。
【0054】
図５の実施例５００に示されるように、カメラは、異なる潜在的に重なり合うカバレッジゾーンを提供し得る。この実施例では、最大８つ（またはそれ以上）のカメラを用いて、前部に面するＦＯＶ、側部に面するＦＯＶ、および後部に面するＦＯＶを提供することができる。例として、ＦＯＶ５０２ａおよび５０２ｂは、車両の周りの前部左側および前部右側の領域の部分を包含する。ＦＯＶ５０４ａおよび５０４ｂは、ＦＯＶ５０２ａおよび５０２ｂと重なり合い、前部、前部左側、および前部右側の領域に沿って追加のカバレッジを提供する。ＦＯＶ５０６は、車両の前部領域にカバーを提供する。ＦＯＶ５０８ａおよび５０８ｂは、例えば、左側／右側の領域、ならびに後部左側および後部右側の領域に沿って、車両の後部に向かって面するカバレッジを提供する。また、ＦＯＶ５１０は、車両の後部領域に沿ったカバレッジを提供する。
【0055】
カメラは、すべての周囲採光状況で動作する必要がある場合がある。したがって、異なるカメラは、車両光源（例えば、ヘッドライト、駐車ライト、後退ライト、走行ライト）および環境光源（例えば、他の車両、街灯など）からの照明に依存する場合がある。代替的にまたはさらに、ＩＲおよび／または光学ライト照明器を配置して、カメラに照明を提供することができる。例えば、１つ以上の照明器を、センサハウジング上のカメラに隣接して配置することができる。
【0056】
例として、ヘッドライトおよびブレーキライトまたは後退ライトが一部のシナリオで十分な採光を提供し得るため、前部に面するＦＯＶおよび後部に面するＦＯＶを有するカメラは、別個の照明を必要としない場合がある。しかしながら、側部のＦＯＶを有するカメラでは、暗い条件で補完的な照明が必要になる場合がある。かかる補完的な採光は、カメラの近くに設置された近赤外線（ＮＩＲ）エミッタを介して提供され得る。以下でさらに考察されるように、１つの構成では、一対の「サドル」照明器モジュール（例えば、ＮＩＲモジュール）をカメラのいずれかの側で用いることができ、各照明器モジュールは、他のモジュールの遮蔽を補償する。代替的に、単一のモノリシックな照明器モジュールを使用することができる。
【0057】
図６Ａ～図６Ｃは、例示的なカメラおよび照明器の構成を示している。特に、図６Ａは、照明器がそれぞれのカメラの側部に配設されている第１の構成６００を示している。ここでは、４つのカメラ（前部に面するカメラ６０２、後部に面するカメラ６０４、左側に面するカメラ６０６ａ、および右側に面するカメラ６０６ｂ）が、車両の周りにそれぞれ示されている。示されるように、一対の照明器６０８ａおよび６０８ｂが、前部カメラ６０２の両側に配置されている。同様に、一対のサドル照明器６１０ａおよび６１０ｂが、後部カメラ６０４の両側に配置されている。しかしながら、代替の構成では、１つの照明器のみが、前部カメラ６０２および／または後部カメラ６０４の側部に配置され得る。側部カメラ６０６ａおよび６０６ｂは、各々が該カメラの側部に配設されたそれぞれの照明器６１２ａ、６１２ｂを有する状態で示されている。これらの実施例では、照明器６１２は、側部カメラ６０６の後方に位置決めされている。ここでは、側部カメラ６０６は、前部照明器６０８ａおよび６０８ｂから一部の照明を受け取ることができ、これにより、照明器６１２ａ、６１２ｂからのＩＲ照明を補完することができる。
【0058】
図６Ｂは、単一の照明器がそれぞれのカメラの上に配設されている第２の構成６５０を示している。図６Ａと同様に、４つのカメラ（前部に面するカメラ６５２、後部に面するカメラ６５４、左側に面するカメラ６５６ａ、および右側に面するカメラ６５６ｂ）が、車両の周りにそれぞれ示されている。示されるように、照明器６５８は、前部カメラ６５２の上に配設されている。同様に、照明器６６０は、後部カメラ６５４の上に配設されている。側部カメラ６５６ａおよび６５６ｂは、各々が該カメラの上に配設されたそれぞれの照明器６６２ａ、６６２ｂを有する状態で示されている。代替の構成では、照明器を、それぞれのカメラの下に配設することができる。さらに別の実施例では、カメラと同じ場所に配置されていないエミッタを、屋根に沿ってなど、車両の周りのその他の場所に設置することができる。例えば、屋根の上に設置された照明器を使用して、車両の所与の側の、カメラの視野全体を照らすことができる。
【0059】
これらの実施例では、単一の照明器モジュールをカメラの任意の側に設置することができる。しかしながら、投影された光の一部がある程度遮蔽されることになる。例えば、カメラの側面に単一の照明器モジュールがある状態では、カメラの反対側に大きな光の遮蔽が存在する可能性があり、これは、暗い状況では不利になる可能性がある。カメラの上に単一のモジュールがある状態では、遮蔽を低減するために、モジュールをカメラの上および前方から移動する必要がある場合がある。車両の周りの一部の場所、例えば、前部および後部、ただし、車両の側部では、車両の幅および他の側部センサの潜在的な影響に制約がある場合がある。また、カメラの下に単一のモジュールがある状態では、遮蔽により上向き照明が減少する場合がある。これは、車両の隣に立っている人など、近くの物体を分類するセンサスイートの能力に影響を与える可能性がある。したがって、潜在的な視野の遮蔽が低減されるため、対応するカメラの視野が最小になる場所に照明器モジュールを置くことが望ましい。垂直視野が水平視野よりも小さい状況では、照明器をカメラの頂部および／または下に設置することが適している場合がある。しかしながら、これは、センサスイート、車両サイズなどの他の制約により、状況によっては不可能な場合がある。
【0060】
これを考慮して、図６Ｃは、照明器の対が各々それぞれのカメラの両側に配設されている第３の構成６８０を示している。図６Ａおよび図６Ｂと同様に、４つのカメラ（前部に面するカメラ６８２、後部に面するカメラ６８４、左側に面するカメラ６８６ａ、および右側に面するカメラ６８６ｂ）が、車両の周りにそれぞれ示されている。示されるように、一対の照明器６８８ａおよび６８８ｂが、前部カメラ６０２の両側に配置されている。同様に、一対のサドルＩＲ照明器６９０ａおよび６９０ｂが、後部カメラ６８４の両側に配置されている。この実施例では、側部カメラ６８６ａおよび６８６ｂは、各々が該カメラの側部に配設されたそれぞれの対の照明器６９２ａ、６９２ｂ、または６９４ａ、６９４ｂを有する状態で示されている。この配置は、対応するカメラの側部、頂部、または底部に１つの照明器モジュールのみが設置されている場合に発生する可能性がある遮蔽を最小化するのを助ける。以下で考察される図７Ｆは、各カメラ６８２、６８４、および６８６の対の側部照明器の１つの配置を示している。
【0061】
これらの構成のいずれにおいても、カメラレンズは、水をはじくために疎水的にコーティングされ得る。また、車載洗浄システムを使用してレンズが簡単に洗浄されるように、車両の外部に沿ってカメラを設置することができる。かかる特徴について、以下でさらに考察する。
【0062】
周辺センサハウジング
本技術の態様によれば、多数の異なるセンサ（例えば、ライダー、カメラ、レーダーなど）を含む統合されたセンサアセンブリを備えたハウジングは、車両に沿って様々な場所に位置し得る。図１Ａ～図１Ｃは、かかる統合されたセンサアセンブリの例示的なハウジング配置を示している。上で考察されるように、各場所は、特定の視野を有する、車両のセンサからの車両の周りの特定のカバレッジを提供する。異なる配置に大きな利益（または欠点）がある可能性があるため、各センサを、ハウジングに沿って、および他のセンサに対して、配置することは重要である。センサハウジングのうちの１つ以上は、上記のように、密接検知カメラアセンブリを有し得る。いくつかの実施例について、以下で考察する。
本技術の態様によれば、多数の異なるセンサ（例えば、ライダー、カメラ、レーダーなど）を含む統合されたセンサアセンブリを備えたハウジングは、車両に沿って様々な場所に位置し得る。図１Ａ～図１Ｃは、かかる統合されたセンサアセンブリの例示的なハウジング配置を示している。上で考察されるように、各場所は、特定の視野を有する、車両のセンサからの車両の周りの特定のカバレッジを提供する。異なる配置に大きな利益（または欠点）がある可能性があるため、各センサを、ハウジングに沿って、および他のセンサに対して、配置することは重要である。センサハウジングのうちの１つ以上は、上記のように、密接検知カメラアセンブリを有し得る。いくつかの実施例について、以下で考察する。
【0063】
図７Ａに示される第１の実施例では、運転者側または乗客側のドアの前にある、車両の左側または右側に沿った側部周辺ハウジング内に、センサスイートが配置されている。特に、図７Ａは、左側前部クォーターパネルに沿った第１のハウジング７００ａ、および右側前部クォーターパネルに沿った第２のハウジング７００ｂを示す図を示している。ハウジング７００ｂは、ハウジング７００ａの鏡像であってもよい。図７Ｂ～図７Ｆは、側部周辺ハウジング７００の様々な図を示している。図７Ｂの斜視図および図７Ｃの正面図に示されるように、側部周辺ハウジング７００内のセンサのスイートは、ライダーユニット７０２、密接検知カメラアセンブリ７０４、レーダーユニット７０６、前方に面する周辺視界カメラ７０８、および側部に面する周辺視界カメラ７１０を含む。
【0064】
図７Ｂおよび図７Ｃに示されるように、レーダーユニット７０６は、一方の側にある前部に面するカメラおよび側部に面するカメラと、もう一方の側にあるライダーおよび密接検知カメラアセンブリとの間に配設されている。レーダーユニットと、位置合わせされたライダーと、密接検知カメラアセンブリとを分離することで、干渉および潜在的な遮蔽を回避する。
【0065】
密接検知カメラアセンブリ７０４は、例えば、物体分類がライダーユニットによる物体検出を補完することを可能にするために、ライダーユニット７０２の下に配設される。ライダーユニット７０２の下に位置合わせされて示されているが、密接検知カメラアセンブリ７０４のカメラは、ライダーユニット７０２のおよそ０．２５～０．４ｍ以内のどこにでも位置し得る。画像分類に悪影響を与える可能性のある視差を回避するために、カメラは、センサ間に遮蔽を作り出すことなく、ライダーユニットにできるだけ近づける必要がある。また、ライダーユニット７０２の下に位置合わせされて示されているが、密接検知カメラアセンブリ７０４のカメラは、ライダーユニット７０２の上に配設され得る。どちらの配置でも、遮蔽および視差の可能性が最小化される。ハウジングユニットおよび／または車両の全体的な寸法の空間的制約もまた、互いに対するセンサの設置を制限する可能性がある。
【0066】
図７Ｄおよび図７Ｅの左側面図および右側面図にそれぞれ示されるように、ライダーユニット７０２と密接検知カメラアセンブリ７０４との間に分離面７１２が存在する。分離面は、下方に傾斜した角度で配置され得る。外方に傾斜した面により、水、雪などが滑り落ちることを可能にし、センサの妨害または遮蔽の可能性が最小化される。ライダーセンサは、すぐ下の視界が制限されている可能性があるため、カメラアセンブリをライダーセンサの真下に位置合わせすることにより、ライダーによる、潜在的にライダーによって遮蔽される物体の物体検出を助ける。例えば、側面図に示されるように、密接検知カメラアセンブリ７０４は、車両の周りのすぐ近くをカバーするように下方に角度付けされている。
【0067】
図７Ｆの拡大図は、アセンブリ７０４が、カメラ７１４、一対の照明器モジュール７１６ａおよび７１６ｂ、ならびに洗浄機構７１８ａ、７１８ｂ、および７１８ｃのセットを含むことを示している。カメラ７１４のレンズへの光の漏れがないことを確実にするために、ハウジング表面から延びる延長部７２０が含まれ得る。各モジュール７１６ａおよび７１６ｂは、１つ以上の所望のエリアに沿って光、例えば、ＩＲ光を集束させるために用いることができる１つ以上の二次レンズ７２２を含み得る。例として、これらの二次レンズ７２２は、照明器モジュールの視野の幅を増加させることができる。洗浄機構７１８は、カメラおよび／または照明器モジュールを洗浄するための、流体および／または強制空気式スプレーを含み得る。代替的にまたはさらに、１つ以上のワイパ（図示せず）を用いて、レンズを清潔に保つことができる。
【0068】
図８は、例示的な遮蔽シナリオ８００を示している。ライダーセンサは、例えば、１８０°の広いカバレッジ方位角を有し得、示されるように、該カバレッジ方位角は、影付きの三角形のエリアとして示される、ライダーセンサの下にある、車両にじかに隣接する遮蔽領域８０２を有し得る。密接検知カメラアセンブリは、ライダーセンサによって取得された知覚情報を補完するように構成され、下方に角度付けされているため、ライダーセンサの遮蔽領域８０２を軽減することができる。例えば、前部タイヤに隣接する物体がある場合、密接検知カメラアセンブリのカメラは、影付きのエリア内の線形要素８０４によって示されるように、該物体を検出するように構成されている。カメラが車両の側部から数センチメートル以内を見ることは実現可能ではないかもしれないが、カメラは、車両に近い物体が少なくとも５０％視認可能であるように位置決めされる。１つの実施例では、カメラは、１７０°～２００°ほどの方位角視野を有し得る。
【0069】
図７Ｂに戻ると、上記のように、例示的な側部周辺ハウジング７００内に、前方の面する周辺視界カメラ７０８および側部に面する周辺視界カメラ７１０が存在する。これらのカメラは、図９の実施例９００に示されるように、最小の方位角カバレッジで前部および側部のイメージを提供するように構成されている。例えば、側部に面するカメラ７１０は、車両の側部に最小＋／－１５°のＦＯＶ９０２を提供するように構成され得るが、最大＋／－３０～４０°以上を提供し得る。１つの実施例では、車両の後部に向かって１５°の最小ＦＯＶ９０４があり、車両の前部に向かって２５～３５°の最小ＦＯＶ９０６があってもよい。前部に面するカメラ７０８は、１０～２０°ほどの外側方位角ＦＯＶ９０８、および２０～４０°ほどの内側方位角ＦＯＶ９１０を有し得る。場合によっては、例えば、左折の視認性の増加をもたらすために、運転者側の前部に面するカメラが、乗客側の前部に面するカメラよりも広いＦＯＶを有する場合がある。図７Ｂに示されるように、前部に面するカメラ７０８は、側部に面するカメラ７１０よりも高く（または低く）配設され得る。これは、ハウジング７００内の様々なセンサユニットを収容するために行われ得る。
【0070】
この対のカメラは、例えば、困難な遮蔽された交差交通および保護されていない旋回のシナリオでレーダーの検出および分類を高めるために、他のセンサと組み合わせて使用され得る。１つのシナリオでは、カメラ７０８および７１０は、主に密着検知には使用されず、ＩＲ照明器なしで周囲光を使用する。側部に面した周辺視界カメラ７１０は、車両が交差点に少しずつ近づくか、または急旋回を行っている間に遮蔽される可能性を低減するために、ハウジング７００内または車両上の他の場所のはるか前方に位置し得る。前部に面する周辺視界カメラ７０８はまた、車両の前の遮蔽物体の周りをよりよく見るために、可能な限りはるか前方に位置し得る。
【0071】
図１０は、旋回シナリオ１０００の例示的な遮蔽を示している。このシナリオでは、車両１００２は、破線の矢印で示されるように、左折を行う準備をしている。ここで、トラック１００４または他の物体が、車両１００２上にあるセンサのうちの１つの視野から別の車両１００６を遮蔽する場合がある。例えば、屋根に装着されたセンサ１００８は、トラック１００４によって領域１０１２内で部分的に遮蔽されたＦＯＶ１０１０を有し得る。しかしながら、周辺に面するカメラ１０１４は、他の車両１００６の少なくとも一部を見ることができる異なるＦＯＶ１０１６を有する。周辺に面するカメラは、対向車が存在し得る場合などに別の車両の周りで操縦すること、自律車両の後ろに遮蔽する車両がある場合に隣接する車線を後方に見ること、高速道路への進入路などを介して高速交通に合流する場合など、その他の多種多様なシナリオで有益である。
【0072】
周辺ハウジングアセンブリの別の実施例を図１１Ａ～図１１Ｃに示す。特に、図１１Ａおよび図１１Ｂは、図１１Ｃのセダンまたは他の車両の後部計器盤上にある例示的な位置１１１０に示される後部ハウジングアセンブリ１１００を示している。位置１１１０は車両の後部左側上に示されているが、別の後部ハウジングアセンブリを車両の右側に配設することもできる。図１１Ａおよび図１１Ｂに示されるように、第１のセンサ１１０２および第２のセンサ１１０４が、ハウジング１１００内に配設されている。例として、第１のセンサ１１０２はレーダーセンサであり、第２のセンサはカメラである。これらのセンサは、例えば、右または左への高速車線変更を説明するために、後部から接近する他の車両に関する情報を提供することができる。
【0073】
図１２の実施例１２００に示されるように、後部に面する周辺視界カメラは、最小の方位角カバレッジで背部イメージを提供するように構成されている。例えば、後部に面するカメラ１１００は、車両の後部に３０～６０°のＦＯＶ１２０２を提供するように構成され得る。例として、後部に面するカメラは、（例えば、隣接する車線の接近する車を見るために）１５～３５°ほどの外側方位角、および（例えば、同じ車線の次の車両を見るために）１０～２５°ほどの内側方位角を有し得る。図１３は、後部に面するカメラが、別様にトラックによって遮蔽されることになる、隣接する（左の）車線の接近する車を見ることができることを示す、シナリオ１３００を示している。
【0074】
図１４Ａに示される別の実施例では、例えば、車両の直接前にある物体を検出および分類するために、前部センサハウジング１４００が、前部バンパに沿って、または隣接して配置されている。図１４Ｂ～図１４Ｅは、前部センサハウジング１４００の様々な図を示している。図１４Ｂの斜視図および図１４Ｃの正面図に示されるように、前部センサハウジング１４００内のセンサのスイートは、ライダーユニット１４０２および密接検知カメラアセンブリ１４０４を含む。
【0075】
密接検知カメラアセンブリ１４０４は、例えば、物体分類がライダーユニットによる物体検出を補完することを可能にするために、ライダーユニット１４０２の真上に配設される。ライダーユニット１４０２の上に位置合わせされて示されているが、密接検知カメラアセンブリ１４０４のカメラは、ライダーユニット１４０２のおよそ０．２５～０．４ｍ以内のどこにでも位置し得る。画像分類に悪影響を与える可能性のある視差を回避するために、カメラは、センサ間に遮蔽を作り出すことなく、ライダーユニットにできるだけ近づける必要がある。また、ライダーユニット１４０２の上に示されているが、密接検知カメラアセンブリ１４０４のカメラは、ライダーユニット１４０２の下に配設され得る。どちらの配置でも、遮蔽が最小化される。ハウジングユニットおよび／または車両の全体的な寸法の空間的制約もまた、センサの設置を制限する可能性がある。
【0076】
図１４Ｄの側面図に示されるように、ライダーユニット１４０２と密接検知カメラアセンブリ１４０４との間に分離面１４０６が存在する。分離面は、例えば、水、雪などが滑り落ちることを可能にするために、ある角度で配置され得、これにより、センサの妨害または遮蔽の可能性が最小化される。側面図にも示されるように、密接検知カメラアセンブリ１４０４は、車両の周りのすぐ近くをカバーするように下方に角度付けされている。図１４Ｅの拡大図は、アセンブリ１４０４が、カメラ１４０８、一対の照明器モジュール１４１０ａおよび１４１０ｂ、ならびに洗浄機構１４１２ａ、１４１２ｂ、および１４１２ｃのセットを含むことを示している。カメラ１４０８のレンズへの光の漏れがないことを確実にするために、ハウジング表面から延びる延長部１４１４が含まれ得る。示されるように、各モジュール１４１０ａおよび１４１０ｂは、１つ以上の所望のエリアに沿って光を集束させるために用いることができる１つ以上の二次レンズ１４１６を含み得る。洗浄機構１４１２は、カメラおよび／または照明器モジュールを洗浄するための、流体および／または強制空気式スプレーを含み得る。
【0077】
図１５は、前部センサハウジング１４００の変形例１５００を示している。この変形例では、ハウジング１５００は、ライダーユニット１４０２と、ＩＲ照明器モジュールおよび洗浄機構が省略されている密接検知カメラ１５０２と、を含む。照明のない別の変形例では、洗浄機構が含まれ得る。同様に、洗浄機構のないさらなる変形例では、照明が含まれ得る。
【0078】
図１６Ａに示される別の実施例では、例えば、車両の直接後ろにある物体を検出および分類するために、後部センサハウジング１６００が、後部バンパに沿って、または隣接して配置されている。図１６Ｂ～図１６Ｅは、後部センサハウジング１６００の様々な図を示している。図１６Ｂの斜視図および図１６Ｃの正面図に示されるように、前部センサハウジング１６００内のセンサのスイートは、ライダーユニット１６０２および密接検知カメラアセンブリ１６０４を含む。
【0079】
密接検知カメラアセンブリ１６０４は、例えば、物体分類がライダーユニットによる物体検出を補完することを可能にするために、ライダーユニット１６０２の真上に配設される。ライダーユニット１６０２の上に位置合わせされて示されているが、密接検知カメラアセンブリ１６０４のカメラは、ライダーユニット１６０２のおよそ０．２５～０．４ｍ以内のどこにでも位置し得る。画像分類に悪影響を与える可能性のある視差を回避するために、カメラは、センサ間に遮蔽を作り出すことなく、ライダーユニットにできるだけ近づける必要がある。また、ライダーユニット１６０２の上に示されているが、密接検知カメラアセンブリ１６０４のカメラは、ライダーユニット１６０２の下に配設され得る。どちらの配置でも、遮蔽が最小化される。ハウジングユニットおよび／または車両の全体的な寸法の空間的制約もまた、センサの設置を制限する可能性がある。
【0080】
図１６Ｄの側面図に示されるように、ライダーユニット１６０２と密接検知カメラアセンブリ１６０４との間に分離面１６０６が存在する。分離面は、例えば、水、雪などが滑り落ちることを可能にするために、ある角度で配置され得、これにより、センサの妨害または遮蔽の可能性が最小化される。側面図にも示されるように、密接検知カメラアセンブリ１６０４は、車両の周りのすぐ近くをカバーするように下方に角度付けされている。図１６Ｅの拡大図は、アセンブリ１６０４が、カメラ１６０８、一対の照明器モジュール１６１０ａおよび１６１０ｂ、ならびに洗浄機構１６１２ａ、１６１２ｂ、および１６１２ｃのセットを含むことを示している。カメラ１６０８のレンズへの光の漏れがないことを確実にするために、ハウジング表面から延びる延長部１６１４が含まれ得る。示されるように、各モジュール１６１０ａおよび１６１０ｂは、１つ以上の所望のエリアに沿って光を集束させるために用いることができる１つ以上の二次レンズ１６１６を含み得る。洗浄機構１６１２は、カメラおよび／または照明器モジュールを洗浄するための、流体および／または強制空気式スプレーを含み得る。
【0081】
図１７は、前部センサハウジング１６００の変形例１７００を示している。この変形例では、ハウジング１７００は、ライダーユニット１６０２と、照明器モジュールおよび洗浄機構が省略されている密接検知カメラ１７０２と、を含む。照明のない別の変形例では、洗浄機構が含まれ得る。同様に、洗浄機構のないさらなる変形例では、照明が含まれ得る。
【0082】
上記のように、様々なセンサハウジングの密接検知カメラは、下方角度に配置されている。例として、該カメラは、より低い視野カバレッジを最大化し、対応するライダーのＦＯＶを可能な限り多くカバーするために、２０～４０°ほどの下方角度を有し得る。これは、これらのカメラが、ライダーの検出および分類を高めるためである。密接検知カメラアセンブリおよびライダーユニットを同じ場所に配置するための異なる配置が示されているが、概して、各カメラは、該カメラがすべての場合においてライダーに対する遮蔽を最小化するように、各カメラのライダーユニットに対して設置される。
【0083】
センサの洗浄は、知覚システムを適切かつ効果的に動作させるために重要である。車両が自律運転モードで動作しているときに、様々なセンサを洗浄するための異なるオプションがある。例えば、洗浄システムは、洗浄流体をカメラ（およびＩＲエミッタ）にスプレーすること、ワイパおよび／または空気パファーを使用することができる。スプレー器または他の洗浄ユニットが、センサに対して固定位置にあってもよいし、または必要に応じてユニットを洗浄するために外に伸縮するように構成されていてもよい。洗浄ユニットは、センサハウジング内のセンサのいずれかの遮蔽、または別様にセンサのＦＯＶへの影響を回避するように配置する必要がある。例えば、洗浄機構７１８、１４１２、および１６１２のスプレー器先端は、カメラを遮蔽せず、かつカメラに光が反射しないように位置決めされる。
【0084】
洗浄に加えて、センサは、カメラまたは他のセンサから結露もしくは霜を排除するために、例えば、熱を提供することによって調整され得る。例として、前部ガラスとカメラユニットのハウジングとの間に挟まれた加熱要素などの霜取りヒーターが、各周辺視界カメラの前部窓要素に沿って位置決めされ得る。
【0085】
シュラウドまたは他の構造を用いて、汚れおよび他の異物がセンサをカバーすることを制限することができる。しかしながら、洗浄要素と同様に、シュラウドがセンサを遮蔽したり、または別様にセンサのＦＯＶに影響を与えるべきではない。カメラまたは照明エミッタの場合、水分の蓄積を最小化するために、疎水性コーティングをガラスまたはプラスチックのカバーに適用することができる。
【0086】
洗浄ユニットのタイプおよび設置を選択するときに、ハウジング内および車両に沿ったセンサの位置決めを考慮する必要がある。例として、側部ミラーアセンブリ内に位置するカメラを洗浄するのは難しい場合がある。例えば、特定の地点に流体をスプレーするのが難しい場合、または流体を、車両を通して、洗浄ユニットまでルート付けする方法に制限がある場合がある（例えば、洗浄ユニットがドアの上に位置する場合対ドアから離れて位置する場合）。洗浄機構のタイプは、そのセンサが自律運転にとってどれほど重要であるかに応じて選ぶことができる。例として、前部センサハウジングユニットの洗浄は、後部センサハウジングユニットの洗浄よりも重要な場合がある。これは、先行車両の明瞭な視界が、後続車両の視界よりも特定の運転動作に関連していると判断され得るためである。そのため、冗長な（例えば、スプレーシステムとワイパ）洗浄モジュールを、より重要なセンサハウジングに用いることができる。他のセンサハウジングの場合、冗長な洗浄機構がない場合がある。この場合、洗浄機構は、特定の速度（例えば、３５～４５ｍｐｈ未満）または車両が静止しているときにのみ作動し得る。これは、洗浄が、他のセンサハウジングよりも時間の影響を受けにくい場合があるためである。
【0087】
図１８は、上記の特定の行為による方法のフロー図１８００を示している。ブロック１８０２では、自律運転モードで動作するように構成された車両の制御システムは、車両の周りの領域内の閾値距離内にあるライダーデータを取得するために、車両の知覚システムのライダーセンサの動作を模倣する。例えば、閾値距離は、車両から１～３メートル以内であってもよい。ブロック１８０４では、制御システムは、車両が運転行為を実施する前に、知覚システムの画像センサによる画像キャプチャを開始する。画像センサは、ライダーセンサに隣接して配設され、かつ閾値距離内にある車両の周りの領域の重なり合う視野を有するように車両に沿って配置されている。画像センサは、閾値距離内の物体に、選択された解像度を提供する。ブロック１８０６では、制御システムは、ライダーセンサからライダーデータを受信し、画像センサから、キャプチャされたイメージを受信する。これは、同時にまたは順次行われ得る。ブロック１８０８では、制御システムは、ライダーデータを処理して、車両の閾値距離内にある領域内の物体を検出する。ブロック１８１０では、制御システムは、キャプチャされたイメージを処理して、検出された物体を分類する。また、ブロック１８１２では、制御システムは、検出された物体の分類に基づいて、車両の１つ以上のシステムに運転行為を実施させるかどうかを判断する。
【0088】
特段の記述がない限り、前述の実施例および実施形態は、相互に排他的ではないが、独自の有益点を達成するために様々な組み合わせで実装され得る。上で考察された機能のこれらおよび他の変形および組み合わせは、特許請求の範囲によって定義される主題から逸脱することなく利用することができるので、実施形態の前述の説明は、特許請求の範囲によって定義される主題を限定するものとしてではなく、例示としてみなされるべきである。加えて、本明細書に記載された実施例、ならびに「など（ｓｕｃｈ ａｓ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」などと表現された語句の提供は、特許請求の範囲の主題を特定の実施例または実施形態に限定するものと解釈されるべきではない。さらに、異なる図面中の同じ参照番号は、同じまたは類似の要素を特定することができる。プロセスまたは他の動作は、本明細書で特に明記しない限り、異なる順序で、または同時に実施されてもよい。
【図1A】
【図1B】
【図1C】
【図1D】
【図1E】
【図2A】
【図2B】
【図2C】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図6C】
【図7A】
【図7B】
【図7C】
【図7D】
【図7E】
【図7F】
【図8】
【図9】
【図10】
【図11A】
【図11B】
【図11C】
【図12】
【図13】
【図14A】
【図14B】
【図14C】
【図14D】
【図14E】
【図15】
【図16A】
【図16B】
【図16C】
【図16D】
【図16E】
【図17】
【図18】
【国際調査報告】