IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ズークス インコーポレイテッドの特許一覧

特表2024-534084遮られていないセンサー放射を用いた占有の決定
<>
  • 特表-遮られていないセンサー放射を用いた占有の決定 図1A
  • 特表-遮られていないセンサー放射を用いた占有の決定 図1B
  • 特表-遮られていないセンサー放射を用いた占有の決定 図2A
  • 特表-遮られていないセンサー放射を用いた占有の決定 図2B
  • 特表-遮られていないセンサー放射を用いた占有の決定 図3
  • 特表-遮られていないセンサー放射を用いた占有の決定 図4
  • 特表-遮られていないセンサー放射を用いた占有の決定 図5
  • 特表-遮られていないセンサー放射を用いた占有の決定 図6
  • 特表-遮られていないセンサー放射を用いた占有の決定 図7
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-09-18
(54)【発明の名称】遮られていないセンサー放射を用いた占有の決定
(51)【国際特許分類】
   G08G 1/16 20060101AFI20240910BHJP
   G06T 7/70 20170101ALI20240910BHJP
   B60W 30/08 20120101ALI20240910BHJP
   B60W 40/04 20060101ALI20240910BHJP
【FI】
G08G1/16 C
G06T7/70 Z
B60W30/08
B60W40/04
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024510350
(86)(22)【出願日】2022-08-08
(85)【翻訳文提出日】2024-02-19
(86)【国際出願番号】 US2022039708
(87)【国際公開番号】W WO2023022894
(87)【国際公開日】2023-02-23
(31)【優先権主張番号】17/405,826
(32)【優先日】2021-08-18
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/405,865
(32)【優先日】2021-08-18
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】518156417
【氏名又は名称】ズークス インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】スコット エム.パーディー
【テーマコード(参考)】
3D241
5H181
5L096
【Fターム(参考)】
3D241BA31
3D241CE01
3D241CE04
3D241CE05
3D241DC01A
3D241DC01Z
3D241DC33A
3D241DC33Z
5H181AA01
5H181BB04
5H181BB20
5H181CC03
5H181CC04
5H181CC11
5H181CC12
5H181CC14
5H181EE13
5H181EE14
5H181FF04
5H181FF05
5H181FF14
5H181LL01
5H181LL02
5H181LL04
5H181LL09
5L096AA09
5L096BA04
5L096DA02
5L096FA16
5L096FA67
5L096FA69
5L096HA11
5L096JA22
5L096KA04
(57)【要約】
遮られていないセンサー放射を用いて占有を決定するための技法。例えば、車両は、1つまたは複数のセンサーからセンサーデータを受信することがある。センサーデータは、環境内の点に対するロケーションを少なくとも表すことがある。センサーデータを用いて、車両は、物体によって遮られている環境内の領域(例えば、物体が位置するロケーション)を決定することがある。さらに、車両は、センサーデータを用いて、物体によって遮られていない環境内の領域(例えば、物体がないロケーション)を決定することもある。いくつかの例では、車両は、車両と識別された物体との間にある領域を含むとして、遮られていない領域を決定する。今述べたことは、センサー(複数可)からのセンサー放射が今述べた領域を通過し、車両から離れた距離に位置する物体に関して反射したからである。次に、車両は、環境内の遮られた領域と遮られていない領域とを少なくとも示すマップを生成することがある。
【特許請求の範囲】
【請求項1】
環境内のロケーションに存在することがある複数の仮定的物体を決定することと、
車両の1つまたは複数のセンサーからセンサーデータを受信することと、
前記センサーデータに少なくとも部分的に基づいて、前記複数の仮定的物体のうちの少なくともいくつかが前記ロケーションにないと決定することと、
前記複数の仮定的物体のうちの前記少なくともいくつかが前記ロケーションにないと決定することに少なくとも部分的に基づいて前記車両を制御することと
を備えることを特徴とする方法。
【請求項2】
前記複数の仮定的物体から仮定的物体の仮定的向きを決定することと、
前記センサーデータに少なくとも部分的に基づいて、実物体の実際の向きを決定することと、
前記実際の向きに少なくとも部分的に基づいて、前記ロケーションを更新して、前記環境に関して追加ロケーションを含めることと
をさらに備え、
前記車両を制御することは、前記追加ロケーションに少なくとも部分的に基づくことを特徴とする請求項1に記載の方法。
【請求項3】
前記複数の仮定的物体のうちの少なくともいくつかが前記ロケーションにないと決定することは、前記センサーデータに少なくとも部分的に基づいて、実物体が前記ロケーションに位置すると決定することを少なくとも含み、
前記方法は、
前記センサーデータに少なくとも部分的に基づいて、点に関連付けられた放射パスが、前記実物体に反射せずに前記実物体に近接して通ると決定することと、
前記実物体に反射せずに前記実物体に近接して通る前記放射パスに少なくとも部分的に基づいて、前記実物体の向きを決定することと
をさらに備えることを特徴とする請求項1または2に記載の方法。
【請求項4】
前記ロケーションに関連付けられた前記環境のタイプを決定することと、
前記環境の前記タイプに少なくとも部分的に基づいて、前記ロケーションに位置することがある仮定的物体のタイプを決定することと
をさらに備え、
前記環境内の前記ロケーションに存在することがある前記複数の仮定的物体を決定することは、仮定的物体の前記タイプに少なくとも部分的に基づくことを特徴とする請求項1ないし3のいずれか一項に記載の方法。
【請求項5】
前記ロケーションに関連付けられた前記環境のタイプを決定することと、
前記環境の前記タイプに少なくとも部分的に基づいて、前記ロケーションに位置することがある仮定的物体のタイプを決定することと、
仮定的物体の前記タイプに少なくとも部分的に基づいて、前記複数の仮定的物体から第1の仮定的物体に関連付けられた第1の位置を決定することと、
仮定的物体の前記タイプに少なくとも部分的に基づいて、前記複数の仮定的物体から第2の仮定的物体に関連付けられた第2の位置を決定することと
をさらに備えることを特徴とする請求項1ないし4のいずれか一項に記載の方法。
【請求項6】
前記複数の仮定的物体のうちの少なくともいくつかが前記ロケーションにないと決定することは、
前記センサーデータに少なくとも部分的に基づいて、少なくとも1つのセンサー放射が、実物体に反射せずに前記ロケーションを通過すると決定することと、
前記複数の仮定的物体のうちの少なくともいくつかが、前記実物体に反射せずに前記ロケーションを通過する前記センサー放射に少なくとも部分的に基づいて、前記ロケーションにないと決定することと
を少なくとも含むことを特徴とする請求項1ないし5のいずれか一項に記載の方法。
【請求項7】
前記センサーデータに少なくとも部分的に基づいて、前記環境内の実物体の追加ロケーションを決定することと、
前記追加ロケーションが前記車両のパスに沿っていると決定することと、
前記ロケーションも前記車両のパスに沿っており、前記ロケーションが前記実物体によって遮られていると決定することと
をさらに備え、
前記環境内の前記ロケーションに存在することがある前記複数の仮定的物体を決定することは、前記ロケーションも前記車両の前記パスに沿っており、前記ロケーションが前記実物体によって遮られていることに少なくとも部分的に基づくことを特徴とする請求項1ないし6のいずれか一項に記載の方法。
【請求項8】
前記環境内の追加ロケーションに存在することがある追加の複数の仮定的物体を決定することと、
前記センサーデータに少なくとも部分的に基づいて、少なくとも1つのセンサー放射が、前記追加ロケーションを通過し、前記ロケーションの実物体から反射すると決定することと、
前記追加ロケーションが前記追加の複数の仮定的物体によって遮られていないと決定することと
をさらに備えることを特徴とする請求項1ないし7のいずれか一項に記載の方法。
【請求項9】
前記環境内の前記ロケーションが前記実物体によって遮られている、および
前記環境内の前記追加ロケーションが遮られていない
を少なくとも示すマップを生成することをさらに備えることを特徴とする請求項8に記載の方法。
【請求項10】
前記環境内の追加ロケーションに存在することがある追加の複数の仮定的物体を決定することであって、前記追加ロケーションは、前記ロケーションよりも前記車両から遠い、ことと、
前記センサーデータに少なくとも部分的に基づいて、少なくとも1つのセンサー放射が、前記ロケーションを通過せず、前記追加ロケーションに通らないと決定することと、
前記少なくとも1つのセンサー放射が、前記ロケーションを通過せず、前記追加ロケーションに通らないことに少なくとも部分的に基づいて、前記追加の複数の仮定的物体のうちの1つまたは複数が、前記追加ロケーションに依然として位置することがあると決定することと
をさらに備え、
前記車両を制御することは、前記追加の複数の仮定的物体のうちの前記1つまたは複数が、前記追加ロケーションに依然として位置することがあると決定することに少なくとも部分的にさらに基づくことを特徴とする請求項1ないし9のいずれか一項に記載の方法。
【請求項11】
前記車両の前記1つまたは複数のセンサーから前記センサーデータを受信することは、前記車両の1つまたは複数のライダーセンサーからライダーデータを受信することを含むことを特徴とする請求項1ないし10のいずれか一項に記載の方法。
【請求項12】
前記センサーデータに少なくとも部分的に基づいて、第1の点が物体に関連付けられると決定することと、
前記センサーデータに少なくとも部分的に基づいて、第2の点が、前記物体に反射せずに前記物体に近接して通る放射パスを有すると決定することと、
前記物体に反射せずに前記物体に近接して通る前記第2の点の前記放射パスに少なくとも部分的に基づいて、前記物体に関連付けられた特性を決定することと、
前記特性に少なくとも部分的に基づいて前記車両にナビゲートさせることと
をさらに備えることを特徴とする請求項1に記載の方法。
【請求項13】
前記物体に関連付けられた前記特性を決定することは、
モデルに第1のデータを入力することであって、前記第1のデータは、
前記物体に関連付けられた前記第1の点と、
前記第2の点の前記放射パスが前記物体に反射せずに前記物体に近接して通ることと
を少なくとも表す、ことと、
前記モデルから、前記物体に関連付けられた前記特性を表す第2のデータを受信することと
を少なくとも含むことを特徴とする請求項12に記載の方法。
【請求項14】
1つまたは複数のプロセッサーによって実行されると、前記1つまたは複数のプロセッサーに、請求項1ないし13のいずれか一項に記載の方法を行わせる命令を格納することを特徴とする1つまたは複数の非一時的なコンピューター読取り可能媒体。
【請求項15】
システムであって、
1つまたは複数のプロセッサーと、
前記1つまたは複数のプロセッサーによって実行されると、請求項1ないし13のいずれか一項に記載の方法を行うように前記システムを構成する命令を格納することを特徴とする1つまたは複数の非一時的なコンピューター読取り可能媒体と
を備えたことを特徴とするシステム。
【発明の詳細な説明】
【背景技術】
【0001】
関連出願の相互参照
本PCT国際出願は、出願日が2021年8月18日であり、発明の名称が「DETERMINING OCCUPANCY USING UNOBSTRUCTED SENSOR EMISSIONS」である米国特許出願第17/405,826号、および出願日が2021年8月18日であり、発明の名称が「DETERMINING OBJECT CHARACTERISTICS USING UNOBSTRUCTED SENSOR EMISSIONS」である米国特許出願第17/405,865号の優先権を主張し、全内容が参照により本明細書に組み入れられる。
【0002】
背景技術
自律車両は、出発のロケーションから目的地のロケーションまでのパスに沿ってナビゲートするように構成されることがある。例えば、乗客に乗り物を提供するとき、自律車両は、出発のロケーションにて乗客をピックアップし、目的地のロケーションにて乗客を降ろすことがある。ナビゲートの間、自律車両が、たとえば他の車両などの物体のロケーションを決定することは重要である。例えば、自律車両は、別の車両が自律車両のパスに沿って位置することを決定するために、センサーデータを分析することがある。もう一方の車両がパスに沿って位置するので、自律車両は、もう一方の車両を安全に避けるために1つまたは複数の作動を取ることがある。
【図面の簡単な説明】
【0003】
図1A】遮られていないセンサーデータを用いて占有を決定するための例示的な処理の絵入りのフロー図である。
図1B】遮られていないセンサーデータを用いて占有を決定するための例示的な処理の絵入りのフロー図である。
図2A】遮られていないセンサーデータを用いて物体の特性を決定するための第1の例示的な処理の絵入りのフロー図である。
図2B】遮られていないセンサーデータを用いて物体の特性を決定するための第2の例示的な処理の絵入りのフロー図である。
図3】遮られていないセンサー放射を用いて占有ヒートマップを生成することの例を例示する。
図4】本明細書に説明される技法を実装するための例示的なシステムのブロック図を描く。
図5】遮られていないセンサーデータを用いて占有を決定するための例示的な処理のフロー図を例示する。
図6】遮られていないセンサーデータを用いて物体の特性を決定するための例示的な処理のフロー図を例示する。
図7】遮られていないセンサーデータを用いて物体の特性を決定するための別の例示的な処理のフロー図を例示する。
【発明を実施するための形態】
【0004】
上に述べたように、自律車両は、出発のロケーションから目的地のロケーションまでのパスに沿ってナビゲートするように構成されることがある。例えば、乗客に乗り物を提供するとき、自律車両は、出発のロケーションにて乗客をピックアップし、目的地のロケーションにて乗客を降ろすことがある。ナビゲートの間、自律車両が、たとえば他の車両などの物体のロケーションを決定することは重要である。例えば、自律車両は、別の車両が自律車両のパスに沿って位置することを決定するために、センサーデータを分析することがある。もう一方の車両がパスに沿って位置するので、自律車両は、もう一方の車両を安全に避けるために1つまたは複数の作動を取ることがある。いくつかの状況では、1つまたは複数の作動は、他のどんな物体によっても遮られていない領域へナビゲートすることを含むことがある。
【0005】
上記のように、本出願は、遮られていないセンサー放射を用いて、車両が動作している環境の占有(occupancy)を決定するための技法に関する。例えば、車両は、車両がナビゲートしている環境を表す、たとえばライダーデータなどの、センサーデータを受信することがある。次に、車両は、環境内に位置する物体までの間隔(distance;ディスタンス)を決定するために、センサーデータを用いることがある。間隔を用いて、車両は、(1)物体によって遮られている環境の領域(いくつかの例では、「遮られた領域(obstructed area)」と呼ばれる)、(2)物体によって遮られていない環境の領域(いくつかの例では、「遮られていない領域(unobstructed area)」と呼ばれる)、および/または物体に関連付けられた特性を決定することがある。例えば、間隔を用いて、車両は、車両と物体との間に位置する環境の領域が、他のどんな物体によっても遮られていないと決定することがある。次に、車両は、環境内の遮られていない領域とヒートマップ内の遮られていない領域とを表すヒートマップ(および/または他のタイプのマップ)を生成することがある。いくつかの例では、ヒートマップは、領域が遮られている、または遮られていないという可能性を表す。ヒートマップを用いて、車両は、環境を通ってどのようにナビゲートするかに関しての1つまたは複数の作動を決定することがある。
【0006】
いくつかの例では、車両は、車両が位置する環境を表すセンサーデータを車両が受信する1つまたは複数のセンサーを含む。さらに加えてまたは代わりに、車両は、車両から遠く離れて位置する1つまたは複数のセンサー(例えば、オーバービークル(over vehicle)のセンサー、交通カメラ、交通信号機に位置するセンサー、または環境における他の物体に位置するセンサー等)からセンサーデータを受信することがある。1つまたは複数のセンサーは、限定ではないが、ライダーセンサー(複数可)、レーダーセンサー(複数可)、カメラ(複数可)を含む、および/または他のどんなタイプのセンサーでも含むことがある。たとえばセンサーデータがライダーデータを含むときなど、いくつかの例では、センサーデータは、環境内の点の少なくともロケーション(例えば、x座標、y座標、z座標、間隔等)を表すことがある。さらに加えて、または代わりに、いくつかの例では、車両は、環境内の点のロケーションを決定するために、1つまたは複数の技法を用いてセンサーデータを分析することがある。上記の例では、車両は、センサーデータを用いて、環境内のロケーションに関連付けられた占有を決定することがある。
【0007】
例えば、車両は、物体分類に基づいて異なる物体の点をグループ分けするためにセンサーデータを分析することがある。例えば、車両は、センサーデータによって表されるような、点の第1のグループが、たとえば別の車両などの第1の物体に関連付けられると決定することがある。さらに加えて、車両は、センサーデータによって表されるような、点の第2のグループが、たとえば歩行者などの第2の物体に関連付けられると決定することがある。次に、車両は、点のグループを用いて環境内の物体のロケーションを決定することがある。例えば、車両は、第1の物体が位置する環境の領域を決定するために、点の第1のグループに関連付けられたロケーションを用いることがある。さらに加えて、車両は、第2の物体が位置する環境の領域を決定するために、点の第2のグループに関連付けられたロケーションを用いることがある。今述べた領域の各々は、環境内の遮られた領域であると決定されることがある。本明細書に説明されるような、環境の遮られた領域は、車両が領域を通ってナビゲートすることが可能ではないような物体が位置する領域を含むことがある。
【0008】
さらに、車両は、どんな物体によっても遮られていない環境の領域を検証するために、センサーデータ(例えば、環境内の点のロケーション)を用いることもある。本明細書に説明されるような、環境の遮られていない領域は、物体が位置しない領域、および/または(以下にさらに詳細に説明される物体分類に基づいて)車両がナビゲートすることができる領域を含むことが可能である。いくつかの例では、車両は、車両と識別された物体との間に位置する領域が、環境内の遮られていない領域を含むと決定する。いくつかの例では、遮られていない領域を識別すると、車両は、領域内の種々の高さ(複数可)が遮られていないような、3次元空間における遮られていない領域を決定することがある。例えば、車両が、道路標識の真下に位置する他の物体がない車道の上の5メートルに位置する、たとえば道路標識などの物体を識別するならば、遮られていない領域は、道路標識の真下の領域を含むことがある。
【0009】
本明細書に説明されるような、3次元空間における領域を決定すると、領域は、ボクセル空間にて定義されることがある。例えば、車両は、環境を通って進みながらセンサーデータを生成し、センサーデータをボクセル空間と関連付けることがある。ボクセル空間は、環境内の空間のボリュームを表すことがある。例えば、ボクセル空間は、100m×100m×100mであるボリュームを表す。3次元空間において領域を定義することに関する例は、「Multiresolution Voxel Space」と題され、2019年5月22日に出願された出願番号16/420,090に説明され、全内容が本明細書に組み入れられる。
【0010】
たとえばセンサーデータがライダーデータを含むときになど、遮られていない領域を識別することに関する例については、ライダーセンサーは、環境内の物体に関し反射しライダーセンサーに戻る光のパルス(「センサー放射」とも呼ばれる)を発することがある。次に、ライダーセンサーは、光が反射した点のロケーションを決定するために、反射した光を分析する。いくつかの例では、ライダーセンサーは、たとえば光がライダーセンサーに戻るまでにかかる時間など、1つまたは複数の技法を用いて点のロケーションを決定する。上記のように、光のパルスが物体に関し反射し光センサーに戻ることがあるので、車両は、ライダーセンサーエミッタ(例えば、自律車両に位置する)と物体の間に他の物体(複数可)がないことを推論することがある。言い換えると、車両は、車両が、遮られていない領域の後ろの物体から点を受信することの結果として、車両と点との間隔が、遮られていない領域を含むと決定することがある。さらに加えて、いくつかの例では、車両は、点がライダーセンサーに関して位置する角を用いて、3次元空間における決定をすることがある。
【0011】
いくつかの例では、環境内の種々のロケーションの占有を決定する今述べた処理を行うとき、車両は、最初に、環境内の潜在的物体(potential object)のロケーションを仮定することがある。いくつかの例では、車両は、最初に、車両の周りの種々のロケーションに位置する潜在的物体を仮定する。さらに加えて、または代わりに、いくつかの例では、車両は、最初に、車両の周りの運転面(driving surface)に位置する潜在的物体を仮定する。例えば、車両が駐車場に駐車されているならば、車両は、第1の潜在的車両(potential vehicle)が車両の第1の側に第1の間隔で位置することがあり、第2の潜在的車両が車両の第2の側に第2の間隔で位置することがあり、第3の潜在的車両が車両の第3の側に第3の間隔で位置することがあり、第4の潜在的車両が車両の第4の側に第4の間隔で位置することがあると仮定することがある。
【0012】
さらに加えて、いくつかの例では、車両は、物体に関連付けられた追加の特性を仮定することがある。例えば、車両は、環境のタイプを用いて、環境内に位置する物体のタイプを仮定することがある。例えば、車両は、第1のタイプの環境(例えば、たとえば車道、ドライブウェイ、および/または同類のものなどの走行可能な面)に位置する他の物体が第1のタイプの物体(複数可)(例えば、他の車両(複数可)、バイク等)を含むと仮定することがあり、第2のタイプの環境(例えば、たとえば歩道、庭などの走行可能ではない面)に位置する他の物体が、第2のタイプの物体(複数可)(例えば、歩行者、バイク、道路標識等)、および/またはその他を含むと仮定することがある。こうして、車両は、環境内の実際の物体のロケーションをよりよく仮定することができる。
【0013】
別の例については、車両は、環境内のその他の物体の向きを仮定することがある。例えば、車両が車道沿いの別の車両のロケーションを仮定しているならば、車両は、車道沿いのもう一方の車両の向きを仮定することがある。いくつかの例では、車両は、もう一方の車両が車道に沿った走行方向に向き付けられているような、車道に基づいて向きを仮定する。今述べた上記の例のどれでも、次に、車両は、実際の物体が、仮定されたロケーションのうちの1つまたは複数に位置するかどうかを検証するために、上記の処理を行うことがある。
【0014】
例えば、車両が、第1の潜在的車両が車両の第1の側面から第1の間隔に位置すると仮定する上記の例を用いて、車両は、センサーデータを分析し、分析に基づいて、車両の第1の側面に発せられた点(複数可)が、車両から第5の間隔に位置する物体(複数可)に関して反射されていると決定することがある。次に、車両は、第5の間隔が第1の間隔よりも大きいと決定することがある。上記のように、車両は、車両と第5の間隔との間にある車両の第1側に位置する領域が物体によって遮られていないと決定することがある。このために、車両は、第1の潜在的車両が車両の第1の側面へ第1の間隔で位置するという仮説が不正確であったと決定することがある。
【0015】
別の例については、車両が、第2の潜在的車両が車両の第2の側面から第2の間隔に位置すると仮定する上記の例を用いて、車両は、センサーデータを分析し、分析に基づいて、車両の第2の側面に発せられた点(複数可)が、車両から第6の間隔に位置する物体(複数可)に関して反射されていると決定することがある。次に、車両は、第6の間隔が第2の間隔と同じである、または類似している(例えば、しきい値間隔内)と決定することがある。上記のように、車両は、第2の潜在的車両が車両の第2の側面へ第2の間隔で位置するという仮説が正確であったと決定することがある。言い換えると、最初に、車両は、環境内の物体の特性(例えば、ロケーション、タイプ、向きなど)を仮定し、次に、センサーデータを用いて、仮説が正確である(物体がロケーションに実際に位置する、物体がタイプを含む、物体が向きを含むなど)か、または不正確である(物体がロケーションに実際に位置しない、物体がタイプを含まない、物体が向きを含まないなど)か、どうかを決定することがある。
【0016】
いくつかの例では、車両は、環境内に識別された物体に関連付けられた特性を決定するために、センサーデータを用いることがある。例えば、たとえば車両に接近して位置する物体が伝導性の物体(煙、霧、排気など)を含むときになど、センサーデータは、物体に関連付けられた第1の点(例えば、物体に関して反射したセンサー放射(複数可))と、物体よりも車両から遠くに位置する他の物体(複数可)に関連付けられた第2の点(例えば、他の物体(複数可)に関して反射したセンサー放射)との両方を表すことがある。上記のように、第1の点は、物体が車両からほぼ第1の間隔に位置することを示すことがあるが、第2の点は、車両と、第1の間隔よりも遠い第2の間隔における第2の点との間に、位置する物体がないことを示すことがある。このために、車両は、第1の点と第2の点を用いて物体の分類を決定することがある。
【0017】
いくつかの例では、車両は、第2の点の割合と比較した第1の点の割合に基づく決定をする。例えば、たとえば霧などの第1のタイプの物体は、センサー放射の第1の百分率を反映することがあり、たとえば排気などの第2のタイプの物体は、センサー放射の第2の百分率を反映することがある。上記のように、第1の点の割合と第2の点の割合とに基づいて、車両は、物体が第1のタイプの物体であるか第2のタイプの物体であるかどうかを決定することがある。さらに加えて、または代わりに、いくつかの例では、車両は、第2の点のロケーションと比較した第1の点のロケーションに基づいて物体のタイプの決定をすることが可能である。例えば、物体が別の車両を含むならば、もう一方の車両のトランクに当たったセンサー放射は、もう一方の車両に関して反射しセンサー(複数可)に戻ることがあるが、もう一方の車両の窓に当たったセンサー放射は、窓を通って進み、もう一方の車両の反対側に位置する別の物体に関して反射することがある。上記のように、車両は、物体が別の車両の形状を有する(例えば、第2の点はもう一方の車両の窓を表すが、第1の点はもう一方の車両の少なくともトランクを表す)と決定するために、センサーデータを分析することができることがある。
【0018】
さらに加えて、いくつかの例では、車両は、少なくともセンサーデータを用いて、物体の向きを決定することがある。例えば、センサーデータは、再び、車両から第1の間隔で位置する物体に関連付けられた第1の点と、第2の、車両から遠い間隔(複数可)に位置する物体(複数可)に関連付けられた第2の点とを表すことがある。上記のように、車両は、たとえば物体の長さ、幅、および/または高さなど、物体の寸法(複数可)を決定するためにセンサーデータを分析することがある。寸法(複数可)を用いて、次に、車両は、物体の向きを決定することがある。例えば、車両が、もう一方の物体が別の車両であると決定するならば、車両は、センサーデータを用いて決定されたような、もう一方の車両の長さおよび/または幅に基づいて、もう一方の車両の向きを決定することがある。例えば、車両は、幅が第1の幅であると、もう一方の車両が第1の向き(例えば、もう一方の車両が、もう一方の車両の前部または後部が車両に向かって向くように、向き付けられる)を有すると決定し、幅が、第2の、より大きな幅であると、もう一方の車両が第2の向き(例えば、もう一方の車両が、もう一方の車両の側部が車両に向かって向くように、向き付けられる)を含むと決定することがある。
【0019】
いくつかの例では、車両は、本明細書に説明される処理を行うとき、1つまたは複数のコンポーネント(例えば、モデル、アルゴリズム、および/または機械学習アルゴリズム)を用いることがある。例えば、第1のコンポーネントは、物体に関して反射しないで、物体に近接して通るパスを含むセンサー放射を識別するために、データを分析するように訓練され、構成されることがある。限定されないが、第1のコンポーネントに入力されるデータは、物体に関連付けられた点(複数可)(例えば、物体に関して反射した点)を表すセンサーデータ、センサー放射を出力したセンサーのロケーション(例えば、環境内のセンサーのx座標、y座標、およびz座標、車両のセンサーのロケーションなど)を表すデータ、センサーの回転についての情報(例えば、センサーがライダーセンサーを含むと回転の速さ)、物体よりも車両から遠く離れて反射した点(複数可)(例えば、車両から物体よりも遠い物体(複数可)から反射した点(複数可))を表すセンサーデータ、および/または同類のものを含む。次に、第1のモデルからの出力は、物体に関して反射しないで、物体に近接して通ったセンサー放射を表すデータを含むことがある。いくつかの例では、出力データは、物体へのセンサー放射の近さをさらに表すことがある。
【0020】
別の例については、第2のコンポーネントは、物体のタイプを決定するためにデータを分析するように訓練され、構成されることがある。限定されないが、データは、物体に関して反射した第1の点(複数可)を表すセンサーデータ、物体を通過したセンサー放射を含む第2の点を表すセンサーデータ、物体に関して反射したセンサー放射の百分率を表すデータ、物体を通過したセンサー放射の百分率を表すデータ、および/または同類のものを含むことがある。次に、第2のコンポーネントは、入力されたデータを分析し、分析に基づいて、本明細書に説明される処理のうちの1つまたは複数を用いて、物体のタイプおよび/または物体のロケーションを表すデータを出力することがある。例えば、第2のコンポーネントは、物体のタイプを決定するために、上に説明された処理のうちの1つまたは複数を用いて、物体に関して反射したセンサー放射の割合と、物体を通過したセンサー放射の割合とを分析することがある。次に、第2のコンポーネントは、物体のタイプを表すデータ、および/または環境内の物体のロケーションを表すインジケータ、たとえばバウンディングボックスなどを出力することがある。
【0021】
別の例については、第3のコンポーネントは、物体の向きを決定するためにデータを分析するように訓練され、構成されることがある。限定されないが、データは、物体に関連付けられた点を表すセンサーデータ、物体に関して反射せずに物体に近接して通ったセンサー放射を表すデータ(例えば、第1のコンポーネントを用いて決定されることがある)、物体よりも車両から遠く離れて反射した点(複数可)を表すセンサーデータ(例えば、車両から物体よりも遠く離れた物体(複数可)に反射した点(複数可))、および/または、同類のものを含むことがある。次に、第3のコンポーネントは、入力されたデータを分析し、分析に基づいて、物体の向きを表すデータを出力することがある。例えば、第3のコンポーネントは、物体の向きを決定するために、上に説明された処理のうちの1つまたは複数を用いて、物体に関して反射せずに物体に近接して通ったセンサー放射とともに、物体に関連付けられた点を分析することがある。次に、第3のコンポーネントは、物体の向きを表すデータを出力することがある。いくつかの例では、出力データは、第3のコンポーネントによって決定された向きにて物体を表すインジケータ、たとえばバウンディングボックスなどを含むことがある。
【0022】
さらに、別の例については、第4のコンポーネントは、環境の領域が仮定的物体(hypothetical object)によって遮られているかどうか、および/または遮られていないかどうかを検証するために、データを分析するように訓練され、構成されることがある。限定されないが、データは、領域における仮定的物体の位置を表すデータ、領域において実物体(real object)に関して反射した点を表すセンサーデータ(上記の点が存在するならば)、実物体に関して反射せずに領域を通過したセンサー放射を表すデータ(さらに、上記の点が存在するならば)、領域よりも車両から遠く、実質的に領域に向かう方向を含む物体(複数可)に関して反射した点(複数可)を表すセンサーデータ(領域を通過したセンサー放射に関連付けられることがある)、および/または同類のものを含むことがある。次に、第4のコンポーネントは、入力されたデータを分析し、分析に基づいて、領域が実際に実物体によって遮られているかどうか(例えば、仮定的物体のうちの少なくとも1つが領域に位置するかどうか)、または遮られていないか(例えば、領域に位置する仮定的物体が1つもないか)を表すデータを出力することがある。例えば、第4のコンポーネントは、本明細書に説明される処理のうちの1つまたは複数を用いて、領域内の実物体に関して反射した点を、物体に関して反射せずに領域を通過したセンサー放射も同様に、分析し、領域が遮られているか遮られていないかどうかを決定することがある。次に、第4のコンポーネントは、領域が遮られているかどうか、領域が遮られていると領域内の実物体のロケーションを表すインジケータ(例えば、バウンディングボックス)、または領域が遮られていないどうかを表すデータを出力することがある。今述べたことは、車両が本明細書に説明される処理を行うのに用いることがある単なる1組の例示的なコンポーネントである一方、他の例では、車両は、本明細書に説明される処理のうちの1つまたは複数を行う追加のおよび/または代替のコンポーネントを用いることがある。
【0023】
いくつかの例では、車両は、環境の占有を表すマップを生成することがある。例えば、マップは、環境内の遮られた領域のロケーション、および/または、環境内の遮られていない領域のロケーションを表すことがある。さらに加えて、いくつかの例では、マップは、たとえば物体の分類(例えば、物体タイプ(object type))、物体の向き、物体の寸法、および/または同類のものなど、物体に関連付けられた特性をさらに示すことがある。次に、車両は、環境内のあちこちにナビゲートするとき、マップを用いることがある。例えば、車両は、車両が、識別された物体に衝突しないような、および/または車両が、遮られていない領域だけを通ってナビゲートするようなマップを用いることがある。
【0024】
本明細書に説明される処理を行うことによって、車両は、環境内の物体のロケーションを決定する、および、センサーデータを用いて環境内の遮られていない領域のロケーションを検証する、という両方をすることができる。本明細書に説明されるような、車両は、センサー放射の遮られていない部分を用いて、遮られていない領域のロケーションを検証することができる。例えば、車両は、車両とセンサーデータにより表された点(複数可)との間の領域(複数可)が、環境に関して遮られていない領域(複数可)を含むことを検証することができる。環境内の遮られていない領域を検証することによって、車両は、車両がナビゲートしている環境をより正確に描写したマップを生成することがある。今述べたことは、車両が他の物体との衝突をより避けることができるので、ナビゲートしている間の車両の安全を増大させることがある。
【0025】
例えば、いくつかの例では、車両は、最初に、物体が環境内に位置することがあるロケーションを仮定する。次に、車両は、センサーデータを用いて、実際の物体がロケーションの各々にあるかどうかを検証する。こうして、さらに車両は、実際の物体により遮られていない環境内のロケーションを検証することもできる。言い換えると、車両が、物体が実際にロケーションにないことを検証する前に、車両は、物体がロケーションにあると仮定することがある。今述べたことは、環境内のあちこちにナビゲートするときの車両の総合的な安全を増大させることがある。
【0026】
本明細書に説明されるような、センサーは、環境内の種々の方向にセンサー放射(例えば、光パルス等)を発することがある。次に、今述べたセンサー放射は、次にセンサー放射が車両のセンサーに向かって反射される、環境内の物体に接触するまで環境を通って進むことがある。例えば、ライダーセンサーにより発せられたセンサー放射は、別の車両に関して反射し次にライダーセンサーに戻るまで、環境を通って進むことがある。次に、車両および/またはセンサーは、センサー放射に関連付けられた情報を決定するために、反射されたセンサー放射を分析することがある。限定されないが、センサー放射に関連付けられた情報は、反射の点のロケーション(例えば、x位置(大域的な位置)、y位置(大域的な位置)、z位置(大域的な位置))、センサー放射に関連付けられた方向(例えば、x角度、y角度、z角度)、センサー放射に関連付けられた信頼レベル、センサー放射が反射した物体に関連付けられた分類(例えば、物体タイプ)、および/またはあらゆる他のタイプの情報を含むことがある。いくつかの例では、車両および/またはセンサーは、少なくとも、センサー放射に関連付けられた方向と、センサー放射が物体に関して反射されセンサーに戻るまでにかかった時間とを用いて、情報を生成することができる。
【0027】
さらに加えて、本明細書に説明されるように、第1のセンサー放射は、第1のセンサー放射に関連付けられた第1の方向が、第2のセンサー放射に関連付けられた第2の方向に対してしきい値角度内にあることに基づいて、第2のセンサー放射の近接内である(および/または第2のセンサー放射に関連付けられた点の近くを近接内を通る)ことがある。たとえば車両がセンサーデータを2次元空間において分析しているときなど、いくつかの例では、限定されないが、しきい値角度は、0.1度、0.5度、1度、2度、および/またはあらゆる他の角度を含むことがある。さらに加えて、たとえば車両がセンサーデータを3次元空間において分析しているときなど、いくつかの例では、限定されないが、しきい値角度は、与えられた方向(複数可)における0.1度、与えられた方向(複数可)における0.5度、与えられた方向(複数可)における1度、与えられた方向(複数可)における2度、および/または同類のものを含むことがある。例えば、車両は、第1の方向がx方向に1度以内、y方向に1度以内、およびz方向に1度以内であるとき、第1のセンサー放射が第2のセンサー放射に接近していると決定することがある。今述べた例が各方向において同一のしきい値角度を含む一方、他の例では、方向のうちの1つまたは複数は、一意的なしきい値角度を含むことがある。
【0028】
本明細書に説明される技法は、いくらかのやり方において実装されることがある。例示的な実装は、次の図面を参照して以下に提供される。自律車両の状況において述べられるが、本明細書に説明される方法、装置、およびシステムは、いろいろなシステム(例えば、センサーシステムまたはロボットプラットフォーム)に適用されることがあり、自律車両に限定されない。別の例では、技法は、航空または航海の状況において、または環境における基準点間の間隔を評価するあらゆるシステムにおいて(例えば、ルート相対プランニング(route-relative planning)を用いるシステムにおいて)利用されることがある。加えて、本明細書に説明される技法は、(例えば、センサー(複数可)を用いてキャプチャされた)実データを、(例えば、シミュレーターによって生成された)シミュレーションデータを、または2つのあらゆる組み合わせを有して用いられることがある。
【0029】
図1Aおよび図1Bは、遮られていないセンサーデータを用いて占有を決定するための例示的な処理100の絵入りのフロー図である。動作102にて、処理100は、環境内に位置する潜在的物体に関して潜在的特性を決定することを含むことがある。例えば、例104は、車両106が、環境内に位置する潜在的物体の潜在的特性108(1)~(6)(「潜在的特性108」ともいう)を決定する(例えば、仮定する)ことがあることを例示する。図1の例では、潜在的特性108は、少なくとも、潜在的物体のロケーションおよび向きを含む。例えば、潜在的特性108(1)は潜在的物体に対する第1のロケーションおよび第1の向きを表し、潜在的特性108(2)は潜在的物体に対する第2のロケーションおよび第2の向きを表し、潜在的特性108(3)は潜在的物体に対する第3のロケーションおよび第3の向きを表し、潜在的特性108(4)は潜在的物体に対する第4のロケーションおよび第4の向きを表し、潜在的特性108(5)は潜在的物体に対する第5のロケーションおよび第5の向きを表し、潜在的特性108(6)は潜在的物体に対する第6のロケーションおよび第6の向きを表す。図1Aおよび図1Bの例が6つの潜在的特性108のみを例示する一方、他の例では、車両106は、環境内のあらゆる数の潜在的物体の、あらゆる数の潜在的特性108を決定することがある。
【0030】
いくつかの例では、さらに車両106は、潜在的物体に関連付けられた追加の特性(複数可)を仮定することもある。例えば、車両106は、少なくとも、物体に関連付けられた物体タイプを仮定することがある。物体タイプを決定するとき、車両106は、環境のタイプを用いて物体タイプを決定することがある。例えば、車両106が潜在的特性108を決定している環境のタイプが、たとえば高速道路などの走行可能な面を含むならば、車両106は、潜在的物体が他の車両を含むと仮定することがある。
【0031】
動作110にて、処理100は、環境内の点のロケーションを表すセンサーデータを受信することを含むことがある。例えば、例112は、車両106が環境を表すセンサーデータ114を受信していることを例示する。図1Aおよび図1Bの例では、車両106は、光パルスを含むことがあるセンサー放射(ダッシュからなる線により表される)を発するセンサー(複数可)を用いることによってセンサーデータを取得することがあり、センサー放射の第1の部分は、物体116(図1Aおよび図1Bの例では別の車両を含む)に関して反射され、車両106のセンサー(複数可)に向かって戻る。さらに加えて、センサー放射の第2の部分は、環境内に位置する他の物体(複数可)を反射してセンサー(複数可)に向かって戻ることがある、および/またはセンサー(複数可)に向かって反射されないことがある(例えば、センサー放射の第2の部分がしきい値間隔の間の物体に接触しないならば)。上記のように、センサーデータは、少なくとも、センサー放射が反映された点のロケーションを表すことがある。例えば、センサー放射の第1部分を表すセンサーデータは、物体116の点に関連付けられることがあるが、センサー放射の第2部分を表すセンサーデータは、他の物体(複数可)の点に関連付けられることがある。
【0032】
動作118にて、処理100は、点に少なくとも部分的に基づいて、潜在的特性に関連られた検証を決定することを含むことがある。例えば、例120は、潜在的特性108が検証されるか、または検証されないか、または決定されることが可能ではないかどうかを決定するために、車両106がセンサーデータを用いることを例示する。図1Aおよび図1Bの例では、車両106は、潜在的特性108(1)、108(2)、および108(4)が検証されないと決定することがある。いくつかの例では、車両106は、センサーデータによって表される点に関連付けられた間隔に基づく決定をする。例えば、車両106は、車両106とセンサーデータによって表される点との間にある環境の領域が、領域内に位置する物体(複数可)がないような、遮られていない領域を含むと決定することがある。
【0033】
上記のように、また図1Aおよび図1Bの例により示されるように、車両106は、物体が、潜在的特性108(1)に関連付けられた第1のロケーションまたは潜在的特性108(2)に関連付けられた第2のロケーションに位置することが可能ではないと決定することがある。今述べたことは、センサー放射が、潜在的特性108(1)に関連付けられた第1のロケーションを通って、どんな物体にも接触せずに潜在的特性108(2)に関連付けられた第2のロケーションを通って進んだからであり得る。さらに加えて、車両106は、潜在的特性108(4)に関連付けられた第4のロケーションに物体が位置することがあると決定することがあるが、しかしながら、物体は第4の向きを含むことが可能ではない。今述べたことは、物体116に関して反射したセンサー放射の第1の部分が、潜在的特性108(4)に関連付けられた第4のロケーションを通って進まなかったからであり得る。上記のように、車両106は、物体が第4のロケーションに位置することがあると決定することがある。しかしながら、センサー放射の第2部分は、第4のロケーションの領域の一部を通って進み、上記のように、物体は、それらの部分に位置しないことがある。上記のように、第4のロケーションに位置する物体は、第4の向きを含むことが可能ではない。
【0034】
さらに、車両106は、潜在的特性108(3)が検証されたと決定することがある。いくつかの例では、車両106は、センサー放射の第1の部分が物体116に関して反射し、上記のように、潜在的特性108(3)に関連付けられた第3のロケーションを通って進んでいないことに基づいて、今述べた決定をする。さらに加えて、車両106は、センサー放射の第2の部分に基づいて、第3のロケーションの側方に位置する領域(例えば、図1A~1Bの例では、潜在的特性108(3)の上および下)が遮られていないと決定することがある。上記のように、車両106は、物体116が第3の向きと少なくとも類似している(例えば、しきい値度数の限度内の)向きを含むと決定することがある。今述べた決定のため、車両106は、物体116が潜在的特性108(3)を含むことを検証することがある。
【0035】
さらに、車両106は、潜在的特性108(5)および108(6)が、検証されることも検証されないことも可能ではないと決定することがある。いくつかの例では、車両106は、センサー放射が、潜在的特性108(5)および108(6)に関連付けられた環境の領域に届かない、および/または通過しないことに基づいて、今述べた決定をする。今述べたことは、図1Aおよび図1Bの例では、物体116は、センサー放射が領域へ進むのを妨害しているからである。いくつかの例では、今述べた決定に基づいて、車両106は、物体(複数可)が潜在的特性108(5)および108(6)に関連付けられた向きに位置すると、および/または潜在的特性108(5)および108(6)に関連付けられた向きを含むと仮定することがある。例えば、潜在的特性108(5)および108(6)は、車両106がナビゲートしている車道に関連付けられるため、車両106は、他の車両がロケーションに位置し、潜在的特性108(5)および108(6)に関連付けられた向きを含むと仮定することがある。次に、車両106は、今述べた仮説に基づいて1つまたは複数の作動を行うことがある。
【0036】
動作122にて、処理100は、検証されている、物体を表すための潜在的特性を更新することを含むことがある。例えば、例124は、車両106が物体116を表現するために潜在的特性108(3)を更新することがあることを例示する。図1Aおよび図1Bの例では、潜在的特性108(3)を更新することは、潜在的特性108(3)を回転させて、回転128されたバウンディングボックス126によって表される物体116の実際の向きにマッチングさせることを含むことがある。しかしながら、他の例では、さらに加えて、および/または代わりに、潜在的特性108(3)を更新することは、たとえば潜在的特性108(3)のロケーション、および/または潜在的特性108(3)に関連付けられた第3のロケーションにあるとして仮定された物体のタイプなど、潜在的特性108(3)に関連付けられた1つまたは複数の他の特性を変更することを含むことがある。次に、車両108は、更新され、検証された潜在的特性128と、検証されることも検証されないことも可能ではなかった潜在的特性108(5)および108(6)に基づいて、1つまたは複数の作動を行うことがある。
【0037】
例えば、車両106は、物体126に衝突しないようにナビゲートすることがある。例えば、車両106は、物体126が第3のロケーションにもはや位置しなくなるまで、潜在的特性108(3)に関連付けられた第3のロケーションを通ってナビゲートすることを控えることがある。さらに加えて、車両106は、車両106が第5のロケーションおよび/または第6のロケーションが遮られていないことを検証することができるまで、潜在的特性108(5)に関連付けられた第5のロケーションおよび/または特性108(6)に関連付けられた第6のロケーションを通ってナビゲートすることを控えることがある。
【0038】
図2Aは、遮られていないセンサーデータを用いて物体に関連付けられた特性を決定するための第1の例示的な処理200の絵入りのフロー図である。動作202にて、処理200は、環境内の物体に関連付けられた点のロケーションを表すセンサーデータを受信することを含むことがある。例えば、例204は、車両106が環境を表すセンサーデータ206を受信していることを例示する。図2Aの例では、車両106は、光パルスを含むことがあるセンサー放射(ダッシュからなる線により表される)を発するセンサー(複数可)を用いることによってセンサーデータを取得することがあり、センサー放射の第1の部分は、物体208(図2Aの例では排気を含む)に関して反射され、車両106のセンサー(複数可)に向かって戻る。さらに加えて、センサー放射の第2部分は、物体210(図2Aの例では別の車両を含む)に関して反射され、車両106のセンサー(複数可)に向かって戻る。上記のように、センサーデータは、少なくとも、センサー放射が反映された点のロケーションを表すことがある。例えば、センサー放射の第1部分を表すセンサーデータは、物体208の点に関連付けられることがあるが、センサー放射の第2部分を表すセンサーデータは、物体210の点に関連付けられることがある。
【0039】
動作212にて、処理200は、センサーデータに少なくとも部分的に基づいて、環境内の遮られていない領域を検出することを含むことがある。例えば、例214は、車両106がセンサーデータを用いて環境内の遮られていない領域を決定することを例示する。いくつかの例では、車両106は、センサーデータに関連付けられたセンサー放射216(1)~(4)(「センサー放射216」ともいう)を用いて、遮られていない領域を決定する。例えば、車両106は、第1の遮られていない領域が、第1のセンサー放射216(1)に沿った、車両106からの第1の間隔を含むと決定することがある。今述べたことは、第1のセンサー放射216(1)が物体208に関して反射し車両106のセンサー(複数可)に戻るからである。上記のように、車両106は、車両106と第1のセンサー放射216(1)に関連付けられた点との間に他の物体が位置しないと仮定することがある。さらに加えて、車両106は、第2の遮られていない領域が、第2のセンサー放射216(2)に沿った、車両106からの第2の間隔を含むと決定することがある。今述べたことは、第2のセンサー放射216(2)が物体210に関して反射し車両106のセンサー(複数可)に戻るからである。上記のように、車両106は、車両106と第2のセンサー放射216(2)に関連付けられた点との間に他の物体が位置しないと仮定することがある。
【0040】
さらに、車両106は、第3の遮られていない領域が、第3のセンサー放射216(3)に沿った、車両106からの第3の間隔を含むと決定することがある。今述べたことは、第3のセンサー放射216(3)が物体210に関して反射し車両106のセンサー(複数可)に戻るからである。上記のように、車両106は、車両106と第3のセンサー放射216(3)に関連付けられた点との間に他の物体が位置しないと仮定することがある。最後に、車両106は、第4の遮られていない領域が、第4のセンサー放射216(4)に沿った、車両106からの第4の間隔を含むと決定することがある。今述べたことは、第4のセンサー放射216(4)が物体208に関して反射し車両106のセンサー(複数可)に戻るからである。上記のように、車両106は、車両106と第4のセンサー放射216(4)に関連付けられた点との間に他の物体が位置しないと仮定することがある。図2Aの例は、車両106が、環境内の遮られていない領域を識別するために4つのセンサー放射216のみを用いるように例示するが、他の例では、車両106は、あらゆる数のセンサー放射を用いることがある。
【0041】
218において、処理200は、遮られていない領域に少なくとも部分的に基づいて、物体に関連付けられた特性を決定することを含むことがある。例えば、例220は、車両106が、少なくとも物体208に関連付けられた特性を決定するために、遮られていない領域を用いることがあることを例示する。示されるように、センサー放射216(2)~(3)によって表されるセンサーデータの第1の部分に基づいて、車両106は、センサー放射216(2)~(3)が物体208に関して反射し車両106に向かって戻るので、物体208が環境内の領域に位置すると決定することがある。しかしながら、センサー放射216(1)および216(4)によって表されるセンサーデータの第2の部分に基づいて、車両106は、センサー放射216(1)および216(4)が物体208を通過し物体210に関して反射したので、領域が遮られていない領域を含むと最初に決定することがある。上記のように、車両106は、センサーデータを用いて、物体208に関連付けられた分類(例えば、物体タイプ)を決定することがある。
【0042】
いくつかの例では、車両106は、物体208を通過したセンサー放射216の割合と比較して、物体208に関して反射したセンサー放射216の割合に基づく決定をする。例えば、たとえば霧などの第1のタイプの物体は、センサー(複数可)により出力されるセンサー放射216の第1の百分率を反映することがあるが、たとえば排気などの第2のタイプの物体は、センサー放射216の第2の百分率を反映することがある。さらに加えて、または代わりに、いくつかの例では、車両106は、物体208に関して反射したセンサー放射216のロケーションと、物体208を通過したセンサー放射216のロケーションとに基づく決定をする。図2Aの例では、車両106は、物体208が排気を含むと決定することがある。
【0043】
いくつかの例では、車両106は、1つまたは複数のコンポーネント(例えば、1つまたは複数のモデル)を用いて、物体208に関連付けられた特性を決定することがある。例えば、車両106は、少なくとも、センサー放射216(2)~(3)に関連付けられた点までの間隔、センサー放射216(2)~(3)の方向、センサー放射216(1)および216(4)に関連付けられた点までの間隔、センサー放射216(1)および216(4)の方向、物体208を通過したセンサー放射216(1)および216(4)の割合、物体208に関して反射したセンサー放射208(2)~(3)の割合、および/または同類のものを表すデータを、コンポーネント(複数可)に入力することがある。次に、コンポーネント(複数可)は、本明細書に説明される処理の1つまたは複数を用いて、特性を決定するためにデータを分析することがある。さらに加えて、車両106は、コンポーネント(複数可)から、特性を表すデータを受信することがある。
【0044】
動作222にて、処理200は、特性に少なくとも部分的に基づいて車両にナビゲートさせることを含むことがある。例えば、例224は、車両106が特性に基づいてナビゲートするためのパスを決定することがあることを例示する。例えば、図2Aの例により示されるように、物体208が排気を含むので、車両106は、物体208を通るパスに沿って続行すると決定することがある。
【0045】
図2Bは、遮られていないセンサーデータを用いて物体に関連付けられた特性を決定するための第2の例示的な処理226の絵入りのフロー図である。動作228にて、処理226は、環境内の物体に関連付けられた点のロケーションを表すセンサーデータを受信することを含むことがある。例えば、例230は、車両106が環境を表すセンサーデータ232を受信していることを例示する。図2Bの例では、車両106は、光パルスを含むことがあるセンサー放射(ダッシュからなる線により表される)を発するセンサー(複数可)を用いることによってセンサーデータを取得することがあり、センサー放射の第1の部分は、物体234(図2Bの例では別の車両を含む)に関して反射され、車両106のセンサー(複数可)に向かって戻る。さらに加えて、センサー放射の第2部分は、追加の物体(明瞭さの理由から図2Bの例では例示されていない)から反射され、車両106のセンサー(複数可)に向かって戻ることがある、および/または車両106に戻らないことがある。上記のように、センサーデータは、少なくとも、センサー放射が反映された点のロケーションを表すことがある。例えば、センサー放射の第1部分を表すセンサーデータは、物体234の点に関連付けられることがある。
【0046】
動作236にて、処理226は、センサーデータに少なくとも部分的に基づいて、環境内の遮られていない領域を検出することを含むことがある。例えば、例238は、車両106がセンサーデータを用いて環境内の遮られていない領域を決定することを例示する。いくつかの例では、車両106は、センサーデータに関連付けられたセンサー放射240(1)~(4)(「センサー放射240」ともいう)を用いて、遮られていない領域を決定する。例えば、車両106は、第1の遮られていない領域が、第1のセンサー放射240(1)に沿った、車両106からの第1の間隔を含むと決定することがある。今述べたことは、第1のセンサー放射240(1)が追加の物体(例示されていない)に関して反射し車両106のセンサー(複数可)に戻るからである。上記のように、車両106は、車両106と第1のセンサー放射240(1)に関連付けられた点との間に他の物体が位置しないと仮定することがある。さらに加えて、車両106は、第2の遮られていない領域が、第2のセンサー放射240(2)に沿った、車両106からの第2の間隔を含むと決定することがある。今述べたことは、第2のセンサー放射240(2)が物体234に関して反射し車両106のセンサー(複数可)に戻るからである。上記のように、車両106は、車両106と第2のセンサー放射240(2)に関連付けられた点との間に他の物体が位置しないと仮定することがある。
【0047】
さらに、車両106は、第3の遮られていない領域が、第3のセンサー放射240(3)に沿った、車両106からの第3の間隔を含むと決定することがある。今述べたことは、第3のセンサー放射240(3)が物体234に関して反射し車両106のセンサー(複数可)に戻るからである。上記のように、車両106は、車両106と第3のセンサー放射240(3)に関連付けられた点との間に他の物体が位置しないと仮定することがある。最後に、車両106は、第4の遮られていない領域が、第4のセンサー放射240(4)に沿った、車両106からの第4の間隔を含むと決定することがある。今述べたことは、第4のセンサー放射240(4)が追加の物体(例示されていない)に関して反射し車両106のセンサー(複数可)に戻るからである。上記のように、車両106は、車両106と第4のセンサー放射240(4)に関連付けられた点との間に他の物体が位置しないと仮定することがある。図2Bの例は、車両106が、環境内の遮られていない領域を識別するために4つのセンサー放射240のみを用いるように例示するが、他の例では、車両106は、あらゆる数のセンサー放射を用いることがある。
【0048】
242において、処理226は、遮られていない領域に少なくとも部分的に基づいて、物体に関連付けられた特性を決定することを含むことがある。例えば、例224は、車両106が、少なくとも物体234に関連付けられた特性を決定するために、遮られていない領域を用いることがあることを例示する。示されるように、センサー放射240(2)~(3)によって表されるセンサーデータの第1の部分に基づいて、車両106は、センサー放射240(2)~(3)が物体234に関して反射し車両106に向かって戻るので、物体234が環境内の領域(例えば、物体234に関連付けられた第1の特性)に位置すると決定することがある。さらに加えて、センサー放射240(1)および216(4)によって表されるセンサーデータの第2の部分に基づいて、車両106は、物体234に接近して位置した領域が遮られていない領域246(1)~(2)を含むと決定することがある。次に、車両106は、遮られていない領域246(1)~(2)を用いて、物体234に関連付けられた向き(例えば、第2の特性)を決定することがある。
【0049】
例えば、車両106は、最初に、物体234が別の車両を含むと決定することがある。次に、車両106は、遮られていない領域246(1)~(2)を用いて、もう一方の車両236に関連付けられた幅を決定することがある。もう一方の車両の幅を用いて、車両106は、向きを決定することがある。いくつかの例では、車両106は、もう一方の車両が、もう一方の車両が第1の向きを含むと第1の幅を、もう一方の車両が第2の向きを含むと第2の幅を、もう一方の車両が第3の向きを含むと第3の幅を、および/または同類のものを有するので、今述べた決定をすることがある。上記のように、車両106は、幅を用いて向きを決定することがある。図2Bの例が、遮られていない領域246(1)~(2)を用いて、物体234に関連付けられた2つの特性(例えば、ロケーションおよび向き)を決定することのみを例示するが、他の例では、車両106は、追加のおよび/または代替の特性を決定することがある。
【0050】
いくつかの例では、車両106は、1つまたは複数のコンポーネント(例えば、1つまたは複数のモデル)を用いて、物体208に関連付けられた特性を決定することがある。例えば、車両106は、少なくとも、センサー放射240(2)~(3)に関連付けられた点までの間隔、センサー放射240(2)~(3)の方向、センサー放射240(1)および240(4)に関連付けられた点までの間隔、センサー放射240(1)および240(4)に関連付けられた方向、センサー放射240(2)~(3)に関連付けられた間隔とセンサー放射240(1)および240(4)に関連付けられた間隔との差、(本明細書に説明される)センサーデータに基づいて遮られていない環境の領域246(1)~(2)、および/または同類のものを表すデータを、コンポーネント(複数可)に入力することがある。次に、コンポーネント(複数可)は、本明細書に説明される処理の1つまたは複数を用いて、特性を決定するためにデータを分析することがある。さらに加えて、車両106は、コンポーネント(複数可)から、特性を表すデータを受信することがある。
【0051】
動作248にて、処理226は、特性に少なくとも部分的に基づいて車両にナビゲートさせることを含むことがある。例えば、例250は、車両106が特性に基づいてナビゲートするためのパスを決定することがあることを例示する。例えば、図2の例により示されるように、物体234が車道に沿った向きを含むので、車両106は、物体234を通るパスに沿って続行すると決定することがある。
【0052】
図3は、遮られていないセンサー放射を用いて占有ヒートマップを生成することの例を例示する。図3の例により示されるように、車両106は、種々の物体304(1)~(6)(「物体304」とも呼ぶ)を含む環境302内のあちこちにナビゲートしていることがある。ナビゲートしている間、車両106は、環境302における物体を表すセンサーデータを受信していることがある。いくつかの例では、図3の例により例示されるように、車両106は、物体304に関して反射し車両106のセンサー(複数可)に戻るセンサー放射(例えば、光パルス)を発することによって、センサーデータを取得することがあり、センサー放射がダッシュからなる線により表されている。本明細書に説明されるような、センサーデータは、環境302内の点のロケーションを表すことがある。例えば、センサーデータの一部は、物体304(5)に関連付けられた点のロケーションを表すことがある。さらに加えて、センサーデータの別の部分は、物体304(6)に関連付けられた点のロケーションを表すことがある。
【0053】
次に、車両106は、環境302に関連付けられた占有を決定するために、センサーデータを分析することがある。例えば、車両106は、センサーデータを分析して、環境302内で物体304によって遮られている領域を最初に決定することがある。車両106は、環境302内の物体によって遮られていない環境302内の領域を決定するために、センサーデータをさらに分析することがある。本明細書に説明されるような、車両106は、センサーデータによって表される点に関連付けられた間隔を用いて、遮られていない領域を決定することがある。例えば、センサー放射を用いて、車両106は、遮られていない領域が、車両106とセンサー放射の反射点に関連付けられたロケーションとの間にある環境302内の領域を含むと決定することがある。例えば、例3に示されるように、車両106は、遮られていない領域が、物体304(6)に関して反射し車両106に戻るセンサー放射に基づいて、車両106と物体304(6)との間の領域を含むと決定することがある。さらに加えて、車両106は、遮られていない領域が、物体304(5)に関して反射し車両106に戻るセンサー放射に基づいて、車両106と物体304(5)との間の領域を含むと決定することがある。
【0054】
次に、車両106は、環境302の占有を表すヒートマップ306を生成することがある。いくつかの例では、ヒートマップ306は、領域が遮られている、または遮られていないという可能性を表す。本明細書に説明されるような、ヒートマップ306は、車両106に接近した環境302の離散化されたリージョンを表すことがある。例えば、ヒートマップ306は、車両106の周りの100メートル×100メートルのリージョンを表す64×64のグリッド(またはJ×Kサイズのグリッド)を表すことがある。もちろん、他の例では、ヒートマップ306は、あらゆるサイズのリージョンを表すことが可能であり、リージョンのあらゆる数の離散部分を表すことがある。つまり、ヒートマップ306は、あらゆるレベルの解像度にて環境を表すことがある。いくつかの場合では、ヒートマップ306の一部は、ヒートマップ306のセルと呼ばれることが可能である。各セルは、物体がセルにより表される領域にある確率を表す予測確率を含むことが可能である。例えば、図3の例に例示されるように、黒いセルは、物体304によって遮られている環境302内の領域を表すことがある。さらに加えて、灰色のセル308(1)~(7)は、車両106が遮られていない領域を検証した環境302内の領域を表すことがある。さらに、白いセルは、車両106が、遮られているまたは遮られていないとして決定することができない環境302の領域を表すことがある。今述べたことは、環境302の今述べた領域が、センサー放射が領域に進めないような物体304によって妨害されるからであり得る。
【0055】
図4は、本開示の態様にしたがって、本明細書に説明される技法を実装するための例示的なシステム400のブロック図を描く。少なくとも一例では、システム400は、車両106を含むことが可能である。車両106は、車両コンピューティングデバイス402、1つまたは複数のセンサーシステム(複数可)404、1つまたは複数のエミッター406、1つまたは複数の通信接続408、少なくとも1つの直接接続410、および1つまたは複数のドライブシステム412を含むことが可能である。
【0056】
車両コンピューティングデバイス402は、1つまたは複数のプロセッサー414と、プロセッサー(複数可)414に通信接続されたメモリー416とを含むことが可能である。例示される例では、車両106は、自律車両である。しかしながら、車両106は、どんな他のタイプの車両でも(例えば、手動運転車両、半自律車両など)、または少なくとも画像キャプチャデバイスを有するどんな他のシステムでもあり得る。例示される例では、車両コンピューティングデバイス402のメモリー416は、ローカライゼーションコンポーネント418、パーセプションコンポーネント420、プランニングコンポーネント422、アンオブストラクテッドエリアコンポーネント424、特性コンポーネント(複数可)426、1つまたは複数のシステムコントローラー428、および1つまたは複数のマップ430を格納する。例示的な目的のためにメモリー416に常駐しているとして図4に描かれているにもかかわらず、さらに加えて、または代わりに、ローカライゼーションコンポーネント418、パーセプションコンポーネント420、プランニングコンポーネント422、アンオブストラクテッドエリアコンポーネント424、特性コンポーネント(複数可)426、システムコントローラー(複数可)428、および/またはマップ(複数可)430は、車両106にアクセス可能であることが可能である(例えば、車両106から遠く離れたメモリーに格納される、または別のやり方にて車両302から遠く離れたメモリーによってアクセス可能である)ことが想定される。
【0057】
少なくとも一例にて、ローカライゼーションコンポーネント418は、センサーデータ432をセンサーシステム(複数可)404から受信する機能性と、車両106の位置および/または向き(例えば、x位置、y位置、z位置、ロール、ピッチ、またはヨーのうちの1つまたは複数)を決定する機能性とを含むことが可能である。例えば、ローカライゼーションコンポーネント418は、環境のマップを含むおよび/または要求する/受信することが可能であり、マップ内の車両106のロケーションおよび/または向きを連続的に決定することが可能である。場合によっては、ローカライゼーションコンポーネント418は、SLAM(simultaneous localization and mapping)、CLAMS(calibration, localization and mapping, simultaneously)、相対SLAM(relative SLAM)、バンドル調整、非線形最小二乗法最適化(non-linear least squares optimization)を利用する、または、画像データ、ライダーデータ、レーダーデータ、IMUデータ、GPSデータ、ホイールエンコーダーデータ、および自律車両106のロケーションを正確に決定する同類のものを受信する同類のものを利用することが可能である。場合によっては、ローカライゼーションコンポーネント418は、データを、車両106の種々のコンポーネントに提供して、本明細書に述べられるように、候補の軌道を生成するために車両106の初期の位置を決定することが可能である。
【0058】
場合によっては、パーセプションコンポーネント420は、物体の検出、セグメンテーション、および/または分類を行う機能性を含むことが可能である。場合によっては、パーセプションシステム420は、車両106に接近した物体の存在(presence)、および/または物体タイプ(例えば、車、歩行者、サイクリスト、動物、建物、木、路面、縁石、歩道、不明等)として物体の分類を示す処理されたセンサーデータ432を提供することが可能である。追加および/または代替の例において、パーセプションコンポーネント420は、検出される物体に、および/または物体が置かれる環境に関連付けられた1つまたは複数の特性を示す処理されたセンサーデータ432を提供することが可能である。場合によっては、物体に関連付けられた特性は、限定されないが、x位置(グローバルポジション)、y位置(グローバルポジション)、z位置(グローバルポジション)、向き(例えば、ロール、ピッチ、ヨー)、物体タイプ(例えば、分類)、物体の速度、物体の加速度、物体の範囲(大きさ)などを含むことが可能である。環境に関連付けられた特性は、限定されないが、環境における別のオブジェクトの存在、環境における別のオブジェクトの状態、時刻、曜日、季節、気象条件、闇/光のインディケーションなどを含むことが可能である。
【0059】
一般に、プランニングコンポーネント422は、環境を通って進むために従う車両106のパスを決定することが可能である。例えば、プランニングコンポーネント422は、種々のルートおよび軌道および種々の詳細のレベルを決定することが可能である。例えば、プランニングコンポーネント422は、第1のロケーション(例えば、現在のロケーション)から第2のロケーション(例えば、目標のロケーション)まで進むルートを決定することが可能である。本議論の目的のために、ルートは、2つのロケーション間を進むためのウェイポイントのシーケンスであることが可能である。限定でない例として、ウェイポイントは、街路、交差点、GPS(全地球測位システム)座標などを含む。さらに、プランニングコンポーネント422は、車両106を、第1のロケーションから第2のロケーションまでの少なくとも一部分のルートに沿って、導くためのインストラクションを生成することが可能である。少なくとも一例では、プランニングシステム422は、車両106を、ウェイポイントのシーケンスにおける第1のウェイポイントから、ウェイポイントのシーケンスにおける第2のウェイポイントまで、どのように導くかを決定することが可能である。場合によっては、インストラクションは、軌道、または軌道の一部分であることが可能である。場合によっては、複数の軌道は、レシーディングホライズン(receding horizon)の技法に従って、実質的に同時に(例えば、技法的な許容範囲内に)生成されることが可能であり、複数の軌道のうちの1つは、ナビゲートする車両106に対して選択される。
【0060】
少なくとも1つの例では、プランニングコンポーネント422は、ロケーションに関連付けられたピックアップロケーションを決定することが可能である。本明細書に用いられているような、ピックアップロケーションは、車両106が乗客をピックアップするために停止することが可能であるロケーション(例えば、配車要求に関連付けられた住所またはロケーション)のしきい値間隔内の特定のロケーション(例えば、駐車スペース、積載ゾーン、地表の一部など)であることが可能である。少なくとも1つの例では、プランニングコンポーネント422は、ユーザアイデンティティ(例えば、本明細書に述べている、画像認識を介して決定される、またはユーザーデバイスからのインディケーションとして受信される)を決定することに少なくとも部分的に基づいてピックアップロケーションを決定することが可能である。ピックアップのロケーションへの到着、目的地のロケーションへの到着、乗客による車両への乗り込み、および「乗車開始」コマンドの受信は、イベントベースのデータロギングのために用いられることがあるイベントの追加の例である。
【0061】
一般に、アンオブストラクテッドエリアコンポーネント424は、物体によって遮られていない環境内の領域を決定するために、本明細書に説明される処理のうちの1つまたは複数を行うように構成されることがある。例えば、アンオブストラクテッドエリアコンポーネント424は、センサーデータ432によって表される点のロケーションを決定するために、センサーデータ432を分析するように構成されることがある。次に、アンオブストラクテッドエリアコンポーネント424は、車両106と環境内の点のロケーションとの間にある領域を含む、遮られていない領域を識別するように構成され得る。
【0062】
一般に、特性コンポーネント(複数可)426は、物体に関連付けられた1つまたは複数の特性を決定するためにデータを分析するように構成されることがある。例えば、たとえば特性コンポーネント426が物体のタイプを決定するように構成されているときなど、限定されないが、データは、物体に関連付けられた環境内の第1の点までの第1の間隔、第1の点に関連付けられた第1のセンサー放射の第1の方向、物体を通過した第2のセンサー放射に関連付けられた環境内の第2の点までの第2の間隔、第2のセンサー放射の第2の方向、物体を通過したセンサー放射の割合、物体に関して反射したセンサー放射の割合、および/または同類のものを含むことがある。ゆえに、特性コンポーネント426は、物体のタイプを決定するためにデータを分析するために、本明細書に説明される処理のうちの1つまたは複数を用いて、データを分析することがある。
【0063】
別の例については、たとえば特性コンポーネント426が物体の向きを決定するように構成されるときなど、限定されないが、データは、物体に関連付けられた第1の点までの間隔、第1の点に関連付けられた第1のセンサー放射の方向、第1の点に接近して通った第2のセンサー放射に関連付けられた第2の点までの間隔、第2のセンサー放射に関連付けられた方向、第2の間隔と第1の間隔との差、センサーデータに基づく(本明細書に説明される)遮られていない環境の領域、および/または同類のものを含むことがある。ゆえに、特性コンポーネント426は、物体の向きを決定するためにデータを分析するために、本明細書に説明される処理のうちの1つまたは複数を用いて、データを分析することがある。
【0064】
いくつかの例では、コンピューティングデバイスは、1つまたは複数の技法を用いて、今述べた特性コンポーネント(複数可)426を訓練することがある。例えば、コンピューティングデバイスは、特性コンポーネント(複数可)426を訓練するために、データに関連付けられた既知の結果とともに、特性コンポーネント(複数可)426にデータを入力することがある。言い換えると、コンピューティングデバイスは、物体の特性を決定するために、遮られていないセンサー放射を用いるように、今述べた分類コンポーネント(複数可)426を訓練することがある。
【0065】
少なくとも1つの例では、コンピューティングデバイス402は、車両106の操舵、推進、制動、安全、エミッター、通信、および他のシステムを制御するように構成されることが可能であるシステムコントローラー(複数可)428を含むことが可能である。今述べたシステムコントローラー(複数可)428は、車両106のドライブシステム(複数可)412および/または他のコンポーネントの対応するシステムに対して通信するおよび/または制御することが可能である。
【0066】
メモリー416は、環境内をナビゲートするために車両106によって用いられることが可能であるマップ(複数可)430を、さらに含むことが可能である。議論の目的のために、マップは、たとえば、限定されないが、トポロジー(たとえば、交差点など)、街路、山脈、道路、地形、および一般に環境など、環境について情報を提供する能力がある2次元、3次元、またはN次元のモデル化されたいくつものデータ構造であることが可能である。限定されないが、場合によっては、マップは、テクスチャ情報(例えば、色情報(例えば、RGB色情報、Lab色情報、HSV/HSL色情報)、および同類のもの)、強度情報(例えば、ライダー情報、レーダー情報、および同類のもの)、空間情報(例えば、メッシュの上に投影された画像データ、個々の「サーフェル」(例えば、個々の色および/または強度に関連付けられたポリゴン))、反射率情報(例えば、鏡面反射情報、再帰反射率(retroreflectivity)情報、BRDF情報、BSSRDF情報、および同類のもの)を含むことが可能である。1つの例では、マップは、環境の3次元メッシュを含むことが可能である。場合によっては、マップは、マップの個々のタイルが環境の離散的な部分を表すような、タイルフォーマットに格納されることが可能であり、必要に応じてワーキングメモリーにロードされることが可能である。少なくとも1つの例では、マップ(複数可)430は、少なくとも1つのマップ(例えば、画像および/またはメッシュ)を含むことが可能である。いくつかの例では、車両106は、マップ(複数可)430に少なくとも部分的に基づいて制御されることが可能である。すなわち、マップ(複数可)430は、車両106のロケーションを決定し、環境におけるエンティティを識別する、および/または環境内においてナビゲートするルートおよび/または軌道を生成するために、ローカライゼーションコンポーネント418、パーセプションコンポーネント420、および/またはプランニングコンポーネント422に関連して用いられることが可能である。
【0067】
場合によっては、本明細書に述べられる構成要素のいくつかまたはすべての様相は、どんなモデル、アルゴリズム、および/または機械学習アルゴリズムでも含むことが可能である。例えば、場合によっては、メモリー416におけるコンポーネントは、ニューラルネットワークとして実装されることが可能である。本明細書に説明されるように、典型的なニューラルネットワークは、一連の連結された層を通じて入力データを通して出力を生成する生物学的にインスパイアされたアルゴリズムである。さらに、ニューラルネットワークにおける各層は、別のニューラルネットワークを含むことも可能である、またはあらゆる数の層を(畳み込みかどうかにかかわらず)含むことも可能である。本開示という状況において理解されることが可能であるように、ニューラルネットワークは、出力が学習パラメーターに少なくとも部分的に基づいて生成される上記のアルゴリズムの幅広いクラスを参照することが可能である機械学習を利用することが可能である。
【0068】
ニューラルネットワークという状況にて述べられるが、どんなタイプの機械学習でも、本開示と矛盾することなく用いられることが可能である。例えば、機械学習アルゴリズムは、限定されないが、回帰アルゴリズム(例えば、通常の最小二乗回帰(OLSR)、線形回帰、ロジスティック回帰、ステップワイズ回帰、多変量適応型回帰スプライン(MARS)、局所推定スキャッタープロット平滑化法(LOESS))、インスタンスベースのアルゴリズム(例えば、リッジ回帰、最小絶対収縮および選択演算子(LASSO)、弾性ネット、最小角度回帰(LARS))、ディシジョンツリーアルゴリズム(例えば、分類および回帰ツリー(CART)、反復二分法3(ID3)、カイ二乗自動相互作用検出(CHAID)、決定断端、条件付きディシジョンツリー))、ベイジアンアルゴリズム(例えば、ナイーブベイズ、ガウスナイーブベイズ、多項式ナイーブベイズ、アベレージワンディペンデンスエスティメータズ(AODE)、ベイジアンビリーフネットワーク(BNN)、ベイジアンネットワーク)、クラスタリングアルゴリズム(例えば、k平均法、kメジアン、期待値最大化(EM)、階層クラスタリング)、相関ルール学習アルゴリズム(例えば、パーセプトロン、逆伝搬、ホップフィールドネットワーク、動径基底関数ネットワーク(RBFN))、深層学習アルゴリズム(例えば、ディープボルツマンマシン(DBM)、ディープビリーフネットワーク(DBN)、畳み込みニューラルネットワーク(CNN)、スタックドオートエンコーダ)、次元縮退アルゴリズム(例えば、主コンポーネント分析(PCA)、主コンポーネント回帰(PCR)、部分的最小二乗回帰(PLSR)、サモンマッピング、多次元尺度構成法(MDS)、投影追跡、線形判別分析(LDA)、混合判別分析(MDA)、二次判別分析(QDA)、柔軟判別分析(FDA))、アンサンブルアルゴリズム(例えば、ブースティング、ブートストラップアグリゲーション(バギング)、アダブースト、スタックドジェネラリゼーション(ブレンディング)、勾配ブースティングマシン(GBM)、勾配ブースト回帰ツリー(GBRT)、ランダムフォレスト)、SVM(サポートベクターマシン)、教師あり学習、教師なし学習、準教師あり学習など含むことが可能である。アーキテクチャの追加の例は、たとえば、ResNet40、ResNet101、VGG、DenseNet、PointNet、および同類のものなどのニューラルネットワークを含む。
【0069】
上に述べたように、少なくとも1つの例では、センサーシステム(複数可)404は、ライダーセンサー、レーダーセンサー、ソナーセンサー、ロケーションセンサー(例えば、GPS、方位磁針など)、慣性センサー(例えば、慣性測定ユニット(IMU)、加速度計、磁力計、ジャイロスコープなど)、カメラ(例えば、RGB、IR、強度、深度、タイムオブフライト(time-of-flight:TOF)など)、マイク、ホイールエンコーダー、環境センサー(例えば、温度センサー、湿度センサー、光センサー、圧力センサーなど)などを含むことが可能である。センサーシステム(複数可)404は、今述べたまたは他のタイプのセンサーの各々に関する複数のインスタンスを含むことが可能である。たとえば、ライダーセンサーは、車両106の角、前面、後面、側面、および/または上面に位置する個々のライダーセンサーを含むことが可能である。別の例として、カメラセンサーは、車両106の外部および/または内部のあちこちに、種々のロケーションに配置された複数のカメラを含むことができる。センサーシステム(複数可)404は、入力を、車両コンピューティングデバイス402に提供することが可能である。さらに加えてまたは代わりに、センサーシステム(複数可)404は、1つまたは複数のネットワーク(複数可)434を介して、センサーデータ432を、特有の周波数において、予め決められた一定の時間が経つと、1つまたは複数の条件が発生したときに、ほぼリアルタイムにおいて等、コンピューティングデバイス(複数可)436に送ることが可能である。
【0070】
さらに、車両106は、上に説明されるような、光および/または音を発するためにエミッター(複数可)406を含むことも可能である。今述べた例におけるエミッター(複数可)406は、車両106の乗客と通信する内部のオーディオおよびビジュアルのエミッターを含む。例として限定しないが、内部のエミッターは、スピーカー、ライト、サイン、ディスプレイスクリーン、タッチスクリーン、触覚に関するエミッター(例えば、振動および/またはフォースフィードバック)、メカニカルアクチュエーター(たとえば、シートベルトテンショナー、シートポジショナー、ヘッドレストポジショナーなど)、および同類のものなどを含むことが可能である。さらに、今述べた例におけるエミッター(複数可)406は、外部のエミッターも含む。例および非限定として、今述べた例における外部のエミッターは、進む方向、または車両の作動に関する他のインディケーション(例えば、インジケーターライト、サイン、ライトアレイなど)を合図するライト、および歩行者または他の近くの車と聞こえるほどに通信する1つまたは複数のオーディオエミッター(例えば、スピーカー、スピーカーアレイ、ホーンなど)、アコースティックビームステアリング技術を含む1つまたは複数を含む。
【0071】
さらに、車両106は、車両106と、1つまたは複数の他のローカルまたはリモートのコンピューティングデバイス(複数可)との間の通信を可能にする通信接続(複数可)408を含むことも可能である。たとえば、通信接続(複数可)408は、車両106の他のローカルコンピューティングデバイス(複数可)との、および/またはドライブシステム(複数可)412との通信を容易にすることがある。さらに、通信接続(複数可)408は、車両106に、他の近くのコンピュータデバイス(複数可)(例えば、他の近くの車両、交通信号機等)と通信できるようにすることも可能である。さらに、通信接続(複数可)408は、車両106に、リモート遠隔操作コンピューティングデバイス、または他のリモートサービスと通信するのを可能にする。
【0072】
通信接続(複数可)408は、車両コンピューティングデバイス(複数可)402を、別のコンピューティングデバイスに、または例えば、ネットワーク(複数可)434などのネットワークに接続するための物理および/または論理インターフェースを含むことが可能である。例えば、通信接続(複数可)408は、たとえば、IEEE802.11規格によって定義された周波数、たとえばBluetooth(登録商標)などのショートレンジのワイヤレス周波数、セルラー通信(例えば、2G、2G、4G、4G LTE、4G等)、またはそれぞれのコンピューティングデバイスがその他のコンピューティングデバイス(複数可)とインターフェースをとることを可能にするどんな適切なワイヤードもしくはワイヤレスの通信プロトコルでも介してなど、Wi-Fiベースの通信を可能にすることが可能である。
【0073】
少なくとも1つの例では、車両106は、1つまたは複数のドライブシステム412を含むことが可能である。場合によっては、車両106は、単一のドライブシステム412を有することが可能である。少なくとも1つの例では、車両106が複数のドライブシステム412を有するならば、個々のドライブシステム412は、車両106の向き合う端部(例えば、前方および後方など)に置かれることが可能である。少なくとも1つの例では、ドライブシステム(複数可)412は、ドライブシステム(複数可)412の状態を、および/または車両106の周囲の状態を検出する1つまたは複数のセンサーシステムを含むことが可能である。例および非限定として、センサーシステム(複数可)404は、ドライブシステムの車輪の回転を感知する1つまたは複数のホイールエンコーダー(たとえば、ロータリーエンコーダー)、ドライブシステム(複数可)の向きおよび加速度を測定する慣性センサー(たとえば、慣性測定ユニット、加速度計、ジャイロスコープ、磁力計など)、カメラまたは他の画像センサー、ドライブシステム(複数可)の周囲のエンティティを聴覚的に検出する超音波センサー、ライダーセンサー、レーダーセンサーなどを含むことが可能である。いくつかのセンサー、たとえばホイールエンコーダーなどは、ドライブシステム(複数可)412に一意的であることが可能である。いくつかの場合では、ドライブシステム(複数可)412のセンサーシステム(複数可)404は、車両106の対応するシステム(例えば、センサーシステム(複数可)404)に対して重ねる、または補うことが可能である。
【0074】
ドライブシステム(複数可)412は、高電圧バッテリー、車両106を推進するモーター、他の車両システムによる使用のためにバッテリーからの直流を交流に変換するインバーター、(電気で動くことが可能である)ステアリングモーターおよびステアリングラックを含むステアリングシステム、油圧または電気アクチュエーターを含むブレーキングシステム、油圧および/または空気圧コンポーネントを含むサスペンションシステム、けん引のロスを軽減し制御を維持するブレーキ力を分配するための安定性制御システム、HVACシステム、ライティング(例えば、車両の外部の周囲を照らすヘッド/テールライトなどのライティング)、および1つまたは複数の他のシステム(例えば、冷却システム、安全性システム、オンボード充電システム、たとえば、DC/DCコンバーター、高電圧ジャンクション、高電圧ケーブル、充電システム、充電ポートなどの他の電気コンポーネント)を含む、多くの車両システムを含むことが可能である。加えて、ドライブシステム(複数可)412は、センサーシステム(複数可)404からのセンサーデータ432を受信し前処理することができ、種々の車両システムの動作を制御するためのドライブシステムコントローラーを含むことができる。場合によっては、ドライブシステムコントローラーは、1つまたは複数のプロセッサーと、1つまたは複数のプロセッサーに通信接続されたメモリーとを含むことが可能である。メモリーは、ドライブシステム(複数可)412の種々の機能性を行う命令を格納することが可能である。さらに、ドライブシステム(複数可)412は、それぞれのドライブシステムによって、1つまたは複数の他のローカルまたはリモートのコンピューティングデバイス(複数可)との通信を可能にする1つまたは複数の通信接続(複数可)も含む。
【0075】
少なくとも1つの例では、直接接続410は、1つまたは複数のドライブシステム(複数可)412を車両106の車体と結合させる物理的なインターフェースを提供することが可能である。例えば、直接接続410は、ドライブシステム(複数可)412と車両106との間のエネルギー、流体、空気、データ等の伝達ができるようにすることが可能である。場合によっては、さらに、直接接続410は、車両106の車体にドライブシステム(複数可)412を解放可能にしっかり固定することが可能である。
【0076】
図4にさらに例示されるように、コンピューティングデバイス(複数可)436は、プロセッサー(複数可)438、通信接続(複数可)440、およびメモリー442を含むことが可能である。車両106のプロセッサー(複数可)414、および/またはコンピューティングデバイス(複数可)436のプロセッサー(複数可)438(および/または本明細書に説明される他のプロセッサー(複数可))は、本明細書に説明されるように、データを処理し、動作を行う命令を行う性能があるどんな適切なプロセッサーでもあることが可能である。例としておよび限定ではない、プロセッサー(複数可)414およびプロセッサー(複数可)438は、1つまたは複数のCPU(中央処理装置)、GPU(Graphics Processing Unit)、または電子データを処理して、電子データを、レジスターおよび/もしくはメモリーに格納されることが可能である他の電子データに変換するどんな他のデバイスもしくはデバイスの部分でも含むことが可能である。場合によっては、さらに、集積回路(例えば、ASIC等)、ゲートアレイ(例えば、FPGA等)、および他のハードウェアデバイスは、エンコードされた命令を実装するように構成される限り、考慮されるプロセッサーであることも可能である。
【0077】
メモリー416およびメモリー442(および/または本明細書に説明される他のメモリー)は、非一時的なコンピューター読取り可能媒体の例である。メモリー416およびメモリー442は、本明細書に説明される方法と、種々のシステムに帰する機能とを実装するためのオペレーティングシステムおよび1つまたは複数のソフトウェアアプリケーション、命令、プログラム、および/またはデータを格納することが可能である。種々の実装において、メモリーは、どんな適切なメモリー技術でも、たとえば、SRAM(スタティックRAM)、SDRAM(シンクロナスDRAM)、不揮発性/フラッシュ型メモリー、または情報を格納する性能があるどんな他のタイプのメモリーでも用いて、実装されることが可能である。本明細書に説明されるアーキテクチャ、システム、および個々の要素は、多くの他の論理的な、プログラム的な、および物理的なコンポーネントを含むことが可能であり、添付の図面に示されるそれらは、本明細書の説明に関係する単なる例である。
【0078】
図4が分散システムとして例示される一方、代替の例において、コンピューティングデバイス(複数可)436のコンポーネントは、車両106と関連付けられることが可能であことは、特筆されるべきである。すなわち、車両106は、コンピューティングデバイス(複数可)436に関連付けられた機能のうちの1つまたは複数を行うことが可能である、および/またはコンピューティングデバイス(複数可)436は、車両106に関連付けられた機能のうちの1つまたは複数を行うことが可能である。例えば、コンピューティングデバイス(複数可)436は、アンオブストラクテッドエリアコンポーネント424および/または特性コンポーネント(複数可)426を含むことがある。次に、コンピューティングデバイス(複数可)436は、本明細書に説明される処理のうちの1つまたは複数を行うために、アンオブストラクテッドエリアコンポーネント424および/または特性コンポーネント(複数可)426を用いることがある。
【0079】
図5および図6は、本開示にしたがう例示的な処理を示す図である。今述べた処理は、各動作が、ハードウェア、ソフトウェア、またはそれらの組合せにおいて実装されることがある動作のシーケンスを表す、ロジカルフローグラフとして例示される。ソフトウェアの状況において、動作は、1つまたは複数のコンピューター読取り可能な記録媒体に格納されたコンピューター実行可能な命令を表し、1つまたは複数のプロセッサーによって実行されると、引用される動作を行う。一般に、コンピューター実行可能命令は、特定の機能を行うまたは特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造、および同類のものを含む。動作が説明される順序は、限定として解釈されることを意図せず、説明される動作をいくらでも、処理を実装するのに省略されるまたはどんな順序でもおよび/または並列に組み合わせることがある。
【0080】
図5は、遮られていないセンサーデータを用いて占有を決定するための例示的な処理のフロー図を例示する。動作502にて、処理500は、潜在的物体が位置すると仮定される環境内の領域を決定することを含み、領域が第1の間隔と関連付けられることがある。例えば、車両106は、潜在的物体が環境内の領域に位置することがあると仮定することがある。いくつかの例では、さらに車両106は、たとえば潜在的物体の向きなど、潜在的物体に関連付けられた1つまたは複数の追加の特性を仮定することもある。さらに加えて、いくつかの例では、車両106は、追加の潜在的物体(複数可)が、環境内の追加の領域(複数可)に位置することがある、および/または、領域における追加の位置(例えば、向き)を含むことがあると仮定することがある。
【0081】
動作504にて、処理500は、1つまたは複数のセンサーからセンサーデータを受信することを含むことがある。例えば、車両106は、車両106の1つまたは複数のセンサー(複数可)からセンサーデータを受信することがある。いくつかの例では、センサーデータは、車両106のライダーセンサー(複数可)から取得されたライダーデータを含むことがある。上記の例では、センサーデータは、少なくとも環境内の点のロケーションを表すことがあり、ライダーセンサー(複数可)が、センサー放射(例えば、光パルス)を用いて点のロケーション(複数可)を決定する。さらに加えて、または代わりに、いくつかの例では、センサーデータは、たとえば車両106のカメラ(複数可)から取得された画像データなど、異なるタイプのデータを含むことがある。さらに加えてまたは代わりに、センサーデータは、車両106の1つまたは複数の他のセンサーから、および/または車両から遠く離れて位置する1つまたは複数のセンサーから受信されることがある。
【0082】
動作506にて、処理500は、センサーデータに少なくとも部分的に基づいて、環境内の点までの第2の間隔を決定することを含むことがある。例えば、車両106は、環境内の点までの第2の間隔を決定するために、センサーデータを分析することがある。いくつかの例では、車両106は、さらにセンサーデータを分析して、点に関連付けられた物体(例えば、点に関連付けられたセンサー放射が反射した物体)の分類を決定することがある。さらに加えて、いくつかの例では、車両106は、センサーデータを分析して、点に関連付けられたセンサー放射の方向が環境内の領域に向かって実質的に向けられていることを決定することがある。言い換えると、車両106は、潜在的物体が環境の領域内に位置したならば、センサー放射が潜在的物体に接触したかどうかを、方向に基づいて決定することがある。
【0083】
動作508にて、処理500は、第2の間隔が第1の間隔よりも大きいかどうかを決定することを含むことがある。例えば、車両106は、第2の間隔を第1の間隔と比較して、第2の間隔が第1の間隔より大きいかどうかを決定することがある。動作508にて、第2の間隔が第1の間隔より大きくないと決定されるならば、動作510にて、処理500は、領域が遮られていると決定することを含むことがある。例えば、車両106が、第2の間隔が第1の間隔より大きくないと決定するならば、車両106は、領域が物体によって遮られていると決定することがある。今述べたことは、センサー放射が、領域内に位置する物体に反射しセンサーに向かって戻る点と関連付けられたからであり得る。
【0084】
しかしながら、動作508にて、第2の間隔が第1の間隔よりも大きいと決定されるならば、動作512にて、処理500は、領域が遮られていないと決定することを含むことがある。例えば、車両106が、第2の間隔が第1の間隔より大きいと決定するならば、車両106は、領域が物体によって遮られていないと決定することがある。今述べたことは、センサー放射が、物体に関して反射せずに領域を通過した点と関連付けられたからであり得る。上記のように、車両106は、物体が領域内にないと決定することがある。
【0085】
図6は、遮られていないセンサーデータを用いて物体の特性を決定するための第1の例示的な処理600のフロー図を例示する。動作602にて、処理600は、1つまたは複数のセンサーからセンサーデータを受信することを含むことがある。例えば、車両106は、車両106のセンサー(複数可)からセンサーデータを受信することがある。いくつかの例では、センサーデータは、車両106のライダーセンサー(複数可)からのライダーデータを含むことがある。上記の例では、車両のセンサー(複数可)は、環境内の物体に関して反射しセンサー(複数可)に戻るセンサー放射(例えば、光パルス)を発することによってセンサーデータを取得することがある。さらに加えて、または代わりに、いくつかの例では、センサーデータは、たとえば車両106のカメラ(複数可)により取得される画像データなど、異なるタイプのデータを含むことがある。さらに加えてまたは代わりに、センサーデータは、車両106の1つまたは複数の他のセンサーから、および/または車両から遠く離れて位置する1つまたは複数のセンサーから受信されることがある。
【0086】
動作604にて、処理600は、センサーデータに少なくとも部分的に基づいて、第1の物体に関連付けられた第1の点までの第1の間隔を決定することを含むことがある。例えば、車両106は、第1の点までの第1の間隔を決定するために、センサーデータを分析することがある。たとえばセンサーデータがライダーデータを含むときなど、いくつかの例では、センサーデータは、第1の点までの第1の間隔を表すことがある。さらに加えて、または代わりに、たとえばセンサーデータが画像データを含むときなど、いくつかの例では、車両106は、第1の点までの第1の間隔を決定する(例えば、第1の物体までの第1の間隔を決定する)ために、センサーデータを分析することがある。
【0087】
動作606にて、処理600は、センサーデータに少なくとも部分的に基づいて、第2の物体に関連付けられた第2の点までの第2の間隔を決定することを含むことがある。例えば、車両106は、第2の点までの第2の間隔を決定するために、センサーデータを分析することがある。たとえばセンサーデータがライダーデータを含むときなど、いくつかの例では、センサーデータは、第2の点までの第2の間隔を表すことがある。さらに加えて、または代わりに、たとえばセンサーデータが画像データを含むときなど、いくつかの例では、車両106は、第2の点までの第2の間隔を決定する(例えば、第2の物体までの第2の間隔を決定する)ために、センサーデータを分析することがある。
【0088】
動作608にて、処理600は、第2の点が、第1の物体を通過したセンサー放射と関連付けられるかどうかを決定することを含むことがある。例えば、車両106は、第2の点に関連付けられたセンサー放射が第1の物体を通過したかどうかを決定することがある。いくつかの例では、車両106は、第2の点に関連付けられた方向に基づく決定をする。例えば、環境内の第2の点のロケーションに基づいて、車両106は、センサー放射の方向が、センサー放射が第1の物体を通過したようなものであったかどうか(例えば、センサー放射が実質的に第1の物体に向かって向けられていたかどうか)を決定することがある。
【0089】
動作608にて、第2の点が、第1の物体を通過しなかったセンサー放射と関連付けられると決定されるならば、動作610にて、処理600は、第1の点を用いて第1の物体の特性を決定することを含むことがある。例えば、車両106が、センサー放射が第1の物体を通過しなかったと決定するならば、車両106は、第2の点に関連付けられたセンサーデータではなく、第1の点に関連付けられたセンサーデータを用いて第1の物体の特性を決定することがある。限定されないが、特性は、物体の分類(例えば、物体のタイプ)、物体の向き、物体のロケーション、および/または同類を含むことがある。
【0090】
しかしながら、動作608にて、第2の点が、第1の物体を通過したセンサー放射と関連付けられると決定されるならば、動作612にて、処理600は、第1の点と第2の点とを用いて第1の物体の特性を決定することを含むことがある。例えば、車両106が、センサー放射が第1の物体を通過したと決定するならば、車両106は、第1の点に関連付けられたセンサーデータと第2の点に関連付けられたセンサーデータとを用いて、第1の物体の特性を決定することがある。例えば、車両106は、物体が、他のセンサー放射を反射しながら、いくつかのセンサー放射に通過させることを可能にする、たとえば霧、排気、および/または同類のものなど、特定の分類を含むと決定することがある。
【0091】
図7は、遮られていないセンサーデータを用いて物体の特性を決定するための第2の例示的な処理700のフロー図を例示する。動作702にて、処理700は、1つまたは複数のセンサーからセンサーデータを受信することを含むことがある。例えば、車両106は、車両106のセンサー(複数可)からセンサーデータを受信することがある。いくつかの例では、センサーデータは、車両106のライダーセンサー(複数可)からのライダーデータを含むことがある。上記の例では、車両のセンサー(複数可)は、環境内の物体に関して反射しセンサー(複数可)に戻るセンサー放射(例えば、光パルス)を発することによってセンサーデータを取得することがある。さらに加えて、または代わりに、いくつかの例では、センサーデータは、たとえば車両106のカメラ(複数可)により取得される画像データなど、異なるタイプのデータを含むことがある。さらに加えてまたは代わりに、センサーデータは、車両106の1つまたは複数の他のセンサーから、および/または車両から遠く離れて位置する1つまたは複数のセンサーから受信されることがある。
【0092】
動作704にて、処理700は、センサーデータに少なくとも部分的に基づいて、第1の物体に関連付けられた第1の点までの第1の間隔を決定することを含むことがある。例えば、車両106は、第1の点までの第1の間隔を決定するために、センサーデータを分析することがある。たとえばセンサーデータがライダーデータを含むときなど、いくつかの例では、センサーデータは、第1の点までの第1の間隔を表すことがある。さらに加えて、または代わりに、たとえばセンサーデータが画像データを含むときなど、いくつかの例では、車両106は、第1の点までの第1の間隔を決定する(例えば、第1の物体までの第1の間隔を決定する)ために、センサーデータを分析することがある。
【0093】
動作706にて、処理700は、センサーデータに少なくとも部分的に基づいて、第2の物体に関連付けられた第2の点までの第2の間隔を決定することを含むことがある。例えば、車両106は、第2の点までの第2の間隔を決定するために、センサーデータを分析することがある。たとえばセンサーデータがライダーデータを含むときなど、いくつかの例では、センサーデータは、第2の点までの第2の間隔を表すことがある。さらに加えて、または代わりに、たとえばセンサーデータが画像データを含むときなど、いくつかの例では、車両106は、第2の点までの第2の間隔を決定する(例えば、第2の物体までの第2の間隔を決定する)ために、センサーデータを分析することがある。
【0094】
動作708にて、処理600は、第2の点が、第1の物体に接近して通ったセンサー放射と関連付けられるかどうかを決定することを含むことがある。例えば、車両106は、第2の点に関連付けられたセンサー放射が第1の物体に接近して通ったかどうかを決定することがある。いくつかの例では、車両106は、第2の点に関連付けられた方向に基づく決定をする。例えば、いくつかの例では、車両106は、センサー放射に関連付けられた方向が、第1の物体に関連付けられた方向(および/または第1の点に対する追加のセンサー放射に関連付けられた方向)に対してしきい値角度内であると、センサー放射が第1の物体に接近して通ったと決定することがある。
【0095】
動作708にて、第2の点が、第1の物体に接近して通らなかったセンサー放射と関連付けられると決定されるならば、動作710にて、処理700は、第1の点を用いて第1の物体の特性を決定することを含むことがある。例えば、車両106が、センサー放射が第1の物体に接近しなかったと決定するならば、車両106は、第2の点に関連付けられたセンサーデータではなく、第1の点に関連付けられたセンサーデータを用いて第1の物体の特性を決定することがある。限定されないが、特性は、物体の分類(例えば、物体のタイプ)、物体の向き、物体のロケーション、および/または同類を含むことがある。
【0096】
しかしながら、動作708にて、第2の点が、第1の物体に接近して通ったセンサー放射と関連付けられると決定されるならば、動作712にて、処理700は、センサー放射を用いて、遮られていない領域を決定することを含むことがある。例えば、車両106は、遮られていない領域を決定するために、本明細書に説明される処理のうちの1つまたは複数を用いることがある。センサー放射が第1の物体に接近して通ったので、遮られていない領域は、第1の物体に接近して位置することもある。
【0097】
動作714にて、処理700は、第1の点と遮られていない領域とを用いて第1の物体の特性を決定することを含むことがある。例えば、車両106は、第1の点と遮られていない領域とに関連付けられたセンサーデータを用いて、第1の物体の特性を決定することがある。例えば、車両106は、遮られていない領域を含む第1の物体に接近した領域に基づいて、物体が特定の向きを含むと決定することがある。
【0098】
主題が構造的な特徴および/または方法論的な作動に特有の言葉において説明されたが、添付の特許請求の範囲において定義される主題が、必ずしも説明される特定の特徴または作動に限定されないということは、理解されることである。むしろ、特定の特徴および作動は、特許請求の範囲を実装する例示的なかたちとして開示される。
【0099】
本明細書において説明されるコンポーネントは、どんなタイプのコンピューター読取り可能媒体にでも格納されることがあり、ソフトウェアおよび/またはハードウェアに実装されることがある命令を表す。上に説明される方法および処理のすべては、1つまたは複数のコンピューターもしくはプロセッサーか、ハードウェアか、組み合わせかにより実行されるソフトウェアコードコンポーネントおよび/またはコンピューター実行可能な命令に具現化され完全に自動化されることがある。代わりに、いくつかまたはすべての方法は、特殊化されたコンピューターハードウェアに具現化されることがある。
【0100】
特に他に述べられていない限り、条件付きの語、例えば、とりわけ、「ことがある」、「可能であろう」、または「あり得るだろう」などは、ある例が、他の例は含まないが、ある特徴、エレメントおよび/またはステップを含むことがある文脈内において理解される。したがって、一般に、上記の条件付きの語は、ある特徴、エレメントおよび/もしくはステップが、1つもしくは複数の例に何らかの点において必要とされることを、または必然的に1つまたは複数の例が、ユーザーの入力もしくはプロンプティングの有無に関わらず、ある特徴、エレメントおよび/またはステップを含むかどうか、もしくはあらゆる特定の例において行われるべきであるかどうかを決めるためのロジックを含むことを、暗示することが意図されない。
【0101】
特に他に述べられていない限り、結合的な語、例えば、語句「X、Y、またはZのうちの少なくとも1つ」などは、項目、用語等が、各要素の複数の含む、X、Y、もしくはZか、またはあらゆる組み合わせかのいずれかであり得ることを示すことが理解されるべきである。単数として明示的に説明されない限り、「a」は、単数および複数を意味する。
【0102】
本明細書において説明されるフロー図における、および/または添付の図面に描かれるあらゆるルーチンの記述、エレメント、またはブロックは、ルーチン中の特定の論理関数またはエレメントを実装するために、1つまたは複数のコンピューター実行可能な命令を含むモジュール、セグメント、またはコードの部分を潜在的に表すとして理解されるべきである。代替の実装は、エレメントまたはファンクションが、当業者に理解されるように含まれる機能に応じて、実質的に同時に、逆の順に、追加の動作とともに、または動作を省略することを含む、示されたまたは述べられたことから削除される、または順不同で実行されることがある、本明細書において説明される例の範囲内に含まれる。
【0103】
多くの変形および変更が、上述した例に対してなされることがあり、要素が、他の許容可能な例の中にあるとして理解されるべきである。すべての上記の変更および変形は、本明細書において本開示の範囲内に含まれることが意図され、以下の特許請求の範囲によって保護される。
【0104】
例示的な箇条
A:1つまたは複数のプロセッサーと、1つまたは複数のプロセッサーによって実行されると、第1の複数の仮定的物体が位置することがある環境内の第1の領域を決定することと、第2の複数の仮定的物体が位置することがある環境内の第2の領域を決定することと、車両の1つまたは複数のセンサーからセンサーデータを受信し、ただし、センサーデータは、第1の領域を通過し、第2の領域の実物体から反射する少なくとも1つのセンサー放射に基づいて決定されることと、センサーデータに少なくとも部分的に基づいて、第1の領域が第1の複数の仮定的物体のうちの少なくとも1つを含まない、遮られていない領域であると決定することと、センサーデータに少なくとも部分的に基づいて、第2の領域に位置する実物体の向きおよびロケーションを決定することと、実物体を含む第2の領域に少なくとも部分的に基づいて車両を制御することと、を含む動作をシステムに行わせる命令を格納する1つまたは複数のコンピューター読取り可能媒体と、を含むシステム。
【0105】
B:実物体に関連付けられた向きを決定することは、センサーデータに少なくとも部分的に基づいて、点に関連付けられた放射パス(emission path)が、実物体に反射せずに実物体に近接して通ると決定することと、実物体に反射せずに実物体に近接して通る放射パスに少なくとも部分的に基づいて、実物体に関連付けられた向きを決定することとを少なくとも含む、段落Aに記載のシステム。
【0106】
C:動作は、第3の複数の仮定的物体が位置することがある環境内の第3の領域を決定し、第3の領域が第2の領域よりも車両から遠くに位置することと、センサーデータに少なくとも部分的に基づいて、少なくとも1つのセンサー放射が第3の領域を通過しないと決定することと、少なくとも1つのセンサー放射が領域を通過しないことに少なくとも部分的に基づいて、第3の複数の仮定的物体のうちの1つまたは複数が依然として第3の領域に位置することがあると決定し、車両を制御することは、第3の複数の仮定的物体のうちの1つまたは複数が依然として第3の領域に位置することがあると決定することに少なくとも部分的にさらに基づくことと、をさらに含む、段落Aまたは段落Bのいずれかに記載のシステム。
【0107】
D:動作は、第1の領域に関連付けられた環境のタイプを決定することと、環境のタイプに少なくとも部分的に基づいて、第1の領域に位置することがある仮定的物体のタイプを決定することと、第1の領域に位置することがある仮定的物体のタイプに少なくとも部分的に基づいて、第1の複数の仮定的物体を決定することと、をさらに含む、段落A~Cのいずれか1つに記載のシステム。
【0108】
E:環境内のロケーションに存在することがある複数の仮定的物体を決定することと、車両の1つまたは複数のセンサーからセンサーデータを受信することと、センサーデータに少なくとも部分的に基づいて、複数の仮定的物体のうちの少なくともいくつかがロケーションに位置しないと決定することと、複数の仮定的物体のうちの少なくともいくつかがロケーションに位置しないと決定することに少なくとも部分的に基づいて車両を制御することと、を含む方法。
【0109】
F:複数の仮定的物体から仮定的物体の仮定的向き(hypothetical orientation)を決定することと、センサーデータに少なくとも部分的に基づいて、実物体の実際の向きを決定することと、実際の向きに少なくとも部分的に基づいて、ロケーションを更新して、環境に関して追加ロケーション(additional location)を含めることと、をさらに含み、車両を制御することは、追加ロケーションに少なくとも部分的に基づく、段落Eに記載の方法。
【0110】
G:複数の仮定的物体のうちの少なくともいくつかがロケーションに位置しないと決定することは、センサーデータに少なくとも部分的に基づいて、実物体がロケーションに位置すると決定することを少なくとも含み、方法は、センサーデータに少なくとも部分的に基づいて、点に関連付けられた放射パスが、実物体に反射せずに実物体に近接して通ると決定することと、実物体に反射せずに実物体に近接して通る放射パスに少なくとも部分的に基づいて、実物体の向きを決定することと、さらにを含む、段落Eまたは段落Fのいずれかに記載の方法。
【0111】
H:ロケーションに関連付けられた環境のタイプを決定することと、環境のタイプに少なくとも部分的に基づいて、ロケーションに位置することがある仮定的物体のタイプを決定することと、をさらに含み、環境内のロケーションに存在することがある複数の仮定的物体を決定することは、仮定的物体のタイプに少なくとも部分的に基づく、段落E~Gのいずれか1つに記載の方法。
【0112】
I:ロケーションに関連付けられた環境のタイプを決定することと、環境のタイプに少なくとも部分的に基づいて、ロケーションに位置することがある仮定的物体のタイプを決定することと、仮定的物体のタイプに少なくとも部分的に基づいて、複数の仮定的物体から第1の仮定的物体に関連付けられた第1の位置を決定することと、仮定的物体のタイプに少なくとも部分的に基づいて、複数の仮定的物体から第2の仮定的物体に関連付けられた第2の位置を決定することと、をさらに含む、段落E~Hのいずれか1つに記載の方法。
【0113】
J:複数の仮定的物体のうちの少なくともいくつかがロケーションに位置しないと決定することは、センサーデータに少なくとも部分的に基づいて、少なくとも1つのセンサー放射が、実物体に反射せずにロケーションを通過すると決定することと、実物体に反射せずにロケーションを通過するセンサー放射に少なくとも部分的に基づいて、複数の仮定的物体のうちの少なくともいくつかがロケーションに位置しないと決定することと、を少なくとも含む、段落E~Iのいずれか1つに記載の方法。
【0114】
K:センサーデータに少なくとも部分的に基づいて、環境内の実物体の追加ロケーションを決定することと、追加ロケーションが車両のパスに沿っていると決定することと、ロケーションも車両のパスに沿っており、ロケーションが実物体によって遮られていると決定することと、をさらに含み、環境内のロケーションに存在することがある複数の仮定的物体を決定することは、ロケーションも車両のパスに沿っており、ロケーションが実物体によって遮られていることに少なくとも部分的に基づく、段落E~Jのいずれか1つに記載の方法。
【0115】
L:環境内の追加ロケーションに存在することがある追加の複数の仮定的物体を決定することと、センサーデータに少なくとも部分的に基づいて、少なくとも1つのセンサー放射が、追加ロケーションを通過し、ロケーションの実物体から反射すると決定することと、追加ロケーションが追加の複数の仮定的物体によって遮られていないと決定することと、をさらに含む、段落E~Lのいずれか1つに記載の方法。
【0116】
M:環境内のロケーションが実物体によって遮られており、環境内の追加ロケーションが遮られていないことを少なくとも示すマップを生成することをさらに含む、段落L項に記載の方法。
【0117】
N:環境内の追加ロケーションに存在することがある追加の複数の仮定的物体を決定し、追加ロケーションがロケーションよりも車両から遠いことと、センサーデータに少なくとも部分的に基づいて、少なくとも1つのセンサー放射が、ロケーションを通過せず、追加ロケーションへ通らないと決定することと、少なくとも1つのセンサー放射がロケーションを通過せず、追加ロケーションへ通らないことに少なくとも部分的に基づいて、追加の複数の仮定的物体のうちの1つまたは複数が、追加ロケーションに依然として位置することがあると決定することと、を含み、車両を制御することは、追加の複数の仮定的物体のうちの1つまたは複数が、追加ロケーションに依然として位置することがあると決定することに少なくとも部分的にさらに基づく、段落E~Mのいずれか1つに記載の方法。
【0118】
O:車両の1つまたは複数のセンサーからセンサーデータを受信することは、車両の1つまたは複数のライダーセンサーからライダーデータを受信することを含む、段落E~Nのいずれか1つに記載の方法。
【0119】
P:1つまたは複数のプロセッサーによって実行されると、環境内のロケーションに存在することがある複数の仮定的物体を決定することと、車両の1つまたは複数のセンサーからセンサーデータを受信することと、センサーデータに少なくとも部分的に基づいて、複数の仮定的物体のうちの少なくともいくつかがロケーションに位置しないと決定することと、複数の仮定的物体のうちの少なくともいくつかがロケーションに位置しないと決定することに少なくとも部分的に基づいて車両を制御することと、を含む動作を1つまたは複数のプロセッサーに行わせる命令を格納する、1つまたは複数の非一時的なコンピューター読取り可能媒体。
【0120】
Q:動作は、複数の仮定的物体から仮定的物体の仮定的向き(hypothetical orientation)を決定することと、センサーデータに少なくとも部分的に基づいて、実物体の実際の向きを決定することと、実際の向きに少なくとも部分的に基づいて、ロケーションを更新して、環境に関して追加ロケーションを含めることと、をさらに含み、車両を制御することは、追加ロケーションに少なくとも部分的に基づく、段落Pに記載の1つまたは複数の非一時的なコンピューター読取り可能媒体。
【0121】
R:動作は、ロケーションに関連付けられた環境のタイプを決定することと、環境のタイプに少なくとも部分的に基づいて、ロケーションに位置することがある仮定的物体のタイプを決定することと、をさらに含み、環境内のロケーションに存在することがある複数の仮定的物体を決定することは、仮定的物体のタイプに少なくとも部分的に基づく、段落Pまたは段落Qのいずれかに記載の1つまたは複数の非一時的なコンピューター読取り可能媒体。
【0122】
S:動作は、ロケーションに関連付けられた環境のタイプを決定することと、環境のタイプに少なくとも部分的に基づいて、ロケーションに位置することがある仮定的物体のタイプを決定することと、仮定的物体のタイプに少なくとも部分的に基づいて、複数の仮定的物体から第1の仮定的物体に関連付けられた第1の位置を決定することと、仮定的物体のタイプに少なくとも部分的に基づいて、複数の仮定的物体から第2の仮定的物体に関連付けられた第2の位置を決定することと、をさらに含む、段落P~Rのいずれか1つに記載の1つまたは複数の非一時的なコンピューター読取り可能媒体。
【0123】
T:複数の仮定的物体のうちの少なくともいくつかがロケーションに位置しないと決定することは、センサーデータに少なくとも部分的に基づいて、少なくとも1つのセンサー放射が、実物体に反射せずにロケーションを通過すると決定することと、実物体に反射せずにロケーションを通過するセンサー放射に少なくとも部分的に基づいて、複数の仮定的物体のうちの少なくともいくつかがロケーションに位置しないと決定することと、を少なくとも含む、段落P~Sのいずれか1つに記載の非一時的なコンピューター読取り可能媒体。
【0124】
U:1つまたは複数のプロセッサーと、1つまたは複数のプロセッサーによって実行されると、環境のセンサーデータを受信し、センサーデータは、センサーにて、環境における放射の反射を受信することに関連付けられ、間隔は、放射の反射に基づいて間隔が決定されることと、センサーデータに少なくとも部分的に基づいて、第1の点が環境における物体に対応し、第2の点が第1の点に近接して通る対応する放射パスを有すると決定し、第2の点は、第1の点よりもセンサーから離れたより大きな間隔であることと、第1の点と、第1の点に近接して通る第2の点の対応する放射パスと、に基づいて、物体に関連付けられた特性を決定することと、物体に関連付けられた特性に少なくとも部分的に基づいて車両を制御することと、を含む動作をシステムに行わせる命令を格納する1つまたは複数のコンピューター読取り可能媒体と、を含む、システム。
【0125】
V:物体に関連付けられた特性を決定することは、第1のデータをモデルに入力し、第1のデータは、第1の点が、物体に対応すること、および、第2の点が、物体に反射せずに第1の点に近接して通る対応する放射パスを有すること、を少なくとも表すことと、モデルから、特性を表す第2のデータを受信することと、を少なくとも含む、段落Uに記載のシステム。
【0126】
W:動作は、第2の点が、第1の点に近接して通る対応する放射パスを有することに少なくとも部分的に基づいて、物体に接近して位置する領域が遮られていないと決定することをさらに含み、物体に関連付けられた特性を決定することは、第1の点と、領域が遮られていないこととに少なくとも部分的に基づいて、物体に関連付けられた向きを決定する、段落Uまたは段落Vのいずれかに記載のシステム。
【0127】
X:動作は、第1の点に少なくとも部分的に基づいて、物体が位置する環境内の領域を決定することと、第2の点が、第1の点に近接して通る対応する放射パスを有することに少なくとも部分的に基づいて、対応する放射パスが物体に反射せずに領域を通過すると決定することと、物体に反射せずに領域を通過する対応する放射パスに少なくとも部分的に基づいて、物体に関連付けられた物体タイプまたは向きを決定することと、をさらに含む、段落U~Wのいずれか1つに記載のシステム。
【0128】
Y:車両の1つまたは複数のセンサーからセンサーデータを受信することと、センサーデータに少なくとも部分的に基づいて、第1の点が物体と関連付けられると決定することと、センサーデータに少なくとも部分的に基づいて、第2の点が、物体に反射せずに物体に近接して通る放射パスを有すると決定することと、物体に反射せずに物体に近接して通る第2の点の放射パスに少なくとも部分的に基づいて、物体に関連付けられた特性を決定することと、特性に少なくとも部分的に基づいて車両をナビゲートさせることと、を含む方法。
【0129】
Z:第2の点が追加の物体と関連付けられると決定することと、放射パスが、第2の点が追加の物体と関連付けられることに少なくとも部分的に基づいて、物体に反射しなかったと決定することと、をさらに含む、段落Yに記載の方法。
【0130】
AA:第1の点に関連付けられた第1の間隔を決定することと、第2の点に関連付けられた第2の間隔を決定することとをさらに含み、物体に関連付けられた特性を決定することは、第1の間隔および第2の間隔に少なくとも部分的にさらに基づく、段落Yまたは段落Zのいずれかに記載の方法。
【0131】
AB:第1の点に少なくとも部分的に基づいて、物体が位置する環境内の領域を決定することと、第2の点の放射パスが、物体に反射せずに領域を通過すると決定することと、第2の点に関連付けられた第1の間隔が、第1の点に関連付けられた第2の間隔よりも大きいと決定することと、をさらに含み、物体に関連付けられた特性を決定することは、放射パスが領域を通過すること、および、第1の間隔が第2の間隔よりも大きいこと、に少なくとも部分的に基づいて、物体に関連付けられたタイプを決定することを含む、段落Y~AAのいずれか1つに記載の方法。
【0132】
AC:センサーデータに少なくとも部分的に基づいて、遮られていない物体を通過するセンサー放射の割合を決定し、第2の点の放射パスがセンサー放射の割合に関連付けられることをさらに含み、物体に関連付けられた特性を決定することは、センサー放射の割合に少なくとも部分的に基づいて、物体に関連付けられたタイプを決定することを含む、段落Y~ABのいずれか1つに記載の方法。
【0133】
AD:物体に関連付けられた特性を決定することは、第1の点と、物体に反射せずに物体に近接して通る第2の点の放射パスとに少なくとも部分的に基づいて、物体に関連付けられた向きを決定することを含む、段落Y~ACのいずれか1つに記載の方法。
【0134】
AE:物体に関連付けられた特性を決定することは、第1のデータをモデルに入力し、第1のデータが、物体に関連付けられた第1の点と、第2の点の放射パスが物体に反射せずに物体に近接して通ることと、を少なくとも表すことと、モデルから、物体に関連付けられた特性を表す第2のデータを受信することと、を少なくとも含む、段落Y~ADのいずれか1つに記載の方法。
【0135】
AF:センサーデータに少なくとも部分的に基づいて、遮られていない物体を通過するセンサー放射の割合を決定し、第2の点の放射パスがセンサー放射の割合に関連付けられることをさらに含み、物体に関連付けられた特性を決定することは、第1のデータをモデルに入力し、第1のデータが遮られていない物体を通過したセンサー放射の割合を表すことと、モデルから、物体に関連付けられた特性を表す第2のデータを受信することと、を少なくとも含む、段落Y~AEのいずれか1つに記載の方法。
【0136】
AG:第2の点が物体に近接して通る放射パスを有すると決定することは、第1のデータをモデルに入力し、第1のデータが、第2の点を表すセンサーデータを生成したセンサーに関連付けられたロケーションと、環境内の物体のロケーションと、を少なくとも表すことと、モデルから、第2の点の放射パスが物体に反射せずに物体に近接して通ったことを示す第2のデータを受信することと、を少なくとも含む、段落Y~AFのいずれか1つに記載の方法。
【0137】
AH:第2の点が、物体に反射せずに物体に近接して通る放射パスを有すると決定することは、センサーデータに少なくとも部分的に基づいて、第1の点の追加のセンサー放射に関連付けられた第1の角度を決定することと、センサーデータに少なくとも部分的に基づいて、第2の点のセンサー放射に関連付けられた第2の角度を決定することと、第1の角度が第2の角度に対するしきい値内であると決定することと、第2の点が追加の物体に反射したと決定することと、を少なくとも含む、段落Y~AGのいずれか1つに記載の方法。
【0138】
AI:1つまたは複数のプロセッサーによって実行されると、車両の1つまたは複数のセンサーからセンサーデータを受信することと、センサーデータに少なくとも部分的に基づいて、第1の点が物体と関連付けられると決定することと、センサーデータに少なくとも部分的に基づいて、第2の点が、物体に反射せずに物体に近接して通る放射パスを有すると決定することと、物体に反射せずに物体に近接して通る第2の点の放射パスに少なくとも部分的に基づいて、物体に関連付けられた特性を決定することと、特性に少なくとも部分的に基づいて車両をナビゲートさせることと、を含む動作を1つまたは複数のプロセッサーに行わせる命令を格納する、1つまたは複数の非一時的なコンピューター読取り可能媒体。
【0139】
AJ:動作は、第2の点が追加の物体と関連されると決定することと、放射パスが、第2の点が追加の物体と関連付けられることに基づいて、物体に反射しなかったと決定することと、をさらに含む、段落AIに記載の1つまたは複数の非一時的なコンピューター読取り可能媒体。
【0140】
AK:動作は、第1の点に少なくとも部分的に基づいて、物体が位置する環境内の領域を決定することと、第2の点の放射パスが、物体に反射せずに領域を通過すると決定することと、をさらに含み、物体に関連付けられた特性を決定することは、物体に反射せずに領域を通過する放射パスに少なくとも部分的に基づいて、物体に関連付けられたタイプを決定することを含む、段落AIまたは段落AJのいずれかに記載の1つまたは複数の非一時的なコンピューター読取り可能媒体。
【0141】
AL:センサーデータに少なくとも部分的に基づいて、遮られていない物体を通過するセンサー放射の割合を決定し、第2の点の放射パスがセンサー放射の割合に関連付けられることをさらに含み、物体に関連付けられた特性を決定することは、センサー放射の割合に少なくとも部分的に基づいて、物体に関連付けられたタイプを決定することを含む、段落AI~AKのいずれか1つに記載の1つまたは複数の非一時的なコンピューター読取り可能媒体。
【0142】
AM:物体に関連付けられた特性を決定することは、第1の点と、物体に反射せずに物体に近接して通る第2の点の放射パスとに少なくとも部分的に基づいて、物体に関連付けられた向きを決定することを含む、段落AI~ALのいずれか1つに記載の1つまたは複数の非一時的なコンピューター読取り可能媒体。
【0143】
AN:物体に関連付けられた特性を決定することは、第1のデータをモデルに入力し、第1のデータが、物体に関連付けられた第1の点と、第2の点の放射パスが物体に反射せずに物体に近接して通ることと、を少なくとも表すことと、モデルから、物体に関連付けられた特性を表す第2のデータを受信することと、を少なくとも含む、段落AI~AMのいずれか1つに記載の1つまたは複数の非一時的なコンピューター読取り可能媒体。
図1A
図1B
図2A
図2B
図3
図4
図5
図6
図7
【国際調査報告】