特許第6671554号(P6671554)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ウェイモ エルエルシーの特許一覧

特許6671554車輪姿勢を使用した将来の進行方向の決定
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】6671554
(24)【登録日】2020年3月5日
(45)【発行日】2020年3月25日
(54)【発明の名称】車輪姿勢を使用した将来の進行方向の決定
(51)【国際特許分類】
   G01S 17/89 20200101AFI20200316BHJP
   G01S 17/93 20200101ALI20200316BHJP
【FI】
   G01S17/89
   G01S17/93
【請求項の数】20
【全頁数】19
(21)【出願番号】特願2019-539766(P2019-539766)
(86)(22)【出願日】2018年1月31日
(86)【国際出願番号】US2018016133
(87)【国際公開番号】WO2018148075
(87)【国際公開日】20180816
【審査請求日】2019年9月4日
(31)【優先権主張番号】15/429,275
(32)【優先日】2017年2月10日
(33)【優先権主張国】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】317015065
【氏名又は名称】ウェイモ エルエルシー
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100126480
【弁理士】
【氏名又は名称】佐藤 睦
(72)【発明者】
【氏名】ガットマン,ジェンス−ステッフェン
【審査官】 藤田 都志行
(56)【参考文献】
【文献】 特開2013−166398(JP,A)
【文献】 特開2004−227293(JP,A)
【文献】 特開2000−99686(JP,A)
【文献】 特開2007−140938(JP,A)
【文献】 特開2016−180654(JP,A)
【文献】 特開2015−82326(JP,A)
【文献】 国際公開第2015/197237(WO,A1)
【文献】 米国特許出願公開第2016/0291145(US,A1)
【文献】 米国特許出願公開第2015/0210216(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01S 7/00− 7/64
G01S 13/00−17/95
G08G 1/16
G06T 1/00
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
物体の将来の進行方向を決定する方法であって、
1つまたは複数のプロセッサによって、車両の環境内の物体および前記物体に対応するセンサデータ点を識別する情報を含むセンサデータを受信するステップと、
前記1つまたは複数のプロセッサによって、前記センサデータおよび車輪位置のモデルに基づいて前記物体の車輪の予想位置に対応するエリアを識別するステップと、
前記1つまたは複数のプロセッサによって、前記エリア内の位置を有する前記センサデータ点に基づいて前記車輪の姿勢を推定するステップと、
前記1つまたは複数のプロセッサによって、前記推定に基づいて前記物体の将来の進行方向を決定するステップと
を含む前記方法。
【請求項2】
前記姿勢を推定するステップは、前記エリア内の位置を有する前記センサデータ点のいずれかを第1の平面にフィッティングさせるステップを含む、請求項1に記載の方法。
【請求項3】
前記センサデータはさらに、前記物体に対応する前記データ点の境界を示す境界ボックスを含み、前記姿勢を推定するステップは、前記境界ボックスの面の第2の平面と前記第1の平面との角度差を決定するステップを含む、請求項2に記載の方法。
【請求項4】
前記車輪の姿勢を推定するステップはさらに、前記境界ボックスの外側かつ前記エリア内にある位置を有するセンサデータ点に基づいて行われる、請求項3に記載の方法。
【請求項5】
前記エリアを識別するステップはさらに、一定期間にわたって決定された前記物体の過去の推定軌跡に基づいて行われる、請求項1に記載の方法。
【請求項6】
前記エリアを識別するステップはさらに、前記物体の種類に基づいて行われる、請求項5に記載の方法。
【請求項7】
前記将来の進行方向に基づいて通知を生成するステップと、
前記物体が前記車両に向かって進んでいることを示す通知を前記車両の乗客に提供するステップと
をさらに含む、請求項1に記載の方法。
【請求項8】
前記通知は、前記乗客が前記車両の操舵、加速、および減速の1つまたは複数の動作を制御することを要求するものである、請求項7に記載の方法。
【請求項9】
前記将来の進行方向を使用して自律運転モードで前記車両を制御するステップをさらに含む、請求項1に記載の方法。
【請求項10】
前記センサデータはさらに、前記物体に対応する前記データ点の境界を示す境界ボックスを含み、前記エリアを識別するステップはさらに、前記境界ボックスの寸法を前記モデルに入力するステップを含む、請求項1に記載の方法。
【請求項11】
前記モデルは、一定の車輪半径に基づくモデルである、請求項1に記載の方法。
【請求項12】
前記物体の画像を受信するステップと、
可能性のある車輪位置を識別するために前記画像を解析するステップと
をさらに含み、前記エリアを識別するステップはさらに、前記可能性のある車輪位置に基づいて行われる、請求項1に記載の方法。
【請求項13】
物体が車両の軌跡に進入しつつあることを予測する予測システムであって、
前記車両の環境内の物体および前記物体に対応するセンサデータ点を識別する情報を含むセンサデータを受信し、
前記センサデータおよび車輪位置のモデルに基づいて前記物体の車輪の予想位置に対応するエリアを識別し、
前記エリア内の位置を有する前記センサデータ点に基づいて前記車輪の姿勢を推定し、
前記推定に基づいて前記物体の将来の進行方向を決定する
ように構成された1つまたは複数のプロセッサを備える、予測システム。
【請求項14】
前記1つまたは複数のプロセッサはさらに、前記エリア内の位置を有する前記センサデータ点のいずれかを第1の平面にフィッティングさせることによって前記姿勢を推定するように構成される、請求項13に記載のシステム。
【請求項15】
前記センサデータはさらに、前記物体に対応する前記データ点の境界を示す境界ボックスを含み、前記1つまたは複数のプロセッサはさらに、前記境界ボックスの面の第2の平面と前記第1の平面との角度差を決定することによって前記姿勢を推定するように構成される、請求項14に記載のシステム。
【請求項16】
前記1つまたは複数のプロセッサはさらに、前記境界ボックスの外側かつ前記エリア内の位置を有する前記センサデータ点に基づいて前記姿勢を推定するように構成される、請求項15に記載のシステム。
【請求項17】
前記1つまたは複数のプロセッサはさらに、
前記将来の進行方向に基づいて通知を生成し、
前記物体が前記車両に向かって進んでいることを示す通知を前記車両の乗客に提供する
ように構成される、請求項15に記載のシステム。
【請求項18】
前記車両をさらに備える、請求項13に記載のシステム。
【請求項19】
命令が記憶される非一時的なコンピュータ可読記録媒体であり、前記命令は、1つまたは複数のプロセッサによって実行されたときに、前記1つまたは複数のプロセッサに、物体が車両の軌跡に進入しつつあることを予測する方法を実行させ、前記方法は、
前記車両の環境内の物体および前記物体に対応するセンサデータ点を識別する情報を含むセンサデータを受信するステップと、
前記センサデータおよび車輪位置のモデルに基づいて前記物体の車輪の予想位置に対応するエリアを識別するステップと、
前記エリア内の位置を有する前記センサデータ点に基づいて前記車輪の姿勢を推定するステップと、
前記推定に基づいて前記物体の将来の進行方向を決定するステップと
を含む、非一時的なコンピュータ可読記録媒体。
【請求項20】
前記1つまたは複数のプロセッサはさらに、前記将来の進行方向を使用して自律運転モードで前記車両を制御するように構成される、請求項18に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
[0001] 本願は、2017年2月10日に出願された米国特許出願第15/429,275号の継続出願であり、この開示内容を参照によって本願明細書に引用したものとする。
【背景技術】
【0002】
[0002] 人間の運転手を必要としない自動車のような自律走行車は、ある場所から別の場所への乗客または物品の輸送を支援するのに使用され得る。該車両は、乗客がピックアップ位置または目的位置のような何らかの初期入力を行うことができ、車両がその位置まで自身を誘導する完全自律モードで動作し得る。
【0003】
[0003] 該車両は、典型的には、環境の物体を検出するために、様々なタイプのセンサが装備されている。例えば、自律走行車は、レーザ、ソーナ、レーダ、カメラ、および車両の環境からのデータを走査して記録する他の装置を含み得る。これらのデバイスのうちの1つまたは複数からのセンサデータは、物体およびその個々の特性(位置、形状、進行方向、速度など)を検出するのに使用され得る。多くの場合、該システムは、今では、例えば、物体のサイズ、形状、速度、位置などのようなキューを使用して、物体の種類を識別することができる。これらの特性は、物体が将来の短時間の間にどんな振る舞いをしそうであるかを予測するのに使用され、この予測は、これらの物体を避けるために車両を制御するのに使用され得る。したがって、検出、識別、および予測は、自律走行車の安全な動作にとって重要な機能である。
【発明の概要】
【0004】
[0004] 本開示の態様は、物体の将来の進行方向を決定する方法を提供する。該方法は、1つまたは複数のプロセッサによって、車両の環境内の物体および物体に対応するセンサデータ点を識別する情報を含むセンサデータを受信するステップと、1つまたは複数のプロセッサによって、センサデータに基づいて物体の車輪の予測位置に対応するエリアを識別するステップと、1つまたは複数のプロセッサによって、エリア内の位置を有するセンサデータ点に基づいて車輪の姿勢を推定するステップと、1つまたは複数のプロセッサによって、推定に基づいて物体の将来の進行方向を決定するステップとを含む。
【0005】
[0005] 一実施例では、姿勢を推定するステップは、エリア内の位置を有するセンサデータ点のいずれかを第1の平面にフィッティングさせるステップを含む。この実施例では、センサデータはさらに、物体に対応するデータ点の境界を示す境界ボックスを含み、姿勢を推定するステップは、境界ボックスの面の第2の平面と第1の平面との角度差を決定するステップを含む。また、車輪の姿勢を推定するステップはさらに、境界ボックスの外側かつエリア内にある位置を有するセンサデータ点に基づいて行われる。別の実施例では、エリアを識別するステップはさらに、一定期間にわたって決定された物体の過去の推定軌跡に基づいて行われる。この実施例では、エリアを識別するステップはさらに、物体の種類に基づいて行われる。別の実施例では、該方法はさらに、将来の進行方向に基づいて通知を生成するステップと、物体が車両に向かって進んでいることを示す通知を車両の乗客に提供するステップと、を含む。この実施例では、通知は、乗客が車両の操舵、加速、および減速の1つまたは複数の動作を制御することを要求するものである。別の実施例では、該方法はさらに、将来の進行方向を使用して自律運転モードで車両を制御するステップを含む。別の実施例では、エリアを識別するステップはさらに、車輪位置のモデルに基づいて行われる。この実施例では、センサデータはさらに、物体に対応するデータ点の境界を示す境界ボックスを含み、エリアを識別するステップはさらに、境界ボックスの寸法をモデルに入力するステップを含む。追加的に、または代替的に、モデルは、一定の車輪半径に基づくモデルである。別の実施例では、該方法はさらに、物体の画像を受信するステップと、可能性のある車輪位置を識別するために画像を解析するステップとを含み、エリアを識別するステップはさらに、可能性のある車輪位置に基づいて行われる。
【0006】
[0006] 本開示の別の態様は、物体が車両の軌跡に進入しつつあることを予測する予測システムを提供する。該システムは、車両の環境内の物体および物体に対応するセンサデータ点を識別する情報を含むセンサデータを受信し、センサデータに基づいて物体の車輪の予測位置に対応するエリアを識別し、エリア内の位置を有するセンサデータ点に基づいて車輪の姿勢を推定し、推定に基づいて物体の将来の進行方向を決定するように構成された1つまたは複数のプロセッサを含む。
【0007】
[0007] 一実施例では、1つまたは複数のプロセッサはさらに、エリア内の位置を有するセンサデータ点のいずれかを第1の平面にフィッティングさせることによって姿勢を推定するように構成される。別の実施例では、センサデータはさらに、物体に対応するデータ点の境界を示す境界ボックスを含み、1つまたは複数のプロセッサはさらに、境界ボックスの面の第2の平面と第1の平面との角度差を決定することによって姿勢を推定するように構成される。別の実施例では、1つまたは複数のプロセッサはさらに、将来の進行方向に基づいて通知を生成し、物体が車両に向かって進んでいることを示す通知を車両の乗客に提供するように構成される。別の実施例では、1つまたは複数のプロセッサはさらに、将来の進行方向を使用して自律運転モードで車両を制御するように構成される。別の実施例では、該システムはさらに、車両を含む。
【0008】
[0008] 本開示の別の態様は、命令が記憶される非一時的なコンピュータ可読記憶媒体を提供する。命令は、1つまたは複数のプロセッサによって実行されたときに、1つまたは複数のプロセッサに、物体が車両の軌跡に進入しつつあることを予測する方法を実行させる。該方法は、車両の環境内の物体および物体に対応するセンサデータ点を識別する情報を含むセンサデータを受信するステップと、センサデータに基づいて物体の車輪の予測位置に対応するエリアを識別するステップと、エリア内の位置を有するセンサデータ点に基づいて車輪の姿勢を推定するステップと、推定に基づいて物体の将来の進行方向を決定するステップとを含む。
【図面の簡単な説明】
【0009】
図1】[0009]本開示の態様に従う車両の一例の機能図である。
図2A】[0010]本開示の態様に従う車両の外観図の一例である。
図2B】[0010]本開示の態様に従う車両の外観図の一例である。
図2C】[0010]本開示の態様に従う車両の外観図の一例である。
図2D】[0010]本開示の態様に従う車両の外観図の一例である。
図3】[0011]本開示の態様に従う道路および車両を示す図である。
図4】[0012]本開示の態様に従うデータおよび車両を示す図である。
図5A】[0013]本開示に従う境界ボックスの例を示す図である。
図5B】[0013]本開示に従う境界ボックスの例を示す図である。
図6A】[0014]本開示に従う境界ボックスおよび車輪の推定位置に対応するエリアの例を示す図である。
図6B】[0014]本開示に従う境界ボックスおよび車輪の推定位置に対応するエリアの例を示す図である。
図7】[0015]本開示に従う、境界ボックス、車輪の推定位置に対応するエリア、および推定平面の一例を示す図である。
図8】[0016]本開示の態様に従うデータおよび車両を示す別の図である。
図9】[0017]本開示の態様に従うフロー図である。
【発明を実施するための形態】
【0010】
概要
[0018] 本開示の技術は、物体の将来の軌跡を予測すること、およびこの情報を使用して自律走行車のための運転決定を行うことに関する。自動車または自転車のような車輪を有する特定の種類の物体に関して、物体のタイヤ、リム(もしくはホイールキャップ)、またはその両方を含む物体の前輪の相対姿勢を識別するために生のセンサ情報が使用され得る。例えば、乗用車では、タイヤは検出されるほど十分な大きさのタイヤであり得るが、自転車の場合、タイヤは極めて薄く、検出するのがより難しい。この情報は、その後、例えば、物体の過去の軌跡または速度に関する情報を車輪の姿勢と組み合わせることによって、物体の将来の軌跡を決定するのに使用され得る。
【0011】
[0019] 知覚システムおよび/または車両のコンピューティングデバイスは、物体の過去の観測値を使用して、物体の将来の軌跡を予測し得る。例えば、物体の速度、姿勢/進行方向、位置、状態(すなわち、方向指示器など)、過去の推定軌跡が、物体が存在しそうな将来の一連の位置および時間を予測するのに使用され得る。これらの位置および時間が組み合わさって、将来の短時間の物体の軌跡を形成し得る。
【0012】
[0020] 車両の知覚システムはさらに、物体に対応するセンサデータ点の位置を識別し得る。この情報は、センサデータのセグメント化によって提供され得る。セグメント化とは、どのセンサデータ点(または視覚ピクセル)が物体に対応するかをコンピューティングデバイスが認識するようにセンサデータをラベリングするプロセスである。場合によっては、センサデータは、物体の推定寸法を表す境界ボックスにセグメント化され得る。さらに、知覚システムは、物体の周囲のセンサデータ点を識別するが、セグメント化によって具体的には物体に関連付けられていない情報を提供し得る。知覚システムはさらに、物体の位置、姿勢、サイズ、形状、種類、移動方向および速度などのような物体の特性を識別して提供し得る。
【0013】
[0021] 車両のコンピューティングデバイスは、境界ボックスのサイズおよび/または物体の寸法を使用して、物体の車輪の位置に対応するエリアを推定し得る。車両のコンピューティングシステムは、物体の車輪(前縁または後輪)の位置を推定するために、異なる車両サイズに対する、または場合によってはさらに車両の種類に対する、予想車輪位置を識別する情報にアクセスし得る。前輪の例を使用すると、一般に、物体が車両のセンサに向かって進んでいない限り、1つの前輪のみがセンサに認識されるので、境界ボックスに対するこの前輪の位置は、物体の進行方向(例えば、物体の過去の軌跡から)と予想車輪位置(境界ボックスのサイズおよび/または物体の寸法を使用して識別された)との組み合わせに基づいて推定され得る。
【0014】
[0022] エリア内のデータ点は、その後、エリア内の点の平均方位を識別するために解析され得る。例えば、データ点は、単純な平面フィッティングアルゴリズムを使用して平面にフィッティングされ得る。この平面と境界ボックスの面の平面との差は、車両の車輪の姿勢であることが推定され得る。
【0015】
[0023] 当然、エリア内のデータ点の数は、物体の前輪と車両のセンサとの間の相対位置、距離および角度に依存する。この点に関して、物体が車両に近いほど、また車輪が車両センサに対してより垂直に近づくほど、車輪表面から受信される可能性があるセンサデータ点は多くなり、推定がより正確になり得る。
【0016】
[0024] 推定は、物体の将来の進路の曲率または物体のヨーレートの指標として使用され得る。例えば、将来の車輪姿勢を物体の速度と組み合わせることで、物体の軌跡が決定され得る。予測進行方向または軌跡は、その後、車両の運転決定を行うのに使用され得る。
【0017】
[0025] 本明細書に記載されている特徴により、車両のコンピューティングデバイスは、物体の車輪の姿勢を推定することができる。このことにより、車両のコンピューティングデバイスは、物体が進行方向の変更を開始する前でも、物体の進行方向の変更を予測することができる。そうすることによって、車両のコンピューティングデバイスは、物体の将来の進路または軌跡をより正確に予測することができ、ひいては、車両の制御方法に関するより適切な決定を行うことができる。
システム例
【0018】
[0026] 図1に示されているように、本開示の一態様の車両100は、さまざまなコンポーネントを含む。本開示の特定の態様は、車両の特定のタイプに関して特に有用であるが、車両は、これらに限定されないが、自動車、トラック、オートバイ、バス、RV車などを含む車両いずれかのタイプであり得る。車両は、1つまたは複数のプロセッサ120、メモリ130、および典型的に汎用コンピューティングデバイスに存在する他のコンポーネントを含むコンピューティングデバイス110のような1つまたは複数のコンピューティングデバイスを有し得る。
【0019】
[0027] メモリ130は、1つまたは複数のプロセッサ120によって実行され得る、またはそれ以外の形で使用され得る命令132およびデータ134を含む、1つまたは複数のプロセッサ120によってアクセス可能な情報を記憶する。メモリ130は、コンピューティングデバイス可読媒体、または電子デバイスを用いて読み取られ得るデータを記憶する他の媒体を含む、プロセッサによってアクセス可能な情報を記憶することができる任意のタイプのメモリ、例えば、ハードドライブ、メモリカード、ROM、RAM、DVDもしくは他の光学ディスク、および他の書き込み可能かつ読み込み可能なメモリであり得る。システムおよび方法は、上述の様々な組み合わせを含み得るので、命令およびデータの様々な部分が様々なタイプの媒体上に記憶される。
【0020】
[0028] 命令132は、プロセッサによって直接実行される命令セット(例えば、機械コード)または間接的に実行される命令セット(例えば、スクリプト)の任意の命令セットであり得る。例えば、命令は、コンピューティングデバイス可読媒体上にコンピューティング・デバイス・コードとして記憶され得る。この点に関して、用語「命令」および「プログラム」は、本明細書において区別なく使用され得る。命令は、プロセッサによって直接処理するためにオブジェクトコード形式で記憶され得るか、要求に応じて解釈されるもしくは予めコンパイルされた独立したソース・コード・モジュールのスクリプトもしくは集合を含む任意の他のコンピューティングデバイス言語で記憶され得る。命令の機能、方法、およびルーチンについて、以下でさらに詳細に説明する。
【0021】
[0029] データ134は、命令132に従って、プロセッサ120よって取り込まれ、記憶され、または修正され得る。例えば、請求項に係る対象は任意の特定のデータ構造によって制限されないが、データは、コンピューティング・デバイス・レジスタ内に、複数の異なるフィールドおよびレコードを有するテーブル、XML文書またはフラットファイルとして関係データベースに記憶され得る。データはさらに、任意のコンピューティングデバイス可読フォーマットでフォーマットされ得る。
【0022】
[0030] 1つまたは複数のプロセッサ120は、市販のCPUのような任意の従来のプロセッサであり得る。あるいは、1つまたは複数のプロセッサは、ASICもしくは他のハードウェアベースのプロセッサのような専用のデバイスであり得る。図1は、同一ブロック内にあるようなプロセッサ、メモリ、およびコンピューティングデバイス110の他の要素の機能図であるが、プロセッサ、コンピューティングデバイス、またはメモリは、実際には、同一の物理的筐体内に収容され得る、もしくは収容され得ない複数のプロセッサ、コンピューティングデバイス、またはメモリを含み得ることは当業者によって理解されるであろう。例えば、メモリは、コンピューティングデバイス110とは異なる筐体内に配置されたハードドライブまたは他のストレージ媒体であり得る。したがって、プロセッサまたはコンピューティングデバイスへの言及は、同時に動作し得る、または同時に動作し得ないプロセッサまたはコンピューティングデバイスまたはメモリの集合への言及を含むことが理解されるであろう。
【0023】
[0031] コンピューティングデバイス110は、上述のプロセッサおよびメモリ、さらにユーザ入力装置150(例えば、マウス、キーボード、タッチスクリーンおよび/またはマイク)および様々な電子ディスプレイ(例えば、スクリーンを有するモニタまたは情報を表示するように動作可能な他の電気デバイス)のように、通常はコンピューティングデバイスと共に使用されるコンポーネントの全てを含み得る。この実施例では、車両は、情報または視聴覚体験を提供するために車内電子ディスプレイ152および1つまたは複数のスピーカ154を含む。この点に関して、車内電子ディスプレイ152は、車両100の車室内に配置され得、車両100内の乗客に情報を提供するためにコンピューティングデバイス110によって使用され得る。
【0024】
[0032] コンピューティングデバイス110はさらに、以下で詳細に説明するクライアント・コンピューティング・デバイスおよびサーバ・コンピューティング・デバイスのような他のコンピューティングデバイスとの通信を容易にするために1つまたは複数の無線ネットワーク接続156を含み得る。無線ネットワーク接続は、Bluetooth、Bluetooth low energy(LE)、セルラー接続、およびInternet、World Wide Web、イントラネット、仮想プライベートネットワーク、広域ネットワーク、ローカルネットワーク、1つまたは複数の会社専用の通信プロトコルを使用するプライベートネットワーク、Ethernet、WiFiおよびHTTPを含むプロトコル、およびこれらの様々な組み合わせを含む様々な構成およびプロトコルを含み得る。
【0025】
[0033] 一実施例では、コンピューティングデバイス110は、車両100に組み込まれた自律駆動コンピューティングシステムであり得る。自律駆動コンピューティングシステムは、車両の様々なコンポーネントと通信可能であり得る。例えば、図1に戻ると、コンピューティングデバイス110は、メモリ130の命令132に従って車両100の移動、速度などを制御するために、減速システム160、加速システム162、操舵システム164、シグナリングシステム166、ルート決定システム168、測位システム170、ならびに知覚システム172のような車両100の様々なシステム、および動力系174(例えば、ガソリンもしくはディーゼルエンジンまたは電気モータ)と通信状態であり得る。さらに、これらのシステムはコンピューティングデバイス110の外部のシステムとして図示されているが、実際は、車両100を制御するための自律駆動コンピューティングシステムのように、コンピューティングデバイス110に組み込まれてもよい。
【0026】
[0034] 一実施例として、コンピューティングデバイス110は、車両の速度を制御するために、減速システム160および加速システム162と相互作用し得る。同様に、操舵システム164は、車両100の方向を制御するために、コンピューティングデバイス110によって使用され得る。例えば、車両100が自動車またはトラックのように路上で使用するように構成されている場合、操舵システムは、車両の方向を変えるために車輪の角度を制御するためのコンポーネントを含み得る。シグナリングシステム166は、例えば、必要に応じて方向指示器またはブレーキライトを点灯させることによって、車両の意図を他の運転手または車両に知らせるために、コンピューティングデバイス110によって使用され得る。
【0027】
[0035] ルート決定システム168は、ある位置までのルートを決定して、そのルートをたどるために、コンピューティングデバイス110によって使用され得る。この点に関して、ルート決定システム168および/またはデータ134は、詳細なマップ情報(例えば、道路の形状および高度、車線境界線、交差点、横断歩道、制限速度、信号機、建物、標識、リアルタイムの交通情報、植生、または他のこのような物体ならびに情報を識別する非常に詳細なマップ)を記憶し得る。すなわち、この詳細なマップ情報は、道路およびこれらの道路の速度制限(法定最高速度)を含む車両の予想環境の形状を画定し得る。さらに、このマップ情報は、所与の位置においてどの通行方向が優先通行権を有するかを決定するために知覚システム172から受信されたリアルタイムの情報と共にコンピューティングデバイス110によって使用され得る、信号機、停止標識、譲れの標識などのような交通規制に関する情報を含み得る。
【0028】
[0036] マップ情報は、完全に画像ベース(例えば、ラスター)である必要はない。例えば、マップ情報は、1つまたは複数の道路グラフまたは情報(例えば、道路、車線、交差点、およびこれらの特徴間の接続)のグラフネットワークを含み得る。各々の特徴は、グラフデータとして記憶され、地理的位置のような情報に関連付けられ得、各々の特徴が他の関連特徴に関係しているかどうかに関係なく、例えば、一時停止標識は、道路および交差点などに関係し得る。いくつかの実施例では、関連データは、特定の道路グラフの特徴の効果的な参照を可能にするために、道路グラフのグリッドベースの指標を含み得る。
【0029】
[0037] 測位システム170は、マップ上もしくは地球上の車両の相対的もしくは絶対的な位置を決定するために、コンピューティングデバイス110によって使用され得る。例えば、測位システム170は、デバイスの緯度、経度、および/または海抜位置を決定するために、GPS受信機を含み得る。レーザベースの位置決めシステム、慣性援用GPS、またはカメラベースの位置決めシステムのような他の位置測定システムも車両の位置を特定するのに使用され得る。車両の位置は、緯度、経度、および海抜のような絶対的地理位置、さらにすぐ周囲の他の自動車に対する位置のような相対的位置情報を含み得、相対的位置情報は、絶対的地理位置よりも高い精度で決定され得ることが多い。
【0030】
[0038] 測位システム170はさらに、加速度計、ジャイロスコープまたは車両の方向および速度またはそれらの変化を決定するための別の方向/速度検出デバイスのようなコンピューティングデバイス110と通信する他のデバイスを含み得る。単なる一例として、加速装置は、重力の向きまたはそれに対して垂直な平面に対するピッチ、ヨー、ロール(またはその変化)を決定し得る。該装置はさらに、速度上昇または低下およびそのような変化の向きを追跡し得る。本明細書で述べた該装置による位置および姿勢のデータの提供は、コンピューティングデバイス110、他のコンピューティングデバイスおよびこれらの組み合わせに対して自動的に行われ得る。
【0031】
[0039] 知覚システム172はさらに、他の車両、道路の障害物、信号機、標識、樹木などのような車両の外側にある物体を検出するための1つまたは複数のコンポーネントを含み得る。例えば、知覚システム172は、コンピューティングデバイス110によって処理され得るデータを記録する、レーザ、ソーナ、レーダ、カメラおよび/または他の検出装置を含み得る。車両が自動車のような小型の乗用車である場合、自動車は、屋根または他の都合の良い場所に取りつけられたレーザまたは他のセンサを含み得る。例えば、車両の知覚システムは、物体およびその特性(例えば、位置、姿勢、サイズ、形状、種類、移動の方向および速度など)を検出するために、LIDAR、ソーナ、レーダ、カメラなどのような様々なセンサを使用し得る。センサからの生データおよび/または上記の特性は、コンピューティングデバイス110によって処理するための記述関数またはベクトルに定量化され得る、またはまとめられ得る。以下でさらに詳細に説明するように、コンピューティングデバイス110は、車両の位置を決定するための測位システム170、およびその位置に安全に到達するのに必要となったときに物体を検出して物体に対応するための知覚システム172を使用し得る。
【0032】
[0040] 図2A図2Dは、幅寸法W1(図2に示されている)、長さ寸法L1(図2Aおよび図2Dに示されている)、および高さ寸法H1(図2および図2Dに示されている)を有する車両100の外観図の例である。図示されているように、車両100は、ヘッドライト202、フロントガラス203、テールランプ/方向指示器204、リヤウィンドウ205、ドア206、サイドミラー208、車輪210、方向指示器/駐車灯212のような典型的な車両の多くの特徴を含む。ヘッドライト202、テールランプ/方向指示器204、および方向指示器/駐車灯212は、シグナリングシステム166に関連付けられ得る。さらに、ライトバー207もシグナリングシステム166に関連付けられ得る。
【0033】
[0041] 車両100はさらに、知覚システム172のセンサを含む。例えば、ハウジング214は、260度またはそれより狭い視野を有するための1つまたは複数のレーザ素子、および1つまたは複数のカメラ装置を含み得る。ハウジング216、218は、例えば、1つまたは複数のレーダおよび/またはソーナ装置を含み得る。さらに、知覚システム172の装置は、テールランプ/方向指示器204および/またはサイドミラー208のような典型的な車両コンポーネントに組み込まれ得る。これらのレーダ装置、カメラ装置、およびレーザ装置は、知覚システム172の一部としてこれらの装置からのデータを処理し、コンピューティングデバイス110にセンサデータを提供する処理コンポーネントに関連付けられ得る。
【0034】
[0042] コンピューティングデバイス110は、様々なコンポーネントを制御することによって車両の方向および速度を制御し得る。例として、コンピューティングデバイス110は、詳細なマップ情報、知覚システム172、およびルート決定システム168からのデータを使用して、完全に自律的に車両を目的位置までナビゲートし得る。車両を操縦するために、コンピューティングデバイス110は、車両に、(例えば、加速システム162によって動力系174に供給される燃料または他のエネルギーを増加させることによって)加速させ、(例えば、減速システム160によって、動力系174に供給される燃料を減少させることによって、ギアチェンジすることによって、および/またはブレーキをかけることによって)減速させ、(例えば、操舵システム164によって車両100の前輪または後輪の方向を変えることによって)方向転換させ、(例えば、シグナリングシステム166の方向指示器を点灯させることによって)この方向転換を伝えさせ得る。したがって、加速システム162および減速システム160は、車両の動力系174と車両の車輪との間の様々なコンポーネントを含むドライブトレインの一部であり得る。さらに、これらのシステムを制御することによって、コンピューティングデバイス110はさらに、車両を自律的に操縦するために、車両のドライブトレインを制御し得る。
【0035】
[0043] 知覚システム172および/またはコンピューティングデバイス110は、物体の過去の観測値を使用して、物体の将来の軌跡を予測し得る。例えば、物体の速度、姿勢/進行方向、位置、状態(すなわち、方向指示器など)は、物体が存在しそうな将来の一連の位置および時間を予測するのに使用され得る。これらの位置および時間が組み合わさって、将来の短時間の物体の軌跡を形成し得る。
【0036】
[0044] 以下でさらに詳細に説明するように、知覚システム172はさらに、物体に対応するセンサデータ点の位置を表す境界ボックスを提供し得る。さらに、知覚システムは、境界ボックスの周囲のエリア内の点の全て、場合によっては、さらに境界ボックスの周囲のエリア内の任意の点を識別する情報を提供し得る。
【0037】
[0045] データ134は、境界ボックスのサイズまたは寸法を予想車輪位置に関連付けるデータベース、テーブルまたは他の編成システムを含み得る。例えば、異なる境界ボックスが、異なる相対位置にある車輪を有し得る異なるサイズの物体を収容し得る。例えば、所与の境界ボックスの面のサイズ(一例として、8フィート(約2.438m)×5フィート(約1.524m))に対して、予想車輪位置は、物体の前端に対応する境界ボックスの隅から測定され、隅から後端まで所定のサイズ(一例として、2フィート4インチ(約0.711m))を有し得る。場合によっては、予想車輪位置はさらに、特定の物体の種類によって、例えば、物体がバス、トラック、乗用車、オートバイ、自転車などであるかどうかによって、画成され得る。これらの実際の寸法は、異なるサイズおよび/または種類の物体の実際の観測車輪位置に基づき得る。
方法例
【0038】
[0046] 図面に示されている上述の動作に加えて、様々な動作について説明する。以下の動作は以下で説明する正確な順序で実行される必要はないことを理解されたい。むしろ、様々なステップが、異なる順序で、もしくは同時に処理され得、さらにステップが追加され得る、または省略され得る。
【0039】
[0047] コンピューティングデバイス110は、車両を目的位置までのルートに沿って自律的に制御するために、必要なシステムを始動させ得る。例えば、ルート決定システム168は、データ134のマップ情報を使用してマップ情報の車線セグメントのセットに沿った目的位置までの進路またはルートを決定し得る。コンピューティングデバイス110は、その後、上述したように、目的地に向けてルートに沿って車両を自律的に(または自律走行モードで)操縦し得る。
【0040】
[0048] コンピューティングデバイス110は、ルートに沿って操縦するために、車両の軌跡を周期的に決定し得る。例えば、コンピューティングデバイスは、基線としてルートを使用することで、詳細なマップ情報を使用してルートに沿って操縦し、歩行者、自転車運転者、および歩行者のような他の道路使用者との近接相互作用を避けるために、車両の将来の位置セットを作成し得る。これらの将来位置は、ルートに沿って操縦するために車両の操舵、加速および/または減速を誘導するのにコンピューティングデバイスによって使用され得る。
【0041】
[0049] 例えば、図3は、道路300に沿ってコンピューティングデバイス110によって操縦される車両100の一例を示している。この例では、道路は、北行き車線310、312と、南行き車線314、316とを含む。車両100は、北行き車線310を進んでおり、別の車両320に近付きつつある。車両320は、北行き車線312を進んでいる。
【0042】
[0050] 車両100が進むにつれて、知覚システム172のセンサは車両の環境内にある様々な物体を検出し得る。図4は、道路400に沿って知覚システム172によって検出された物体および図3の道路300の図に対応する車両100の位置を示す図である。この例では、知覚システム172は、車線410、412、414、416を画定する車線境界線401、402、403、404、405、406を検出し得る。この例では、車線410、412、414、416はそれぞれ、北行き車線310、312、および南行き車線314、316に対応し得る。さらに、知覚システム172は、車両320も検出している。
【0043】
[0051] 車両の知覚システムは、各々の物体に対して、セグメント化を使用して物体に対応する特定のセンサデータ点を識別し得る。このことはさらに、その物体の寸法を表す境界ボックスの決定を含み得る。このことは、任意の周知のセグメント化および/または境界ボックス技術を使用して行われ得る。例えば、図4に示されているように、車両320の位置は、知覚システム172が物体に対応するように決定したデータ点を含む境界ボックス420によって表される。図5Aは、図4に示されている車両100および境界ボックス420の相対位置を上から見た図である。矢印510は、車両320の現在のまたは観測された進行方向を示し、したがって、境界ボックス420の進行方向を示している。図5Bは、境界ボックス420の側面図である。矢印520、522は、図5A、5Bの境界ボックス420の対応する面を特定する。距離X、Y、Zは、境界ボックス420の幅、長さ、高さを表す。
【0044】
[0052] 識別された物体の特性およびこれらの物体のセンサデータ点(および、場合によっては、境界ボックス)を識別するセグメント化情報は、知覚システム172によってコンピューティングデバイス110に提供され得る。一例として、これらの特性は、位置(GPS座標および/または車両に対する位置)、サイズ、形状、寸法、速度、姿勢、高度、種類(乗用車、トラクタトレーラ、自転車、歩行者)、道路表面の特徴(車線境界線など)などを含み得る。さらに、知覚システムは、物体の周囲のセンサデータ点を識別するが、セグメント化に従って具体的には物体に関連付けられていない情報を提供し得る。
【0045】
[0053] 知覚システムおよび/または車両のコンピューティングデバイスは、物体の過去の観測値を使用して、物体の将来の軌跡を予測し得る。例えば、物体の速度、姿勢/進行方向、位置、状態(すなわち、方向指示器など)、または過去の推定軌跡が、物体が存在しそうな将来の一連の位置および時間を予測するのに使用され得る。これらの位置および時間が組み合わさって、将来の短時間の物体の軌跡を形成し得る。図3および図4の実施例に関して、知覚システム172は、車両320または境界ボックス420の物体は、北行き車線312または車線412を進んだ物体の過去の履歴に基づいて、北行き車線312または車線412に沿って北へ進み続け得る。
【0046】
[0054] 例えば、物体が車線内に位置し、少なくとも特定のサイズの物体である、特定の形状を有する、特定の速度で移動している、特定の種類の物体であるなどの理由から、物体の特性が車輪を有する物体に対応すると決定されると、コンピューティングデバイスは、物体の車輪の位置を推定しようと試み得る。繰り返すが、この決定は、知覚システム172から受信された特性に基づいてコンピューティングデバイス110によって行われ得る。
【0047】
[0055] 車両のコンピューティングデバイスは、境界ボックスの寸法および/または物体のサイズを使用して、物体の車輪の位置に対応するエリアを推定し得る。車両のコンピューティングシステムは、物体の車輪(前輪または後輪)の位置を推定するために、データ134の予想車輪位置にアクセスして、境界ボックス420の寸法(X、Y、Z)に対応する予想車輪位置を識別し得る。予想車輪位置は、境界ボックスの特定の隅に対してある一定の距離に位置する車輪の幅に対応する高さを有する円板のような2D面積または円柱のような3D容積に対応し得る。境界ボックスの寸法を考慮して、コンピューティングデバイス110は、物体(車両320)の車輪が位置しそうな境界ボックスのエリア(2Dまたは3D)を識別し得る。
【0048】
[0056] 境界ボックスの寸法の他に、知覚システム172からの他の特性を使用して、データ134からの予想車輪位置が識別され得る。一例として、境界ボックス420が乗用車に対応するものとして識別される場合、データ134から識別された予想車輪位置は、境界ボックス420がバスまたは自転車に対応するものとして識別される状況とは異なり得る。
【0049】
[0057] 図6Aおよび図6Bに示されているように、境界ボックス420の前輪の予想車輪位置を表すエリア610は、円柱である。円柱の1つの円形端面612は、境界ボックスの表面S(図6Bに示されているように車輪位置が対応する境界ボックスの面)の外側に、または境界ボックスの表面Sの外側にわずかな距離(例えば、およそ2〜3インチ(0.050〜0.076m))離間して位置する。この点に関して、意図的にまたは非意図的に境界ボックス420から除外されたかもしれないが境界ボックスのわずかな距離(例えば、およそ2〜3インチ(0.050〜0.076m))の範囲内に残っている物体または表面を表す他のデータ点も、まだ車輪に対応する可能性がある点の見落としを防ぐために解析に含められ得る。
【0050】
[0058] また、この例では、矢印620も、境界ボックス420の進行方向を表し、したがって、図5の矢印510に対応する。この例では、エリアは、知覚システム172に認識される境界ボックスの隅に対応し、車両の進行方向に向かって車両の前部に最も近い隅Cからの距離Dに位置する半径Rおよび高さHの円柱として識別され得る。単なる例として、小型乗用車では、Rは12.25インチ(約0.311m)であり得、Hは7.3インチ(約0.185m)であり得、Dは32.413インチ(約0.824m)であり得る。
【0051】
[0059] 前輪の例を使用すると、一般に、物体が車両のセンサに向かって進んでいない限り、1つの前輪のみがセンサに認識されるので、境界ボックスに対するこの前輪の位置は、物体の進行方向(例えば、物体の過去の軌跡から)と予想車輪位置(境界ボックスのサイズおよび/または物体の寸法を使用して識別された)との組み合わせに基づいて推定され得る。すなわち、(物体の過去の軌跡から決定された)境界ボックス420の進行方向を表す矢印620(矢印510に対応する)は、車両が一般的に前方に向かって進んでいると仮定して、車両の前部を識別するのに使用され得る。
【0052】
[0060] エリア内のデータ点は、その後、エリア内の点の平均方位を識別するために解析され得る。例えば、データ点は、単純な平面フィッティングアルゴリズムを使用して平面にフィッティングされ得る。図7は、エリア610を示す境界ボックス420を上から見た図である。この例では、エリア610内の点が平面710にフィッティングされる。平面710と境界ボックスの表面Sの平面との角度差、または角度θが、境界ボックス420の物体(ここでは、車両320)の前輪の姿勢であることが推定され得る。
【0053】
[0061] さらに、物体の過去の軌跡を使用して、前輪の姿勢を知るまたは推定することができる。例えば、物体の過去の進行方向は、データ点を平面にフィッティングさせるときのシード(開始角度)として使用され得る。あるいは、過去の軌跡のみを使用して、車両の車輪の姿勢を決定することができる。
【0054】
[0062] 当然、エリア内のデータ点の数は、物体の前輪と車両のセンサとの間の相対位置、距離および角度に依存する。この点に関して、物体が車両に近いほど、また車輪が車両センサに対してより垂直に近づくほど、車輪表面から受信されそうなセンサデータ点は多くなり、推定がより正確になり得る。
【0055】
[0063] 推定は、車両の将来の進路の曲率(距離と共に変化する姿勢の変化)またはヨーレート(時間と共に変化する姿勢の変化)の指標として使用され得る。例えば、将来の車輪姿勢を物体の速度と組み合わせることで、物体の軌跡が決定され得る。この点に関して、推定は、物体の将来の進行方向、物体の将来の軌跡を決定するのに、あるいは、物体の異なる将来の軌跡の可能性または確実性を増大させる、または低下させるのに使用され得る。
【0056】
[0064] 予測進行方向または軌跡は、その後、車両の運転決定を行うのに使用され得る。例えば、物体が隣の車線内にあるとき、予測進行方向は、物体が車両に車線に向かって移動しつつあることをかなり早い段階で示すものであり得る。一例として、図8に戻ると、角度θがおよそ15度のような比較的大きい角度である場合、これは、物体(車両320)を北行き車線410に向かわせる境界ボックス420の将来の進行方向または将来の軌跡810を示し得る。この例では、境界ボックスの将来の軌跡(将来の期間にわたる進行方向および速度)は、物体が所定の期間内(例えば、およそ1秒)で車線410に進入することを示し得る。それに応じて、車両のコンピューティングデバイスは、加速するように、減速するように、または衝突もしくは車両320に近付き過ぎるのを防ぐために必要に応じて車線変更するように、車両を制御し得る。極端な場合、例えば、物体が不規則に進行方向を変更しているように思われる場合、車両のコンピューティングデバイスは、車両の乗客に、可能であれば、操舵、制動、または加速の動作を制御するようにさらに通知し得る。あるいは、車両が半自律モードもしくは手動モードで制御されている場合、車両の運転手を支援するために通知が送られ得る。
【0057】
[0065] あるいは、エリアは、車輪位置のモデルを使用して決定され得る。この点に関して、境界ボックスのサイズ、位置、および形状、さらにデータ点の位置を使用して、車輪の単純な一定の車輪半径または境界ボックスのサイズに依存する複雑な車輪半径から車輪の姿勢を作成するモデルにフィッティングさせ得る。この例では、モデルは、オペレータがモデル用のデータをトレーニングするために正例として車輪に対応するデータ点をマーキングして識別する機械学習を使用してトレーニングされ得る。
【0058】
[0066] 上述した特徴は、距離、方向、および強度の情報を提供するレーザデータ点に関連し得る。この点に関して、強度情報は、車輪の外側リムを示すためのキューとして使用され得る(すなわち、黒い車輪は低反射率を有し、したがって、低強度を有する)。この点に関して、エリアは、物体の1つまたは複数の画像を使用して推定され得、その後、車輪の姿勢を識別するのにレーザデータが使用され得る。
【0059】
[0067] 同様に、知覚システムがカメラデータを提供する場合、道路表面の上にあり、境界ボックスの位置に最も近い黒い物体の位置が、車輪の位置を示すためのキューとして使用され得る。場合によっては、可能性のある車輪位置を認識し、さらに、例えば、車輪の2枚以上の画像からの3Dモデル推定および/またはレーザデータを使用して画像用に生成された3Dモデルデータを使用して車両の車輪姿勢を推定するのに、画像のみで十分である場合もある。画像から車輪姿勢を計算する別の方法は、画像内の車輪の幅と高さのアスペクト比を決定するステップを含み得る。このアスペクト比は、車輪姿勢に対応し得る。このアスペクト比を他のセンサデータおよび車輪の単数または複数の画像の画像処理から決定された物体の姿勢と組み合わせて、相対車輪姿勢が計算され得る。
車輪姿勢の推定は、非常にゆっくり移動している車両さらに停止車両に対しても有効であり得る。例えば、駐車場から出ようとしている物体は、駐車場から出るために物体の車輪に角度を付けているかもしれないが、実際には移動し始めていないかもしれない。したがって、車輪の角度を使用して物体の将来の軌跡を推定することは物体の軌跡を正確に予測する可能性が高いが、そうでなければ、コンピューティングデバイスは、物体は静止した状態のままであると予測する可能性がある。別の例では、隣の車線で停止している所与の車両は、例えば、その自動車の運転手の気が変わって、ルートを変更して車両100の車線を使用したいと思い、車両100の車線への変更を試みる場合がある。このような場合、所与の車両の側面に対する車輪の広角度は、所与の車両の過去の軌跡よりも、所与の車両が進もうとする場所に関するより多くの情報を提供し得る。このような静止した状態での車線変更または低速での車線変更は、前輪に十分に角度が付けられた一般的なケースである。
【0060】
[0068] 図は、物体の将来の進行方向を決定するために車両100のコンピューティングデバイス110のような車両の1つまたは複数のコンピューティングデバイスの1つまたは複数のプロセッサによって実行され得るフロー図900の一例である。この例では、ブロック910において、車両の環境内の物体を表す境界ボックスおよび物体に対応するセンサデータ点の位置を識別する情報を含むセンサデータが受信される。ブロック920において、境界ボックスのサイズに基づいて物体の前輪に対応するエリアが識別される。ブロック930において、エリア内の位置を有するセンサデータ点に基づいて車輪の姿勢が決定される。ブロック940において、推定に基づいて物体の将来の進行方向が決定される。
【0061】
[0069] 特に明記しない限り、上述の代替の実施例は互いに排他的でなく、固有の利点を達成するために様々な組み合わせで実施され得る。上述した特徴の上記および他の変形形態および組み合わせは、請求項によって定義された対象から逸脱せずに利用され得、実施形態の上記説明は、請求項によって定義された対象を制限するものではなく、単なる例であると解釈すべきである。さらに、本明細書に記載されている実施例および「〜のような」、「〜を含む」などのような表現の節の提示は、請求項に係る対象を特定の実施例に制限するものであると解釈すべきでなく、むしろ、実施例は、多くの可能な実施形態のうちの単なる1つの実施形態を例示するものである。また、異なる図面内の同一の参照番号は、同一または同様の要素を特定し得る。
【要約】
本開示の技術は、物体の将来の進行方向を決定する方法に関する。そのためには、車両100の環境内の物体を表す境界ボックス420および物体に対応するセンサデータ点の位置を識別する情報を含むセンサデータが受信され得る。境界ボックスの寸法に基づいて、物体の車輪に対応するエリア610が識別され得る。次に、エリア内の位置を有するセンサデータ点に基づいて車輪の姿勢が推定され得る。次に、推定を使用して物体の将来の進行方向が決定され得る。
【選択図】図7
図1
図2A
図2B
図2C
図2D
図3
図4
図5A-5B】
図6A
図6B
図7
図8
図9