(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-02-17
(45)【発行日】2025-02-26
(54)【発明の名称】閉鎖されているレーン検出
(51)【国際特許分類】
G06T 7/00 20170101AFI20250218BHJP
G08G 1/00 20060101ALI20250218BHJP
G16Y 10/40 20200101ALI20250218BHJP
G16Y 20/20 20200101ALI20250218BHJP
G16Y 40/10 20200101ALI20250218BHJP
【FI】
G06T7/00 650A
G08G1/00 J
G16Y10/40
G16Y20/20
G16Y40/10
(21)【出願番号】P 2021569051
(86)(22)【出願日】2020-05-20
(86)【国際出願番号】 US2020033799
(87)【国際公開番号】W WO2020236932
(87)【国際公開日】2020-11-26
【審査請求日】2023-05-18
(32)【優先日】2019-05-20
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】518156417
【氏名又は名称】ズークス インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】デレク シアン マー
(72)【発明者】
【氏名】ゼジア チェン
【審査官】伊知地 和之
(56)【参考文献】
【文献】国際公開第2018/003926(WO,A1)
【文献】特開2013-242670(JP,A)
【文献】米国特許出願公開第2015/0355640(US,A1)
【文献】国際公開第2018/079069(WO,A1)
【文献】特開2006-154967(JP,A)
【文献】米国特許第08825259(US,B1)
【文献】特表2016-520902(JP,A)
【文献】Petrovai Andra et al.,“A stereovision based rear-end collision warning system on mobile devices”,2016 IEEE 12th International Conference on Intelligent Computer Communication and Processing (ICCP),IEEE,2016年,pp.285-292,DOI: 10.1109/ICCP.2016.7737161
(58)【調査した分野】(Int.Cl.,DB名)
G06T 1/00 - 1/40
G06T 3/00 - 5/94
G06T 7/00 - 7/90
G06V 10/00 - 20/90
G06V 30/418
G06V 40/16
G06V 40/20
G08G 1/00 - 99/00
G16Y 10/00 - 40/60
H04N 7/18
H04N 23/00
H04N 23/40 - 23/76
H04N 23/90 - 23/959
CSDB(日本国特許庁)
IEEE Xplore
(57)【特許請求の範囲】
【請求項1】
システムであって、
1つまたは複数のセンサーと、
1つまたは複数のプロセッサーと、
前記1つまたは複数のプロセッサーによって実行されると、前記システムに、
物体検出を受信することであって、前記物体検出は、環境における物体のロケーションと、前記物体の複数の寸法とを示し、前記複数の寸法は、前記物体に関連付けられたレーンの方向に沿った第1の寸法と、第1の方向に垂直な第2の寸法とを含む、ことと、
前記レーンの幅または前記レーンの前記方向の少なくとも1つに少なくとも部分的に基づいて、前記第1の寸法または第2の寸法の少なくとも1つを修正して、膨張物体検出を取得することと、
前記膨張物体検出
に関するロケーションと、別の物体検出
もしくは別の膨張物体検出
に関するロケーション、または前記レーンの幅のうちの少なくとも1つとの間の距離を決定することと、
前記距離が距離しきい値よりも小さいと決定することと、
前記距離が前記距離しきい値よりも小さいと決定することに少なくとも部分的に基づいて、前記レーンが閉鎖されていることを示す閉鎖状態を決定することと
を含む動作を行わせるプロセッサー実行可能な命令を格納するメモリーと
を備えたことを特徴とするシステム。
【請求項2】
前記物体検出を前記修正することは、第2の方向よりも前記第1の方向に平行なサイズを大きくすることを含むことを特徴とする請求項1に記載のシステム。
【請求項3】
前記第1の方向または第2の方向の少なくとも1つを修正することと、前記閉鎖状態を前記決定することとは、前記物体検出に関連付けられた分類が安全クラスを含むと決定することに少なくとも部分的にさらに基づき、前記安全クラスは、
安全物体、
安全人員、
安全車両、または
安全標識もしくは安全信号
のうちの少なくとも1つを含むことを特徴とする請求項1または2に記載のシステム。
【請求項4】
前記物体検出は、第1の物体検出であり、前記動作は、
前記第1の物体検出の後に1つまたは複数の第2の物体検出を受信することと、
前記1つまたは複数の第2の物体検出のうち少なくとも1つが、安全クラスを含む分類に関連付けられると決定することと、
前記1つまたは複数の第2の物体検出のうち少なくとも1つが安全物体を識別する前記分類に関連付けられると前記決定することに少なくとも部分的に基づいて前記閉鎖状態を維持することと
をさらに含むことを特徴とする請求項1ないし3のいずれか一項に記載のシステム。
【請求項5】
前記動作は、
前記物体検出を受信した後、センサーデータを受信することと、
前記レーンまたは隣り合ったレーンの少なくとも1つに関連付けられた第2の物体検出を決定することと、
前記レーンまたは隣り合ったレーンの少なくとも1つに関連付けられた進行方向が塞がれていると決定することと、
車道に関連付けられた平面において、安全クラスを識別する1つまたは複数の物体検出を含む多角形を決定することと
をさらに含むことを特徴とする請求項1ないし4のいずれか一項に記載のシステム。
【請求項6】
前記動作は、
第2の物体検出、または第2のレーンに関連付けられた第2のセンサーデータに少なくとも部分的に基づいて、前記第2のレーンに関連付けられた開放状態を決定することであって、前記第2のレーンは、前記レーンに隣り合う、こと
をさらに含むことを特徴とする請求項1ないし5のいずれか一項に記載のシステム。
【請求項7】
前記動作は、
1つまたは複数のセンサーから、センサーデータを受信することと、
前記センサーデータに少なくとも部分的に基づいて、自律車両がジャンクションに非常に近いことを決定することと、
前記自律車両が前記ジャンクションに非常に近いと決定することに少なくとも部分的に基づいて前記閉鎖状態を維持することと
をさらに含むことを特徴とする請求項1ないし6のいずれか一項に記載のシステム。
【請求項8】
前記動作は、
車道の少なくとも一部と前記閉鎖状態を関連付けることと、
リモートコンピューティングデバイスに、前記閉鎖状態と前記一部の識別情報とを送信することと
をさらに含むことを特徴とする請求項1ないし7のいずれか一項に記載のシステム。
【請求項9】
前記動作は、
自律車両のセンサーからのセンサーデータに少なくとも部分的に基づいて、前記自律車両が移動している進行可能な表面が少なくともレーンを含むと決定することと、
リモートコンピューティングシステムから、および前記進行可能な表面に少なくとも部分的に基づいて、閉鎖されているとして前記レーンを示す第2の状態を受信することと、
前記第2の状態および前記進行可能な表面に少なくとも部分的に基づいて、自律車両を制御するためのルートを決定することと
をさらに含むことを特徴とする請求項1ないし8のいずれか一項に記載のシステム。
【請求項10】
1つまたは複数のプロセッサーによって実行されると、前記1つまたは複数のプロセッサーに、
物体検出を受信することであって、前記物体検出は、環境における物体のロケーションと前記物体のサイズとを含む、ことと、
前記物体検出に関連付けられたレーンの方向に少なくとも部分的に基づいて前記物体検出を修正して、膨張物体検出を取得することと、
前記膨張物体検出
に関するロケーションと、前記レーンに関連付けられた別の物体検出
もしくは前記レーンに関連付けられた別の膨張物体検出
に関するロケーション、または前記レーンの範囲のうちの少なくとも1つとの間の距離を決定することと、
前記距離が距離しきい値よりも小さいと決定することと、
前記距離が前記距離しきい値よりも小さいと決定することに少なくとも部分的に基づいて、前記レーンが閉鎖されていることを示す閉鎖状態を決定することと
を含む動作を行わせるプロセッサー実行可能な命令を格納することを特徴とする非一時的なコンピューター読み取り可能媒体。
【請求項11】
前記物体検出を修正することと、前記閉鎖状態を決定することとは、前記物体検出に関連付けられた分類が安全クラスを含むと決定することに少なくとも部分的にさらに基づき、前記安全クラスは、
安全物体、
安全人員、
安全車両、または
安全標識もしくは安全信号
のうちの少なくとも1つを含むことを特徴とする請求項10に記載の非一時的なコンピューター読み取り可能媒体。
【請求項12】
前記物体検出は、第1の物体検出であり、前記動作は、
前記第1の物体検出の後に1つまたは複数の第2の物体検出を受信することと、
前記1つまたは複数の第2の物体検出のうち少なくとも1つが、安全物体を含む分類に関連付けられると決定することと、
前記1つまたは複数の第2の物体検出のうち少なくとも1つが前記安全物体を識別する前記分類に関連付けられると前記決定することに少なくとも部分的に基づいて前記閉鎖状態を維持することと
をさらに含むことを特徴とする請求項10または11に記載の非一時的なコンピューター読み取り可能媒体。
【請求項13】
前記動作は、
前記物体検出を受信した後、センサーデータを受信することと、
前記レーンまたは隣り合ったレーンの少なくとも1つに関連付けられた第2の物体検出を決定することと、
前記レーンまたは隣り合ったレーンの少なくとも1つに関連付けられた進行方向が塞がれていると決定することと、
車道に関連付けられた平面において、安全クラスを識別する1つまたは複数の物体検出を含む多角形を決定することと
をさらに含むことを特徴とする請求項10ないし12のいずれか一項に記載の非一時的なコンピューター読み取り可能媒体。
【請求項14】
前記動作は、
自律車両の1つまたは複数のセンサーから、センサーデータを受信することと、
前記センサーデータに少なくとも部分的に基づいて、前記自律車両がジャンクションに非常に近いことを決定することと、
前記自律車両が前記ジャンクションに非常に近いと決定することに少なくとも部分的に基づいて前記閉鎖状態を維持することと
をさらに含むことを特徴とする請求項10ないし13のいずれか一項に記載の非一時的なコンピューター読み取り可能媒体。
【請求項15】
前記動作は、
車道の少なくとも一部と前記閉鎖状態を関連付けることと、
リモートコンピューティングデバイスに、前記閉鎖状態と前記一部の識別情報とを送信することと
をさらに含むことを特徴とする請求項10ないし14のいずれか一項に記載の非一時的なコンピューター読み取り可能媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、閉鎖されているレーン検出に関し、より詳細には、車道の閉鎖されているレーン検出に関する。
【背景技術】
【0002】
本PCT国際出願は、2019年5月20日に出願された米国特許出願第16/417,441号の優先権の利益を主張し、本明細書において参照によって組み入れられる。
【0003】
物体、例えば、トラフィックコーン、パイロン、マーク、照明装置など(本明細書にて「安全物体(safety object)(複数可)」と呼ぶ)は、車道の上または近くに設置されて、車道のレーンが閉鎖されていることを示すことがある。例えば、レーンは、建設、車両の衝突、車両の修理などのために閉鎖されることがある。場合によっては、車道の上または近くに設置された物体は、車道を完全にふさがないことがある(たとえば、小さな標識がレーンのまん中に設置されることがある、1つまたは複数のコーンがレーンに設置されることがある)。レーンの完全な閉塞がなくても、人間は、レーンが完全に閉鎖されていると理解することがある。しかしながら、物体との衝突を避けるように単純化してプログラムされた自律車両は、レーン閉鎖を認識するまたは留意するのに失敗することがあり、安全物体(複数可)を単に避けることがある。例えば、自律車両は、トラフィックコーンの間隔が、自律車両が衝突することなくトラフィックコーンを通過して進行できる十分な広さがあるならば、閉鎖されているレーンの中に入るまたは合流することがある。
【0004】
詳細な説明は、添付の図面を参照して説明される。図面において、参照符号の最も左の数字(複数可)は、参照符号が最初に現れる図面を特定する。異なる図面における同一の参照符号は、同様のまたは同じアイテムを示す。
【図面の簡単な説明】
【0005】
【
図1】自律車両がレーンを閉鎖されているとして検出することが可能である、自律車両と閉鎖されているレーンとを描く例示的なシナリオを例示する。
【
図2A】閉鎖されているレーンを検出するための例示的な処理のフロー図を例示する。
【
図2B】閉鎖されているレーンを検出するための例示的な処理のフロー図を例示する。
【
図2C】閉鎖されているレーンを検出するための例示的な処理のフロー図を例示する。
【
図2D】閉鎖されているレーンを検出するための例示的な処理のフロー図を例示する。
【
図2E】閉鎖されているレーンを検出するための例示的な処理のフロー図を例示する。
【
図3】車両がトラフィックの方向の全レーンが閉鎖されていると決定する例示的なシナリオであり得る、車両が、変えられるテーパー(shifted taper)に近づいているという俯瞰図を例示する。
【
図4】車両が閉鎖されているレーン状態および/または閉鎖されていないレーン状態に関連して決定することがある1つまたは複数の代替レーンの形状についての俯瞰図を例示する。
【
図5】閉鎖されているレーンを検出するおよび/または代替レーンの形状を決定するための例示的なシステムのブロック図を例示する。
【発明を実施するための形態】
【0006】
本明細書にて述べられる技法は、車道のレーンが閉鎖されていない(たとえば、車両を操作するのに利用できる)か、閉鎖されているか、および/またはほかの点にて利用できないかを検出することに関する。本明細書にて述べられる技法は、本明細書にて述べられる技法を組み入れる自律車両の乗員の安全性を向上させることがある。加えて、技法は、建設作業員、車両の修理を支援する人、自律車両自体の構造上の完全な状態などの安全性を向上させることもある。さらにその上、技法は、例えば、乗客および/または荷を届ける、地域を調査するなどの任務を遂行するとき、自律車両の能率を向上させることがある。技法は、少なくとも1つの(部分的にまたは完全に)閉鎖されているレーンを含む領域の中へ進んだ自律車両に案内を提供する人の介入を減らすことがある。技法は、これによって、自律車両のフリートのうちの1つまたは複数の自律車両から遠隔操作の要求を受信するためのネットワークのネットワーク使用を削減することがある。
【0007】
本明細書にて述べられる技法によれば、自律車両は、安全物体および/またはレーンの閉鎖を示すマークを検出し、閉鎖されているレーンにおいて進行するのを避けるためのいろいろのコンポーネントにより構成されることがある。本明細書にて述べられる技法は、閉鎖に対して車道の1つまたは複数のレーン(たとえば、現在のレーン、1つまたは複数の隣り合ったレーン、他のレーン)を分析することを含んでもよい。安全物体は、例えば、トラフィックコーン、パイロン、照明装置、建設/法の執行/けん引などの車両、建設/法の執行/けん引などの作業員などを含むことがあり、安全マークは、建設区間、前方の道路工事、レーンの合流を示す標識、標準の道路構造からの逸脱を示す明確に色のついた標識(たとえば、米国における赤橙色および/または橙色の標識)、交通信号機(たとえば、ストップライト)、点滅ライト、および/または似たものなどを含むことがある。いくつかの例では、自律車両は、自律車両の1つまたは複数のセンサーからセンサーデータを受信し、少なくとも部分的にセンサーデータに基づいて、自律車両が囲まれる環境に関連付けられた物体検出(object detection)を決定することがある。
【0008】
例えば、自律車両は、物体に関連付けられた画像の一部に関連付けられたROI(region of interest;関心領域)(たとえば、バウンディングボックスおよび/またはインスタンスセグメンテーション)、物体に関連付けられた深度センサー(たとえば、ライダー、レーダー、ToF(time of flight)、深度カメラ)ポイントのサブセット、および/または物体に関連付けられた3次元ROI(たとえば、画像に関連付けられたおよび/または深度センサーポイントに境界をつける3次元形状)を決定することがある。いくつかの例では、物体検出は、自律車両を囲む環境内において物体のロケーションを示すことがある。加えてまたは代わりに、物体検出は、サイズ(たとえば、2次元以上、たとえば、3次元空間における)、形状(たとえば、幾何の形状、曲線、境界、センサーデータのインスタンスセグメンテーション)、分類(たとえば、「歩行者」、「車両」、「建設作業員」、「建設車両」、「安全物体」、「トラフィックコーン」、「照明装置」、「安全マーク」、「前方道路工事マーク」、「レーン合流マーク」)、および/または物体に関連付けられたレーン(たとえば、自律車両の現在のレーン、左と隣り合ったレーン、右と隣り合ったレーン、特定のレーンを識別するあらゆる他の適切なインディケーション)を示すことがある。いくつかの例では、レーンインディケーション(lane indication)は、自律車両にとって使用し得るマップに格納された(たとえば、自律車両のメモリーに格納された、分散コンピューティングシステムからネットワークを介して検索可能な)レーンを識別することがある。
【0009】
技法は、例えば、少なくとも部分的にスカラー量に基づいて、物体検出によって示されるサイズを膨張させる(すなわち、大きくする)ことによってなど、物体検出を修正することを含んでもよい。いくつかの例では、膨張は、少なくとも部分的に車道に関連付けられた方向に基づくことがある。例えば、自律車両は、車道および/またはレーンの曲率に関連付けられた接線を決定することがある。自律車両は、接線に関連付けられた1つまたは複数の次元において、物体検出に関連付けられたサイズを大きくすることがある(たとえば、物体検出は、接線と同じ方向に沿って押し出されることがある)。物体のサイズを、あらゆる追加のまたは代替の方向(たとえば、接線と直交するまたは接線に斜めの方向)に大きくすることがある。
【0010】
いくつかの例では、サイズを大きくするスカラー量は、車道またはその側部(たとえば、トラフィックの流れに関連付けられた車道の側部)の幅、レーンの幅、車道またはその側部のレーンの数、自律車両が動く速さ、閉鎖されていないレーンの数、閉鎖されているレーンの数、物体検出に関連付けられた分類(たとえば、「車両」に関連付けられたスカラー量は「トラフィックコーン」に関連付けられたスカラー量よりも小さいことがある)、および/または閉鎖の種類(たとえば、車道の建設、車両の修理、他の建設、たとえば、ビル建設、道路の掃除または除去、たとえば、雪、土に対して)に少なくとも部分的に基づくことがある。
【0011】
技法は、加えてまたは代わりに、分析されるレーンにおける物体検出の間の、および/または物体検出と分析されるレーンのレーン範囲との間の距離を決定することを含んでもよい。いくつかの例では、技法は、物体検出と、レーン範囲(たとえば、ロードウェイエッジ(roadway edge)またはレーンマーキングなどのレーンエッジ(lane edge))か、次の物体検出かのいずれかの最も近いものとの間の距離を決定することを含んでもよい。いくつかの例では、各物体検出の間の距離が計算されることがある。先に述べた例では、技法は、物体検出および/またはレーン範囲の間の2つ以上の距離のうち、最大の距離を決定することを含んでもよい。
【0012】
距離が距離しきい値未満であるならば、技法は、分析されたレーンが閉鎖されていることを示す状態を設定することを含んでもよい。いくつかの例では、状態は、ステートマシン、レジスターにおけるフラグ、および/またはあらゆる他の永続的なステートのステートであり得る。いくつかの例では、状態は、分析されたレーンおよび/または車道の一部に、例えば、状態に関連付けられたマップの一部を識別することによってなど、関連付けられることがある。いくつかの例では、自律車両は、少なくとも部分的に状態に基づいて、自律車両を制御するための軌道を決定することがある。例えば、状態が、車両が動作している現在のレーンが前方にて閉鎖されていることを示すならば、自律車両は、(自律車両によって)閉鎖されていないと識別されるレーンにレーンを変えることがある。いくつかの例では、距離しきい値は、自律車両の速さ、レーンの幅、車道の幅、1つまたは複数の物体検出に関連付けられた分類、および/または安全マーク(たとえば、建設標識を持っている建設作業員を表していることがある)への歩行者の接近に、少なくとも部分的に基づくことがある。
【0013】
距離が距離しきい値以上であるならば、技法は、レーンが閉鎖されていないと識別することを含んでもよいが、追加のまたは代替の例にて、技法は、現在、ステートがレーンを閉鎖されていると識別するかどうか、および/またはセンサーデータが安全物体の不在を示すかどうかを識別することを含んでもよい。いくつかの例では、ステートがレーンを閉鎖していると識別するならば、技法は、閉鎖されているとしてレーンのステートを維持することを含んでもよい。加えてまたは代わりに、センサーデータが、しきい値時間期間および/またはしきい値距離以上の動作のデュレーションおよび/または距離に対して、安全物体の不在(たとえば、安全物体の分類を有する物体検出が生成されなかった)を示すならば、状態は、オープンレーンインディケーション(open lane indication)に戻されることがある。言い換えれば、自律車両は、たとえ自律車両がかろうじて通り抜けできる隙間が開かれても、自律車両が最後に安全物体および/または安全マークを検出して以来、時間または距離のしきい値量が過ぎるまで、閉鎖されているレーン状態を維持することがある。加えてまたは代わりに、自律車両は、レーンが再開されたことを示す肯定的なインディケーション(たとえば、「道路工事の終了」の標識、「徐行」の標識、緑色の光、再開されたレーンおよび/または合流を示す一連の照明を発する光(複数可)、交通誘導員が「停止」から「徐行」に標識を裏返しにする)を検出することに少なくとも部分的に基づいて、閉鎖されているレーンステート(lane state)から閉鎖されていないレーンステートに戻すことがある。
【0014】
いくつかの例では、技法は、加えてまたは代わりに、1つまたは複数の物体検出(たとえば、多項式曲線および/または別の曲線、多角形)および/または膨張物体検出(dilated object detection)に形状を合わせ、状態を形状に関連付けることがある。例えば、安全物体は、従来のレーンマーキングに関連付けられない新しいレーン、例えば、テーパー(たとえば、合流するテーパー(merging taper)、変えるテーパー(shifting taper)、1レーン2方向通行テーパー(one-lane two-way traffic taper))を指定することがある。自律車両は、少なくとも部分的に形状に基づいて、自律車両を制御するための軌道を決定することがある。
【0015】
いくつかの例では、自律車両は、リモートコンピューティングデバイスに、車道の少なくとも一部のレーンが閉鎖されているというインディケーションを送信することがある。リモートコンピューティングデバイスは、フリートのうちの1つまたは複数の車両にインディケーションを送信することにより、格納されたマップを更新することによって、車道の一部に関連付けられたレーンが閉鎖されていることを示すことがある。例えば、リモートコンピューティングデバイスは、車両によって格納されたマップの一部に関連してレーン閉鎖状態を格納する命令を送信することがあり、そこでマップの一部は車道の一部と関連付けられる。
【0016】
例示的なシナリオ
図1は、レーンが閉鎖されている(動作に利用できない)または閉鎖されていない(動作に利用できる)ことを検出するように構成されることがある自律車両102を含む例示的なシナリオ100を例示する。場合によっては、自律車両102は、運転手(または乗員)がいかなる時点においても車両を制御することが期待されない、および/またはオペレーターを必要とすることなく、全行程にすべてのセーフティクリティカルの機能を実行する性能がある車両を記述する、米国連邦道路交通安全局によって発行されるレベル5分類に従って、動作するように構成された自律車両であり得る。しかしながら、他の例において、自律車両102は、あらゆる他のレベルまたは分類を有する完全なまたは部分的な自律車両であり得る。本明細書にて述べられる技法は、例えば、自律車両などに対してよりロボット制御の方に適用することがあると想定される。例えば、本明細書にて述べられる技法は、空/宇宙/水/地下のナビゲーション、製造、拡張現実などに適用されることがある。さらにその上、たとえ自律車両102が陸上車両として描かれても、自律車両102は、宇宙機、航空機、船舶、サブタレイニアンクラフト(subterranean craft)、および/またはなどであり得る。
【0017】
本明細書にて述べられる技法によれば、自律車両102は、自律車両102のセンサー(複数可)104からセンサーデータを受信することがある。例えば、センサー(複数可)104は、ロケーションセンサー(たとえば、全地球測位システム(GPS)センサー)、慣性センサー(たとえば、加速度センサー、ジャイロスコープセンサーなど)、磁界センサー(たとえば、コンパス)、位置/速度/加速度センサー(たとえば、スピードメーター、ドライブシステムセンサー)、深度位置センサー(たとえば、ライダーセンサー、レーダーセンサー、ソナーセンサー、ToF(time of flight)カメラ、深度カメラ)、画像センサー(たとえば、可視光スペクトルカメラ、深度カメラ、赤外線カメラ)、聴覚センサー(たとえば、マイク)、および/または環境センサー(たとえば、気圧計、湿度計、その他)を含むことがある。
【0018】
センサー(複数可)104は、コンピューティングデバイス(複数可)106によって受信される、および/または車両102に関連付けられたメモリー108に(たとえば、キャッシュに)格納されることがある、センサーデータを生成することがある。しかしながら、他の例では、センサー(複数可)104および/またはコンピューティングデバイス(複数可)106のいくつかまたはすべては、自律車両102から分離される、および/または遠隔に配置されることがあり、データキャプチャー、処理、コマンド、および/または制御は、ワイヤードおよび/またはワイヤレスネットワークを介して、1つまたは複数のリモートコンピューティングデバイスによって、自律車両102に対して通信されることがある。
【0019】
いくつかの例では、コンピューティングデバイス(複数可)106は、ローカリゼーションコンポーネント110、プランナー112、および/または、認知エンジン(perception engine)114を含むことがある。一般に、ローカライゼーションコンポーネント110は、メモリー108に格納されることがある、マップ116内の自律車両102のロケーションおよび/または向きを決定することがあり、認知エンジン114は、自律車両102を囲む環境に何があるかを決定することがあり、プランナー112は、環境に関する認知エンジン114から受信した情報に従って、自律車両102をどのように操作するかを決定することがある。
【0020】
マップ116は、グローバルマップ(複数可)、進行可能な表面のマップ(複数可)、および/またはローカルマップ(複数可)を含むことがある。グローバルマップは、車道、フィーチャー(たとえば、建物、事業所、公園)、自律車両をローカライズするのに有用な異なるセンサーモダリティにて検出可能なフィーチャー、および/またはなどを含むことがある。進行可能な表面のマップは、道路区分、レーン、交通信号機のロケーション、レーンの制約(たとえば、ターンオンリー(turn only)、合流、ゆずること(yield))、および/またはなどを含むことがある。ローカルマップは、いくつかの例では、少なくとも部分的にセンサーデータに基づくことがある、および/または自律車両によって生成されることがある、きめの細かい詳細を含むことがある。例えば、ローカルマップは、自律車両102を囲む環境のフィーチャー、例えば、車道の勾配、消火栓、交通標識、交通信号灯、木、建物、常置の座席、バス停、上に述べた物体のいずれかのロケーションおよび/または寸法などを含むことがある。グローバルマップ内の自律車両102のロケーションを決定することは、自律車両102が存在する車道内のロケーション(たとえば、車道の1つまたは複数のレーンの識別および/またはレーン内の位置)を決定することを含んでもよい。ローカルマップ内の自律車両102のロケーションを決定することは、ローカルマップにおいて、またはほかに本明細書に詳細に説明される(例えば、
図5に関して)ように、特定される種々のフィーチャーからの自律車両102の相対的な距離を決定することを含んでもよい。いくつかの例では、ローカライゼーションコンポーネント110は、マップ116において自律車両102の位置を出力することがある。追加または代替の例では、ローカリゼーションコンポーネント110は、グローバルマップおよび/またはローカルマップの向きおよび/または座標と比較されることがある、自律車両102の向き(たとえば、ヨー、ピッチ、ロール)を決定することがある。
【0021】
認知エンジン114は、センサー(複数可)104からセンサーデータを受信することがあり、そこから認知データを決定することがある。例えば、認知エンジン114は、自律車両102の環境から収集されたセンサーデータから物体を検出する、特定する、区分する、分類する、および/もしくはトラッキングするための1つまたは複数の機械学習(ML)モデル、ならびに/または他のコンピューター実行可能な命令を含むことがある。いくつかの例では、認知エンジン114は、レーンが閉鎖されていないか閉鎖されているかを検出するためのコンポーネントを含むことがある。
【0022】
例示された例示的なシナリオ100にて、自律車両102は、自律車両102がトラフィックコーン120の集まりに近づくときに、センサー(複数可)104の1つまたは複数からセンサーデータを受信することがある。トラフィックコーン120は、レーン閉鎖に関連付けられた安全物体の一例であり得る。認知エンジン114は、少なくとも部分的にセンサーデータに基づいて、自律車両102を囲む環境における物体(複数可)を検出する、および/または物体(複数可)を分類するための1つまたは複数のMLモデルを含むことがある。例えば、自律車両102は、画像および/または点群データ(たとえば、ライダー、レーダー、ソナーからのデータ)を受信することがあり、決定することがある自律車両102が1つまたは複数の安全物体に関連付けられる(たとえば、物体検出が安全クラスに関連付けられると決定することによって)。
【0023】
認知エンジン114は、それによって検出された物体に関連付けられた位置、向き、サイズ、形状、および/またはトラック(たとえば、検出された物体に関連付けられた以前の、現在の、および/または予測される位置、速度、および/または加速度)を決定することがある。いくつかの例では、認知エンジン114は、マップ116における物体のロケーション、自律車両102と比較した物体の向き、および/または物体によって占められる容積を特定する、物体に関連付けられた物体検出を出力することがある。例えば、認知データマップ126は、マップ116の一部と、認知エンジン114によって出力されトラフィックコーン120に関連付けられた物体検出の集まり128に関連付けられたデータとの組み合わせを表すことがある。
【0024】
いくつかの例では、認知エンジン114によって生成された物体検出のうちの少なくとも1つが、安全物体に関連付けられた分類(すなわち、「安全クラス」)を示すならば、認知エンジン114は、レーン閉鎖分析をトリガーすることがある。追加または代替の例では、自律車両102は、少なくとも現在のレーン122、例えば隣り合ったレーン124などのあらゆる隣り合ったレーン(複数可)、および/またはあらゆる他のレーンを分析して、レーンが閉鎖されていないか閉鎖されているかを決定することがある。例えば、認知エンジン114は、安全物体が検出されたかどうかに関わらず、本明細書に説明されるレーン閉鎖分析を連続的にまたは周期的に遂行することがある、および/または安全物体が検出されるならば、認知エンジン114は、周期的なレーン分析に加えてレーン分析をトリガーすることがある。
【0025】
いくつかの例では、認知エンジン114は、認知エンジン114によって検出された車道の1つまたは複数のレーンの状態を格納するおよび/または維持することがある(いくつかの例では、1つまたは複数のレーンがマップ116によって示されることがある)。例えば、認知エンジン114は、認知エンジン114によって分析された各レーンに関連付けられたステートを含むメモリー108にステートトラッカー118を格納することがある。いくつかの例では、ステートは、分析されたレーンが閉鎖されているか閉鎖されていないか、および/またはステートが関連付けられているマップ116の少なくとも一部を識別することがある(たとえば、レーン識別子)。いくつかの例では、加えてまたは代わりに、ステートトラッカー118は、現在のレーンに隣り合ったレーンがあるかどうか、および/または隣り合ったレーンが同じ進行方向に関連付けられるか、異なった進行方向に関連付けられるかどうかのインディケーションを含むことがある。
【0026】
図1は、マップ116に関連して、少なくとも部分的に本明細書にて述べられるレーン分析技法に基づいて、認知エンジン114によって格納される、および/または出力されることがあるレーンステート130の例を描く。レーンステート130は、閉鎖されていないレーン状態132および閉鎖されているレーン状態134を含むことがある。本明細書にて述べられる技法は、認知エンジン114によって出力される物体検出を受信することがあり、物体検出および本明細書にて述べられる技法に少なくとも部分的に基づいてレーンステート130を決定することがある。例えば、技法は、最も近い物体検出に関連付けられた点までは、閉鎖されていないレーン状態132を現在のレーン122に関連付けると決定することがあり、後に技法は、閉鎖されているレーン状態134を現在のレーン122に関連付けることを含んでもよい。加えてまたは代わりに、技法は、隣り合ったレーン124が同じ進行方向に関連付けられることを決定する、および/または閉鎖されていないレーン状態132を隣り合ったレーン124に関連付けることがある。追加または代替の例では、レーンが現在のレーン122とは異なる進行方向に関連付けられるならば、技法は、閉鎖されているレーン状態134および/または異なった進行方向の状態をそのレーンに関連付けることを含んでもよい。もちろん、本明細書にて詳細に説明されるように、上記の決定は、予め定義された(または予めマッピングされた)レーンに限定されず、進行可能な表面の変更に拡張されることが可能である。
【0027】
認知エンジン114が、ステートトラッカー118によって特定されるステート(複数可)および/またはレーンの閉鎖されている/閉鎖されないステートを示すあらゆる他のかたちを含むことがある認知データを生成すれば、認知エンジン114は、認知データをプランナー112に提供することがある。
【0028】
プランナー112は、本明細書にて述べられるレーンの閉鎖されている/閉鎖されていないステートを含む認知データを使用して、自律車両102を制御してパスまたはルートを横切る、および/またはほかに自律車両102の動作を制御する1つまたは複数の軌道を決定することがあるが、あらゆる上記の動作は、種々の他のコンポーネントにおいて行われることがある。例えば、プランナー112は、自律車両102に対して第1のロケーションから第2のロケーションまでのルートを決定し、ルートを横切るために(たとえば、検出される物体のいずれかを避ける、および/または閉鎖されているレーンにおいて動作することを避けるために)、後退ホライズン(receding horizon)技法にしたがって(たとえば、1マイクロ秒、1/2秒、10秒ごとなど)および少なくとも部分的にレーンステート130(マップ116および/またはステートトラッカー118に関連付けられることがある)に基づいて、実質的に同時に、自律車両102の動きを制御するために可能性がある複数の軌道を生成し、自律車両102のドライブコンポーネントに送信され得るドライブコントロール信号を生成するのに使用され得る自律車両102の軌道136として、可能性がある軌道のうちの1つを選択することがある。
図1は、方位、速度、および/または加速度を示す矢印として表された上記の軌道136の例を描くが、軌道自体が、順に、自律車両102のドライブシステムを始動させる、コントローラーに対する命令を含むことがある。描かれた例にて、プランナーは、現在のレーン122に関連付けられた閉鎖されているレーン状態134に少なくとも部分的に基づいて、軌道136を生成するおよび/または選択することがある。軌道136は、自律車両102に、隣り合ったレーン124(同じ進行方向および閉鎖されていないレーン状態132に関連付けられることがある)に合流させるために、ドライブシステムを始動させる命令を含むことがある。
【0029】
例示的な処理
図2A~2Eは、レーンを分析してレーンの状態を決定するための例示的な処理200を例示する。いくつかの例では、例示的な処理200は、認知エンジン114のコンポーネント(複数可)によって成し遂げられることがある。例示的な処理200は、多数の動作および/または動作の見かけ上の流れを含むとして描くが、例示的な処理200は、より多くのまたはより少ない動作を含み、動作を繰り返し、および/または動作の1つまたは複数は、順次に、並列に、および/または図面に示されたのとは異なる順に、遂行されることがある。
【0030】
図2Aに目を向けると、動作202にて、例示的な処理200は、本明細書にて述べられる技法のいずれかに従って、環境における物体のロケーション、形状、および/またはサイズを示す物体検出を受信することを含んでもよい。いくつかの例では、加えてまたは代わりに、物体検出は、物体に関連付けられた分類、物体に関連付けられたトラック、および/または物体に関連付けられたマップのレーンまたは他の部分を識別することがある。場合によっては、1つまたは複数のMLモデルは、物体検出を出力することがある(たとえば、分類は、機械学習されることがある)。いくつかの例では、物体検出は、物体に関連付けられた2次元および/または3次元の空間(たとえば、容積、その境界)を特定することがある。
図2Aは、1つのレーンが自律車両によって検出されていることがある物体を表す3つの物体検出に関連付けられる、2つのレーンを含む例示的な車道204の俯瞰図を描く。例えば、物体検出206は、3つの物体検出のうちの1つであり得る。
【0031】
動作208において、例示的な処理200は、本明細書にて述べられる技法のいずれかに従って、物体検出を修正することを含んでもよい。いくつかの例では、物体検出を修正することは、安全クラスに対応する物体に対して、物体検出に関連付けられたサイズを大きくすること(「膨張させること(dilating)」)を含むことがある。サイズを、スカラー量に従って大きくすることがある。スカラー量は、車道の幅(たとえば、より大きな幅がより大きなスカラー量に帰着する)または車道の側部(たとえば、トラフィックの流れに関連付けられた車道の側部)の幅、レーンの幅(たとえば、より大きな幅がより大きなスカラー量に帰着する)、車道またはその側部のレーンの数(たとえば、増えた数が増えたスカラー量に帰着する)、自律車両が動く速さ(たとえば、より大きな速さがより大きなスカラー量に帰着する)、閉鎖されていないレーンの数(たとえば、利用可能な閉鎖されていないレーンの増えた数がより大きなスカラー量に帰着する)、閉鎖されているレーンの数(たとえば、閉鎖されているレーンの増えた数が減ったスカラー量に帰着する)、物体検出に関連付けられた分類(たとえば、「車両」に関連付けられたスカラー量が、「トラフィックコーン」に関連付けられたスカラー量よりも小さいことがある)、および/または閉鎖の種類(たとえば、車道の建設、車両の修理、他の建設、たとえば、ビル建設、道路の掃除または除去、たとえば、雪、土に対して-異なるベースのスカラー量が今述べたことのいずれかに関連付けられることがある)に少なくとも部分的に基づくことがある。場合によっては、動作208は、1つまたは複数のスカラー量に従ってサイズを大きくすることを含んでもよい。例えば、スカラー量は、物体に関連付けられた各次元に関連付けられることがある。物体検出がユークリッド空間における物体の形状を定義する場合、第1のスカラー量は、物体のx軸のサイズに関連付けられることがあり、第2のスカラー量は、物体のy軸のサイズに関連付けられることがあり、第3のスカラー量は、物体のz軸のサイズに関連付けられることがある。例えば、スカラー量は、物体が定義される空間の各次元に成分があるベクトルであり得る。
【0032】
スカラー量は、加えてまたは代わりに、レーンおよび/または車道の進行方向に関連付けられた方向(たとえば、レーンおよび/または車道の曲率についての接線)を決定することからなることがある。場合によっては、物体のサイズを、少なくとも部分的に方向/接線に基づいて大きくすることがある。例えば、物体は、方向に沿って、および少なくとも部分的にスカラー量に基づいて、押し出されることがある。
【0033】
描かれた例では、例示的な車道204は、y軸に平行な方向を有することがある。動作208は、少なくとも部分的に例示的な車道204の方向に基づいて、主にy軸に沿って物体検出のサイズを大きくすることを含んでもよい。動作208が1つまたは複数のスカラー量に基づくことがあるので、物体検出は、加えてまたは代わりに、x軸および/または例示されていないz軸(または、追加のまたは代替の次元および/または座標空間、たとえば、球形、円筒形におけるあらゆる他の軸)に沿って大きくされることがある。例えば、膨張物体検出210は、車道204および/またはレーンに関連付けられた方向に少なくとも部分的に基づいて、物体検出206のサイズを大きくするという例である。
【0034】
動作212において、例示的な処理200は、本明細書にて述べられる技法のいずれかに従って、膨張された物体、別の物体検出、別の膨張物体検出、ならびに/またはレーンおよび/もしくは車道の範囲の間の距離を決定することを含んでもよい。
図2Aは、x軸において計算された距離の例を描くが、距離(複数可)が1つまたは複数の他の次元において計算され得ることが理解される。例えば、距離214は、膨張物体検出210のエッジから車道の範囲までの距離を表す。距離216は、膨張物体検出210のエッジから別の膨張物体検出までの距離を表す。距離218は、膨張物体検出210のエッジからレーンの範囲までの距離を表す。
【0035】
いくつかの例では、動作212は、加えてまたは代わりに、レーンに関連付けられた物体検出(膨張されようとされまいと)の間の距離のセットを決定すること、および/または距離のセットの中から最大の距離を決定することを含んでもよい。例えば、描かれた例では、動作212は、最も左の膨張物体検出に対する壊れているレーンマーキングの間の第1の距離、最も左の膨張物体検出から膨張物体検出210までの第2の距離、膨張物体検出210から最も右の膨張物体検出までの第3の距離、および最も右の膨張物体検出からレーンの範囲までの第4の距離を決定することを含んでもよい。
【0036】
動作220において、例示的な処理200は、本明細書にて述べられる技法のいずれかに従って、膨張物体検出、別の物体検出、別の膨張物体検出、ならびに/またはレーンおよび/もしくは車道の範囲の間の距離が、距離しきい値以上であるかどうかを決定することを含んでもよい。いくつかの例では、距離しきい値は、自律車両の幅および/または長さ(たとえば、距離が測定された次元に応じて-描かれた例では、距離しきい値は、少なくとも部分的に自律車両の幅に基づくことがある)および/または許容誤差に対応することがある。動作220は、自律車両が(例えば、車両の縦または横の軸に沿って)膨張物体検出の間に合うかどうかを機能的に決定することがある。距離が距離しきい値未満であるならば、例示的な処理200は、動作222に続くことがある。
【0037】
動作222において、例示的な処理200は、本明細書にて述べられる技法のいずれかに従って、レーンが閉鎖されていることを示す閉鎖状態を決定することを含んでもよい。いくつかの例では、動作222は、例えば、レジスターにおけるフラグを反転させる、ステートマシンをレーンが閉鎖されているとして識別するステートに遷移させるなど、分析されたレーンに関連してステートを設定するおよび/または保存するあらゆる方法を含むことがある。例えば、
図2Aは、分析されたレーンを閉鎖されていると識別することからなるレーンステート224を描く。場合によっては、状態は、自律車両に最も近い膨張物体検出および/または物体検出に少なくとも部分的に基づいて、レーンの一部に関連付けられることがある。例えば、閉鎖されているレーン状態は、最も近い物体に対応する最も近い物体検出および/または膨張された物体の最も近いエッジにおいて(たとえば、
図2Aにおいて膨張物体検出226の最も近いエッジから)始まるレーンの一部に関連付けられることがある。いくつかの例では、例示的な処理200は、
図2Bに描かれた動作228に続くことがある(たとえば、自律車両が動作し続けている、新しいセンサーデータが受信されている)。
【0038】
図2Bに目を向けると、動作228において、例示的な処理200は、本明細書にて論じられている技法のいずれかに従って、新しい物体検出が受信されたかどうかを決定することを含んでもよい。いくつかの例では、動作228は、新しい物体検出が、安全物体に関連付けられた安全クラスを識別する認知エンジンから受信されたかどうかを決定すること、および/または受信される/生成される上記の物体検出がない時間期間を決定することを含んでもよい。
【0039】
新しい物体検出が受信されるならば、例示的な処理200は、動作230に続くことがある。受信される新しい物体検出がないならば、例示的な処理200は、動作232に続くことがある。
【0040】
図2Cに目を向けると、動作230において、例示的な処理200は、本明細書にて論じられている技法のいずれかに従って、新しい物体検出が、安全物体を識別する安全クラスに関連付けられるかどうかを決定することを含んでもよい。例えば、動作230は、上により詳細に述べたように、新しい物体検出に関連付けられた分類が、「建設車両」、「トラフィックコーン」、「交通信号灯」、および/またはなどを指定するラベルであるかどうかを決定することがある。新しい物体検出が、安全物体を識別する安全クラスに関連付けられないならば、例示的な処理200は、動作226に戻る、および/または動作232に続くことがある。物体検出が、安全物体を識別する安全クラスに関連付けられるならば、例示的な処理200は、動作234に続くことがある。例えば、今述べたことは、自律車両が、トラフィックコーンを含むレーンのすぐそばに動作する、および/またはガイドの建設車両に追従している場合に相当する。
【0041】
動作234において、例示的な処理200は、新しい物体検出が関連付けられるレーンに関連付けられた状態を決定することを含んでもよい。動作234は、レーンに関連して格納された状態をチェックすることを含んでもよい。状態がレーンを閉鎖されていないとして識別するならば、例示的な処理200は、動作202に戻ることを含んでもよい。状態がレーンを閉鎖されているとして識別するならば、例示的な処理200は、動作236に進むことを含んでもよい。
【0042】
動作236において、例示的な処理200は、新しい物体検出が安全物体を識別すると決定することに少なくとも部分的に基づいて、レーンの閉鎖状態を維持することを含んでもよい。例えば、動作236は、安全物体(複数可)がある限り、レーンが閉鎖されているとして識別され続けること確実にすることがある。
【0043】
図2Dに目を向けると、動作232において、例示的な処理200は、本明細書にて述べられる技法のいずれかに従って、センサーデータが、しきい値デュレーション以上である時間のデュレーションに対して、(閉鎖されている)レーンに関連付けられた安全物体の不在を示すと決定することを含んでもよい。例えば、例示的な処理200は、閉鎖されているレーンに物体および/または安全物体を識別する新しい物体検出が受信されない時間のデュレーションをトラッキングすることを含んでもよい。時間のデュレーションは、新しい物体検出が、先に述べた物体を識別するときはいつでもリセットされることがある(例示的な処理200は、上記の例では動作230に続くことがある)。例えば、これによって、閉鎖されているレーンに関連付けられた状態は、
図2Dに示されている、自律車両が最後のトラフィックコーンを通過した直後に、閉鎖されていないレーン状態に設定されることがある。
【0044】
動作232が時間デュレーションに関して述べられるが、加えてまたは代わりに、動作232は、自律車両によって移動される距離に少なくとも部分的に基づくことがあることが理解される。例えば、動作232は、加えてまたは代わりに、しきい値距離以上である、自律車両によって移動される距離に対して、(閉鎖されている)レーンに関連付けられた安全物体の不在をセンサーデータが示すと決定することを含んでもよい。いくつかの例では、しきい値距離および/またはしきい値時間は、閉鎖されているレーン状態が決定された安全物体の種類に少なくとも部分的に基づくことがある。例えば、安全物体が「徐行」標識および交通誘導員であったならば、デュレーション/距離は、安全物体がトラフィックコーンであった場合よりも大きくなることがある。
【0045】
時間のデュレーションが検出しきい値以上であれば、例示的な処理200は、動作238に続くことがある。
【0046】
動作238において、例示的な処理200は、本明細書にて述べられる技法のいずれかに従って、第1の状態(閉鎖されているレーン状態)を、レーンが閉鎖されていないことを示す第2の状態に置き換えることを含んでもよい。いくつかの例では、閉鎖されていないレーン状態は、自律車両から最も遠い膨張物体検出の最も遠いエッジ(車道の方向/接線に沿って)に対応するレーンの一部に関連付けられることがある。
【0047】
図2Eに目を向けると、
図2Eは、動作232および238に対して、置き換えるおよび/または加えられることがある動作を描く。例えば、動作232の後、例示的な処理200は、加えてまたは代わりに、本明細書にて述べられる技法のいずれかに従って、動作240を遂行することを含んでもよい。動作240において、例示的な処理200は、認知エンジンが、自律車両が車道のジャンクション(たとえば、交差点、「T」字ジャンクション、あらゆる他のジャンクション)に非常に近いまたは内にあることを検出したかどうかを決定することを含んでもよい。例えば、自律車両は、自律車両がジャンクションの(動作232の)しきい値距離内またはしきい値デュレーション内および/または要因内ならば、ジャンクションに非常に近いことがある。
【0048】
動作240において、認知エンジンが、自律車両がジャンクションの中にある、またはジャンクションに非常に近いことを決定しないならば、例示的な処理200は、動作238に続くことがある。一方、動作240において、認知エンジンが、自律車両がジャンクションの中にある、またはジャンクションに非常に近いことを決定するならば、例示的な処理200は、動作242に続くことがある。
【0049】
動作242において、例示的な処理200は、本明細書にて述べられる技法のいずれかに従って、自律車両が依然としてジャンクションに非常に近いおよび/またはジャンクションの中にある間、レーンに関連付けられた状態を維持することを含んでもよい。例えば、今述べたことは、レーンの開放状態または閉鎖状態を維持することを含んでもよい。今述べたことは、ジャンクションが安全物体を全く含まないことがある、または以前に観察されたのと同じ割合にて安全物体を含まないことがある(たとえば、トラフィックコーンが、トラフィックに適応させるためにより広く間隔を置いて配置されることがある)ので、有用である。
【0050】
いくつかの例では、例示的な処理200は、加えてまたは代わりに、レーン(複数可)および/または車道(複数可)の一部に関連付けられたステートのセットを、リモートコンピューティングデバイスに送信することを含んでもよい。例えば、自律車両は、上記の決定に基づいて、レーンの一部が閉鎖されているとして識別したという通知を送信することがある、および/または、自律車両は、ステートマシンの現在のステートおよび/または自律車両のロケーションを含む「ハートビート(heartbeat)」信号を周期的に送信することによって、自律車両が位置されるレーン(複数可)のステート(複数可)を識別することがある。いくつかの例では、リモートコンピューティングデバイスは、自律車両から受信したステートを格納することがあり、更新されたステートをフリートのうちの1つまたは複数の車両に送信することがある。いくつかの例では、フリートの車両は、リモートコンピューティングデバイスから受信したステートに少なくとも部分的に基づいてルートを決定するように構成されることがある。いくつかの例では、自律車両は、ステートが持続することがあるために、マップに関連してレーンの閉鎖されていない/閉鎖されているステートを格納することがある。いくつかの例では、上記の永続的なステートは、有効期限(たとえば、ステートを決定することまたはステートを受信することからステートがクリアされる時間)と関連付けられることがあり、(たとえば、別の車両および/またはリモートコンピューティングデバイスから、レーンに関連付けられたステートを受信することによって)再び決定されるまたは更新されるまで持続することがある。少なくともいくつかの例では、自律車両は、他の自律車両がレーン閉鎖についてデータを検索することがあるようなグローバルマップデータベースに、部分的なまたは完全なレーン閉鎖に関する上記の情報を送信することがある。あらゆる上記の例では、有効期限の同様のステップは、追加の車両から新たに獲得したセンサーデータに基づいて、実装されるおよび/または有効にされる/更新されることがある。
【0051】
いくつかの例では、上に説明したレーン分析は、センサーデータおよび/または物体検出が信頼できると決定される車両からの距離であり得る範囲までのレーンの状態を識別するために遂行されることがある。
【0052】
例示的なレーン変更シナリオおよび技法
図3は、安全物体のグループが、従来のレーンマーキングに関連付けられない新しいレーンを指定する例示的なシナリオ300の俯瞰図を例示する。
図3における例示的なシナリオ300は、変えられるテーパー(shifted taper)が描かれる一方、例えば、停止合図するテーパー(flagging taper)、路肩テーパー(shoulder taper)、合流するテーパー(merging taper)、1レーン2方向通行テーパー(one-lane two-way traffic tape)など、多くの他のレーン変更が存在する。いくつかの例では、本明細書に説明される技法は、例示的なシナリオ300のようなシナリオにおいて、すべての利用可能なレーン(たとえば、車両と同じ進行方向に関連付けられたレーン)が閉鎖されていると決定することがある。
【0053】
例示的なシナリオ300は、2つのトラフィックの方向、トラフィックの方向302およびトラフィックの方向304を有する車道を含み、各トラフィックの方向は、関連付けられた2つのレーンを有する。トラフィックの方向304は、ハッシュされたレーンマーカーに従って仕切られ、二重(黄色)線310および車道範囲312によって境界をつけられている、2つの従来のレーン(左の従来のレーン306および右の従来のレーン308)を含む。例示の目的のために、自律車両102は、右の従来のレーン308が、車道における安全物体(たとえば、数が多いためにラベルをつけられず、円として表される)の集まりに少なくとも部分的に基づいて閉鎖されているとすでに決定した(たとえば、自律車両は、右の従来のレーン308に関連して閉鎖状態を格納したおよび/または維持したことがある)ことを仮定する。しかしながら、自律車両102は、変えられるテーパー(shifted taper)に出会うと、左の従来のレーン306が閉鎖されている(たとえば、レーンにある安全物体のために)と決定することがある、および/またはトラフィックの(反対)方向302に関連付けられたレーン314が、トラフィックの方向302が、自律車両102が関連付けられたトラフィックの反対方向304であるので、および/または二重線312を検出することが原因で、利用できないと決定することがある。言い換えれば、
図2に関して述べた技法を適用することによって、自律車両102は、トラフィックの方向に関連付けられたすべての(従来の)レーン(複数可)が塞がれている(たとえば、
図2に関して上に述べた技法に従って、自律車両102が通り抜けるのに十分に開いている幅がある従来のレーンがない)と決定することがある。自律車両102は、代替レーンの形状および/または関連付けられた開放/閉鎖状態を決定するための追加のまたは代替の技法を装備されることがある。代替レーンの形状は、場合によっては従来のレーンマーキングを避けることがある。
【0054】
図4は、従来のレーンマーキングに加えて、または従来のレーンマーキングの代わりに、車道の一部(複数可)に関連付けられた閉鎖されていないレーン状態および/または閉鎖されているレーン状態を決定するための追加のまたは代替の技法を例示する。例えば、本明細書にて述べられる技法は、上に述べた技法に従っておよび従来のレーンマーキングに従って、閉鎖されていないレーンを識別しようと試みることがある。しかしながら、例えば、例示的なシナリオ300においてなど、上記のレーンが存在しないならば、自律車両は、1つまたは複数の物体検出および/またはレーンに関連付けられたステートに少なくとも部分的に基づいて、1つまたは複数の代替レーンの形状と、関連付けられた開放/閉鎖状態とを決定することがある。
【0055】
例えば、自律車両は、右の従来のレーン308が閉鎖状態に関連付けられると決定することがあり、右の従来のレーン308に関連付けられた物体検出をオーバーラップさせる形状を決定することがある。自律車両102は、加えてまたは代わりに、右の従来レーン308にある物体のしきい値距離内の物体を含むように形状を拡張することを試み、しきい値距離内に物体検出が存在しなくなるまでそれを続けることがある。例えば、物体検出400は、物体検出402のしきい値距離によることがあり、それゆえ自律車両は、物体検出400などを含むように形状を拡張することがある(たとえば、2つの物体の間に線を連結することによって、両方の物体を含むように境界を修正することによって)。
【0056】
自律車両102は、連続する境界を有し、最小の幅を有する少なくとも1つのレーンがあるような形状を生成することがある。最小の幅は、(生成された形状が、テーパーされているレーンの反対側の安全物体を含むことを避けることがあるように)しきい値距離よりも大きい距離であり得る。いくつかの例では、MLモデルは、(たとえば、分類タスク、クラスタリングタスク、および/またはなどに少なくとも部分的に基づいて)上記の形状を決定するように訓練されることがある。
【0057】
いくつかの例では、自律車両102は、第2の閉鎖されているレーン状態に関連付けられた、および/または閉鎖されていないレーン状態に少なくとも部分的に基づいた、第2の安全物体のセット(たとえば、左方向の安全物体)に対して、今述べたことを繰り返すことがある。言い換えれば、反対に、自律車両102は、閉鎖されていないレーン状態と1つまたは複数の安全物体とに少なくとも部分的に基づいて、閉鎖されていないレーンをポジティブに識別する形状を決定することがある。いくつかの例では、自律車両は、テーパー、レーン合流、および/または他のトラフィック変更を合図する安全標識を検出することがあり、安全標識のシンボルに少なくとも部分的に基づいて代替レーンの形状を決定することがある。
【0058】
図4は、3つの代替レーンの形状、閉鎖されているレーン状態に関連付けられた第1の代替レーンの形状404、閉鎖されていないレーン状態に関連付けられた第2の代替レーンの形状406、および閉鎖されているレーン状態に関連付けられた第3の代替レーンの形状406を示す。いくつかの例では、自律車両102は、代替レーンの形状のうちの1つまたは複数を遠隔操作システムに送信して、代替レーンの形状の確認、二重線312を横断する確認を受信する、および/またはテレオペレーターに対して代替レーンの形状に変更を提供することがある。いくつかの例では、代替レーンの形状は、グローバルマップデータベースに格納されることがあり、フリートのうちの1つまたは複数の車両によって検索される、または(たとえば、代替レーンの形状に関連付けられた車道に非常に近いルートを生成する車両に基づいて)プッシュされることがある。いくつかの例では、自律車両102は、代替レーンの形状に対する変更を受信することがある。いくつかの例では、自律車両102および/または遠隔操作システムは、変更を使用して、代替レーンの形状を生成するように構成されたMLモデルを訓練することがある。場合によっては、第1のMLモデルは、閉鎖されていないレーン状態に関連して代替レーンの形状を生成するように訓練されることがあり、第2のMLモデルは、閉鎖されているレーン状態に関連して代替レーンの形状を生成するように訓練されることがある。追加のまたは代替の例では、単一のMLモデルが、両方のレーン状態に対して代替レーンの形状を生成することがある。あらゆる上記の例では、進行可能なレーン表面に対する上記の検出および更新は、進行可能な表面を確認した上記のテレオペレーターに自律車両および/または追加の自律車両が頼ることがあるようなグローバル(および/またはローカル)マップシステムに、渡されることがある。あらゆる上記の例では、進行可能な表面および形状は、遠隔操作の確認および予めマッピングされたデータ(上記の表面についてのあらゆる変更のイベントにおいて必要であることがある)にもかかわらず、連続的に有効にされることがある。
【0059】
例示的なシステム
図5は、本明細書にて述べられる技法を実装する例示的なシステムのブロック図を例示する。場合によっては、システム500は、
図1における自律車両102を表すことがある車両502を含むことがある。場合によっては、車両502は、運転手(または乗員)がいかなる時点においても車両を制御することが期待されない、全行程にすべてのセーフティクリティカルの機能を実行する性能がある車両を記述する、米国連邦道路交通安全局によって発行されるレベル5分類に従って、動作するように構成された自律車両であり得る。しかしながら、他の例において、車両502は、あらゆる他のレベルまたは分類を有する完全なまたは部分的な自律車両であり得る。さらにその上、場合によっては、本明細書に説明される技法は、自律的ではない車両によっても同様に使用可能であることがある。
【0060】
車両502は、車両コンピューティングデバイス(複数可)504、センサー(複数可)506、エミッター(複数可)508、ネットワークインターフェース(複数可)510、および/またはドライブコンポーネント(複数可)512を含むことがある。
【0061】
場合によっては、センサー(複数可)506は、ライダーセンサー、レーダーセンサー、超音波トランスデューサー、ソナーセンサー、ロケーションセンサー(たとえば、全地球測位システム(GPS)、コンパス)、慣性センサー(たとえば、慣性測定ユニット(IMU)、加速度計、磁力計、ジャイロスコープ)、画像センサー(たとえば、RGB(red-green-blue)、IR(赤外線)、タイムオブフライトカメラ)、マイク、ホイールエンコーダー、環境センサー(たとえば、温度計、湿度計、光センサー、圧力センサー)などを含むことがある。センサー(複数可)506は、今述べたまたは他の種類のセンサーの各々に関する複数のインスタンスを含むことがある。たとえば、レーダーセンサーは、車両502の角、前面、後面、側面、および/または上面に位置される個々のレーダーセンサーを含むことがある。別の例として、カメラは、車両502の外部および/または内部のあちこちに、種々のロケーションに配置された複数のカメラを含むことがある。センサー(複数可)506は、車両コンピューティングデバイス(複数可)504に、および/またはコンピューティングデバイス(複数可)514に入力を提供することがある。
【0062】
さらに、車両502は、上に説明したように、光および/または音を発するために1つまたは複数のエミッター(複数可)508を含むこともある。今述べた例におけるエミッター(複数可)508は、車両502の乗客と通信する内部のオーディオおよびビジュアルのエミッター(複数可)を含むことがある。例および非限定として、内部のエミッター(複数可)は、スピーカー、ライト、サイン、ディスプレイスクリーン、タッチスクリーン、触覚に関するエミッター(複数可)(たとえば、振動および/またはフォースフィードバック)、メカニカルアクチュエーター(たとえば、シートベルトテンショナー、シートポジショナー、ヘッドレストポジショナーなど)などを含むことがある。さらに、今述べた例におけるエミッター(複数可)508は、外部のエミッター(複数可)も含むことがある。例および非限定として、今述べた例における外部のエミッター(複数可)は、進行方向または車両の作動に関する他のインディケーション(たとえば、インジケーターライト、サイン、ライトアレイなど)を合図するライト、および歩行者または他の近くの車と聞こえるほどに通信する1つまたは複数のオーディオエミッター(たとえば、スピーカー、スピーカーアレイ、ホーンなど)、アコースティックビームステアリング技術を含む1つまたは複数を含む。
【0063】
さらに、車両502は、車両502と、1つまたは複数の他のローカルまたはリモートのコンピューティングデバイス(複数可)との間の通信を可能にするネットワークインターフェース(複数可)510を含むこともある。たとえば、ネットワークインターフェース(複数可)510は、車両502上の他のローカルコンピューティングデバイス(複数可)との、および/またはドライブコンポーネント(複数可)512との通信を容易にすることがある。更に、ネットワークインターフェース(複数可)510は、加えてまたは代わりに、車両が、他の近くのコンピュータデバイス(複数可)(たとえば、他の近くの車両、交通信号機など)と通信できるようにすることもある。ネットワークインターフェース(複数可)510は、加えてまたは代わりに、車両502に、コンピューティングデバイス(複数可)514と通信することを可能にすることがある。いくつかの例では、コンピューティングデバイス(複数可)514は、分散コンピューティングシステム(たとえば、クラウドコンピューティングアーキテクチャ)の1つまたは複数のノードを含むことがある。コンピューティングデバイス(複数可)514は、本明細書にて述べられたリモートコンピューティングデバイス(複数可)および/または遠隔操作システムの例であり得る。
【0064】
ネットワークインターフェース(複数可)510は、車両コンピューティングデバイス(複数可)504を、別のコンピューティングデバイスに、または例えば、ネットワーク(複数可)516などのネットワークに接続するための物理および/または論理インターフェイスを含むことがある。例えば、ネットワークインターフェース(複数可)510は、例えば、IEEE500.11規格によって定義された周波数、BLUETOOTH(商標登録)などのようなショートレンジのワイヤレス周波数、セルラー通信(たとえば、2G、3G、4G、4G LTE、5Gなど)またはそれぞれのコンピューティングデバイスが他のコンピューティングデバイス(複数可)とインターフェイスできるようにするあらゆる適切なワイヤードまたはワイヤレスの通信プロトコルを介してなど、Wi-Fiベースの通信を可能にすることがある。場合によっては、車両コンピューティングデバイス(複数可)504および/またはセンサーシステム(複数可)506は、ネットワーク(複数可)516を介して、センサーデータを、特定の周波数において、予め決められた時間が経つと、ほぼリアルタイムにおいてなど、コンピューティングデバイス(複数可)514に送ることがある。
【0065】
場合によっては、車両502は、1つまたは複数のドライブコンポーネント512を含むことがある。場合によっては、車両502は、単一のドライブコンポーネント512を有することがある。場合によっては、ドライブコンポーネント(複数可)512は、ドライブコンポーネント(複数可)512の状態を、および/または車両502の周囲の状態を検出する1つまたは複数のセンサーを含むことがある。例および非限定として、ドライブコンポーネント(複数可)512のセンサー(複数可)は、ドライブコンポーネントの車輪の回転を感知する1つまたは複数のホイールエンコーダー(たとえば、ロータリーエンコーダー)、ドライブコンポーネントの向きおよび加速度を測定する慣性センサー(たとえば、慣性測定ユニット、加速度計、ジャイロスコープ、磁力計など)、カメラまたは他の画像センサー、ドライブコンポーネントの周囲の状況における物体を音響的に検出する超音波センサー、ライダーセンサー、レーダーセンサーなどを含むことがある。いくつかのセンサー、例えば、ホイールエンコーダー(複数可)などは、ドライブコンポーネント(複数可)512に一意的であり得る。いくつかの場合において、ドライブコンポーネント(複数可)512上のセンサー(複数可)は、車両502の対応するシステム(たとえば、センサーシステム(複数可)506)に対して重ねる、または補うことがある。
【0066】
ドライブコンポーネント(複数可)512は、高電圧バッテリー、車両202を推進するモーター、他の車両システムによる使用のためにバッテリーからの直流を交流に変換するインバーター、(電気で動くことがある)ステアリングモーターおよびステアリングラックを含むステアリングシステム、油圧または電気アクチュエーターを含むブレーキングシステム、油圧および/または空気圧コンポーネントを含むサスペンションシステム、けん引のロスを軽減し制御を維持するブレーキ力を分配するための安全制御システム、HVACシステム、ライティング(たとえば、車両の外部の周囲を照らすヘッド/テールライトなどのようなライティング)、および1つまたは複数の他のシステム(たとえば、冷却システム、安全システム、オンボード充電システム、例えば、DC/DCコンバーター、高電圧ジャンクション、高電圧ケーブル、充電システム、充電ポートなどの他の電気コンポーネント)を含む、多くの車両システムを含むことがある。追加として、ドライブコンポーネント(複数可)512は、センサー(複数可)からのデータを受信し前処理することがあり、種々の車両システムの動作を制御するためのドライブコンポーネントコントローラーを含むことがある。場合によっては、ドライブコンポーネントコントローラーは、1つまたは複数のプロセッサーと、1つまたは複数のプロセッサーに通信接続されたメモリーとを含むことがある。メモリーは、ドライブコンポーネント(複数可)512の種々の機能性を行う1つまたは複数のコンポーネントを格納することがある。さらにその上、ドライブコンポーネント(複数可)512は、それぞれのドライブコンポーネントによって1つまたは複数の他のローカルまたはリモートのコンピューティングデバイス(複数可)との通信を可能にする1つまたは複数の通信接続(複数可)を含むこともある。
【0067】
車両コンピューティングデバイス(複数可)504は、プロセッサー(複数可)518と、1つまたは複数のプロセッサー518に通信接続されたメモリー520とを含むことがある。さらに、コンピューティングデバイス(複数可)514は、プロセッサー(複数可)522および/またはメモリー524を含むこともある。プロセッサー(複数可)518および/または522は、本明細書に説明されるように、データを処理し、動作を行う命令を実行する性能があるあらゆる適切なプロセッサーであり得る。例および非限定として、プロセッサー(複数可)518および/または522は、1つまたは複数の中央処理装置(CPU)、グラフィックス処理装置(GPU)、集積回路(たとえば、特定用途向け集積回路(ASIC))、ゲートアレイ(たとえば、FPGA(field-programmable gate array))、および/または電子データを処理して、その電子データをレジスターおよび/またはメモリーに格納されることがある他の電子データに変換するあらゆる他のデバイスまたはデバイスの一部を含むことがある。
【0068】
メモリー520および524は、非一時的なコンピューター読み取り可能媒体の例であり得る。メモリー520および/または524は、本明細書に説明される方法と、種々のシステムに帰する機能とを実装するためのオペレーティングシステムおよび1つまたは複数のソフトウェアアプリケーション、命令、プログラム、および/またはデータを格納することがある。種々の実装において、非一時的なコンピューター読み取り可能な媒体は、あらゆる適切なメモリー技術を、例えば、SRAM(スタティックRAM)、SDRAM(シンクロナスDRAM)、不揮発性/フラッシュ型メモリー、またはメモリーのあらゆる他のタイプを使用して実装されることがある。本明細書に説明されるアーキテクチャー、システム、および個々の要素は、多くの他の論理的な、プログラム的な、および物理的なコンポーネントを含むことがあり、添付の図面に示されるそれらは、本明細書の議論に関係する単なる例である。
【0069】
場合によっては、メモリー520および/またはメモリー524は、認知エンジン526、プランナー528、ステートトラッカー530、マップ(複数可)532、および/またはシステムコントローラー(複数可)534を格納することがある。認知エンジン526は、認知エンジン114を表すことがあり、プランナー528は、プランナー112を表すことがあり、ステートトラッカー530は、ステートトラッカー118を含むおよび/もしくは表すことがあり、ならびに/またはマップ(複数可)532は、マップ116を含むおよび/もしくは表すことがある。場合によっては、認知エンジン526は、一次認知システム、二次認知システム、予測システム、および/またはローカライゼーションシステムを含むことがある。メモリー520および/または524は、加えてまたは代わりに、ローカライゼーションコンポーネント、マッピングシステム、プランニングシステム、ライドマネジメントシステムなどを格納することがある。認知エンジン526、プランナー528、ステートトラッカー530、および/またはマップ(複数可)532は、メモリー520に格納されるとして例示されるが、認知エンジン526、プランナー528、ステートトラッカー530、および/またはマップ(複数可)532は、プロセッサー実行可能な命令、機械学習されたモデル(複数可)(たとえば、ニューラルネットワーク)を含むことがあり、ならびに/またはハードウェアおよび/もしくはメモリー524に格納されることがある。
【0070】
いくつかの例では、認知エンジン526は、代替レーンの形状を決定するための1つまたは複数のMLモデルを含むことがある。上記のMLモデル(複数可)は、クラスタリングモデル、分類モデル、および/または回帰モデルを含むことがある。いくつかの例では、MLモデル(複数可)は、ニューラルネットワークを含むことがある。本明細書にて説明されている、例示的なニューラルネットワークは、入力されたデータを、一連の連結された層を通じて渡して、出力を生成する生物学的にインスパイアされたアルゴリズムである。さらに、ニューラルネットワークにおける各層は、別のニューラルネットワークを含むことが可能である、またはあらゆる数の層を(畳み込みかどうかにかかわらず)含むことが可能である。本開示の文脈において理解されることが可能であるように、ニューラルネットワークは、出力が学習パラメーターに基づいて生成される上記のアルゴリズムの幅広いクラスを参照することが可能である機械学習を利用することが可能である。
【0071】
ニューラルネットワークの文脈において述べられるが、機械学習のあらゆるタイプが、本開示と矛盾することなく使用されることが可能である。例えば、機械学習アルゴリズムは、制限しないが、回帰アルゴリズム(たとえば、通常の最小二乗回帰(OLSR)、線形回帰、ロジスティック回帰、ステップワイズ回帰、多変量適応型回帰スプライン(MARS)、局所推定スキャッタープロット平滑化法(LOESS))、インスタンスベースのアルゴリズム(たとえば、リッジ回帰、最小絶対収縮および選択演算子(LASSO)、弾性ネット、最小角度回帰(LARS))、ディシジョンツリーアルゴリズム(たとえば、分類および回帰ツリー(CART)、反復二分法3(ID3)、カイ二乗自動相互作用検出(CHAID)、決定断端、条件付きディシジョンツリー))、ベイジアンアルゴリズム(たとえば、ナイーブベイズ、ガウスナイーブベイズ、多項式ナイーブベイズ、アベレージワンディペンデンスエスティメータズ(AODE)、ベイジアンビリーフネットワーク(BNN)、ベイジアンネットワーク)、クラスタリングアルゴリズム(たとえば、k平均法、kメジアン、期待値最大化(EM)、階層クラスタリング)、相関ルール学習アルゴリズム(たとえば、パーセプトロン、逆伝搬、ホップフィールドネットワーク、動径基底関数ネットワーク(RBFN))、深層学習アルゴリズム(たとえば、ディープボルツマンマシン(DBM)、ディープビリーフネットワーク(DBN)、畳み込みニューラルネットワーク(CNN)、スタックドオートエンコーダ)、次元縮退アルゴリズム(たとえば、主成分分析(PCA)、主成分回帰(PCR)、部分的最小二乗回帰(PLSR)、サモンマッピング、多次元尺度構成法(MDS)、投影追跡、線形判別分析(LDA)、混合判別分析(MDA)、二次判別分析(QDA)、柔軟判別分析(FDA))、アンサンブルアルゴリズム(たとえば、ブースティング、ブートストラップアグリゲーション(バギング)、アダブースト、スタックドジェネラリゼーション(ブレンディング)、勾配ブースティングマシン(GBM)、勾配ブースト回帰ツリー(GBRT)、ランダムフォレスト)、SVM(サポートベクターマシン))、教師あり学習、教師なし学習、準教師あり学習など含むことが可能である。アーキテクチャーの追加の例は、ResNet-50、ResNet-101、VGG、DenseNet、PointNetなどのニューラルネットワークがある。
【0072】
いくつかの例では、コンピューティングデバイス(複数可)514は、ステートトラッカー530および/またはマップ(複数可)532を生成および/または保存することがある。ステートトラッカー530は、レジスター、ステートマシン、および/または、レーンについての閉鎖されているまたは閉鎖されていないステートを永続的におよび/または一時的に(たとえば、少なくとも定義された(有効期限の)時間に対して)識別するあらゆる他の方法を含むことがある。例えば、ステートトラッカーは、有限ステートマシン(「FSM」)例えば、決定論的有限オートマトン(「DFA」)、データ構造、レジスター、および/またはなどを含むことがある。いくつかの例では、ステートトラッカー530は、レーンステート、レーン識別子、車道の一部、ローカルマップの一部、物体検出、膨張物体検出、および/または代替レーンの形状を蓄積する、格納する、および/または他の方法により関連させることがある。追加または代替の例では、本明細書にて述べられる技法は、現在のレーンおよび/またはあらゆる他のレーン(たとえば、隣り合ったレーン、別のレーン)に関連して閉鎖/開放状態を出力することを含んでもよい。
【0073】
いくつかの例では、マップ(複数可)532は、ローカル、進行可能な表面、および/またはグローバルのマップ、車両502がセンサーデータに少なくとも部分的に基づいて決定することがある、および/またはネットワーク(複数可)516を介してコンピューティングデバイス(複数可)514から受信されることがあるうちの1つまたは複数を含むことがある。いくつかの例では、マップ(複数可)532は、グローバルマップデータベースを含むことがある。
【0074】
メモリー520は、加えてまたは代わりに、車両502の操舵、推進、制動、安全、エミッター、通信、および他のシステムを制御するように構成されることがある、1つまたは複数のシステムコントローラー(複数可)532を格納する。今述べたシステムコントローラー(複数可)532は、車両502のドライブコンポーネント(複数可)512および/または他のコンポーネントの対応するシステムに対して通信するおよび/または制御することがある。例えば、プランナー528は、認知エンジン526によって生成された認知データ(本明細書にて述べられるステートおよび/または代替レーンの形状のいずれかを含むことがある)に少なくとも部分的に基づいて命令を生成し、命令に少なくとも部分的に基づいて車両502の動作を制御することがある、システムコントローラー(複数可)532に命令を送信することがある。
【0075】
いくつかの例では、コンピューティングデバイス(複数可)514は、フリートのうちの1つまたは複数の車両から受信したデータのプレゼンテーション、および/または、1つまたは複数の車両に案内を提供するテレオペレーターに与えられる入力オプション(たとえば、車両によって決定された軌道を確認する表示されたボタンを選択するオプション、車両によって決定された代替レーンの形状を修正するおよび/または確認するためのオプション、二重線を横断することを確認するオプション)を生成するように構成されることがある、遠隔操作システムを含むことがある。
【0076】
図5が分散システムとして例示される一方、代替の例において、車両502のコンポーネントは、コンピューティングデバイス(複数可)514に関連付けられることがあり、および/またはコンピューティングデバイス(複数可)514のコンポーネントは、車両502に関連付けられることがあることを特筆すべきである。すなわち、車両502は、コンピューティングデバイス(複数可)514に関連付けられた1つまたは複数の機能を行い、逆もまた同様であることがある。
【0077】
例示的な箇条
A.方法は、1つまたは複数のセンサーからセンサーデータを受信することと、センサーデータに少なくとも部分的に基づいて、物体検出を決定することとであって、物体検出は、車道のレーンに関連付けられ、環境における物体のロケーションと、少なくともレーンに沿った第1の方向およびレーンに関連付けられた平面における第1の方向に垂直の第2の方向における物体のサイズとを示す、ことと、物体検出によって示されるサイズを大きくすることによって物体検出を修正して膨張物体検出を得ることと、膨張物体検出と、別の物体検出、別の膨張物体検出、またはレーンの範囲の少なくとも1つとの間の距離を決定することと、距離が距離しきい値以下であることを決定することと、距離が距離しきい値以下であることに少なくとも部分的に基づいて、レーンが閉鎖されていることを示す閉鎖状態を決定することと、閉鎖状態に少なくとも部分的に基づいて、車両を制御することとを含む。
【0078】
B.物体検出を修正することは、第2の方向によりも第1の方向に平行なサイズを大きくすることを含む、A項の方法。
【0079】
C.閉鎖状態を決定することおよび修正することは、物体検出に関連付けられた分類が安全クラスを識別すると決定することに少なくとも部分的に基づき、安全クラスは、安全物体、安全人員、安全車両、または安全標識もしくは信号のうちの少なくとも1つを含む、AまたはB項のいずれかの方法。
【0080】
D.物体検出は、第1の物体検出であり、方法は、第1の物体検出の後に1つまたは複数の第2の物体検出を受信することと、1つまたは複数の第2の物体検出のうち少なくとも1つが安全クラスに関連付けられると決定することと、1つまたは複数の第2の物体検出のうち少なくとも1つが安全クラスに関連付けられると決定することに少なくとも部分的に基づいて閉鎖状態を維持することとをさらに含む、A~C項のいずれか1つの方法。
【0081】
E.物体検出を受信した後にセンサーデータを受信することと、センサーデータが、しきい値距離以上である車両によって移動される距離に対して、レーンに関連付けられた安全物体の不在を示すと決定することと、走行距離の間、センサーデータが、移動される距離に対して不在を示すと決定することに少なくとも部分的に基づいて、閉鎖状態をレーンが閉鎖されていないことを示す開放状態に置き換えることとをさらに含む、A~D項のいずれか1つの方法。
【0082】
F.少なくとも部分的に開放状態に基づいて自律車両を制御することをさらに含む、A~E項のいずれか1つの方法。
【0083】
G.システムは、1つまたは複数のセンサーと、1つまたは複数のプロセッサーと、1つまたは複数のプロセッサーによって実行されると、システムに、物体検出を受信することであって、物体検出は、環境における物体のロケーションと、物体の複数の寸法とを示し、複数の寸法は、物体に関連付けられたレーンの方向に沿った第1の寸法と、第1の方向に垂直な第2の寸法とを含む、ことと、レーンの幅またはレーンの方向の少なくとも1つに基づいて、第1の寸法または第2の寸法の少なくとも1つを修正して、膨張物体検出を得ることと、膨張物体検出と、別の物体検出、別の膨張物体検出、またはレーンの幅の少なくとも1つとの間の距離を決定することと、距離が距離しきい値よりも小さいと決定することと、距離が距離しきい値よりも小さいと決定することに少なくとも部分的に基づいて、レーンが閉鎖されていることを示す閉鎖状態を決定することとを含む動作を行わせるプロセッサー実行可能命令を格納するメモリーとを含む。
【0084】
H.第1の方向または第2の方向の少なくとも1つを修正することと、閉鎖状態を決定することとは、物体検出に関連付けられた分類が安全クラスを含むと決定することに少なくとも部分的にさらに基づき、安全クラスは、安全物体、安全人員、安全車両、または安全標識もしくは安全信号の少なくとも1つを含む、G項のシステム。
【0085】
I.物体検出は、第1の物体検出であり、動作は、第1の物体検出の後に1つまたは複数の第2の物体検出を受信することと、1つまたは複数の第2の物体検出のうちの少なくとも1つが安全クラスを含む分類に関連付けられると決定することと、1つまたは複数の第2の物体検出のうちの少なくとも1つが安全物体を識別する分類に関連付けられると決定することに少なくとも部分的に基づいて閉鎖状態を維持することとをさらに含む、GまたはH項のいずれかのシステム。
【0086】
J.動作は、物体検出を受信した後にセンサーデータを受信することと、レーンまたは隣り合ったレーンの少なくとも1つに関連付けられた第2の物体検出を決定することと、レーンまたは隣り合ったレーンの少なくとも1つに関連付けられた進行方向が塞がれていると決定することと、車道に関連付けられた平面において、安全クラスを識別する1つまたは複数の物体検出を含む多角形を決定することとをさらに含む、G~I項のいずれか1つのシステム。
【0087】
K.動作は、第2の物体検出、または第2のレーンに関連付けられた第2のセンサーデータに少なくとも部分的に基づいて、第2のレーンに関連付けられた開放状態を決定することであって、第2のレーンは、レーンに隣り合う、ことをさらに含む、G~J項のいずれか1つのシステム。
【0088】
L.動作は、1つまたは複数のセンサーからセンサーデータを受信することと、センサーデータに少なくとも部分的に基づいて、自律車両がジャンクションに非常に近いと決定することと、自律車両がジャンクションに非常に近いと決定することに少なくとも部分的に基づいて、閉鎖状態を維持することと、をさらに含む、G~K項のいずれか1つのシステム。
【0089】
M.動作は、車道の少なくとも一部と閉鎖状態を関連付けることと、リモートコンピューティングデバイスに、閉鎖状態と一部の識別とを送信することとをさらに含む、G~L項のいずれか1つのシステム。
【0090】
N.動作は、自律車両のセンサーからのセンサーデータに少なくとも部分的に基づいて、自律車両が移動する進行可能な表面が少なくともレーンを含むと決定することと、リモートコンピューティングシステムから、進行可能な表面に少なくとも部分的に基づいて、レーンが閉鎖されていることを示す第2の状態を受信することと、第2の状態および進行可能な表面に少なくとも部分的に基づいて、自律車両を制御するためのルートを決定することとをさらに含む、G~M項のいずれか1つのシステム。
【0091】
O.1つまたは複数のプロセッサーによって実行されると、1つまたは複数のプロセッサーに、物体検出を受信することであって、物体検出は、環境における物体のロケーションおよび物体のサイズを含む、ことと、物体検出に関連付けられたレーンの方向に少なくとも部分的に基づいて物体検出を修正して、膨張物体検出を取得することと、膨張物体検出と、レーンに関連付けられた別の物体検出、レーンに関連付けられた別の膨張物体検出、またはレーンの範囲の少なくとも1つとの間の距離を決定することと、距離が距離しきい値よりも小さいと決定することと、距離が距離しきい値よりも小さいと決定することに少なくとも部分的に基づいて、レーンが閉鎖されていることを示す閉鎖状態を決定することとを含む動作を行わせるプロセッサー実行可能命令を格納する非一時的なコンピューター読み取り可能媒体。
【0092】
P.物体検出を修正することと、閉鎖状態を決定することとは、物体検出に関連付けられた分類が安全クラスを含むと決定することに少なくとも部分的にさらに基づき、安全クラスは、安全物体、安全人員、安全車両、または安全標識もしくは安全信号の少なくとも1つを含む、O項の非一時的なコンピューター読み取り可能媒体。
【0093】
Q.物体検出は、第1の物体検出であり、動作は、第1の物体検出の後に1つまたは複数の第2の物体検出を受信することと、1つまたは複数の第2の物体検出のうちの少なくとも1つが安全物体を含む分類に関連付けられると決定することと、1つまたは複数の第2の物体検出のうちの少なくとも1つが安全物体を識別する分類に関連付けられると決定することに少なくとも部分的に基づいて閉鎖状態を維持することとをさらに含む、OまたはP項のいずれかの非一時的なコンピューター読み取り可能媒体。
【0094】
R.動作は、物体検出を受信した後にセンサーデータを受信することと、レーンまたは隣り合ったレーンの少なくとも1つに関連付けられた第2の物体検出を決定することと、レーンまたは隣り合ったレーンの少なくとも1つに関連付けられた進行方向が塞がれていると決定することと、車道に関連付けられた平面において、安全クラスを識別する1つまたは複数の物体検出を含む多角形を決定することとをさらに含む、O~Q項のいずれか1つの非一時的なコンピューター読み取り可能媒体。
【0095】
S.動作は、自律車両の1つまたは複数のセンサーからセンサーデータを受信することと、センサーデータに少なくとも部分的に基づいて、自律車両がジャンクションに非常に近いと決定することと、自律車両がジャンクションに非常に近いと決定することに少なくとも部分的に基づいて、閉鎖状態を維持することと、をさらに含む、O~R項のいずれか1つの非一時的なコンピューター読み取り可能媒体。
【0096】
T.動作は、車道の少なくとも一部と閉鎖状態を関連付けることと、リモートコンピューティングデバイスに、閉鎖状態と一部の識別とを送信することとをさらに含む、O~S項のいずれか1つの非一時的なコンピューター読み取り可能媒体。
【0097】
主題が構造的な特徴および/または方法論的な行為に特有の言葉において説明されたが、添付の特許請求の範囲において定義される主題が、説明される特定の特徴または行為に必ずしも制限されないということは、理解されることである。むしろ、特定の特徴および行為は、特許請求の範囲を実装する例示的なかたちとして開示される。
【0098】
本明細書において説明されるコンポーネントは、コンピューター読み取り可能媒体のあらゆる種類に格納されることがあり、ソフトウェアおよび/またはハードウェアに実装されることがある命令を表す。上に説明される方法および処理のすべては、1つまたは複数のコンピューターもしくはプロセッサーか、ハードウェアか、組み合わせかにより実行されるソフトウェアコードコンポーネントおよび/またはコンピューター実行可能な命令に具現化され完全に自動化されることがある。代替として、いくつかまたはすべての方法は、特殊化されたコンピューターハードウェアに具現化されることがある。
【0099】
特に他に述べられていない限り、条件付きの語、例えば、とりわけ、「ことがある」、「可能であろう」、「あり得る」、または「あり得るだろう」などは、ある例が、他の例は含まないが、ある特徴、エレメントおよび/またはステップを含むことがある文脈内において理解される。したがって、一般に、上記の条件付きの語は、ある特徴、エレメントおよび/もしくはステップが、1つもしくは複数の例に何らかの点において必要とされることを、または必然的に1つまたは複数の例が、ユーザーの入力もしくはプロンプティングの有無に関わらず、ある特徴、エレメントおよび/またはステップが含まれるかどうか、もしくはあらゆる特定の例において行われるべきであるかどうかを決めるためのロジックを含むことを、暗示することが意図されない。
【0100】
特に他に述べられていない限り、結合的な語、例えば、語句「X、Y、またはZのうちの少なくとも1つ」などは、項目、用語などが、各要素の複数の含む、X、Y、もしくはZか、またはあらゆる組み合わせかのいずれかであり得ることを示すことが理解されるべきである。単数として明示的に説明されない限り、「a」は、単数および複数を意味する。
【0101】
本明細書において説明されるフロー図における、および/または添付の図面に描かれるあらゆるルーチンの記述、エレメント、またはブロックは、ルーチン中の特定の論理関数またはエレメントを実装するために、1つまたは複数のコンピューター実行可能な命令を含むモジュール、セグメント、またはコードの部分を潜在的に表すとして理解されるべきである。代替えの実装は、エレメントまたはファンクションが、当業者に理解されるように含まれる機能に応じて、実質的に同時に、逆の順に、追加の動作とともに、または動作を省略することを含む、示されたまたは述べられたことから削除される、または順不同で実行されることがある、本明細書において説明される例の範囲内に含まれる。
【0102】
多くの変形および変更が、上述した例に対してなされることがあり、その要素が、他の許容可能な例の中にあるとして理解されるべきである。すべての上記の変更および変形は、本明細書において本開示の範囲内に含まれることが意図され、以下の特許請求の範囲によって保護される。