(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022013838
(43)【公開日】2022-01-18
(54)【発明の名称】トレーラーの後続車両およびトレーラーの状態を検知するためのトラック搭載型センサーを提供するシステムおよび方法
(51)【国際特許分類】
G01S 13/931 20200101AFI20220111BHJP
B60W 30/09 20120101ALI20220111BHJP
B60W 40/04 20060101ALI20220111BHJP
G01S 13/86 20060101ALI20220111BHJP
G01S 7/03 20060101ALI20220111BHJP
G08G 1/16 20060101ALI20220111BHJP
【FI】
G01S13/931
B60W30/09
B60W40/04
G01S13/86
G01S7/03 240
G08G1/16 C
【審査請求】未請求
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2021107315
(22)【出願日】2021-06-29
(31)【優先権主張番号】63/046,147
(32)【優先日】2020-06-30
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】521265955
【氏名又は名称】トゥーシンプル, インコーポレイテッド
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】チャールズ エー. プライス
(72)【発明者】
【氏名】シャオリン ハン
(72)【発明者】
【氏名】リンティン グ
(72)【発明者】
【氏名】ゼフア フアン
(72)【発明者】
【氏名】パンチュ ワン
(72)【発明者】
【氏名】チユ ジャン
(72)【発明者】
【氏名】ジョシュア ミゲル ロドリゲス
(72)【発明者】
【氏名】ジュンジュン シン
【テーマコード(参考)】
3D241
5H181
5J070
【Fターム(参考)】
3D241BA31
3D241CA15
3D241CE04
3D241DA02Z
3D241DA38Z
3D241DA51Z
3D241DB05Z
3D241DB09Z
3D241DC22Z
5H181AA02
5H181AA05
5H181AA07
5H181BB04
5H181BB05
5H181BB20
5H181CC02
5H181CC03
5H181CC04
5H181CC11
5H181CC12
5H181CC14
5H181FF04
5H181FF27
5H181FF32
5H181LL02
5H181LL04
5H181LL09
5J070AC01
5J070AC02
5J070AC06
5J070AE01
5J070AF03
5J070BD04
5J070BD06
5J070BD08
(57)【要約】
【課題】トレーラーの後続車両およびトレーラーの状態を検知するためのトラック搭載型センサーを提供するシステムおよび方法を提供すること。
【解決手段】システムであって、該システムは、自律トラックにおいて設置された車両制御サブシステムと;トレーラーが取り付け可能である該自律トラックのトラクターの一部分上に設置されたトラック搭載型センサーサブシステムであって、該トラック搭載型センサーサブシステムは、データ接続を介して該車両制御サブシステムに連結され、該トラック搭載型センサーサブシステムは、伝搬する電磁波を放出し、該電磁波の反射を受け取ることによって検知された物体を表す物体データを生成し、該物体データを該車両制御サブシステムに転送するように構成される、トラック搭載型センサーサブシステムとを備える、システム。
【選択図】なし
【特許請求の範囲】
【請求項1】
システムであって、該システムは、
自律トラックにおいて設置された車両制御サブシステムであって、該車両制御サブシステムは、データプロセッサを備える、車両制御サブシステムと、
トレーラーが取り付け可能である該自律トラックのトラクターの一部分上に設置されたトラック搭載型センサーサブシステムであって、該トラック搭載型センサーサブシステムは、データ接続を介して該車両制御サブシステムに連結され、該トラック搭載型センサーサブシステムは、該トレーラーの下の空間において伝搬する電磁波を放出し、該電磁波の反射を受け取ることによって検知された物体を表す物体データを生成し、該物体データを該車両制御サブシステムに転送するように構成される、トラック搭載型センサーサブシステムと
を備える、システム。
【請求項2】
前記トレーラーの下の固定された構造で反射された誤った電磁波をフィルタリングして取り除くように構成される、請求項1に記載のシステム。
【請求項3】
前記トラック搭載型センサーサブシステムは、前記トレーラーの後ろに0~150メートルの距離で後続する物体を検知する、請求項1に記載のシステム。
【請求項4】
前記トラック搭載型センサーサブシステムは、後続する物体の存在と、位置と、距離と、速度とを検知する、請求項1に記載のシステム。
【請求項5】
前記トラクターの後方部分において取り外し可能かつ調整可能に設置されるように構成された調整可能な搭載ブラケットをさらに備え、前記トラック搭載型センサーサブシステムは、該調整可能な搭載ブラケットに取り付けられている、請求項1に記載のシステム。
【請求項6】
前記調整可能な搭載ブラケットは、前記トラクターの前記後方部分に対して垂直方向と水平方向との両方に調整可能である、請求項5に記載のシステム。
【請求項7】
方法であって、該方法は、
自律トラックにおいて車両制御サブシステムを設置することであって、該車両制御サブシステムは、データプロセッサを備える、ことと、
トレーラーが取り付け可能である該自律トラックのトラクターの一部分上にトラック搭載型センサーサブシステムを取り外し可能に設置することであって、該トラック搭載型センサーサブシステムは、データ接続を介して該車両制御サブシステムに連結される、ことと、
該トレーラーの近くで画像を捕捉し、信号を放出することによって、センサーデータを生成することと、
該トラック搭載型センサーサブシステムの使用によって、該捕捉された画像または放出された信号において検知された物体を表す物体データを生成することと、
該物体データを該車両制御サブシステムに転送することと、
該物体データを使用して、該トラック搭載型センサーサブシステムによる該物体の該検出に応答した行動を実行するように自律車両に命令することと
を含む、方法。
【請求項8】
前記物体データを使用して、前記トレーラーに後続していると検知された少なくとも1つの物体の位置および速度を取得することをさらに含む、請求項7に記載の方法。
【請求項9】
前記物体データと、前記少なくとも1つの物体の前記位置および速度とを使用して、該少なくとも1つの物体に対応する脅威レベルを決定することをさらに含む、請求項8に記載の方法。
【請求項10】
前記少なくとも1つの物体に対応する前記脅威レベルを使用して、該脅威レベルが予め設定された閾値を超える場合、回避行動をとるように前記トラクターに命令することをさらに含む、請求項9に記載の方法。
【請求項11】
前記トラクター上の異なるセンサーを前記トラック搭載型センサーサブシステムと組み合わせて使用して、前記トレーラーに後続する物体を検知することをさらに含む、請求項7に記載の方法。
【請求項12】
前記異なるセンサーは、カメラと、レーザー測距装置/LIDARユニットと、慣性計測ユニット(IMU)と、グローバルポジショニングシステム(GPS)トランシーバーとから成る群からの種類のセンサーである、請求項11に記載の方法。
【請求項13】
前記トラック搭載型センサーサブシステムによる前記物体の前記検出に応答して実行される前記行動は、前記トラクターの前記操舵またはブレーキを調整することを含む、請求項7に記載の方法。
【請求項14】
システムであって、該システムは、
自律トラックにおいて設置された車両制御サブシステムであって、該車両制御サブシステムは、データプロセッサを備える、車両制御サブシステムと、
トレーラーが取り付け可能である該自律トラックのトラクターの一部分上に設置されたトラック搭載型センサーサブシステムであって、該トラック搭載型センサーサブシステムは、データ接続を介して該車両制御サブシステムに連結され、該トラック搭載型センサーサブシステムは、該トレーラーの状態を検知するために信号を捕捉するように構成され、該トラック搭載型センサーサブシステムは、該捕捉された信号によって検知されたような該トレーラーの該状態を表すセンサーデータを生成し、該センサーデータを該車両制御サブシステムに転送するようにさらに構成される、トラック搭載型センサーサブシステムと
を備える、システム。
【請求項15】
前記トラック搭載型センサーサブシステムは、カメラと、熱式または赤外線撮像カメラと、放射測定カメラと、超音波センサーとから成る群からのセンサーを備える、請求項14に記載のシステム。
【請求項16】
前記センサーデータは、画像データと、熱式画像データまたは熱シグネチャと、音響シグネチャとから成る群からのデータを備える、請求項14に記載のシステム。
【請求項17】
前記車両制御サブシステムは、訓練された機械学習モデルまたは分類器を使用して、前記センサーデータを処理するように構成される、請求項14に記載のシステム。
【請求項18】
前記トラック搭載型センサーサブシステムは、カメラと、レーダーユニットと、レーザー測距装置/LIDARユニットとから成る群からの種類のセンサーと共にさらに構成される、請求項14に記載のシステム。
【請求項19】
捕捉された画像からのデータを前記レーダーユニットからのデータと融合させるように構成される、請求項18に記載のシステム。
【請求項20】
前記LIDARユニットからのデータを前記レーダーユニットからのデータと融合させるように構成される、請求項18に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
(優先特許出願)
本特許出願は、2020年6月30日に出願された米国仮特許出願シリアル番号第63/046,147号から優先権を得る非仮特許出願である。本非仮特許出願は、参照される特許出願から優先権を得る。参照される特許出願の全体の開示は、本出願の開示の一部と考えられ、その全体が、本明細書において参照によって援用される。
【0002】
(著作権表示)
本特許書類の開示の一部は、著作権保護の対象である資料を含む。著作権の所有者は、特許書類または特許開示が誰によって複製されても、それが米国特許商標庁の特許ファイルまたは記録に載っている場合、異議を唱えないが、そうでなければ一切の著作権の権利を保有する。以下の表示は、本明細書における開示と、本書類の一部を形成する図面とに適用される。著作権2017-2021、TuSimple、著作権保有。
【0003】
(技術分野)
本特許書類は、概して、自律運転システム、物体検知、車両制御システム、レーダーシステム、カメラシステム、熱式検知システム、および超音波検知システムのためのツール(システム、器具、方法、コンピュータープログラム製品など)に関係し、特に、トレーラーの後続車両およびトレーラーの状態を検知するためのトラック搭載型センサーを提供するシステムおよび方法に関係するが、これに限定されない。
【背景技術】
【0004】
(背景)
自動車両を操作するプロセスの間、車線を変更するかまたはブレーキをかけるために十分な時間があるかどうかなど、操作者が慎重な運転決定をするために、操作者が様々な危険な物体の接近およびそれらの相対速度に関する情報を取得することが必要である。この情報は、車両を完全に取り囲む領域から取得されるべきである。この情報を集めるために、操作者は、例えば死角の占有について確認するために、頻繁に物理的に頭の向きを変える必要がある。そのような行動をするとき、運転者の注意は、車両の制御から必ず瞬間的に逸らされる。
【0005】
自動車について、死角は、典型的に、およそ運転者の位置から始まって後方に延び、時に、車両の後方を越えて延びる車両の一方の側において発生する。これらの死角の場所は、バックミラーの角度の調整に非常に依存する。問題は、車両の両側に沿ってより広い死角を有し得るだけでなくトラクター/トラックまたはトラクター/トラックによって牽引されているトレーラーのすぐ後ろに深刻な死角を有し得る、トラック、トラクター、および建設機械についてより複雑である。この死角は、この死角における小さい車両、バイク、歩行者、自転車などが運転者の視野から完全に隠され得る交通または都市領域においてトレーラーを牽引するトラクター/トラックにとって特に深刻である。トラクター/トラックの運転者またはトラクター/トラックのための自律制御システムが、後続車両などトレーラーの後ろの死角における物体を検知することができることが重要である。この物体または後続車両の検知が可能であれば、後方衝突警告機能またはより優れたブレーキ戦略が実施されることができる。しかし、従来のシステムは、トラクター/トラックによって牽引されているトレーラーの後ろの後続車両を検知するための解決手段を提供しない。典型的に、この検知目的のためにトレーラーの後ろにセンサーを設置することは、可能でないか、または実行可能でない。なぜなら、トラクター/トラックは、異なる所有者/顧客からの様々な異なる種類のトレーラーを牽引するために使用されることがあり、トラックの運転者は、典型的に、トレーラーを修正するためのアクセスまたは許可を有していないからである。
【0006】
追加的に、トレーラーの状態およびトレーラーの後方端における車輪またはタイヤの状態を監視することが重要である。トレーラータイヤのうちの任意の1つがパンク、再生タイヤの破砕、または低圧状態を経験する場合、危険な状態が生じ得る。タイヤ搭載型センサー技術は存在するものの、これらのタイヤ搭載型センサーは、異なるトレーラー所有者のために様々な異なる種類のトレーラーを牽引するトラクター/トラックでの使用について実用的でないこともある。さらに、これらのタイヤ搭載型センサーは、自律トラックと共に使用されない。現在、自律トラックは、自律トラックによって牽引されているトレーラーまたはトレーラーの車輪もしくはタイヤに発生している危険な状態を検知することができない。
【発明の概要】
【課題を解決するための手段】
【0007】
トレーラーの後続車両およびトレーラーの状態を検知するためのトラック搭載型センサーを提供するシステムおよび方法が本明細書において開示される。例示的実施形態のシステムは、自律トラックにおいて設置された車両制御サブシステムであって、車両制御サブシステムは、データプロセッサを備える、車両制御サブシステムと;トレーラーが取り付け可能である自律トラックのトラクターの後方部分、側部分、前方部分、または上部分上に設置されたトラック搭載型レーダーサブシステムであって、トラック搭載型レーダーサブシステムは、データ接続を介して車両制御サブシステムに連結され、トラック搭載型レーダーサブシステムは、トレーラーの下の空間において伝搬する電磁波を放出し、電磁波の反射を受け取ることによって検知された物体を表す物体データを生成し、物体データを車両制御サブシステムに転送するように構成される、トラック搭載型レーダーサブシステムとを備える。
【0008】
追加的に、トレーラーの状態または種類を検知するためのトラック搭載型センサーを提供するシステムおよび方法が本明細書において開示される。例示的実施形態のシステムは、自律トラックにおいて設置された車両制御サブシステムであって、車両制御サブシステムは、データプロセッサを備える、車両制御サブシステムと;トレーラーまたは複数のトレーラーが取り付け可能である自律トラックのトラクターの一部分上に設置されたトラック搭載型センサーサブシステムであって、トラック搭載型センサーサブシステムは、データ接続を介して車両制御サブシステムに連結され、トラック搭載型センサーサブシステムは、トレーラーまたは複数のトレーラーの状態を検知するための信号を捕捉するように構成され、トラック搭載型センサーサブシステムは、捕捉された信号によって検知されたようなトレーラーまたは複数のトレーラーの状態を表すセンサーデータを生成し、センサーデータを車両制御サブシステムに転送するようにさらに構成される、トラック搭載型センサーサブシステムとを備える。様々な例示的実施形態の詳細は、下記において説明され、本出願の図において例示される。
本発明は、例えば、以下の項目を提供する。
(項目1)
システムであって、該システムは、
自律トラックにおいて設置された車両制御サブシステムであって、該車両制御サブシステムは、データプロセッサを備える、車両制御サブシステムと、
トレーラーが取り付け可能である該自律トラックのトラクターの一部分上に設置されたトラック搭載型センサーサブシステムであって、該トラック搭載型センサーサブシステムは、データ接続を介して該車両制御サブシステムに連結され、該トラック搭載型センサーサブシステムは、該トレーラーの下の空間において伝搬する電磁波を放出し、該電磁波の反射を受け取ることによって検知された物体を表す物体データを生成し、該物体データを該車両制御サブシステムに転送するように構成される、トラック搭載型センサーサブシステムと
を備える、システム。
(項目2)
上記トレーラーの下の固定された構造で反射された誤った電磁波をフィルタリングして取り除くように構成される、上記項目に記載のシステム。
(項目3)
上記トラック搭載型センサーサブシステムは、上記トレーラーの後ろに0~150メートルの距離で後続する物体を検知する、上記項目のいずれかに記載のシステム。
(項目4)
上記トラック搭載型センサーサブシステムは、後続する物体の存在と、位置と、距離と、速度とを検知する、上記項目のいずれかに記載のシステム。
(項目5)
上記トラクターの後方部分において取り外し可能かつ調整可能に設置されるように構成された調整可能な搭載ブラケットをさらに備え、上記トラック搭載型センサーサブシステムは、該調整可能な搭載ブラケットに取り付けられている、上記項目のいずれかに記載のシステム。
(項目6)
上記調整可能な搭載ブラケットは、上記トラクターの上記後方部分に対して垂直方向と水平方向との両方に調整可能である、上記項目のいずれかに記載のシステム。
(項目7)
方法であって、該方法は、
自律トラックにおいて車両制御サブシステムを設置することであって、該車両制御サブシステムは、データプロセッサを備える、ことと、
トレーラーが取り付け可能である該自律トラックのトラクターの一部分上にトラック搭載型センサーサブシステムを取り外し可能に設置することであって、該トラック搭載型センサーサブシステムは、データ接続を介して該車両制御サブシステムに連結される、ことと、
該トレーラーの近くで画像を捕捉し、信号を放出することによって、センサーデータを生成することと、
該トラック搭載型センサーサブシステムの使用によって、該捕捉された画像または放出された信号において検知された物体を表す物体データを生成することと、
該物体データを該車両制御サブシステムに転送することと、
該物体データを使用して、該トラック搭載型センサーサブシステムによる該物体の該検出に応答した行動を実行するように自律車両に命令することと
を含む、方法。
(項目8)
上記物体データを使用して、上記トレーラーに後続していると検知された少なくとも1つの物体の位置および速度を取得することをさらに含む、上記項目のいずれかに記載の方法。
(項目9)
上記物体データと、上記少なくとも1つの物体の上記位置および速度とを使用して、該少なくとも1つの物体に対応する脅威レベルを決定することをさらに含む、上記項目のいずれかに記載の方法。
(項目10)
上記少なくとも1つの物体に対応する上記脅威レベルを使用して、該脅威レベルが予め設定された閾値を超える場合、回避行動をとるように上記トラクターに命令することをさらに含む、上記項目のいずれかに記載の方法。
(項目11)
上記トラクター上の異なるセンサーを上記トラック搭載型センサーサブシステムと組み合わせて使用して、上記トレーラーに後続する物体を検知することをさらに含む、上記項目のいずれかに記載の方法。
(項目12)
上記異なるセンサーは、カメラと、レーザー測距装置/LIDARユニットと、慣性計測ユニット(IMU)と、グローバルポジショニングシステム(GPS)トランシーバーとから成る群からの種類のセンサーである、上記項目のいずれかに記載の方法。
(項目13)
上記トラック搭載型センサーサブシステムによる上記物体の上記検出に応答して実行される上記行動は、上記トラクターの上記操舵またはブレーキを調整することを含む、上記項目のいずれかに記載の方法。
(項目14)
システムであって、該システムは、
自律トラックにおいて設置された車両制御サブシステムであって、該車両制御サブシステムは、データプロセッサを備える、車両制御サブシステムと、
トレーラーが取り付け可能である該自律トラックのトラクターの一部分上に設置されたトラック搭載型センサーサブシステムであって、該トラック搭載型センサーサブシステムは、データ接続を介して該車両制御サブシステムに連結され、該トラック搭載型センサーサブシステムは、該トレーラーの状態を検知するために信号を捕捉するように構成され、該トラック搭載型センサーサブシステムは、該捕捉された信号によって検知されたような該トレーラーの該状態を表すセンサーデータを生成し、該センサーデータを該車両制御サブシステムに転送するようにさらに構成される、トラック搭載型センサーサブシステムと
を備える、システム。
(項目15)
上記トラック搭載型センサーサブシステムは、カメラと、熱式または赤外線撮像カメラと、放射測定カメラと、超音波センサーとから成る群からのセンサーを備える、上記項目のいずれかに記載のシステム。
(項目16)
上記センサーデータは、画像データと、熱式画像データまたは熱シグネチャと、音響シグネチャとから成る群からのデータを備える、上記項目のいずれかに記載のシステム。
(項目17)
上記車両制御サブシステムは、訓練された機械学習モデルまたは分類器を使用して、上記センサーデータを処理するように構成される、上記項目のいずれかに記載のシステム。
(項目18)
上記トラック搭載型センサーサブシステムは、カメラと、レーダーユニットと、レーザー測距装置/LIDARユニットとから成る群からの種類のセンサーと共にさらに構成される、上記項目のいずれかに記載のシステム。
(項目19)
捕捉された画像からのデータを上記レーダーユニットからのデータと融合させるように構成される、上記項目のいずれかに記載のシステム。
(項目20)
上記LIDARユニットからのデータを上記レーダーユニットからのデータと融合させるように構成される、上記項目のいずれかに記載のシステム。
(摘要)
トレーラーの後続車両およびトレーラーの状態を検知するためのトラック搭載型センサーを提供するシステムおよび方法が開示される。例示的実施形態のシステムは、自律トラックにおいて設置された車両制御サブシステムであって、車両制御サブシステムは、データプロセッサを備える、車両制御サブシステムと;トレーラーが取り付け可能である自律トラックのトラクターの一部分上に設置されたトラック搭載型センサーサブシステムであって、トラック搭載型センサーサブシステムは、データ接続を介して車両制御サブシステムに連結され、トラック搭載型センサーサブシステムは、トレーラーの下の空間において伝搬する電磁波を放出し、電磁波の反射を受け取ることによって検知された物体を表す物体データを生成し、物体データを車両制御サブシステムに転送するように構成される、トラック搭載型センサーサブシステムとを備える。
【図面の簡単な説明】
【0009】
様々な実施形態が、添付の図面における図において、限定としてではなく例として例示される。添付の図面は、以下の通りである。
【0010】
【
図1】
図1は、取り付けられたトレーラーを牽引するトラクター/トラックの側面図を例示しており、トレーラーの後ろの死角において後続車両があり、トラクター/トラックは、例示的実施形態に従う後方向きレーダーサブシステムと共に構成されている。
【0011】
【
図2】
図2は、例示的実施形態に従う後方向きレーダーサブシステムと共に構成されたトラクター/トラックの後方斜視図を例示する。
【0012】
【
図3】
図3は、取り付けられたトレーラーを牽引するトラクター/トラックの側面図を例示しており、トラクター/トラックは、例示的実施形態に従う後方向きレーダーサブシステムと共に構成されており、トレーラーの底面とトレーラーの下の地面とが導波路を作り出し、レーダー電磁波は、導波路を通って伝搬し、進行する。
【0013】
【
図4】
図4は、取り付けられたトレーラーを牽引するトラクター/トラックの底面図を例示しており、トレーラーの後ろの死角において後続車両があり、トラクター/トラックは、例示的実施形態に従う後方向きレーダーサブシステムと共に構成され、トレーラーの底面とトレーラーの下の地面とが導波路を作り出し、レーダー電磁波は、導波路を通って伝搬し進行して、後続車両を検知する。
【0014】
【
図5】
図5は、トレーラーの後続車両を検知するための後方向きレーダーサブシステムを提供するための方法の例示的実施形態を例示するプロセスフロー図である。
【0015】
【
図6】
図6は、例示的実施形態の車載制御システムおよびレーダーデータ処理モジュールが実施されることができる例示的エコシステムを示すブロック図を例示する。
【0016】
【
図7】
図7は、後方向きレーダーサブシステムを使用してトレーラーの後続車両を検知する、および、車載制御システムを使用してレーダーデータを処理し、それによって自律車両を制御する方法の例示的実施形態を例示するプロセスフロー図である。
【0017】
【
図8】
図8は、取り付けられたトレーラーを牽引するトラクター/トラックの側面図を示す別の例示的実施形態を例示しており、トラクター/トラックは、トレーラー車輪の状態を検知するための後方向きセンサーサブシステムと共に構成されている。
【0018】
【
図9】
図9は、取り付けられたトレーラーを牽引するトラクター/トラックの底面図を示す例示的実施形態を例示しており、トラクター/トラックは、トレーラー車輪の状態を検知するための後方向きセンサーサブシステムと共に構成されている。
【0019】
【
図10】
図10は、後方向きセンサーサブシステムを使用してトレーラーの状態を検知する、および、車両制御サブシステムを使用してセンサーデータを処理し、それによって自律車両を制御する方法の例示的実施形態を例示するプロセスフロー図である。
【0020】
【
図11】
図11は、中央コンピューターとデータ通信している単一後方レーダーユニットを含むセンサーサブシステムの例示的実施形態を例示する。
【0021】
【
図12】
図12は、それぞれが中央コンピューターとデータ通信している後方レーダーユニットと、後方左レーダーユニットと、後方右レーダーユニットと、後方右カメラと、後方左カメラとを含むセンサーサブシステムの例示的実施形態を例示する。
【0022】
【
図13】
図13は、それぞれが中央コンピューターとデータ通信している後方レーダーユニットと、後方左レーダーユニットと、後方右レーダーユニットと、後方右カメラと、後方左カメラと、後方右LIDARユニットと、後方左LIDARユニットとを含むセンサーサブシステムの例示的実施形態を例示する。
【0023】
【
図14】
図14は、トラックまたはトラクターのためのラックまたは搭載要素に一体化されたカメラサブシステムの例示的実施形態を例示する。
【0024】
【
図15】
図15は、トラックまたはトラクターの部分に一体化されたLIDARサブシステムの例示的実施形態を例示する。
【0025】
【
図16】
図16は、トラックまたはトラクターの後方搭載ブラケットに一体化されたセンサーサブシステムの例示的実施形態を例示する。
【0026】
【
図17】
図17は、トラックまたはトラクターの部分に一体化されたレーダーサブシステムの例示的実施形態を例示する。
【0027】
【
図18】
図18は、後方向きセンサーサブシステムを使用してトレーラーの状態またはトレーラーの状況を検知する、および、車両制御サブシステムを使用してセンサーデータを処理し、それによって自律車両を制御する方法の例示的実施形態を例示するプロセスフロー図である。
【0028】
【
図19】
図19から
図21は、様々な形態のセンサーデータを融合させる方法の例示的実施形態を例示するプロセスフロー図である。
【
図20】
図19から
図21は、様々な形態のセンサーデータを融合させる方法の例示的実施形態を例示するプロセスフロー図である。
【
図21】
図19から
図21は、様々な形態のセンサーデータを融合させる方法の例示的実施形態を例示するプロセスフロー図である。
【発明を実施するための形態】
【0029】
(詳細な説明)
以下の記述において、説明の目的のために、様々な実施形態の完全な理解を提供するために多数の特定の詳細が示される。しかし、様々な実施形態がこれらの特定の詳細なしに実践され得るということが当業者に自明であるだろう。
【0030】
トレーラーの後続車両およびトレーラーの状態を検知するためのトラック搭載型センサーを提供するシステムおよび方法が、本明細書において開示される。トラクター/トレーラー、大型トレーラートラック、または18輪トラックは、たいていの車道上において一般的である。これらのトラクター/トレーラーは、通常、典型的に貨物を運搬するために使用される、1つ以上のトレーラーに取り外し可能に取り付けられたトラックまたはトラクターを含む。これらの大型トレーラートラックが、様々な異なる所有者または顧客によって所有または操作される様々な異なる種類のトレーラーを取り付け、運搬することは、一般的である。たいていの場合、トラック操作者は、トレーラーの構成またはトラクター/トラックによって運搬されているトレーラーを修正することを許可されていないか、またはそのようにすることが法的に可能でない。その結果、後続車両を検知するためにトレーラーの後ろにセンサーを取り付けることは、許可されないか、または実行可能でない。従って、後続車両検知のためにトレーラーの後ろにカメラ、レーダーユニット、またはLIDARセンサーを取り付けることは、実行可能でない。
【0031】
トレーラーまたは複数のトレーラーの下の、前方車軸および後方車軸とトレーラー車輪のセットとの間の領域には、通常、障害物が存在しない。しかし、典型的に、トラクター/トラックの後方から、トレーラーの下において、トレーラーの後方の外側において、遮られていない見通し視野は、存在しない。なぜなら、後方車軸およびトレーラー車輪の後方のセットならびに他のトレーラー構造がこの視野の大部分を遮っているからである。
【0032】
これらの問題を克服するために、本明細書において説明される様々な実施形態は、トラクター/トラックの後方端において、かつ第五輪カプラの近くで取り外し可能かつ調整可能に設置されたトラック搭載型レーダーユニットを使用する。本明細書において開示される様々な例示的実施形態のトラック搭載型レーダー解決手段は、トラクター/トラックの後ろから、かつトラクター/トラックによって牽引されているトレーラーまたは複数のトレーラーの下において、後方に向かって電磁波を放出する。トレーラーまたは複数のトレーラーの下面とトレーラー(1つまたは複数)の下の地面との間の領域は、導波路として作用して、電磁波が、トラクター/トラックの後方からトレーラーまたは複数のトレーラーの後方端へ、そしてその先へ伝搬し、進行することを可能にする。カメラまたはLIDARと異なり、トラック搭載型レーダーサブシステムによって放出される電磁波は、遮られていない見通し視野を必要としない。これらの電磁波は、トレーラーまたは複数のトレーラーの下の導波路において進行し、トレーラー(1つまたは複数)の後ろの物体(例えば、後続車両または後ろに密接についてくる運転者)で反射することができる。反射された電磁波は、トレーラーまたは複数のトレーラーの下の導波路を通って戻ってくることができ、トラクター/トラック上におけるトラック搭載型レーダーサブシステムによって受け取られることができる。標準的なレーダーデバイスと同様に、これらの反射された電磁信号は、トレーラー(1つまたは複数)の後ろの死角区域内におけるトレーラーまたは複数のトレーラーに後続する任意の車両を検知するために使用されることができる。
【0033】
本明細書において開示される様々な例示的実施形態は、トレーラー(1つまたは複数)から電気的かつ機械的に単離されている。従って、トレーラーに対していかなるハードウェア修正、設置、その他の修正も必要とされない。例示的実施形態によって提供されるトレーラーの後ろの後続車両の検知を考慮すると、トラクター/トラックにおける自律車両制御システムは、後続車両検知情報を使用して、自律的に制御されたトラクター/トラックについて、後続車両との衝突を回避するための特定のブレーキ戦略、車線変更戦略、または他の制御戦略を実施することができる。その結果、トラクター/トラックにおける自律車両制御システムは、より包括的であることができ、突然のブレーキおよび後方衝突を引き起こす事態に対してより高感度であることができる。従って、これらの事態は、回避または軽減されることができる。
【0034】
図1は、取り付けられたトレーラー110を牽引するトラクター/トラック100の側面図を例示しており、トレーラーの後ろの死角において後続車両120があり、トラクター/トラック100は、例示的実施形態に従う後方向きレーダーサブシステム200と共に構成されている。
図1は、トラクター/トラック100によって牽引されている単一のトレーラー110を示しているが、本明細書において開示されるシステムおよび方法は、複数のトレーラーを牽引するトラクター/トラック100で同様に実施されることができることが、本明細書における開示を参照して、当業者によって理解されるであろう。下記においてより詳細に説明されるように、トラクター/トラック100の後方に取り外し可能かつ調整可能に取り付けられた後方向きレーダーサブシステム200は、トラクター/トラック100の後ろから、かつトラクター/トラック100によって牽引されているトレーラー110の下において、後方に向かって電磁波を放出することができる。トレーラー110の下面とトレーラー110の下の地面との間の領域は、導波路として作用して、電磁波が、トラクター/トラック100の後方からトレーラー110の後方端へ、そしてその先へ伝搬し、進行することを可能にする。これらの電磁波は、トレーラー110の下の導波路において進行し、トレーラー110の後ろの物体120(例えば、後続車両)で反射することができる。反射された電磁波は、トレーラー110の下の導波路を通って戻ってくることができ、トラクター/トラック100の後方向きレーダーサブシステム200によって受け取られることができる。異なる種類のレーダーデバイスは、トレーラー110の下の導波路を突き抜けるときに、異なる性能特性を有する。様々なメーカーからの利用可能な特定のレーダーデバイスは、さらに遠くまで突き抜け、伝搬することが可能である一方、他のレーダーデバイスは、より多くの物体検知を出力することができる。本明細書の開示を参照すると、これらの種類のレーダーデバイスのうちの任意のものが、本明細書において開示されるような後方向きレーダーサブシステム200として使用されることができることが当業者にとって明らかであるだろう。
【0035】
図2は、例示的実施形態に従う後方向きレーダーサブシステム200と共に構成されたトラクター/トラック100の後方斜視図を例示する。例示的実施形態について示されるように、後方向きレーダーサブシステム200は、トラクター/トラック100の後方端において、かつトラクター/トラックの第五輪カプラの近くで(典型的に、トラクター/トラックの第五輪カプラの後ろに)取り外し可能かつ調整可能に設置されることができる。後方向きレーダーサブシステム200の電磁波エミッタは、調整可能な搭載ブラケット210を使用することによって、トラクター/トラック100の後方端において取り外し可能かつ調整可能に設置されることができる。調整可能な搭載ブラケット210は、レーダーの電磁波エミッタが垂直方向と水平方向との両方に調整可能であることを可能にするように構成される。調整可能な搭載ブラケット210は、レーダーの電磁波エミッタの垂直方向の調整を可能にするための摺動搭載台を提供することができる。搭載ブラケット210およびそれに搭載されたレーダーの電磁波エミッタの水平方向の調整を可能にするために、複数のブラケット搭載穴がトラクター/トラック100の後方枠において提供されることができる。調整可能な搭載ブラケット210は、トラクター/トラック100の後方枠への搭載ブラケット210の取り外し可能な取り付けのために、ヒッチピンも提供することができる。後方向きレーダーサブシステム200は、ボルトまたはねじで調整可能な搭載ブラケット210に取り外し可能に取り付けられることができる。搭載ブラケット210の場所の最適化は、後方向き検知についてのレーダーユニット200の性能に依拠することができる。概して、レーダーユニット200の配置の2つのパラメーターが調整され最適化されることができる:1)地面反射抑制によって最適化されるレーダーユニット200の設置の高さ(垂直方向の調整);および2)レーダーユニット200の性能および地面の破片からのレーダーユニット200の機械的保護によって最適化されるレーダーユニット200の配置の長手方向の平行移動(水平方向の調整)。本明細書における開示を参照すると、調整可能な搭載ブラケット210を実施するための代替的な手段が可能であることが当業者にとって明らかであるだろう。後方向きレーダーサブシステム200からの電気的およびデータ接続は、トラクター/トラック100において設置された車両制御サブシステム220に送られることができる。設置されると、後方向きレーダーサブシステム200は、電磁波放出および物体検知のために活性化され、初期化されることができる。後方向きレーダーサブシステム200は、有線または無線データ接続を介して車両制御サブシステム220とデータ通信することができる。
【0036】
図3は、取り付けられたトレーラー110を牽引するトラクター/トラック100の側面図を例示しており、トラクター/トラック100は、例示的実施形態に従う後方向きレーダーサブシステム200と共に構成されており、トレーラー110の底面とトレーラー110の下の地面とが導波路300を作り出し、レーダー電磁波215は、導波路を通って伝搬し、進行する。後方向きレーダーサブシステム200が電磁波215放出のために活性化され初期化されると、後方向きレーダーサブシステム200は、トラクター/トラック100の後ろから、かつトラクター/トラック100によって牽引されているトレーラー110の下において、後方に向かって電磁波215を放出することができる。トレーラー110の下面とトレーラー110の下の地面との間の領域は、導波路300として作用して、電磁波215が、トラクター/トラック100の後方からトレーラー110の後方端へ、そしてその先へ伝搬し、進行することを可能にする。後方向きレーダーサブシステム200によって放出される電磁波215は、トレーラー110の後方に向かって遮られていない見通し視野を必要としない。これらの電磁波215は、トレーラー110の下の導波路300において進行し、トレーラー110の後ろの物体(例えば、後続車両)で反射することができる。反射された電磁波216は、トレーラー110の下の導波路300を通って戻ってくることができ、トラクター/トラック100上における後方向きレーダーサブシステム200によって受け取られることができる。後方向きレーダーサブシステム200は、トレーラー110の下の固定された構造で反射された任意の誤った電磁波をフィルタリングして取り除くように構成されることができる。さらに、後方向きレーダーサブシステム200のフィルタリング論理は、トラクター/トラック100の運動も占めるようにさらに構成される。例えば、トラクター/トラック100が急カーブを切る場合、トレーラー(1つまたは複数)110が異なる方向に動いている可能性があるため、後方向きレーダーサブシステム200のフィルタリング論理は、適宜フィルタリング領域を変更するようにさらに構成される。特定の実施形態において、レーダーユニット200波戻りのフィルタリングは、様々な種類のトレーラー110のオフライン経験的テストを通してベースラインレーダー波戻りプロフィールを設定することによって実施されることができる。そして、実際の運転シナリオにおける後方向きレーダーサブシステム200の操作上の使用の間、ベースラインレーダー波戻りプロフィールは、操作上の使用の間、レーダーユニット200によって受け取られる波戻りから引かれるか、または当該波戻りと比較されることができる。代替的な実施形態において、フィルタリングプロセスは、トレーラー110の後ろの距離を考慮して、範囲ウィンドウを設定することができる。範囲ウィンドウ外の任意の物体検知は、除去されるか、または無視されることができる。その結果、トレーラー110の下の固定された構造で反射された誤った電磁波は、除去されるか、識別されるか、または別様にフィルタリングされて取り除かれることができる。標準的なレーダーデバイスと同様に、残りの反射された電磁信号216は、トレーラー110の後ろの死角区域内におけるトレーラー110に後続する任意の車両を検知するために使用されることができる。後方向きレーダーサブシステム200は、反射された電磁信号216において検知された物体を表す物体データを生成することができる。この物体データは、下記において説明されるように、有線または無線データ接続を介して車両制御サブシステム220に通信されることができる。
【0037】
図4は、取り付けられたトレーラー110を牽引するトラクター/トラック100の底面図を例示しており、トレーラー110の後ろの死角400において後続車両120があり、トラクター/トラック100は、例示的実施形態に従う後方向きレーダーサブシステム200と共に構成され、トレーラー110の底面とトレーラーの下の地面とが導波路300を作り出し、レーダー電磁波215は、導波路を通って伝搬し進行して、後続車両120を検知する。上記において説明されたように、トラクター/トラック100の後方端において取り外し可能かつ調整可能に設置された後方向きレーダーサブシステム200は、トラクター/トラック100の後ろから、かつトラクター/トラック100によって牽引されているトレーラー110の下において、後方に向かって電磁波215を放出することができる。導波路300は、電磁波215が、トラクター/トラック100の後方からトレーラー110の後方端へ、そしてその先へ伝搬し、進行することを可能にする。後方向きレーダーサブシステム200によって放出される電磁波215は、トレーラー110の後方に向かって遮られていない見通し視野を必要としない。これらの電磁波215は、トレーラー110の下の導波路300において進行し、トレーラー110の後ろの物体(例えば、後続車両)で反射することができる。例えば、
図4において示されるように、後方向きレーダーサブシステム200によって放出される電磁波215は、拡大して、トレーラー110の後ろの死角400において走行している後続車両120で反射することができる。反射された電磁波216は、トレーラー110の下の導波路300を通って戻ってくることができ、トラクター/トラック100上における後方向きレーダーサブシステム200によって受け取られることができる。標準的なレーダーデバイスと同様に、これらの反射された電磁波216は、トレーラー110の後ろの死角区域400内における、トレーラー110に後続する任意の車両1120を検知するために使用されることができる。例示的実施形態において、後方向きレーダーサブシステム200は、0~150メートルの距離でトレーラー110の後ろにいる後続車両120を検知することができる。後続車両120の相対速度も、後方向きレーダーサブシステム200によって検知されることができる。後方向きレーダーサブシステム200は、反射された電磁信号216において検知された物体の存在、位置、距離、および速度を表す物体データを生成することができる。
【0038】
例示的実施形態において、後方向きレーダーサブシステム200は、反射された電磁信号216において検知された物体の大きさおよび形状も検知することができる。この物体データは、有線または無線データ接続を介して車両制御サブシステム220に通信されることができる。車両制御サブシステム220は、検知された後続車両を表す物体データを使用して、検知された後続車両(例えば、後ろに密接についてくる運転者)との衝突または他の対立を回避するための特定のブレーキ戦略、車線変更戦略、または他の自律車両制御戦略を調整または実施することができる。開示されたトラクター/トラック搭載型後方向きレーダーサブシステム200を使用することによって、トレーラー110の後ろの死角区域400における後続車両120は、検知されることができる。従って、トレーラー110を有するトラクター/トラック100と後続車両120との間の衝突は、後方向きレーダーサブシステム200によって生成される検知された後続車両を表す物体データを使用することによって、回避または軽減されることができる。この検知された物体情報を使用することによって、トラクター/トラック100における車両制御サブシステム220は、後続車両120との衝突を回避するための回避行動をとるためにブレーキをかける、加速する、車線変更を実施する、一時的に車線変更を抑制または防止する、車両軌道を修正する、または別様にトラクター/トラック100を制御するようにトラクター/トラック100に命令することができる。本明細書において使用される場合、回避行動は、自律車両に接近している物体(例えば、車両)の検知に対する反応として実行または抑制される、自律車両によって実行または抑制される任意の行動を意味し、物体の検知は、自律車両の現在の軌道、速度、または加速度との生じ得る対立を表す。例示的実施形態において、トラクター/トラック100における車両制御サブシステム220は、後続する後ろに密接についてくる運転者を検知すると、改善行動をとるようにトラクター/トラック100に命令することができ、改善行動は、後ろに密接についてくる運転者の存在に基づいて後続距離を調整すること;後ろに密接についてくる運転者の予測に基づいて車線変更決定を調整すること;後ろに密接についてくる運転者に追い越すように促すためにより遅い速さに変更する(減速する)こと;および後ろに密接についてくる運転者からの距離を増加させるためにより速い速さに変更する(加速する)ことを含む。概して、開示されたトラクター/トラック搭載型後方向きレーダーサブシステム200の使用によって、車両制御サブシステム220への入力として後方向きレーダーサブシステム200によって提供される検知された物体情報は、自律車両のより安全でより円滑な操縦をもたらすであろう。運転のシナリオおよび規制によって、検知された物体情報に応答して車両制御サブシステム220によって発せられる車両制御命令は、衝突の可能性、突然向きを変える操縦、または困難な停止を最小限にするために選択され、予め構成され、最適化されることができる。
【0039】
ここで、
図5を参照すると、プロセスフロー図は、トレーラーの後続車両を検知するための後方向きレーダーサブシステムを提供するための方法1000の例示的実施形態を例示している。例示的実施形態は、自律トラックにおいて車両制御サブシステムを設置することであって、車両制御サブシステムは、データプロセッサを備える、こと(処理ブロック1010)と;トレーラーが取り付け可能である自律トラックのトラクターの後方部分上に後方向きレーダーサブシステムを取り外し可能に設置することであって、後方向きレーダーサブシステムは、データ接続を介して車両制御サブシステムに連結されている、こと(処理ブロック1020)と;後方向きレーダーサブシステムを活性化して、トレーラーの下の空間において伝搬する電磁波を放出すること(処理ブロック1030)と;後方向きレーダーサブシステムの使用によって、電磁波の反射を受け取ることによって検知される物体を表す物体データを生成すること(処理ブロック1040)と;物体データを車両制御サブシステムに転送すること(処理ブロック1050)とを行うように構成されることができる。
【0040】
ここで、
図6を参照すると、ブロック図は、例示的実施形態の車載制御システム1150およびセンサーデータ処理モジュール1200が実施されることができる例示的エコシステム1100を例示している。本明細書において説明されるような車両制御サブシステム220は、下記においてより詳細に説明されるような車載制御システム1150に対応することができる。エコシステム1100は、1つ以上の情報源/データおよび車載制御システム1150に関連するサービスを生成および/または送達することができる様々なシステムおよび構成要素と、トラクター/トラックまたは他の車両100において設置されることができるセンサーデータ処理モジュール1200とを含む。例えば、車両サブシステム1140のデバイスのうちの1つとしての、車両100において設置されるかまたは車両100上において設置される1つ以上のカメラは、車載制御システム1150によって受け取られることができる画像およびタイミングデータを生成することができる。車両100において設置されるかまたは車両100上において設置される1つ以上のカメラは、車両100の周りの環境の画像を捕捉するための様々な種類のカメラレンズ(例えば、広角または近距離レンズ、中間距離レンズ、および長距離レンズ)を備え付けられることができる。追加的に、センサーデータ処理モジュール1200は、上記において説明されたようにトレーラーの後続車両を検知するために設置された後方向きレーダー200からのレーダーデータを受け取ることができる。車載制御システム1150と、その中において遂行するセンサーデータ処理モジュール1200とは、このレーダーデータを入力として受け取ることができる。本明細書においてより詳細に説明されるように、センサーデータ処理モジュール1200は、レーダーデータを処理し、トレーラーの後続車両(または他の物体)の検知を可能にすることができ、それは、車両サブシステム1140のサブシステムのうちの別の1つとして車両制御サブシステムによって使用されることができる。車両制御サブシステムは、例えば、障害を回避し車両を安全に制御しながら、現実世界の運転環境を通して車両100を安全かつ効率的にナビゲートし制御するために、トレーラーの後続車両の検知を使用することができる。
【0041】
本明細書において説明されるような例示的実施形態において、車載制御システム1150は、複数の車両サブシステム1140とデータ通信することができ、それらのうち全ては、トラクター/トラックまたは他の車両100に内在することができる。車両サブシステムインターフェース1141は、車載制御システム1150と複数の車両サブシステム1140との間のデータ通信を容易にするために提供される。車載制御システム1150は、車両サブシステム1140のうちの1つ以上から受け取られるレーダーデータを処理するためのセンサーデータ処理モジュール1200を遂行するために、データプロセッサ1171を含むように構成されることができる。データプロセッサ1171は、車載制御システム1150におけるコンピューティングシステム1170の一部としてデータ格納デバイス1172と組み合わせられることができる。データ格納デバイス1172は、データ、処理パラメータ、レーダーパラメーター、地形データ、およびデータ処理指示を格納するために使用されることができる。処理モジュールインターフェース1165は、データプロセッサ1171とセンサーデータ処理モジュール1200との間のデータ通信を容易にするために提供されることができる。様々な例示的実施形態において、センサーデータ処理モジュール1200に類似して構成される複数の処理モジュールは、データプロセッサ1171による遂行のために提供されることができる。
図6における破線によって示されるように、センサーデータ処理モジュール1200は、車載制御システム1150に一体化されることができ、随意に車載制御システム1150にダウンロードされることができるか、または、車載制御システム1150から別個に展開されることができる。
【0042】
車載制御システム1150は、広域ネットワーク1120およびそれに接続されたネットワークリソース1122から/へデータを受け取るか、または送信するように構成されることができる。車載ウェブ対応デバイス1130および/またはユーザー携帯デバイス1132は、ネットワーク1120を介して通信するために使用されることができる。ウェブ対応デバイスインターフェース1131は、車載ウェブ対応デバイス1130を介した車載制御システム1150とネットワーク1120との間のデータ通信を容易にするために、車載制御システム1150によって使用されることができる。同様に、ユーザー携帯デバイスインターフェース1133は、ユーザー携帯デバイス1132を介した車載制御システム1150とネットワーク1120との間のデータ通信を容易にするために、車載制御システム1150によって使用されることができる。このように、車載制御システム1150は、ネットワーク1120を介してネットワークリソース1122へのリアルタイムアクセスを取得することができる。ネットワークリソース1122は、データプロセッサ1171による遂行のための処理モジュール、内部ニューラルネットワークを訓練するためのデータコンテンツ、システムパラメーター、または他のデータを取得するために使用されることができる。
【0043】
エコシステム1100は、広域データネットワーク1120を含むことができる。ネットワーク1120は、インターネット、携帯電話ネットワーク、衛星ネットワーク、ページャネットワーク、無線放送ネットワーク、ゲームネットワーク、WiFiネットワーク、ピアツーピアネットワーク、ボイスオーバーIP(VoIP)ネットワークなどの、1つ以上の常套的な広域データネットワークを表す。これらのネットワーク1120のうちの1つ以上が、ユーザーまたはクライアントシステムをウェブサイト、サービス、中央制御サイトなどのネットワークリソース1122と接続するために使用されることができる。ネットワークリソース1122は、データを生成および/または配信することができ、それは、車載ウェブ対応デバイス1130またはユーザー携帯デバイス1132を介して車両100において受け取られることができる。ネットワークリソース1122は、ネットワーククラウドサービスをホストすることもでき、それは、レーダーデータ入力またはレーダーデータ入力分析を処理することにおいてコンピューティングまたは補助するために使用される機能性をサポートすることができる。アンテナは、セルラー、衛星、無線、または他の常套的な信号受け取り機構を介して車載制御システム1150とセンサーデータ処理モジュール1200とをデータネットワーク1120と接続するために役立つことができる。そのようなセルラーデータネットワークは、現在利用可能である(例えば、Verizon(商標)、AT&T(商標)、T-Mobile(商標)など)。そのような衛星系データまたはコンテンツネットワークも、現在利用可能である(例えば、SiriusXM(商標)、HughesNet(商標)など)。AM/FM無線ネットワーク、ページャネットワーク、UHFネットワーク、ゲームネットワーク、WiFiネットワーク、ピアツーピアネットワーク、ボイスオーバーIP(VoIP)ネットワークなどの常套的な放送ネットワークも周知である。従って、車載制御システム1150およびセンサーデータ処理モジュール1200は、車載ウェブ対応デバイスインターフェース1131を介してウェブ系データまたはコンテンツを受け取ることができ、それは、車載ウェブ対応デバイスレシーバー1130およびネットワーク1120と接続するために使用されることができる。このように、車載制御システム1150およびセンサーデータ処理モジュール1200は、車両100の内部から様々なネットワーク接続可能車載デバイスおよびシステムをサポートすることができる。
【0044】
図6において示されるように、車載制御システム1150およびセンサーデータ処理モジュール1200は、データ、レーダー処理制御パラメーター、および訓練コンテンツをユーザー携帯デバイス1132から受け取ることもでき、それは、車両100の内部または車両100に近接して位置付けられることができる。ユーザー携帯デバイス1132は、携帯電話、スマートフォン、パーソナルデジタルアシスタント(PDA)、MP3プレーヤー、タブレットコンピューティングデバイス(例えば、iPad(登録商標))、ノートパソコン、CDプレーヤー、および他の携帯デバイスなどの標準的な携帯デバイスを表すことができ、それは、車載制御システム1150およびセンサーデータ処理モジュール1200についてデータ、レーダー処理制御パラメーター、および指示を作成する、受け取る、および/または送達することができる。
図6において示されるように、携帯デバイス1132は、ネットワーククラウド1120とデータ通信することもできる。携帯デバイス1132は、携帯デバイス1132自体の内部メモリ構成要素から、またはネットワーク1120を介したネットワークリソース1122からデータおよびコンテンツを供給することができる。追加的に、携帯デバイス1132は、それ自体でGPSデータレシーバー、加速度計、WiFi三角測量、または携帯デバイスにおける他の地理的場所センサーまたは構成要素を含むことができ、それは、(携帯デバイスを介して)ユーザーのリアルタイムの地理的場所を任意の瞬間にちょうど決定するために使用されることができる。いずれにしても、車載制御システム1150およびセンサーデータ処理モジュール1200は、
図6において示されるように、携帯デバイス1132からデータを受け取ることができる。
【0045】
図6をなお参照すると、エコシステム1100の例示的実施形態は、車両操作サブシステム1140を含むことができる。車両100において実施される実施形態について、多くの標準的な車両は、エンジン、ブレーキ、トランスミッション、電気システム、放出システム、内部環境などのための電子制御ユニット(electronic control unit;ECU)、サポート監視/制御サブシステムなどの操作サブシステムを含む。例えば、車両サブシステムインターフェース1141を介して車両操作サブシステム1140(例えば、車両100のECU)から車載制御システム1150に通信されるデータ信号は、車両100の構成要素またはサブシステムのうちの1つ以上の様子についての情報を含み得る。特に、車両操作サブシステム1140から車両100のコントローラーエリアネットワーク(CAN)バスに通信されることができるデータ信号は、車両サブシステムインターフェース1141を介して車載制御システム1150によって受け取られ、処理されることができる。本明細書において説明されるシステムおよび方法の実施形態は、CANバスまたは本明細書において定義付けられるような類似のデータ通信バスを使用する実質的に任意の機械化されたシステムと使用されることができ、当該システムは、産業機械、ボート、トラック、機械装置、または自動車を含むがそれらに限定されない;従って、本明細書において使用される場合、「車両」という用語は、任意のそのような機械化されたシステムを含むことができる。本明細書において説明されるシステムおよび方法の実施形態は、ネットワークデータ通信の何らかの形態を採用する任意のシステムと使用されることもできる;しかし、そのようなネットワーク通信は、要求されない。
【0046】
図6をなお参照すると、エコシステム1100とその中における車両操作サブシステム1140との例示的実施形態は、車両100の操作をサポートする様々な車両サブシステムを含むことができる。概して、車両100は、例えば、トラクター/トレーラー、車、トラック、または他の電動車両の形態をとり得る。他のサポートされた車両も可能である。車両100は、完全にまたは部分的に自律モードで作動するように構成され得る。例えば、車両100は、自律モードにありながらそれ自身を操作し得、車両およびその環境の現在の様子を決定し、環境における少なくとも1つの他の車両の予想される行動を決定し、少なくとも1つの他の車両が予想される行動を実行する可能性に対応し得る信頼レベルを決定し、決定された情報に基づいて車両100を制御するように作動可能であり得る。自律モードにある間、車両100は、人間の相互作用なしに作動するように構成され得る。
【0047】
車両100は、車両駆動サブシステム1142、車両センサーサブシステム1144、車両制御サブシステム1146、および乗員インターフェースサブシステム1148などの様々な車両サブシステムを含み得る。上記において説明されたように、車両100は、車載制御システム1150、コンピューティングシステム1170、およびセンサーデータ処理モジュール1200も含み得る。車両100は、より多くのまたはより少ないサブシステムを含み得、各サブシステムは、複数の要素を含むことができる。また、車両100のサブシステムおよび要素のうちの各々は、相互接続されることができる。従って、車両100の説明された機能のうちの1つ以上は、追加的な機能的または物理的構成要素に分割され得るか、またはより少ない機能的または物理的構成要素に組み合わせられ得る。いくつかのさらなる例において、追加的な機能的または物理的構成要素は、
図6によって例示される例に追加され得る。
【0048】
車両駆動サブシステム1142は、車両100のために動力を与えられた運動を提供するように作動可能である構成要素を含み得る。例示的実施形態において、車両駆動サブシステム1142は、エンジンまたはモーター、車輪/タイヤ、トランスミッション、電気サブシステム、および動力源を含み得る。エンジンまたはモーターは、内燃機関エンジン、電動モーター、蒸気エンジン、燃料電池エンジン、プロパンエンジン、または他の種類のエンジンまたはモーターの任意の組み合わせであり得る。いくつかの例示的実施形態において、エンジンは、動力源を機械的エネルギーに変換するように構成され得る。いくつかの例示的実施形態において、車両駆動サブシステム1142は、複数の種類のエンジンまたはモーターを含み得る。例えば、ガス-電動ハイブリッド車は、ガソリンエンジンおよび電動モーターを含むことができる。他の例が可能である。
【0049】
車両100の車輪は、標準的なタイヤであり得る。車両100の車輪は、例えば車またはトラック上におけるような、一輪車、自転車、三輪車、または四輪形式を含む様々な形式に構成され得る。6つ以上の車輪を含むものなど、他の車輪の幾何学的形状が可能である。車両100の車輪の任意の組み合わせは、他の車輪に対して異なって回転するように作動可能であり得る。車輪は、トランスミッションに固定して取り付けられた少なくとも1つの車輪と、運転表面との接触を生み出すことができる車輪のリムに連結された少なくとも1つのタイヤとを表し得る。車輪は、金属およびゴムの組み合わせ、または別の金属の組み合わせを含み得る。トランスミッションは、エンジンから車輪に機械的動力を伝えるように作動可能である要素を含み得る。この目的のために、トランスミッションは、ギアボックス、クラッチ、差動ギア、およびドライブシャフトを含むことができる。トランスミッションは、他の要素も含み得る。ドライブシャフトは、1つ以上の車輪に連結されることができる1つ以上の車軸を含み得る。電気システムは、車両100において電気信号を転送し、制御するように作動可能である要素を含み得る。これらの電気信号は、ライト、サーボ、電気モーター、および車両100の他の電気的に駆動または制御されるデバイスを作動させるために使用されることができる。動力源は、完全にまたは部分的にエンジンまたはモーターに動力を与え得るエネルギーの源を表し得る。つまり、エンジンまたはモーターは、動力源を機械的エネルギーに変換するように構成されることができる。動力源の例は、ガソリン、ディーゼル、他の石油系燃料、プロパン、他の圧縮ガス系燃料、エタノール、燃料電池、太陽パネル、バッテリー、および他の電気動力の源を含む。動力源は、燃料タンク、バッテリー、コンデンサー、またはフライホイールの任意の組み合わせを追加的または代替的に含むことができる。動力源は、車両100の他のサブシステムのためにもエネルギーを提供し得る。
【0050】
車両センサーサブシステム1144は、車両100の環境または状態についての情報を感知するように構成された多数のセンサーを含み得る。例えば、車両センサーサブシステム1144は、慣性計測ユニット(inertial measurement unit;IMU)、グローバルポジショニングシステム(GPS)トランシーバー、レーダーユニット、レーザー測距装置/LIDARユニット、および1つ以上のカメラまたは画像捕捉デバイスを含み得る。車両センサーサブシステム1144は、車両100の内部システムを監視するように構成されたセンサー(例えば、O2モニター、燃料ゲージ、エンジン油温度)も含み得る。他のセンサーも可能である。車両センサーサブシステム1144に含まれるセンサーのうちの1つ以上は、1つ以上のセンサーの位置、向き、または両方を修正するために、別個にまたは集合的に作動させられるように構成され得る。
【0051】
IMUは、慣性加速度に基づいて車両100の位置および向きの変化を感知するように構成されたセンサー(例えば、加速度計およびジャイロスコープ)の任意の組み合わせを含み得る。GPSトランシーバーは、車両100の地理的な場所を推定するように構成された任意のセンサーであり得る。この目的のために、GPSトランシーバーは、地球に対する車両100の位置に関する情報を提供するように作動可能なレシーバー/トランスミッターを含み得る。レーダーユニットは、車両100の局地的な環境内における物体を感知するための電磁波または無線信号を利用するシステムを表し得る。いくつかの実施形態において、物体を感知することに加えて、レーダーユニットは、車両100に近接した物体の速さおよび進路を感知するように追加的に構成され得る。上記において説明されたように、レーダーユニットは、トレーラーの後続車両を検知するための後方向きレーダー200を含むことができる。レーザー測距装置またはLIDARユニットは、レーザーを使用して車両100が位置付けられる環境における物体を感知するように構成された任意のセンサーであり得る。例示的実施形態において、レーザー測距装置/LIDARユニットは、他のシステム構成要素のうち、1つ以上のレーザー源、レーザースキャナー、および1つ以上の検知器を含み得る。レーザー測距装置/LIDARユニットは、コヒーレント(例えば、ヘテロダイン検知を使用する)または非コヒーレント検知モードにおいて作動するように構成されることができる。カメラは、車両100の環境の複数の画像を捕捉するように構成された1つ以上のデバイスを含み得る。カメラは、静止画像カメラまたは動画カメラであり得る。
【0052】
車両制御システム1146は、車両100およびその構成要素の操作を制御するように構成され得る。従って、車両制御システム1146は、操舵ユニット、スロットル、ブレーキユニット、ナビゲーションユニット、および自律制御ユニットなどの様々な要素を含み得る。
【0053】
操舵ユニットは、車両100の進路を調整するように作動可能であり得る機構の任意の組み合わせを表し得る。スロットルは、例えば、エンジンの作動速さを制御し、そして次に車両100の速さを制御するように構成され得る。ブレーキユニットは、車両100を減速するように構成された機構の任意の組み合わせを含み得る。ブレーキユニットは、標準的な様態において車輪の速さを落とすために摩擦を使用することができる。他の実施形態において、ブレーキユニットは、車輪の運動エネルギーを電流に変換し得る。ブレーキユニットは、他の形態もとり得る。ナビゲーションユニットは、車両100について運転経路またはルートを決定するように構成された任意のシステムであり得る。ナビゲーションユニットは、車両100が作動中である間、動的に運転経路を更新するように追加的に構成され得る。いくつかの実施形態において、ナビゲーションユニットは、車両100について運転経路を決定するように、センサーデータ処理モジュール1200、GPSトランシーバー、および1つ以上の予め決定された地図からのデータを組み込むように構成され得る。自律制御ユニットは、車両100の環境において生じ得る障害を識別し、評価し、回避し、または別様に切り抜けるように構成された制御システムを表し得る。概して、自律制御ユニットは、運転者なしに操作のために車両100を制御するか、または車両100を制御することにおいて運転者補助を提供するように構成され得る。いくつかの実施形態において、自律制御ユニットは、車両100について運転経路または軌道を決定するために、センサーデータ処理モジュール1200、GPSトランシーバー、レーダーユニット、LIDAR、カメラ、および他の車両サブシステムからのデータを組み込むように構成され得る。車両制御システム1146は、示され説明された構成要素以外の構成要素を追加的または代替的に含み得る。
【0054】
乗員インターフェースサブシステム1148は、車両100と外部センサー、他の車両、他のコンピューターシステム、および/または車両100の乗員もしくはユーザーとの間の相互作用を可能にするように構成され得る。例えば、乗員インターフェースサブシステム1148は、標準的な視覚表示デバイス(例えば、プラズマディスプレイ、液晶ディスプレイ(liquid crystal display;LCD)、タッチスクリーンディスプレイ、ヘッドアップディスプレイなど)、スピーカーまたは他の音声出力デバイス、マイクまたは他の音声入力デバイス、ナビゲーションインターフェース、および車両100の内部環境(例えば、温度、送風機など)を制御するためのインターフェースを含み得る。
【0055】
例示的実施形態において、乗員インターフェースサブシステム1148は、例えば、車両100のユーザー/乗員が他の車両サブシステムと相互作用するための手段を提供し得る。視覚表示デバイスは、車両100のユーザーに情報を提供し得る。ユーザーインターフェースデバイスは、タッチスクリーンを介してユーザーから入力を受け入れるよう作動可能であることもできる。タッチスクリーンは、他の可能性のうち、静電容量感知、抵抗感知、または表面弾性波プロセスを介してユーザーの指の位置と動きのうちの少なくとも1つを感知するように構成され得る。タッチスクリーンは、タッチスクリーン表面に対して平行または平面的な方向において、タッチスクリーン表面に対して垂直な方向において、またはその両方において指の動きを感知することが可能であり得、タッチスクリーン表面に加えられる圧力のレベルを感知することも可能であり得る。タッチスクリーンは、1つ以上の半透明または透明な絶縁層と、1つ以上の半透明または透明な導電層とから形成され得る。タッチスクリーンは、他の形態もとり得る。
【0056】
他の実施形態において、乗員インターフェースサブシステム1148は、車両100がその環境内におけるデバイスと通信するための手段を提供し得る。マイクは、車両100のユーザーからの音声(例えば、声による命令または他の音声入力)を受け取るように構成され得る。同様に、スピーカーは、車両100のユーザーに音声を出力するように構成され得る。1つの例示的実施形態において、乗員インターフェースサブシステム1148は、1つ以上のデバイスと直接、または通信ネットワークを介して無線で通信するように構成され得る。例えば、無線通信システムは、CDMA、EVDO、GSM(登録商標)/GPRSなどの3Gセルラー通信、またはWiMAXもしくはLTEなどの4Gセルラー通信を使用することができる。代替的に、無線通信システムは、例えば、WIFI(登録商標)を使用することによって、無線ローカルエリアネットワーク(wireless local area network;WLAN)と通信し得る。いくつかの実施形態において、無線通信システム1146は、例えば、赤外線リンク、BLUETOOTH(登録商標)、またはZIGBEE(登録商標)を使用することによって、デバイスと直接通信し得る。様々な車両通信システムなどの他の無線プロトコルが開示の文脈内において可能である。例えば、無線通信システムは、車両および/または道路沿いの局間における公衆データ通信または専用データ通信を含み得る1つ以上の専用狭域通信(dedicated short range communication;DSRC)デバイスを含み得る。
【0057】
車両100の機能のうちの多くまたは全ては、コンピューティングシステム1170によって制御されることができる。コンピューティングシステム1170は、データ格納デバイス1172などの非一時的コンピューター可読媒体において格納された処理指示を遂行する(少なくとも1つのマイクロプロセッサを含むことができる)少なくとも1つのデータプロセッサ1171を含み得る。コンピューティングシステム1170は、分散された様式において車両100の個別の構成要素またはサブシステムを制御するように役立ち得る複数のコンピューティングデバイスも表し得る。いくつかの実施形態において、データ格納デバイス1172は、図面と関連して本明細書において説明されたものなど、車両100の様々な機能を実行するために、データプロセッサ1171によって遂行可能な処理指示(例えば、プログラム論理)を含み得る。データ格納デバイス1172は、追加的な指示(車両駆動サブシステム1142、車両センサーサブシステム1144、車両制御サブシステム1146、および乗員インターフェースサブシステム1148のうちの1つ以上にデータを送信するか、それらからデータを受け取るか、それらと相互作用するか、またはそれらを制御する指示など)も含み得る。
【0058】
処理指示に加えて、データ格納デバイス1172は、他の情報のうち、レーダー処理パラメーター、訓練データ、車道地図、および経路情報などのデータを格納し得る。そのような情報は、自律、半自律、および/または手動モードにおける車両100の操作の間、車両100およびコンピューティングシステム1170によって使用され得る。
【0059】
車両100は、車両100のユーザーまたは乗員に情報を提供するか、または当該ユーザーまたは乗員から入力を受け取るためのユーザーインターフェースを含み得る。ユーザーインターフェースは、表示デバイス上に表示され得る相互作用画像のコンテンツとレイアウトを制御し得るか、または制御を可能にし得る。また、ユーザーインターフェースは、表示デバイス、スピーカー、マイク、または無線通信システムなどの、乗員インターフェースサブシステム1148のセット内における1つ以上の入力/出力デバイスを含み得る。
【0060】
コンピューティングシステム1170は、様々な車両サブシステムから(例えば、車両駆動サブシステム1142、車両センサーサブシステム1144、および車両制御サブシステム1146)ならびに乗員インターフェースサブシステム1148から受け取った入力に基づいて、車両100の機能を制御し得る。例えば、操舵ユニットを制御して車両センサーサブシステム1144およびセンサーデータ処理モジュール1200によって検知された障害を回避する、制御された様態において動く、または車載制御システム1150もしくは自律制御モジュールによって生成された出力に基づいた経路または軌道に従うために、コンピューティングシステム1170は、車両制御システム1146からの入力を使用し得る。例示的実施形態において、コンピューティングシステム1170は、車両100およびそのサブシステムの多くの様態にわたって制御を提供するように作動可能であることができる。
【0061】
図6は、車両100の様々な構成要素(例えば、車両100に一体化されている車両サブシステム1140、コンピューティングシステム1170、データ格納デバイス1172、およびセンサーデータ処理モジュール1200)を示しているが、これらの構成要素のうちの1つ以上は、車両100とは別個に搭載されるか、または関連付けられることができる。例えば、データ格納デバイス1172は、部分的または完全に、車両100とは別個に存在することができる。従って、車両100は、別個または一緒に位置付けられ得るデバイス要素の形態において提供されることができる。車両100を構成するデバイス要素は、有線または無線様式において通信可能に一緒に連結されることができる。
【0062】
追加的に、他のデータおよび/またはコンテンツ(本明細書において、補助的データと示される)は、上記において説明されたように、車載制御システム1150によってローカルおよび/またはリモートのリソースから取得されることができる。補助的データは、ユーザーが車両を操作している文脈を含む様々な要因(例えば、車両の場所、特定された目的地、進行の方向、速さ、時刻、車両の状況など)ならびに本明細書において説明されるような様々なリソース(ローカルであるかリモートであるかを問わない)から取得可能な様々な他のデータに基づいてセンサーデータ処理モジュール1200の操作を拡張、修正、または訓練するために使用されることができる。
【0063】
特定の実施形態において、車載制御システム1150およびセンサーデータ処理モジュール1200は、車両100の車載構成要素として実施されることができる。様々な例示的実施形態において、車載制御システム1150およびそれとデータ通信しているセンサーデータ処理モジュール1200は、一体化された構成要素として、または別個の構成要素として実施されることができる。例示的実施形態において、車載制御システム1150および/またはセンサーデータ処理モジュール1200のソフトウェア構成要素は、ネットワーク1120を介した携帯デバイス1132および/またはネットワークリソース1122とのデータ接続の使用によって動的にアップグレード、修正、および/または拡張されることができる。車載制御システム1150は、更新のために携帯デバイス1132またはネットワークリソース1122に定期的に問い合わせすることができるか、または車載制御システム1150に更新が促進されることができる。
【0064】
ここで、
図7を参照すると、プロセスフロー図は、後方向きレーダーサブシステムを使用してトレーラーの後続車両を検知する、および、車載制御システムを使用してレーダーデータを処理し、それによって自律車両を制御する方法2000の例示的実施形態を例示している。例示的実施形態は、トレーラーが取り付け可能である自律トラックのトラクターの後方部分上に設置された後方向きレーダーサブシステムからレーダーデータを受け取ること(処理ブロック2010)と;物体がレーダーデータにおいて検知されるかどうか決定すること(処理ブロック2020)と;物体がレーダーデータにおいて検知される場合、レーダーデータから物体位置および速度を取得すること(処理ブロック2030)と;物体検知、位置、および速度を使用して、物体に対応する脅威レベルを決定すること(処理ブロック2040)と;脅威レベルが予め設定された閾値を超える場合、回避行動をとるようにトラクターに命令すること(処理ブロック2050)とを行うように構成されることができる。
【0065】
本明細書において説明される様々な実施形態は、従来のシステムに対していくつかの利点を提供する。第一に、上記において説明されたように、後方向きレーダーサブシステム200は、トラクター/トラック100によって牽引されているトレーラー110に対する一切の修正なしに、トラクター/トラック100に取り外し可能かつ調整可能に取り付けられることができる。第二に、後方向きレーダーサブシステム200は、トレーラー110の後方に向かって遮られていない見通し視野を必要とするLIDARまたはカメラシステムに対してより良い物体検知性能を達成する。第三に、トレーラー110に対する一切の修正なしに、後方向きレーダーサブシステム200は、トレーラー110の底面とトレーラー110の下の地面との間において作り出される導波路であって、レーダー電磁波215が当該導波路を通って伝搬し進行して後続車両120を検知する、導波路300を利用することができる。第四に、後方向きレーダーサブシステム200は、トラクター/トラック100の運転者またはトラクター/トラック100における車両制御サブシステム220が、トレーラー110に後続する検知された物体(例えば、車両)の存在、位置、距離、速度、形状、および大きさを認識することを可能にする。この後続車両の認識は、運転者または車両制御サブシステム220が、後続車両との対立を回避するために適切な行動をとることを可能にする。
【0066】
図8は、取り付けられたトレーラー110を牽引するトラクター/トラック100の側面図を示す別の例示的実施形態を例示しており、トラクター/トラック100は、トレーラー車輪505の状態を検知するための後方向きセンサーサブシステム500と共に構成されている。
図9は、取り付けられたトレーラー110を牽引するトラクター/トラック100の底面図を示す例示的実施形態を例示しており、トラクター/トラック100は、トレーラー車輪505の状態を検知するための後方向きセンサーサブシステム500と共に構成されている。
図8および9において示されるようなこの例示的実施形態において、後方向きセンサーサブシステム500は、1)トレーラー車輪505の画像を捕捉するためのカメラ、2)トレーラー車輪505の熱シグネチャを検知するための熱式もしくは赤外線撮像カメラまたは放射測定カメラ、および/または3)トレーラー車輪505の音響シグネチャを検知するための超音波センサーと共に構成されることができる。
【0067】
下記においてより詳細に説明されるように、例示的実施形態は、トレーラー車輪/タイヤに関する様々な状態(トレーラータイヤの収縮、トレーラータイヤのパンク、再生タイヤの破砕、トレーラーの傾き、過度のタイヤの温度、火、煙、および生じ得る問題を示すトレーラー車輪からのノイズなど)を検知することができる。タイヤの収縮またはパンクを測定または検知するためにトレーラー110またはトレーラータイヤ505上に直接的なタイヤ圧力測定システム(例えば、TPMS)を設置することは許され得ないので、例示的実施形態は、トレーラー110を牽引するトラクター100の後方からこれらのトレーラータイヤの問題を遠隔で検知する能力を提供する。
【0068】
プランクの法則によると、任意の物質、特に黒い物質は、自然にかつ継続的に分光放射輝度を放出する。放出された放射は、様々な周波数を有する電磁波である。放出された放射は、環境において豊富でなく、物質の温度に比例して当該物質によって放出されるので、赤外線分光帯域の遠端において最も容易に見られる。基準として検知器の近くに温度プローブを有するカメラである放射測定カメラを、後方向きセンサーサブシステム500上におけるセンサーの1つの形態として利用して、例示的実施形態は、トレーラータイヤの正確な温度測定を検知することができる。この種類の放射測定カメラは、
図8および9において示されるように、トラクター100の後方から遠隔でトレーラータイヤ505に方向付けられることができ、自律運転トラック操作の間、リアルタイムのビデオを記録することができる。カメラは、トレーラータイヤの監視画像を提供するだけでなく、トレーラータイヤ505の外表面の絶対温度値も提供する。
【0069】
タイヤの収縮は、路面とタイヤ自体との間の摩擦を増加させる。高速回転および増加させられた表面摩擦を伴う不適切に膨らませられたタイヤは、過度の熱を生成し、それは、タイヤの温度を急激に上昇させ得る。この状態は、タイヤの損傷ならびにトラックおよび他の近接した車両にとって危険な状態をもたらすゴムの劣化、火、煙、またはタイヤのパンクを引き起こし得る。本明細書において開示されるようなトレーラータイヤ監視システムの使用によって、危険なトレーラー車輪の状態が検知されることができ、事故が防止されることができる。いくつかの事情において、トレーラータイヤの問題は、聞き取れる音またはトラックのバックミラーにおいてみられる画像を通して人間のトラック運転者によって決定されることができる。しかし、トラックが自律運転システムによって制御されており、人間の運転者がいない場合、これらの危険なトレーラーの状態は、従来の方法を使用して検知されることができない。よって、トレーラータイヤの問題が発生し、自律トラックが依然として運転し続けている場合、自律トラック自体および道路上の他の近接した車両または歩行者にとって非常に危険であり得る。
【0070】
図8および9を再び参照すると、例示的実施形態は、トラクター100上における第五輪カプラの近くで取り外し可能に設置され、かつトレーラー110の後方車軸タイヤに向かって後方に向いている後方向きセンサーサブシステム500を含む。後方向きセンサーサブシステム500は、上記において説明された搭載ブラケット210などの調整可能な搭載ブラケット210を使用することによってトラック100に取り外し可能に取り付けられることができる。
図8および9において示されるような例示的実施形態において、後方向きセンサーサブシステム500は、1)トレーラー車輪505の画像を捕捉するためのカメラ、2)トレーラー車輪505の熱シグネチャを検知するための熱式もしくは赤外線撮像カメラまたは放射測定カメラ、および/または3)トレーラー車輪505の音響シグネチャを検知するための超音波センサーと共に構成されることができる。後方向きセンサーサブシステム500の画角510は、トレーラー後方車輪の場所を捕捉し、それに焦点を当てるために
図8および9において示されるように構成されることができる。カメラを含む後方向きセンサーサブシステム500について、トレーラー車輪の回転が、タイヤ画素データを含む画像フレームを捕捉するタイヤビデオにおけるカメラによって経時的に撮像されることができる。熱式もしくは赤外線撮像カメラまたは放射測定カメラを含む後方向きセンサーサブシステム500について、捕捉された画像フレームの各画素が、画像データにおける各画素の熱シグネチャに対応する絶対温度値を付されることができる。全てのタイヤ画像は、後方向きセンサーサブシステム500の熱式カメラによって捕捉されることができる。超音波センサーを含む後方向きセンサーサブシステム500について、トレーラー車輪505の近くの画角510内における領域の音響シグネチャが、後方向きセンサーサブシステム500によって経時的に捕捉されることができる。後方向きセンサーサブシステム500は、トラック100の後方上において設置されるため、トレーラータイヤ505の車輪画像、測定された熱シグネチャ、および音響シグネチャは、いかなるセンサーも他のデバイスもトレーラー110に直接取り付けられることなく、かつトレーラー110に対するいかなる修正もなしに、遠隔で捕捉されることができる。
【0071】
後方向きセンサーサブシステム500がトレーラータイヤ505の画像データ、熱シグネチャ、および/または音響シグネチャを経時的に捕捉すると、捕捉されたデータは、上記において説明されたような有線または無線データ接続を介して車両制御サブシステム220に転送されることができる。車両制御サブシステム220は、後方向きセンサーサブシステム500から受け取ったデータを処理するために、標準的なルールベース技術および/または機械学習技術を採用することができる。例えば、車両制御サブシステム220は、後方向きセンサーサブシステム500によって捕捉されたカメラ画像データを使用して、経時的なトレーラータイヤ505の画像を比較し、違いまたは異常を探すことができる。これらの異常は、タイヤ505の形状の予想外の変化、タイヤの部品が車輪からなくなっていること、収縮したタイヤによって引き起こされるトレーラーの位置または傾斜の変化、火または炎、煙などを含むことができる。これらの画像は、訓練された機械学習モデルまたは正常および異常なトレーラータイヤ画像で訓練された分類器によって処理されることができる。このように、車両制御サブシステム220は、後方向きセンサーサブシステム500によって捕捉されたカメラ画像データを使用して、トレーラータイヤ505の生じ得る問題を検知することができる。これらの生じ得る問題の検知にあたって、車両制御サブシステム220は、無線ネットワーク通信を介して中央監視局に通知することができる。追加的に、車両制御サブシステム220は、トラック100制御システムに、トラック100の速さを落とすこと、緊急停止を実行すること、または道路の片側に寄せるようにトラック100を方向付けることを行わせることができる。
【0072】
別の例において、車両制御サブシステム220は、後方向きセンサーサブシステム500によって捕捉された熱シグネチャデータを使用して、経時的なトレーラータイヤ505の熱シグネチャを比較し、違いまたは異常を探すことができる。タイヤの収縮またはパンクは、温度上昇を引き起こし得、それは、後方向きセンサーサブシステム500によって取得される熱式画像上において捕捉され、車両制御サブシステム220によって受け取られることができる。車両制御サブシステム220は、標準的なルールベースプロセスまたは機械学習技術を使用して、熱シグネチャデータを処理することができる。これらの熱シグネチャデータは、訓練された機械学習モデルまたは正常および異常なトレーラータイヤ熱シグネチャで訓練された分類器によって処理されることができる。異常なトレーラータイヤ熱シグネチャは、収縮したタイヤ、パンク、破砕された再生タイヤ、過度の摩擦、火または炎、煙、または他の危険なタイヤの状態によって引き起こされ得る。このように、車両制御サブシステム220は、後方向きセンサーサブシステム500によって捕捉された熱シグネチャデータを使用して、トレーラータイヤ505の生じ得る問題を検知することができる。
【0073】
トレーラー車輪の温度を直接測定するために、放射測定カメラ(例えば、検知器において温度基準を有するカメラ)は、画素レベル温度測定および検知を提供するので、使用されることができる。これは、タイヤがパンクの危険にあるかパンクしているかを決定するためのコンピュータービジョン分析プロセスの使用を可能にする。温度センサーは、検知器について基準を提供する;なぜなら、マイクロボロメータまたはサーモパイルなどの多くの赤外線検知器は、光強度を決定するために画素温度に依存しているからである。相対的な温度測定でなく直接的な温度測定を有することは、タイヤパンクなどの出来事が発生したかどうか決定するため、およびそのような出来事が発生する危険を決定するために重要である。
【0074】
これらの生じ得る問題の検知に応じて、車両制御サブシステム220は、無線ネットワーク通信を介して中央監視局に通知することができる。追加的に、車両制御サブシステム220は、トラック100制御システムに、トラック100の速さを落とすこと、緊急停止を実行すること、または道路の片側に寄せるようにトラック100を方向付けることを行わせることができる。
【0075】
別の例において、車両制御サブシステム220は、後方向きセンサーサブシステム500によって捕捉された音響シグネチャデータを使用して、経時的なトレーラータイヤの音響シグネチャを比較し、違いまたは異常を探すことができる。タイヤの収縮、再生タイヤの破砕、パンク、または他の異常な状態は、特色のあるノイズを引き起こし得、それは、後方向きセンサーサブシステム500の超音波センサーによって音響シグネチャデータとして捕捉され、車両制御サブシステム220によって受け取られることができる。車両制御サブシステム220は、標準的なルールベースプロセスまたは機械学習技術を使用して、音響シグネチャデータを処理することができる。これらの音響シグネチャデータは、訓練された機械学習モデルまたは正常および異常なトレーラータイヤ音響シグネチャで訓練された分類器によって処理されることができる。標準的な背景ノイズは、フィルタリングして取り除かれることができる。異常なトレーラータイヤ音響シグネチャは、収縮したタイヤ、パンク、破砕された再生タイヤ、過度の摩擦、物を引きずること、または他の危険なタイヤまたはトレーラーの状態によって引き起こされ得る。このように、車両制御サブシステム220は、後方向きセンサーサブシステム500によって捕捉された音響シグネチャデータを使用して、トレーラーまたはトレーラータイヤの生じ得る問題を検知することができる。これらの生じ得る問題の検知に応じて、車両制御サブシステム220は、無線ネットワーク通信を介して中央監視局に通知することができる。追加的に、車両制御サブシステム220は、トラック100制御システムに、トラック100の速さを落とすこと、緊急停止を実行すること、または道路の片側に寄せるようにトラック100を方向付けることを行わせることができる。
【0076】
ここで、
図10を参照すると、プロセスフロー図は、後方向きセンサーサブシステムを使用してトレーラーの状態を検知する、および、車両制御サブシステムを使用してセンサーデータを処理し、それによって自律車両を制御する方法3000の例示的実施形態を例示している。例示的実施形態は、トレーラーが取り付け可能である自律トラックのトラクターの後方部分上に設置された後方向きセンサーサブシステムを提供すること(処理ブロック3010)と;後方向きセンサーサブシステムを使用して、トレーラー上における車輪の状態の検知について信号を捕捉すること(処理ブロック3020)と;捕捉された信号によって検知されたようなトレーラー車輪の状態を表すセンサーデータを生成すること(処理ブロック3030)と;データ接続を介してセンサーデータを車両制御サブシステムに転送すること(処理ブロック3040)とを行うように構成されることができる。
【0077】
様々な例示的実施形態のこのシステムおよび方法は、捕捉された画像分析、熱式撮像、および/または音響データ処理を使用することによって、タイヤの収縮、パンク、または他の異常な状態を検知するための遠隔で(トラックに)設置された解決手段を含む。画像分析は、後方向きカメラによって捕捉された画像を使用して、異常なタイヤ形状またはトレーラー傾斜/傾きについてスキャンすることができる。熱式撮像分析は、熱式画像を使用して、トレーラータイヤ圧力をその温度変化に相関付け、それによって異常な状態を検知することができる。音響データ処理は、トレーラーまたはトレーラータイヤから発せられる異常な音を検知するために使用されることができる。下記においてより詳細に説明されるような他の実施形態において、センサーデータ(例えば、画像データ、熱式画像データ、音響データ、レーダーデータ、LIDARデータなど)の組み合わせは、一緒に組み合わせられて使用されて、トレーラーまたはトレーラータイヤにおいて発生する特定の異常な出来事の検知および分類をさらに精密化することができる。説明される実施形態は、トレーラーのいかなる修正もなしに、トレーラーの状態またはトレーラータイヤをリアルタイムで、かつ遠隔で監視することができる。満載のセミトラックについてタイヤの収縮が早く検知されればされるほど、タイヤのパンクおよび全体のシステム操作のシャットダウンが迅速に防止されることができる。説明される実施形態を使用すると、余分なハードウェアまたはケーブル配線が一切必要とされず、解決手段は、トレーラー上においてタイヤ圧力監視が事前に設置されているか否かに関わらず、様々なトレーラーに適合させることができる。このシステムは、運転者不在の自律運転トラックに重要であり、深刻なタイヤのパンクおよびさらなる操作中断を引き起こすタイヤの収縮を防止する。説明される実施形態は、自律運転トラックのタイヤのパンク故障の危険を減らすことができ、従って、トラックシステム操作中断時間を減らすことができる。
【0078】
本明細書において開示されるような様々な例示的実施形態のシステムおよび方法は、トラック/トラクターによって牽引されている特定のトレーラーの種類または識別を検知するために使用されることもできる。例えば、トラック/トラクターのセンサーサブシステムによって撮像されるトレーラーの特定の形状または構造は、トレーラーの種類を決定するために使用されることができる。追加的に、バーコード、QRコード(登録商標)、またはトレーラーに適用される他の識別情報は、検知され、トラック/トラクターによって牽引されている特定のトレーラーを識別するために使用されることができる。特定のトレーラーの種類またはアイデンティティの検知の結果、車両制御サブシステム220は、特定のトレーラーの種類またはアイデンティティと一致する様態で自律トラックの操作を修正することができる(例えば、より遅い速さで運転する、あまりアグレッシブではないように曲がる、あまりアグレッシブではないようにブレーキをかける、など)。
センサーデータ融合および処理
【0079】
本明細書において説明される例示的実施形態は、自律的に制御されるトラックに接近しているセンサーまたは知覚データを捕捉するための様々な異なる種類のセンサーと共に構成されることができる。例えば、センサーデータの様々な組み合わせ(例えば、画像データ、熱式画像データ、音響データ、レーダーデータ、LIDARデータなど)は、検知と、分類と、トレーラーにおいて、または自律的に制御されたトラックおよびトレーラーに接近して起こっている出来事に応答してとる改善行動とをさらに精密化するために、独立して使用されるか、または組み合わせて一緒に使用されることができる。さらに、同一または異なるセンサーデバイスの様々な例は、単独で使用されることも、または下記においてより詳細に説明されるように様々な組み合わせで使用されることもできる。
【0080】
ここで、
図11~13を参照すると、センサーの様々な構成および組み合わせは、自律トラック(トラックまたはトラクターの後ろで牽引されているトレーラーを含む)の近くの物体の存在、位置、速度、および状況を検知するために自律トラックにおいて使用されることができる。例示的実施形態において、トレーラーが取り付け可能である自律トラックのトラクターなどの車両は、センサーサブシステムを装備されることができる。センサーサブシステムは、1つ以上のカメラ620/622(または他の画像捕捉デバイス)、1つ以上のレーダーユニット610/612/614、および/または1つ以上のLIDARユニット630/632を含むことができる。センサーサブシステムは、上記において説明されたように、中央コンピューター605またはコンピューティングシステム1170とデータ通信することができる。センサーサブシステムは、カメラ(1つまたは複数)からの画像の複数のフレーム、複数のレーダー点群、および複数のLIDAR点群をそれぞれ予め決定された時間または周期間隔(例えば、50ミリ秒)で収集することができる。センサーまたは知覚データ融合段階において、下記において詳細に説明されるように、トレーラーの構造または種類、トレーラーの状態、後続車両、近接した物体、および他の物体は、カメラ(1つまたは複数)からの画像データ、レーダーユニット(1つまたは複数)からのデータ、および/またはLIDARユニット(1つまたは複数)からのデータを使用することによって検知されることができる。追加的に、画像データから検知された物体に対応する距離データが、レーダーおよびLIDAR点群から取得されることができる。画像データにおいて検知された物体の2D位置と、レーダーおよび/またはLIDARデータを使用した物体の相対的距離の推定との両方を使用して、例示的実施形態のセンサーデータ処理モジュールは、自律車両に対する物体の精密な相対三次元(3D)位置を決定することができる。位置の複数の推定が予め決定されたサンプルレートまたは周期時間(例えば、50ミリ秒)で経時的に決定されるので、センサーデータ処理モジュールは、自律車両に対する各物体の推定された相対的速度および速度ベクトルも決定し得る。3D追跡プロセスの補助で以て、例示的実施形態のシステムは、断続的、不規則、または不安定なカメラ画像データ、レーダーデータ、および/またはLIDARデータが受け取られたとしても、カメラ画像データ、レーダーデータ、およびLIDARデータを使用することによって物体の相対的3D位置と速度とを決定することができる。
【0081】
ここで、
図11を参照すると、例示的実施形態は、中央コンピューター605とデータ通信している単一後方レーダーユニット610を含むセンサーサブシステムを例示している。この構成において、後方向きレーダーユニット610は、トレーラーが取り付け可能である自律トラックのトラクターの後方部分上に取り外し可能に設置されることができ、後方向きレーダーユニット610は、上記において説明されたようにデータ接続を介して車両制御サブシステムの中央コンピューター605に連結されている。後方向きレーダーユニット610は、トレーラーの下の空間において伝搬する電磁波を放出し、電磁波の反射を受け取ることによって検知された物体を表す物体データを生成し、物体データを車両制御サブシステムの中央コンピューター605に転送するように構成されることができる。追加的に、また、上記においても説明されたように、後方向きレーダーユニット610は、トレーラーの下の空間において伝搬する電磁波を放出し、トレーラーまたはトレーラータイヤの構造および/または状態を検知するために戻り信号を捕捉するように構成されることができ、後方向きレーダーユニット610は、捕捉された信号によって検知されたようなトレーラーの状態を表すセンサーデータを生成し、センサーデータを車両制御サブシステムの中央コンピューター605に転送するようにさらに構成される。さらに、
図19に関連して下記において説明されるように、レーダーデータは、より正確で完全な物体検知結果を作成するために任意の他の利用可能なデータ(例えば、カメラ画像データまたはLIDAR点群データ)と一緒に融合されるかまたは組み合わせられることができる。このように、例示的実施形態は、単一後方向きレーダーユニット610を使用して、トレーラーの後続車両、近接した物体、およびトレーラーの状態を検知することができる。
【0082】
ここで、
図12を参照すると、例示的実施形態は、それぞれが中央コンピューター605とデータ通信している後方レーダーユニット610と、後方左レーダーユニット612と、後方右レーダーユニット614と、後方右カメラ620と、後方左カメラ622とを含むセンサーサブシステムを例示している。この構成において、後方向きレーダーユニット610は、トレーラーが取り付け可能である自律トラックのトラクターの後方部分上に取り外し可能に設置されることができる。後方左レーダーユニット612および後方右レーダーユニット614は、それぞれ、自律トラックのトラクターの後方左側および後方右側に設置されることができる。後方左レーダーユニット612および後方右レーダーユニット614は、自律トラックのトラクターまたはトレーラーの両側にレーダー信号を放出し、戻り信号を捕捉するように構成されることができる。追加的に、例示的実施形態は、後方右カメラ620および後方左カメラ622を含むことができる。カメラ620/622は、自律トラックのトラクターまたはトレーラーの両側に画像データを捕捉するように構成されることができ、画像データは、自律トラックのトラクターまたはトレーラーに接近している物体の画像を含む可能性がある。レーダーユニット610/612/614およびカメラ620/622は、上記において説明されたようにデータ接続を介して車両制御サブシステムの中央コンピューター605に連結されることができる。レーダーユニット610/612/614は、トラクターおよびトレーラーの後方および両側に電磁波を放出し、電磁波の反射を受け取ることによって検知された物体を表す物体データを生成し、物体データを車両制御サブシステムの中央コンピューター605に転送するように構成されることができる。追加的に、カメラ620/622は、画像とトラクターおよびトレーラーの後方および両側に対応する画像データを捕捉し、画像データにおいて検知された物体を表す物体データを生成し、物体データを車両制御サブシステムの中央コンピューター605に転送するように構成されることができる。さらに、
図20と関連して下記において説明されるように、レーダーデータおよびカメラデータは、より正確で完全な物体検知結果を作成するために一緒に融合されるかまたは組み合わせられることができる。このように、例示的実施形態は、複数のレーダーユニット610/612/614および複数のカメラ620/622を使用して、トレーラーの後続車両、近接した物体、およびトレーラーの状態を検知することができる。
【0083】
ここで、
図13を参照すると、例示的実施形態は、それぞれが中央コンピューター605とデータ通信している後方レーダーユニット610と、後方左レーダーユニット612と、後方右レーダーユニット614と、後方右カメラ620と、後方左カメラ622と、後方右LIDARユニット630と、後方左LIDARユニット632とを含むセンサーサブシステムを例示している。この構成において、後方向きレーダーユニット610は、トレーラーが取り付け可能である自律トラックのトラクターの後方部分上に取り外し可能に設置されることができる。後方左レーダーユニット612および後方右レーダーユニット614は、それぞれ、自律トラックのトラクターの後方左側および後方右側に設置されることができる。後方左レーダーユニット612および後方右レーダーユニット614は、自律トラックのトラクターまたはトレーラーの両側にレーダー信号を放出し、戻り信号を捕捉するように構成されることができる。追加的に、例示的実施形態は、後方右カメラ620および後方左カメラ622を含むことができる。カメラ620/622は、自律トラックのトラクターまたはトレーラーの両側に画像データを捕捉するように構成されることができ、画像データは、自律トラックのトラクターまたはトレーラーに接近している物体の画像を含む可能性がある。例示的実施形態は、後方右LIDARユニット630および後方左LIDARユニット632も含むことができる。LIDARユニット630/632は、自律トラックのトラクターまたはトレーラーの両側にレーザー信号を放出し、三次元(3D)点群を捕捉するように構成されることができる。LIDAR点群は、トラクターまたはトレーラーに接近している物体に対応する3D深さデータを捕捉するために有益である。レーダーユニット610/612/614、カメラ620/622、およびLIDARユニット630/632は、上記において説明されたようにデータ接続を介して車両制御サブシステムの中央コンピューター605に連結されることができる。レーダーユニット610/612/614は、電磁波の反射を受け取ることによって検知された物体を表す物体データを生成し、物体データを車両制御サブシステムの中央コンピューター605に転送するように構成されることができる。カメラ620/622は、二次元(2D)画像と、トラクターおよびトレーラーの後方および両側に対応する画像データとを捕捉し、画像データにおいて検知された物体を表す物体データを生成し、物体データを車両制御サブシステムの中央コンピューター605に転送するように構成されることができる。LIDARユニット630/632は、自律トラックのトラクターまたはトレーラーの両側に三次元(3D)点群を捕捉し、点群データにおいて検知された物体を表す3D物体データを生成し、3D物体データを車両制御サブシステムの中央コンピューター605に転送するように構成されることができる。さらに、
図21と関連して下記において説明されるように、レーダーデータおよびLIDARデータは、より正確で完全な物体検知結果を作成するために一緒に融合されるかまたは組み合わせられることができる。このように、例示的実施形態は、複数のレーダーユニット610/612/614、複数のカメラ620/622、および複数のLIDARユニット630/632を使用して、トレーラーの後続車両、近接した物体、およびトレーラーの状態を検知することができる。
【0084】
図14は、トラックまたはトラクターのためのラックまたは搭載要素623に一体化されたカメラサブシステムの例示的実施形態を例示する。ラック623は、トラックまたはトラクターの上、前方、または後方に搭載されることができる。ラック623は、複数の一体化されたカメラ625を含むように構成されることができ、複数のカメラは、全て、トラクターの前方、後方、および両側の四方の視野および関連画像データを捕捉するように向けられている。
図14は、トラックまたはトラクターのバンパーまたはクォーターパネル627に一体化されたカメラサブシステム625の例示的実施形態も例示している。上記において説明されたように、カメラ625は、二次元(2D)画像と、トラクターおよびトレーラーの前方および両側に対応する画像データとを捕捉し、画像データにおいて検知された物体を表す物体データを生成し、物体データを車両制御サブシステムの中央コンピューター605に転送するように構成されることができる。
【0085】
図15は、トラックまたはトラクターの部分に一体化されたLIDARサブシステムの例示的実施形態を例示する。LIDARサブシステムは、トラックまたはトラクターの上、前方、後方、および両側に搭載された複数のLIDARユニット630/632/643/636/638を含むことができる。点線で示された要素は、
図15において示される視野から隠されている要素である。複数のLIDARユニットは、全て、トラクターの前方、後方、および両側の四方において3D点群を捕捉するように向けられている。上記において説明されたように、LIDARユニットは、自律トラックのトラクターまたはトレーラーの前方、後方、および両側の四方において3D点群を捕捉し、点群データにおいて検知された物体を表す3D物体データを生成し、3D物体データを車両制御サブシステムの中央コンピューター605に転送するように構成されることができる。
【0086】
図16は、トラックまたはトラクターの後方搭載ブラケットに一体化されたセンサーサブシステムの例示的実施形態を例示する。後方向きセンサーサブシステムは、後方向きレーダーユニット610および後方向きLIDARユニット639を含むことができる。後方向きレーダーユニット610は、トラクターおよびトレーラーの後方に電磁波を放出し、電磁波の反射を受け取ることによって検知された物体を表す物体データを生成し、物体データを車両制御サブシステムの中央コンピューター605に転送するように構成されることができる。後方向きLIDARユニット639は、自律トラックのトラクターおよびトレーラーの後方に3D点群を捕捉し、点群データにおいて検知された物体を表す3D物体データを生成し、3D物体データを車両制御サブシステムの中央コンピューター605に転送するように構成されることができる。一体化されたセンサーサブシステムを有する後方搭載ブラケットは、トラックまたはトラクターの後方に(典型的に、トラクターの第五車輪の下かつ後方に)取り付けられることができる。上記において説明されたように、一体化されたセンサーサブシステムは、車両制御サブシステムの中央コンピューター605とデータ通信することができる。
【0087】
図17は、トラックまたはトラクターの部分に一体化されたレーダーサブシステムの例示的実施形態を例示する。レーダーサブシステムは、トラックまたはトラクターの上、前方、後方、および両側に搭載された複数のレーダーユニット612/614/615/616/617を含むことができる。点線で示された要素は、
図17において示される視野から隠されている要素である。複数のレーダーユニットは、全て、トラクターの前方、後方、および両側の四方において反射を捕捉するように向けられている。上記において説明されたように、レーダーサブシステムのレーダーユニットは、自律トラックのトラクターまたはトレーラーの前方、後方、および両側の四方においてレーダー信号を放出し、戻り信号を捕捉し、電磁波の反射を受け取ることによって検知された物体を表す物体データを生成し、物体データを車両制御サブシステムの中央コンピューター605に転送するように構成されることができる。
【0088】
上記において説明されたようなセンサーサブシステムの1つ以上のカメラからの画像データは、二次元(2D)画像データとして表され、近接した車両または他の物体(例えば、動いている車両、動的エージェント、自律トラックまたはトレーラーに近接して近くにある他の物体)と、トラックの後ろのトレーラーの状態とを識別するために、画像データ処理モジュールによって処理されることができる。例えば、セマンティックセグメンテーションおよび/または物体検知のプロセスが、画像データを処理し、画像における物体を識別するために使用されることができる。入力画像データにおいて識別された物体は、バウンディングボックスまたは画像データから物体データを抽出するために有用な他の情報によって指定されることができる。画像データから抽出された物体データは、物体の2D位置または状況を決定するために使用されることができる。物体が、自律トラックの現在の位置から予め決定された距離内にあり、従って近接した物体である場合、物体の2D位置は、決定するために使用されることができる。画像データによって識別された近接した物体の2D位置は、下記においてより詳細に説明されるように、入力としてセンサーデータ融合プロセスに提供されることができる。
【0089】
レーダーユニット(1つまたは複数)からのレーダーデータとLIDARユニット(1つまたは複数)からのLIDARデータとは、それぞれ、レーダーおよびLIDARからの三次元(3D)点群として表されることができる。レーダーまたはLIDAR点群は、潜在的な物体(例えば、動いている車両、動的エージェント、トラックまたはトレーラーの近くにある他の物体)またはトラックの後ろのトレーラーの状態を識別するために使用されることができる。レーダーおよび/またはLIDARユニット(1つまたは複数)からの3D点群は、高度な精密さで、自律トラックから近接した物体となり得る物体のうちの各々までの距離を測定する能力も可能にする。レーダーおよび/またはLIDARユニット(1つまたは複数)からの3D点群を使用することによって生成された識別された物体に関連するデータと、対応する距離測定とは、物体を分類し、物体の位置および速度を決定し、自律トラックの後ろのトレーラーなどの検知された物体の状況を決定するために使用されることができる。
【0090】
物体追跡モジュールは、複数の処理周期、またはカメラ、レーダーユニット(1つまたは複数)、および/またはLIDARユニット(1つまたは複数)からのセンサーデータの収集の反復にわたって識別された物体を追跡するために使用されることができる。物体追跡モジュールは、以前の処理周期において見つけられる識別された物体の位置と速度とを、現在の処理周期において識別される物体と相関付けるように構成されることができる。このように、特定の物体についての距離測定における動きおよび変化は、複数の周期にわたって相関付けられることができる。現在のセンサーデータから消失している物体は、現在のセンサーデータが不完全、不規則、または別様に損なわれている場合、後の周期における存在について依然として確認されることができる。このように、センサーデータが断続的、不規則、または不安定であっても、物体追跡モジュールは、識別された物体を追跡することができる。センサーデータ処理モジュールが現在の周期について検知された物体の位置および速度を生成すると、検知された物体の位置および速度は、以前の周期からの位置および速度データとして保存され、後の処理周期のために使用されることができる。識別され追跡される物体と、それらの対応する距離測定とに関連するデータは、センサーデータ処理モジュールによって出力されることができる。
【0091】
センサーデータ処理モジュールは、画像(カメラ)データから識別された物体をレーダーおよびLIDAR点群データから識別され追跡された物体と相関付けるためにさらに使用されることができる。画像データから識別された物体の2D位置と、レーダーおよびLIDAR点群データによって提供される識別され追跡された物体の距離測定とを考慮して、センサーデータ処理モジュールは、画像データにおいて検知された物体の位置をレーダーおよび/またはLIDARデータにおいて検知された物体と一致させることができる。その結果、検知された物体の2D位置は、検知された物体の対応する距離と一致させられることができ、それは、各検知された物体の位置を三次元(3D)空間にレンダリングすることができる。従って、センサーデータ処理モジュールは、カメラからの画像データと距離測定デバイス(レーダーユニット(1つまたは複数)またはLIDARユニット(1つまたは複数)など)からの距離データとの組み合わせ(または融合)を使用することによって、各近接した物体の三次元(3D)位置を決定することができる。追加的に、各検知された物体の三次元(3D)位置は、複数の処理周期にわたって生成され、追跡されることができる。追跡データに現れず、従って任意の以前の周期における任意の物体に相関しない、新しく識別された物体は、新しい物体として指定され、新しい物体の追跡が開始されることができる。センサーデータ処理モジュールは、複数の周期にわたる3D位置および追跡データを使用して、各検知された物体の速度を決定することができる。従って、センサーデータ処理モジュールは、検知された物体のうちの各々について速度および速度ベクトルを決定することができる。各検知された物体の3D位置および速度に対応するデータは、本明細書において説明されるように、センサーデータ処理モジュールの出力として提供されることができる。
【0092】
上記において説明されたような車両100の他のサブシステムは、各検知された物体の3D位置および速度を使用して、様々な追加的な処理機能を実行することができる。例えば、各検知された物体の3D位置および速度は、検知された物体の経路と交差することも当該経路を妨げることもない車両100についての経路を生成するために、軌道計画モジュールによって使用されることができる。追加的に、各検知された物体の3D位置および速度は、検知された物体の挙動および自律トラック(例えば、車両100)の文脈に基づいて将来の行動を予期または推測するために、計画モジュールによって使用されることができる。将来の行動は、車両100の操作、車両100の運転者に対する警報の生成、または車両100の操作に関係する他の行動を修正するために、制御信号を生成することを含むことができる。
【0093】
ここで、
図18を参照すると、プロセスフロー図は、後方向きセンサーサブシステムを使用してトレーラーの状態またはトレーラーの状況を検知する、および、車両制御サブシステムを使用してセンサーデータを処理し、それによって自律車両を制御する方法4000の例示的実施形態を例示している。例示的実施形態は、トレーラーが取り付け可能である自律トラックのトラクターの後方部分上に設置された後方向きセンサーサブシステムを提供すること(処理ブロック4010)と;後方向きセンサーサブシステムを使用して、トレーラー上における状態の検知について信号を捕捉すること(処理ブロック4020)と;捕捉された信号によって検知されたようなトレーラーの状態を表すセンサーデータを生成すること(処理ブロック4030)と;データ接続を介してセンサーデータを車両制御サブシステムに転送すること(処理ブロック4040)とを行うように構成されることができる。
【0094】
図19から
図21は、様々な形態のセンサーデータを融合させる方法の例示的実施形態を例示するプロセスフロー図である。ここで、
図19を参照すると、プロセスフロー図は、レーダーデータを任意の他の形態のセンサーデータと組み合わせるかまたは融合させる方法7000の例示的実施形態を例示している。例示的実施形態は、トレーラーが取り付け可能である自律トラックのトラクターの一部分上に設置された少なくとも1つのレーダーユニットを含むセンサーサブシステムを提供すること(処理ブロック7010)と;レーダーユニットから三次元(3D)点群データを取得し、バウンディングボックスをレーダーデータにおいて検知された任意の物体に適用すること(処理ブロック7020)と;バウンディングボックスにおけるレーダーデータを任意の利用可能なカメラデータまたはLIDARデータと比較して、偽陰性物体検知について確認すること(処理ブロック7030)とを行うように構成されることができる。
【0095】
ここで、
図20を参照すると、プロセスフロー図は、レーダーデータをカメラ画像データと組み合わせるかまたは融合させる方法5000の例示的実施形態を例示している。例示的実施形態は、トレーラーが取り付け可能である自律トラックのトラクターの一部分上に設置された少なくとも1つのカメラと少なくとも1つのレーダーユニットとを含むセンサーサブシステムを提供すること(処理ブロック5010);カメラから二次元(2D)画像データを取得し、レーダーユニットから三次元(3D)点群データを取得すること(処理ブロック5020);バウンディングボックスを画像データにおいて検知された任意の物体に適用すること(処理ブロック5030)と;3D点群データを2Dバウンディングボックス上に投影して、レーダーデータをカメラ物体データと融合させ、融合されたデータを生成すること(処理ブロック5040)と;後処理を融合されたデータ上において実行することであって、後処理は、外れ値データのフィルタリング、ノイズ抑制、クラスタリングなどを含む、こと(処理ブロック5050)と;融合されたデータを使用することによって、カメラおよびレーダーユニットによって検知された物体の3D位置および3D速度を決定すること(処理ブロック5060)とを行うように構成されることができる。
【0096】
ここで、
図21を参照すると、プロセスフロー図は、レーダーデータをLIDARデータと組み合わせるかまたは融合させる方法6000の例示的実施形態を例示している。例示的実施形態は、トレーラーが取り付け可能である自律トラックのトラクターの一部分上に設置された少なくとも1つのレーダーユニットと少なくとも1つのLIDARユニットとを含むセンサーサブシステムを提供すること(処理ブロック6010)と;LIDARユニットから三次元(3D)点群データを取得し、バウンディングボックスをLIDARデータにおいて検知された任意の物体に適用すること(処理ブロック6020)と;レーダーユニットから3D点群データを取得し、レーダー点群データを二次元(2D)視野上に投影すること(処理ブロック6030)と;LIDARバウンディングボックスを使用してレーダー点群データをクロッピングし、2Dレーダー点群データを3DLIDARバウンディングボックスに追加して、レーダーデータをLIDARデータに融合させ、融合されたデータを生成すること(処理ブロック6040)と;後処理を融合されたデータ上において実行することであって、後処理は、外れ値データのフィルタリング、ノイズ抑制、クラスタリングなどを含む、こと(処理ブロック6050)と;融合されたデータを使用することによって、LIDARユニットおよびレーダーユニットによって検知された物体の3D位置および3D速度を決定すること(処理ブロック6060)とを行うように構成されることができる。
【0097】
新しいシステム、方法、および技術を使用する様々な例示的実施形態は、下記においてより詳細に説明される。本明細書において説明されるような様々な例示的実施形態において、例示的実施形態は、少なくとも以下の例を含むことができる。
【0098】
システムであって、該システムは、自律トラックにおいて設置された車両制御サブシステムであって、車両制御サブシステムは、データプロセッサを備える、車両制御サブシステムと;トレーラーが取り付け可能である自律トラックのトラクターの一部分上に設置されたトラック搭載型センサーサブシステムであって、トラック搭載型センサーサブシステムは、データ接続を介して車両制御サブシステムに連結され、トラック搭載型センサーサブシステムは、トラクターの後ろから画像データおよびセンサーデータを捕捉し、画像データおよびセンサーデータにおいて検知された物体を表す物体データを生成し、物体データを車両制御サブシステムに転送するように構成される、トラック搭載型センサーサブシステムとを備える、システム。
【0099】
システムであって、該システムは、自律トラックにおいて設置された車両制御サブシステムであって、車両制御サブシステムは、データプロセッサを備える、車両制御サブシステムと;トレーラーが取り付け可能である自律トラックのトラクターの一部分上に設置されたトラック搭載型センサーサブシステムであって、トラック搭載型センサーサブシステムは、データ接続を介して車両制御サブシステムに連結され、トラック搭載型センサーサブシステムは、トラクターの後ろのトレーラーから画像データおよびセンサーデータを捕捉し、画像データおよびセンサーデータにおいて検知されたようなトレーラーの状態を表すトレーラーデータを生成し、トレーラーデータを車両制御サブシステムに転送するように構成される、トラック搭載型センサーサブシステムとを備える、システム。
【0100】
システムであって、該システムは、自律トラックにおいて設置された車両制御サブシステムであって、車両制御サブシステムは、データプロセッサを備える、車両制御サブシステムと;トレーラーが取り付け可能である自律トラックのトラクターの一部分上に設置されたトラック搭載型センサーサブシステムであって、トラック搭載型センサーサブシステムは、データ接続を介して車両制御サブシステムに連結され、トラック搭載型センサーサブシステムは、トレーラーの後ろから画像データおよびセンサーデータを捕捉し、画像データおよびセンサーデータにおいて検知された物体を表す物体データを生成し、物体データを車両制御サブシステムに転送するように構成される、トラック搭載型センサーサブシステムとを備える、システム。
【0101】
システムであって、該システムは、自律トラックにおいて設置された車両制御サブシステムであって、車両制御サブシステムは、データプロセッサを備える、車両制御サブシステムと;トレーラーが取り付け可能である自律トラックのトラクターの一部分上に設置されたトラック搭載型センサーサブシステムであって、トラック搭載型センサーサブシステムは、データ接続を介して車両制御サブシステムに連結され、トラック搭載型センサーサブシステムは、トレーラーの後ろから画像データおよびセンサーデータを捕捉し、画像データおよびセンサーデータにおいて検知された物体を表す物体データを生成し、物体データを車両制御サブシステムに転送するように構成される、トラック搭載型センサーサブシステムとを備え、車両制御サブシステムは、トレーラーの後ろから捕捉された物体データに基づいてトラクターの操作を修正するように構成され、トラクターの操作の修正は、速さを落とすこと、速さを上げること、車線を変更すること、ハザードライトをともすこと、または車道の片側に寄せて停止することをトラクターに行わせることを含む、システム。
【0102】
方法であって、該方法は、自律トラックにおいて車両制御サブシステムを設置することであって、車両制御サブシステムは、データプロセッサを備える、ことと;トレーラーが取り付け可能である自律トラックのトラクターの一部分上にトラック搭載型センサーサブシステムを取り外し可能に設置することであって、トラック搭載型センサーサブシステムは、データ接続を介して車両制御サブシステムに連結される、ことと;トラック搭載型センサーサブシステムを活性化して、トレーラーの下の空間において伝搬する電磁波を放出することと;トラック搭載型センサーサブシステムの使用によって、電磁波の反射を受け取ることによって検知された物体を表す物体データを生成することと;物体データを車両制御サブシステムに転送することと;物体データを使用して、トラック搭載型センサーサブシステムによる物体の検出に応答して行動を実行するように自律車両に命令することとを含む、方法。
【0103】
方法は、少なくとも1つのネットワークに接続されたリソースを使用して、トラック搭載型センサーサブシステムを構成するためのデータを取得することをさらに含み得る。
【0104】
方法は、物体データを使用して、トレーラーに後続していると検知された少なくとも1つの物体の位置および速度を取得することをさらに含み得る。
【0105】
方法は、物体データと、少なくとも1つの物体の位置および速度とを使用して、少なくとも1つの物体に対応する脅威レベルを決定することをさらに含み得る。
【0106】
方法は、少なくとも1つの物体に対応する脅威レベルを使用して、脅威レベルが予め設定された閾値を超える場合、回避行動をとるようにトラクターに命令することをさらに含み得る。
【0107】
トラック搭載型センサーサブシステムは、カメラと、レーダーユニットと、レーザー測距装置/LIDARユニットとから成る群からの種類のセンサーと共に構成され得る。
【0108】
方法は、カメラデータをレーダーデータと融合させることをさらに含む。
【0109】
方法は、LIDARデータをレーダーデータと融合させることをさらに含む。
【0110】
トラック搭載型センサーサブシステムによる物体の検知に応答して実行される行動は、トラクターの操舵またはブレーキを調整することを含み得る。
【0111】
車両制御サブシステムは、訓練された機械学習モデルまたは分類器を使用して、センサーデータを処理するように構成され得る。
【0112】
車両制御サブシステムは、トレーラー車輪の異常な状態が検知された場合、トラクターの操作を修正することをトラクター制御システムに行わせるように構成され得る。
【0113】
システムであって、該システムは、自律トラックにおいて設置された車両制御サブシステムであって、車両制御サブシステムは、データプロセッサを備える、車両制御サブシステムと;トレーラーが取り付け可能である自律トラックのトラクターの一部分上に設置されたトラック搭載型センサーサブシステムであって、トラック搭載型センサーサブシステムは、データ接続を介して車両制御サブシステムに連結され、該トラック搭載型センサーサブシステムは、トレーラーの近くで画像を捕捉し、信号を放出し、捕捉された画像または放出された信号において検知された物体を表す物体データを生成し、物体データを車両制御サブシステムに転送するように構成される、トラック搭載型センサーサブシステムとを備える、システム。
【0114】
車両制御サブシステムは、トレーラー車輪の異常な状態が検知された場合、トラクターの操作を修正することをトラクター制御システムに行わせるように構成され得る。
【0115】
システムは、捕捉された画像からのデータを放出された信号からのデータと融合させるように構成され得る。
【0116】
システムは、物体データにおいて検知された近接した物体の距離を検知するように構成され得る。
【0117】
トラック搭載型センサーサブシステムは、後続する物体の位置および速度を検知し得る。
【0118】
トラック搭載型センサーサブシステムは、トレーラーの下の空間において伝搬する電磁波を放出するようにさらに構成され得、空間は、トレーラーの下面とトレーラーの下の地面との間において導波路を形成する。
【0119】
開示の要約は、読者が技術的開示の性質を迅速に確かめることを可能にするために提供されている。開示は、それが請求項の範囲または意味を解釈または限定するために使用されないという理解のもと、提出されている。加えて、上記の詳細な説明において、開示を合理化する目的で様々な特徴が単一の実施形態に集められることが見られ得る。この開示の方法は、特許請求される実施形態が各請求項において明示的に記載された特徴より多くの特徴を必要とするという意図を反映するものと解釈されるべきでない。むしろ、以下の請求項が反映するように、発明の対象は、単一の開示された実施形態の全ての特徴より少ない特徴において存在する。従って、以下の請求項は、本明細書によって詳細な説明に組み込まれ、各請求項は、別個の実施形態としてそれ自体に基づいている。