特開 2023-61377 カメラ監視システムにおけるトレーラ端部のトラッキング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023061377

(43)【公開日】2023-05-01

(54)【発明の名称】カメラ監視システムにおけるトレーラ端部のトラッキング

(51)【国際特許分類】

   H04N 7/18 20060101AFI20230424BHJP

   B60R 1/26 20220101ALI20230424BHJP

   B62D 53/06 20060101ALI20230424BHJP

【ＦＩ】

H04N7/18 J

B60R1/26 ZYW

B62D53/06 Z

【審査請求】未請求

【請求項の数】19

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2022164590

(22)【出願日】2022-10-13

(31)【優先権主張番号】63/257165

(32)【優先日】2021-10-19

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】506139288

【氏名又は名称】ストーンリッジ インコーポレイテッド

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(74)【代理人】

【識別番号】100111235

【弁理士】

【氏名又は名称】原 裕子

(74)【代理人】

【識別番号】100195257

【弁理士】

【氏名又は名称】大渕 一志

(72)【発明者】

【氏名】マ、 リャン

(72)【発明者】

【氏名】メン、 イファン

(72)【発明者】

【氏名】クープライダー、 トロイ オティス

【テーマコード（参考）】

5C054

【Ｆターム（参考）】

5C054FC11

5C054FC12

5C054FE12

5C054HA30

5C054HA31

(57)【要約】      （修正有）

【課題】商用トラックに使用されるカメラ監視システム（ＣＭＳ）画像内においてトレーラ端部を検出、トラッキングする方法及びシステムを提供する。
【解決手段】画像内のトレーラ端部をトラッキングする方法は、コントローラを使用して、少なくとも１つのカメラから画像を受信すること、画像内のトレーラ端部を識別すること及び所定期間の間、画像内のトレーラ端部のモーションをトラッキングすることを含む。コントローラを使用して、画像内のトレーラ端部のモーションに基づいて、モーションモデルを生成する。コントローラは、遅延期間の間、モーションモデルによってトレーラ端部のモーションを維持すること及びコントローラを使用して、期間が経過し、かつ、トレーラ端部が可視ではないことに応答して、遅延期間の終了時にモーションモデルによって指示される推定トレーラ端部位置を確立することによって、トレーラ端部が画像から出ることに応答する。
【選択図】図４

【特許請求の範囲】

【請求項1】

コントローラを使用して画像内のトレーラ端部をトラッキングする方法であって、
少なくとも１つのカメラから画像を受信するステップと、
前記コントローラを使用して、前記画像内の前記トレーラ端部を識別し、所定の期間、前記画像内で前記トレーラ端部のモーションをトラッキングするステップと、
前記コントローラを使用して、前記画像内の前記トレーラ端部のモーションに基づいてモーションモデルを生成するステップと、
前記コントローラを使用して、前記トレーラ端部が前記画像から出ることに応答するステップであって、遅延期間の間、前記モーションモデルによって前記トレーラ端部のモーションを維持し、前記期間が経過し、かつ前記トレーラ端部が可視ではないことに応答して、前記遅延期間の終了時に前記モーションモデルによって指示される推定トレーラ端部位置を確立することによって行われるステップと
を含む、方法。

【請求項2】

前記モーションモデルを生成することは、車速、測定されたトレーラの角度、トレーラの長さ、ステアリングの角度、トラックヨーレート、トランスミッションギア、並びに内部及び外部のカメラセンサ情報の少なくとも１つに依存する、請求項１に記載の方法。

【請求項3】

前記遅延期間は、前記車速、測定されたトレーラの角度、トレーラの長さ、ステアリングの角度、及びトラックヨーレート、トランスミッションギア、並びに内部及び外部のカメラセンサ情報の少なくとも１つに依存する、請求項２に記載の方法。

【請求項4】

前記遅延期間は、事前定義された期間である、請求項１に記載の方法。

【請求項5】

前記モーションモデルは、前記画像内の前記トレーラ端部のモーションの傾向のモデルである、請求項１に記載の方法。

【請求項6】

前記モーションモデルは、三次元座標系内の前記トレーラ端部のモーションの傾向のモデルであり、前記三次元座標系における前記トレーラ端部の位置は、前記画像内の前記トレーラ端部の位置に少なくとも部分的に基づいて決定される、請求項１に記載の方法。

【請求項7】

前記コントローラのヒューマンマシンインターフェース（ＨＭＩ）モジュールに前記トレーラ端部位置を提供するステップと、前記ヒューマンマシンインターフェースモジュールを使用して前記推定トレーラ端部位置に基づいて視覚的強化を表示するステップとをさらに含む、請求項１に記載の方法。

【請求項8】

前記視覚的強化は、前記トレーラ端部位置から延びる水平ラインを含み、
前記トレーラ端部がビューの外にある場合に、前記視覚的強化が維持される、請求項７に記載の方法。

【請求項9】

前記推定トレーラ端部位置を三次元座標位置に変換するステップと、前記三次元座標位置を自動運転支援システム及び半自動運転支援システムの少なくとも１つに提供するステップとをさらに含む、請求項１に記載の方法。

【請求項10】

前記モーションモデルを生成することは、前記画像内の前記トレーラ端部位置の等速度（ＣＶ）、等加速度（ＣＡ）、及び釣合旋回等加速度（ＣＴＣＡ）をそれぞれ決定することを含む、請求項１に記載の方法。

【請求項11】

車両の第１の側面に配置される少なくとも１つの第１のカメラであって、トレーラが前記車両に接続されたときにトレーラを含むように構成される第１の視野を定義する少なくとも１つの第１のカメラ、及び前記車両の第２の側面に配置される少なくとも１つの第２のカメラであって、前記トレーラが前記車両に接続されたときに前記トレーラを含むように構成される第２の視野を定義する少なくとも１つの第１のカメラと、
前記少なくとも１つの第１のカメラ及び前記少なくとも１つの第２のカメラのそれぞれに通信可能に結合されるＣＭＳコントローラであって、前記少なくとも１つの第１のカメラ及び前記少なくとも１つの第２のカメラからの画像を使用して少なくとも１つの画像を生成するように構成されるＣＭＳコントローラと、
複数のディスプレイであって、各ディスプレイが車両運転者の位置に向いており、かつ前記少なくとも１つの画像のうち少なくとも１つを表示するように構成される、複数のディスプレイと、
前記コントローラ内のトレーラ端部トラッキングモジュールであって、前記コントローラによって、前記少なくとも１つの第１のカメラ及び前記少なくとも１つの第２のカメラからの画像においてトレーラ端部を識別すること、前記画像内の識別されたトレーラ端部のモーションに基づいてモーションモデルを生成すること、及び、決定されたモーションモデルを使用して継続的なトレーラ端部位置を推定することによって、前記トレーラ端部が前記第１の視野及び前記第２の視野のうちの１つから出ることに応答することを行うように構成されるトラッキングモジュールと
を備える、車両用のカメラ監視システム（ＣＭＳ）。

【請求項12】

決定されたモーションモデルを使用して前記継続的なトレーラ端部位置を推定することは、前記トレーラ端部が遅延期間内に前記第１の視野及び前記第２の視野の１つに入らないことに応答して、定常的な推定トレーラ端部位置を確立することを含む、請求項１１に記載のカメラ監視システム。

【請求項13】

前記遅延期間は、前記コントローラ内に記憶されている事前定義された期間である、請求項１２に記載のカメラ監視システム。

【請求項14】

前記モーションモデルには、少なくとも１つの測定された車両パラメータが組み込まれており、
前記遅延期間は、前記少なくとも１つの測定された車両パラメータに依存する、請求項１２に記載のカメラ監視システム。

【請求項15】

前記少なくとも１つの測定された車両パラメータは、車速、測定されたトレーラの角度、トレーラの長さ、ステアリングの角度、トラックヨーレート、トランスミッションギア、並びに内部及び外部のカメラセンサ情報の少なくとも１つを含む、請求項１４に記載のカメラ監視システム。

【請求項16】

前記コントローラは、前記少なくとも１つの画像上にトレーラ端部の視覚的強化特徴を重ね合わせるように構成されるヒューマンマシンインターフェース（ＨＭＩ）モジュールを含む、請求項１２に記載のカメラ監視システム。

【請求項17】

前記トレーラ端部の視覚的強化特徴は、前記トレーラ端部が前記第１の視野及び第２の視野の１つにある場合、前記トレーラ端部から延びる水平ラインであり、前記トレーラ端部が前記第１の視野及び第２の視野の１つにない場合、前記推定トレーラ端部位置から延びる水平ラインである、請求項１６に記載のカメラ監視システム。

【請求項18】

前記第１の視野及び前記第２の視野は、クラスＩＶの視野である、請求項１６に記載のカメラ監視システム。

【請求項19】

前記コントローラは、前記推定トレーラ位置を前記車両の自動又は半自動運転支援システムに出力するようにさらに構成される、請求項１１に記載のカメラ監視システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、商用トラックに使用されるカメラ監視システム（ＣＭＳ）、特に、カメラ監視システム画像内においてトレーラ端部を検出するためのシステムに関する。

【0002】

（関連出願への相互参照）
本出願は、２０２１年１０月１９日に出願された米国仮特許出願第６３／２５７１６５号への優先権を主張する。

【背景技術】

【0003】

ミラー交換システム、及びミラーのビューを補完するカメラシステムは、車両の運転者が周囲の環境を見る能力を高めるために商用車両に利用されている。カメラ監視システム（ＣＭＳ）は、１つ以上のカメラを利用して、車両運転者に強化された視野を提供する。いくつかの例では、ミラー交換システムは、従来のミラーよりも広い視野をカバーし、又は従来のミラーを介して完全には得られないビューを含む。

【0004】

いくつかの例では、ＣＭＳディスプレイには、道路特徴、検出された物体、又は車両運転者が車両操作を実行するのを支援するその他の同様のオーバーレイを識別する視覚的強化が含まれる。場合によっては、視覚的強化によってカメラからの機能低下（例えば、奥行き知覚の欠如）を補うこともあれば、視覚的強化によって従来のミラーよりも機能（例えば、物体識別、距離ライン等）が向上することもある。画像内のいくつかの視覚的強化の配置には、トレーラの１つ以上の部分がどこに配置されているかを知る必要がある。

【発明の概要】

【0005】

コントローラを使用して画像内のトレーラ端部をトラッキングするための例示的な方法は、少なくとも１つのカメラから画像を受信するステップと、前記コントローラを使用して、前記画像内の前記トレーラ端部を識別し、所定の期間、前記画像内の前記トレーラ端部のモーションをトラッキングするステップと、前記コントローラを使用して、前記画像内の前記トレーラ端部のモーションに基づいてモーションモデルを生成するステップと、前記コントローラを使用して、前記トレーラ端部が前記画像から出ることに応答するステップであって、遅延期間の間、前記モーションモデルによって前記トレーラ端部のモーションを維持すること、及び、前記期間が経過し、かつ前記トレーラ端部が可視ではないことに応答して、前記遅延期間の終了時に前記モーションモデルによって指示される推定トレーラ端部位置を確立することによって行われるステップとを含む。

【0006】

コントローラを使用して画像内のトレーラ端部をトラッキングする上記の方法の別の例では、前記モーションモデルを生成することは、車速、測定されたトレーラの角度、トレーラの長さ、ステアリングの角度、トラックヨーレート、トランスミッションギア、並びに内部及び外部のカメラセンサ情報の少なくとも１つに依存する。

【0007】

コントローラを使用して画像内のトレーラ端部をトラッキングする上記のいずれかの方法の別の例では、前記遅延期間は、前記車速、測定されたトレーラの角度、トレーラの長さ、ステアリングの角度、及びトラックヨーレート、トランスミッションギア、並びに内部及び外部のカメラセンサ情報の少なくとも１つに依存する。

【0008】

コントローラを使用して画像内のトレーラ端部をトラッキングする上記のいずれかの方法の別の例では、前記遅延期間は、事前定義された期間である。

【0009】

コントローラを使用して画像内のトレーラ端部をトラッキングする上記のいずれかの方法の別の例では、前記モーションモデルは、前記画像内の前記トレーラ端部のモーションの傾向のモデルである。

【0010】

コントローラを使用して画像内のトレーラ端部をトラッキングする上記のいずれかの方法の別の例では、前記モーションモデルは、三次元座標系内の前記トレーラ端部のモーションの傾向のモデルであり、前記三次元座標系におけるトレーラ端部位置は、前記画像内の前記トレーラ端部の位置に少なくとも部分的に基づいて決定される。

【0011】

コントローラを使用して画像内のトレーラ端部をトラッキングする上記のいずれかの方法の別の例は、前記コントローラのヒューマンマシンインターフェース（ＨＭＩ）モジュールに前記トレーラ端部位置を提供するステップと、前記推定トレーラ端部位置に基づいて視覚的強化を表示するためにＨＭＩモジュールを使用するステップとをさらに含む。

【0012】

コントローラを使用して画像内のトレーラ端部をトラッキングする上記のいずれかの方法の別の例では、前記視覚的強化は、前記トレーラ端部位置から延びる水平ラインを含み、前記トレーラ端部がビューの外にある場合は、前記視覚的強化が維持される。

【0013】

コントローラを使用して画像内のトレーラ端部をトラッキングする上記のいずれかの方法の別の例では、前記推定トレーラ端部位置を三次元座標位置に変換するステップと、前記三次元座標位置を自動運転支援システム及び半自動運転支援システムの少なくとも１つに提供するステップとをさらに含む。

【0014】

コントローラを使用して画像内のトレーラ端部をトラッキングする上記のいずれかの方法の別の例では、前記モーションモデルを生成することは、前記画像内の前記トレーラ端部位置の等速度（ＣＶ）、等加速度（ＣＡ）、及び釣合旋回等加速度（ＣＴＣＡ）のそれぞれを決定することを含む。

【0015】

１つの例示的な実施形態において、車両用のカメラミラーシステム（ＣＭＳ）は、車両の第１の側面に配置される少なくとも１つの第１のカメラであって、トレーラが前記車両に接続されたときにトレーラを含むように構成される第１の視野を定義する少なくとも１つの第１のカメラ、及び前記車両の第２の側面に配置される少なくとも１つの第２のカメラであって、前記トレーラが前記車両に接続されたときに前記トレーラを含むように構成される第２の視野を定義する少なくとも１つの第１のカメラと、前記少なくとも１つの第１のカメラ及び前記少なくとも１つの第２のカメラのそれぞれに通信可能に結合されるＣＭＳコントローラであって、前記少なくとも１つの第１のカメラ及び前記少なくとも１つの第２のカメラからの画像を使用して少なくとも１つの画像を生成するように構成されるＣＭＳコントローラと、複数のディスプレイであって、各ディスプレイが車両運転者の位置に向いており、前記少なくとも１つの画像のうち少なくとも１つを表示するように構成される、複数のディスプレイと、前記コントローラ内のトレーラ端部トラッキングモジュールであって、前記コントローラによって、前記少なくとも１つの第１のカメラ及び前記少なくとも１つの第２のカメラからの前記画像において前記トレーラ端部を識別し、前記画像内の識別されたトレーラ端部のモーションに基づいてモーションモデルを生成し、決定されたモーションモデルを使用して継続的なトレーラ端部位置を推定することによって、前記トレーラ端部が前記第１の視野及び前記第２の視野のうちの１つから出ることに応答するように構成されるトラッキングモジュールとを含む。

【0016】

上記の車両用のカメラ監視システム（ＣＭＳ）の別の例では、決定されたモーションモデルを使用して前記継続的なトレーラ端部位置を推定することは、前記トレーラ端部が遅延期間内に前記第１の視野及び前記第２の視野の１つに入らないことに応答して、定常的な推定トレーラ端部位置を確立することを含む。

【0017】

上記の車両用のカメラ監視システム（ＣＭＳ）のいずれかの別の例では、前記遅延期間は、前記コントローラ内に記憶されている事前定義された期間である。

【0018】

上記の車両用のカメラ監視システム（ＣＭＳ）のいずれかの別の例では、前記モーションモデルには、少なくとも１つの測定された車両パラメータが組み込まれており、前記遅延期間は、前記少なくとも１つの測定された車両パラメータに依存する。

【0019】

上記の車両用のカメラ監視システム（ＣＭＳ）のいずれかの別の例では、前記少なくとも１つの測定された車両パラメータは、前記車速、測定されたトレーラの角度、トレーラの長さ、ステアリングの角度、トラックヨーレート、トランスミッションギア、並びに内部及び外部のカメラセンサ情報の少なくとも１つを含む。

【0020】

上記の車両用のカメラ監視システム（ＣＭＳ）のいずれかの別の例では、前記コントローラは、前記少なくとも１つのミラー交換画像上にトレーラ端部の視覚的強化特徴を重ね合わせるように構成されるヒューマンマシンインターフェース（ＨＭＩ）モジュールを含む。

【0021】

上記の車両用のカメラ監視システム（ＣＭＳ）のいずれかの別の例では、前記トレーラ端部の視覚的強化特徴は、前記トレーラ端部が前記第１の視野及び第２の視野の１つにある場合、前記トレーラ端部から延びる水平ラインであり、前記トレーラ端部が前記第１の視野及び第２の視野の１つにない場合、前記推定トレーラ端部位置から延びる水平ラインである。

【0022】

上記の車両用のカメラ監視システム（ＣＭＳ）のいずれかの別の例では、前記第１の視野及び前記第２の視野は、クラスＩＶの視野である。

【0023】

上記の車両用のカメラ監視システム（ＣＭＳ）のいずれかの別の例では、前記コントローラは、前記推定トレーラ位置を前記車両の自動又は半自動運転支援システムに出力するようにさらに構成される。

【0024】

本発明のこれら及びその他の特徴は、以下の明細書及び図面から最もよく理解することができる。

【0025】

本開示は、添付の図面と併せて考慮したとき、以下の詳細な説明を参照することによってさらに理解することができる。

【図面の簡単な説明】

【0026】

【図1A】少なくともクラスＩＩ及びクラスＩＶのビューを提供するために使用されるカメラ監視システム（ＣＭＳ）を備えた商用トラックの概略正面図である。

【図1B】クラスＩＩ、クラスＩＶ、クラスＶ及びクラスＶＩのビューを提供するカメラ監視システムを備えた商用トラックの概略上面図である。

【図2】ディスプレイ及び室内カメラを含む車両運転室の概略上部斜視図である。

【図3A】トレーラの角度が約０度の商用車両を概略的に示している。

【図3B】トレーラの角度が約４５度の商用車両を概略的に示している。

【図4】トレーラ端部が可視ではないときにトレーラ端部位置を推定する方法を示している。

【図5A】トレーラ端部が可視であるようなトレーラ角度にトレーラを配置したクラスＩＩのビューを概略的に示している。

【図5B】トレーラ端部が可視ではないようなトレーラ角度にトレーラを配置したクラスＩＩのビューを概略的に示している。

【発明を実施するための形態】

【0027】

上述の段落の実施形態、例示及び代替物、請求項、又は以下の記載及び図面は、それらの様々な態様又はそれぞれの個別の特徴のいずれかを含めて、独立して、又は任意の組み合わせで採用されてもよい。１つの実施形態に関連して記述された特徴は、そのような特徴に互換性がない場合を除き、全ての実施形態に適用可能である。

【0028】

商用車両１０の概略図を図１Ａ及び図１Ｂに示す。図２は、ディスプレイ及び室内カメラを含む車両１０の運転室の概略上部斜視図である。車両１０は、トレーラ１４を牽引するための車両運転室又はトラクタ１２を含む。車両運転室１２及び／又はトレーラ１４はどのような構成でもよいことを理解すべきである。本開示では商用トラックが企図されているが、本発明は他の種類の車両にも適用することができる。車両１０にはカメラモニタシステム（ＣＭＳ）１５（図２）が組み込まれており、これには運転席及び助手席側のカメラアーム１６ａ、１６ｂが車両運転室１２の外側に取り付けられている。必要に応じて、カメラアーム１６ａ、１６ｂには、それらと一体化した従来のミラーも含まれ得るが、ＣＭＳ１５を使用してミラーを完全に交換することもできる。追加の例では、各側に複数のカメラアームが含まれてよく、各アームは１つ以上のカメラ及び／又はミラーを収容する。

【0029】

各カメラアーム１６ａ、１６ｂは、例えば運転室１２に固定されたベースを含む。旋回アームはベースによって支持されており、それに対して関節接続されてもよい。少なくとも１つの後向きカメラ２０ａ、２０ｂがカメラアーム内にそれぞれ配置されている。外部カメラ２０ａ、２０ｂはそれぞれ、商用トラック業界で法的に規定されたビューであるクラスＩＩ及びクラスＩＶのビュー（図１Ｂ）の少なくとも１つをそれぞれ含む外部視野ＦＯＶＥＸ１、ＦＯＶＥＸ２を提供する。必要に応じて、これらのビューを提供するために、各カメラアーム１６ａ、１６ｂに複数のカメラが使用されてもよい。例えば、クラスＩＩ及びクラスＩＶのビューは欧州のＲ４６法で定義されており、米国及びその他の国でも商用トラックに対して同様の運転視認性要件を定めている。「クラス」ビューへの言及は、限定することを意図したものではなく、特定のカメラによってディスプレイに提供されるビューのタイプの例示として意図されている。各アーム１６ａ、１６ｂは、ＣＭＳ１５の様々な特徴を提供するように構成された電子機器を囲むハウジングも提供してもよい。

【0030】

第１及び第２の映像ディスプレイ１８ａ，１８ｂは、Ａピラー１９ａ，１９ｂ上の又はその近くの車両運転室１２内の運転席側及び助手席側のそれぞれに配置され、車両１０のそれぞれの側にクラスＩＩ及びクラスＩＶのビューを表示し、これは車外カメラ２０ａ，２０ｂによって撮影された車両１０に沿った後面側のビューを提供する。

【0031】

クラスＶ及び／又はクラスＶＩのビューの映像も必要な場合、これらのビューを提供するために、車両１０の前面又はその近くにカメラハウジング１６ｃ及びカメラ２０ｃが配置されてもよい（図１Ｂ）。フロントガラスの上部中央付近の運転室１２内に配置された第３のディスプレイ１８ｃを使用して、車両１０の前方に向かうクラスＶ及びクラスＶＩのビューを運転者に表示することができる。ディスプレイ１８ａ、１８ｂ、１８ｃは、運転席２６に運転者が着席する運転室２２内の運転者領域２４に向いている。特定のディスプレイにストリームされるビューの位置、サイズ及び（複数の）視野は、本開示に記載された構成とは異なり得るが、それでも本開示の発明を含んでいる。

【0032】

クラスＶＩＩＩのビューの映像が必要な場合、カメラハウジングを車両１０の側面及び後部に配置して、車両１０のクラスＶＩＩＩゾーンの一部又は全てを含む視野を提供することができる。このような例では、第３のディスプレイ１８ｃは、クラスＶＩＩＩのビューを表示する１つ以上のフレームを含み得る。或いは、第１、第２及び第３のディスプレイ１８ａ、１８ｂ、１８ｃの近くに追加のディスプレイを追加して、クラスＶＩＩＩのビューを提供する専用のディスプレイを提供することもできる。

【0033】

ディスプレイ１８ａ、１８ｂ、１８ｃは、運転席２６に運転者が着席する運転室２２内の運転者領域２４に向いている。ディスプレイ１８ａ、１８ｂ、１８ｃはそれぞれ対応するミラー交換ディスプレイを提供する。いくつかの例では、運転者側ディスプレイ１８ａは、クラスＩＩビューの第１の画像及びクラスＩＶビューの第２の画像を含み、それぞれが運転者側ミラーによって従来提供されていたビューを置き換えることができる。同様に、助手席側ディスプレイ１８ｂは、車両１０の助手席側のクラスＩＩ及びクラスＩＶのビューを提供することができる。いくつかの例では、第３のディスプレイ１８ｃをさらに利用して、車両運転者に補助的なビューを提供する。

【0034】

いくつかの例では、映像フィードの上にヒューマンマシンインターフェース（ＨＭＩ）オーバーレイを提供することにより、Ｃｌａｓｓ ＩＩ及びＣｌａｓｓ ＩＶビューを強化できる。ＨＭＩオーバーレイは、画像フィードだけでは容易には分からない場合がある追加情報を車両運転者に提供する。使用可能なＨＭＩオーバーレイの中には、画像の上に重ねられたトレーラ端部ラインがある。トレーラ端部ラインは、ディスプレイ内のトレーラ端部ラインのｙ座標位置に沿ってトレーラ端部から引かれた水平ラインであり、車両運転者がディスプレイに表示されたトレーラ端部から物体までの相対距離を識別するのを支援する。

【0035】

トレーラ端部ラインを配置するために、既存のＣＭＳシステムは、トレーラ端部ラインの検出及び識別を車両運転者に依存している。これは、運転者が各カメラの視野内にマーカーを配置し、ダイヤルを手動で調整して、水平ラインがマーカーに揃うまで視野内で水平ラインを移動させることによって実現される。トレーラ端部位置に関する知識は、自動運転システム及び／又は部分的に自動化された運転システムを支援するためにさらに使用することができる。例として、後端の位置の知識を利用して、運転者の状況認識を向上させることができる。別の例では、脅威評価の目的で、後端の位置の知識は、画像に基づく物体検出情報と組み合わせて使用されてもよい。しかしながら、手動で配置されたトレーラの端部ラインは信頼性が低いか、又はこれらの目的に利用するには十分な精度がない場合がある。

【0036】

図１Ａ、図１Ｂ及び図２を引き続き参照して、図３Ａ及び図３Ｂは、エゴ部分トレーラ１１０を含む車両１００を示す。図３Ａでは、車両１００は前進位置（図３Ａ）にあり、トレーラ１１０は運転室１２０に対して約０度の角度を有しており、つまり運転室１２０の向きに揃っている。代替的に、この角度１４２は、運転室１２０に対して１８０度と表すこともできる。図３Ｂでは、車両１００が旋回しており、トレーラ１１０が運転室１２０に対して斜めになっており（図３Ｂ）、トレーラ１１０の後部がクラスＩＶのビューにおいて可視であるトレーラ角度１４２が生じている。図３Ｂの特定の傾斜は、説明のために最も期待される角度に対して誇張されている。図３Ｂに示されているのと同様の傾斜は、車両１００が後退操作を行っているときにも発生する。

【0037】

いくつかの例では、ＣＭＳには、トレーラ端部から水平に、画像内に識別されるトレーラ端部ラインを延長するＨＭＩシステムが含まれる。トレーラ端部ラインは、車両運転者がトレーラ１１０の端部１３０に対して視野内の物体の位置を識別することを支援する。さらなる例では、トレーラ１１０の端部１３０は三次元空間位置に外挿されてもよく、外挿された点は半自動化又は自動化された車両機能、又はトレーラ端部１３０の位置を必要とし得るその他の車両システムに使用することができる。

【0038】

車両１００の運転中、カメラ監視システム（ＣＭＳ）又は他の車両コントローラは、図３Ｂの例における場合のように、トレーラ１１０が所与の画像において可視である間に、トレーラ端部１３０を識別するための画像分析技術を利用する。しかしながら、図３Ａの例のように、画像内にトレーラ端部が可視ではない場合、画像分析だけではトレーラ端部１３０の位置を識別できない。トレーラ端部位置を利用するシステムの継続的な動作を容易にするために、車両１００のＣＭＳには、トレーラ端部１３０が可視ではない間にトレーラ端部１３０の位置を推定するトレーラ端部１３０推定モジュールがＣＭＳコントローラ内に含まれている。

【0039】

トレーラ端部１３０の位置を推定するために、ＣＭＳは、画像分析を使用してトレーラ端部１３０が可視である間に、トレーラ端部１３０をトラッキングする。一例では、トラッキングは、画像内のトレーラ端部１３０のモーションを考慮したモーションモデルを作成するために使用される。別の例では、トレーラ端部１３０の位置は、二次元画像の位置からＣＭＳによって定義された座標系の三次元座標位置に変換され、トレーラ端部１３０は三次元座標系を通じてトラッキングされる。別の例では、トレーラ端部１３０に対して画像にヒューマンマシンインターフェース（ＨＭＩ）要素を配置するために、三次元座標の推定位置が二次元位置に逆変換される。車両１００が真っ直ぐになるか、又は他の方向に旋回すると、トレーラの角度１４２は減少し、トレーラ端部１３０はトラクタ１２０に対して円弧１３２で移動する。この円弧１３２により、トレーラ端部１３０はＣＭＳカメラの視野から外れる。ＣＭＳが追加のセンサー情報にアクセスできるいくつかの例では、モーションモデルは、車速、測定されたトレーラの角度、トレーラの長さ、ステアリングの角度、トラックヨーレート、トランスミッションギア、内部及び外部のカメラセンサ情報等のデータをさらに考慮することができる。トレーラ端部１３０のモーションモデルは、傾向が継続され得るようなモーションの傾向のモデルである。

【0040】

トレーラの角度１４２が所定の閾値角度（例えば１５度）を下回ると、トレーラ端部１３０はクラスＩＩ又はクラスＩＶのビューでは見えなくなり、ＣＭＳはトレーラ端部１３０の位置を検出できなくなる。その結果、トレーラ端部ラインを画像に重ね合わせることはできない。トレーラ端部ラインのオーバーレイを維持するため、又は最新の正確なトレーラ端部位置に依存するその他のシステムを維持するために、ＣＭＳは、トレーラ端部１３０がクラスＩＩ及びクラスＩＶの視野に入っている間に作成されたモーションモデルを使用して、トレーラ端部１３０がビューに入っていない間のトレーラ端部１３０の位置を推定する。

【0041】

図３Ａ及び図３Ｂを引き続き参照して、図４は、トレーラの端部１３０の位置インジケータ（端部ライン）を維持するための方法３００を示している。最初に、ＣＭＳは、ステップ３１０の「端部位置を決定する」において既知の従来の画像分析技術を使用して、クラスＩＩ及びクラスＩＶのいずれかのビュー内のトレーラ端部１３０を識別する。識別されると、トレーラ端部１３０のモーションは、ステップ３２０の「トレーラのモーションをトラッキングする」において画像内でトラッキングされる。トラッキングされるモーションは、画像内のトレーラ端部１３０の位置である。いくつかの例では、モーションは三次元空間内のモーションに変換され、三次元のモーションは、画像内のトレーラ端部１３０のモーションと同様にトラッキングされる。

【0042】

ＣＭＳは、画像内のトレーラ端部１３０のモーションに基づいて、及びステップ３３０の「モーションに基づいてモーションモデルを作成する」においてＣＭＳにとって既知であるか又は知り得るものである追加の要因に基づいて、トレーラのモーションモデルを作成する。ある場合には、モーションモデルは等速度（ＣＶ）、等加速度（ＣＡ）、釣合旋回等加速度（ＣＴＣＡ）である。これらの３つの要因を組み合わせて、画像内のコーナーの運動の傾向を表す。別の例では、単一のモーションモデル、又は代替モーションモデルを使用して同様の機能を提供することができる。例として、所定の速度又は所与の加速度で、トレーラ端部が画像内を下方向に移動している場合、そのモーションの傾向（例えば、毎秒３ピクセルの速度で下向き）がモーションモデルとして記録される。ＣＭＳは、トレーラ端部１３０がビューから離れた後で、トレーラ端部１３０のモーションがモーションモデルで定義された傾向を継続すると想定する。より複雑な構成では、モーションモデルによって定義される傾向は、画像内のモーションがステアリングの角度、車両速度、ヨーレート、トランスミッションギア、トレーラの長さ、トレーラの角速度、及び車両１００の同様の要因等の１つ以上の追加要因に依存する依存関係を含み得る。

【0043】

トレーラ１１０が真っ直ぐになる（すなわち、トレーラ角度が０度に近づく）につれて、通常は車両のトレーラ端部１３０がビューから離れるので、ＣＭＳは、設定された時間の後、トレーラが平衡点に達し、車両１００が再び旋回するまでトレーラ端部１３０は最小の運動を有すると想定する。

【0044】

トレーラ端部１３０がＣＭＳの可視フレームを離れると、ＣＭＳは「所定期間待機する」において事前定義された期間を待機する。待機期間中、ＣＭＳは、コーナーが可視ではない期間中のコーナーの運動を推定し続けるために、モーションモデルに基づいてカルマンフィルタリング予測を実行する。この期間は十分に長いので、ＣＭＳはトレーラ端部１３０が平衡に達し、直近の将来にビューに戻らないことを確認することができる。１つの例では、期間は約２秒に設定され得る。いくつかの例では、期間は速度、ヨーレート、ギア、トレーラの長さ、ステアリングの角度、及び／又は車両１００の類似の特徴に依存してもよい。他の例では、期間は、ＣＭＳ内に記憶された静的な既定の期間であり得る。適応期間の例では、より大きなヨーレート及びより速い速度は、トレーラも操縦していることを示しており、それによりトレーラ端部がより早く均衡に達することが理解されるので、待機時間はより小さくなる。

【0045】

この期間が経過した後で、トレーラ端部１３０がＣＭＳビュー内に再び表れていない場合、ＣＭＳはステップ３５０の「トレーラ端部位置を確定する」において推定トレーラ端部位置を確定する。一旦確定されると、トレーラ端部１３０は、確立されたモーションモデルに基づいた平衡で安定した推定位置に維持されるとＣＭＳによって想定され、ディスプレイには、推定トレーラ端部位置に基づく端部ライン等のＨＭＩオーバーレイが含まれる。別の例では、想定されるトレーラ端部１３０の位置も、運転室に対して三次元の位置に変換され、運転者支援システム、又はトレーラ端部１３０の位置を利用するその他の車両システムに提供され得る。

【0046】

一例では、トレーラ端部位置１３０を確定した後で、トレーラ端部位置１３０が複数の視野の１つに再び入るまで、その位置は維持される。モーションモデルが速度、ステアリングの角度、又は車両１００の任意の同様のパラメータに依存するような代替例では、ステップ３６０の「モーションモデルを維持及び更新する」において、初期期間の後でモーションモデルが維持され、トレーラ端部１３０がフレームに再び入るまで、期間が経過するたびにトレーラ端部の推定位置が更新され得る。

【0047】

図１Ａ－図４を引き続き参照すると、図５Ａ及び図５Ｂは、トレーラ端部１３０がビューに入っている状態（図５Ａ）及びトレーラ端部がビューに入っていない状態（図５Ｂ）のトレーラ１１０のクラスＩＩビューを概略的に示している。各図において、例示的なトレーラ端部ライン１３４のヒューマンマシンインターフェースは、トレーラ１１０の端部１３０、又は想定される端部から水平方向に延びるように配置されている。

【0048】

例示的な実施形態が開示されてきたが、当業者であれば、所定の修正が請求項の範囲内に入ることを認識するであろう。そのため、以下の請求項については、その真の範囲及び内容を判断するように検討されるべきである。

【図1A】

【図1B】

【図2】

【図3A】

【図3B】

【図4】

【図5A】

【図5B】

【外国語明細書】