特開 2023-178952 画像に基づくトレーラ角度検出を含む自動パンニングカメラ監視システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023178952

(43)【公開日】2023-12-18

(54)【発明の名称】画像に基づくトレーラ角度検出を含む自動パンニングカメラ監視システム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20231211BHJP

   B62D 53/00 20060101ALI20231211BHJP

【ＦＩ】

H04N7/18 J

B62D53/00 Z

【審査請求】未請求

【請求項の数】18

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023083081

(22)【出願日】2023-05-19

(31)【優先権主張番号】17/832815

(32)【優先日】2022-06-06

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】506139288

【氏名又は名称】ストーンリッジ インコーポレイテッド

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100111235

【弁理士】

【氏名又は名称】原 裕子

(74)【代理人】

【識別番号】100195257

【弁理士】

【氏名又は名称】大渕 一志

(72)【発明者】

【氏名】マ、 リャン

(72)【発明者】

【氏名】シャルマ、 ウトゥカルシュ

(72)【発明者】

【氏名】イムラン、 サイフ

(72)【発明者】

【氏名】グダルジ、 モハマド

(72)【発明者】

【氏名】ファン、 ニュエン

(72)【発明者】

【氏名】ウェイ、 ウェンペン

【テーマコード（参考）】

5C054

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054FC12

5C054FC14

5C054FD03

5C054FD07

5C054FE25

5C054FE26

5C054HA30

(57)【要約】      （修正有）

【課題】画像に基づくトレーラ角度推定を含む自動パンニング機能を有するカメラ監視システム及び方法を提供する。
【解決手段】商用車両１０のビューを自動的にパンニングする方法は、視野を定義する少なくとも１つのカメラ２０ａ、２０ｂ、２０ｃからビデオフィードを受信することを含む。少なくとも１つの車輪及び少なくとも１つのラインを含むビデオフィード内の複数の物体が識別される。複数の物体の中の各物体の経路は、ビデオフィードの画像平面を介して追跡される。各経路に対応するトレーラ角度が識別され、識別されたトレーラ角度が対応する経路に関連付けられ、それによって複数のトレーラ角度測定値が生成される。複数の経路は、単一の経路に絞り込まれ、単一の経路に対応する単一のトレーラ角度測定を識別する。
【選択図】図１Ａ

【特許請求の範囲】

【請求項1】

商用車両のビューを自動的にパンニングするための方法であって、
少なくとも１つのカメラからビデオフィードを受信するステップであって、前記カメラは視野を定義するステップと、
前記ビデオフィード内の複数の物体を識別するステップであって、前記複数の物体は、少なくとも１つの車輪及び少なくとも１つのラインを含むステップと、
前記ビデオフィードの画像平面を通る前記複数の物体の中の各物体の経路を追跡するステップと、
各経路に対応するトレーラ角度を識別し、識別されたトレーラ角度を対応する経路に関連付けることにより、複数のトレーラ角度測定値を生成するステップと、
複数の経路を単一の経路に絞り込み、前記単一の経路に対応する単一のトレーラ角度測定値を識別するステップと
を含む、方法。

【請求項2】

前記単一のトレーラ角度測定値を画像パンニングシステムに提供し、前記単一のトレーラ角度及び現在の車両動作に少なくとも部分的に基づいて前記ビューをパンニングするステップをさらに含む、請求項１に記載の方法。

【請求項3】

前記ビューをパンニングすることは、トレーラ端部を前記ビューに維持することを含む、請求項２に記載の方法。

【請求項4】

前記ビューをパンニングすることは、前記トレーラ端部を前記ビューの略中心に維持することを含む、請求項３に記載の方法。

【請求項5】

複数のトレーラ角度を絞り込むことは、
軌道ごとに、前記軌道の複数のパラメータの中の各パラメータの数値定量子を決定すること、
軌道ごとに、決定された数値定量子を合計し、前記軌道に対応する重み付けスコアを決定すること、
各軌道の前記重み付けスコアを比較し、前記重み付けスコアが最も高い軌道を識別すること、及び
前記重み付けスコアが最も高い軌道に対応するトレーラ角度を前記単一のトレーラ角度として選択すること
を含む、請求項１に記載の方法。

【請求項6】

前記複数の物体を識別することは、ハフ変換及びディープニューラルネットワークのうちの１つを使用して、画像内の複数のライン及びエッジを識別することを含む、請求項１に記載の方法。

【請求項7】

前記複数のライン及びエッジを識別することは、前記複数のライン及びエッジの中の各ライン及びエッジの角度、始点、終点を識別することを含む、請求項６に記載の方法。

【請求項8】

前記複数の物体を識別することは、ブロブ変換画像解析及びディープニューラルネットワークのうちの１つを使用して、画像における各車輪の位置を識別することを含む、請求項１に記載の方法。

【請求項9】

画像解析を使用して各車輪の車輪角度を識別することをさらに含む、請求項８に記載の方法。

【請求項10】

視野を定義する少なくとも第１のカメラと、
前記第１のカメラに通信可能に接続されるコントローラであって、プロセッサ及びメモリを含むコントローラと
を備える車両用のカメラシステムにおいて、
前記メモリは、
前記コントローラにおいて前記第１のカメラからのビデオフィードを受信することであって、前記カメラは視野を定義すること、
前記コントローラを使用して、前記ビデオフィード内の複数の物体を識別することであって、前記複数の物体は、少なくとも１つの車輪及び少なくとも１つのラインを含むこと、
前記コントローラを使用して、前記ビデオフィードの画像平面を通る前記複数の物体の中の各物体の経路を追跡すること、
前記コントローラを使用して、各経路に対応するトレーラ角度を識別することによって、複数のトレーラ角度測定値を生成すること、及び
前記コントローラを使用して、複数の経路を単一の経路に絞り込み、前記単一の経路に対応する単一のトレーラ角度測定値を識別すること
を行うことによって車両のビューを自動的にパンニングするための命令を記憶する、車両用のカメラシステム。

【請求項11】

各経路に対応するトレーラ角度を識別することは、各物体のライン検出及び車輪検出の一方を二次元トレーラ角度に変換すること、及び前記二次元トレーラ角度を運転室に対する前記トレーラ角度の実世界角度に変換することを含む、請求項１０に記載のカメラシステム。

【請求項12】

前記コントローラは、各実世界トレーラ角度にカルマンフィルタリングを適用するように構成され、
前記カルマンフィルタリングは、前記実世界トレーラ角度を対応する軌道に関連付け、前記対応する軌道の少なくとも１つのプロパティを更新する、請求項１１に記載のカメラシステム。

【請求項13】

各軌道の特性は、分散、経過時間、方向、及びソースを少なくとも含む、請求項１２に記載のカメラシステム。

【請求項14】

識別されたトレーラ角度を絞り込むことは、
軌道ごとに、前記軌道の複数のパラメータの中の各パラメータの数値定量子を決定すること、
軌道ごとに、決定された数値定量子を合計し、前記軌道に対応する重み付けスコアを決定すること、
各軌道に対応する重み付けスコアを比較し、前記重み付けスコアが最も高い軌道を識別すること、及び
前記重み付けスコアが最も高い軌道に対応するトレーラ角度を前記単一のトレーラ角度として選択すること
を含む、請求項１０に記載のカメラシステム。

【請求項15】

前記複数の物体を識別することは、ハフ変換を使用して画像内の複数のライン及びエッジを識別することを含む、請求項１０に記載の方法。

【請求項16】

前記複数のライン及びエッジを識別することは、前記複数のライン及びエッジの中の各ライン及びエッジの角度、始点、終点を識別することを含む、請求項１５に記載の方法。

【請求項17】

前記複数の物体を識別することは、ブロブ変換画像解析を使用して、画像における各車輪の位置を識別することを含む、請求項１０に記載の方法。

【請求項18】

画像解析を使用して各車輪の車輪角度を識別することをさらに含む、請求項１７に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、商用トラック又は類似の車両で使用するためのカメラ監視システム（ＣＭＳ）、特に、画像に基づくトレーラ角度推定を含む自動パンニング機能を有するＣＭＳに関する。

【背景技術】

【0002】

ミラー置換システム、及びミラーのビューを補完するカメラシステムは、車両の運転者が周囲の環境を見る能力を高めるために商用車両に利用されている。カメラ監視システム（ＣＭＳ）は、１つ以上のカメラを利用して、車両運転者に強化された視野を提供する。いくつかの例では、ミラー置換システムは、従来のミラーよりも広い視野をカバーし、又は従来のミラーを介して完全には得られないビューを含む。

【0003】

トレーラリバース操縦等の所定の操作では、固定ミラー又は固定視野カメラによって提供されるような静止ビューは、操作の完全なビューを提供しない場合があり、操作者に提示され得る望ましい情報が操作者に提示されない。操作者が物理カメラ又はミラー角度を手動で調整する手動パンニングシステムは、提供されるビューを調整するために、頻繁に操縦を停止する必要があり、調整の精度が不十分となり得る。

【0004】

いくつかの例示のシステムは、自動又は半自動パンニングを実装することによって、手動パンニングの問題を最小化しようとしている。このようなシステムは、潜在的に不正確なトレーラ角度の推定値に依存しており、車両動作の運動学的モデルは、特にリバース動作において、トレーラ角度推定値の潜在的な変動を説明するのが困難な場合がある。

【発明の概要】

【0005】

１つの例示的な実施形態において、商用車両のビューを自動的にパンニングするための方法は、少なくとも１つのカメラからビデオフィードを受信するステップであって、前記カメラは視野を定義するステップと、前記ビデオフィード内の複数の物体を識別するステップであって、前記複数の物体は、少なくとも１つの車輪及び少なくとも１つのラインを含むステップと、前記ビデオフィードの画像平面を通る前記複数の物体の中の各物体の経路を追跡するステップと、各経路に対応するトレーラ角度を識別し、識別されたトレーラ角度を対応する経路に関連付けることにより、複数のトレーラ角度測定値を生成するステップと、複数の経路を単一の経路に絞り込み、前記単一の経路に対応する単一のトレーラ角度測定値を識別するステップとを含む。

【0006】

商用車両のビューを自動的にパンニングするための上記の方法の別の例は、前記単一のトレーラ角度測定値を画像パンニングシステムに提供し、前記単一のトレーラ角度及び現在の車両動作に少なくとも部分的に基づいて前記ビューをパンニングするステップをさらに含む。

【0007】

商用車両のビューを自動的にパンニングするための上記の方法の別の例では、前記ビューをパンニングすることは、トレーラ端部を前記ビューに維持することを含む。

【0008】

商用車両のビューを自動的にパンニングするための上記の方法の別の例では、前記ビューをパンニングすることは、前記トレーラ端部を前記ビューの略中心に維持することを含む。

【0009】

商用車両のビューを自動的にパンニングするための上記の方法の別の例では、複数のトレーラ角度を絞り込むことは、軌道ごとに、前記軌道の複数のパラメータの中の各パラメータの数値定量子を決定すること、軌道ごとに、決定された数値定量子を合計し、前記軌道に対応する重み付けスコアを決定すること、各軌道の前記重み付けスコアを比較し、前記重み付けスコアが最も高い軌道を識別すること、及び前記重み付けスコアが最も高い軌道に対応するトレーラ角度を前記単一のトレーラ角度として選択することを含む。

【0010】

商用車両のビューを自動的にパンニングするための上記の方法の別の例では、前記複数の物体を識別することは、ハフ変換及びディープニューラルネットワークのうちの１つを使用して、画像内の複数のライン及びエッジを識別することを含む。

【0011】

商用車両のビューを自動的にパンニングするための上記の方法の別の例では、前記複数のライン及びエッジを識別することは、前記複数のライン及びエッジの中の各ライン及びエッジの角度、始点、終点を識別することを含む。

【0012】

商用車両のビューを自動的にパンニングするための上記の方法の別の例では、前記複数の物体を識別することは、ブロブ変換画像解析及びディープニューラルネットワークのうちの１つを使用して、前記画像における各車輪の位置を識別することを含む。

【0013】

商用車両のビューを自動的にパンニングするための上記の方法のいずれかの別の例は、前記画像解析を使用して各車輪の車輪角度を識別することをさらに含む。

【0014】

１つの例示的な実施形態において、車両用のカメラシステムは、視野を定義する少なくとも１つの第１のカメラと、前記第１のカメラに通信可能に接続されるコントローラであって、プロセッサ及びメモリを含むコントローラとを備え、前記メモリは、前記コントローラにおいて前記第１のカメラからのビデオフィードを受信することであって、前記カメラは視野を定義すること、前記コントローラを使用して、前記ビデオフィード内の複数の物体を識別することであって、前記複数の物体は、少なくとも１つの車輪及び少なくとも１つのラインを含むこと、前記コントローラを使用して、前記ビデオフィードの画像平面を通る前記複数の物体の中の各物体の経路を追跡すること、前記コントローラを使用して、各経路に対応するトレーラ角度を識別することによって複数のトレーラ角度測定値を生成すること、及び前記コントローラを使用して、複数の経路を単一の経路に絞り込み、前記単一の経路に対応する単一のトレーラ角度測定値を識別することを行うことによって車両のビューを自動的にパンニングするための命令を記憶する。

【0015】

上記の車両用のカメラシステムの別の例では、各経路に対応するトレーラ角度を識別することは、各物体のライン検出及び車輪検出の一方を二次元トレーラ角度に変換すること、及び前記二次元トレーラ角度を運転室に対する前記トレーラ角度の実世界角度に変換することを含む。

【0016】

上述の車両用のカメラシステムのいずれかの別の例では、前記コントローラは、各実世界トレーラ角度にカルマンフィルタリングを適用するように構成され、前記カルマンフィルタリングは、前記実世界トレーラ角度を対応する軌道に関連付け、前記対応する軌道の少なくとも１つのプロパティを更新する。

【0017】

上述の車両用のカメラシステムのいずれかの別の例では、各軌道の特性は、少なくとも分散、経過時間、方向、及びソースを含む。

【0018】

上述の車両用のカメラシステムのいずれかの別の例では、識別されたトレーラ角度を絞り込むことは、軌道ごとに、前記軌道の複数のパラメータの中の各パラメータの数値定量子を決定すること、軌道ごとに、決定された数値定量子を合計し、前記軌道に対応する重み付けスコアを決定すること、各軌道に対応する重み付けスコアを比較し、前記重み付けスコアが最も高い軌道を識別すること、及び前記重み付けスコアが最も高い軌道に対応するトレーラ角度を前記単一のトレーラ角度として選択することを含む。

【0019】

本開示は、添付の図面と併せて考慮したとき、以下の詳細な説明を参照することによってさらに理解することができる。

【図面の簡単な説明】

【0020】

【図1A】少なくともクラスＩＩ及びクラスＩＶのビューを提供するために使用されるカメラ監視システム（ＣＭＳ）を備えた商用トラックの概略正面図である。

【図1B】クラスＩＩ、クラスＩＶ、クラスＶ及びクラスＶＩのビューを提供するカメラ監視システムを備えた商用トラックの概略上面図である。

【図2】ディスプレイ及び室内カメラを含む車両運転室の概略上部斜視図である。

【図3A】トレーラ角度がない、リバース操縦の開始時の車両を示す。

【図3B】は、トレーラ角度が大きい、車両の中間リバース操縦を示す。

【図4】画像解析を用いてトレーラ角度を決定するプロセスを示す。

【図5】図４の方法を用いて画像からトレーラ角度を決定し、決定した角度に基づいてカメラ監視システムを自動的にパンニングするシステムを示す。

【発明を実施するための形態】

【0021】

上述の段落の実施形態、例示及び代替物、請求項、又は以下の記載及び図面は、それらの様々な態様又はそれぞれの個別の特徴のいずれかを含めて、独立して、又は任意の組み合わせで採用されてもよい。１つの実施形態に関連して記述された特徴は、そのような特徴に互換性がない場合を除き、全ての実施形態に適用可能である。

【0022】

図１Ａ及び図１Ｂは、商用車両１０の外観概略図を示す。図２は、商用車１０の運転室の内部概略図を示す。車両１０は、トレーラ１４を牽引するための車両運転室又はトラクタ１２を含む。本開示では商用トラックが企図されているが、本発明は他の種類の車両にも適用することができる。車両１０にはカメラ監視システム（ＣＭＳ）１５が組み込まれており、これには運転席及び助手席側のカメラアーム１６ａ、１６ｂが車両運転室１２の外側に取り付けられている。必要に応じて、カメラアーム１６ａ、１６ｂには、それらと一体化した従来のミラーも含まれ得るが、いくつかの例では、ＣＭＳ１５を使用してミラーを完全に置換することもできる。追加の例では、各側に複数のカメラアームが含まれてよく、各アームは１つ以上のカメラ及び／又はミラーを収容する。

【0023】

各カメラアーム１６ａ、１６ｂは、例えば運転室１２に固定されたベースを含む。旋回アームはベースによって支持されており、それに対して関節接続されてもよい。少なくとも１つの後向きカメラ２０ａ、２０ｂがカメラアーム内にそれぞれ配置されている。外部カメラ２０ａ、２０ｂはそれぞれ、商用トラック業界で法的に規定されたビューであるクラスＩＩ及びクラスＩＶのビュー（図１Ｂ）の少なくとも１つをそれぞれ含む外部視野ＦＯＶ_ＥＸ１、ＦＯＶ_ＥＸ２を提供する。車両１０の所与の側のクラスＩＩビューは、車両１０の同じ側のクラスＩＶビューのサブセットである。必要に応じて、これらのビューを提供するために、各カメラアーム１６ａ、１６ｂに複数のカメラが使用されてもよい。各アーム１６ａ、１６ｂは、ＣＭＳ１５の様々な特徴を提供するように構成される電子機器を囲むハウジングも提供してもよい。

【0024】

第１及び第２の映像ディスプレイ１８ａ，１８ｂは、Ａピラー１９ａ，１９ｂ上の又はその近くの車両運転室１２内の運転席側及び助手席側のそれぞれに配置され、車両１０のそれぞれの側にクラスＩＩ及びクラスＩＶのビューを表示し、これは車外カメラ２０ａ，２０ｂによって撮影された車両１０に沿った後面側のビューを提供する。

【0025】

クラスＶ及びクラスＶＩのビューの映像も必要な場合、これらのビューを提供するために、車両１０の前面又はその近くにカメラハウジング１６ｃ及びカメラ２０ｃが配置されてもよい（図１Ｂ）。フロントガラスの上部中心付近の運転室１２内に配置された第３のディスプレイ１８ｃを使用して、車両１０の前方に向かうクラスＶ及びクラスＶＩのビューを運転者に表示することができる。

【0026】

クラスＶＩＩＩのビューの映像が必要な場合、カメラハウジングを車両１０の側面及びと後部に配置して、車両１０のクラスＶＩＩＩゾーンの一部又は全てを含む視野を提供することができる。このような例では、第３のディスプレイ１８ｃは、クラスＶＩＩＩのビューを表示する１つ以上のフレームを含み得る。代替的に、第１、第２及び第３のディスプレイ１８ａ、１８ｂ、１８ｃの近くに追加ディスプレイを追加して、クラスＶＩＩＩのビューを提供する専用のディスプレイを提供することもできる。

【0027】

図１Ａ、図１Ｂ及び図２を引き続き参照しながら、図３Ａ及び図３Ｂは、リバース操縦を実行するプロセス中の車両１００を示す。初期位置（図３Ａ）において、トレーラ１１０は運転室１２０に対して約０度の初期角度を有しており、これはトレーラが運転室１２０の向きに揃っていることを意味する。代替的に、この角度は、運転室１２０に対して１８０度と表すこともできる。リバースのプロセス中、特に旋回を介してリバースする場合、トレーラ１１０は運転室１２０に対して傾斜し（図３Ｂ）、リバース操縦に影響するトレーラ角度を形成する。さらに、リバース速度、トレーラのヨー、及び他の操作パラメータは、リバース中のトレーラ角度の変化に影響を与える。図３Ｂの特定の傾斜は、説明のために最も期待される角度に対して誇張されている。

【0028】

運転者がリバース操縦を行うのを補助するためには、リバース操縦中に少なくとも１つのディスプレイにおいてトレーラ１１０の後部１１２が運転者に見えるようにすることが有益である。いくつかの特定の例では、トレーラ１１０の後部１１２を含むだけでなく、トレーラ１１０の後部１１２におけるクラスＩＩビューを中心に配置することが望ましい。しかしながら、図３Ｂに示すように、静的クラスＩＩビューは、後部１１２がクラスＩＶ視野内に残っている場合でも、トレーラ１１０の後部１１２がクラスＩＩビューの境界を越えて延びる結果となり得る。クラスＩＩビューにおけるトレーラ１１０の後部１１２の視野の損失を防止するため、又はトレーラ１１０の後部１１２におけるクラスＩＩビューの中心配置を維持するために、本明細書に示す車両１０，１００は、カメラ監視システム内の自動パンニング機能を含む。

【0029】

自動パンニング機能は、個別の画像に基づくトレーラ角度検出の組み合わせを使用して、任意の時点におけるトラクタに対するトレーラ角度を決定する。システムは、複数の決定されたトレーラ角度を識別し、絞り込みプロセスを使用して、新しいトレーラ角度のどれが最も正確であるかを決定する。決定された最も正確な角度検出が車両コントローラに提供され、車両コントローラは、自動パンニングシステムを含む、トレーラ角度を使用するように構成される任意のシステムでその角度を利用する。自動パンニングシステムの例では、車両コントローラは、リバース動作中にトレーラ端部がビュー内に維持されることを保証するために、対応するカメラの全視野内で表示されたビュー（例えば、クラスＩＩビュー）を自動的にパンニングすることができる。いくつかの例では、パンニング応答は車両の現在の動作モードに依存し、ビューは、車両が前進しているか、後退しているか、及び／又は車両の走行速度に依存して、ハンドルの位置又はその他の要因に依存して、異なるパンニングが行われてもよい。いくつかの例では、トレーラがビュー内に維持されるだけでなく、トレーラがビューの中心又はその近くに維持されることを保証することがさらに有利であり得る。このような場合、自動パンニングシステムはトレーラ端部におけるビューを中心に配置する。

【0030】

例として、運転中に、トレーラ角度検出システムは、ミラー置換システム（又は同様のカメラ監視システム）から一連の画像を受信し、ライン検出及び車輪検出のために画像を処理する。ライン検出システムによって決定されたラインの画像内の位置及び車輪検出システムによって決定された車輪の画像内の位置は、経時的に追跡される。画像中で検出された各車輪及びラインの経路は「軌道」と呼ばれ、対応する識別されたトレーラ角度の信頼性を評価するために、角度検出コントローラモジュールによって使用される。

【0031】

角度検出コントローラモジュールは、画像内の位置とトレーラ角度との間の既知の相関を使用して、識別された各物体に基づいてトレーラ角度を決定し、検出されたトレーラ角度は現在の位置に相関され、軌道のプロパティとして記憶される。場合によっては、さらに軌道形状を使用して、近い将来のトレーラ角度を予測することもできる。例として、軌道形状が増加するトレーラ角度の経路にスムーズに従う場合、近い将来の予測は、トレーラ角度が識別された速度で増加し続けることであってもよい。

【0032】

各軌道は、トレーラ角度、分散、経過時間、方向、ソース、及び同様のプロパティを含む複数のプロパティを有する。さらに、ライン及びエッジ検出に対応する軌道は、ライン角度、他の物体による妨害、ラインの始点及び終点を含み、車輪検出に対応する軌道は、トレーラに対する車輪の角度（代替的に車輪角とも呼ばれる）を含む。各プロパティは、数値を使用して定量化される（例えば、分散は、非常に変動が大きいことを意味する０から、ほとんど変動がないことを意味する１００までの値を受け取ってもよい）。各定量化された数値は、角度予測の精度を決定する際に、その相対値に基づいて重み付けされる。

【0033】

角度検出コントローラモジュールによって検出されると、複数の検出された角度が絞り込みモジュールに提供される。絞り込みモジュールは、各軌道の重み付けスコアをコンパイルし、どの軌道が最も高い重み付けスコアを有するかを決定することによって、検出されたトレーラ角度から最も正確に検出されたトレーラ角度を識別する。決定されたトレーラ角度は、選択されたトレーラ角度を利用するように構成される１つ以上の車両システムに渡される。場合によっては、車輪検出に対応する軌道は、ホイールベース検出モジュールにさらに提供され得る。ホイールベース検出モジュールは、ホイールベース軌道を使用して、コントローラが所与の動作にどのような値を必要とするかに応じて、推定ホイールベース位置及び／又はホイールベース長を決定する。さらに、（複数の）軌道は、画像を介して軌道を利用できる任意の他のコントローラ及び／又はシステムに提供され得る。

【0034】

図１－図３Ｂを引き続き参照しながら、図４は、トレーラ角度を決定するためのプロセス４００を示す。プロセス４００は、単一のコントローラ内の動作に関して図４に記載されているが、一部又は全てのステップが、別々のコントローラ内で実行され、及び／又は相互に通信するコントローラ内の別々のプロセッサ又はスレッドを使用して、同じように機能することが理解される。

【0035】

最初に、コントローラは、「画像を受信する」ステップ４１０において、ビデオフィードから画像を受信する。画像は、カメラ監視システムからのビデオフィードの単一フレームであり、プロセス４００は、ビデオフィードのシーケンス内の複数の画像に対して繰り返される。コントローラは、「ライン検出を実行する」ステップ４２０において、受信した画像に対してライン検出プロセスを実行し、「車輪検出を実行する」ステップ４３０において、受信した画像に対して車輪検出プロセスを実行する。ライン検出及び車輪検出プロセスの両方が画像解析を使用して、対応する要素を識別する。検出は、ルール型、ニューラルネットワーク型、又はその２つの組み合わせであってもよい。別個のステップ４２０，４３０は、検出を提供するために同時に動作する。

【0036】

一例では、ライン検出プロセスは、ハフ変換プロセスを使用して画像内のライン及びエッジを識別する。代替例では、ディープラーニングニューラルネットワーク及び同様のシステム等の代替ライン検出プロセスを使用して、同じ効果を得ることができる。ラインの位置に加えて、ライン検出プロセスは、少なくともラインの角度、他の物体による妨害、ラインの始点及び終点を識別する。識別されたライン及びエッジの位置、並びに各ラインの対応するデータポイントが記憶され、「軌道を識別する」ステップ４２２において、識別された各ライン及びエッジの画像を通る経路がメモリに記憶される。ビデオフィード内の経時的な画像フレームを通る経路は、物体の軌道と呼ばれ、プロセス４００が繰り返されるにつれて、各エッジ及びライン軌道が継続的に更新される。

【0037】

ライン検出と同時に、「車輪検出を実行する」ステップ４３０のブロブ検出プロセスを用いて画像内の車輪が検出される。代替例では、車輪は、ディープラーニングニューラルネットワーク等の代替画像解析システムを用いて検出され得る。画像内の車輪の位置に加えて、車輪検出は、プロセス４００の各反復において、トレーラに対する車輪の角度（代替的に車輪角とも呼ばれる）を識別する。ライン及びエッジと同様に、識別された各車輪の経路は、「軌道を識別する」ステップ４３２において、経時的に画像フィードを通して追跡される。識別された各車輪は個別に追跡され、車輪ごとに個別の軌道が記憶される。

【0038】

いくつかの例では、コントローラリソースを節約するために、追跡される車輪、ライン、及びエッジの数は１６に制限されてもよい。その他の例では、代替数の物体が追跡され得る。

【0039】

軌道の識別ステップ４２２，４３２の各々からの軌道は、「軌道から角度を決定する」ステップ４４０において、トレーラの対応する角度を決定するためにコントローラによって使用される。最初に、軌道から角度を決定するステップ４４０において、トレーラの二次元角度が、追跡される要素の画像内の現在位置に基づいて軌道ごとに決定される。例えば、運転者側後輪軌道については、運転者側後輪の二次元角度が識別される。各要素の二次元角度を決定した後で、従来の変換器を用いて二次元角度を三次元座標に変換する。三次元座標は、対応する三次元トレーラ角度測定値を決定するために使用される。運転室に対する実世界トレーラ角度は、本明細書では「３Ｄトレーラ角度」又は「３Ｄ角度」又は「三次元トレーラ角度」と呼ばれる。

【0040】

三次元角度測定値に基づく各トレーラ角度測定値に対して、カルマンフィルタリングを適用して三次元角度を対応する軌道に関連付け、測定情報を使用して角度の軌道特性（例えば、三次元角度、角速度等）を更新する。

【0041】

各構成要素の３Ｄ角度を決定した後で、絞り込みプロセスを適用して、どの３Ｄ角度が最も正確であるかを識別する。前述のように、各角度トラックは複数のプロパティを含んでおり、それぞれが重み付けされた数値定量子を有する。所与のトラックの各プロパティの重み付けされた数値修飾子が合計され、所与のトラックの合計スコアが生成される。合計スコアが比較され、最も高いスコアの軌道が最も正確なトレーラ角度推定として選択される。別の例では、重み付けされた数値修飾子は機能的に最小化されてもよく、ここで低いスコアは高い精度を示す。このような例では、合計が最も低い軌道が最も正確な軌道として選択される。他の各３Ｄ角度は考慮に入れず、最も正確な３Ｄ角度が「角度を絞り込む」ステップ４５０で正確な角度として採用される。

【0042】

一旦決定されると、絞り込まれた角度はコントローラ内の１つ以上のシステムに報告され、「識別された角度を報告する」ステップ４６０で利用される。一例では、識別された角度は、決定されたトレーラ角度及び１つ以上の現在の動作パラメータに基づいてユーザに提示されるクラスＩＩビューをパンニングする自動パンニングシステムに報告される。

【0043】

いくつかの例では、車輪検出に対応する識別された軌道はホイールベース決定モジュールにも提供され、車輪検出は、「ホイールベースを識別する」ステップ４７０において車両に取り付けられたトレーラのホイールベースの位置及び／又は長さを推定又は識別するために使用される。

【0044】

図４を引き続き参照して、図５は車両５１０に対する自動パンニングシステムの例を概略的に示す。コントローラ５２０は車両５１０から画像５１２及び他のセンサ情報５１４を受信し、コントローラ５２０はライン検出モジュール５２２を用いて受信した画像５１２内のラインを識別し、車輪検出モジュール５２４を用いて受信した画像５１２内の車輪位置及び角度を識別する。車輪検出モジュール５２４及びライン検出モジュール５２２によって識別された軌道は角度変換モジュール５２６に提供される。ライン検出モジュール５２２及び車輪検出モジュール５２４からの検出に加えて、角度変換モジュール５２６は、ヨーレート、ホスト速度及び車両の現在の動作を示す他のセンサ情報を含むセンサ情報５１４を受信する。

【0045】

角度変換モジュール５２６は、ライン検出モジュール５２２及び車輪検出モジュール５２４から受信した各軌道を、カルマンフィルタリングプロセスを使用して対応する二次元トレーラ角度と相関させる。上述したように、代替プロセスを使用して、各軌道を対応する角度検出に変換することができる。次に、角度変換モジュール５２６は、識別された各２Ｄトレーラ角度を対応する３Ｄトレーラ角度に変換し、３Ｄトレーラ角度は絞り込みモジュール５２８に提供される。絞り込みモジュール５２８は、上述の重み付けスコアリングに基づいて単一の最良トレーラ角度推定値を選択する。

【0046】

選択された単一のトレーラ角度は、パンニングシステム５３０に提供される。例示の実施形態では別個のコントローラとして示されているが、パンニングシステム５３０は、代替例ではソフトウェアモジュールとしてコントローラ５２０内に含まれ得ることが理解される。一例では、自動パンニングは、車両の動作中、トレーラの後部エッジがクラスＩＩビュー内に維持されることを保証するように構成される。他の実装では、自動パンニングは、車両の現在の動作の必要性に応じて、ビュー内の他の物体又は物体の部分を維持することができる。

【0047】

単一の正確なトレーラ角度に絞り込まれた複数のトレーラ角度の識別は、複数のシステムにわたって使用することができ、自動パンニングシステムへの適用に限定されない。

【0048】

例示的な実施形態が開示されてきたが、当業者であれば、所定の修正が請求項の範囲内に入ることを認識するであろう。そのため、以下の請求項については、その真の範囲及び内容を判断するように検討されるべきである。

【図1A】

【図1B】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【外国語明細書】