特表 2025-532771 オプティカルフローを用いたトレーラの存在検出を含むカメラ監視システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2025-10-03

(54)【発明の名称】オプティカルフローを用いたトレーラの存在検出を含むカメラ監視システム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20250926BHJP

   G06V 20/56 20220101ALI20250926BHJP

   G06T 7/246 20170101ALI20250926BHJP

【ＦＩ】

H04N7/18 J

H04N7/18 K

G06V20/56

G06T7/246

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2025514164

(86)(22)【出願日】2023-09-08

(85)【翻訳文提出日】2025-04-14

(86)【国際出願番号】 US2023032241

(87)【国際公開番号】W WO2024054597

(87)【国際公開日】2024-03-14

(31)【優先権主張番号】63/405,152

(32)【優先日】2022-09-09

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】506139288

【氏名又は名称】ストーンリッジ インコーポレイテッド

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100111235

【弁理士】

【氏名又は名称】原 裕子

(74)【代理人】

【識別番号】100195257

【弁理士】

【氏名又は名称】大渕 一志

(72)【発明者】

【氏名】ウェイ、 ウェンペン

(72)【発明者】

【氏名】マ、 リャン

(72)【発明者】

【氏名】クープライダー、 トロイ オティス

【テーマコード（参考）】

5C054

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054FC12

5C054FC13

5C054HA30

5L096CA02

5L096FA03

5L096FA69

5L096HA04

5L096HA11

5L096KA04

(57)【要約】

トレーラの存在を検出する方法は、車両に固定された１つ以上のカメラからのビデオフィード内の関心領域を識別するステップを含む。ビデオフィードは、第１のピクセル領域を有するシーンを描写しており、関心領域は、第１のピクセル領域よりも小さい第２のピクセル領域を有するシーンの一部に対応する。この方法は、関心領域内のオプティカルフローを決定するステップと、関心領域内のオプティカルフローが連結されたトレーラに対応する所定のパターンに一致することに応答して、トレーラが車両に連結されていることを決定するステップも含む。車両のためのカメラ監視システムも開示される。

【特許請求の範囲】

【請求項1】

トレーラの存在を検出する方法であって、
車両に固定された１つ以上のカメラからのビデオフィード内の関心領域を識別するステップであって、前記ビデオフィードは、第１のピクセル領域を有するシーンを描写しており、前記関心領域は、前記第１のピクセル領域よりも小さい第２のピクセル領域を有する前記シーンの一部に対応するステップと、
前記関心領域内のオプティカルフローを決定するステップと、
前記関心領域内のオプティカルフローが連結されたトレーラに対応する所定のパターンに一致することに応答して、前記トレーラが前記車両に連結されていることを決定するステップと
を含む、方法。

【請求項2】

前記１つ以上のカメラは、第１のカメラ及び第２のカメラを含み、
前記方法は、前記第１のカメラからの第１のビデオフィード及び前記第２のカメラからの第２のビデオフィードをステッチングインターフェースにおいて互いにステッチすることによって前記ビデオフィードを生成するステップを含む、請求項１に記載の方法。

【請求項3】

前記第１のビデオフィード及び前記第２のビデオフィードは、ミラー置換ビデオフィードである、請求項２に記載の方法。

【請求項4】

前記第１のビデオフィードは、運転者側バックミラー置換ビデオフィードであり、
前記第２のビデオフィードは、助手席側バックミラー置換ビデオフィードである、請求項３に記載の方法。

【請求項5】

前記関心領域の水平幅は、前記ビデオフィードの全水平幅よりも小さく、
前記関心領域は、前記ステッチングインターフェースの一部を含む、請求項２に記載の方法。

【請求項6】

前記関心領域の垂直高さは、前記ビデオフィードの全垂直高さよりも小さい、請求項５に記載の方法。

【請求項7】

前記車両の１つ以上の動作条件のセットを決定するステップを含み、
前記ビデオフィード内の前記関心領域を識別するステップは、前記車両の前記１つ以上の動作条件のセットに基づいて実行される、請求項２に記載の方法。

【請求項8】

前記関心領域は、前記ビデオフィード内の前記トレーラの予測位置に中心が置かれ、前記予測位置は、決定された前記１つ以上の動作条件に基づく、請求項７に記載の方法。

【請求項9】

前記１つ以上の動作条件は、前記車両の操舵角を含む、請求項７に記載の方法。

【請求項10】

前記１つ以上の動作条件は、前記車両の速度を含む、請求項９に記載の方法。

【請求項11】

前記車両の速度が所定の閾値速度を超えており、かつ前記車両の操舵角が所定の閾値操舵角以下である間、前記関心領域は、前記ステッチングインターフェースに中心が置かれる、請求項１０に記載の方法。

【請求項12】

前記閾値速度は、時速９～１１マイルであり、前記閾値操舵角は、４～６度である、請求項１０に記載の方法。

【請求項12】

前記関心領域は、前記一次ビデオフィードの全垂直高さよりも小さい、請求項１に記載の方法。

【請求項13】

前記方法は、前記関心領域の外側のオプティカルフローを決定しない、請求項１に記載の方法。

【請求項14】

前記トレーラが前記車両に連結されていることを決定することに応答して、トレーラ連結通知を出力するステップを含む、請求項１に記載の方法。

【請求項15】

車両用のカメラ監視システムであって、
後向き視野を規定する少なくとも１つのカメラと、
前記カメラによって生成されたビデオフィードがコントローラに提供されるように、前記少なくとも１つのカメラに接続されたコントローラと
を備えており、
前記コントローラは、プロセッサ及びメモリを含んでおり、前記メモリは、前記コントローラによって、
前記ビデオフィード内の関心領域を識別すること、
前記ビデオフィードは、第１のピクセル領域を有するシーンを描写しており、前記関心領域は、前記第１のピクセル領域よりも小さい第２のピクセル領域を有する前記シーンの一部に対応すること、
前記関心領域内のオプティカルフローを決定すること、
前記関心領域内の前記オプティカルフローが連結されたトレーラに対応する所定のパターンに一致することに応答して、トレーラが車両に連結されていることを決定すること
を行わせるように構成される命令を記憶している、カメラ監視システム。

【請求項16】

前記後向き視野を規定する前記少なくとも１つのカメラは、第１のミラー置換カメラ及び第２のミラー置換カメラを含む、請求項１５に記載のカメラ監視システム。

【請求項17】

前記１つ以上のカメラは、第１のカメラ及び第２のカメラを含み、
前記第１のビデオフィードは、運転席側バックミラー置換ビデオフィードであり、
前記第２のビデオフィードは、助手席側バックミラー置換ビデオフィードであり、
前記コントローラは、前記第１のカメラからの第１のビデオフィード及び前記第２のカメラからの第２のビデオフィードをステッチングインターフェースにおいて互いにステッチすることによって前記ビデオフィードを生成するように構成される、請求項１５に記載のカメラ監視システム。

【請求項18】

前記関心領域の水平幅は、前記ビデオフィードの全水平幅よりも小さく、
前記関心領域は、前記ステッチングインターフェースの一部を含む、請求項１７に記載のカメラ監視システム。

【請求項19】

前記関心領域の垂直高さは、前記ビデオフィードの全垂直高さよりも小さい、請求項１５に記載のカメラ監視システム。

【請求項20】

前記コントローラは、
前記車両の１つ以上の動作条件のセットを決定すること、及び
前記車両の前記１つ以上の動作条件のセットに基づいて、前記ビデオフィード内の前記関心領域の識別を実行すること
を行うように構成される、請求項１５に記載のカメラ監視システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、車両のためのカメラ監視システム（ＣＭＳ）に関し、特に、ＣＭＳを使用してトレーラの存在を決定するためのプロセスに関する。

【0002】

（関連出願）
本出願は、２０２２年９月９日に出願された米国仮出願第６３／４０５，１５２号の利益を主張し、その開示は、その全体が参照により本明細書に組み込まれる。

【背景技術】

【0003】

ミラー置換型システム、及びミラーのビューを補完するカメラシステムは、車両の操作者が周囲の環境を見る能力を高めるために商用車両に利用されている。カメラ監視システム（ＣＭＳ）は、１つ以上のカメラを利用して、車両操作者に強化された視野を提供する。いくつかの例では、カメラシステムは、従来のミラーよりも広い視野をカバーし、又は従来のミラーを介して完全には得られないビューを含む。

【0004】

ミラー置換に加えて、ＣＭＳ内のカメラを介して提供される画像は、画像処理に基づく検出プロセスにおいて、環境の側面及び車両の側面を検出するために利用され得る。検出可能な車両の側面の中には、トレーラの特性がある。次に、トレーラの特性は、注意深い運転検出、自動運転機能、半自動運転支援機能、ジャックナイフ警告、及び任意の同様の要素を含む任意の数のシステムに利用され得る。

【0005】

画像処理に基づく認識を使用したトレーラの特性の正確な検出は、上記のトラクタ－トレーラシステムの重要な特徴の１つである。しかしながら、画像処理に基づく認識は計算負荷が高い。トレーラが取り付けられていないときにトレーラの特性を検出するために画像に基づく認識を動作させると、カメラ監視システム内の他の目的に利用できる無駄な処理能力が生じる可能性がある。

【0006】

本発明のこれら及びその他の特徴は、以下の明細書及び図面から最もよく理解することができる。

【発明の概要】

【0007】

本開示の例示的な実施形態によるトレーラの存在を検出する方法は、車両に固定された１つ以上のカメラからのビデオフィード内の関心領域を識別するステップを含む。前記ビデオフィードは、第１のピクセル領域を有するシーンを描写しており、前記関心領域は、前記第１のピクセル領域よりも小さい第２のピクセル領域を有する前記シーンの一部に対応する。前記方法は、前記関心領域内のオプティカルフローを決定するステップと、前記関心領域内のオプティカルフローが連結されたトレーラに対応する所定のパターンに一致することに応答して、前記トレーラが前記車両に連結されていることを決定するステップとを含む。

【0008】

上記の実施形態のさらなる実施形態において、前記１つ以上のカメラは、第１のカメラ及び第２のカメラを含み、前記方法は、前記第１のカメラからの第１のビデオフィード及び前記第２のカメラからの第２のビデオフィードをステッチングインターフェースで互いにステッチすることによって前記ビデオフィードを生成するステップを含む。

【0009】

上記のいずれかの実施形態のさらなる実施形態において、前記第１のビデオフィード及び前記第２のビデオフィードは、ミラー置換ビデオフィードである。

【0010】

上記のいずれかの実施形態のさらなる実施形態において、前記第１のビデオフィードは、運転席側バックミラー置換ビデオフィードである。前記第２のビデオフィードは、助手席側バックミラー置換ビデオフィードである。

【0011】

上記のいずれかの実施形態のさらなる実施形態において、前記関心領域の水平幅は、前記ビデオフィードの全水平幅よりも小さく、前記関心領域は、前記ステッチングインターフェースの一部を含む。

【0012】

上記のいずれかの実施形態のさらなる実施形態において、前記関心領域の垂直高さは、前記ビデオフィードの全垂直高さよりも小さい。

【0013】

上記のいずれかの実施形態のさらなる実施形態において、前記方法は、前記車両の１つ以上の動作条件のセットを決定するステップを含み、前記ビデオフィード内の前記関心領域を識別するステップは、前記車両の前記１つ以上の動作条件のセットに基づいて実行される。

【0014】

上記のいずれかの実施形態のさらなる実施形態において、前記関心領域は、前記ビデオフィード内の前記トレーラの予測位置に中心が置かれ、前記予測位置は、決定された前記１つ以上の動作条件に基づく。

【0015】

上記のいずれかの実施形態のさらなる実施形態において、前記１つ以上の動作条件は、前記車両の操舵角を含む。

【0016】

上記のいずれかの実施形態のさらなる実施形態において、前記１つ以上の動作条件は、前記車両の速度を含む。

【0017】

上記のいずれかの実施形態のさらなる実施形態において、前記車両の速度が所定の閾値速度を超えており、かつ前記車両の操舵角が所定の閾値操舵角以下である間、前記関心領域は、前記ステッチングインターフェースに中心が置かれる。

【0018】

上記のいずれかの実施形態のさらなる実施形態において、前記閾値速度は、時速９～１１マイルであり、前記閾値操舵角は、４～６度である。

【0019】

上記のいずれかの実施形態のさらなる実施形態において、前記方法は、前記関心領域の外側のオプティカルフローを決定しない。

【0020】

上記のいずれかの実施形態のさらなる実施形態において、前記方法は、前記トレーラが前記車両に連結されていることを決定することに応答して、トレーラ連結通知を出力するステップを含む。

【0021】

本開示の例示的な実施形態による車両用のカメラ監視システムは、後向き視野を規定する少なくとも１つのカメラと、前記カメラによって生成されたビデオフィードが前記コントローラに提供されるように、前記少なくとも１つのカメラに接続されたコントローラとを含む。前記コントローラは、プロセッサ及びメモリを含む。前記メモリは、前記コントローラに前記ビデオフィード内の関心領域を識別させるように構成される命令を記憶し、前記ビデオフィードは、第１のピクセル領域を有するシーンを描写しており、前記関心領域は、前記第１のピクセル領域よりも小さい第２のピクセル領域を有する前記シーンの一部に対応する。また、メモリは、コントローラに、前記関心領域内のオプティカルフローを決定すること、及び前記関心領域内のオプティカルフローが連結されたトレーラに対応する所定のパターンに一致することに応答して、前記トレーラが車両に連結されていることを決定することを行わせるように構成される命令も記憶する。

【0022】

上記の実施形態のさらなる実施形態において、前記後向き視野を規定する前記少なくとも１つのカメラは、第１のミラー置換カメラ及び第２のミラー置換カメラを含む。

【0023】

上記のいずれかの実施形態のさらなる実施形態において、前記１つ以上のカメラは、第１のカメラ及び第２のカメラを含み、前記第１のビデオフィードは、運転席側バックミラー置換ビデオフィードであり、前記第２のビデオフィードは、助手席側バックミラー置換ビデオフィードであり、前記コントローラは、前記第１のカメラからの第１のビデオフィード及び前記第２のカメラからの第２のビデオフィードをステッチングインターフェースで互いにステッチすることによって前記ビデオフィードを生成するように構成される。

【0024】

上記のいずれかの実施形態のさらなる実施形態において、前記関心領域の水平幅は、前記ビデオフィードの全水平幅よりも小さく、前記関心領域は、前記ステッチングインターフェースの一部を含む。

【0025】

上記のいずれかの実施形態のさらなる実施形態において、前記関心領域の垂直高さは、前記ビデオフィードの全垂直高さよりも小さい。

【0026】

上記のいずれかの実施形態のさらなる実施形態において、前記コントローラは、前記車両の１つ以上の動作条件のセットを決定すること、及び前記車両の前記１つ以上の動作条件のセットに基づいて、前記ビデオフィード内の関心領域の識別を実行することを行うように構成される。

【0027】

上述の段落の実施形態、例示及び代替物、請求項、又は以下の記載及び図面は、それらの様々な態様又はそれぞれの個別の特徴のいずれかを含めて、独立して、又は任意の組み合わせで採用されてもよい。１つの実施形態に関連して記述された特徴は、そのような特徴に互換性がない場合を除き、全ての実施形態に適用可能である。

【図面の簡単な説明】

【0028】

本開示は、添付の図面と併せて以下の詳細な説明を参照することによって、さらに理解することができる。

【0029】

【図1A】少なくともクラスＩＩ及びクラスＩＶのビューを提供するために使用されるカメラ監視システム（ＣＭＳ）を備えた商用トラックの概略正面図である。

【0030】

【図1B】クラスＩＩ、クラスＩＶ、クラスＶ及びクラスＶＩのビューを提供するカメラ監視システムを備えた商用トラックの概略上面図である。

【0031】

【図2】ディスプレイ及び車内カメラを含む車両運転室の概略上部斜視図である。

【0032】

【図3】ＣＭＳカメラから受信した画像を示す。

【0033】

【図4】図３の画像から得られたステッチ画像を示す。

【0034】

【図5】図４のステッチ画像に関心領域が含まれていることを示す。

【0035】

【図6】図５の関心領域のオプティカルフロー分析を示す。

【0036】

【図7】関心領域内のオプティカルフローを使用してトレーラの存在を識別するためのプロセスを示す。

【発明を実施するための形態】

【0037】

商用車両１０の概略図を図１Ａ及び図１Ｂに示す。車両１０は、トレーラ１４を牽引するための車両運転室又はトラクタ１２を含む。本開示では商用トラックが企図されているが、本発明は他の種類の車両にも適用することができる。車両１０にはカメラ監視システム（ＣＭＳ）１５（図２）が組み込まれており、これには運転席及び助手席側カメラアーム１６ａ、１６ｂが車両運転室１２の外側に取り付けられている。必要に応じて、カメラアーム１６ａ、１６ｂには、それらと一体化した従来のミラーも含まれ得るが、ＣＭＳ１５を使用して従来のミラーを完全に置換することもできる。追加の例では、各側に複数のカメラアームが含まれてもよく、各アームは１つ以上のカメラ及び／又はミラーを収容する。

【0038】

各カメラアーム１６ａ、１６ｂは、例えば運転室１２に固定されたベースを含む。旋回アームはベースによって支持されており、それに対して関節接続されてもよい。少なくとも１つの後ろ向きカメラ２０ａ、２０ｂがカメラアーム１６ａ、１６ｂ上に又はその中にそれぞれ配置されている。カメラ２０ａ、２０ｂは、カメラアーム１６ａ、１６ｂを介して商用車両１０に固定される。しかしながら、カメラ２０ａ、２０ｂは、他のやり方で商用車両に固定され得ることが理解される。車外カメラ２０ａ、２０ｂはそれぞれ、商用トラック業界で法的に規定されたビューであるクラスＩＩビュー及びクラスＩＶビュー（図１ｂ）の少なくとも１つをそれぞれ含む車外視野ＦＯＶ_ＥＸ１、ＦＯＶ_ＥＸ２を提供する。必要に応じて、これらのビューを提供するために、各カメラアーム１６ａ、１６ｂに複数のカメラが使用されてもよい。各アーム１６ａ、１６ｂは、ＣＭＳ１５の様々な特徴を提供するように構成される電子機器を囲むハウジングも提供してもよい。

【0039】

第１及び第２の映像ディスプレイ１８ａ，１８ｂは、Ａピラー１９ａ，１９ｂ上の又はその近くの車両運転室１２内の運転席側及び助手席側のそれぞれに配置され、車両１０のそれぞれの側にクラスＩＩ及びクラスＩＶのビューを表示し、これは車外カメラ２０ａ，２０ｂによってキャプチャされた車両１０に沿った後ろ向き側のビューを提供する。

【0040】

クラスＶビュー及びクラスＶＩビューの映像も必要な場合、これらのビューを提供するために、車両１０の前面又はその近くにカメラハウジング１６ｃ及びカメラ２０ｃが配置されてもよい（図１Ｂ）。フロントガラスの上部中心付近の運転室１２内に配置される第３のディスプレイ１８ｃを使用して、車両１０の前方へのクラスＶ及びクラスＶＩのビューを運転席２６にいる運転者に表示してもよい。

【0041】

クラスＶＩＩＩのビューの映像が必要な場合、カメラハウジングを車両１０の側部及び後部に配置して、車両１０のクラスＶＩＩＩゾーンの一部又は全てを含む視野を提供することができる。このような例では、第３のディスプレイ１８ｃは、クラスＶＩＩＩのビューを表示する１つ以上のフレームを含み得る。代替的に、第１、第２及び第３のディスプレイ１８ａ、１８ｂ、１８ｃの近くに追加のディスプレイを追加して、クラスＶＩＩＩのビューを提供する専用のディスプレイを提供することもできる。ディスプレイ１８ａ、１８ｂ、１８ｃは、運転席２６に運転者が着席する運転室２２内の運転者領域２４に向いている。

【0042】

ＣＭＳは、プロセッサと、コントローラを構成するための命令を記憶するメモリとを含むコントローラ２３を含む。プロセッサは、例えば、１つ以上のマイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）等を含んでもよい。メモリは、揮発性メモリ素子（例えば、ランダムアクセスメモリ（ＤＲＡＭ、ＳＲＡＭ、ＳＤＲＡＭ、ＶＲＡＭ等のＲＡＭ））及び／又は不揮発性メモリ素子（例えば、ＲＯＭ、ハードドライブ、テープ、ＣＤ－ＲＯＭ等）の任意の１つ又は組み合わせを含み得る。さらに、メモリは、電子、磁気、光学、及び／又は他のタイプの記憶媒体を組み込んでもよい。メモリは、様々な構成要素が互いに遠隔に配置されるが、プロセッサからアクセスすることができる分散アーキテクチャを有してもよい。

【0043】

図３－図６は、ウイングに取り付けられたカメラ２０ａ、２０ｂから受信された一対の画像２１０，２２０を示す。トレーラ１４が運転室１２に連結されると、カメラ２０ａ、２０ｂのうちの少なくとも１つによって規定される視野は、トレーラ１４の画像を含む。車両１０が閾値を超える速度で前方方向に走行しているとき、トレーラ１４は両方のカメラ２０ａ、２０ｂの視野内にあり、図示の例のように両方の画像２１０，２２０に現れる。実際の例では、画像２１０，２２０は、ＣＭＳ１５のバックミラー置換部分を使用して生成されるが、代替例は同じ趣旨で使用されてもよい。

【0044】

ＣＭＳ１５は、ステッチングアルゴリズムを使用して、画像２１０，２２０を図４に示す単一画像２３０に融合する。単一画像２３０は、ステッチングインターフェース２３２で結合される。ステッチングインターフェース２３２は、任意のステッチ方法に従ってアルゴリズム的に決定される。いくつかの例では、ステッチングインターフェース２３２は、画像２１０，２２０の直線の垂直エッジである。代替例では、ステッチングインターフェース２３２は、画像２１０，２２０の一方又は両方を切り抜いてもよい。さらに代替例では、ステッチングインターフェース２３２は、ニューラルネットワークに基づくアルゴリズムを使用して決定されてもよく、直線インターフェースではなくてもよい。

【0045】

画像２１０，２２０が単一画像２３０にステッチされると、関心領域２４０が単一画像２３０内に画定される。関心領域２４０は、トレーラ１４が存在する場合、現在の車両動作特徴に基づいて、トレーラ１４が画像２３０内に現れると予測される単一画像２３０内の領域に限定される。単一画像２３０は、（垂直高さＨ１及び水平幅Ｗ１を有する）第１のピクセル領域を有するシーンを示す。図５に示される関心領域２４０は、第１のピクセル領域よりも小さい第２のピクセル領域（垂直高さＨ２及び水平幅Ｗ２を有する）を有するシーン／単一画像２３０の一部に対応する長方形である。図５の例では、関心領域２４０は、単一画像２３０の全水平幅Ｗ１よりも小さく、全垂直高さＨ１よりも小さい（すなわち、Ｈ２＜Ｈ１かつＷ２＜Ｗ１）。例示的な関心領域２４０は、操舵角が所定の閾値操舵角未満の状態で、所定の閾値速度（例えば１０ｍｐｈ）を超えて前方方向に走行する車両１０に対応する。一例では、所定の閾値速度は９－１１ｍｐｈ（すなわち、９ｍｐｈ以上１１ｍｐｈ以下）である。代替例では、所定の閾値速度は１０ｍｐｈである。一例では、所定の閾値操舵角は４－６度である（すなわち、４度以上６度以下である。代替例では、所定の閾値操舵角は５度である。動作条件が異なる場合、関心領域２４０は別の位置に画定されてもよい（例えば、操舵角が所定の閾値操舵角を超える場合には、対象領域をステアリングの方向にシフトさせ、及び／又は水平方向に拡大してもよい）。

【0046】

代替例では、前方直線走行条件が満たされない場合、処理リソースを節約するためにトレーラ存在機能を完全に無効にしてもよい。

【0047】

関心領域２４０が確立されると、ＣＭＳ１５は関心領域２４０内でオプティカルフロー分析を実行する。処理能力を節約し、無駄な計算を防止するために、オプティカルフロー分析は関心領域２４０のみに限定される。

【0048】

オプティカルフローは、観察者とシーンとの間の相対的な動きによって引き起こされる視覚シーン内の物体、表面、及びエッジの見かけの動きのパターンを参照する概念である。オプティカルフローは、画像内の輝度パターンの移動の見かけの速度の分布として記述することもできる。ＣＭＳ１５は、関心領域２４０内のピクセル速度２３４を測定し（図６を参照）、ピクセル速度のパターンをトレーラ１４の存在に対応する既知のパターンと比較する。例えば、トレーラ１４が存在する場合、トレーラ１４はトラクタに対してほとんど静止しているため、トレーラ１４を含む画像の部分は最小のオプティカルフローを有し、トレーラ１４を含まない画像の部分は、車両の移動速度に対応する標準オプティカルフローを有する。関心領域２４０をトレーラ１４の予測サイズよりもわずかに大きく画定し、関心領域２４０をトレーラ１４の中心に置くことによって、ＣＭＳ１５は、画像２３０全体のオプティカルフローを分析する必要なく、この区別を捉えることができる。代替例では、道路及びエンジンの振動は、トレーラ１４の垂直後部エッジを振動させ得るため、トレーラのエッジにおいて波形の形状を有するオプティカルフローが生じる。

【0049】

オプティカルフローの特定の移動及び／又は関心領域内のオプティカルフローの形状が変化する領域は、ピクセル速度のパターンと呼ばれ、これらの部分が、トレーラ１４の存在に対応することが知られているパターンと比較されるものである。

【0050】

関心領域２４０内のピクセル速度のパターンが、トレーラ１４の存在に対応するピクセル速度のパターンと一致する場合、システムは、トレーラが存在し、かつ運転室１２に連結されていると判断する。関心領域２４０内のピクセル速度のパターンが、トレーラ１４の存在に対応するピクセル速度のパターンと一致しない場合、ＣＭＳ１５は、トレーラ１４が運転室１２に連結されていないと判断する。

【0051】

図１から図６を引き続き参照すると、図７は、上記の動作を実行するためにＣＭＳ１５を動作させる方法７００を示す。最初に、ＣＭＳ１５は、「ＣＭＳ画像を受信する」ステップ７１０において、カメラ２０ａ、２０ｂから画像を受信する。受信された画像は、「画像をステッチする」ステップ７２０において、確立された任意のステッチアルゴリズムを使用して一緒にステッチされる。複数のカメラではなく、単一のカメラ２０ａ又は２０ｂからの画像を使用して方法が実行される場合、画像をステッチするステップ７２０を省略することができる。同様に、画像がウイングに取り付けられた後方カメラ２０ａ、２０ｂに加えて追加のカメラから提供される場合、画像をステッチするステップ７２０は、ステッチアルゴリズムを使用して、すべての画像を単一のステッチ画像に結合することができる。

【0052】

単一の画像が作成されると、ＣＭＳ１５は、「関心領域を制限する」ステップ７３０において、画像内の関心領域を定義する。関心領域は、画像のすべてよりも小さく（すなわち、画像全体の画素領域よりも小さい画素領域を有する画像全体の一部に対応する）、トレーラ１４が画像内にあると予測される領域に対応する。この識別を容易にするために、ＣＭＳ１５は、いくつかの例において、画像内のトレーラ１４の予測される位置を示すことができる車両１０の動作特性を受信し得る。一例として、動作特性は、（限定されないが）車両１０の操舵角及び車両１０の速度を含んでもよい。

【0053】

関心領域は、画像の水平部分のすべて未満、画像の垂直部分のすべて未満、画像の水平部分及び垂直部分の両方のすべて未満、及び／又は制限領域を画定する特定のボックスに制限され得る。いくつかの例では、この領域は、画像を単一の画像に結合するステッチングインターフェースを中心に配置されてもよい。他の例では、領域は中心からずれてシフトされてもよいが、複数の画像を単一の画像に結合するステッチングインターフェース２３２を依然として含んでもよい。

【0054】

関心領域が定義された後で、ＣＭＳ１５は、「関心領域内のオプティカルフローを分析する」ステップ７４０で関心領域内のオプティカルフローを分析する。計算リソースを節約し、より迅速な決定を提供するために、オプティカルフローは関心領域内でのみ分析される。この分析によって、関心領域内に存在するオプティカルフローの任意のパターンが識別される。オプティカルフローのパターンは、「オプティカルフローをパターンと比較する」ステップ７５０で既知のパターンと比較される。識別されたオプティカルフローのパターンが、トレーラが存在することに対応することが知られているパターンと一致する場合、方法７００は、「一致に応答してトレーラの存在を出力する」ステップ７６０でＣＭＳ１５に「トレーラ存在」信号を出力する。逆に、パターンが、トレーラ１４が存在することに対応することが知られているパターンと一致しない場合、「トレーラ不存在」信号が出力される。

【0055】

トレーラ１４の存在又は不存在について通知された後で、ＣＭＳ１５は、トレーラ１４の連結状態に対応する従来のやり方で動作する。さらに、ＣＭＳ１５は、この情報を利用し得る任意の数の追加の車両システムにトレーラ検出状態を提供することができる。例として、追加のシステムは、運転者補助システム、物体検出システム等を含み得る。

【0056】

ＣＭＳ１５内のプロセスとして上述したが、オプティカルフローを使用するトレーラ検出のためのプロセスは、ＣＭＳ１５とは独立して実行することができ、ＣＭＳ１５に提供することができ、一般的な車両コントローラで実行することができ、又は車両内の任意の適切な処理ユニットで実行することができることが理解される。

【0057】

例示的な実施形態が開示されてきたが、当業者であれば、所定の修正が請求項の範囲内に入ることを認識するであろう。そのため、以下の請求項については、その真の範囲及び内容を判断するように検討されるべきである。

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【国際調査報告】