特表 2024-546295 統合距離センサを含むカメラ監視システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-12-19

(54)【発明の名称】統合距離センサを含むカメラ監視システム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20241212BHJP

   B60R 1/26 20220101ALI20241212BHJP

   B60R 11/02 20060101ALI20241212BHJP

   G01S 13/86 20060101ALI20241212BHJP

   G01S 13/931 20200101ALI20241212BHJP

   G01S 17/86 20200101ALI20241212BHJP

   G01S 17/931 20200101ALI20241212BHJP

【ＦＩ】

H04N7/18 J

B60R1/26 200

B60R11/02 C

G01S13/86

G01S13/931

G01S17/86

G01S17/931

【審査請求】未請求

【予備審査請求】有

(21)【出願番号】P 2024537338

(86)(22)【出願日】2022-12-21

(85)【翻訳文提出日】2024-08-07

(86)【国際出願番号】 US2022053578

(87)【国際公開番号】W WO2023122131

(87)【国際公開日】2023-06-29

(31)【優先権主張番号】63/293,188

(32)【優先日】2021-12-23

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】519088568

【氏名又は名称】ストーンリッジ エレクトロニクス アーベー

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100111235

【弁理士】

【氏名又は名称】原 裕子

(74)【代理人】

【識別番号】100195257

【弁理士】

【氏名又は名称】大渕 一志

(72)【発明者】

【氏名】マ、 リャン

(72)【発明者】

【氏名】クープライダー、 トロイ オティス

(72)【発明者】

【氏名】マークス、 ドミニク

【テーマコード（参考）】

3D020

5C054

5J070

5J084

【Ｆターム（参考）】

3D020BA04

3D020BA20

3D020BB02

3D020BC19

3D020BD03

3D020BE03

5C054CA04

5C054CC02

5C054FC12

5C054FC13

5C054FD03

5C054FD07

5C054HA30

5J070AC02

5J070AC06

5J070AC11

5J070AE07

5J070AF03

5J070AK22

5J070BD08

5J084AA05

5J084AA07

5J084AA10

5J084AB17

5J084AC02

5J084EA22

(57)【要約】

カメラ監視システムは、後ろ向きカメラ及び後ろ向き距離センサを支持するハウジングを含む第１のミラー置換型アセンブリと、ミラー置換型アセンブリと通信するコントローラであって、コントローラは、プロセッサ及びメモリを含み、メモリは、カメラからの画像フィードにおける少なくとも１つの物体を識別すること、画像解析を使用して物体の角度位置を決定すること、距離センサを使用してミラー置換型アセンブリからの少なくとも１つの物体の距離を識別すること、及び物体の距離及び角度位置を単一のデータセットに融合することを行うための命令を記憶する、コントローラと、コントローラに接続され、かつ画像フィードの少なくとも一部を含むミラー置換型ビューを表示するように構成されるディスプレイとを含む。

【特許請求の範囲】

【請求項1】

後ろ向きカメラ及び後ろ向き距離センサを支持するハウジングを含む第１のミラー置換型アセンブリと、
前記第１のミラー置換型アセンブリと通信するコントローラであって、前記コントローラは、プロセッサ及びメモリを含み、前記メモリは、前記カメラからの画像フィードにおける少なくとも１つの物体を識別して、画像解析を使用して前記物体の角度位置を決定すること、前記距離センサを使用して前記第１のミラー置換型アセンブリからの前記少なくとも１つの物体の距離を識別すること、及び前記物体の前記距離及び前記角度位置を単一のデータセットに融合することを行うための命令を記憶する、コントローラと、
前記コントローラに接続され、かつ前記画像フィードの少なくとも一部を含むミラー置換型ビューを表示するように構成されるディスプレイと
を備える、カメラ監視システム。

【請求項2】

前記距離センサは、飛行時間センサである、請求項１に記載のカメラ監視システム。

【請求項3】

前記飛行時間センサは、レーダセンサを含む、請求項２に記載のカメラ監視システム。

【請求項4】

前記飛行時間センサは、ライダ距離センサを含む、請求項２に記載のカメラ監視システム。

【請求項5】

前記コントローラは、前記距離センサを使用して識別された物体の速度を決定するようにさらに構成される、請求項１に記載のカメラ監視システム。

【請求項6】

前記コントローラは、組み合わされた角度位置及び距離を少なくとも１つの高度運転支援システムに通信するようにさらに構成される、請求項１に記載のカメラ監視システム。

【請求項7】

前記第１のミラー置換型アセンブリは、商用車の第１のカメラウイング内に配置される、請求項１に記載のカメラ監視システム。

【請求項8】

前記第１のミラー置換型アセンブリと略同一の第２のミラー置換型アセンブリをさらに備える、請求項１に記載のカメラ監視システム。

【請求項9】

前記第１のミラー置換型アセンブリは、車両の運転席側に配置され、
前記第２のミラー置換型アセンブリは、前記車両の助手席側に配置される、請求項８に記載のカメラ監視システム。

【請求項10】

前記コントローラは、最近傍マッチングアルゴリズムを使用して、前記物体の前記距離及び前記角度位置を前記単一のデータセットに融合するように構成される、請求項１に記載のカメラ監視システム。

【請求項11】

前記最近傍マッチングアルゴリズムは、前記少なくとも１つの物体の前記角度位置及び前記少なくとも１つの物体の前記距離を前記少なくとも１つの物体の最大コスト数内の追跡物体と相関させるように構成される、請求項１０に記載のカメラ監視システム。

【請求項12】

前記最大コスト数は、前記少なくとも１つの物体と前記追跡物体との間の距離差、速度差、及び角度差の加重和である、請求項１１に記載のカメラ監視システム。

【請求項13】

ミラー置換型システムにおける物体検出を改善する方法であって、
コントローラが、車両ウイング内の後ろ向き飛行時間センサから少なくとも１つの物体の検出を受信すること、
前記コントローラが、前記車両ウイング内の後ろ向きカメラから画像データを受信して、画像解析プロセスを使用して前記画像データ内の前記少なくとも１つの物体を識別すること、及び
前記画像データからの前記少なくとも１つの物体の角度位置を前記飛行時間センサからの少なくとも距離と融合して、融合された追跡物体を生成すること
を含む、方法。

【請求項14】

前記飛行時間センサは、レーダセンサ及びライダセンサのうちの１つである、請求項１３に記載の方法。

【請求項15】

前記画像データからの前記少なくとも１つの物体の角度位置を前記飛行時間センサからの少なくとも距離と融合して、融合された追跡物体を生成することは、前記飛行時間センサからの物体速度データを融合することを含む、請求項１３に記載の方法。

【請求項16】

前記画像データからの前記少なくとも１つの物体の角度位置を前記飛行時間センサからの少なくとも距離と融合することは、前記コントローラによって最近傍マッチングアルゴリズムを使用することにより実行される、請求項１３に記載の方法。

【請求項17】

前記最近傍マッチングアルゴリズムは、前記少なくとも１つの物体の前記角度位置及び前記少なくとも１つの物体の前記距離を前記少なくとも１つの物体の最大コスト数内の追跡物体と相関させるように構成される、請求項１６に記載の方法。

【請求項18】

前記最大コスト数は、前記少なくとも１つの物体と前記追跡物体との間の距離差、速度差、及び角度差の加重和である、請求項１７に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、商用トラックで使用するためのカメラ監視システム（ＣＭＳ）に関し、より具体的には、統合距離センサを含むカメラ監視システムに関する。

【0002】

（関連出願への相互参照）
本出願は、２０２１年１２月２３日に出願された米国仮特許出願第６３／２９３１８８号への優先権を主張する。

【背景技術】

【0003】

ミラー置換型システム、及びミラーのビューを補完するカメラシステムは、車両の操作者が周囲の環境を見る能力を高めるために商用車両に利用されている。カメラ監視システム（ＣＭＳ）は、１つ以上のカメラを利用して、車両運転者に強化された視野を提供する。いくつかの例では、ミラー置換型システムは、従来のミラーよりも広い視野をカバーし、又は従来のミラーを介して完全には得られないビューを含む。

【0004】

カメラ監視システムは、物体検出及び画像解析システムを利用して、ミラー置換型カメラからの画像フィード内の物体を識別する。画像解析は、さらに、物体に関する情報を決定するために使用されてもよく、その情報は、自動又は半自動運転者支援システム、運転者警告システム、及び車両上の任意の他の同様のシステムで使用するために車両コントローラに提供され得る。

【発明の概要】

【0005】

１つの例示的な実施形態では、カメラ監視システムは、後ろ向きカメラ及び後ろ向き距離センサを支持するハウジングを含む第１のミラー置換型アセンブリと、前記ミラー置換型アセンブリと通信するコントローラであって、前記コントローラは、プロセッサ及びメモリを含み、前記メモリは、前記カメラからの画像フィードにおける少なくとも１つの物体を識別して、画像解析を使用して前記物体の角度位置を決定すること、前記距離センサを使用して前記ミラー置換型アセンブリからの少なくとも１つの物体の距離を識別すること、及び前記物体の前記距離及び前記角度位置を単一のデータセットに融合することを行うための命令を記憶する、コントローラと、前記コントローラに接続され、かつ前記画像フィードの少なくとも一部を含むミラー置換型ビューを表示するように構成されるディスプレイとを含む。

【0006】

上記のカメラ監視システムの別の例では、前記距離センサは、飛行時間センサである。

【0007】

上記のカメラ監視システムのいずれかの別の例では、前記飛行時間センサは、レーダセンサを含む。

【0008】

上記のカメラ監視システムのいずれかの別の例では、前記飛行時間センサは、ライダ距離センサを含む。

【0009】

上記のカメラ監視システムのいずれかの別の例では、前記コントローラは、前記距離センサを使用して前記識別された物体の速度を決定するようにさらに構成される。

【0010】

上記のカメラ監視システムのいずれかの別の例では、前記コントローラは、前記組み合わされた角度位置及び距離を少なくとも１つの高度運転支援システムに通信するようにさらに構成される。

【0011】

上記のカメラ監視システムのいずれかの別の例では、前記第１のミラー置換型アセンブリは、商用車の第１のカメラウイング内に配置される。

【0012】

上記のカメラ監視システムのいずれかの別の例は、前記第１のミラー置換型アセンブリと略同一の第２のミラー置換型アセンブリをさらに含む。

【0013】

上記のカメラ監視システムのいずれかの別の例では、前記第１のミラー置換型アセンブリは、前記車両の運転席側に配置され、前記第２のミラー置換型アセンブリは、車両の助手席側に配置される。

【0014】

上記のカメラ監視システムのいずれかの別の例では、前記コントローラは、最近傍マッチングアルゴリズムを使用して、前記物体の前記距離及び前記角度位置を前記単一のデータセットに融合するように構成される。

【0015】

上記のカメラ監視システムのいずれかの別の例では、前記最近傍マッチングアルゴリズムは、前記少なくとも１つの物体の前記角度位置及び前記少なくとも１つの物体の前記距離を前記少なくとも１つの物体の最大コスト数内の追跡物体と相関させるように構成される。

【0016】

上記のカメラ監視システムのいずれかの別の例では、前記最大コスト数は、前記少なくとも１つの物体と前記追跡物体との間の距離差、速度差、及び角度差の加重和である。

【0017】

ミラー置換型システムにおける物体検出を改善する例示的な方法は、コントローラが、車両ウイング内の後ろ向き飛行時間センサから少なくとも１つの物体検出を受信すること、前記コントローラが、前記ウイング内の後ろ向きカメラから画像データを受信して、画像解析プロセスを使用して前記画像データ内の前記少なくとも１つの物体を識別すること、及び前記画像データからの前記少なくとも１つの物体の角度位置を前記飛行時間センサからの少なくとも１つの距離と融合して、融合された追跡物体を生成することを含む。

【0018】

ミラー置換型システムにおける物体検出を改善するための上記の方法の別の例では、前記飛行時間センサは、レーダセンサ及びライダセンサのうちの１つである。

【0019】

ミラー置換型システムにおける物体検出を改善するための上記の方法のいずれかの別の例では、前記画像データからの前記少なくとも１つの物体の角度位置を前記飛行時間センサからの少なくとも１つの距離と融合して、融合された追跡物体を生成することは、前記飛行時間センサからの物体速度データを融合することを含む。

【0020】

ミラー置換型システムにおける物体検出を改善するための上記の方法のいずれかの別の例では、前記画像データからの前記少なくとも１つの物体の角度位置を前記飛行時間センサからの少なくとも１つの距離と融合することは、前記コントローラが最近傍マッチングアルゴリズムを使用することにより実行される。

【0021】

ミラー置換型システムにおける物体検出を改善するための上記の方法のいずれかの別の例では、前記最近傍マッチングアルゴリズムは、前記少なくとも１つの物体の前記角度位置及び前記少なくとも１つの物体の前記距離を前記少なくとも１つの物体の最大コスト数内の追跡物体と相関させるように構成される。

【0022】

ミラー置換型システムにおける物体検出を改善するための上記の方法のいずれかの別の例では、前記最大コスト数は、前記少なくとも１つの物体と前記追跡物体との間の距離差、速度差、及び角度差の加重和である。

【図面の簡単な説明】

【0023】

本開示は、添付の図面と併せて以下の詳細な説明を参照することによって、さらに理解することができる。

【0024】

【図1A】少なくともクラスＩＩ及びクラスＩＶのビューを提供するために使用されるカメラ監視システム（ＣＭＳ）を備えた商用トラックの概略正面図である。

【0025】

【図1B】クラスＩＩ、クラスＩＶ、クラスＶ及びクラスＶＩのビューを提供するカメラ監視システムを備えた商用トラックの概略上面図である。

【0026】

【図2】ディスプレイ及び車内カメラを含む車両運転室の概略上部斜視図である。

【0027】

【図3A】商用車の距離センサの視野を示す図である。

【0028】

【図3B】商用車のカメラの視野を示す図である。

【0029】

【図4】図３Ａのセンサ視野と図３Ｂのカメラ視野との最近傍融合を概略的に示す図である。

【0030】

【図5】単一のミラー置換型アセンブリからのセンサ及びカメラに基づいた物体検出を融合するためのプロセスを示す。

【0031】

【図6】複数の追跡物体の最近傍マッチングの例を概略的に示す。

【0032】

上述の段落の実施形態、例示及び代替物、請求項、又は以下の記載及び図面は、それらの様々な態様又はそれぞれの個別の特徴のいずれかを含めて、独立して、又は任意の組み合わせで採用されてもよい。１つの実施形態に関連して記述された特徴は、そのような特徴に互換性がない場合を除き、全ての実施形態に適用可能である。

【発明を実施するための形態】

【0033】

商用車両１０の概略図を図１Ａ及び図１Ｂに示す。車両１０は、トレーラ１４を牽引するための車両運転室又はトラクタ１２を含む。本開示では商用トラックが企図されているが、本発明は他の種類の車両にも適用することができる。車両１０にはカメラ監視システム（ＣＭＳ）１５（図２）が組み込まれており、これには運転席及び助手席側のカメラアーム１６ａ、１６ｂが車両運転室１２の外側に取り付けられている。必要に応じて、カメラアーム１６ａ、１６ｂには、それらと一体化した従来のミラーも含まれ得るが、ＣＭＳ１５を使用してミラーを完全に交換することもできる。追加の例では、各側に複数のカメラアームが含まれてもよく、各アームは１つ以上のカメラ及び／又はミラーを収容する。

【0034】

各カメラアーム１６ａ、１６ｂは、例えば運転室１２に固定されたベースを含む。旋回アームはベースによって支持されており、それに対して関節接続されてもよい。少なくとも１つの後ろ向きカメラ２０ａ、２０ｂがカメラアーム内にそれぞれ配置されている。車外カメラ２０ａ、２０ｂはそれぞれ、商用トラック業界で法的に規定されたビューであるクラスＩＩビュー及びクラスＩＶビュー（図１ｂ）の少なくとも１つをそれぞれ含む車外視野ＦＯＶ_ＥＸ１、ＦＯＶ_ＥＸ２を提供する。必要に応じて、これらのビューを提供するために、各カメラアーム１６ａ、１６ｂに複数のカメラが使用されてもよい。各アーム１６ａ、１６ｂは、ＣＭＳ１５の様々な特徴を提供するように構成される電子機器を囲むハウジングも提供してもよい。

【0035】

第１及び第２の映像ディスプレイ１８ａ，１８ｂは、Ａピラー１９ａ，１９ｂ上の又はその近くの車両運転室１２内の運転席側及び助手席側のそれぞれに配置され、車両１０のそれぞれの側にクラスＩＩ及びクラスＩＶのビューを表示し、これは車外カメラ２０ａ，２０ｂによって撮影された車両１０に沿った後ろ向き側のビューを提供する。

【0036】

クラスＶ及びクラスＶＩのビューの映像も必要な場合、これらのビューを提供するために、車両１０の前面又はその近くにカメラハウジング１６ｃ及びカメラ２０ｃが配置されてもよい（図１ｂ）。フロントガラスの上部中心付近の運転室１２内に配置された第３のディスプレイ１８ｃを使用して、車両１０の前方に向かうクラスＶ及びクラスＶＩのビューを運転者に表示することができる。

【0037】

クラスＶＩＩＩのビューの映像が必要な場合、カメラハウジングを車両１０の側面及び後部に配置して、車両１０のクラスＶＩＩＩゾーンの一部又は全てを含む視野を提供することができる。図示されているように、クラスＶＩＩＩのビューは、トレーラの直近を取り囲むビュー、及びトレーラの後方を含む車両の後方近接ビューを含む。一例では、車両の後方近接ビューは、車両の後方に配置された後ろ向きカメラによって生成され、直後の後方近接ビュー及び従来の後方ビュー（例えば、トレーラのない車両の後方ビューミラーによって得られる水平線まで後方に広がる視界）の両方を含んでもよい。このような例では、第３のディスプレイ１８ｃは、クラスＶＩＩＩのビューを表示する１つ以上のフレームを含み得る。代替的に、第１、第２及び第３のディスプレイ１８ａ、１８ｂ、１８ｃの近くに追加ディスプレイを追加して、クラスＶＩＩＩのビューを提供する専用のディスプレイを提供することもできる。ディスプレイ１８ａ、１８ｂ、１８ｃは、運転席２６に運転者が着席する運転室２２内の運転者領域２４に向いている。

【0038】

また、カメラアーム１６ａ、１６ｂのそれぞれには、レーダセンサ、ライダセンサ、又は他の飛行時間センサ等の距離センサ５０と、対応するカメラ２０ａ、２０ｂとを含むミラー置換型アセンブリが含まれる。距離センサ５０及びカメラ２０ａ、２０ｂは後ろ向きでおり、視野は、運転者の位置にいる乗員によって見られる従来の後ろ向きミラーによって提供される視野と少なくとも同じ大きさである。各カメラアーム１６ａ、１６ｂは、略同一のミラー置換型アセンブリを含む。本明細書で使用されているように、略同一のミラー置換型アセンブリとは、同じシステム及び機能を有する一方で、運転席側／助手席側の位置決め又は同様の位置関連の変化を考慮するために必要となり得る方向及び相対配置等のわずかな変化を許容するミラー置換型アセンブリを指す。

【0039】

距離センサ５０は、物体に反射して距離センサ５０に戻る無線（レーダ）又は光（ライダ）の波を放射する。距離センサ５０は、波が放射されてからセンサに戻されるまでの飛行時間を測定する。この飛行時間に基づいて、距離センサ５０、又は接続されたコントローラは、物体が距離センサ５０から離れている距離を検出することができる。距離センサ５０が動作する仕方により、物体までの距離及びセンサに対するその距離の変化率（すなわち物体の速度）は、センサ信号及び最小限の計算を使用して、迅速かつ高精度に決定することができる。距離センサ５０は、距離センサ５０から物体までの距離を識別することができるが、物体の角度位置をセンサ信号のみに基づいて決定することは比較的困難である。

【0040】

図３Ａは、距離センサ３１２によって生成される視野３１０を概略的に示す。物体３２０は、視野３１０内に配置されており、距離センサ３１２によって検出される。物体３２０から距離センサ３１２までの距離３２２は、距離センサ３１２のみによって生成されるデータから比較的容易に決定することができる。しかしながら、正確な角度位置を距離センサ３１２のデータのみから決定することは困難又は不可能である。角度位置は、距離センサ３１２の周りの円弧３２４上の位置であり、円弧３２４は、検出された距離３２０に等しい半径を有する。図３Ａの例では、説明を容易にするために単一の物体３２０のみが図示されているが、距離センサ３１２は、単一の感知動作内で視野３１０の周りに分布する複数の別個の物体３２０までの距離センサ３１２からの距離、及び略対応する角度位置を識別することができ、この検出は従来の技術を用いて達成することができることが理解される。

【0041】

距離センサ３１２の検出に加えて、ＣＭＳ１５内のコントローラは、ミラー置換型アセンブリ内のカメラからの画像フィードに対する物体検出解析を用いて物体を識別する。図１－図３Ａを引き続き参照しながら、図３Ｂは、ＣＭＳコントローラにおける画像に基づいた解析を用いた物体検出を概略的に示す。最初に、ＣＭＳは、カメラ４１２の視野４１０内の画像を解析し、ルールベース、ニューラルネットワークベース、又はルール及びニューラルネットワークの組み合わせのいずれかであり得る従来の物体識別技術を用いて物体４０２を識別する。物体を識別した後、画像解析プロセスは、カメラ４１２に対する物体４０２の角度位置４２２をさらに検出し、複数の検出された物体を区別するのを支援することができる。図３Ａの距離センサの例とは異なり、画像に基づいた解析は、物体４０２とカメラ４１２との間の正確な距離を決定することが困難であり、その結果、距離の変化を決定することが困難であるが、同時に、物体の正確な角度位置を決定するのには適している。

【0042】

図３Ａ及び図３Ｂを引き続き参照しながら、図４は、検出された各物体の距離データ及び角度位置データを結合するための最近傍マッチング融合技術を用いた、図３Ａからの距離データと図３Ｂからの角度位置データとの融合を概略的に示す。代替例では、代替融合技術（例えば、ハンガリアンアルゴリズム）が使用されてもよい。最近傍マッチング法は、レーダ物体３２０の検出位置及び画像に基づいた検出物体４０２の検出位置を識別する。検出位置に加えて、少なくとも１つの追跡物体５２０が、融合アルゴリズムを動作させるコントローラ内に記憶される。追跡物体５２０は、追跡物体５２０の最後に知られた融合された距離及び角度位置を含む。

【0043】

各レーダ物体３２０及び各画像検出物体４０２は、「最近傍」として最も近い追跡物体５２０と相関される。レーダ物体３２０及び画像検出物体４０２の両方が単一の追跡物体５２０と相関される場合、追跡物体５２０は、レーダ物体３２０の距離データ及び画像検出物体４０２の角度位置データが追跡物体５２０の新しい距離及び角度位置データとなるように、距離及び角度位置データを更新する。図６の例のようないくつかの例では、複数の追跡物体６２０を利用して、複数の物体検出を融合することができる。図６の例では、３つの追跡物体６２０を含むように示されているが、任意の数の追跡物体を利用できることが理解される。

【0044】

追跡物体５２０がレーダ物体３２０及び画像に基づいた検出物体４２０のペアの最大コスト数内にない場合、画像に基づいた検出物体４０２からの角度位置及びレーダ物体３２０からの距離を使用して、新しい追跡物体５２０が作成される。最大コスト数は、少なくとも１つの物体と追跡物体との間の距離差、速度差及び角度差の加重和であり、最も近い追跡物体が異なる物体と相関しないことを保証する。

【0045】

追跡物体５２０が同じ種類の複数の検出に対して最も近い追跡物体である（例えば、単一の追跡物体５２０が２つの別々のレーダ検出３２０に対する最も近い追跡物体５２０である）場合、追跡物体５２０は、２つの別々のレーダ検出３２０のうち最も近いものと相関され、他方のレーダ検出３２０は、２番目に近い追跡物体５２０とペアになる。

【0046】

いくつかの例示的なシステムでは、計算能力が高価である場合、利用可能な追跡物体５２０の数は、多くても１６の追跡物体に制限され得る。そのような場合、車両からの所定の距離を超えるレーダ及び画像に基づいた物体検出は無視される。追跡物体５２０の融合された位置を提供することに加えて、融合されたデータは、いくつかの例では、位置履歴を提供する履歴データを含んでもよく、追跡物体５２０の動きを追従することを可能にする。

【0047】

引き続き図３Ａ及び図３Ｂを参照しながら、図５は、距離センサ３１２及びカメラ４１２のそれぞれからのデータを融合し、それによって、識別された各物体の距離、速度及び位置を識別する方法を示すフローチャートである。最初に、物体は、「距離センサにより物体を識別する」ステップ４１０で距離センサ３１２によって識別され、同時に、物体は、「画像解析により物体を識別する」ステップ４２０において画像解析に基づいて識別される。ステップ４２０の画像に基づく解析を用いて識別された物体は、「画像座標を三次元座標に変換する」ステップ４３０において、画像内の二次元位置からカメラ４１２に対して少なくとも部分的に三次元位置に変換される。

【0048】

画像座標を三次元座標に変換した後で、コントローラは、「距離検出と画像検出とを相関させる」ステップ４４０において、距離センサ３１２からの距離検出とカメラ４１２からの画像検出とを相関させる。一例では、相関は、上述した最近傍マッチング法を用いて達成される。相関は、画像解析によって識別された各物体の、追跡物体５２０を用いて距離センサ３１２によって識別された各物体への一対一のマッピングを提供する。追跡物体５２０は、融合されたデータを追跡するので、代替的に、融合物体とも呼ばれ得る。

【0049】

融合アルゴリズムによって組み合わされると、物体についての距離、相対速度、及び角度位置が、「物体についての距離、速度、角度位置を出力する」ステップ４５０のプロセスによって出力される。いくつかの例では、情報は、車両通信バス（ＣＡＮバス等）を介してコントローラから別個の車両システムに出力される。他の例では、情報は、このプロセスからＣＭＳコントローラ内の１つ以上の追加のプロセスに出力される。一例として、ＣＭＳコントローラは、所与の物体の距離及び角度位置を使用して、車両オペレータに表示されるヒューマンマシンインターフェース要素を生成し、ミラー置換型ディスプレイ内の距離に基づいたインジケータの位置を決定する等してもよい。代替例では、情報は、死角警報、車線変更支援、後方横断交通警報、又は任意の同様のシステム等の高度運転支援システム（ＡＤＡＳ）に提供され得る。

【0050】

カメラアーム１６ａ、１６ｂのハウジング内に距離センサ５０を配置し、距離センサ５０及びカメラ２０ａ、２０ｂの視野を同じ後方方向に向けることによって、ＣＭＳコントローラは、融合アルゴリズムを利用して、商用車の側方及び後方後部で検出された物体に関する高精度のデータを達成することができる。さらに、個々の物体に関して上述したが、開示されたシステム及びプロセスを使用して、追加の変更を必要とせずに、複数の別個の物体を同時に検出及び解析することができることが理解される。

【0051】

距離センサ３１２及びカメラ４１２を略同じ位置に配置することによって、融合アルゴリズムを使用してデータを融合する能力を向上させることに加えて、カメラウイング１６ａ、１６ｂ内に距離センサを含めることによって、単一のヒータがカメラ４１２及び距離センサ３１２の両方に対して除氷を提供することができる。さらに、同じハウジング内に両方を含めることによって、単一の位置合わせシステムを利用して、カメラ４１２及び距離センサ３１２の位置合わせを維持することが可能になる。

【0052】

例示的な実施形態が開示されてきたが、当業者であれば、所定の修正が請求項の範囲内に入ることを認識するであろう。そのため、以下の請求項については、その真の範囲及び内容を判断するように検討されるべきである。

【図1A】

【図1B】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【手続補正書】

【提出日】2024-08-21

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

後ろ向きカメラ及び後ろ向き距離センサを支持するハウジングを含む第１のミラー置換型アセンブリと、
前記第１のミラー置換型アセンブリと通信するコントローラであって、前記コントローラは、プロセッサ及びメモリを含み、前記メモリは、前記カメラからの画像フィードにおける少なくとも１つの物体を識別して、画像解析を使用して前記物体の角度位置を決定すること、前記距離センサを使用して前記第１のミラー置換型アセンブリからの前記少なくとも１つの物体の距離を識別すること、及び前記物体の前記距離及び前記角度位置を融合された追跡物体として単一のデータセットに融合することを行うための命令を記憶する、コントローラと、
前記コントローラに接続され、かつ前記画像フィードの少なくとも一部を含むミラー置換型ビューを表示するように構成されるディスプレイと
を備える、カメラ監視システム。

【請求項2】

前記距離センサは、飛行時間センサである、請求項１に記載のカメラ監視システム。

【請求項3】

前記飛行時間センサは、レーダセンサを含む、請求項２に記載のカメラ監視システム。

【請求項4】

前記飛行時間センサは、ライダ距離センサを含む、請求項２に記載のカメラ監視システム。

【請求項5】

前記コントローラは、前記距離センサを使用して識別された物体の速度を決定するようにさらに構成される、請求項１に記載のカメラ監視システム。

【請求項6】

前記コントローラは、組み合わされた角度位置及び距離を少なくとも１つの高度運転支援システムに通信するようにさらに構成される、請求項１に記載のカメラ監視システム。

【請求項7】

前記第１のミラー置換型アセンブリは、商用車の第１のカメラウイング内に配置される、請求項１に記載のカメラ監視システム。

【請求項8】

前記第１のミラー置換型アセンブリと略同一の第２のミラー置換型アセンブリをさらに備える、請求項１に記載のカメラ監視システム。

【請求項9】

前記第１のミラー置換型アセンブリは、車両の運転席側に配置され、
前記第２のミラー置換型アセンブリは、前記車両の助手席側に配置される、請求項８に記載のカメラ監視システム。

【請求項10】

前記コントローラは、最近傍マッチングアルゴリズムを使用して、前記物体の前記距離及び前記角度位置を前記単一のデータセットに融合するように構成される、請求項１に記載のカメラ監視システム。

【請求項11】

前記最近傍マッチングアルゴリズムは、前記少なくとも１つの物体の前記角度位置及び前記少なくとも１つの物体の前記距離を前記少なくとも１つの物体の最大コスト数内の追跡物体と相関させるように構成される、請求項１０に記載のカメラ監視システム。

【請求項12】

前記最大コスト数は、前記少なくとも１つの物体と前記追跡物体との間の距離差、速度差、及び角度差の加重和である、請求項１１に記載のカメラ監視システム。

【請求項13】

ミラー置換型システムにおける物体検出を改善する方法であって、
コントローラが、車両ウイング内の後ろ向き飛行時間センサから少なくとも１つの物体の検出を受信すること、
前記コントローラが、前記車両ウイング内の後ろ向きカメラから画像データを受信して、画像解析プロセスを使用して前記画像データ内の前記少なくとも１つの物体を識別すること、及び
前記画像データからの前記少なくとも１つの物体の角度位置を前記飛行時間センサからの少なくとも距離と融合して、融合された追跡物体を生成すること
を含む、方法。

【請求項14】

前記飛行時間センサは、レーダセンサ及びライダセンサのうちの１つである、請求項１３に記載の方法。

【請求項15】

前記画像データからの前記少なくとも１つの物体の角度位置を前記飛行時間センサからの少なくとも距離と融合して、融合された追跡物体を生成することは、前記飛行時間センサからの物体速度データを融合することを含む、請求項１３に記載の方法。

【請求項16】

前記画像データからの前記少なくとも１つの物体の角度位置を前記飛行時間センサからの少なくとも距離と融合することは、前記コントローラによって最近傍マッチングアルゴリズムを使用することにより実行される、請求項１３に記載の方法。

【請求項17】

前記最近傍マッチングアルゴリズムは、前記少なくとも１つの物体の前記角度位置及び前記少なくとも１つの物体の前記距離を前記少なくとも１つの物体の最大コスト数内の追跡物体と相関させるように構成される、請求項１６に記載の方法。

【請求項18】

前記最大コスト数は、前記少なくとも１つの物体と前記追跡物体との間の距離差、速度差、及び角度差の加重和である、請求項１７に記載の方法。

【国際調査報告】