特表 2023-531637 商用車両カメラシステム用のヒューマンマシンインターフェース

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-07-25

(54)【発明の名称】商用車両カメラシステム用のヒューマンマシンインターフェース

(51)【国際特許分類】

   G08G 1/16 20060101AFI20230718BHJP

【ＦＩ】

G08G1/16 C

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022577661

(86)(22)【出願日】2021-06-09

(85)【翻訳文提出日】2023-02-03

(86)【国際出願番号】 US2021036528

(87)【国際公開番号】W WO2021257337

(87)【国際公開日】2021-12-23

(31)【優先権主張番号】63/041,176

(32)【優先日】2020-06-19

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】519088568

【氏名又は名称】ストーンリッジ エレクトロニクス アーベー

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100111235

【弁理士】

【氏名又は名称】原 裕子

(74)【代理人】

【識別番号】100195257

【弁理士】

【氏名又は名称】大渕 一志

(72)【発明者】

【氏名】ジャーメイン、 ジョン エス．

(72)【発明者】

【氏名】コリンスキー、 スーザン

(72)【発明者】

【氏名】マークス、 ドミニク

(72)【発明者】

【氏名】クーパースウェイト、 ジョン

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA07

5H181BB20

5H181CC03

5H181CC04

5H181CC11

5H181CC14

5H181FF27

5H181FF33

5H181LL01

5H181LL08

5H181LL09

(57)【要約】

車両カメラシステムを動作させる方法は、少なくとも１つのビデオカメラから第１の画像を受信するステップと、第１の画像において第１の物体を識別するステップと、車両構成要素と識別された物体との間の距離を決定するステップと、第１の画像内にヒューマンマシンインターフェース（ＨＭＩ）を組み込むことによって第１の画像を変更するステップとを含み、ヒューマンマシンインターフェースは、物体と車両構成要素との間の距離を伝達するように構成される表示部を含み、変更された画像を車両操作者に表示する。

【特許請求の範囲】

【請求項1】

車両カメラシステムを動作させる方法であって、
少なくとも１つのビデオカメラからの第１の画像を受信するステップと、
前記第１の画像において第１の物体を識別するステップと、
車両構成要素と識別された物体との間の距離を決定するステップと、
前記第１の画像内にヒューマンマシンインターフェース（ＨＭＩ）を組み込むことによって前記第１の画像を変更するステップであって、前記ヒューマンマシンインターフェースは、前記物体と前記車両構成要素との間の前記距離を伝達するように構成される表示部を含むステップと、
変更された画像を車両操作者に表示するステップと
を含む、方法。

【請求項2】

前記物体と前記車両構成要素との間の前記距離を決定するステップは、前記第１の画像の画像解析に少なくとも部分的に基づく、請求項１に記載の方法。

【請求項3】

前記物体と前記車両構成要素との間の前記距離を決定するステップは、物理センサ測定値に少なくとも部分的に基づく、請求項１に記載の方法。

【請求項4】

前記物理センサ測定値は、レーダセンサ測定値、ＬＩＤＡＲセンサ測定値、赤外線センサ測定値、飛行時間センサ及び超音波センサ測定値の少なくとも１つを含む、請求項３に記載の方法。

【請求項5】

前記物理センサ測定値は、レーダセンサ測定値及び超音波測定値を含む、請求項３に記載の方法。

【請求項6】

前記第１の画像内にヒューマンマシンインターフェース（ＨＭＩ）を組み込むことによって前記第１の画像を変更するステップ、及び変更されたミラー置換画像を前記車両操作者に表示するステップは、前記決定された距離が事前に定義された閾値距離を下回ることに応答して実行される、請求項１に記載の方法。

【請求項7】

前記閾値距離は、約３０ｍである、請求項６に記載の方法。

【請求項8】

前記閾値距離は、少なくとも１つの自動運転支援機能のための起動距離である、請求項６に記載の方法。

【請求項9】

前記車両構成要素は、エゴ部分である、請求項１に記載の方法。

【請求項10】

前記エゴ部分は、トレーラである、請求項９に記載の方法。

【請求項11】

前記ヒューマンマシンインターフェースは、数値インジケータ、多色オーバレイ、及び棒グラフの少なくとも１つを含む、請求項１に記載の方法。

【請求項12】

前記ヒューマンマシンインターフェースは、前記数値インジケータ、前記多色オーバレイ、及び前記棒グラフの少なくとも２つの組み合わせを含む、請求項１１に記載の方法。

【請求項13】

前記ヒューマンマシンインターフェースは、表示された画像において検出された物体を識別する物体インジケータを含む、請求項１１に記載の方法。

【請求項14】

前記第１の画像を生成するステップは、異なる車両カメラから発生する複数の画像を組み合わせることによってミラー置換画像を生成することを含む、請求項１に記載の方法。

【請求項15】

前記第１の画像の上に少なくとも１つの距離ラインをオーバレイするステップをさらに含み、
前記少なくとも１つの距離ラインは、前記ヒューマンマシンインターフェースに表示される前記距離を使用して、事前に定義された距離で較正される、請求項１に記載の方法。

【請求項16】

少なくとも１つの車外向きカメラと、
前記少なくとも１つの車外向きカメラの出力に接続される入力を含むコントローラと、
前記コントローラに接続される車内向きディスプレイと
を備え、
前記コントローラは、前記コントローラによって受信された第１の画像において第１の物体を識別すること、車両構成要素と識別された物体との間の距離を決定すること、前記第１の画像内にヒューマンマシンインターフェース（ＨＭＩ）を組み込むことによって前記第１の画像を変更すること、及び変更された画像を前記ディスプレイに出力することを前記コントローラに行わせるように構成される命令を記憶するメモリを含み、
前記ヒューマンマシンインターフェースは、前記物体と前記車両構成要素との間の前記距離を伝達するように構成される表示部を含む、車両システム。

【請求項17】

前記コントローラは、近接センサに接続されており、前記近接センサは、前記近接センサと検出された物体との間の距離を決定するように構成される、請求項１６に記載の車両システム。

【請求項18】

前記近接センサは、レーダセンサ、ＬＩＤＡＲセンサ、赤外線センサ、飛行時間センサ及び超音波センサの少なくとも１つを含む、請求項１７に記載の車両システム。

【請求項19】

前記近接センサは、レーダセンサ及び超音波センサを含む、請求項１８に記載の車両システム。

【請求項20】

前記コントローラは、少なくとも部分的に画像に基づく物体検出モジュールを含む、請求項１６に記載の車両システム。

【請求項21】

前記少なくとも部分的に画像に基づく物体検出モジュールは、補助的なセンサに基づく物体検出機能を含む、請求項２０に記載の車両システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般的に、商用車両システムに関連し、より具体的には、距離情報を表示するためのヒューマンマシンインターフェースに関連する。

【0002】

（関連出願への相互参照）
本出願は、２０２０年６月１９日に出願された米国特許出願第６３／０４１１７６号への優先権を主張する。

【背景技術】

【0003】

トラクタトレーラ等の商用車両は、運転者が車両をドックエリアに移動させる操作、リバース操作、物体の追い越し、及びその他の同様の車両操作を支援する運転支援システムを含んでいる。既存の車両システムには、商用車両が物体の閾値距離内にある場合に警告を提供するために、近接センサ及び他の類似のシステムが組み込まれている。例えば、警告は、物体が閾値距離内にある場合に、繰り返し聞こえるビープ音又は点滅する光を含む場合がある。

【0004】

近接性に基づく警告システムは、提供できる警告の種類が制限されており、物体が閾値距離内にあるかどうかのバイナリ検出よりも詳細な情報を効果的に伝えることはできない。

【発明の概要】

【0005】

車両カメラシステムを動作させるための例示的な方法は、少なくとも１つのビデオカメラを使用して第１の画像を生成するステップと、前記第１の画像において第１の物体を識別するステップと、車両構成要素と識別された物体との間の距離を決定するステップと、前記第１の画像内にヒューマンマシンインターフェース（ＨＭＩ）を組み込むことによって前記第１の画像を変更するステップであって、前記ヒューマンマシンインターフェースは、前記物体と前記車両構成要素との間の前記距離を伝達するように構成される表示部を含むステップと、変更された画像を車両操作者に表示するステップとを含む。

【0006】

上記の車両カメラシステムを動作させるための方法の別の例では、前記物体と前記車両構成要素との間の前記距離を決定するステップは、前記第１の画像の画像解析に少なくとも部分的に基づく。

【0007】

上記の車両カメラシステムを動作させるための方法のいずれかの別の例では、前記物体と前記車両構成要素との間の前記距離を決定するステップは、物理センサ測定値に少なくとも部分的に基づく。

【0008】

上記の車両カメラシステムを動作させるための方法のいずれかの別の例では、前記物理センサ測定値は、レーダセンサ測定値、ＬＩＤＡＲセンサ測定値、赤外線センサ測定値、飛行時間センサ及び超音波センサ測定値の少なくとも１つを含む。

【0009】

上記の車両カメラシステムを動作させるための方法のいずれかの別の例では、前記物理センサ測定値は、レーダセンサ測定値及び超音波測定値を含む。

【0010】

上記の車両カメラシステムを動作させるための方法のいずれかの別の例では、前記第１の画像内にヒューマンマシンインターフェース（ＨＭＩ）を組み込むことによって前記第１の画像を変更するステップ、及び変更されたミラー置換画像を前記車両操作者に表示するステップは、前記決定された距離が事前に定義された閾値距離を下回ることに応答して実行される。

【0011】

上記の車両カメラシステムを動作させるための方法のいずれかの別の例では、前記閾値距離は、約３０ｍである。

【0012】

上記の車両カメラシステムを動作させるための方法のいずれかの別の例では、前記閾値距離は、少なくとも１つの自動運転支援機能のための起動距離である。

【0013】

上記の車両カメラシステムを動作させるための方法のいずれかの別の例では、前記車両構成要素は、エゴ部分である。

【0014】

上記の車両カメラシステムを動作させるための方法のいずれかの別の例では、前記エゴ部分は、トレーラである。

【0015】

上記の車両カメラシステムを動作させるための方法のいずれかの別の例では、前記ヒューマンマシンインターフェースは、数値インジケータ、多色オーバレイ、及び棒グラフの少なくとも１つを含む。

【0016】

上記の車両カメラシステムを動作させるための方法のいずれかの別の例では、前記ヒューマンマシンインターフェースは、前記数値インジケータ、前記多色オーバレイ、及び前記棒グラフの少なくとも２つの組み合わせを含む。

【0017】

上記の車両カメラシステムを動作させるための方法のいずれかの別の例では、前記ヒューマンマシンインターフェースは、表示された画像において検出された物体を識別する物体インジケータを含む。

【0018】

上記の車両カメラシステムを動作させるための方法のいずれかの別の例では、前記第１の画像を生成するステップは、異なる車両カメラから発生する複数の画像を組み合わせることによってミラー置換画像を生成することを含む。

【0019】

上記の車両カメラシステムを動作させるための方法のいずれかの別の例では、前記第１の画像の上に少なくとも１つの距離ラインをオーバレイするステップをさらに含み、前記少なくとも１つの距離ラインは、前記ヒューマンマシンインターフェースに表示される前記距離を使用して、事前に定義された距離で較正される。

【0020】

１つの例示的な実施形態において、車両システムは、少なくとも１つの車外向きカメラと、前記少なくとも１つの車外向きカメラの出力に接続される入力を含むコントローラと、前記コントローラに接続される車内向きディスプレイとを含み、前記コントローラは、前記コントローラによって受信された第１の画像において第１の物体を識別すること、車両構成要素と識別された物体との間の距離を決定すること、前記第１の画像内にヒューマンマシンインターフェース（ＨＭＩ）を組み込むことによって前記第１の画像を変更すること、及び変更された画像を前記ディスプレイに出力することを前記コントローラに行わせるように構成される命令を記憶するメモリを含み、前記ヒューマンマシンインターフェースは、前記物体と前記車両構成要素との間の前記距離を伝達するように構成される表示部を含む。

【0021】

上記の車両システムの別の例では、前記コントローラは、近接センサに接続されており、前記近接センサは、前記近接センサと検出された物体との間の距離を決定するように構成される。

【0022】

上記の車両システムのいずれかの別の例では、前記近接センサは、レーダセンサ、ＬＩＤＡＲセンサ、赤外線センサ、飛行時間センサ及び超音波センサの少なくとも１つを含む。

【0023】

上記の車両システムのいずれかの別の例では、前記近接センサは、レーダセンサ及び超音波センサを含む。

【0024】

上記の車両システムのいずれかの別の例では、前記コントローラは、少なくとも部分的に画像に基づく物体検出モジュールを含む。

【0025】

上記の車両システムのいずれかの別の例では、前記少なくとも部分的に画像に基づく物体検出モジュールは、補助的なセンサに基づく物体検出機能を含む。

【図面の簡単な説明】

【0026】

【図1】例示的な商用車両の高レベル概略図を示している。

【0027】

【図2】商用車両のカメラ置換及び／又は補助システムの概略図を示している。

【0028】

【図3】図１及び図２の商用車両の例示的なディスプレイの概略図を示している。

【0029】

【図4】代替ヒューマンマシンインターフェースオーバレイを含む図３の例示的なディスプレイの概略図を示している。

【0030】

【図5】カメラ置換及び／又は補助システムを操作して、ヒューマンマシンインターフェースを含む画像を生成する方法を示している。

【0031】

【図6】代替ヒューマンマシンインターフェースオーバーレイを含む図３の表示例の概略図を示している。

【発明を実施するための形態】

【0032】

商用トラック１０の概略図を図１に示す。トラック１０は、トレーラ１４を牽引する車両運転室１２を含む。例示的なトレーラ１４は、運転室１２に対して独立して移動することが可能なエゴ部分である。運転者及び助手席側カメラハウジング１６は、車両運転室１２に取り付けられる。いくつかの例では、カメラハウジング１６は、それらと一体化した従来のミラーも含んでもよい。第１及び第２のディスプレイ１８は、車両運転室１２内の運転者側及び助手席側のそれぞれに配置されており、車両１０の各側にクラスＩＩ及びクラスＩＶのビューを表示する。追加のクラスのディスプレイを含め、表示されているよりも少ない又はより多くのディスプレイが使用されてもよく、ディスプレイは図示されているものとは異なる位置に配置されてもよい。別の例では、追加のカメラ１１及びカメラ１３を使用して、画像を組み合わせてサラウンドビュー画像を形成する際にステッチが利用され得る。図示されたカメラ位置は単なる例示であり、実際の実装は、所与のシステムで必要とされる可能性がある特定のビュータイプの複数の追加のカメラを含み得る。

【0033】

図２には、一例のカメラミラーシステム２０が非常に概略的な態様で示されている。一例では、カメラハウジング１６内に後向きの第１及び第２のカメラ２２、２４が配置されている。第１及び第２のカメラ２２、２４は、例えば、クラスＩＶ及びクラスＩＩビューに対応する第１及び第２の視野２２ ＦＯＶ１、ＦＯＶ２を提供する。第１及び第２の視野ＦＯＶ１、ＦＯＶ２は、互いに重なり、オーバーラップ領域２５を提供する。しかしながら、カメラは図示されたものとは異なる場所に配置されてもよく、提供される視野は完全に他のクラス又は他のビューに関連し得ることを理解するべきである。

【0034】

ＥＣＵ又はコントローラ２６は、第１及び第２のカメラ２２、２４と通信している。レーダセンサ３８、ＬＩＤＡＲセンサ４０、赤外線センサ４２、飛行時間センサ、及び／又は超音波センサ４４等の様々なセンサ２８がコントローラ２６と通信してもよい。センサ２８及び／又は第１及び第２のカメラ２２、２４は、第１及び第２のカメラ２２、２４によってキャプチャされた画像内の物体を検出するために使用される。代替的に、又はセンサ２８に加えて、画像に基づく物体検出アルゴリズム２９がコントローラ２６に含まれ得る。画像に基づく物体検出アルゴリズム２９は、ルールに基づく検出アルゴリズム又はニューラルネットワークに基づくアルゴリズムであってもよく、カメラ２２、２４から提供された画像を解析して、（複数の）画像内の１つ以上の物体の存在を識別する。

【0035】

例えば、エゴモーションによる検出等、空間内の物体の位置を決定するためにニューラルネットワークと三次元幾何学モデルに依存するもの等、任意の数の適切な物体検出スキームが使用されてもよい。ニューラルネットワークを使用した物体検出の場合、第１のカメラ２２及び第２のカメラ２４は、物体を検出するために使用されるセンサの少なくとも１つを提供する。別の例では、任意の物体検出システムを使用して、画像平面内の物体を検出することができ、これには、ニューラルネットワーク解析等の画像に基づく検出だけでなく、レーダ、ＬＩＤＡＲ、センサ等の３Ｄ空間検出システムを使用して３Ｄ空間内の画像を検出することも含まれる。

【0036】

コントローラ２６は、ディスプレイ１８に映像信号を出力する。ディスプレイ１８は、車両運転室内で、車両操作者から見える位置に配置される。図２の例のような複数のカメラを備えた例では、映像信号は、第１及び第２のカメラ２２、２４からの画像の組み合わせであり、画像を組み合わせるためにステッチアルゴリズム３０が使用される。この例では、ディスプレイ１８の画面３２は、ステッチインターフェース３４（又はステッチングとも呼ばれる）で結合された第１及び第２のカメラ２２、２４からの少なくとも第１及び第２の調整された視野４６、４８からなる完全な視野３６を提供する。ステッチアルゴリズム３０は、任意の既知のステッチシステムを利用して、車両操作者に見える単一の画像を作成することができる。

【0037】

図１及び２を引き続き参照すると、図３は、図１及び２のディスプレイ１８等で使用され得るミラー置換ディスプレイ２００を示している。ディスプレイ２００は、商用車両のエゴ部分２１０の側面図の画像を示している。図２の例では１つの画像として示されているが、代替のミラー置換画像が、図２に関して上述したようなステッチされた画像で構成され得ることが理解される。実用的な実装におけるエゴ部分２１０は、車両から独立して移動することができる任意の取り付けられた構成要素を含んでもよいことが理解されるが、例示的なエゴ部分２１０は商業出荷トレーラである。また、画像２００には物体２２０も見えている。物体は車両構成要素２１０から距離２２２だけ離れている。

【0038】

図２に示すコントローラ２６は物体２２０を検出し、エゴ部分２１０と検出された物体２２０との間の距離２２２を決定する。いくつかの例では、距離はコントローラ２６を介した画像に基づく解析のみを使用して決定される。別の例では、レーダセンサ、ＬＩＤＡＲセンサ、赤外線センサ、又は超音波センサ等のセンサ２１２がエゴ部分２１０又は本体車両に配置される。このような例では、コントローラ２６はセンサ出力を受信し、センサの種類に対応する既知の距離決定法を使用して、物体２２０までの距離２２２を決定する。さらに別の例では、距離は、距離を決定する既知のシステムに従って、画像に基づく解析及びセンサに基づく解析の組み合わせによって決定され得る。また、コントローラ２６には、１つ以上の運転支援システム２７も組み込まれる。例として、運転支援システム２７は、ドック支援システム、トレーラリバース支援システム、又はその他の運転支援システムを含んでもよい。

【0039】

車両操作者が操縦を行うのをさらに支援するために、コントローラ２６は、車両操作者に表示される画像を変更して距離２２０を識別するヒューマンマシンインターフェースを含むように構成されるヒューマンマシンインターフェース（ＨＭＩ）モジュール２５を含む。図３の表示例２００は、物体２２０と車両構成要素２１０との間にラインを重ね合わせることによって、ヒューマンマシンインターフェースを実装している。ラインのすぐ隣には、物体２２０と車両構成要素２１０との間の決定された距離を定義する数値インジケータがある。距離２２２の矢印は、車両構成要素２１０と物体２２０がどれだけ近いかを示す色分けをさらに含んでもよく、矢印は安全な距離を示す緑色から危険な距離を示す赤色に変わる。

【0040】

引き続き図３を参照しながら、図４は代替ヒューマンマシンインターフェース２３０を含むディスプレイ２００を示している。代替ヒューマンマシンインターフェース２３０は、物体２２０の上にオーバレイされた色勾配、物体への近さを示す棒グラフ２３４、及び距離を示す数値インジケータ２３６を利用する。それぞれの例は、物体２２０と車両構成要素２１０との間の近似距離の指示を提供する。ここで使用される「近似」とは、距離決定２２０の精度を指す。

【0041】

引き続き図３及び図４を参照しながら、図６は別の代替ヒューマンマシンインターフェース５３０（ＨＭＩ５３０）を示している。ヒューマンマシンインターフェース５３０は、トレーラ２１０の後部と検出された物体２２０との間の数値距離及び数値距離の単位を示す数値距離インジケータ５１０を含む。数値インジケータ５１０の下には、下方及び外側に拡大する距離インジケータ５２０が配置されており、距離インジケータ５１０が下方及び外側にさらに遠くに拡大することは車両２１０が検出された物体２２０に近いことに対応している。距離インジケータ５１０は、複数の区分５２２，５２４，５２６に分離されている。区分は、個別の色として表示される（例えば、第１の区分５２２は緑であり、第２の区分５２４はオレンジであり、第３の区分５２６は赤である）。代替の実施形態では、区分は、明、中、暗のシェーディングによるシェーディングによって区別することができる。さらに、代替の例では、同様のやり方で３つより多くの区分が含まれ得る。

【0042】

図６のヒューマンマシンインターフェース５３０には、距離ライン５０４も含まれている。距離ライン５０４は、画像の上に重ね合わされた静的ラインであり、各ライン５０４がトレーラ２１０の後部からの特定の較正された距離に対応している。較正ライン５０４は、距離インジケータ５２０の区分と重なり、距離インジケータ５２０の別々の領域５２２，５２４，５２６のそれぞれを定義する。

【0043】

距離ライン５０４の較正は、上記で定義された近接及び感知システムを使用する較正プロセスを介して決定される。距離ライン５０４を較正するために、車両操作者は、数値インジケータ５１０によって示されるように、地面と９０度の角度を有する検出された物体から車両が既定の距離（例えば、４０ｍ）離れるまで、車両を操縦する。所定の距離内に入ると、車両操作者は対応する距離ライン５０４を手動で設定する。較正ラインは、距離ラインが物体の底部に配置されるまで水平距離ライン５０４を手動で上下にシフトするために、ダイヤル、方向矢印ボタン、又はその他の従来の入力を使用して手動で設定され得る。次に、車両操作者は、次の事前に定義された距離に達するまで物体に向けて車両をリバースさせ、事前に定義された距離ごとに較正プロセスを反復する。

【0044】

いくつかの例では、距離ライン５０４は、本明細書に記載のヒューマンマシンインターフェースの一部として維持され得る。別の例では、距離ライン５０４は、個別の視覚システムによって生成されるか、又は制御されてもよく、ヒューマンマシンインターフェースシステムは、距離ライン５０４の較正を実行するために使用される。

【0045】

引き続き図１から図４を参照しながら、図５は、コントローラ２６によって実行されるプロセス３００の例を概略的に示しており、これによってヒューマンマシンインターフェース２３０を含む画像２００が作成される。ミラー置換システムの文脈内で記載されているが、このプロセスは、ミラーを置換する代わりにミラーを補完する画像、又は任意のミラーシステムから独立したビューを含む任意の車両システムによって利用され得ることが理解される。

【0046】

最初に、コントローラ２６は、１つ以上のカメラ２２、２４から映像フィードを受信し、画像生成ステップ３１０においてディスプレイ映像フィードに対する画像を生成する。複数の画像が一緒にステッチされる例では、ステッチは、既知のステッチ又は組み合わせプロセスに従ってコントローラ２６によって実行される。

【0047】

一旦生成されると、生成された画像２００に対して物体検出プロセスが実行され、画像２００内の任意の物体２２０が「画像内の（複数の）物体を識別する」ステップ３２０において識別される。この例では単一の物体として示されているが、当業者であれば、単一の画像内で複数の物体がコントローラ２６によって識別され得ることを理解するであろう。

【0048】

一旦（複数の）物体が識別されると、コントローラ２６は、「距離を決定する」ステップ３３０において、物体２２０と車両構成要素２１０との間の距離を決定する。画像に基づく解析又は部分的に画像に基づく解析を使用するシステムでは、（複数の）物体の存在を識別することに加えて、ＥＣＵは車両構成要素２１０のエッジ２１４を決定し、車両構成要素２１０のエッジ２１４から物体２２０までの距離を決定する。レーダ、ＬＩＤＡＲ、赤外線、又は超音波センサを使用するシステムでは、距離はセンサを介して決定され、距離データはコントローラ２６に提供される。ある特定の例では、長距離レーダセンサ及び短距離超音波センサの組み合わせが利用される。この例では、長距離レーダセンサはフィートのスケールの精度を提供し（０．３メートル）、超音波センサはインチのスケールの近距離精度を提供する（２５．４ミリメートル）。動作中、長距離レーダセンサは、検出された物体が超音波センサの範囲内にあり、システムが超音波レーダシステム測定値に切り替わるまで利用される。

【0049】

距離が決定されると、「画像を変更する」ステップ３４０において、画像は、画像上にヒューマンマシンインターフェース２３０をオーバレイすることによって変更されて、新しい画像が作成される。ヒューマンマシンインターフェースは、車両構成要素２１０と物体２２０との間の距離を識別する特定の情報を含む。特定の距離は、色勾配、棒グラフ、ライン距離、及び数値インジケータの任意の組み合わせによって伝達され得る。例として、特定の情報は一例において数値のカウントダウン表示部を使用して伝達され、カウントダウンは車両構成要素２１０と物体との間の距離を示す。別の例では、特定の情報は色付きのオーバレイを使用して伝達され、各色は特定の距離を示す（例えば、緑は５メートルを示し、黄色は３メートルを示し、赤は１メートルを示す）。さらに別の例では、特定の情報は、拡大／縮小する幾何学的形状のシェーディング領域を使用して伝達され、画面上の幾何学的形状のサイズは直接的に距離に対応する。さらに別の例では、これらの例と並行して、又はこれらの例から独立して、特定の距離を伝達するための他のシステムが利用され得る。その後、変更された画像は、「変更された画像を表示する」ステップ３５０において車両操作者に表示される。

【0050】

図１から図５の全てを参照すると、いくつかの例では、ヒューマンマシンインターフェースの継続的な動作が望ましくない場合があることが理解される。このような場合、コントローラ２６は、トリガ条件が満たされるまで、ヒューマンマシンインターフェースのオーバレイを省略するように構成される。いくつかの例では、トリガ条件は、コントローラ２６に組み込まれた１つ以上の運転支援システムの起動であり得る。他の例では、トリガ条件は、車両から既定の距離内にある物体の検出であり得る。一例では、既定の距離は３０メートルである。さらに別の例では、トリガ条件は、車両が運転支援モードに入ること、及び既定の距離内の物体を検出することの組み合わせであり得る。

【0051】

図１から図６に示されている上述のシステムは、車両操作者に提供される画像に直接統合されたヒューマンマシンインターフェースを提供し、車両と検出された物体との間の距離の特定の識別を含んでおり、それによって、運転者の視界に直接存在しない物体を過ぎるように進む又はそれに関与する操作において、より信頼性が高くかつ正確な支援を操作者に提供する。さらに、ヒューマンマシンインターフェースがミラー置換システムに直接統合されているシステムでは、情報は単一の場所で単一の画像として運転者に提示されるため、明確さと使いやすさが向上する。

【0052】

上記の概念のいずれかを単独で、又は上記の他の概念のいずれか若しくは全てと組み合わせて使用され得ることがさらに理解される。本発明の一実施形態が開示されているが、当技術分野の通常の技術を有する当業者であれば、特定の変更が本発明の範囲内に入ることを認識するであろう。そのため、本発明の真の範囲及び内容を決定するために、以下の請求項が検討されるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【手続補正書】

【提出日】2023-02-20

【手続補正1】

【補正対象書類名】図面

【補正対象項目名】図６

【補正方法】追加

【補正の内容】

【図6】

【国際調査報告】