特表 2024-513233 オフセットカメラビューを含む車両ディスプレイ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-03-22

(54)【発明の名称】オフセットカメラビューを含む車両ディスプレイ

(51)【国際特許分類】

   B60R 1/27 20220101AFI20240314BHJP

   B60R 1/26 20220101ALI20240314BHJP

   B60R 1/25 20220101ALI20240314BHJP

   B60R 1/28 20220101ALI20240314BHJP

【ＦＩ】

B60R1/27

B60R1/26

B60R1/25

B60R1/28 200

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023561283

(86)(22)【出願日】2022-04-06

(85)【翻訳文提出日】2023-12-01

(86)【国際出願番号】 US2022023593

(87)【国際公開番号】W WO2022216775

(87)【国際公開日】2022-10-13

(31)【優先権主張番号】63/171,815

(32)【優先日】2021-04-07

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】506139288

【氏名又は名称】ストーンリッジ インコーポレイテッド

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100111235

【弁理士】

【氏名又は名称】原 裕子

(74)【代理人】

【識別番号】100195257

【弁理士】

【氏名又は名称】大渕 一志

(72)【発明者】

【氏名】コローディ、 ブラッド

(72)【発明者】

【氏名】クープライダー、 トロイ オティス

(72)【発明者】

【氏名】マ、 リャン

(72)【発明者】

【氏名】ムルティー、 バヌプラカシュ

(57)【要約】

自動車用のミラー置換システムは、車両の周囲に配置される複数のカメラを含む。車両コントローラは、各カメラに接続され、複数のカメラからの画像フィードに少なくとも部分的に基づいて少なくとも１つの外挿画像を生成するように構成される外挿アルゴリズムを含む。外挿画像は、車両からオフセットされた仮想カメラ位置の観点からのものである。ディスプレイは、外挿画像を車両オペレータに表示するように構成される。

【特許請求の範囲】

【請求項1】

車両の周囲に配置される複数のカメラと、
複数のカメラにおける各カメラに接続された車両コントローラであって、前記車両コントローラは、前記複数のカメラからの画像フィードに少なくとも部分的に基づいて少なくとも１つの外挿画像を生成するように構成される外挿アルゴリズムを含み、前記外挿画像は、前記車両からオフセットされた仮想カメラ位置の観点からのものである、車両コントローラと、
前記外挿画像を車両オペレータに表示するように構成されるディスプレイと
を備える、自動車用のミラー置換システム。

【請求項2】

前記車両の周囲に配置される複数のセンサをさらに備え、各センサが前記車両コントローラに通信可能に結合されている、請求項１に記載のミラー置換システム。

【請求項3】

前記複数のカメラは、クラスＩＩビュー、クラスＩＶビュー、クラスＶビュー、クラスＶＩビュー及びクラスＶＩＩＩビューの少なくとも１つを生成するように構成されるカメラを含む、請求項１に記載のミラー置換システム。

【請求項4】

前記仮想カメラ位置は、前記車両コントローラに記憶された複数の固定仮想カメラ位置のうちの１つである、請求項１に記載のミラー置換システム。

【請求項5】

表示された仮想カメラ位置は、前記車両コントローラによって検出された物体の位置に基づいて前記複数の固定仮想カメラ位置から選択される、請求項４に記載のミラー置換システム。

【請求項6】

表示された仮想カメラ位置は、前記仮想カメラ位置と前記車両コントローラによって検出された前記物体との間に遮蔽物を含み、前記遮蔽物は、少なくとも部分的に透明にレンダリングされる、請求項５に記載のミラー置換システム。

【請求項7】

前記仮想カメラ位置は、前記車両オペレータによって手動で調整可能である、請求項１に記載のミラー置換システム。

【請求項8】

前記仮想カメラ位置は、１軸で調整可能である、請求項６に記載のミラー置換システム。

【請求項9】

前記仮想カメラ位置は、２軸で調整可能である、請求項６に記載のミラー置換システム。

【請求項10】

前記仮想カメラ位置は、３軸で調整可能である、請求項６に記載のミラー置換システム。

【請求項11】

前記車両コントローラは、前記車両の外部のデータの少なくとも１つのソースに接続され、
前記少なくとも１つのソースからのデータは、前記外挿アルゴリズムによって使用される、請求項１に記載のミラー置換システム。

【請求項12】

前記データの少なくとも１つのソースは、ローカルセンサへの無線接続を含む、請求項１０に記載のミラー置換システム。

【請求項13】

前記データの少なくとも１つのソースは、長距離無線接続を介して前記車両コントローラに接続されるフリート管理システムを含む、請求項１０に記載のミラー置換システム。

【請求項14】

前記外挿画像は、映像画像である、請求項１に記載のミラー置換システム。

【請求項15】

前記少なくとも１つの外挿画像は、少なくとも２つの外挿画像を含む、請求項１に記載のミラー置換システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般に、ミラー置換又はミラー補完システムのための車両ディスプレイに関するものであり、より具体的には、車両ディスプレイ内に第三者のオフセットビューを含むシステムに関する。

【0002】

（関連出願への相互参照）
本出願は、２０２１年０４月０７日に出願された米国仮特許出願第６３／１７１８１５号への優先権を主張する。

【背景技術】

【0003】

商用輸送車両に存在するような車両システムは、多くの場合、車両オペレータのための補完的なビューを生成するために従来の車両ミラーと組み合わせて使用されるカメラフィードを含む。いくつかの場合には、車両カメラは、ミラー置換システムにおいて１つ以上のミラーを置換するように動作し得る。他の場合には、カメラは、従来のミラー配置によって利用できない可能性のあるビューを提供する（例えば、テールライト内の逆向きのカメラはリバースビューを提供する）。既存のシステムは、実際の物理カメラの固定位置によって生成される視座に制限されている。その結果、ディスプレイは、車両オペレータに伝えることができる情報が制限されている。

【発明の概要】

【0004】

１つの例示的な実施形態では、自動車用のミラー置換システムは、車両の周囲に配置される複数のカメラと、複数のカメラにおける各カメラに接続された車両コントローラであって、前記車両コントローラは、前記複数のカメラからの画像フィードに少なくとも部分的に基づいて少なくとも１つの外挿画像を生成するように構成される外挿アルゴリズムを含み、前記外挿画像は、前記車両からオフセットされた仮想カメラ位置の観点からのものである、車両コントローラと、前記外挿画像を車両オペレータに表示するように構成されるディスプレイとを含む。

【0005】

上記の自動車用のミラー置換システムの別の例は、前記車両の周囲に配置される複数のセンサをさらに含み、各センサが前記車両コントローラに通信可能に結合されている。

【0006】

上記の自動車用のミラー置換システムのいずれかの別の例では、前記複数のカメラは、クラスＩＩビュー、クラスＩＶビュー、クラスＶビュー、クラスＶＩビュー及びクラスＶＩＩＩビューの少なくとも１つを生成するように構成されるカメラを含む。

【0007】

上記の自動車用のミラー置換システムのいずれかの別の例では、前記仮想カメラ位置は、前記車両コントローラに記憶された複数の固定仮想カメラ位置のうちの１つである。

【0008】

上記の自動車用のミラー置換システムのいずれかの別の例では、表示された仮想カメラ位置は、前記車両コントローラによって検出された物体の位置に基づいて前記複数の固定仮想カメラ位置から選択される、

【0009】

上記の自動車用のミラー置換システムのいずれかの別の例では、表示された仮想カメラ位置は、前記仮想カメラ位置と前記車両コントローラによって検出された前記物体との間に遮蔽物を含み、前記遮蔽物は、少なくとも部分的に透明にレンダリングされる。

【0010】

上記の自動車用のミラー置換システムのいずれかの別の例では、前記仮想カメラ位置は、前記車両オペレータによって手動で調整可能である。

【0011】

上記の自動車用のミラー置換システムのいずれかの別の例では、前記仮想カメラ位置は、１軸で調整可能である。

【0012】

上記の自動車用のミラー置換システムのいずれかの別の例では、前記仮想カメラ位置は、２軸で調整可能である。

【0013】

上記の自動車用のミラー置換システムのいずれかの別の例では、前記仮想カメラ位置は、３軸で調整可能である。

【0014】

上記の自動車用のミラー置換システムのいずれかの別の例では、前記車両コントローラは、前記車両の外部のデータの少なくとも１つのソースに接続され、前記少なくとも１つのソースからのデータは、前記外挿アルゴリズムによって使用される。

【0015】

上記の自動車用のミラー置換システムのいずれかの別の例では、前記データの少なくとも１つのソースは、ローカルセンサへの無線接続を含む。

【0016】

上記の自動車用のミラー置換システムのいずれかの別の例では、前記データの少なくとも１つのソースは、長距離無線接続を介して前記車両コントローラに接続されたフリート管理システムを含む。

【0017】

上記の自動車用のミラー置換システムのいずれかの別の例では、前記外挿画像は、映像画像である。

【0018】

上記の自動車用のミラー置換システムのいずれかの別の例では、前記少なくとも１つの外挿画像は、少なくとも２つの外挿画像を含む。

【図面の簡単な説明】

【0019】

【図1】商用輸送車両のハイレベル概略図である。

【0020】

【図2】図１の商用輸送車両の例示的なディスプレイを示す。

【0021】

【図3】期待される動作環境に含まれる図１の商用輸送車両を概略的に示す。

【0022】

上述の段落の実施形態、例示及び代替物、請求項、又は以下の記載及び図面は、それらの様々な態様又はそれぞれの個別の特徴のいずれかを含めて、独立して、又は任意の組み合わせで採用されてもよい。１つの実施形態に関連して記述された特徴は、そのような特徴に互換性がない場合を除き、全ての実施形態に適用可能である。

【発明を実施するための形態】

【0023】

商用トラック１０の概略図を図１に示す。トラック１０は、トレーラ１４を牽引する車両運転室１２を含む。運転者及び助手席側カメラハウジング１６は、車両運転室１２に取り付けられる。必要に応じて、カメラハウジング１６は、それらと一体化した従来のミラーも含んでもよい。第１及び第２のディスプレイ１８は、車両運転室１２内の運転者側及び助手席側のそれぞれに配置されており、車両１０の各側にクラスＩＩ及びクラスＩＶのビューを表示する。追加のクラスのディスプレイを含め、表示されているよりも少ない又はより多くのディスプレイが使用されてもよく、ディスプレイは図示されているものとは異なる位置に配置されてもよい。代替例では、本明細書に記載されているオフセット仮想カメラは、追加のカメラ１１（クラスＶビューを提供する）及びカメラ１３（クラスＶＩビューを提供する）を使用してオフセット仮想カメラを形成するように画像を組み合わせることによって利用され得る。さらに別の例では、クラスＶＩＩＩビューを生成する追加のカメラがプロセスに含まれ得る。図示されたカメラ位置は単なる例示であり、実際の実装は、所与のシステムで必要とされる可能性がある特定のビュータイプの複数の追加のカメラを含み得る。

【0024】

図２には、一例のカメラミラーシステム２０が非常に概略的な態様で示されている。一例では、カメラハウジング１６内に後向きの第１のカメラ２２及び第２のカメラ２４が配置されている。第１のカメラ２２及び第２のカメラ２４は、例えば、クラスＩＶ及びクラスＩＩビューに対応する第１及び第２の視野２２ ＦＯＶ１、ＦＯＶ２を提供する。第１及び第２の視野ＦＯＶ１、ＦＯＶ２は、互いに重なり、オーバーラップ領域２５を提供する。しかしながら、カメラは図示されたものとは異なる場所に配置されてもよく、提供される視野は完全に他のクラス又は他のビューに関連し得ることを理解するべきである。物理カメラ２２、２４に加えて、車両コントローラ２６によって複数の仮想カメラ５０、５０’、５０’’が生成される。仮想カメラ５０、５０’、５０’’は、車両１２からオフセットされた視点から提示される外挿画像を使用し、この視点は物理カメラが配置されていない空間位置にある。いくつかの例では、仮想カメラ５０のオフセット位置は、カメラを配置することができない位置（例えば、走行中の車両の前方及び車両から斜めにオフセットした位置）である。いくつかの例では、仮想カメラ５０、５０’、５０’’の位置は、車両１２に対するプリセット位置であり、車両オペレータは、２軸に沿って仮想カメラ５０、５０’、５０’’の適度な調整を提供することができる。他の例では、仮想カメラ５０、５０’、５０’’の位置は、車両オペレータによって自由に制御されてもよく、２軸又は３軸でカメラの位置を調整することができる。

【0025】

ＥＣＵ又はコントローラ２６は、少なくとも第１のカメラ２２及び第２のカメラ２４と通信している。代替例では、所与のシステムの特定の構成に応じて、追加又は代替のカメラがＥＣＵ２６に接続され得る。例えば、追加のカメラがトレーラ１２上に、運転室１０上の代替位置に及び／又は運転室１２上の代替方向に配置されてもよい。レーダセンサ３８、ＬＩＤＡＲセンサ４０、赤外線センサ４２、及び／又は超音波センサ４４等の各種センサ２８がコントローラ２６と通信してもよい。さらに、図３に示されるシステム等のシステムでは、外部から車両への追加の画像ソース及び／又はセンサが、無線データ接続を介して車両に接続されたリモートシステムから提供され得る。このようなシステムでは、リモート画像ソースは、画像フィードだけでなく、車両への画像ソースの地理空間的位置及び方向も提供する。地理空間的位置は、世界における客観的位置（例えば、衛星測位システムによって決定される位置）又は車両１０に対する相対的位置であってもよく、情報は任意のシステムを介して車両に提供され得る。

【0026】

いくつかの例では、センサ２８及び／又は第１のカメラ２２及び第２のカメラ２４は、第１のカメラ２２及び第２のカメラ２４によってキャプチャされた画像内の物体、及び／又は車両が動作している環境内の物体を検出するために使用される。例えば、エゴモーションによる検出等、空間内の物体の位置を決定するためにニューラルネットワーク及び三次元幾何学モデルに依存するもの等、任意の数の適切な物体検出スキームが使用されてもよい。ニューラルネットワークを使用した物体検出の場合、第１のカメラ２２及び第２のカメラ２４は、物体を検出するために使用されるセンサの少なくとも１つを提供する。別の例では、任意の物体検出システムを使用して、画像平面内の物体を検出することができ、これには、ニューラルネットワーク解析等の画像に基づく検出だけでなく、レーダ、ＬＩＤＡＲ、センサ等の３Ｄ空間検出システムを使用して３Ｄ空間内の画像を検出することも含まれる。

【0027】

コントローラ２６は、仮想カメラビューを生成し、ディスプレイ１８に表示される映像信号を出力する。映像信号は、仮想カメラ５０、５０’、５０’’のいずれかの視点からの車両１２の外挿オフセットビューである。図示の例では、仮想カメラ５０は、車両からオフセットして車両１２の前方に配置されるカメラの観点からの車両１２の左側のサイドビューを提供する。仮想カメラ５０’は、仮想カメラ５０と同様に、車両１２の右側のサイドビューを提供し、仮想カメラ５０’は、車両からオフセットしたトレーラ１４のサイドビューを提供する。代替例では、仮想カメラ５０は、車両の後部からのオフセットのような代替の有用な位置に配置され得る。物体検出システムと組み合わせると、コントローラ２６は、検出された物体を含む視野、又は遮蔽物が透明にされた場合に検出された物体を含む視野を提供する特定の仮想カメラ５０の視座を決定することができる。特定の仮想カメラ５０の視座が識別されると、コントローラ２６は、仮想カメラ５０を自動的に車両オペレータに表示させることができ、それによって車両ディスプレイをさらに向上させることができる。

【0028】

いくつかの例では、仮想カメラ５０を使用して、遮蔽されたビュー画像を提供することができる。遮蔽されたビュー画像は、第２の特徴又は物体によって遮蔽されている特徴又は物体を含む仮想的な視座５０、５０’、５０’’からの画像である。このような例では、第２の特徴又は物体は、遮蔽された特徴又は物体が第２の特徴又は物体の背後にも見えるように透明にされる。

【0029】

仮想カメラ５０、５０’、５０’’は、外挿アルゴリズム３０に基づいて、第１のカメラ２２及び第２のカメラ２４（及び／又は他の適切なカメラ）からの画像の組み合わせを使用して生成される画像のための視座、又はカメラ位置を提供する。画像は、センサの読み取り値と複数の画像との組み合わせを利用して車両１２からオフセットされた単一の仮想カメラ位置を作成するので、一般に「外挿画像」と呼ばれる。この例では、ディスプレイ１８のスクリーン３２は、外挿アルゴリズムからの外挿画像を含む仮想ビュー３６を提供する。

【0030】

いくつかの例では、外挿アルゴリズム３０は、仮想カメラ５０の視野を外挿するために、画像ステッチ（物理カメラからの２つの重なり合う視野を組み合わせる）、画像傾斜、画像スキュー等の組み合わせを使用して画像を生成する。例えば、車両１２の前方及び左側の視座が所望される場合、外挿アルゴリズム３０は、画像ステッチ、傾斜、スキュー及び視差効果の組み合わせを使用して、オフセットされた仮想カメラ位置を生成する。一例では、仮想視野の外側にある画像領域は、仮想効果をさらに強化するために、削除されるか、又は空白で置き換えられる。別の例では、仮想視野は、遮蔽されたビュー又は部分的に遮蔽されたビューを有する物体の描写を含んでもよく、遮蔽物は透明又は部分的に透明にレンダリングされる。

【0031】

図１及び図２を引き続き参照しながら、図３は、仮想カメラ５０の視野５１を生成するために図１及び図２の外挿アルゴリズム３０によって使用され得る追加のセンサ及び画像ソースを含む例示的な動作環境２００を示す。例示的な動作環境は、荷物搬入口２１０を備えた倉庫構造２０２を含む商業用出荷場２０１である。商業用出荷場２０１は、対応するトレーラ２２２に接続するための未接続のトラクタ２２０のための連結場所も含む。倉庫及び荷物搬入口２１０に配置されている近接センサ２３０、２３２、並びに固定荷物搬入口カメラ２３４及びドローンに配置されているモバイルカメラ２３６を含む複数のセンサ２３１、２３２、２３４が、出荷場２０１全体に配置されている。

【0032】

車両１２の背後には、従来のミラービュー及び従来のカメラミラーシステムビューから遮蔽された位置に配置される物体２６０がある。荷物搬入口２１０の存在及び運転室におけるミラーの位置により、物体２６０は、車両１２のリバース操縦中に車両オペレータには見えない。動作を改善するために、仮想カメラ５０は、車両１２及び荷物搬入口２１０の角を含む視野５１を提供する。仮想カメラ５０の画像を外挿する際には、車両１２及び荷物搬入口２１０の一部が透明にされ、仮想カメラ位置５０から物体２６０を見ることが可能になる。

【0033】

同様に、代替の仮想カメラ位置５０’は、物体２６０を部分的に遮蔽する車両１２を含む視野５１’を有する。車両１２の一部は、同様に透明化されて同じ効果を達成することができる。

【0034】

車両１２は、ブルートゥース（登録商標）接続、ＷｉＦｉ接続、又は他の同様の短距離無線接続等のアドホック接続を介して、又は全てのセンサデータを受信し、かつ各車両のＥＣＵ２６に画像フィードを含む要求されたデータを提供するように構成されるフリート管理システムを介して、動作環境内の各種センサのそれぞれに接続される。分散されたセンサ及びカメラを車両１２に接続することにより、システムは、仮想カメラのための追加の有用な視座を識別することが可能であると共に、追加の仮想的な視座を生成するための適切な外挿データを提供することもできる。いくつかの例では、仮想カメラ５０、５０’、５０’は、車両１２自体に配置されるカメラ及びセンサのみから生成されるが、他の例では、仮想的な視座は、動作環境から受信した追加データを利用することができる。

【0035】

図１～図３の全てを参照すると、いくつかの例では、ＥＣＵ２６は、事前定義された仮想カメラ５０を提供するように画像を外挿するための事前定義された方法と共に事前定義されたセットの仮想カメラ５０を含む。事前定義された仮想カメラ５０は、車両１２に対する固定位置に外挿する。事前定義された仮想カメラ５０を含むことにより、システムは、外挿画像を容易かつ迅速に定義する既知の外挿アルゴリズムを含んでもよい。代替的な例では、ＥＣＵ２６は、仮想カメラ位置のより詳細な手動制御を提供するために、車両オペレータが１軸又は２軸に沿って位置を調整できる入力を含んでもよい。さらなる代替的な例では、オペレータは、利用可能なデータ及び画像フィードの境界内の全ての三軸上で仮想カメラ５０の位置をシフトする能力を提供され得る。オペレータによって位置決めされると、ＥＣＵ２６は、オペレータが位置を調整するまで仮想カメラ位置を維持する。

【0036】

いくつかの追加的な例では、ＥＣＵ２６は、指定運転者のための特定の仮想カメラ位置５０を記録又は設定してもよく、指定運転者が車両オペレータである場合、仮想カメラ位置５０の対応するビューを自動的に表示し得る。

【0037】

他の例では、ＥＣＵ２６は、車両１２の特定の動作状態に対応する１つ以上の仮想カメラ５０の視座を含んでもよい。例えば、ＥＣＵ２６は、リバース、車両の右折、車両の左折、又は任意の他の動作状態の間に、車両の動作に関連する複数の視座を含んでもよい。車両が動作状態に入ると、コントローラ２６は、対応するプリセット仮想カメラ５０の（複数の）視座を表示させる。

【0038】

上記の概念のいずれかを単独で、又は上記の他の概念のいずれか若しくは全てと組み合わせて使用され得ることがさらに理解される。本発明の一実施形態が開示されているが、当技術分野の通常の技術を有する当業者であれば、特定の変更が本発明の範囲内に入ることを認識するであろう。そのため、本発明の真の範囲及び内容を決定するために、以下の請求項が検討されるべきである。

【図1】

【図2】

【図3】

【国際調査報告】