特開 2022-113660 複合画像を生成および表示するための車両と方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022113660

(43)【公開日】2022-08-04

(54)【発明の名称】複合画像を生成および表示するための車両と方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20220728BHJP

   G06F 3/048 20220101ALI20220728BHJP

   G08G 1/09 20060101ALI20220728BHJP

   G08G 1/16 20060101ALI20220728BHJP

【ＦＩ】

H04N7/18 J

G06F3/048

H04N7/18 V

G08G1/09 F

G08G1/16 A

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2022007874

(22)【出願日】2022-01-21

(31)【優先権主張番号】17/155,774

(32)【優先日】2021-01-22

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】507342261

【氏名又は名称】トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(74)【代理人】

【識別番号】100120499

【弁理士】

【氏名又は名称】平山 淳

(72)【発明者】

【氏名】中川 真志

(57)【要約】

【課題】車両と方法の提供。
【解決手段】複合画像を生成および表示するための車両と方法が提供される。方法は、車両の外部の第１画像取り込み構成要素からの第１画像と、車両の外部の第２画像取り込み構成要素からの第２画像を受信することと、車両の第１透視図と関連付けられている第１画像と、車両の第２透視図と関連付けられている第２画像を使用して複合画像を生成することと、複合画像を車両のディスプレイ上に出力することを含んでいる。方法はまた、第１画像取り込み構成要素と第２画像取り込み構成要素の少なくとも１つを選択することと、選択された画像取り込み構成要素からの１つ以上の画像を、選択を受信することに応答して、車両のディスプレイ上に出力することを含んでいる。
【選択図】図３

【特許請求の範囲】

【請求項1】

車両であって、
プロセッサを備え、前記プロセッサは、
前記車両の外部の第１画像取り込み構成要素からの第１画像と、前記車両の外部の第２画像取り込み構成要素からの第２画像を受信し、
前記車両の第１透視図を示している前記第１画像と、前記車両の第２透視図を示している前記第２画像を使用して複合画像を生成し、
前記複合画像を前記車両のディスプレイ上に出力する、
ように構成されていることを特徴とする車両。

【請求項2】

前記プロセッサは、
リアルタイムで前記複合画像を前記車両の前記ディスプレイ上に出力する、
ように構成されていることを特徴とする請求項１の車両。

【請求項3】

前記プロセッサは更に、
前記車両に対する前記第１画像取り込み構成要素の第１位置と、前記車両に対する前記第２画像取り込み構成要素の第２位置を識別する、
ように構成されていることを特徴とする請求項１の車両。

【請求項4】

前記プロセッサは更に、
前記第１画像取り込み構成要素と前記第２画像取り込み構成要素の１つの選択を受信し、
前記選択された画像取り込み構成要素からの画像を、前記選択を受信したことに応答して、前記車両の前記ディスプレイ上に出力する、
ように構成されていることを特徴とする請求項１の車両。

【請求項5】

前記第１位置は、前記車両の最高部よりも高い高さ値と関連付けられていることを特徴とする請求項３の車両。

【請求項6】

前記第１画像取り込み構成要素と前記第２画像取り込み構成要素はカメラであることを特徴とする請求項１の車両。

【請求項7】

前記複合画像は、前記車両の最高部よりも高い垂直方向の位置と関連付けられている、前記車両の空中からの透視図と関連付けられていることを特徴とする請求項１の車両。

【請求項8】

前記垂直方向の位置は、前記車両の前記最高部の真上であることを特徴とする請求項７の車両。

【請求項9】

前記プロセッサは前記複合画像を、
前記第１画像における前記第１透視図と、前記第２画像における前記第２透視図を比較し、
前記第１透視図が前記第２透視図から閾値だけ変動していると決定することに応答して、前記第１画像と前記第２画像を組み合わせることにより生成することを特徴とする請求項１の車両。

【請求項10】

前記プロセッサは更に、
モバイル装置からの、前記車両の自由な角度からの視野に対応する第３画像を受信し、
前記第３画像を、前記第１画像と前記第２画像の前記組み合わせと組み合わせるように構成されていることを特徴とする請求項９の車両。

【請求項11】

車両のプロセッサにより実現される方法であって、
前記車両の外部の第１画像取り込み構成要素からの第１画像と、前記車両の外部の第２画像取り込み構成要素からの第２画像を受信することと、
前記車両の第１透視図を示している前記第１画像と、前記車両の第２透視図を示している前記第２画像を使用して複合画像を生成することと、
前記複合画像を前記車両のディスプレイ上に出力することと、
を備えていることを特徴とする方法。

【請求項12】

前記複合画像の前記ディスプレイ上への前記出力はリアルタイムであることを特徴とする請求項１１の方法。

【請求項13】

前記車両に対する前記第１画像取り込み構成要素の第１位置と、前記車両に対する前記第２画像取り込み構成要素の第２位置を識別することを更に備えていることを特徴とする請求項１１の方法。

【請求項14】

前記第１位置は、前記車両の最高部よりも高い高さと関連付けられていることを特徴とする請求項１３の方法。

【請求項15】

前記第１画像取り込み構成要素と前記第２画像取り込み構成要素はカメラであることを特徴とする請求項１１の方法。

【請求項16】

前記複合画像は、前記車両の最高部よりも高い、前記車両の前記最高部の真上である垂直方向の位置と関連付けられている前記車両の空中から見た透視図と関連付けられていることを特徴とする請求項１１の方法。

【請求項17】

前記複合画像を生成することは、
前記第１画像における前記第１透視図と、前記第２画像における前記第２透視図を比較することと、
前記第１透視図が前記第２透視図から閾値だけ変動していると決定することに応答して、前記第１画像と前記第２画像を組み合わせることを含んでいることを特徴とする請求項１１の方法。

【請求項18】

モバイル装置から、前記車両の自由な角度からの視野に対応する第３画像を受信することと、
前記第３画像を、前記第１画像と前記第２画像の前記組み合わせと組み合わせることを更に備えていることを特徴とする請求項１７の方法。

【請求項19】

システムであって、
車両の外部の第１画像取り込み構成要素と、前記車両の外部の第２画像取り込み構成要素を備え、
前記車両はプロセッサを含んでおり、前記プロセッサは、
前記第１画像取り込み構成要素からの第１画像と、前記第２画像取り込み構成要素からの第２画像を受信し、
前記車両の第１透視図を示している前記第１画像と、前記車両の第２透視図を示している前記第２画像を使用して複合画像を生成し、
前記複合画像を前記車両のディスプレイ上に出力する、
ように構成されていることを特徴とするシステム。

【請求項20】

前記複合画像は、前記車両の最高部よりも高い垂直方向の位置と関連付けられている前記車両の空中から見た透視図と関連付けられていることを特徴とする請求項１９のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

ここにおいて記述される実施形態は、全体的には、複合画像を生成して車両のディスプレイ上に出力することに関し、より具体的には、外部の画像取り込み構成要素から受信した、車両の種々の透視図を示している画像を組み合わせることにより複合画像を生成および出力することに関する。

【背景技術】

【0002】

車両の従来の車両システムは、これらの車両の一部として設置され、これらの車両を取り囲む領域の画像を取り込むために利用される１つ以上の画像取り込み構成要素を含むことができる。そして取り込まれた画像は、これらの車両のそれぞれのディスプレイ上に出力できる。しかし、従来の車両には、あるタイプの複合画像を生成および表示するために、これらの車両の外部の画像取り込み装置の機能を活用する機能が欠けている。

【0003】

従って、あるタイプの複合画像を生成および表示するために、外部の画像取り込み装置の機能と能力を効果的に活用する車両システムに対する必要性が存在する。

【発明の概要】

【0004】

１つの実施形態においては、複合画像を生成および表示するように構成されている車両が提供される。車両は、車両の外部の第１画像取り込み構成要素からの第１画像と、車両の外部の第２画像取り込み構成要素からの第２画像を受信し、車両の第１透視図を示している第１画像と、車両の第２透視図を示している第２画像を使用して複合画像を生成し、複合画像を車両のディスプレイ上に出力するように構成されているプロセッサを含んでいる。

【0005】

他の実施形態においては、複合画像を生成および表示するための方法が提供される。方法は、車両の外部の第１画像取り込み構成要素からの第１画像と、車両の外部の第２画像取り込み構成要素からの第２画像を受信することと、車両の第１透視図を示している第１画像と、車両の第２透視図を示している第２画像を使用して複合画像を生成することと、複合画像を車両のディスプレイ上に出力することを含んでいる。

【0006】

更に他の実施形態においては、複合画像を生成および表示するためのシステムが提供される。システムは、車両の外部の第１画像取り込み構成要素と、車両の外部の第２画像取り込み構成要素と、プロセッサを含んでいる。プロセッサは、第１画像取り込み構成要素からの第１画像と、第２画像取り込み構成要素からの第２画像を受信し、車両の第１透視図を示している第１画像と、車両の第２透視図を示している第２画像を使用して複合画像を生成し、複合画像を車両のディスプレイ上に出力するように構成されている。

【0007】

ここにおいて記述されている実施形態により提供されるこれらの、および追加的特徴は、図面と連携して下記の詳細な記述を考慮することにより、より完全に理解されるであろう

【0008】

図面において記述されている実施形態は本質的に例であり、請求項により定義される主題を制限することは意図されていない。例としての実施形態の下記の詳細な記述は、下記の図面と連携して読むことにより理解でき、下記の図面においては、類似の構造体は類似の参照番号により示されている。

【図面の簡単な説明】

【0009】

【図1】ここにおいて記述および例示されている１つ以上の実施形態に係る、本開示において記述されているような、複合画像を生成および出力するための複合画像生成システムの例としての動作環境を模式的に示している。

【図2】ここにおいて示されている１つ以上の実施形態に係る複合画像生成システムの非制限的な構成要素を模式的に示している。

【図3】ここにおいて記述および例示されている１つ以上の実施形態に係る、複合画像を生成して車両のディスプレイ上に出力するためのフローチャートを示している。

【図4】ここにおいて記述および例示されている１つ以上の実施形態に係る、本開示の複合画像生成システムの例としての動作を模式的に示している。

【図5】ここにおいて記述および例示されている１つ以上の実施形態に係る、本開示の複合画像生成システムの他の例としての動作を示している。

【図6】ここにおいて記述および例示されている１つ以上の実施形態に係る、プロセッサにより生成できる複合画像の例を示している。

【図7】ここにおいて記述および例示されている１つ以上の実施形態に係る、モバイル装置の使用を含む、本開示の複合画像生成システムの他の例としての動作を示している。

【発明を実施するための形態】

【0010】

ここにおいて開示されている実施形態は、複合画像を生成して車両のディスプレイ上に出力するための方法とシステムを記述している。例えば、複合画像を生成および出力するためのシステムは、車両の外部の種々の画像取り込み構成要素からの画像を受信し、受信した画像を使用して複合画像を生成し、その複合画像を車両のディスプレイ上に出力するように構成されている車両の一部として含まれている複合画像生成システムを含むことができる。実施形態においては、複合画像の生成および出力はリアルタイムで起こり得る。

【0011】

従来のシステムとは異なり、本開示において記述されているような車両システムは、あるタイプの画像、つまり、車両の鳥瞰透視図を示している画像を生成および表示するために、車両が外部の画像取り込み装置の機能を利用することを可能にする。実施形態においては、そのような透視図は、車両の近くの１つ以上のブラインドスポット（見えない、または見にくい箇所、盲点）の正確且つ効果的な決定を可能にし、それにより、車両事故の回避を助長する。

【0012】

ここで図を参照すると、図１は、ここにおいて記述および例示されている１つ以上の実施形態に係る、本開示において記述されているような、複合画像を生成および出力するための複合画像生成システムの例としての動作環境を模式的に示している。

【0013】

具体的には、図１は、通信ネットワーク１０６を介して車両１００と通信するように構成できる画像取り込み構成要素１０２、１０４、１０８の近くの道路の側部に駐車できる車両１００を示している。具体的には、実施形態においては、画像取り込み構成要素１０２、１０４、１０８は、種々の角度、位置、向きなどからの車両１００の１つ以上の画像を取り込み、これらの画像を、リアルタイムで車両１００の車両システム２００（図２において示されている）に送信できる。図１において示されているように、これらの画像取り込み構成要素は、建物１０３、１０５に、および街灯の一部として設置できる。車両１００の車両システム２００は、画像の内容を解析し、これらの画像間の変動を決定し、複合画像を生成するために、受信した画像の１つ以上を選択的に組み合わせることができる。例えば、実施形態においては、車両システム２００は、車両１００の特別な画像が取り込まれた角度、画像を取り込むことができた距離を決定し、このデータを１つ以上の閾値と比較できる。その後、画像と関連付けられている角度が、他の画像と関連付けられている他の角度の閾値未満の場合、車両システムはこれらの２つの画像を組み合わせなくてもよい。

【0014】

代替的に、画像と関連付けられている角度が、他の画像の他の角度の閾値を超えている場合、車両システム２００は、これらの画像間には十分な変動があると決定できる。従って、車両システム２００は、複合画像を生成するためにこれらの画像を組み合わせることができる。それぞれが車両１００の異なる透視図を示している複数の画像の角度は比較することができる。この比較に基づいて、複数の画像を組み合わせることができる。実施形態においては、複合画像は、車両１００の鳥瞰図、例えば、本開示の図６において示されているような、車両１００の最高部からある距離上方からの車両１００の透視図を含んでいる画像であることができる。そのような画像は、車両１００における、および車両１００の周囲の如何なるブラインドスポットも識別されるように、車両１００にある距離で近接している領域、つまり、車両１００のある半径内の領域における１つ以上の対象物に車両の運転手がアクセスして見ることを可能にする。このようにして、車両１００と他の車両との間の衝突の可能性は回避できる。例えば、車両１００の所有者が道路の側部の駐車していた場所から道路に運転して出る状況において、所有者は、車両１００の１つ以上のブラインドスポットに隣接し、そしてそこを走行している車両により良好に気付くであろう。

【0015】

実施形態においては、複合画像をリアルタイムで車両１００のディスプレイ上に出力できる。追加的に、外部の画像取り込み構成要素から受信した各画像を、例えば、車両システム２００が接続を確立した特別な外部の画像取り込み構成要素を車両のユーザが選択することに基づいて、車両１００のディスプレイ上に出力できる。このようにして、車両システム２００は、特別な画像取り込み構成要素からの画像にアクセスし、それらの画像を車両１００のディスプレイ上に出力できるように、車両１００の動作をユーザが較正することを可能にできる。

【0016】

図２は、ここにおいて示されている１つ以上の実施形態に係る、車両システム２００の一部としての複合画像生成システムの非制限的な構成要素を模式的に示している。特に、車両システム２００は図２においては孤立して示されているが、車両システム２００は車両内に含むことができる。例えば、車両システム２００は車両１００内に含むことができる。車両１００は、自動車、または、例えば、地上、水上（水中）、および／または空中車両などのような、任意の他の乗車用車両、または無人車両であってよい。幾つかの実施形態においては、これらの車両は、限られた人間の入力で、または人間の入力なしで、その車両が位置している環境を航行する自律車両であってよい。

【0017】

車両システム２００はプロセッサ２０２を含んでいる。プロセッサ２０２は、機械読み取り可能および実行可能命令を実行できる任意の装置であってよい。従って、プロセッサ２０２は、コントローラ、集積回路、マイクロチップ、コンピュータ、または、任意の他の演算処理装置であってよい。プロセッサ２０２は、システムの種々のモジュール間の信号相互接続性を提供する通信経路２０４に結合されている。従って、通信経路２０４は、任意の数のプロセッサ（例えば、プロセッサ２０２と同等の）を互いに通信可能に結合でき、通信経路２０４に結合されているモジュールが、分散型演算処理環境において動作することを可能にできる。具体的には、モジュールのそれぞれは、データを送り、および／または受信できるノードとして動作できる。ここにおいて使用されているように、「通信可能に結合される」という用語は、結合された構成要素が、例えば、導体媒体を介しての電気信号、空中を介しての電磁信号、光導波管を介しての光信号などのようなデータ信号をお互いに交換できるということを意味している。

【0018】

従って、通信経路２０４は、例えば、導体ワイヤ、導体トレース、光導波管などのような、信号を送信できる任意の媒体から形成できる。幾つかの実施形態においては、通信経路２０４は、ＷｉＦｉ、ブルートゥース（登録商標）、近距離無線通信（ＮＦＣ）などのような、無線信号の送信を助長できる。更に、通信経路２０４は、信号を送信できる媒体の組み合わせから形成できる。１つの実施形態においては、通信経路２０４は、プロセッサ、メモリ、センサ、入力装置、出力装置、および通信装置などのような構成要素への電気データ信号の送信を可能にするために協働する導体トレース、導体ワイヤ、コネクタ、およびバスの組み合わせを備えている。従って、通信経路２０４は、例えば、ＬＩＮバス、ＣＡＮバス、ＶＡＮバスなどのような車両バスを備えることができる。追加的に、「信号」という用語は、ＤＣ、ＡＣ、正弦波、三角波、矩形波、振動などのような、媒体を通して伝わることができる波形（例えば、電気的、光学的、磁気的、機械的、または電磁的）を意味しているということに言及しておく。

【0019】

車両システム２００はまた、通信経路２０４に結合されている１つ以上のメモリモジュール２０６を含んでいる。１つ以上のメモリモジュール２０６は、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ハードドライブ、または、機械読み取り可能および実行可能命令がプロセッサ２０２によりアクセスできるように、機械読み取り可能および実行可能命令を格納できる任意の装置を備えることができる。機械読み取り可能および実行可能命令は、例えば、プロセッサ２０２により直接実行できる機械言語、またはアセンブリ言語、オブジェクト指向プログラミング（ＯＯＰ）、スクリプト言語、マイクロコードなどのような、機械読み取り可能および実行可能命令にコンパイルまたはアセンブルでき、１つ以上のメモリモジュール２０６に格納できる、任意の世代（例えば、１ＧＬ、２ＧＬ、３ＧＬ、４ＧＬ、または５ＧＬ）の任意のプログラムミング言語で記述されているロジックまたはアルゴリズムを備えることができる。代替的に、機械読み取り可能および実行可能命令は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）構成、または特定用途向け集積回路（ＡＳＩＣ）、またはそれらの等価物の何れかを介して実現されるロジックなどのような、ハードウェア記述言語（ＨＤＬ）で記述できる。従って、ここにおいて記述されている方法は、予めプログラムされたハードウェア要素、または、ハードウェアとソフトウェア構成要素の組み合わせとして、任意の従来のコンピュータプログラミング言語において実現できる。幾つかの実施形態においては、１つ以上のメモリモジュール２０６は、１つ以上の車両構成要素、例えば、ブレーキ、エアバッグ、走行制御、電力ステアリング、バッテリ状態などに関連するステータスおよび動作状態情報に関連するデータを格納できる。

【0020】

車両システム２００は１つ以上のセンサ２０８を含むことができる。１つ以上のセンサ２０８のそれぞれは通信経路２０４に結合され、プロセッサ２０２に通信可能に結合されている。１つ以上のセンサ２０８は、車両の動きおよび車両の動きにおける変化を検出および測定するための１つ以上のモーションセンサを含むことができる。モーションセンサは慣性測定ユニットを含むことができる。１つ以上のモーションセンサのそれぞれは、１つ以上の加速度計と１つ以上のジャイロスコープを含むことができる。１つ以上のモーションセンサのそれぞれは、車両の感知された物理的動きを、車両の向き、回転、速度、または加速度を示す信号に変換する。

【0021】

更に図２を参照すると、車両システム２００は、通信経路２０４が衛星アンテナ２１０を、車両システム２００の他のモジュールに通信可能に結合するように通信経路２０４に結合されている衛星アンテナ２１０を随意的に含んでいる。衛星アンテナ２１０は、全地球測位システム衛星からの信号を受信するように構成されている。具体的には、１つの実施形態においては、衛星アンテナ２１０は、全地球測位システム衛星により送信された電磁信号と相互作用する１つ以上の導体要素を含んでいる。受信した信号はプロセッサ２０２により、衛星アンテナ２１０の位置（例えば、緯度と経度）、または、衛星アンテナ２１０の近くに位置している対象物を示すデータ信号に変換される。

【0022】

車両システム２００は、例えば、通信ネットワーク１０６を介して、車両システム２００をサーバ１１２に通信可能に結合するためのネットワークインタフェースハードウェア２１２を含むことができる。ネットワークインタフェースハードウェア２１２は、通信経路２０４がネットワークインタフェースハードウェア２１２を、車両システム２００の他のモジュールに通信可能に結合するように通信経路２０４に結合されている。ネットワークインタフェースハードウェア２１２は、無線ネットワークを介してデータを送信および／または受信できる任意の装置であってよい。従って、ネットワークインタフェースハードウェア２１２は、任意の無線通信規格に従ってデータを送る、および／または、受信するための通信トランシーバを含むことができる。例えば、ネットワークインタフェースハードウェア２１２は、例えば、ワイヤレスフィデリティ（Ｗｉ－Ｆｉ）、ＷｉＭａｘ、ブルートゥース（登録商標）、ＩｒＤＡ、Ｗｉｒeｌｅｓｓ ＵＳＢ、Ｚ－Ｗａｖｅ、ＺｉｇＢｅｅ（登録商標）などのような無線コンピュータネットワークを介して通信するためのチップセット（例えば、アンテナ、プロセッサ、機械読み取り可能命令など）を含むことができる。幾つかの実施形態においては、ネットワークインタフェースハードウェア２１２は、車両システム２００がブルートゥース（登録商標）通信を介してサーバ１１２と情報を交換することを可能にするブルートゥース（登録商標）トランシーバを含んでいる。

【0023】

ネットワークインタフェースハードウェア２１２は、車両の車両システム２００と、車両の外部の１つ以上の画像取り込み構成要素との間の接続を確立するために種々の通信プロトコルを利用できる。例えば実施形態においては、ネットワークインタフェースハードウェア２１２は、車両と種々の他の装置との間の通信、例えば、車車間／路車間通信（Ｖ２Ｘ）を可能にする通信プロトコルを利用できる。追加的に、他の実施形態においては、ネットワークインタフェースハードウェア２１２は、専用狭域通信（ＤＳＲＣ）のための通信プロトコルを利用できる。他の同等な通信プロトコルとの互換性もまた考えられる。

【0024】

通信プロトコルは、例えば、アプリケーション層、プレゼンテーション層、セッション層、トランスポート層、ネットワーク層、データリンク層、および物理層の複数の層を有しているとして通信プロトコルを定義するＯＳＩモデル（Ｏｐｅｎ Ｓｙｓｔｅｍｓ Ｉｎｔｅｒｃｏｎｎｅｃｔｉｏｎ Ｍｏｄeｌ）により定義されるような複数の層を含んでいるということに言及しておく。正しく機能するために、各通信プロトコルは、上層プロトコルと、１つ以上の底層プロトコルを含んでいる。上層プロトコル（例えば、アプリケーション層プロトコル）の例としては、ＨＴＴＰ、ＨＴＴＰ２（ＳＰＤＹ）、およびＨＴＴＰ３（ＱＵＩＣ）があり、それらは、一般的な形式におけるデータを送信および交換するために適切である。ＲＴＰとＲＴＣＰなどのようなアプリケーション層プロトコルは、例えば、電話とメッセージ通信などのような種々のリアルタイム通信に対して適切であることができる。追加的に、ＳＳＨとＳＦＴＰはセキュアメンテナンスに対して、ＭＱＴＴとＡＭＱＰは、ステータス通知とウェイクアップトリガに対して、そしてＭＰＥＧ－ＤＡＳＨ／ＨＬＳは、ユーザエンドシステムとのライブビデオストリーミングに対して適切であることができる。上記に列挙した種々のアプリケーション層プロトコルにより選択されるトランスポート層プロトコルの例としては、例えば、ＴＣＰ、ＱＵＩＣ／ＳＰＤＹ、ＳＣＴＰ、ＤＣＣＰ、ＵＤＰ、およびＲＵＤＰが含まれる。

【0025】

車両システム２００はカメラ２１４を含んでおり、カメラ２１４は、車両システム２００の種々の構成要素間の信号相互接続性を提供する。カメラの解像度は任意であってよい。幾つかの実施形態においては、鏡、魚眼レンズ、または、任意の他のタイプのレンズなどのような１つ以上の光学構成要素を、カメラに光学的に結合できる。実施形態においては、カメラは広角の特徴を有することができ、それにより１５０度から１８０度の円弧範囲内のデジタルコンテンツを取り込むことが可能となる。代替的に、カメラは狭角の特徴を有することができ、それにより狭い円弧範囲内、例えば、６０度から９０度の円弧範囲内のデジタルコンテンツを取り込むことが可能となる。実施形態においては、１台以上のカメラは、７２０画素解像度、１，０８０画素解像度などのような高精細画像を取り込むことができる。代替的に、または追加的に、カメラは所定の時間期間の間に、連続リアルタイムビデオストリームを取り込む機能を有することができる。画像取り込み構成要素１０２と１０４は、カメラ２１４と同等の特徴と機能を有しているカメラであるということにも言及しておく。実施形態においては、画像取り込み構成要素１０２、１０４は、閉回路テレビジョン（ＣＣＴＶ）ネットワークの一部であるカメラであってよい。代替的に、これらのカメラのそれぞれは互いに独立していることができ、種々の車両に画像またはライブビデオストリームを送信できる。

【0026】

車両システム２００は、例えば、環境内の車両（または他の対象物）の画像、環境内の車両（または他の対象物）のライブビデオストリーム、マップ、ナビゲーション、エンタテイメント、または、それらの組み合わせなどのような視覚的出力を提供するためのディスプレイ２１６を含んでいる。ディスプレイ２１６は、車両（または他の対象物）の画像、車両のライブビデオストリーム、マップ、ナビゲーション、エンタテイメント、またはそれらの組み合わせ、マップ、ナビゲーション、およびエンタテイメントを出力できる。ディスプレイ２１６は通信経路２０４に結合されている。従って、通信経路２０４はディスプレイ２１６を、制限されることはないが、プロセッサ２０２および／または１つ以上のメモリモジュール２０６を含む車両システム２００の他のモジュールに通信可能に結合する。実施形態においては、ディスプレイ２１６は、１つ以上の外部装置から受信した、例えば、円錐形標識（工事中などに道路に置かれる標識）および／または車両などの環境状況と交通状況に関するデータを表示できる。

【0027】

図３は、ここにおいて記述および例示されている１つ以上の実施形態に係る、複合画像を生成して車両のディスプレイ上に出力するためのフローチャート３００を示している。

【0028】

実施形態においては、ブロック３１０において、画像取り込み構成要素１０２内に設置されている車両システム２００のプロセッサ２０２は、第１画像取り込み構成要素からの第１画像と、第２画像取り込み構成要素からの第２画像を受信できる。第１画像取り込み構成要素と第２画像取り込み構成要素の両者は車両の外部であってよい。画像取り込み構成要素は、アパートの建物内、道路の側部、車両１００と並んで走行している他の車両内などに設定できるということに言及しておく。外部構成要素の少なくとも１つは、車両１００の最高部（例えば、車両１００の屋根）よりも高い高さに位置させることができるということに言及しておく。実施形態においては、第１および第２画像を受信する前に、車両１００のプロセッサ２０２は、それぞれが車両１００の外部であってよい種々の画像取り込み構成要素との通信接続を確立できる。実施形態においては、通信接続は、例えば、ＴＣＰ／ＩＰ、ＵＤＰなどの１つ以上の通信プロトコルを使用する通信ネットワーク１０６を介して確立できる。ＴＣＰ／ＩＰは、車両の車両システム２００と、１つ以上の画像取り込み構成要素１０２、１０４、１０８との間のセキュアコネクションを車両１００が確立することを可能にできる。代替的に、ＵＤＰ通信プロトコルを介しての、セキュアコネクションの確立なしのデータ（例えば、画像）の送信と受信が考えられる。ＴＣＰ／ＩＰとＵＤＰと同等の他の通信プロトコルもまた考えられる。

【0029】

実施形態においては、ブロック３２０において、プロセッサ２０２は第１画像と第２画像を使用して複合画像を生成できる。実施形態においては、第１画像は車両１００の第１透視図を示すことができ、第２画像は車両１００の第２透視図を示すことができる。実施形態においては、第１透視図は、車両１００の運転手側を示している図に対応し、一方、第２透視図は、車両１００の助手席側を示している図に対応することができる。追加的に、他の外部の画像取り込み構成要素から、車両１００の前方と後方を示すことができる他の画像を受信できる。プロセッサ２０２は各受信された画像の内容を解析でき、車両１００の種々の透視図間の類似性と差を識別するために、各画像を他の画像の１つ以上と比較できる。実施形態においては、車両１００の画像に対応する透視図における変動が、特別な最小角度値に対応できるある閾値を超えている場合、プロセッサ２０２は画像を組み合わせことができる。しかし、車両１００の画像に対応する透視図における変動がある閾値未満の場合、プロセッサ２０２は画像を組み合わせなくてもよい。

【0030】

そして、ある最小角度値だけ互いに異なる画像の組み合わせは、複合画像を生成するために利用できる。実施形態においては、複合画像は、車両１００の最高部の真上の垂直方向の位置からの車両１００の画像と対応することができるように、車両１００の空から見た図に対応することができる。垂直方法の位置とは、車両の最高部の真上である。言い換えると、実施形態においては、複合画像は、車両１００の最高部からある距離だけ垂直方向に上からの車両１００の鳥瞰図を示すことができる。

【0031】

実施形態においては、ブロック３３０においてプロセッサ２０２は、生成された複合画像を車両１００のディスプレイ上に出力できる。実施形態においては、複合画像はリアルタイムでディスプレイ上に出力できる。追加的に、実施形態においては、プロセッサ２０２はまた、車両１００の外部の特別な画像取り込み構成要素により取り込まれた各個々の画像を表示するように構成できる。このようにして、車両１００の特別な透視図を示している各画像は、例えばユーザによる、各個々の画像および／または画像取り込み構成要素のユーザの選択に応答して、車両１００のディスプレイ上に出力できる。追加的に、プロセッサ２０２は、自動的且つユーザの介在なしで、各画像を他の画像の１つ以上と並べて表示するように構成できる。

【0032】

解析は、車両１００と関連付けられている輪郭、寸法、および他の特性を識別するための種々の画像の画像データの抽出を含むことができる。解析を実行するために、プロセッサ２０２は多様なデジタル画像認識技術を利用できる。多様な機械学習に基づく技術もまた考えられる。

【0033】

追加的に、記述されているように、複合画像は、車両１００における、および車両１００の周囲の如何なるブラインドスポットも識別されるように、車両１００にある距離で近接している領域、つまり、車両１００のある半径内の領域における１つ以上の対象物に車両の運転手がアクセスして見ることを可能にできる。このようにして、車両１００と他の車両との間の衝突の可能性は回避できる。例えば、車両１００の所有者が道路の側部の駐車していた場所から道路に運転して出る状況において、所有者は、車両１００の１つ以上のブラインドスポットに隣接し、そしてそこを走行している車両により良好に気付くであろう。そのため、所有者は衝突を回避できる。

【0034】

図４は、ここにおいて記述および例示されている１つ以上の実施形態に係る、本開示の複合画像生成システムの例としての動作を模式的に示している。具体的には、図４は、道路の側部に位置している構造物に搭載できる画像取り込み構成要素１０８に隣接している道路上に駐車している車両１００を示している。追加的に、画像取り込み構成要素１０２、１０４は、車両１００の最高部よりも高い高さに位置させることができる。例えば、図１と４において示されているように、画像取り込み構成要素１０２、１０４は、建物１０３と１０５の２階の窓に位置しているカメラであってよい。実施形態においては、画像取り込み構成要素１０２、１０４は、画像取り込み構成要素１０２、１０４が建物１０３、１０５から４５度下方向を向くことができるように、車両１００の最高部よりも高い高さに位置させることができる。画像取り込み構成要素の他の位置と向きもまた考えられる。

【0035】

実施形態においては、車両１００のプロセッサ２０２は、車両１００の外部の種々の画像取り込み構成要素のそれぞれの位置を識別する。例えば、プロセッサ２０２は、車両１００に対する第１画像取り込み構成要素（例えば、画像取り込み構成要素１０２）の第１位置と、車両１００に対する第２画像取り込み構成要素（例えば、画像取り込み構成要素１０４）の第２位置と、車両１００に対する第３画像取り込み構成要素（例えば、画像取り込み構成要素１０８）の第３位置を識別できる。追加的に、実施形態においては、画像取り込み構成要素の第１および第２位置は、車両１００の最高部よりも高い高さ値と関連付けることができる。

【0036】

実施形態においては、画像取り込み構成要素１０２（例えば、第１画像取り込み構成要素）は、建物１０３の２階からの、車両１００の運転手側と上部の部分の画像に対応することができる、車両１００の第１透視図を示している画像を取り込むことができる。例えば、画像取り込み構成要素１０２の視野（または視線）４０２は車両１００を含むことができ、つまり、車両１００の助手席側の部分、車両１００の上部の部分、および車両１００の後部の部分を含むことができる。１つ以上の画像を取り込むことができるということに言及しておく。代替的に、または追加的に、車両１００のライブビデオストリームを取り込むことができる。実施形態においては、これらの画像は、画像取り込み構成要素１０２の視野４０２内の車両１００に基づいて取り込むことができる。

【0037】

実施形態においては、第２画像取り込み構成要素（例えば、画像取り込み構成要素１０４）は、建物１０５の２階からの、車両１００の運転手側の部分、前部の部分、および上部の部分の画像に対応することができる、車両１００の第２透視図を示している画像（画像取り込み構成要素１０４の視野４００内）を取り込むことができる。１つ以上の画像を取り込むことができるということに言及しておく。代替的に、または追加的に、車両１００のライブビデオストリームを取り込むことができる。例えば、視野４０４は車両１００を含むことができる。幾つかの実施形態においては、追加的画像取り込み構成要素（例えば、画像取り込み構成要素１０８などのような第３画像取り込み構成要素）は、車両１００の運転手側の部分の画像に対応することができる、車両１００の第３透視図を示している第３透視画像を取り込むことができる。実施形態においては、画像取り込み構成要素１０８の視野４０４が、短い距離（例えば、５フィートから１０フィート）離れた所からの、および車両１００の高さと同じ高さからの車両１００の運転手側の領域を含むことができるように、画像取り込み構成要素１０８を車両１００に隣接する場所に位置させることができる。

【0038】

幾つかの実施形態においては、プロセッサ２０２は、第１画像と第２画像を組み合わせることにより複合画像を生成できる。具体的には、第１画像は車両１００の第１透視図（例えば、車両１００の助手席側、上部の部分、および後部の部分の画像）を示し、第２画像は車両１００の第２透視図（例えば、車両１００の運転手側、上部の部分、おおび前部の部分の画像）を示すので、これら２つの画像の組み合わせは、車両１００の最高部のある距離だけ上方の場所からの車両１００の異なる透視図を取り込んでいる複合画像という結果になり得る。言い換えると、複合画像は車両１００の鳥瞰図に類似している。生成が終了すると、プロセッサ２０２は生成された複合画像を車両１００のディスプレイ上に出力できる。実施形態においては、生成された複合画像はリアルタイムでディスプレイ２１６上に出力できる。複合画像が生成されてディスプレイ２１６上に表示される様子の詳細は図５において、より詳細に記述される。

【0039】

図５は、ここにおいて記述および例示されている１つ以上の実施形態に係る、本開示の複合画像生成システムの他の例としての動作を示している。図４と５の内容は、交換可能に検討されるということに言及しておく。

【0040】

例としての動作においては、第１、第２、および第３画像（例えば、第１、第２、および第３の例としての画像）を受信すると、プロセッサ２０２は各画像の内容を解析して、これらそれぞれの画像の内容を比較できる。例えば、例としての第１画像５０２は、車両１００の助手席側の部分、上部の部分、および後部の部分を含む画像であってよい、図４において記述された第１画像に対応することができる。追加的に、例としての第２および第３画像５０４と５０６は、車両１００の運転手側の部分、前部の部分、および上部の部分を含む画像と、短い距離（例えば、５フィートから１０フィート）離れた所から、および車両１００の高さと同じ高さから取り込まれた、車両１００の運転手側の部分の他の画像であってよい、図４において記述された第２および第３画像に対応することができる。例としての第３画像５０６は、第３画像が、車両１００の近くに位置している画像取り込み構成要素１０８から取り込まれたので、例としての第１および第２画像においては取り込むことができなかった車両１００の相当な詳細を取り込むことができる。例えば、例としての第３画像は、車両１００の種々の詳細、例えば、車両１００に関する輪郭、寸法、および種々の他の状態（例えば、車両１００のへこみ、仕上げ材料など）を取り込むことができる。

【0041】

実施形態においては、プロセッサ２０２は、例としての第１、第２、および第３画像のそれぞれの内容を解析して、これらの画像間の変動の程度を決定できる。例えばプロセッサ２０２は、例としての第２画像５０４に対する例としての第１画像５０２の角度を閾値と比較して、これらの角度が閾値を満たす、またはそれを超えているということを判決定できる。追加的に、プロセッサ２０２はまた、これらの画像を取り込んだ画像取り込み構成要素それぞれの向きと位置が閾値を満たす、またはそれを超えているということを決定できる。

【0042】

例えばプロセッサ２０２は、例としての第１画像５０２と例としての第２画像５０４は、車両１００の互いに反対側を示していると決定できる。そのためプロセッサ２０２は、これらの画像は、それぞれの場所の間の角度における差が９０度を超えるように位置している画像取り込み構成要素１０２、１０４から取り込まれた可能性が高いと決定できる。角度における差は、車両の画像に反映されるということに更に言及しておく。追加的に、幾つかの実施形態においては、閾値は９０度より小さい角度に設定できる。他の実施形態においては、閾値はまた、特別な画像取り込み構成要素が車両１００の画像を取り込んだ距離の結果であり得る、特別な画像の解像度における差を組み入れることができる。他のファクタもまた考えることができる。

【0043】

プロセッサ２０２が、任意の２つの画像の比較は、ある基準を満たさない、例えば、閾値を満たさない、または閾値を超えていないと決定すると、プロセッサ２０２はこれらの２つの画像を組み合わせなくてもよい。具体的には、実施形態においては、プロセッサ２０２は、任意の２つの画像が特別な閾値に特有な基準を満たさない場合、例えば、これらの画像と関連付けられている角度における変動が閾値未満、距離と角度変動が閾値未満の場合、これらの画像は、実質的に類似または同一の、車両１００の透視図を示している可能性があると決定できる。言い換えると、プロセッサ２０２は、この２つの取り込まれた画像は実質的に類似または同一の内容を含んでいると決定できる。例えば、これらの画像は両者とも、１つの画像は建物１０５の２階にある画像取り込み構成要素により取り込まれ、他の画像は建物１０５の３階から取り込まれた可能性があるなどのように、車両から３０フィート離れた所から取り込まれた車両１００の運転手側と前部の部分を含んでいる可能性がある。

【0044】

そのため、２つの画像の内容における差、つまり、２つの画像において示されている透視図における差は小さい。そしてプロセッサ２０２は、複合画像を生成することにおいてこれら両者の画像を組み合わせることは有益とはなり得ないと決定できる。対照的に、２つの画像が特別な閾値を満たす場合、例えば、これらの画像と関連付けられている角度における変動が閾値より大きい場合、これらの画像は、複合画像を生成するためにこれらの画像を組み合わせることを正当化する程度に十分に異なる車両１００の透視図を取り込むことができている。例えば、これらの画像は、車両から３０フィート離れた所から取り込まれた車両１００の運転手側と前部の部分と、車両から３０フィート離れた所から取り込まれた車両１００の助手席側と後部の部分を含むことができる。そのため、これらの画像は、互いに正反対の場所に位置している可能性が高く、それにより、互いに十分に異なる車両１００の透視図に対応する画像を取り込むことができる画像取り込み構成要素から取り込まれている。

【0045】

図５に戻ると、例としての第１画像５０２、第２画像５０４、および第３画像５０６の内容を解析すると、プロセッサ２０２は、例としての第１、第２、および第３画像５０２、５０４、５０６の間には十分な変動（例えば、これらの画像と関連付けられている角度における差、これらの画像が取り込まれた距離における差など）があると決定できる。これらの差に基づいて、例としての第１、第２、および第３画像５０２、５０４、５０６は、複合画像５０８を生成するために組み合わせることができる。その後、生成された複合画像５０８は、リアルタイムで車両システム２００のディスプレイ２１６上に出力できる。

【0046】

実施形態においては、１つ以上の外部の画像取り込み構成要素から車両システム２００により受信されたすべての画像は、ディスプレイ２１６の一部として個々に表示できるということに更に言及しておく。例えばユーザは、車両１００の内部に位置している１つ以上のボタンと相互作用でき、または、ディスプレイ２１６上に表示されている１つ以上のアイコンと相互作用でき、それに応じて、特別な外部の画像取り込み構成要素により取り込まれた特別な画像をディスプレイ２１６上に表示できる。実施形態においては、アイコンには「第１画像取り込み構成要素」、「第２画像取り込み構成要素」、「第３画像取り込み構成要素」などの標識を付けることができる。特別な画像取り込み構成要素に対応するアイコンの選択を受信すると、選択されたアイコンに対応する画像取り込み構成要素により取り込まれた１つ以上の画像を、車両１００のディスプレイ２１６に表示できる。実施形態においては、画像取り込み構成要素により取り込まれた画像をディスプレイ２１６上に同時に表示できる。画像をディスプレイ２１６上に表示することの複数の他の並べ替えと組み合わせもまた考えられる。

【0047】

図６は、ここにおいて記述および例示されている１つ以上の実施形態に係る、プロセッサにより生成できる複合画像の例を示している。具体的には、図６は、複数の画像取り込み構成要素からの画像を組み合わせている、プロセッサ２０２により生成できる例としての複合画像６０２を示している。これらの画像のそれぞれは、様々な透視図を示すことができる。図６において示されているように、車両１００の例としての空中から見た透視図が示されている。具体的には、この透視図は、車両１００の最高部よりも高い垂直方向の位置と関連付けられている。そのような垂直方向の位置は、車両１００の最高部の真上である。このようにして、車両１００の鳥瞰図を生成して、車両１００のディスプレイ２１６上に出力できる。そのような透視図は、車両の運転手が、車両１００における、および車両１００の周囲のブラインドスポットを迅速且つ効果的に識別することを可能にし、運転手が衝突を回避することを可能にする。

【0048】

図７は、ここにおいて記述および例示されている１つ以上の実施形態に係る、本開示の複合画像生成システムの他の例としての動作を示している。具体的には、図７は、図４において示されている例としての動作と類似している、複合画像生成システムの例としての動作を示している。しかし、図７において示されている例としての動作においては、図４とは対照的に、ユーザのモバイル装置７００の一部である画像取り込み構成要素を、自由な角度からの視野に基づく画像を取り込むために利用できる。具体的には、車両１００の自由な角度からの視野、または自由な角度からの透視図（例えば、自由な角度からの視野）を、固定的に位置されている画像取り込み構成要素がアクセスできない角度からの車両の画像を取り込むために、ユーザが自身で選択した任意の角度で自身のモバイル装置７００のカメラを向けることにより取り込むことができる。図７において示されている例としての動作における画像取り込み構成要素１０２と１０４の機能は、図４において示され、本開示において記述されている動作と同じであるということに言及しておく。

【0049】

実施形態においては、プロセッサ２０２は、モバイル装置７００の画像取り込み構成要素により取り込まれた１つ以上の画像を受信できる。例えば、ユーザは車両１００に接近してモバイル装置７００のカメラを、車両１００の運転手側の部分に、およびそれに沿って位置させる。実施形態においては、モバイル装置７００のユーザはライブビデオストリームを取り込むことができ、および、車両１００のトランクに近い領域から車両の前部のボンネットまで、車両１００の種々の位置に沿って歩くことができる。代替的に、ユーザは、車両１００のトランクから車両の前部のボンネットまで歩くときに、車両１００の複数の画像を取り込むことができる。代替的に、ユーザは、車両１００の上部の部分の上まで、例えば、車両１００の屋根の上まで手を伸ばすことができる。これらの画像は車両システム２００に送信できる。受信すると、受信された画像は通信経路２０４を経由してプロセッサ２０２に送ることができる。モバイル装置７００の視野７０２は、車両１００の画像を取り込むことができる自由な角度からの透視図を示している。追加的に、画像取り込み構成要素１０２、１０４は、上記で詳細に記述されているように、視野４０２、４００内にそれぞれ現れることができる、車両１００の追加的な画像を取り込むことができる。

【0050】

その後、これらの画像の内容は、上記の方法で、他の画像取り込み構成要素（例えば、画像取り込み構成要素１０２、１０４）から受信した１つ以上の画像の内容と比較でき、例えば、これらの画像の内容における変動を、内容を閾値と比較することに基づいて決定できる。具体的には、記述したように、閾値は、画像取り込み構成要素から受信した種々の画像と関連付けられている角度における変動に関連することができ、それは、車両１００に対する画像取り込み構成要素の位置決め、これらの画像が取り込まれた車両１００からの距離などに基づいている。この比較に基づいて、プロセッサ２０２は、複合画像、例えば、その例が図６において示されているような複合画像を生成するために、種々の画像を組み合わせることができる。

【0051】

ここにおいて記述されている実施形態は、複合画像を生成して車両のディスプレイ上に出力するための方法に関するということは理解されるべきである。方法は、車両の外部の第１画像取り込み構成要素からの第１画像と、車両の外部の第２画像取り込み構成要素からの第２画像を受信することと、車両の第１透視図を示している第１画像と、車両の第２透視図を示している第２画像を使用して複合画像を生成することと、複合画像を車両のディスプレイ上に出力することを含んでいる。

【0052】

ここにおいて使用されている用語は、特別な態様を記述する目的のみのためであり、制限的であることは意図されていない。ここにおいて使用されているように、単数形式の「１つの」と「その」は、内容が明確にそうでないことを示さない限り、「少なくとも１つの」を含む複数形式を含むことが意図されている。「または」は「および／または」を意味している。ここにおいて使用されているように、「および／または」という用語は、関連して一覧表示されている事項の１つ以上の任意の、およびすべての組み合わせを含んでいる。この明細書において使用されるときの「備える」および／または「備えている」または「含む」および／または「含んでいる」という用語は、記述された特徴、領域、完全体、ステップ、動作、要素、および／または構成要素の存在を特定しているが、１つ以上の他の特徴、領域、完全体、ステップ、動作、要素、構成要素、および／またはそれらのグループの存在または追加を除外するものではないということは更に理解されるであろう。「またはその組み合わせ」という用語は、前述の要素の少なくとも１つ含んでいる組み合せを意味している。

【0053】

「実質的に」と「ほぼ」という用語はここにおいては、任意の量的比較、値、測定、または他の表現に起因する可能性のある不確定性の固有の程度を表わすために利用できるということに言及しておく。これらの用語はまたここにおいては、本主題の基本的な機能における変化という結果になることなく、量的表現が、記述された基準から異なってもよい程度を表わすためにも利用できる。

【0054】

特別な実施形態がここにおいて例示され記述されてきたが、請求される主題の精神と範囲から逸脱することなく、種々の他の変更と修正ができるということは理解されるべきである。更に、請求される主題の種々の態様がここにおいて記述されてきたが、そのような態様は、組み合わせて利用する必要はない。従って、付随する請求項は、請求される主題の範囲内であるすべてのそのような変更と修正をカバーすることが意図されている。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【外国語明細書】