特表 2024-533967 車両サラウンドビューシステム及びその方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-09-18

(54)【発明の名称】車両サラウンドビューシステム及びその方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240910BHJP

   B60R 1/23 20220101ALI20240910BHJP

   G06T 19/00 20110101ALI20240910BHJP

   G09G 5/00 20060101ALI20240910BHJP

   G09G 5/37 20060101ALI20240910BHJP

【ＦＩ】

H04N7/18 J

B60R1/23

G06T19/00 A

G09G5/00 510A

G09G5/00 550C

G09G5/37 300

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024506689

(86)(22)【出願日】2022-07-29

(85)【翻訳文提出日】2024-02-29

(86)【国際出願番号】 EP2022071317

(87)【国際公開番号】W WO2023012051

(87)【国際公開日】2023-02-09

(31)【優先権主張番号】2111143.0

(32)【優先日】2021-08-03

(33)【優先権主張国・地域又は機関】GB

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＨＤＭＩ

２．ブルートゥース

(71)【出願人】

【識別番号】322007626

【氏名又は名称】コンチネンタル・オートナマス・モビリティ・ジャーマニー・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング

(74)【代理人】

【識別番号】100069556

【弁理士】

【氏名又は名称】江崎 光史

(74)【代理人】

【識別番号】100111486

【弁理士】

【氏名又は名称】鍛冶澤 實

(74)【代理人】

【識別番号】100191835

【弁理士】

【氏名又は名称】中村 真介

(74)【代理人】

【識別番号】100221981

【弁理士】

【氏名又は名称】石田 大成

(74)【代理人】

【識別番号】100191938

【弁理士】

【氏名又は名称】高原 昭典

(72)【発明者】

【氏名】フリーベ・マルクス

(72)【発明者】

【氏名】ゴター・チェタン

(72)【発明者】

【氏名】プラバカー・パヴァン・ナグ

(72)【発明者】

【氏名】ランジャン・アビシェーク

【テーマコード（参考）】

5B050

5C054

5C182

【Ｆターム（参考）】

5B050BA09

5B050DA07

5B050EA07

5B050EA13

5B050EA19

5B050FA05

5C054CA04

5C054CC02

5C054FD03

5C054FE17

5C054HA30

5C182AB25

5C182AB31

5C182AC43

5C182BA14

5C182BA29

5C182CC24

(57)【要約】

本開示は、車両内でサラウンドビューを表示するための方法及びシステムに関する。車両に搭載されたカメラから、第１の画像が第１の時間インスタンス（ｔ－１）にキャプチャされ、第２の画像が第２の時間インスタンス（ｔ）にキャプチャされる。第１の画像は、第２の画像とは異なる。第１及び第２の画像をキャプチャしている間に、車両に関連付けられた１つ以上のセンサから１つ以上の車両動作パラメータが受信される。更に、第１の画像、第２の画像、及び１つ以上の車両動作パラメータを使用して、補正画像が合成される。その後、補正画像が、車両の表示ユニット上に表示される。

【特許請求の範囲】

【請求項1】

車両内でサラウンドビューを表示する方法であって、
前記車両に搭載されたカメラ１０２ａから、第１の時間インスタンス（ｔ－１）にキャプチャされた第１の画像と、第２の時間インスタンス（ｔ）にキャプチャされた第２の画像とを受信することであって、前記第１の画像が前記第２の画像とは異なる、ことと、
前記車両に関連付けられた１つ以上のセンサから１つ以上の車両動作パラメータを受信することと、
前記第１の画像、前記第２の画像、及び前記１つ以上の車両動作パラメータを使用して、補正画像を合成することと、
前記補正画像を前記車両の表示ユニット１０４上に表示することと、
を含む、方法。

【請求項2】

前記第１の画像及び前記第２の画像が、放射状に歪んでいる、請求項１に記載の方法。

【請求項3】

前記第２の画像が、前記第１の画像がキャプチャされた位置から前記車両が移動した後にキャプチャされる、請求項１に記載の方法。

【請求項4】

前記１つ以上の車両動作パラメータが、前記車両の速度及び前記車両の操舵角のうちの少なくとも１つを含む、請求項１に記載の方法。

【請求項5】

前記補正画像を合成することが、
前記第１の画像において歪んでいないビュー５０１を有する第１のスライスを識別することであって、前記第１のスライスが、前記第２の画像において歪んでいるビュー５０２を有する第２のスライスに対応し、前記スライスを識別することが、前記１つ以上の車両動作パラメータに基づく、ことと、
前記補正画像において前記第１のスライスが前記第２のスライスを置換するように、前記補正画像を合成することと、
を含む、請求項１に記載の方法。

【請求項6】

前記補正画像が、前記車両のトップビュー７００、前記車両のフロントビュー７０４、前記車両のリアビュー（７０２）、前記車両のサイドビュー７０１、７０３、及びそれらの組み合わせからなるグループから選択されるビューを表すように処理され、前記車両の前記ビューが、前記表示ユニット１０４上に表示される、請求項１に記載の方法。

【請求項7】

車両内でサラウンドビュー７００を表示するためのシステム１０１であって、
メモリ２０２と、
プロセッサ２０３であって、
前記車両に搭載されたカメラ１０２ａから、第１の時間インスタンス（ｔ－１）にキャプチャされた第１の画像と、第２の時間インスタンス（ｔ）にキャプチャされた第２の画像とを受信し、前記第１の画像が前記第２の画像とは異なり、
前記車両に関連付けられた１つ以上のセンサから１つ以上の車両動作パラメータを受信し、
前記第１の画像、前記第２の画像、及び前記１つ以上の車両動作パラメータを使用して、補正画像を合成し、
前記補正画像を前記車両の表示ユニット１０４上に表示する、
ように構成された、プロセッサ２０３と、
を備える、システム１０１。

【請求項8】

前記プロセッサ２０３が、放射状の歪みを含む、第１の画像及び前記第２の画像を受信する、請求項７に記載のシステム１０１。

【請求項9】

前記プロセッサ２０３が、前記カメラ１０２ａが前記第１の画像がキャプチャされた位置から前記車両が移動した後に、前記第２の画像をキャプチャするように前記カメラ１０２ａを制御する、請求項７に記載のシステム１０１。

【請求項10】

１つ以上のセンサが、前記車両の速度及び前記車両の操舵角のうちの少なくとも１つを測定するように構成されている、請求項７に記載のシステム１０１。

【請求項11】

前記プロセッサ２０３が、
前記第１の画像において歪んでいないビュー５０１を有する第１のスライスを識別することであって、前記第１のスライスが、前記第２の画像において歪んでいるビュー５０２を有する第２のスライスに対応し、前記スライスを識別することが、前記１つ以上の車両動作パラメータに基づく、ことと、
前記補正画像において前記第１のスライスが前記第２のスライスを置換するように、前記補正画像を合成することと、
からなるステップを実行することによって、前記補正画像を合成する、請求項７に記載のシステム１０１。

【請求項12】

前記プロセッサ２０３が、前記車両のトップビュー７００、前記車両のフロントビュー７０４、前記車両のリアビュー７０２、前記車両のサイドビュー７０１、７０３、及びそれらの組み合わせからなるグループからのビューを表すように、前記補正画像を処理し、前記車両の前記ビューが、前記表示ユニット上に表示される、請求項７に記載のシステム１０１。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、概して、車載カメラシステムに関する。特に、排他的ではなく、本開示は、車両サラウンドビューを表示するためのシステム及び方法に関する。

【背景技術】

【0002】

現代の車両は、安全性を高めて運転体験を向上させるために、異なるタイプの支援を運転者に提供している。様々な運転者支援機能には、経路ナビゲーション、自律走行又は半自律走行、車両インフォテインメント機能、車両サラウンドビュー機能などが含まれる。車両のサラウンドビューシステムに言及すると、車両のサラウンドビューをキャプチャするために、車両上には様々なカメラが設置されている。サラウンドビューシステムは、３Ｄ視覚化を運転者に提供する。通常、３Ｄ視覚化は、カメラによってキャプチャされた異なる画像を使用して合成されたトップビューである。

【0003】

一般に、より大きな視野をカバーするために魚眼カメラが使用される。魚眼カメラは歪みを加えるため、キャプチャされた画像はディスプレイ画面にレンダリングする前に補正されるべき必要がある。しかしながら、魚眼カメラからキャプチャされた画像の外側領域は、放射状に歪んでおり、補正されてディスプレイ画面上に表示されると低画質になる。従って、魚眼カメラを使用してキャプチャされた画像から高画質の画像を生成する必要がある。

【0004】

本開示のこの背景技術のセクションに開示される情報は、本発明の一般的な背景の理解を高めるためのものにすぎず、この情報が、当業者に既に知られている従来技術を形成することの承認又は何らかの形式の示唆として解釈されるべきではない。

【発明の概要】

【課題を解決するための手段】

【0005】

更なる特徴及び利点は、本開示の技術を通じて実現される。本開示の他の実施形態及び態様は、本明細書で詳細に説明されており、特許請求される開示の一部とみなされる。

【0006】

一実施形態では、車両内でサラウンドビューを表示するための方法及びシステムが開示される。車両に搭載されたカメラから、第１の画像が第１の時間インスタンス（ｔ－１）にキャプチャされ、第２の画像が第２の時間インスタンス（ｔ）にキャプチャされる。第１の画像は第２の画像とは異なる。第１及び第２の画像をキャプチャしている間に、車両に関連付けられた１つ以上のセンサから１つ以上の車両動作パラメータが受信される。更に、第１の画像、第２の画像、及び１つ以上の車両動作パラメータを使用して、補正画像が合成される。その後、補正画像が、車両の表示ユニット上に表示される。

【0007】

一実施形態では、第１の画像及び第２の画像は、放射状に歪んでいる。第２の画像は、第１の画像がキャプチャされた位置から車両が移動した後にキャプチャされる。

【0008】

一実施形態では、１つ以上の車両動作パラメータは、車両の速度及び車両の操舵角のうちの少なくとも１つを含む。

【0009】

一実施形態では、補正画像は、第１の画像において歪んでいないビューを有する第１のスライスを識別することによって合成され、第１のスライスは、第２の画像において歪んでいるビューを有する第２のスライスに対応する。スライスは、１つ以上の車両動作パラメータに基づいて識別される。更に、補正画像は、補正画像において第１のスライスが第２のスライスを置換するように合成される。

【0010】

一実施形態では、補正画像は、車両のトップビュー、車両のフロントビュー、車両のサイドビュー、及びそれらの組み合わせからなるグループから選択されるビューを表すように処理される。その後、表示ユニット上に車両のビューが表示される。

【0011】

前述の概要は、単なる例示であり、決して限定することを意図していない。上記で説明した例示的な態様、実施形態、及び特徴に加えて、更なる態様、実施形態、及び特徴が、図面及び以下の詳細な説明を参照することによって明らかになり得る。

【0012】

本開示の新規な特徴及び特性は、添付の特許請求の範囲に規定されている。しかしながら、本開示自体、並びにその好ましい使用モード、更なる目的、及び利点は、添付の図面と併せて読むと、例示的な実施形態の以下の詳細な説明を参照することによって最良に理解され得る。本開示に組み込まれてその一部を構成する添付の図面は、例示的な実施形態を図示し、且つ説明と共に、開示する原理を説明するのに役立つ。図面では、参照番号の左端の数字は、その参照番号が最初に現れる図を識別している。ここで、１つ以上の実施形態が、例示のためにのみ、添付の図面を参照して説明されるが、同様の参照番号は同様の要素を表している。

【図面の簡単な説明】

【0013】

【図1】本開示のいくつかの実施形態による、サラウンドビューを表示するための車両の例示的なブロック図である。

【図2】本開示のいくつかの実施形態による、車両サラウンドビューを表示するためのシステムの詳細ブロック図である。

【図3】本開示のいくつかの実施形態による、車両サラウンドビューを表示するための方法ステップを示すフローチャートである。

【図4a】本開示のいくつかの実施形態による、車両の周囲のセンサ視野の例示的な図である。

【図4b】本開示のいくつかの実施形態による、車両の周囲のセンサ視野の例示的な図である。

【図5a】本開示のいくつかの実施形態による、魚眼カメラの例示的な時間的視覚化を示す図である。

【図5b】本開示のいくつかの実施形態による、魚眼カメラの例示的な時間的視覚化を示す図である。

【図6a】本開示の一実施形態による、放射状の歪みの補正画像の例示的な時間的視覚化を示す図である。

【図6b】本開示の一実施形態による、放射状の歪みの補正画像の例示的な時間的視覚化を示す図である。

【図7】本開示のいくつかの実施形態による、車両の例示的なトップサラウンドビューを示す図である。

【図8】本開示の実施形態による、車両サラウンドビューを表示するための汎用コンピュータシステムを示す図である。

【0014】

本明細書の任意のブロック図は、本主題の原理を具現化する例示的なシステムの概念図を表すことが当業者によって理解されるべきである。同様に、任意のフローチャート、フロー図、状態遷移図、擬似コードなどは、コンピュータ可読媒体において実質的に表され、そのようなコンピュータ又はプロセッサが明示的に示されているか否かに関わらず、コンピュータ又はプロセッサによって実行され得る、様々なプロセスを表すことが理解され得る。

【発明を実施するための形態】

【0015】

本明細書において、「例示的」という単語は、「例、事例又は例示としての役割を果たすこと」を意味するために本明細書で使用される。「例示的」として本明細書で説明する本主題の任意の実施形態又は実装形態は、必ずしも他の実施形態よりも好ましいか又は有利であると解釈されるべきではない。

【0016】

本開示は、様々な改良形態及び代替形態に対する余地があるが、それらの特定の実施形態は、図面において例として示し、以下で詳細に説明され得る。しかしながら、本開示を、開示される具体的な形態に限定することを意図してはおらず、逆に、本開示は、本開示の適用範囲内に入る全ての変更形態、均等物、及び代替形態を包含するものであることが理解されるべきである。

【0017】

「備える（ｃｏｍｐｒｉｓｅｓ）」、「含む（ｉｎｃｌｕｄｅｓ）」、「備えている（ｃｏｍｐｒｉｓｉｎｇ）」、「包んでいる（ｉｎｃｌｕｄｉｎｇ）」という用語、又はそれらの任意の他の変形は、コンポーネント又はステップのリストを含むセットアップ、デバイス、又は方法が、それらのコンポーネント又はステップのみを含むだけではなく、明示的に列挙されていないか、又はかかるセットアップ、若しくはデバイス、若しくは方法に固有ではない他のコンポーネント若しくはステップを含み得るように、非排他的な包含をカバーすることを意図している。換言すれば、「１つの～を備える」又は「１つの～を含む」によって進められるシステム又は装置における１つ以上の要素は、それより多くの制約なしに、システム又は方法における他の要素又は追加の要素の存在を排除しない。

【0018】

本開示の実施形態の以下の詳細な説明において、この一部を形成し、本開示が実施され得る特定の実施形態を例示として示す添付の図面を参照する。これらの実施形態は、当業者が本開示を実施することを可能にするために十分に詳細に説明し、他の実施形態が利用され得、本開示の適用範囲から逸脱することなく変更形態がなされ得ることを理解されたい。以下の説明は、従って、限定する意味で取るべきではない。

【0019】

図１は、表示ユニット上にサラウンドビューを表示するための車両のブロック図を示している。図１に示されるように、ブロック図は、システム１０１と、複数のカメラ１０２ａ、１０２ｂ、…１０２ｎと、電子制御ユニット１０３と、表示ユニット１０４と、を備える。複数のカメラ１０２ａ、１０２ｂ、…１０２ｎは、大きな視野をキャプチャすることができる魚眼カメラであり得る。例えば、４つのカメラ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄを車両上に設置して、車両の周囲の３６０度ビューを提供し得る。例示的な一実施形態では、複数のカメラ１０２ａ、１０２ｂ、…１０２ｎは、広いダイナミックレンジの解像度を有する相補型金属酸化膜半導体（ＣＭＯＳ）カメラであり得る。また、複数のカメラ１０２ａ、１０２ｂ、…１０２ｎは、少なくとも１８０度以上の高い視野を有し得る。例えば、魚眼カメラは、１９５度の視野を有し得る。

【0020】

一実施形態では、ＥＣＵ１０３は、１つ以上の車両動作パラメータを取得するように構成され得る。１つ以上の車両動作パラメータは、車両の速度及び車両の操舵角のうちの少なくとも１つを含み得る。いくつかの実施形態では、１つ以上の車両動作パラメータは、かかる技術分野において一般的に知られているセンサ（図１には開示されていない）を使用して、ＥＣＵ１０３によって取得され得る。例えば、車両の速度は、ホール効果センサを使用して取得され得、操舵角は、操舵角センサを使用して取得され得る。

【0021】

一実施形態では、ディスプレイユニット１０４は、インフォテインメントシステム（図１には示されていない）、車両のヘッドアップディスプレイ（ＨＵＤ）ユニット、モバイルデバイスのディスプレイ、又は車両に関連付けられた他のディスプレイの一部であり得る。表示ユニット１０４は、それ自体の処理ユニットと、オペレーティングシステムと、通信ポートと、を備え得る。表示ユニット１０４は、システム１０１によって提供される車両のサラウンドビューを表示するように構成される。いくつかの実施形態では、表示されるコンテンツは、車両の特定方向のビューであり得る。いくつかの実施形態では、表示されるコンテンツは、車両の３Ｄサラウンドビューであり得る。

【0022】

一実施形態では、システム１０１は、システムオンチップ（ＳｏＣ）であり得る。いくつかの実施形態では、システム１０１は、ＥＣＵ１０３の一部であり得るか、又はスタンドアロンシステムであり得る。システム１０１は、イーサネット又はコントローラエリアネットワーク（ＣＡＮ）又はＦｌｅｘＲａｙ又は低電圧差動信号規格を使用して、ＥＣＵ１０３、複数のカメラ１０２ａ、１０２ｂ、…１０２ｎ、及びディスプレイ１０４に接続され得る。

【0023】

システム１０１は、複数のカメラ１０２ａ、１０２ｂ、…１０２ｎから、カメラ１０２ａによってキャプチャされた第１の画像及び第２の画像を受信するように構成され得る。第１の画像及び第２の画像は、時間的に区別され得、すなわち、第１の画像は、第１の時間インスタンス（ｔ－１）にキャプチャされ得、第２の画像は、第１の時間インスタンス（ｔ）後の第２の時間インスタンス（ｔ）にキャプチャされ得る。いくつかの実施形態では、第１の画像及び第２の画像は、実質的に類似のオブジェクトを含み得る。カメラの時間的移動は車両動作に起因する場合があるため、第２の画像内のオブジェクトは、第１の画像内のオブジェクトとわずかに異なる場合がある。例えば、第１の画像は、車両が地点Ａにいたときにキャプチャされ、第２の画像は、車両が地点Ｂにいたときにキャプチャされ得る。従って、地点Ａから地点Ｂへの車両の移動に起因して、及び（ｔ－１）から（ｔ）までの時間経過に起因して、第１の画像内のオブジェクトと第２の画像内のオブジェクトとがわずかに異なる場合がある。一実施形態では、第１の画像及び第２の画像は、幾何学的に歪んでいる、例えば放射状に歪んでいる場合がある。幾何学的な歪みに起因して、第１の画像及び第２の画像の最外領域が、表示するには不明瞭である場合がある。また、歪みにより、画像内のオブジェクトを検出するための処理を複雑にする場合がある。例えば、車両では、駐車している間に、表示ユニット１０４上に表示しながら、車両の周囲の全てのオブジェクトを検出することが不可欠である。しかしながら、オブジェクトが正確に検出されないときの幾何学的な歪みに起因して、車両に深刻な損傷をもたらす可能性がある。システム１０１は、幾何学的な歪みを補償するために、１つ以上の車両動作パラメータと共に第１の画像及び第２の画像を利用する。

【0024】

一実施形態では、システム１０１は、ＥＣＵ１０３から１つ以上の車両動作パラメータを受信する。システムは、１つ以上の車両動作パラメータに基づいて、第１の画像及び第２の画像をキャプチャするようにカメラ１０２ａを構成し得る。例えば、システム１０１は、車両が１ｍ前進するごとに画像をキャプチャするようにカメラ１０２ａを構成する。同様に、システム１０１は、車両が１ｍ後退するごとに画像をキャプチャするようにカメラ１０２ａを構成する。同様に、システム１０１は、車両の１度の操舵ごとに画像をキャプチャするようにカメラ１０２ａを構成する。別の例では、システム１０１は、車両が前進動作又は後退動作にあるときに、１６ｍ秒ごとに画像をキャプチャするようにカメラ１０２ａを構成する。本開示において提供される例は、限定としてみなされるべきではない。考慮される値は例示的なものにすぎず、システムは、異なる値に対してアクションを実行するように構成され得る。

【0025】

更に、システム１０１は、第１の画像、第２の画像、及び１つ以上の車両動作パラメータを使用して補正画像を合成し、表示ユニット１０４上に補正画像を表示する。同様に、システム１０１は、複数のカメラ１０２ａ、１０２ｂ、…１０２ｎから補正画像を合成し、車両の周囲の３Ｄビューを生成し、表示ユニット１０４上に３Ｄビューを表示することができる。

【0026】

図２は、システム１０１の詳細ブロック図を示している。システム１０１は、中央処理装置（「ＣＰＵ」又は「プロセッサ」）２０３と、プロセッサ２０３によって実行可能な命令を記憶するメモリ２０２と、を含み得る。プロセッサ２０３は、ユーザ又はシステムが生成した要求を実行するためのプログラムコンポーネントを実行するための少なくとも１つのデータプロセッサを含み得る。メモリ２０２は、プロセッサ２０３に通信可能に結合され得る。システム１０１は、入力／出力（Ｉ／Ｏ）インターフェース２０１を更に含む。Ｉ／Ｏインターフェース２０１は、入力信号又は／及び出力信号が通信され得るプロセッサ２０３と結合され得る。

【0027】

いくつかの実装形態では、システム１０１は、データ２０４とモジュール２０９とを含み得る。一例として、データ２０４及びモジュール２０８は、システム１０１内に構成されたメモリ２０２に記憶され得る。一実施形態では、データ２０４は、例えば、画像データ２０５、車両動作パラメータ２０６、及び他のデータ２０７を含み得る。

【0028】

一実施形態では、画像データ２０５は、第１の画像及び第２の画像を含み得る。上述したように、第１の画像は、時間（ｔ－１）にキャプチャされ、第２の画像は、時間（ｔ）にキャプチャされた。一実施形態では、第１の画像及び第２の画像は、画像補正を適用した後に記憶される。第１の画像及び第２の画像内の幾何学的な歪みを補正するために、様々な画像処理技術が使用され得る。

【0029】

一実施形態では、車両動作パラメータ２０６は、車両の速度及び車両の操舵角を含み得る。車両動作パラメータ２０６は、一定の間隔でＥＣＵ１０３から取得され得る。

【0030】

一実施形態では、他のデータ２０７は、第１の画像及び第２の画像を補正するための画像処理パラメータを含み得る。更に、他のデータ２０７はまた、複数のカメラ１０２ａ、１０２ｂ、…１０２ｎから取得された画像から３Ｄサラウンドビューを合成するための画像処理パラメータも含み得る。

【0031】

いくつかの実施形態では、データ２０４は、様々なデータ構造の形態でメモリ２０２に記憶され得る。加えて、データ２０４は、リレーショナル又は階層データモデルなどのデータモデルを使用して編成され得る。他のデータ２０７は、コンピューティングシステム１０２の様々な機能を実行するためにモジュール２０８によって生成された、一時データ及び一時ファイルを含むデータを記憶し得る。

【0032】

いくつかの実施形態では、メモリ２０２に記憶されたデータ２０４は、システム１０１のモジュール２０８によって処理され得る。モジュール２０８は、メモリ２０２内に記憶され得る。一実施例では、システム１０１内に構成されたプロセッサ２０３に通信可能に結合されたモジュール２０８はまた、図２に示されるようにメモリ２０２の外部に存在し、ハードウェアとして実装され得る。本明細書で使用される場合、モジュール２０８という用語は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、電子回路、１つ以上のソフトウェア又はファームウェアプログラムを実行するプロセッサ２０３（共有、専用、又はグループ）及びメモリ２０２、組み合わせ論理回路、並びに／又は説明した機能を提供する他の適切なコンポーネントを指し得る。いくつかの他の実施形態では、モジュール２０９は、ＡＳＩＣ及びＦＰＧＡのうちの少なくとも１つを使用して実装され得る。

【0033】

一実施態様では、モジュール２０８は、例えば、通信モジュール２０９と、画像補正モジュール２１０と、画像合成モジュール２１１と、レンダリングモジュール２１２と、他のモジュール２１３と、を含み得る。そのような前述のモジュール２０８は、単一のモジュール又は異なるモジュール２０８の組み合わせとして表され得ることが理解され得る。

【0034】

一実施形態では、通信モジュール２０９は、複数のカメラ１０２ａ、１０２ｂ、…１０２ｎ、ＥＣＵ１０３、及び表示ユニット１０４と通信するために使用される。通信モジュール２０９は、イーサネットモジュール若しくはＣＡＮモジュール、ＦｌｅｘＲａｙモジュール、又はＬＶＤＳモジュールであり得る。通信モジュール２０９は、複数のカメラ１０２ａ、１０２ｂ、…１０２ｎのうちの少なくとも１つのカメラ１０２ａから、第１の画像及び第２の画像を受信するように構成される。通信モジュール２０９はまた、複数のカメラ１０２ａ、１０２ｂ、…１０２ｎに、いつ画像をキャプチャすべきかについての指示を伝達するために使用され得る。いくつかの実施形態では、複数のカメラ１０２ａ、１０２ｂ、…１０２ｎのうちの特定のカメラ（例えば、１０２ａ）のみが、動作され得る。そのような状況では、通信モジュール２０９は、残りのカメラにオフ状態で動作するように信号を送るか、又は残りのカメラを省電力状態に置くことができる。一実施形態では、第２の画像がキャプチャされているときに、第１の画像がメモリ２０２に記憶される。第２の画像がキャプチャされた後、第１の画像及び第２の画像は、補正画像を導出するように処理される。通信モジュール２０９は更に、車両動作パラメータ２０６を受信するためにＥＣＵ１０３と通信することができ、車両のビュー（補正画像）（２Ｄ又は３Ｄビュー）を提供するために表示ユニット１０４と通信することができる。

【0035】

一実施形態では、画像補正モジュール２１０は、幾何学的な歪みを有するカメラ（例えば、１０２ａ）から受信した第１の画像及び第２の画像を補正するように構成される。一実施形態では、第１の画像及び第２の画像は、放射状に歪んでいる場合がある。一実施形態では、画像補正モジュール２１０は、第１の画像及び第２の画像内の放射状の歪みを補正するために既存の技術を使用し得る。通常、樽型の放射状の歪みは、その広角レンズに起因して魚眼レンズカメラにおいて発生する。放射状に歪んでいる画像を補正するために使用される技術には、歪んでいる画像の３Ｄ座標を取得して、それを２Ｄ平面にマッピングすることを含むものはほとんどない。異なる配向からキャプチャされた画像を使用する他の技術もほとんどない。線又は消失点などの幾何学的な不変量を使用する技術もほとんどない。一態様では、補正画像において放射状の歪みが平坦化され得る。しかしながら、画像を平坦化することにより、ノイズが加わり、第１の画像及び第２の画像の外側領域に存在するオブジェクトをぼやけさせる場合がある。いくつかの実施形態では、第１の画像及び第２の画像は、歪みを補正するために一緒に処理される。他のいくつかの実施形態では、第２の画像がキャプチャされている間に、第１の画像が補正されてメモリ２０２に記憶される。

【0036】

一実施形態では、画像合成モジュール２１１は、第１の画像及び第２の画像並びに車両動作パラメータ２０６を使用して補正画像を合成するように構成される。本発明はリアルタイムで実行されるため、画像合成モジュール２１１は、メモリ２０２から第１の画像を取得し、カメラ（例えば、１０２ａ）から第２の画像を取得する。一実施形態では、画像合成モジュール２１１は、補正された第１の画像及び補正された第２の画像を受信することができる。画像は補正されているが、歪みは依然として存在し、オブジェクトをぼやけさせる場合がある。更に、画像合成モジュール２１１は、第１の画像においてビューが歪んでいない第１のスライスを識別し、歪んでいる第２の画像において、対応する第２のスライスを更に識別する。画像のスライスは、画像の論理的な断片である。一実施形態では、第１のスライス及び第２のスライスを生成するために、画像スライス技術が使用され得る。スライスすることには、画像をより小さな論理画像に切り分けることを含む。例えば、第１の画像ではオブジェクトは車両のより近くにあり、同じオブジェクトが、車両の前進動作により第２の画像ではより遠くにある場合がある。従って、第１の画像ではオブジェクトは歪んでおらず、第２の画像では歪んでいる場合がある。同様に、車両の後退動作の間、第１の画像ではオブジェクトは歪んでおり、第２の画像ではオブジェクトが歪んでいない場合がある。一実施形態では、第１のスライス及び第２のスライスは、車両動作パラメータ２０６に基づいている。一実施形態では、車両動作と画素距離との間の線形関係が使用され得る。例えば、第１の画像をキャプチャすることと第２の画像をキャプチャすることとの間に車両が移動した距離が決定され、対応する距離が画素距離に変換されて、第１の画像及び第２の画像内の類似のオブジェクトが識別される。それによって、第１のスライス及び第２のスライスが識別される。更に、画像合成モジュール２１１は、第２のスライスを第１のスライスに置換することによって、補正画像を合成することができる。同じ原理は、車両が後退方向に移動したり、左右に操舵されたりする場合にも適用することができる。車両動作パラメータ２０６は、第１の画像及び第２の画像内のスライスを決定するために使用される。従って、補正された合成画像は、放射状の歪みがなく、表示ユニット１０４上に表示することができる。

【0037】

一実施形態では、画像合成モジュール２１１は、複数のカメラ１０２ａ、１０２ｂ、…１０２ｎを使用して、各ビュー（フロント、リア、サイド）に対して補正画像を合成し、３Ｄトップビューを生成することができる。

【0038】

一実施形態では、レンダリングモジュール２１２は、補正された合成画像を表示ユニット１０４上にレンダリングするように構成される。一実施形態では、レンダリングモジュール２１２は、表示ユニット１０４上に表示するように基本的な画像処理を実行することができる。例えば、ノイズ低減、画像解像度の表示ユニット１０４の解像度へのマッピング、ビデオを表示するためのフレームレートの設定、画像の彩度、色相、コントラストパラメータの設定、などである。

【0039】

一実施形態では、他のモジュール２１３には、オブジェクト検出モジュール、運転者支援モジュール、通知モジュールなどが含まれ得る。オブジェクト検出モジュールは、車両近くの任意のオブジェクトを検出することができる。例えば、車両近くの障害物が、このモジュールを使用して検出され得る。運転者支援モジュールは、ナビゲーション内で車両の運転者を支援し得る。例えば、運転者支援モジュールは、車両の駐車中に運転者を誘導し得る。通知モジュールは、車両近くでオブジェクトが検出されると、運転者に通知し得る。

【0040】

図３は、本開示のいくつかの実施形態による、表示ユニット１０４上に車両サラウンドビューを表示するための方法を示すフローチャートを示している。方法３００が説明され得る順序は、限定として解釈されることを意図しておらず、任意の数の説明される方法ブロックが、方法を実施するために任意の順序で組み合わせられ得る。加えて、個々のブロックは、本明細書で説明する主題の精神及び範囲から逸脱することなく、方法から削除され得る。更に、方法は、任意の適切なハードウェア、ソフトウェア、ファームウェア、又はそれらの組み合わせで実施され得る。

【0041】

ステップ３０１において、システム１０１は、時間（ｔ－１）及び時間（ｔ）でそれぞれカメラ（例えば、１０２ａ）によってキャプチャされた第１の画像及び第２の画像を受信する。一実施形態では、システム１０１は、車両動作パラメータ２０６に基づいて、第１の画像及び第２の画像をキャプチャするようにカメラ１０２ａを構成する。状況に基づいて、システム１０１は、画像をキャプチャするようにカメラ１０２ａを構成し得る。車両が前進移動しているときの一シナリオでは、フロントカメラ（例えば、１０２ｂ）が、１秒ごとに画像をキャプチャするように構成され得、リアカメラ（例えば、１０２ａ）が、３秒ごとに画像をキャプチャするように構成され得る。車両が後退移動しているときの別のシナリオでは、フロントカメラ１０２ｂが、３秒ごとに画像をキャプチャするように構成され得、リアカメラ１０２ａが、１秒ごとに画像をキャプチャするように構成され得る。別のシナリオでは、駐車中に、全てのカメラ１０２、１０２ｂ、１０２ｃ、１０２ｄが、１秒ごとに画像をキャプチャするように構成され得る。このように、システム１０１は、各カメラの構成に基づいて、第１の画像及び第２の画像を受信する。第１の画像は時間（ｔ－１）にキャプチャされ、第２の画像は時間（ｔ）にキャプチャされるため、２つの画像は異なるが、実質的に類似したオブジェクトを含む。オブジェクトの類似性は、時間（ｔ－１）から時間（ｔ）までの位置からの車両の小さな移動に起因する場合がある。

【0042】

図４ａ及び図４ｂは、車両の周囲のセンサ視野の例示的な図を示している。図４ａでは、フロントカメラ１０２ｂ及びリアカメラ１０２ａが示されている。線は視野を表し得るが、これは説明のためのみのものであり、限定としてみなされるべきではない。リアカメラ１０２ａは、視野４０１ａを有し、フロントカメラ１０２ｂは、視野４０１ｂを有する。図４ｂは、サイドカメラ１０２ｃ、１０２ｄが車両に設置されているシナリオを示している。サイドカメラ１０２ｃは、視野４０１ｃを有し、サイドカメラ１０２ｄは、視野４０１ｄを有する。カメラ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄからの画像の組み合わせは、サラウンドビューを生成するために使用される。図５ａ及び図５ｂは、魚眼カメラの例示的な時間的視覚化を示している。図５ａ及び図５ｂは、それぞれ、第１の画像及び第２の画像のリア魚眼カメラビューを示している。見られるように、図５ａの領域５０１内のオブジェクトは、車両により近く、図５ｂの領域５０２内のオブジェクトは、車両からより遠い。これは、第１の画像がキャプチャされた時点から車両が前進移動したことを示している。更に、第１の画像及び第２の画像は、放射状に歪んでいる。

【0043】

ステップ３０２において、システム１０１は、ＥＣＵ１０３から車両動作パラメータ２０６を受信し、ＥＣＵ１０３は次いで、前述のように、他のセンサから車両動作パラメータ２０６を受信する。一実施形態では、車両動作パラメータ２０６は、一定の時間間隔又は車両が移動した一定の距離間隔で受信され得る。例えば、車両の速度及び操舵角は、２秒ごとに、又は車両が移動した１０ｍごとに受信され得る。車両動作パラメータ２０６の受信は、車両のシナリオに依存し得る。例えば、車両を駐車している間に、車両動作パラメータ２０６は、５０ｍ秒ごとに受信され、車両が高速道路にある間、車両動作パラメータ２０６は、１秒ごとに受信され得る。

【0044】

ステップ３０３において、システム１０１は、第１の画像、第２の画像、及び車両動作パラメータ２０６を使用して補正画像を合成する。第１の画像及び第２の画像は放射状の歪みを含むため、システム１０１は、画像を処理して、歪みの影響を除去又は減少させる。３Ｄ画像空間を２Ｄ空間にマッピングすることなどの画像平坦化技術が採用され得る。補正画像を生成するために異なる配向から取得されたパターンを使用することなどの他の技術。補正画像を生成するための歪みパラメータを推定するために、更に別の技術により歪みモデルを使用し得る。一実施形態では、補正された第１の画像及び補正された第２の画像を生成するために、任意の既存の技術が採用され得る。更に、システム１０１は、補正された第１の画像、補正された第２の画像、及び車両動作パラメータ２０６を使用して、単一の補正画像を合成する。システム１０１は、歪んでいないビューを有する補正された第１の画像内の第１のスライス、及び歪んでいるビューを有する補正された第２の画像内の第２のスライスを識別する。第１のスライス内の領域は、第２のスライス内の領域に対応し、すなわち、第１のスライス内のオブジェクトは、第２のスライス内のオブジェクトに実質的に類似し得る。図６ａ及び図６ｂは、放射状の歪みの補正画像の例示的な時間的視覚化を示している。図６ａに見られるように、スライス６０１は、歪みを有していない補正された第１の画像内の領域を示している。しかしながら、図６ｂでは、補正された第２の画像のスライス６０２は、歪みを有している。説明したように、魚眼カメラによってキャプチャされた画像では、一般に、より遠くのオブジェクトは湾曲する傾向があるため、より遠くのオブジェクトは歪んでいる場合がある。更に、車両がオブジェクトの近くにあるとき、オブジェクトは（歪みなしで）明瞭に見え、車両がオブジェクトから離れて移動すると、オブジェクトは歪んで見える場合がある。従って、提案された解決策では、補正画像を合成するために両方の画像を使用する。次いで、システム１０１は、車両動作パラメータ２０６と第２の画像とを相関させて、第１の画像をキャプチャした後に車両がどれだけの距離を移動したか、車両がどの方向に移動したか、及び第１の画像をキャプチャした後に車両がどれだけの角度で操舵されたか、を決定する。この決定により、システム１０１は、第１のスライス６０１及び第２のスライス６０２を識別するための情報を提供する。

【0045】

一実施形態では、補正された単一の画像を合成するために、小さな時間間隔でキャプチャされた複数の画像もまた使用され得る。例えば、異なる時間間隔でキャプチャされた５つの画像が、一緒につなぎ合わされて補正画像を合成し得る。例えば、第１の時間インスタンス（ｔ）にキャプチャされた第１の画像、第２の時間インスタンス（ｔ＋１）にキャプチャされた第２の画像、第３の時間インスタンス（ｔ＋２）にキャプチャされた第３の画像、及び第４の時間インスタンス（ｔ＋３）にキャプチャされた第４の画像が、一緒につなぎ合わされ得る。一実施形態では、時間インスタンスは、車両エゴパラメータに基づいて決定され得る。時間インスタンスは、車両動作パラメータに基づいて決定され得る。一緒につなぎ合わせるのに必要とされる画像の数は、画像の歪みに基づき得る。魚眼カメラが画像の中心により近い歪みを導入する場合、より多くの数の画像が必要とされる場合がある。更に、時間画像もまた、車両の移動に基づいている。上記のシナリオは、車両が前進移動しているときに、魚眼カメラが車両のリアサイドに設置されている場合を考慮して説明されている。車両が後退方向に移動している間に、車両後方のオブジェクトは車両により近づき、第１のスライスが、歪んでいる領域を有し、第２のスライスが、対応する歪んでいない領域を有する場合がある。同様に、車両の移動に基づいて、システム１０１は、一緒につなぎ合わせるべき画像内のスライスを識別する類似性を決定する。一実施形態では、スライス６０１及び６０２は、車両動作パラメータ２０６に基づいて更に識別される。例えば、第１の画像がキャプチャされると、それはメモリ２０２に記憶される。

【0046】

更に、システム１０１は、第２のスライス６０２を第１のスライス６０１に置換し、歪みなしの補正画像を合成する。一実施形態では、システム１０１は、画像つなぎ合わせ技術を使用して、第２のスライス６０２を第１のスライス６０１に置換し得る。合成された補正画像は、歪みがなく、オブジェクトもぼやけることなく明瞭に見える。

【0047】

図３に戻って参照すると、ステップ３０４において、システム１０１は、補正された合成画像を表示ユニット１０４上に表示する。一実施形態では、システム１０１は、車両の１つのサイドビュー（リアビュー、フロントビュー、又はレフトビュー若しくはライトビュー）の補正された合成ビュー、又は車両の全てのサイドの補正された合成ビュー（サラウンドビュー）を表示することができる。一実施形態では、システム１０１は、全てのサイド（フロント、リア、レフト及びライト）に対して生成された補正された合成画像をつなぎ合わせ、車両のサラウンドビューを表示ユニット１０４上にレンダリングすることができる。図７は、車両のトップサラウンドビュー７００の例示的な図を示している。同様に、斜視図もまた提供され得る。一実施形態では、トップサラウンドビュー７００を生成するために、既存の技術が使用され得る。例えば、トップビューが２Ｄ視覚化を提供するように、４つの斜視画像（行列）が取得され、２Ｄグラウンド平面に変換され得る。図７では、トップサラウンドビュー７００は、それぞれのセンサデータを処理することによって得られた４つのトップビュー７０１、７０２、７０３、７０４をつなぎ合わせることによって取得される。一実施形態では、つなぎ合わせは、オーバーラップ領域が参照用に考慮され、且つ画像がオーバーラップ領域においてつなぎ合わせられるように実行される。つなぎ合わせのために、カメラの配置が考慮され得、又はオーバーラップ領域を決定するために画像自体が処理され得る。オーバーラップ領域では、データはブレンドされるか、又は画像のうちの１つからのデータが考慮される。更に、サラウンドトップビューが、表示ユニット１０４上に表示される。

【0048】

一実施形態では、オブジェクトが明瞭に識別されて表示されるため、提案されたソリューションは運転支援システムに役立つ。更に、障害物が明瞭に検出されるため、車両の駐車がより便利になる。更に、周囲が明瞭に表示されるため、運転体験がより豊かになる。３Ｄ視覚化では、周囲の高画質に合成された情報が提供される。合成された補正画像は、既存の技術に比べて、より高い画素密度で構成される。

【0049】

コンピュータシステム
図８は、本開示と一致する実施形態を実装するための例示的なコンピュータシステム８００のブロック図を示している。一実施形態では、コンピュータシステム８００は、モデルを訓練するためにフィルタシーケンスを生成する方法を実施するために使用され得る。コンピュータシステム８００は、中央処理装置（「ＣＰＵ」又は「プロセッサ」）８０２を備え得る。プロセッサ８０２は、実行時に動的リソース割り当て用のプログラムコンポーネントを実行するための少なくとも１つのデータプロセッサを備え得る。プロセッサ８０２は、統合システム（バス）コントローラ、メモリ管理制御ユニット、浮動小数点ユニット、グラフィックス処理ユニット、デジタル信号処理ユニットなどの専用処理ユニットを含み得る。

【0050】

プロセッサ８０２は、Ｉ／Ｏインターフェース８０１を介して１つ以上の入力／出力（Ｉ／Ｏ）デバイス（図示せず）と通信するように配置され得る。Ｉ／Ｏインターフェース８０１は、オーディオ、アナログ、デジタル、モノラル、ＲＣＡ、ステレオ、ＩＥＥＥ－（１３９４）、シリアルバス、ユニバーサルシリアルバス（ＵＳＢ）、赤外線、ＰＳ／２、ＢＮＣ、同軸、コンポーネント、コンポジット、デジタルビジュアルインターフェース（ＤＶＩ）、高解像度マルチメディアインターフェース（ＨＤＭＩ）、ＲＦアンテナ、Ｓビデオ、ＶＧＡ、ＩＥＥＥ８０２．ｎ／ｂ／ｇ／ｎ／ｘ、ブルートゥース、セルラー（例えば、符号分割多元接続（ＣＤＭＡ）、高速パケットアクセス（ＨＳＰＡ＋）、モバイル通信用グローバルシステム（ＧＳＭ）、ロングタームエボリューション（ＬＴＥ）、ＷｉＭａｘなど）などの通信プロトコル／方法を採用することができるが、これらに限定されない。

【0051】

Ｉ／Ｏインターフェース８０１を使用して、コンピュータシステム８００は、１つ以上のＩ／Ｏデバイスと通信することができる。例えば、入力デバイス８１０は、アンテナ、キーボード、マウス、ジョイスティック、（赤外線）リモートコントロール、カメラ、カードリーダ、ファックス機、ドングル、バイオメトリックリーダ、マイクロフォン、タッチスクリーン、タッチパッド、トラックボール、スタイラス、スキャナ、記憶装置、トランシーバ、ビデオデバイス／ソースなどであり得る。出力デバイス８１１は、プリンタ、ファックス機、ビデオディスプレイ（例えば、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）、プラズマ、プラズマディスプレイパネル（ＰＤＰ）、有機発光ダイオードディスプレイ（ＯＬＥＤ）など）、オーディオスピーカなどであり得る。

【0052】

いくつかの実施形態では、コンピュータシステム８００は、通信ネットワーク８０９を介してサービスオペレータに接続される。プロセッサ８０２は、ネットワークインターフェース８０３を介して通信ネットワーク８０９と通信するように配置され得る。ネットワークインターフェース８０３は、通信ネットワーク８０９と通信することができる。ネットワークインターフェース８０３は、直接接続、イーサネット（例えば、ツイストペア１０／１００／１０００ベースＴ）、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、トークンリング、ＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎ／ｘなどを含む接続プロトコルを採用することができるが、これらに限定されない。通信ネットワーク８０９は、直接相互接続、電子商取引ネットワーク、ピアツーピア（Ｐ２Ｐ）ネットワーク、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、（例えば、無線アプリケーションプロトコルを使用する）無線ネットワーク、インターネット、Ｗｉ－Ｆｉなどを含むことができるが、これらに限定されない。ネットワークインターフェース８０３及び通信ネットワーク８０９を使用して、コンピュータシステム８００は、１つ以上のサービスオペレータと通信することができる。

【0053】

いくつかの実施形態では、プロセッサ８０２は、ストレージインターフェース８０４を介してメモリ８０５（例えば、図７には示されていないＲＡＭ、ＲＯＭなど）と通信するように配置され得る。ストレージインターフェース８０４は、シリアルアドバンスドテクノロジーアタッチメント（ＳＡＴＡ）、統合ドライブエレクトロニクス（ＩＤＥ）、ＩＥＥＥ－１３９４、ユニバーサルシリアルバス（ＵＳＢ）、ファイバーチャネル、小型計算機システムインターフェース（ＳＣＳＩ）などの接続プロトコルを採用している、メモリドライブ、リムーバブルディスクドライブなどを含むが、これらに限定されないメモリ８０５に接続され得る。メモリドライブは、ドラム、磁気ディスクドライブ、磁気光学ドライブ、光学ドライブ、独立ディスク冗長アレイ（ＲＡＩＤ）、ソリッドステートメモリデバイス、ソリッドステートドライブなどを更に含み得る。

【0054】

メモリ８０５は、ユーザインターフェース８０６、オペレーティングシステム８０７、ウェブサーバ８０８などを含むがこれらに限定されない、プログラム又はデータベースコンポーネントの集合を記憶することができる。いくつかの実施形態では、コンピュータシステム８００は、本開示において説明するようなデータ、変数、記録などのユーザ／アプリケーションデータ８０６を記憶することができる。そのようなデータベースは、Ｏｒａｃｌｅ又はＳｙｂａｓｅなどのフォールトトレラント、リレーショナル、スケーラブルで、セキュアなデータベースとして実装され得る。

【0055】

オペレーティングシステム８０７は、コンピュータシステム８００のリソース管理及び動作を容易にし得る。オペレーティングシステムの例には、ＡＰＰＬＥ（登録商標）ＭＡＣＩＮＴＯＳＨ（登録商標）ＯＳ Ｘ（登録商標）、ＵＮＩＸ（登録商標）、ＵＮＩＸライクなシステムディストリビューション（例えば、ＢＥＲＫＥＬＥＹ ＳＯＦＴＷＡＲＥ ＤＩＳＴＲＩＢＵＴＩＯＮ（登録商標）（ＢＳＤ）、ＦＲＥＥＢＳＤ（登録商標）、ＮＥＴＢＳＤ（登録商標）、ＯＰＥＮＢＳＤなど）、ＬＩＮＵＸ（登録商標）ＤＩＳＴＲＩＢＵＴＩＯＮＳ（例えば、ＲＥＤＨＡＴ（登録商標）、ＵＢＵＮＴＵ（登録商標）、ＫＵＢＵＮＴＵ（登録商標）など）、ＩＢＭ（登録商標）ＯＳ／２（登録商標）、ＭＩＣＲＯＳＯＦＴ（登録商標）ＷＩＮＤＯＷＳ（登録商標）（ＸＰ（登録商標）、ＶＩＳＴＡ（登録商標）／７／８、１０など）、ＡＰＰＬＥ（登録商標）ＩＯＳ（登録商標）、ＧＯＯＧＬＥＴＭ ＡＮＤＲＯＩＤＴＭ、ＢＬＡＣＫＢＥＲＲＹ（登録商標）ＯＳなどであるが、これらに限定されない。

【0056】

いくつかの実施形態では、コンピュータシステム８００は、ウェブブラウザ（図には示されていない）格納プログラムコンポーネントを実装し得る。ウェブブラウザは、ＭＩＣＲＯＳＯＦＴ（登録商標）ＩＮＴＥＲＮＥＴ ＥＸＰＬＯＲＥＲ（登録商標）、ＧＯＯＧＬＥＴＭ ＣＨＲＯＭＥＴＭ、ＭＯＺＩＬＬＡ（登録商標）ＦＩＲＥＦＯＸ（登録商標）、ＡＰＰＬＥ（登録商標）ＳＡＦＡＲＩ（登録商標）などのハイパーテキスト閲覧アプリケーションであり得る。セキュアなウェブブラウジングは、セキュアハイパーテキストトランスポートプロトコル（ＨＴＴＰＳ）、セキュアソケットレイヤ（ＳＳＬ）、トランスポートレイヤセキュリティ（ＴＬＳ）などを使用して提供され得る。ウェブブラウザ８０８は、ＡＪＡＸ、ＤＨＴＭＬ、ＡＤＯＢＥ（登録商標）ＦＬＡＳＨ（登録商標）、ＪＡＶＡＳＣＲＩＰＴ（登録商標）、ＪＡＶＡ（登録商標）、アプリケーションプログラミングインターフェース（ＡＰＩ）などのファシリティを利用し得る。いくつかの実施形態では、コンピュータシステム８００は、メールサーバ格納プログラムコンポーネントを実装し得る。メールサーバは、Ｍｉｃｒｏｓｏｆｔ Ｅｘｃｈａｎｇｅなどのインターネットメールサーバであり得る。メールサーバは、アクティブサーバページ（ＡＳＰ）、ＡＣＴＩＶＥＸ（登録商標）、ＡＮＳＩ（登録商標）Ｃ＋＋／Ｃ＃、ＭＩＣＲＯＳＯＦＴ（登録商標）、．ＮＥＴ、ＣＧＩ ＳＣＲＩＰＴＳ、ＪＡＶＡ（登録商標）、ＪＡＶＡＳＣＲＩＰＴ（登録商標）、ＰＥＲＬ（登録商標）、ＰＨＰ、ＰＹＴＨＯＮ（登録商標）、ＷＥＢＯＢＪＥＣＴＳ（登録商標）などのファシリティを利用し得る。メールサーバは、インターネットメッセージアクセスプロトコル（ＩＭＡＰ）、メッセージングアプリケーションプログラミングインターフェース（ＭＡＰＩ）、ＭＩＣＲＯＳＯＦＴ（登録商標）Ｅｘｃｈａｎｇｅ、ポストオフィスプロトコル（ＰＯＰ）、シンプルメール転送プロトコル（ＳＭＴＰ）などの通信プロトコルを利用し得る。いくつかの実施形態では、コンピュータシステム８００は、メールクライアント格納プログラムコンポーネントを実装し得る。メールクライアントは、ＡＰＰＬＥ（登録商標）ＭＡＩＬ、ＭＩＣＲＯＳＯＦＴ（登録商標）ＥＮＴＯＵＲＡＧＥ（登録商標）、ＭＩＣＲＯＳＯＦＴ（登録商標）ＯＵＴＬＯＯＫ（登録商標）、ＭＯＺＩＬＬＡ（登録商標）ＴＨＵＮＤＥＲＢＩＲＤ（登録商標）などのメール閲覧アプリケーションであり得る。

【0057】

更に、１つ以上のコンピュータ可読ストレージ媒体が、本発明と一致する実施形態を実装する際に利用され得る。コンピュータ可読ストレージ媒体とは、プロセッサ８０２によって読み取り可能な情報又はデータが記憶され得る任意のタイプの物理的メモリ８０５を指す。従って、コンピュータ可読ストレージ媒体は、本明細書で説明する実施形態と一致するステップ又はステージをプロセッサに実行させるための命令を含む、１つ以上のプロセッサによる実行のための命令を記憶し得る。「コンピュータ可読媒体」という用語は、有形のアイテムを含み、且つ搬送波及び過渡信号を除外し、即ち非一時的であると理解されるべきである。その例には、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、揮発性メモリ、不揮発性メモリ、ハードドライブ、コンパクトディスク（ＣＤ）ＲＯＭ、デジタルビデオディスク（ＤＶＤ）、フラッシュドライブ、ディスク及び他の任意の公知の物理的ストレージ媒体を含む。

【0058】

一実施形態では、コンピュータシステム８００は、リモートデバイス８１２を備え得る。コンピュータシステム８００は、通信ネットワーク８０９を介してリモートデバイス８１２から第１のモデル１０４、第２のモデル１０５、及びデータセット１０３を受信し得る。

【0059】

「一実施形態（ａｎ ｅｍｂｏｄｉｍｅｎｔ）」、「実施形態（ｅｍｂｏｄｉｍｅｎｔ）」、「複数の実施形態（ｅｍｂｏｄｉｍｅｎｔｓ）」、「その一実施形態（ｔｈｅ ｅｍｂｏｄｉｍｅｎｔ）」、「その複数の実施形態（ｔｈｅ ｅｍｂｏｄｉｍｅｎｔｓ）」、「１つ以上の実施形態（ｏｎｅ ｏｒ ｍｏｒｅ ｅｍｂｏｄｉｍｅｎｔｓ）」、「いくつかの実施形態（ｓｏｍｅ ｅｍｂｏｄｉｍｅｎｔｓ）」、及び「１つの実施形態（ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ）」という用語は、明示的に別段の定めがない限り、「本発明の１つ以上の（しかし全てではない）実施形態」を意味する。

【0060】

「含む（ｉｎｃｌｕｄｉｎｇ）」、「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「有する（ｈａｖｉｎｇ）」という用語、及びそれらの変形は、明示的に別段の定めがない限り、「含むが、これらに限定されない」を意味する。

【0061】

アイテムの列挙されたリストは、明示的に別段の定めがない限り、アイテムのいずれか又は全てが相互に排他的であることを意味するものではない。「１つの（ａ）」、「１つの（ａｎ）」、及び「その（ｔｈｅ）」という用語は、明示的に別段の定めがない限り、「１つ以上」を意味する。

【0062】

互いに通信するいくつかのコンポーネントを有する実施形態の説明は、全てのそのようなコンポーネントが必要とされることを意味するものではない。反対に、様々な任意のコンポーネントは、本発明の多種多様な可能な実施形態を例示するために説明される。

【0063】

単一のデバイス又は物品が本明細書で説明されている場合、単一のデバイス／物品の代わりに１つを超えるデバイス／物品（それらが協働するか否かに関わらず）が使用され得ることは、明らかであろう。同様に、１つを超えるデバイス又は物品が本明細書で説明される場合（それらが協働するか否かに関わらず）、単一のデバイス／物品が、１つを超えるデバイス若しくは物品の代わりに使用され得るか、又は異なる数のデバイス／物品が、図示した数のデバイス若しくはプログラムの代わりに使用され得ることは、容易に明らかであろう。デバイスの機能及び／又は特徴は、かかる機能／特徴を有するものとして明示的に説明されていない１つ以上の他のデバイスによって代替として具現化され得る。従って、本発明の他の実施形態は、デバイス自体を含む必要はない。

【0064】

図３及び図５の示された動作は、特定の事象が特定の順序で発生することを示している。代替実施形態では、特定の動作が、異なる順序で実行され、変更され、削除され得る。更に、上述したロジックにステップを追加され得、依然として上述した実施形態に適合する。更に、本明細書で説明した動作は、順次発生し得るか、又は特定の動作が並行して処理され得る。更に、動作は、単一の処理ユニットによって実行され得、又は分散処理ユニットによって実行され得る。

【0065】

最終的に、本明細書で使用される言語は、主に読みやすさ及び教示する目的のために選択されたものであり、本発明の主題を線引き又は制限するために選択されたものではない。従って、本発明の適用範囲は、この詳細な説明によってではなく、本明細書に基づく出願に関して発行される任意の特許請求の範囲によって限定されることを意図している。従って、本発明の実施形態の開示は、以下の特許請求の範囲に規定される本発明の範囲を例示することを意図しているが、限定することを意図しているものではない。

【0066】

様々な態様及び実施形態が本明細書で開示されてきたが、当業者には、他の態様及び実施形態が明らかであり得る。本明細書で開示された様々な態様及び実施形態は、例示を目的とするものであり、限定されることを意図しているものではなく、真の範囲及び精神は、以下の特許請求の範囲によって示される。

【符号の説明】

【0067】

１０１ システム
１０２ カメラ
１０３ ＥＣＵ
１０４ ディスプレイユニット
２０１ Ｉ／Ｏインターフェース
２０２ メモリ
２０３ プロセッサ
２０４ データ
２０５ 画像データ
２０６ 車両動作パラメータ
２０７ 他のデータ
２０８ モジュール
２０９ 通信モジュール
２１０ 画像補正モジュール
２１１ 画像合成モジュール
２１２ レンダリングモジュールオペレータ
２１３ 他のモジュール
５０１、５０２、６０１、６０２ 画像スライス
８００ コンピュータシステム
８０１ Ｉ／Ｏインターフェース
８０２ プロセッサ
８０３ ネットワークインターフェース
８０４ ストレージインターフェース
８０５ メモリ
８０６ ユーザインターフェース
８０７ オペレーティングシステム
８０８ ウェブブラウザ
８０９ 通信ネットワーク
８１０ 入力デバイス
８１１ 出力デバイス
８１２ リモートデバイス

【図1】

【図2】

【図3】

【図4a】

【図4b】

【図5a】

【図5b】

【図6a】

【図6b】

【図7】

【図8】

【国際調査報告】