特許 7054293 リアビュー可視化のためのリアスティッチされたビューパノラマ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-04-05

(45)【発行日】2022-04-13

(54)【発明の名称】リアビュー可視化のためのリアスティッチされたビューパノラマ

(51)【国際特許分類】

   G06T 1/00 20060101AFI20220406BHJP

   G06T 7/00 20170101ALI20220406BHJP

   G06T 19/00 20110101ALI20220406BHJP

   H04N 7/18 20060101ALI20220406BHJP

   B60R 1/00 20220101ALI20220406BHJP

   G06T 3/00 20060101ALI20220406BHJP

【ＦＩ】

G06T1/00 330A

G06T7/00 650A

G06T19/00 A

H04N7/18 V

H04N7/18 J

B60R1/00

G06T3/00 780

G06T1/00 315

【請求項の数】 22

(21)【出願番号】P 2019536514

(86)(22)【出願日】2018-01-04

(65)【公表番号】

(43)【公表日】2020-03-12

(86)【国際出願番号】 US2018012390

(87)【国際公開番号】W WO2018129191

(87)【国際公開日】2018-07-12

【審査請求日】2021-01-04

(31)【優先権主張番号】62/442,315

(32)【優先日】2017-01-04

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】15/661,844

(32)【優先日】2017-07-27

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】507107291

【氏名又は名称】テキサス インスツルメンツ インコーポレイテッド

(74)【代理人】

【識別番号】100098497

【弁理士】

【氏名又は名称】片寄 恭三

(72)【発明者】

【氏名】ジャニス シュアイアン パン

(72)【発明者】

【氏名】ヴィクラム ヴィジャヤンバブ アッピア

【審査官】西谷 憲人

(56)【参考文献】

【文献】特開２０１２－０１９５５２（ＪＰ，Ａ）

【文献】特開２０１５－０４６１６２（ＪＰ，Ａ）

【文献】特開２０１３－２２８８９６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ １９／００

Ｈ０４Ｎ ７／１８

Ｂ６０Ｒ １／００

Ｇ０６Ｔ ３／００

(57)【特許請求の範囲】

【請求項1】

リアスティッチされたビューパノラマ（ＲＳＶＰ）システムであって、
プロセッサと、
ソフトウェア命令をストアするメモリと、
を含み、
前記ソフトウェア命令が、前記プロセッサによって実行されるとき、前記ＲＳＶＰシステムに、
車両の後方に搭載されるステレオカメラによって捕捉される左中央後方画像と右中央後方画像とのためのディスパリティマップを計算させ、
仮想カメラパラメータを用いて、前記車両の右側に搭載される右カメラによって捕捉される右後方画像と、前記車両の左側に搭載される左カメラによって捕捉される左後方画像と、前記左中央後方画像と前記右中央後方画像との基準中央後方画像と、前記ディスパリティマップとを仮想ワールドビューに変換させ、
前記変換されたディスパリティマップに基づいて前記変換された左後方画像と前記変換された基準中央後方画像との間の最適の左シームを計算させ、
前記変換されたディスパリティマップに基づいて前記変換された右後方画像と前記変換された基準中央後方画像との間の最適の右シームを計算させ、
パノラマを生成するために、前記最適の左シームに基づいて前記変換された左後方画像と前記変換された基準中央後方画像とをスティッチさせ、前記最適の右シームに基づいて前記変換された右後方画像と前記変換された基準中央後方画像とをスティッチさせる、ＲＳＶＰシステム。

【請求項2】

請求項１に記載のＲＳＶＰシステムであって、
最適の左シームを計算するために、前記ソフトウェア命令が、前記ＲＳＶＰシステムに、更に、
ワールドディスパリティマップを計算させ、
前記ワールドディスパリティマップと前記変換されたディスパリティマップとに基づいてワールドディスパリティ差異マップを計算させ、
第１の最小コストシームのために前記変換された左後方画像と前記変換された基準中央後方画像との間の重複領域を探索させ、
候補シームのコストが前記ワールドディスパリティ差異マップに基づいて計算される、ＲＳＶＰシステム。

【請求項3】

請求項２に記載のＲＳＶＰシステムであって、
前記ソフトウェア命令が、前記ＲＳＶＰシステムに、更に、前記変換されたディスパリティマップにおける有効な対応ディスパリティ値の数によって正規化される前記候補シームにおけるピクセルに対応する前記ワールドディスパリティ差異マップにおけるディスパリティ値の合計として候補シームのコストを計算させる、ＲＳＶＰシステム。

【請求項4】

請求項３に記載のＲＳＶＰシステムであって、
閾値より大きい、前記変換されたディスパリティマップにおけるディスパリティ値を有するピクセルが、前記合計に含まれない、ＲＳＶＰシステム。

【請求項5】

請求項２に記載のＲＳＶＰシステムであって、
重複領域を探索するために、前記ソフトウェア命令が、前記ＲＳＶＰシステムに、更に、
最小コスト垂直シームに対する前記重複領域を探索させ、
前記最小コスト垂直シームの辺りの近隣において前記第１の最小コストシームに対する前記重複領域を探索させる、ＲＳＶＰシステム。

【請求項6】

請求項２に記載のＲＳＶＰシステムであって、
最適の左シームを計算するために、前記ソフトウェア命令が、前記ＲＳＶＰシステムに、更に、
地面ディスパリティマップと前記変換されたディスパリティマップとに基づいて地面ディスパリティ差異マップを計算させ、
第２の最小コストシームに対して前記変換された左後方画像と前記変換された基準中央後方画像との間の前記重複領域を探索させ、
候補シームのコストが前記地面ディスパリティ差異マップに基づいて計算され、
前記最適の左シームが前記第１の最小コストシームと前記第２の最小コストシームとの最低コストシームである、ＲＳＶＰシステム。

【請求項7】

請求項１に記載のＲＳＶＰシステムであって、
前記ソフトウェア命令が、前記ＲＳＶＰシステムに、更に、
前記最適の左シームと前記最適の右シームとに時間軸スムージングを適用させる、ＲＳＶＰシステム。

【請求項8】

請求項７に記載のＲＳＶＰシステムであって、
時間軸スムージングを適用するために、前記ソフトウェア命令が、前記ＲＳＶＰシステムに、更に、
前記最適の左シームにおける全てのピクセルが前の最適の左シームの最小距離閾値内に在る場合に前記最適の左シームを前記前の最適の左シームに設定させ、
前記最適の右シームにおける全てのピクセルが前の最適の右シームの前記最小距離閾値内に在る場合に前記最適の右シームを前記前の最適の右シームに設定させ、
前記最適の左シームにおける任意のピクセルが前記前の最適の左シームから離れて最大距離閾値より大きい場合に、前記最適の左シームと前記前の最適の左シームとの間の最大ピクセル変位が前記最大距離閾値より大きくないように、前記最適の左シームをスケーリングさせ、
前記最適の右シームにおける任意のピクセルが前記前の最適の右シームから離れて前記最大距離閾値より大きい場合に、前記最適の左シームと前記前の最適の左シームとの間の最大ピクセル変位が前記最大距離閾値より大きくないように、前記最適の右シームをスケーリングさせる、ＲＳＶＰシステム。

【請求項9】

請求項１に記載のＲＳＶＰシステムであって、
前記変換された左後方画像をスティッチするために、前記ソフトウェア命令が、前記ＲＳＶＰシステムに、更に、
前記変換された左後方画像と前記変換された基準中央後方画像とを結合するために、アルファブレンディング係数を含むブレンディングルックアップテーブル（ＬＵＴ）を計算させ、
前記変換された左後方画像と前記変換された基準中央後方画像とをスティッチするために、前記ブレンディングＬＵＴを用いさせる、ＲＳＶＰシステム。

【請求項10】

請求項１に記載のＲＳＶＰシステムであって、
前記ソフトウェア命令が、前記ＲＳＶＰシステムに、更に、
前記ＲＳＶＰシステムに結合される物体検出モダリティが左死角ゾーンにおける物体の存在を示すときに、前記最適の左シームをバイアスさせ、
前記バイアスによって前記物体の少なくとも一部が前記パノラマにおいて見られ得る、ＲＳＶＰシステム。

【請求項11】

請求項１に記載のＲＳＶＰシステムであって、
前記ソフトウェア命令が、前記ＲＳＶＰシステムに、更に、
前記ＲＳＶＰシステムに結合される物体検出モダリティが右死角ゾーンにおける物体の存在を示すときに、前記最適の右シームをバイアスさせ、
前記バイアスによって前記物体の少なくとも一部が前記パノラマにおいて見られ得る、ＲＳＶＰシステム。

【請求項12】

リアスティッチされたビューパノラマを生成するための方法であって、
左中央後方画像と右中央後方画像とのためのディスパリティマップを計算することであって、前記左中央後方画像が車両の後方に搭載されるステレオカメラによって捕捉される、前記ディスパリティマップを計算することと、
仮想カメラパラメータを用いて、右後方画像と、左後方画像と、前記左中央後方画像と前記右中央後方画像との１つの基準中央後方画像と、前記ディスパリティマップとを仮想ワールドビューに変換することであって、前記右後方画像が前記車両の右側に搭載される右カメラによって捕捉され、前記左後方画像が前記車両の左側に搭載される左カメラによって捕捉される、前記変換することと、
前記変換されたディスパリティマップに基づいて前記変換された左後方画像と前記変換された基準中央後方画像との間の最適の左シームを計算することと、
前記変換されたディスパリティマップに基づいて前記変換された右後方画像と前記変換された基準中央後方画像との間の最適の右シームを計算することと、
パノラマを生成するために、前記最適の左シームに基づいて前記変換された左後方画像と前記変換された基準中央後方画像とをスティッチし、前記最適の右シームに基づいて前記変換された右後方画像と前記変換された基準中央後方画像とをスティッチすることと、
を含む、方法。

【請求項13】

請求項１２に記載の方法であって、
最適の左シームを計算することが、
ワールドディスパリティマップを計算することと、
前記ワールドディスパリティマップと前記変換されたディスパリティマップとに基づいてワールドディスパリティ差異マップを計算することと、
第１の最小コストシームに対して前記変換された左後方画像と前記変換された基準中央後方画像との間の重複領域を探索することと、
を含み、
候補シームのコストが前記ワールドディスパリティ差異マップに基づいて計算される、方法。

【請求項14】

請求項１３に記載の方法であって、
候補シームのコストが、前記変換されたディスパリティマップにおける有効な対応ディスパリティ値の数によって正規化された前記候補シームにおけるピクセルに対応する前記ワールドディスパリティ差異マップにおけるディスパリティ値の合計として計算される、方法。

【請求項15】

請求項１４に記載の方法であって、
閾値より大きい、前記変換されたディスパリティマップにおけるディスパリティ値を有するピクセルが、前記合計に含まれない、方法。

【請求項16】

請求項１３に記載の方法であって、
重複領域を探索することが、
最小コスト垂直シームに対して前記重複領域を探索することと、
最小コスト垂直シームの辺りの近隣において前記第１の最小コストシームに対して前記重複領域を探索することと、
を含む、方法。

【請求項17】

請求項１３に記載の方法であって、
最適の左シームを計算することが、
地面ディスパリティマップと前記変換されたディスパリティマップとに基づいて地面ディスパリティ差異マップを計算することと、
第２の最小コストシームに対して前記変換された左後方画像と前記変換された基準中央後方画像との間の前記重複領域を探索することと、
を更に含み、
候補シームのコストが前記地面ディスパリティ差異マップに基づいて計算され、
前記最適の左シームが前記第１の最小コストシームと前記第２の最小コストシームとの最低コストシームである、方法。

【請求項18】

請求項１２に記載の方法であって、
前記最適の左シーム及び前記最適の右シームに時間軸スムージングを適用することを更に含む、方法。

【請求項19】

請求項１８に記載の方法であって、
時間軸スムージングを適用することが、
前記最適の左シームにおける全てのピクセルが前の最適の左シームの最小距離閾値内に在る場合に、前記最適の左シームを前記前の最適の左シームに設定することと、
前記最適の右シームにおける全てのピクセルが前の最適の右シームの前記最小距離閾値内に在る場合に、前記最適の右シームを前記前の最適の右シームに設定することと、
前記最適の左シームにおける任意のピクセルが前記前の最適の左シームから離れて最大距離閾値より大きい場合に、前記最適の左シームと前記前の最適の左シームとの間の最大ピクセル変位が前記最大距離閾値より大きくないように、前記最適の左シームをスケーリングすることと、
前記最適の右シームにおける任意のピクセルが前記前の最適の右シームから離れて前記最大距離閾値より大きい場合に、前記最適の左シームと前記前の最適の左シームとの間の最大ピクセル変位が前記最大距離閾値より大きくないように、前記最適の右シームをスケーリングすることと、
を含む、方法。

【請求項20】

請求項１２に記載の方法であって、
前記変換された左後方画像をスティッチすることが、
前記変換された左後方画像と前記変換された基準中央後方画像とを結合するために、アルファブレンディング係数を含むブレンディングルックアップテーブル（ＬＵＴ）を計算することと、
前記変換された左後方画像と前記変換された基準中央後方画像とをスティッチするために、前記ブレンディングＬＵＴを用いることと、
を含む、方法。

【請求項21】

請求項１２に記載の方法であって、
物体検出モダリティが左死角ゾーンにおける物体の存在を示すときに前記最適の左シームをバイアスすることを更に含み、
前記バイアスすることによって前記物体の少なくとも一部が前記パノラマにおいて見られ得る、方法。

【請求項22】

請求項１２に記載の方法であって、
物体検出モダリティが右死角ゾーンにおける物体の存在を示すときに前記最適の右シー
ムをバイアスすることを更に含み、
前記バイアスすることによって前記物体の少なくとも一部が前記パノラマにおいて見られ得る、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、一般に、車両におけるリアビュー可視化に関する。

【背景技術】

【0002】

たいていの現在の車両において、運転者が得られる、車両の側部及び後ろの利用可能な視野（ＦＯＶ）は、サイドビューミラー及びリアビューミラーにおいて見ることができるものに制限される。しかし、従来の三面ミラーシステムは安全上の懸念がある。なぜなら、運転者が、リアビューＦＯＶの充分な可視化を得るため、各ミラーを一瞥するために注意を移すことが必要とされ、このことが、車両の前方におけるシーンから注意を逸らすからである。カメラモニタリングシステム（ＣＭＳ）がますます利用可能になってきているが、これらのシステムは、単に、そうしたミラーをカメラで置き換えただけであり、それにより、依然として運転者は、ディスプレイ間で注意を移してから、リアＦＯＶ全体の総合したビューを頭の中で互いに繋ぎ合わせる必要がある。また、サイドミラー／カメラの角度が、車両の側部を含む典型的な位置に調整される場合、側部ＦＯＶのすぐ外側に死角が残り、運転者はこれらの死角を確認するために肩越しに見なければならないので、付加的な安全上の危険がもたらされる。

【発明の概要】

【0003】

一態様において、リアスティッチされたビューパノラマ（ＲＳＶＰ、rear-stitched view panorama）システムが、少なくとも一つのプロセッサ、及び、ソフトウェア命令をストアするメモリを含む。ソフトウェア命令は、少なくとも一つのプロセッサによって実行されるとき、ＲＳＶＰシステムに、左中央後方画像及び右中央後方画像のためのディスパリティマップを計算させ、右後方画像と、左後方画像と、左中央後方画像及び右中央後方画像の基準中央後方画像と、ディスパリティマップとを、仮想カメラパラメータを用いて仮想ワールドビューに変換させ、変換されたディスパリティマップに基づいて、変換された左後方画像と変換された基準中央後方画像との間の最適の左シームを計算させ、変換されたディスパリティマップに基づいて、変換された右後方画像と変換された基準中央後方画像との間の最適の右シームを計算させ、パノラマを生成するために、最適の左シームに基づいて、変換された左後方画像と変換された基準中央後方画像とを、及び、最適の右シームに基づいて、変換された右後方画像と変換された基準中央後方画像とをスティッチする。左中央後方画及び右中央後方画像は、車両の後方に搭載されたステレオカメラによって捕捉されている。右後方画像は車両の右側に搭載された右カメラによって捕捉され、左後方画像は車両の左側に搭載された左カメラによって捕捉されている。

【0004】

一態様において、リアスティッチされたビューパノラマを生成するための方法が、左中央後方画像及び右中央後方画像のためのディスパリティマップを計算すること、右後方画像と、左後方画像と、左中央後方画像及び右中央後方画像の一つの基準中央後方画像と、ディスパリティマップとを、仮想カメラパラメータを用いて仮想ワールドビューに変換すること、変換されたディスパリティマップに基づいて、変換された左後方画像と変換された基準中央後方画像との間の最適の左シームを計算すること、変換されたディスパリティマップに基づいて、変換された右後方画像と変換された基準中央後方画像との間の最適の右シームを計算すること、及び、パノラマを生成するために、最適の左シームに基づいて、変換された左後方画像と変換された基準中央後方画像とを、及び、最適の右シームに基づいて、変換された右後方画像と変換された基準中央後方画像とをスティッチすることを含む。左中央後方画像は、車両の後方に搭載されたステレオカメラによって捕捉される。右後方画像は、車両の右側に搭載された右カメラによって捕捉され、左後方画像は、車両の左側に搭載された左カメラによって捕捉される。

【図面の簡単な説明】

【0005】

【図1】リアスティッチされたビューパノラマ（ＲＳＶＰ）システムを含む例示の車両の上面図である。

【0006】

【図2】図１のＲＳＶＰシステムの簡略化されたブロック図である。

【0007】

【図3】図１の車両の周りの３つのキャリブレーションチャートの例示の配置を示す図である。

【0008】

【図4】図２のＲＳＶＰシステムによって実装され得るリアスティッチされたビューパノラマの生成のための方法のフローチャートである。

【0009】

【図5】捕捉された画像の例示のセットである。

【0010】

【図6】仮想ディスプレイ面上に右ミラー画像を投影する例示の可視化である。

【0011】

【図7】射影変換（projective transform）を計算するための方法のフローチャートである。

【0012】

【図8】パノラマにおける左、中央、及び右画像に対応する領域を図示する一例である。

【0013】

【図9】図５の変換された画像を示す。

【0014】

【図10】二つの画像を共にスティッチするための最小コストシームを見つけるための方法のフローチャートである。

【0015】

【図11】最終シームを決定するための時間軸スムージングのための方法のフローチャートである。

【0016】

【図12】最終シームが選ばれる方式に、変位閾値がどのように影響を及ぼし得るかの例を示す。

【0017】

【図13】重複領域における最小コストシームを決定するための方法のフローチャートである。

【0018】

【図14】ブレンディングルックアップテーブル（ＬＵＴ）の一例である。

【0019】

【図15】死角ゾーンの例である。

【0020】

【図16】一つの死角ゾーンにおける物体の一例である。

【0021】

【図17】図２のＲＳＶＰシステムにおいて用いられ得るシステムオンチップ（ＳＯＣ）の簡略化ブロック図である。

【発明を実施するための形態】

【0022】

種々の図面における同様の要素は、一貫性のため、同様の参照数字によって示される。

【0023】

実施形態は、車両の後方視野（ＦＯＶ）の単一のリアビュースティッチされたパノラマを生成することに関し、車両の後方視野（ＦＯＶ）とは、少なくとも、３つのミラーが提供し得るＦＯＶである。パノラマは、単一ディスプレイ上に、車両の運転者に対して提供され得、それゆえ、運転者が３つのミラー間で注意を移す必要性をなくす。４つのカメラ、すなわち、典型的な外側搭載ミラーの代わりとなるように車両の各側部に一つずつ、及び、典型的な中央内部リアビューミラーの代わりとなるように車両の後方のステレオペアのカメラ、が用いられ得る。側部カメラは、典型的なサイドミラー位置によって生じる典型的な死角の範囲を縮小するように配置され得る。車両の後方ＦＯＶのシームレスなパノラマを生成するために、二つの側部カメラからの画像が、ステレオペアの基準カメラからの画像と融合またはスティッチされる。

【0024】

側部及び後方画像を共にスティッチしてシームレスなパノラマを形成するために、これらの画像は、同じ可視化座標フレームに変換される。従って、各画像がまるで、後方に向いた、車両の上方及び前方に位置する同じ仮想カメラを用いて捕捉されたかのように現れるように、画像は、システムキャリブレーションパラメータに基づいて個別に変換される。

【0025】

画像が変換された後、変換された画像は、物体表現における視覚的歪みの影響及び不連続性を最小化するために選択される境界において共にスティッチされる。画像を融合するための最適の境界又はシームは、ステレオカメラペアからの奥行き情報を用いて決定される。また、経時的なシーム変化間の遷移を滑らかにするために、時間軸スムージングがシーム選択に適用され得る。幾つかの実施形態において、パノラマを形成するために画像を共にスティッチするための重みを特定する単一ブレンディングルックアップテーブル（ＬＵＴ）が、計算された最適のシームラインを用いて生成される。

【0026】

車両上のカメラ構成は、車両のリアバンパーのいずれのコーナーにおいても死角ゾーンをつくり得る。物体がバンパーのすぐ隣にある場合、そうした物体は、ただ一つのカメラのＦＯＶに在り得る。この場合、画像のスティッチは、結果として得られるパノラマから完全に物体を除き得、又は、物体は、ゴーストのように現れ得、すなわち、小さなオフセットを備えて再現され得る。幾つかの実施形態において、死角ゾーンにおける物体の存在を検出するために、別のセンサモダリティが用いられる。物体が検出された場合、そうした物体の少なくとも一部がパノラマにおいて可視であるように、シーム選択は、物体が存在する画像をより多く含むようにバイアスされる。

【0027】

図１は、リアスティッチされたビューパノラマ（ＲＳＶＰ）システムの実施形態を含む例示の車両１００の上面図である。ＲＳＶＰシステム（詳細に図示せず）は、車両１００上の異なる位置に搭載される４つのカメラ１０２、１０４、１０６、１０８に結合される。ＲＳＶＰシステムは、カメラによって捕捉されたビデオストリームを受け取るため、及び、ビデオストリームを処理して車両１００の運転者に表示されるリアビューパノラマを生成するために、ハードウェア及びソフトウェアを含む。

【0028】

カメラ１０２及び１０８は、サイドビューミラーを置換するように車両１００の両側に搭載され、カメラ１０４及び１０６は、中央内部リアビューミラーを介して典型的に見られるビューを捕捉するために、車両１００の後方上に搭載されるステレオペアである。従って、カメラ１０２は、本願においてＲ_{ｍｉｒｒｏｒ}と呼ぶこともある右ミラー画像を捕捉し、カメラ１０８は、本願においてＬ_{ｍｉｒｒｏｒ}と呼ぶこともある左ミラー画像を捕捉し、カメラ１０４は、本願においてＲ_{ｓｔｅｒｅｏ}と呼ぶこともある右ステレオ画像を捕捉し、カメラ１０６は、本願においてＬ_{ｓｔｅｒｅｏ}と呼ぶこともある左ステレオ画像を捕捉する。カメラ１０２、１０４、１０６、１０８は、各々がそれぞれの後方視野（ＦＯＶ）角度を有するように配置される。任意の適切なＦＯＶ角度が用いられ得る。幾つかの実施形態において、ＦＯＶ角度は５０～６０度の範囲である。

【0029】

本願においてより詳細に説明されるように、出力パノラマは、カメラ１０２、１０８からの画像と、ステレオカメラ１０４、１０６からの基準カメラからの画像との組み合わせである。本願において基準カメラが左ステレオカメラ１０６であると想定して実施形態が説明される。基準カメラが右ステレオカメラ１０４である実施形態も可能である。また、カメラ１０４、１０６からの奥行き情報は、パノラマを形成するために、カメラ１０２、１０６、１０８からの画像をスティッチするためのシームラインを決定するために用いられる。

【0030】

図２は、図１の車両１００に含まれる例示のＲＳＶＰシステム２０２の簡略化されたブロック図である。ＲＳＶＰシステム２０２は、カメラ１０２～１０８及びディスプレイデバイス２０８に、並びに、メモリ２０６に結合されるシステムオンチップ（ＳＯＣ）２０４を含む。ＳＯＣ２０４は、リアルタイム画像生成に適切な任意のＳＯＣであり得る。適切なＳＯＣの幾つかの例は、テキサス・インスツルメンツ・インコーポレイテッドから入手可能なＴＤＡ２ｘ及びＴＤＡ３ｘ ＳＯＣのファミリーである。メモリ２０６は、ランダムアクセスメモリ、リードオンリメモリ、及び／又はフラッシュメモリなど、メモリ技術の任意の適切な組み合わせであり得る。

【0031】

メモリ２０６は、ＳＯＣ２０４の一つ又は複数のプロセッサ上で実行され得る、ＲＳＶＰシステム２０２の実行可能なソフトウェア命令をストアする。実行可能なソフトウェア命令は、本願において説明されるようなリアビューパノラマ画像生成の実施形態の命令を含む。ディスプレイデバイス２０８は、リアビューパノラマを運転者に表示するように構成される。例えば、ディスプレイデバイス２０８は、典型的な内部中央リアビューミラーのロケーションに設置され得る。

【0032】

３つの画像からパノラマを生成するために、外因性パラメータ、すなわち、画像を提供する各カメラ１０２、１０６、１０８のカメラロケーション及び方位が必要とされる。本願においてより詳細に説明されるように、各画像は、まるで画像が、任意のロケーション及び方位を有する仮想カメラによって捕捉されたかのように現れるように、外因性パラメータを用いて変換される。この仮想カメラは、生成されるパノラマのための捕捉デバイスであると考えられる。３つのカメラ１０２、１０６、１０８の各々のための外因性パラメータを決定するために、チャートベースのキャリブレーションプロセスがオフラインで、例えば工場において、行われ得る。

【0033】

図３を参照すると、幾つかの実施形態において、キャリブレーションを行うために、既知の寸法及び相対的ロケーションを有する３つのキャリブレーションチャート３００、３０２、３０４のセットが、車両１００の周りの地面と同一平面上に置かれている。車両１００は、一つの完全な四角パターンが各カメラ１０２～１０８にとって可視であるように、キャリブレーションチャート３００～３０４と整合される。それぞれのカメラ画像における各チャートの８つのコーナーのピクセル、すなわち、特徴ピクセル、のロケーションの決定が、カメラをキャリブレートするための既知のワールド座標との充分な対応を提供する。というのも、各捕捉された画像における各コーナーが、画像面における関連する２次元（２Ｄ）座標と現実世界の３次元座標とを有するからである。画像においてコーナーピクセルを見つけるための例示の技術は、２０１６年１０月１４日に出願された、米国特許出願公開番号ＵＳ２０１７／０１２４７１０において説明されており、参照により本明細書に組み込まれる。

【文献】米国特許出願公開番号ＵＳ２０１７／０１２４７１０

【0034】

幾つかの実施形態において、左及び右ステレオカメラ間の距離又はベースラインが必要とされるので、全ての４つのカメラに対してキャリブレーションが行われる。幾つかの実施形態において、ステレオカメラペアは、固定されたアセンブリにおいて事前キャリブレートされ得、ベースラインは既知である。そのような実施形態において、右ステレオカメラに対してキャリブレーションは行われない。

【0035】

これらの対応を用いて、カメラ画像面からワールド座標へのホモグラフィは、直接線形変換を用いて推定され得る。また、ホモグラフィ行列を直交サブ空間上に投影することが、ワールド座標システムにおけるカメラの外因性姿勢を提供する。チャート上のピクセルが、物理的寸法を用いて測定されるので、同じ物理的解釈が、カメラの姿勢推定において遷移される。幾つかの実施形態において、推定を改善するために付加的な非線形最適化が適用される。例えば、既知のレーベンバーグ・マーカートアプローチの実施形態が用いられ得る。

【0036】

図４は、例えば図２のＳＯＣ２０４上において実装され得る、リアスティッチされたビューパノラマの生成のための方法のフローチャートである。ディスパリティマップが、ステレオカメラ１０４、１０６からの左及び右ステレオ画像に基づいて生成される（４０４）。ディスパリティマップを生成するために任意の適切な技法が用いられ得る。

【0037】

各カメラ１０２、１０６、１０８の後方視点（perspective）からの車両１００の後方シーンの画像は、それぞれのカメラの内因性及び外因性パラメータを用いて仮想ワールドビューに変換される（４０２）。この変換は、車両の少し離れた後ろに位置する平坦面によって表される、車両１００の周りの仮想ワールドを想定し、各カメラからの適切なＦＯＶをこの平坦面上に投影する。より具体的には、変換は、画像を仮想カメラ画像に投影するために、仮想カメラパラメータを用いて各画像ピクセルを車両１００の後ろの平坦面上に投影することを含む。また、左ステレオカメラ１０６からの画像に適用される同じ変換は、ディスパリティの仮想カメラ「ビュー」を取得するためにディスパリティマップに適用される。画像変換について、図５～図９を参照して下記でより詳細に説明する。

【0038】

一般に、仮想カメラパラメータが、車両に基づいて決定され得る。物理カメラと同じ座標フレームにおけるロケーション及び視野角が必要とされる。例えば、仮想カメラ位置が車両の前方から見た視点を有するように、仮想カメラ位置は、０．５メートル上方に上げ、及び、０．５メートル前方に移動させた、左及び右カメラの中間ピクセルにおいて固定され得る。また、水平地面からの仮想カメラの角度は、－３０度で固定され得る。仮想カメラ角度及び位置は、車両の運転者が、視野ニーズに合致するように仮想カメラパラメータを変更し得る、物理的リアビューミラーを調節することに非常に似た、ユーザパラメータであり得る。

【0039】

その後、隣接する画像が結合されるべき最適の境界を決定するために、シーム検出が行われる（４０６）。シーム検出は、変換された画像及び変換されたディスパリティマップを用いて行われる。シーム検出の結果は、パノラマを生成するためにシームにおいて画像を結合するためのアルファブレンディング係数を特定する重みを有する、出力パノラマと同じサイズのブレンディングルックアップテーブル（ＬＵＴ）である。シーム検出及びＬＵＴ生成は、図１０～図１４を参照して、下記でより詳細に説明される。

【0040】

その後、画像は、ＬＵＴにおける重みを画像に適用することによって出力パノラマを形成するために、共にスティッチされる（４０８）。画像のスティッチは下記でより詳細に説明される。

【0041】

次に、変換、シーム検出、及びスティッチが、より詳細に説明される。図５は、カメラ１０２～１０８などの右カメラ、ステレオカメラペア、及び左カメラからの捕捉された画像５０２～５０８の例示のセットと、右カメラ、左ステレオカメラ、及び左カメラからの画像から生成されたパノラマ５１０とを示す。変換、シーム検出、及びスティッチは、画像のこの例示のセットに基づいて下記で説明される。左カメラ及び右カメラからの画像は、本願においてそれぞれＬ_{ｍｉｒｒｏｒ}及びＲ_{ｍｉｒｒｏｒ}と呼ぶことがあり、ステレオカメラペアからの画像は、本願においてＬ_{ｓｔｅｒｅｏ}及びＲ_{ｓｔｅｒｅｏ}と呼ぶことがある。

【0042】

上記したように、パノラマは、車両の後ろの垂直平坦面上に投影される。それゆえ、単一射影変換が、画像Ｌ_{ｍｉｒｒｏｒ}、Ｌ_{ｓｔｅｒｅｏ}、及びＲ_{ｍｉｒｒｏｒ}の各々に対して計算され得る。各射影変換は、キャリブレーションの間、対応するカメラのために推定された内因性及び外因性パラメータから計算される。各射影変換は、変換された画像Ｌ’_{ｍｉｒｒｏｒ}、Ｌ’_{ｓｔｅｒｅｏ}、及びＲ’_{ｍｉｒｒｏｒ}を取得するためにそれぞれの画像に適用される。また、Ｌ_{ｓｔｅｒｅｏ}のために計算される射影変換は、ディスパリティマップＤを変換して、変換されたディスパリティマップＤ’を生成するために用いられる。図６は、右ミラー画像５０２を仮想ディスプレイ面５１０上に投影する例示の可視化である。

【0043】

図７は、或る画像に対する射影変換を計算するための方法のフローチャートである。画像に対する射影変換は、物理カメラ外因性パラメータ、カメラからの平坦面の距離、及び仮想カメラの位置に基づいており、これらの全てが、物理カメラがキャリブレートされた後に既知であるので、この方法は工場キャリブレーションの一部として行われ得る。初期的に、変換された画像の領域中央が決定される（７００）。パノラマの既知の寸法ｗ×ｈと、左カメラがパノラマの左３分の１に投影し、左ステレオカメラがパノラマの中央に投影し、及び、右カメラがパノラマの右３分の１に投影するおおよその制約とに基づいて、画像に対応する領域の中央ピクセル（ｘ_ｒｃ、ｙ_ｒｃ）が決定され得る。

【0044】

次に、変換された画像において、中央ピクセル（ｘ_ｒｃ、ｙ_ｒｃ）からの小さなオフセットΔ_{ｏｆｆｓｅｔ}における４つの非同一線上のピクセルが選択される（７０２）。ピクセルは、３つのピクセルが同一線上にないように選択される。Δ_{ｏｆｆｓｅｔ}のための任意の適切な値が用いられ得る。一般に、最終射影変換は、中央ピクセルからの距離の増加と共に改善される。それゆえ、Δ_{ｏｆｆｓｅｔ}の可能な最大値が望ましい。例えば、１９２０×４８０のパノラマに対して、Δ_{ｏｆｆｓｅｔ}の値は２４０であり得る。図８は、１９２０×４８０であるパノラマにおける左、中央、及び右画像に対応する領域を図示するシンプルな例である。各領域の中央ピクセル、及び４つの非同一線上のピクセルが示されている。

【0045】

再び図７を参照すると、４つのピクセルは、仮想カメラパラメータを用いてワールド座標に投影される（７０４）。その後、ワールドピクセルが画像ピクセルに投影される（７０６）。仮想カメラ位置及び方位は既知であり、平坦面のロケーションは既知である。この情報は、仮想カメラ画像における４つのピクセルを、平坦面又はワールドに投影するために用いられる。また、平坦面マップ上のピクセルが入力カメラ画像にどのようにマップするかも、カメラキャリブレーションに基づいて既知である。それゆえ、入力画像における４つのピクセルに対する仮想カメラ画像の最終出力上の４つのピクセル間に、或る関係が存在する。その後、画像ピクセルを、変換されたピクセルにマップする射影変換行列が計算される（７０８）。出力画像から入力画像までの４つのピクセルのための対応を考慮して、射影変換行列は、ピクセル対応の４つのセットを用いて生成され得る。

【0046】

図９は、図５のそれぞれの画像５０２、５０４、５０８に対応する変換された画像、及び、各変換された画像における注目のＦＯＶ９０２、９０４、９０８を示す。ＦＯＶ９０２、９０４、９０８は、シーン検出によって決定されるシームに沿ってスティッチすることによってパノラマを形成するために結合される。また、図９は、ステレオ画像５０４、５０６のために生成されるディスパリティマップ７００、及び、変換されたディスパリティマップ９０６を示す。

【0047】

パノラマは本質的に、予め決定された奥行きを有する平坦面上への投影であるので、シームが表面距離において物体を貫通するようにシームが選択される場合、こういった物体は、出力パノラマにおいてシームレスにスティッチして現れる。従って、各捕捉された画像から仮想面へ投影するプロセスにおいて、仮想面上にあり、隣接するカメラによって捕捉されたワールドロケーションが、仮想ビューにおける同じワールドロケーションに再び投影され、それゆえ、整合しているように見える。ステレオ情報は、投影面に近接するピクセルをワールド空間に置くために用いられ得、そのため、それらの対応する画像ピクセルを通るシームが計算され得る。

【0048】

図１０は、二つの画像を共にスティッチするための最小コストシームを見つけるための方法のフローチャートである。この方法は、左カメラ画像及び左ステレオ画像をスティッチするための最小コストシームと、左ステレオ画像及び右カメラ画像をスティッチするための最小コストシームとを見つけるために用いられ得る。最小コストシームのための探索は、重複領域において行われる。左カメラ画像と左ステレオ画像との間、及び、左ステレオ画像と右カメラ画像との間の重複領域は、ＲＳＶＰシステムのキャリブレーションの一部として決定され得る。

【0049】

この方法において、二つの候補シームが決定される。すなわち、平坦面ディスパリティを、変換されたディスパリティマップに一致させることによって見つかる最小コストシームと、地面ディスパリティを、変換されたディスパリティマップに一致させることによって見つかる最小コストシームとが決定される。これら二つの最小コストを有するシームは、スティッチするための最終シームとして選択される。地面に沿ったシームは、平坦面の奥行きに有意な物体がない場合を、すなわち、投影面ディスパリティと変換されたディスパリティマップとの間に充分な一致が存在しない場合、を可能にするように考慮される。

【0050】

初期的に、ワールドディスパリティマップＤ_Ｗが計算される（１０００）。従って、ステレオカメラに関連するピクセルの既知のロケーションを用いて、仮想平坦面上の各ピクセルに対して、ディスパリティが計算される。ディスパリティ値が次のように計算され得る。式
Ｚ＝Ｂ×ｆ／ｄ
は、ステレオ画像を考慮して奥行きを計算するために用いられ得、ここで、Ｂは二つのカメラ間の距離であり、ｆはカメラ焦点距離であり、ｄはディスパリティであり、Ｚは所与のロケーションにおける奥行きである。この式は、ステレオカメラ画像におけるロケーションの奥行きを推定するために用いられる。平坦面上のディスパリティを計算するために、平坦面は、ステレオカメラからの特定の既知の奥行きにおいて定義され、すなわち、画像がスティッチされるべき距離は予め決められている。それゆえ、ディスパリティ値は、
ｄ＝Ｂ×ｆ／Ｚ
によって計算され得、ここで、Ｚは既知であり、ｄは既知でない。

【0051】

その後、Ｄ_Ｗにおける対応するディスパリティ値を、変換されたディスパリティマップＤ’と比較することによって、ワールドディスパリティ差異マップＤ_Δが計算される（１００２）。具体的には、Ｄ_Δは、
Ｄ_Δ＝｜Ｄ’－Ｄ_Ｗ｜
に従って、Ｄ_Ｗ及びＤ’における対応するディスパリティ値間の差の大きさをとることによって計算され得る。図１３を参照してより詳細に説明されるように、シーム候補のコストは、Ｄ_Δにおけるピクセルディスパリティのセットによって定義される。

【0052】

その後、重複領域における最小コストワールドシームｓ_{ｍｉｎ，Ｗ}が決定される（１００４）。従って、ワールドディスパリティ差異マップＤ_Δにおけるピクセルディスパリティの対応するセットによって決定されたように最小コストを有するシームを見つけるために、重複領域における候補シームが探索される。シームｓが、重複領域におけるパノラマの頂部から底部までの線形経路におけるピクセルのセットによって特定される。それゆえ、シームが、パノラマにおいて行毎に一つのピクセルを含む。最小コストシームを見つけるための方法が、図１３を参照して説明される。

【0053】

その後、地面ディスパリティ差異マップＤ_Δが、予め決定された地面ディスパリティマップＤ_Ｇにおける対応するディスパリティ値を、変換されたディスパリティマップＤ’と比較することによって計算される（１００６）。具体的には、Ｄ_Δは、
Ｄ_Δ＝｜Ｄ’－Ｄ_Ｇ｜
に従って、Ｄ_Ｇ及びＤ’における対応するディスパリティ値間の差の大きさをとることによって計算され得る。図１３を参照してより詳細に説明されるように、シーム候補のコストは、Ｄ_Δにおけるピクセルディスパリティのセットによって定義される。

【0054】

その後、重複領域における最小コスト地面シームｓ_{ｍｉｎ，Ｇ}が決定される（１００８）。従って、ワールドディスパリティ差異マップＤ_Δにおけるピクセルディスパリティの対応するセットによって決定されたように最小コストを有するシームを見つけるために、重複領域における候補シームが探索される。最小コストシームを見つけるための方法が、図１３を参照して説明される。

【0055】

全体的な最小コストシームｓ_ｍｉｎが、地面シームＳ_{ｍｉｎ，Ｇ}及びワールドシームｓ_{ｍｉｎ，Ｗ}から選択され（１０１０）、それゆえ、最低コストを有するシームが、
ｓ_ｍｉｎ＝ｍｉｎ（ｓ_{ｍｉｎ，Ｗ}，ｓ_{ｍｉｎ，Ｇ}）
に従って、全体的な最小コストシームとして選択される。

【0056】

その後、最終シームｓ_ｔを決定するために、時間軸スムージングが最小コストシームｓ_ｍｉｎに適用される（１０１２）。時間軸スムージングのための方法が、図１１を参照して説明される。新たなシームが各パノラマに対して個別に計算される場合、車両の運転者にとって気を散らすもの及び方向を失わせるものとなるおそれがある大きなジャンプ及びジッタが、連続するパノラマ間のスティッチ境界に存在し得るので、時間軸スムージングが適用される。時間的一貫性を保つために、前のパノラマにおけるシームロケーションが、シーム移動ｐ_ｍｉｎ及びｐ_ｍａｘに対する最小及び最大距離閾値と共に考慮される。最小距離閾値ｐ_ｍｉｎはジッタを避けるために用いられ、最大距離閾値ｐ_ｍａｘは、前のパノラマにおけるシームから、現在のパノラマのためのシームへの大きなジャンプを避けるために用いられる。ｐ_ｍｉｎ及びｐ_ｍａｘの任意の適切な値が用いられ得る。幾つかの実施形態において、値は経験的に選ばれる。

【0057】

図１１は、最終シームｓ_ｔを決定するための時間軸スムージングのための方法のフローチャートである。初期的に、最小コストシームｓ_ｍｉｎにおける全てのピクセルが、前のシームｓ_ｔ－１のｐ_ｍｉｎピクセル内にあるかどうかについて、判定が成される（１１００）。全てのピクセルがｐ_ｍｉｎピクセル内にある場合、最終シームｓ_ｔは、前のシームｓ_ｔ－１に設定される（１１０２）。そうでない場合、最小コストシームｓ_ｍｉｎにおける任意のピクセルが、前のシームｓ_ｔ－１から離れてｐ_ｍａｘピクセルより大きいかどうかについて、判定が成される（１１０４）。どのピクセルも、前のシームｓ_ｔ－１から離れてｐ_ｍａｘピクセルより大きくない場合、最終シームｓ_ｔは、最小コストシームｓ_ｍｉｎに設定される（１１０６）。

【0058】

そうでない場合、最終シームｓ_ｔを決定するために、最小コストシームｓ_ｍｉｎと前のシームｓ_ｔ－１との間の最大ピクセル変位がｐ_ｍａｘであるように、最小コストシームｓ_ｍｉｎがスケーリングされる（１１０８）。より具体的には、各シーム：

を含むピクセルを考える。最終シームｓ_ｔのｘ座標は、

に従って、最小コストシームｓ_ｍｉｎをスケーリングすることによって計算され得る。ここで、ｈ_ＲＳＶＰはパノラマの高さである。

【0059】

図１２は、最終シームｓ_ｔが選ばれる方式に、変位閾値がどのように影響を及ぼし得るかの例を示す。左の例が示すように、最小コストシームｓ_ｍｉｎの全てのピクセルが、前のシームｓ_ｔ－１のｐ_ｍｉｎピクセル内にあるとき、前のシームは、ジッタを最小にするためにスティッチに用いられ、すなわち、ｓ_ｔ＝ｓ_ｔ－１である。右の例が示すように、最小コストシームｓ_ｍｉｎにおけるピクセルが、前のシームｓ_ｔ－１から離れてｐ_ｍａｘピクセルより多い場合、最小コストシームｓ_ｍｉｎは、貴重なシームｓ_ｔ－１から最小コストシームｓ_ｍｉｎへの大きなジャンプを避けるためにスケーリングされる。

【0060】

図１３は、重複領域における最小コストシームを決定するための方法のフローチャートである。この方法は、地上における、すなわち平坦面上の、最小コストシームと、地面上の最小コストシームとを見つけるために用いられ得る。この方法に対する入力が、ディスパリティ差異マップＤ_Δであり、ディスパリティ差異マップＤ_Δは、地面ディスパリティマップＤ_Ｇと変換されたディスパリティマップＤ’との間のディスパリティ差異マップ、又は、ワールドディスパリティ差異マップＤ_Δと変換されたディスパリティマップＤ’との間のディスパリティ差異マップであり得る。

【0061】

初期的に、重複領域における垂直シーム候補のコストが計算される（１３００）。従って、重複領域における予め決定された垂直シームで開始し、前の垂直シームからの予め決定されたステップサイズ、例えば、１６ピクセル、における重複領域内の垂直シームのためのコストが計算される。任意の適切なステップサイズが、用いられ得、最適の計算性能のために選択され得る。例えば、予め決定された垂直シームは、重複領域の左側に在り得る。予め決定された垂直シームに対して、その後、予め決定された垂直シームの右に１６ピクセルである垂直シームに対して、その後、予め決定された垂直シームの右に３２ピクセルである垂直シーム等に対して、コストが決定される。最適の垂直シーム候補、すなわち、最小コストを有する垂直シームが、候補垂直シームから選択される（１３０２）。

【0062】

その後、重複領域内の選択された最適の垂直シーム候補の、例えば、±１６ピクセル内の小さな近隣内のシーム候補のコストが計算される（１３０４）。任意の適切な近隣サイズが用いられ得る。幾つかの実施形態において、近隣は、選択された垂直シーム候補の両側の垂直シーム間にある。小さな近隣の頂部における各ピクセルに対して、そうしたピクセルから、近隣における底部ピクセルの各々までのシームのコストが計算される。最小コストを有する小さな近隣におけるシームは、最小コストシームとして選択される（１３０６）。

【0063】

シーム候補ｓ＝｛（ｘ_ｉ、ｙ_ｉ）｝のコストは、変換されたディスパリティマップＤ’における有効な対応ディスパリティ値の数によって正規化された、シーム候補ｓにおけるピクセルに対応するディスパリティ差異マップＤ_Δにおけるディスパリティ値の合計として計算され得る。従って、離散化されたピクセル

を有する候補シームｓのコストｃ_ｓは、

によって計算され得、ここで｜Ｄ’（ｓ）＞０｜は、Ｄ’において有効なディスパリティ値を有するシーム候補ｓにおけるピクセルの数であり、ｈ_ＲＳＶＰは、ピクセルにおけるパノラマの高さである。

【0064】

幾つかの実施形態において、閾値ディスパリティ値Δ_Ｗより小さいディスパリティ推定を備える表面ピクセルのみがコストに貢献し得るように、コスト計算において或る制約が課される。Δ_Ｗの任意の適切な値が用いられ得る。幾つかの実施形態において、値は経験的に決定され、スティッチ正確性要件に依存し得る。この制約が無い場合、地面が、車両運転のシナリオの大部分において支配的な特徴なので、シーム選択は、地面に沿ってシームを選択することにバイアスされる。閾値ディスパリティ値Δ_Ｗを用いて、候補シームｓのコストｃ_ｓは

によって計算され得る。

【0065】

二つの重複領域の各々に対して最終シームｓ_ｔが選ばれた後、パノラマと同じサイズの単一ブレンディングＬＵＴが、画像のペアを結合するためのアルファブレンディング係数を特定する重みを用いて計算される。幾つかの実施形態において、各アルファ値が、最終シームｓ_ｔにおける各ピクセルに対して０．５であり、また、シームｓ_ｔ辺りの予め決定されたブレンディング幅にわたって１から０に線形に減少するように、アルファ値が計算される。適切なブレンディング幅が経験的に決定され得る。また、その他の適切なアルファ値が用いられ得る。

【0066】

左シームが常にパノラマの左半分にあたり、右シームが常にパノラマの右半分にあたるので、単一ブレンディングＬＵＴが用いられ得る。それゆえ、ブレンディングＬＵＴはこれらの想定の下で生成され得、重みは、結合されるべき画像の各ペアの左画像に関して定義され得る。図１４は、ブレンディングＬＵＴの一例であり、両シームライン上の各ピクセルの重みは０．５である。線１４００、１４０２は、シームロケーションを示す。

【0067】

｛Ｗ_ｉｊ，ｉ∈｛１，．．．，ｈ_ＲＳＶＰ｝，ｊ∈｛１，．．．，ｗ_ＲＳＶＰ｝｝
によって表されるブレンディングＬＵＴを考えると、パノラマを形成するための画像のスティッチは、それぞれ、パノラマＲＳＶＰの左及び右半分に対して、次の式に従って行われ得る。

に対して、

であり、

に対して、

であり、ｗ_ＲＳＶＰは、ピクセルにおけるパノラマの幅である。

【0068】

このカメラ構成は、従来のリアビューミラー構成に起因する従来の死角をなくすが、上述のように、車両の後方バンパーの両コーナーにおいて死角をつくり得る。死角ゾーンの一つに物体がある場合、これらのエリアにおける物体がただ一つの画像に現れ得るように、上述の方法は、表示されるパノラマにおいてそうした物体を完全になくすシームを選択し得る。死角ゾーンのロケーションは、概して、図１５の左の例における星印によって示される。死角ゾーンは、図１５の右の例に図示されるように、本願においてｂ_１１、ｂ_１２、ｂ_２１、及びｂ_２２と呼ぶことがある。

【0069】

幾つかの実施形態において、物体検出のためのモダリティ（例えば、レーダー、ライダー、超音波、コンピュータビジョン等）は、図１０の方法のシーム検索に、これらの死角ゾーンにおける物体の存在に関する情報を提供する。より具体的には、或る物体が死角ゾーンにおいて検出された場合、検出された物体を含む画像に対応する最終シームは、物体の少なくとも一部がパノラマにおいて可視であることを保証するためにバイアスされる。バイアスは、次のように行われ得る。物体がｂ_１１又はｂ_２２において検出される場合、最終シームをパノラマの中央に向かってバイアスする。物体がｂ_１２において検出される場合、最終シームをパノラマの左に向かってバイアスする。物体がｂ_２１において検出される場合、最終シームをパノラマの右に向かってバイアスする。任意の適切なバイアスが用いられ得る。幾つかの実施形態において、バイアスは、前のシームロケーションが重複領域のそれぞれの端部に移動するように設定され、そのため、如何なる物体が検出されても、新たなシームは、端部から著しく移動しない。

【0070】

図１６は、死角ゾーンｂ_１１における物体の一例である。右ミラー画像Ｒ_{ｍｉｒｒｏｒ}は、左ステレオ画像Ｌ_{ｓｔｅｒｅｏ}において可視でない、ゾーンｂ_１１に立っている人物を捕捉する。パノラマ１６００に図示されるように、画像は、その人物が可視でないようにスティッチされ得る。パノラマ１６０２に図示されるように、物体検出モダリティが人物を検出する場合、Ｒ_{ｍｉｒｒｏｒ}とＬ_{ｓｔｅｒｅｏ}との間のシームは、人物の少なくとも一部がパノラマにおいて可視であるように、人物から離れてパノラマの中央に向かってバイアスされ得る。

【0071】

図１７は、図２のＳＯＣ２０４として用いられ得る例示のマルチプロセッサシステムオンチップ（ＳＯＣ）１７００の高レベルブロック図である。特に、例示のＳＯＣ１７００は、テキサス・インスツルメンツ・インコーポレイテッドから入手可能なＴＤＡ３Ｘ ＳＯＣの実施形態である。本願において、ＳＯＣ１７００の構成要素の高レベルの説明が提供される。例示の構成要素のより詳細な説明は、Ｍ．Ｍｏｄｙらの「ＴＩのＴＤＡ３Ｘプラットフォームに対する高性能フロントカメラＡＤＡＳ応用例」、Proceedings of 2015 IEEE 22nd International Conference on High Performance Computing, December 16-19, 2017, Bangalore, India, 4176-463、及び、「先進運転支援システム（ＡＤＡＳ）テクニカルブリーフのためのＴＤＡ３ｘ ＳＯＣプロセッサ」、 Texas Instruments, SPRT704A, October, 2014, pp. 1-6に記載されており、これらは参照により本願に組み込まれる。

【文献】M. Mody, et al., "High Performance Front Camera ADAS Applications on TI’s TDA3X Platform," Proceedings of 2015 IEEE 22nd International Conference on High Performance Computing, December 16-19, 2015, Bangalore, India, pp. 4176-463

【文献】"TDA3x SOC Processors for Advanced Driver Assist Systems (ADAS) Technical Brief," Texas Instruments, SPRT704A, October, 2014, pp. 1-6

【0072】

ＳＯＣ１７００は、高速相互接続１７２２を介して結合される、デュアル汎用プロセッサ（ＧＰＰ）１７０２、デュアルデジタル信号プロセッサ（ＤＳＰ）１７０４、ビジョンプロセッサ１７０６、及び画像信号プロセッサ（ＩＳＰ）１７２４を含む。ＳＯＣ１７００はさらに、ダイレクトメモリアクセス（ＤＭＡ）構成要素１７０８、外部カメラ１７２４に結合されるカメラ捕捉構成要素１７１０、ディスプレイ管理構成要素１７１４、例えば、コンピュータ読み出し可能媒体といったオンチップランダムアクセスメモリ（ＲＡＭ）１７１６、及び種々の入力／出力（Ｉ／Ｏ）周辺機器１７２０を含み、全てが相互接続１７２２を介してプロセッサに結合される。また、ＳＯＣ１７００はセーフティ構成要素１７１８を含み、セーフティ構成要素１７１８は、オートモーティブ安全要件の遵守を可能にするため、安全性に関連する機能性を含む。そのような機能性には、データの周期冗長検査（ＣＲＣ）、ドリフト検出のためのクロックコンパレータ、エラーシグナリング、ウィンドウウォッチドッグタイマ、及び、損傷や故障に対するＳＯＣの自己検査のためのサポートが含まれ得る。本願において説明されるようなリアビューパノラマ画像生成の実施形態を実装するソフトウェア命令が、メモリ１７１６にストアされ得、ＳＯＣ１７００の一つ又は複数のプログラム可能なプロセッサ上で実行し得る。

【0073】

その他の実施形態
本願において説明される範囲から逸脱しないその他の実施形態が考え出され得る。

【0074】

例えば、白い四角が一層大きな黒い四角の中央に配置され、そうした黒い四角が一層大きな白い四角の中央に配置されてキャリブレーションチャートが構成される実施形態を、本願において説明してきた。しかし、その他の適切なキャリブレーションチャートが用いられる実施形態が可能である。その他の適切なキャリブレーションチャートの幾つかの例を、上記で引用した米国特許出願番号２０１７／０１２４７１０で見ることができる。

【0075】

別の例において、仮想ワールドビューが平坦面であると想定される実施形態を本願において説明してきた。しかし、円筒形の表面など、別のワールド表現が用いられる実施形態が可能である。

【0076】

別の例において、ブレンディング幅が予め決められた実施形態を本願において説明してきた。しかし、ブレンディング幅がシーンの知識に基づいて動的に変化し得る実施形態が可能である。

【0077】

別の例において、パノラマを生成するために用いられるディスパリティマップが、ステレオ画像の前のペアに対して計算されるディスパリティマップである実施形態が可能である。

【0078】

別の例において、コスト計算が、地面シームよりも表面シームの選択に有利であるようにバイアスされる実施形態を本願において説明してきた。しかし、コスト計算が地面シームを選択するようにバイアスされる実施形態が可能である。

【0079】

別の例において、仮想カメラ位置が、ジョイスティック又はその他の入力機構を用いて、最終パノラマを調整するために車両の運転中に車両の運転者によって変更され得る実施形態が可能である。そのような実施形態において、射影変換パラメータは、仮想カメラ位置の変化に応答して変更される。

【0080】

別の例において、重複領域に最小コストシームを配置するために粗－微細探索が用いられる実施形態を本願において説明してきた。しかし、重複領域における全ての可能シームの探索など、別の探索アプローチが用いられる実施形態が可能である。

【0081】

別の例において、パノラマと同じサイズの単一ブレンディングＬＵＴが、計算され、３つの画像を共にスティッチするために用いられる実施形態が本願において説明されている。しかし、二つのブレンディングＬＵＴが生成され、一つが各重複領域のためのものである実施形態が可能である。そのような実施形態において、重複領域にない画像におけるピクセルは、それぞれの重複領域におけるピクセルに適用される出力パノラマ及びブレンディングＬＵＴにコピーされ得る。

【0082】

本願において説明される方法の全て又は一部を実装するソフトウェア命令が、コンピュータ読み出し可能媒体に初期的にストアされ得、一つ又は複数のプロセッサによって搭載及び実行され得る。場合によっては、ソフトウェア命令は、取り外し可能なコンピュータ読み出し可能媒体や、別のデジタルシステム上のコンピュータ読み出し可能媒体からの伝送路等を介して分布され得る。コンピュータ読み出し可能媒体の例には、リードオンリメモリデバイスなどの書き込み不可記憶媒体、ディスク、フラッシュメモリ、メモリなどの書き込み可能記憶媒体、又はそれらの組み合わせが含まれる。

【0083】

本願において、方法の工程が順次提供及び説明され得るが、図示され及び／又は本願において説明される工程の一つ又は複数が、同時に行われてもよく、組み合わされてもよく、及び／又は、図示され及び／又は本願において説明される順とは異なる順で行われてもよい。従って、実施形態は、図示され及び／又は本願において説明される工程の特定の順に限定されない。

【0084】

本説明において、「結合する」という用語及びその派生語は、間接的、直接的、光学的、及び／又はワイヤレスの電気接続を意味する。例えば、一つのデバイスが別のデバイスに結合する場合、そうした接続は、直接的電気接続を介するもの、他のデバイス及び接続を介する間接的電気接続を介するもの、光学的電気接続を介するもの、及び／又はワイヤレス電気接続を介するものであり得る。

【0085】

特許請求の範囲内で、説明される実施形態における改変が可能であり、他の実施形態が可能である

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】