特許 7318953 マルチカメラ画像処理

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-24

(45)【発行日】2023-08-01

(54)【発明の名称】マルチカメラ画像処理

(51)【国際特許分類】

   H04N 23/71 20230101AFI20230725BHJP

   G03B 7/091 20210101ALI20230725BHJP

   G03B 15/00 20210101ALI20230725BHJP

   G03B 37/00 20210101ALI20230725BHJP

   G03B 37/04 20210101ALI20230725BHJP

   H04N 5/268 20060101ALI20230725BHJP

   H04N 23/60 20230101ALI20230725BHJP

   H04N 23/63 20230101ALI20230725BHJP

   H04N 23/73 20230101ALI20230725BHJP

   H04N 23/76 20230101ALI20230725BHJP

【ＦＩ】

H04N23/71

G03B7/091

G03B15/00 V

G03B15/00 W

G03B37/00

G03B37/04

H04N5/268

H04N23/60 500

H04N23/63

H04N23/73

H04N23/76

【請求項の数】 17

(21)【出願番号】P 2020534941

(86)(22)【出願日】2018-12-20

(65)【公表番号】

(43)【公表日】2021-02-22

(86)【国際出願番号】 US2018066875

(87)【国際公開番号】W WO2019126546

(87)【国際公開日】2019-06-27

【審査請求日】2021-12-16

(31)【優先権主張番号】16/226,085

(32)【優先日】2018-12-19

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/608,452

(32)【優先日】2017-12-20

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】507107291

【氏名又は名称】テキサス インスツルメンツ インコーポレイテッド

(74)【代理人】

【識別番号】230129078

【弁護士】

【氏名又は名称】佐藤 仁

(72)【発明者】

【氏名】シャーシャンク ダブラル

(72)【発明者】

【氏名】ギャング フア

(72)【発明者】

【氏名】マヤンク マングラ

【審査官】淀川 滉也

(56)【参考文献】

【文献】特開２０１６－１２７５７１（ＪＰ，Ａ）

【文献】特開２００９－０１７５６５（ＪＰ，Ａ）

【文献】特開２００６－３４５２５４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／７１

Ｈ０４Ｎ ５／２６８

Ｈ０４Ｎ ２３／６３

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／７６

Ｈ０４Ｎ ２３／７３

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ ７／０９１

Ｇ０３Ｂ ３７／００

Ｇ０３Ｂ ３７／０４

(57)【特許請求の範囲】

【請求項1】

システムオンチップ（ＳｏＣ）であって、
画像信号プロセッサ（ＩＳＰ）であって、
第１のカメラからの第１の画像信号と第２のカメラからの第２の画像信号を受信し、
前記第１及び第２のカメラの各カメラの明度又は色温度の測定値に基づいて前記第１及び第２のカメラをグループ化する、
ように構成される、前記ＩＳＰと、
統計エンジンであって、
前記第１の画像信号と、前記第２の画像信号と、前記ＩＳＰからの前記第１及び第２の画像信号に関連する統計とを受け取り、
前記第１及び第２の画像信号に基づいて前記第１及び第２のカメラの各カメラの明度又は色温度の前記測定値を推定する、
ように構成される、前記統計エンジンと、
を含む、ＳｏＣ。

【請求項2】

請求項１に記載のＳｏＣであって、
前記第１及び第２の画像信号の合成画像を描画するために、前記ＩＳＰから受信した前記第１及び第２の画像信号の幾何学変換を行うように構成される幾何学変換エンジンを更に含む、ＳｏＣ。

【請求項3】

請求項１に記載のＳｏＣであって、
前記統計エンジンが、前記第１及び第２の画像信号に対応する設定の総ダイナミックレンジを判定するように更に構成される、ＳｏＣ。

【請求項4】

請求項１に記載のＳｏＣであって、
前記ＩＳＰが、前記第１の画像信号と前記第２の画像信号とに対する明度又は色温度が事前定義された閾値より低いことを判定することに応答して、前記第１及び第２の画像信号を１つのグループに割り当てるように更に構成される、ＳｏＣ。

【請求項5】

方法であって、
統計エンジンによって、２つ又はそれ以上のカメラを有する画像処理システム内の各カメラの明度及び／又は色温度を推定することと、
画像信号プロセッサ（ＩＳＰ）によって、前記２つ又はそれ以上のカメラ間の前記推定された明度及び／又は色温度のスプレッドに基づいて前記２つ又はそれ以上のカメラを１つ又は複数のグループにグループ化することであって、前記スプレッドが、前記２つ又はそれ以上のカメラの最小測定明度及び／又は色温度と前記２つ又はそれ以上のカメラの最大測定明度及び／又は色温度とを判定することによって計算される、前記グループ化することと、
前記ＩＳＰによって、各グループに対するカメラ露光／利得設定を選択することであって、前記グループの所与の１つ内の１つ又はそれ以上のカメラが同じカメラ露光／利得設定を有する、前記選択することと、
を含む、方法。

【請求項6】

請求項５に記載の方法であって、
前記画像処理システムのカメラによって捕捉された画像をブレンドする合成画像をディスプレイに描画することを更に含む、方法。

【請求項7】

請求項５に記載の方法であって、
前記２つ又はそれ以上のカメラの前記推定された明度及び／又は色温度のスプレッドが事前定義された閾値より低いことに応答して、前記２つ又はそれ以上のカメラが同じグループに割り当てられる、方法。

【請求項8】

請求項５に記載の方法であって、
前記カメラの前記推定された明度及び／又は色温度のスプレッドが閾値を上回ることに応答して前記カメラがグループ割り当て方法によって異なるグループに割り当てられ、前記グループ割り当て方法が、
２つの連続するカメラ間の最大測定明度及び／又は色温度差を判定することであって、前記２つの連続するカメラが、それぞれ、前記グループ内のカメラに対して分類された測定明度及び／又は色温度内の第１の測定明度及び／又は色温度と第２の測定明度及び／又は色温度とを有し、前記第１の測定明度及び／又は色温度が前記第２の測定明度及び／又は色温度より低い、前記判定することと、
前記第１の測定明度及び／又は色温度に等しい又はそれ以下の測定明度及び／又は色温度を備えるカメラを第１のグループに割り当て、前記第２の測定明度及び／又は色温度に等しい又はそれ以上の測定明度及び／又は色温度を備えるカメラを第２のグループに割り当てることと、
を含む、方法。

【請求項9】

請求項８に記載の方法であって、
前記第２のグループ内のカメラの測定明度及び／又は色温度のサブグループスプレッドがサブグループスプレッド閾値を超えることに応答して、前記第２のグループ内のカメラが、サブグループ割り当て方法によって更にグループ化され、前記サブグループ割り当て方法が、
前記第２のグループ内の２つの連続するカメラ間の最大測定明度及び／又は色温度差を判定することであって、前記第２のグループ内の前記２つの連続するカメラが、それぞれ、前記第２のグループ内のカメラに対して分類された測定明度及び／又は色温度内の第３の測定明度及び／又は色温度と第４の測定明度及び／又は色温度とを有し、前記第３の測定明度及び／又は色温度が前記第４の測定明度及び／又は色温度より低い、前記判定することと、
前記第３の測定明度及び／又は色温度に等しい又はそれ以下の測定明度及び／又は色温度を備える前記第２のグループ内のカメラを前記第２のグループに割り当て、前記第４の測定明度及び／又は色温度に等しい又はそれ以上の測定明度及び／又は色温度を備える前記グループ内のカメラを第３のグループに割り当てることと、
を含み、
前記サブグループスプレッドが前記第２のグループ内の前記カメラの最小測定明度及び／又は色温度と前記第２のグループ内の前記カメラの最大測定明度及び／又は色温度とを判定することによって計算される、方法。

【請求項10】

請求項５に記載の方法であって、
グループに対する前記カメラ露光／利得設定が、１つ又は複数のカメラが異なるグループに再割り当てされることを防止するために前記ＩＳＰによってロックされ、所定の時間の間にロック閾値より高いことが観察される、前記グループ内の前記カメラの１つに対する前記推定されたカメラ明度及び／又は色温度における変化に応答してロック解除される、方法。

【請求項11】

請求項５に記載の方法であって、
前記グループ化が、前記カメラの以前のグループ化とグループ露光／利得履歴と前記カメラの相対的位置とに更に基づいており、
各グループに対する前記カメラ露光／利得設定が、事前定義された明度及び／又は色温度ターゲットに基づいている、方法。

【請求項12】

方法であって、
２つ又はそれ以上のカメラを備える画像処理システム内の各カメラの明度及び／又は色温度を統計エンジンによって推定することと、
前記２つ又はそれ以上のカメラがグループ化される複数の手法を画像信号プロセッサ（ＩＳＰ）によって定義することと、
前記複数のグループ化の手法に対する１つ又は複数のコスト関数を前記ＩＳＰによって定義することと、
前記カメラがグループ化される前記複数の手法の各々に対するコストを前記１つ又は複数のコスト関数に基づいて前記ＩＳＰによって計算することと、
前記コストを削減するために前記ＩＳＰによって前記カメラを１つ又は複数のグループにグループ化することであって、前記コストが合成画像内で画像調和とダイナミックレンジとがどの程度均衡しているかを定義する、前記グループ化することと、
各グループに対するカメラ露光／利得設定を前記ＩＳＰによって選択することであって、前記グループの所与の１つ内の１つ又はそれ以上のカメラが同じカメラ露光／利得設定を有する、前記選択することと、
前記画像処理システムのカメラによって捕捉された画像をブレンドする前記合成画像をディスプレイに描画することと、
を含む、方法。

【請求項13】

請求項１２に記載の方法であって、
前記統計エンジンが、現在のカメラ画像明度及び／又は色温度と現在のカメラ露光／利得設定との間の関係を線形化することによって、前記現在のカメラ画像明度及び／又は色温度と前記現在のカメラ露光／利得設定とから前記２つ又はそれ以上のカメラの各々のための画像明度及び／又は色温度の測定値を推定する、方法。

【請求項14】

請求項１２に記載の方法であって、
前記２つ又はそれ以上のカメラがグループ化される前記複数の手法を定義することが、重ならない視野を備えるカメラを同じグループ内に入れることを含む、方法。

【請求項15】

請求項１２に記載の方法であって、
前記グループ化することに対する前記１つ又は複数のコスト関数が、
前記グループ内の不均一な明度及び／又は色温度に対する第１のコストを定義する第１のコスト関数と、
前記グループを横断する明度及び／又は色温度変化に対する第２のコストを定義する第２のコスト関数と、
を含む、複数のコスト関数である、方法。

【請求項16】

請求項１５に記載の方法であって、
前記グループ内の不均一な明度及び／又は色温度に対する前記第１のコストを定義する第１のコスト関数が第１のコスト関数方法によって判定され、前記第１のコスト関数方法が、
グループ内のカメラの明度及び／又は色温度の最小に対する前記カメラの明度及び／又は色温度を最大の比を判定することと、
前記比に比例する比の関数を定義することと、
を含む、方法。

【請求項17】

請求項１５に記載の方法であって、
前記グループを横断する明度及び／又は色温度変化に対する前記第２のコストを定義する第２のコスト関数が第２のコスト関数方法によって判定され、前記第２のコスト関数方法が、
第２のカメラの明度及び／又は色温度に対する第２のカメラの明度及び／又は色温度と、第１のカメラの明度及び／又は色温度に対する前記第２のカメラの明度及び／又は色温度との最大として、異なるグループ内にある近傍のカメラ間の比を判定することと、
前記比に対して反比例する比の関数を定義することと、
を含む、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、画像処理システムに関し、特に、画像処理応用例におけるマルチカメラ調和のための事前処理スキームに関する。

【背景技術】

【0002】

サラウンドビューシステム等の画像処理システムは、複数のカメラから受け取った画像から画像を結合する。或る例において、駐車支援応用例を実装するために車両サラウンドビューシステムが用いられ、車両の周囲の全視野を網羅するように車両の様々な箇所に４つのカメラが配置される。画像処理システムは、複数のカメラによって撮像された画像から結合された画像を形成する。結合された画像は、例えば、車両の周りの潜在的な障害に関する情報を集めるために用いられる。

【発明の概要】

【0003】

本開示は、画像処理応用例におけるマルチカメラ調和のための事前処理スキームを実装するためのシステム及び方法に関する。

【0004】

一例において、画像処理システムを実装するシステムオンチップ（ＳｏＣ）が開示される。ＳｏＣは画像信号プロセッサ（ＩＳＰ）を含み、画像信号プロセッサ（ＩＳＰ）は、複数のカメラから或る画像に対応する信号を受信し、カメラの各々によって観察された測定視野照度及び／又は色温度に基づいて、それらのカメラを幾つかのグループに動的にグループ化し、それらのグループの１つのグループに関連するカメラを、同じ露光／利得設定に割り当てるように構成される。ＳｏＣは統計エンジンを更に含み、統計エンジンは、ＩＳＰから画像信号及び画像信号に関連する統計を受け取り、ＩＳＰに転送するために画像信号に基づいて各画像の画像照度及び／又は色温度の測定値を決定するように構成される。

【0005】

別の例において、２つ又はそれ以上のカメラを動的にグループ化することによって画像処理システムを実装するための方法が開示される。この方法は、２つ又はそれ以上のカメラ画像処理システム内の各カメラの視野照度及び／又は色温度を統計エンジンによって推定することを含む。この方法は、２つ又はそれ以上のカメラを、その２つ又はそれ以上のカメラ間の推定された視野照度及び／又は色温度のスプレッドに基づいて、画像信号プロセッサ（ＩＳＰ）により１つ又は複数のグループにグループ化することを更に含み、スプレッドは、２つ又はそれ以上のカメラの最小測定視野照度及び／又は色温度と、２つ又はそれ以上のカメラの最大測定視野照度及び／又は色温度とを決定することによって計算される。この方法は更に、各グループに対するカメラ露光／利得設定をＩＳＰによって選択することを更に含み、それらのグループの所与の１つ内の１つ又は複数のカメラが同じカメラ露光／利得設定を有する。

【0006】

更に別の例において、２つ又はそれ以上のカメラを動的にグループ化することによって画像処理システムを実装するための方法が開示される。この方法は、２つ又はそれ以上のカメラ画像処理システム内の各カメラの視野照度及び／又は色温度を、統計エンジンによって推定することを含む。この方法は、２つ又はそれ以上のカメラがグループ化され得る複数の手法を画像信号プロセッサ（ＩＳＰ）によって定義することを更に含む。この方法は、グループ化の複数の手法に対する１つ又は複数のコスト関数をＩＳＰによって定義することを更に含む。この方法は、カメラがグループ化され得る複数の手法の各々に対するコスト関数を、ＩＳＰによって、１つ又は複数のコスト関数に基づいて計算することを更に含む。この方法は、カメラを、コストを削減するため１つ又は複数のグループに、ＩＳＰによってグループ化することを更に含み、コストは、合成画像内において画像調和とダイナミックレンジが均衡する程度を定義する。この方法は、各グループに対するカメラ露光／利得設定をＩＳＰによって選択することを更に含み、これらのグループの所与の１つのグループ内の１つ又は複数のカメラは、同じカメラ露光／利得設定を有する。この方法は、２つ又はそれ以上のカメラ画像処理システムのカメラによって捕捉された画像をブレンドする合成画像をディスプレイに描画することを更に含む。

【図面の簡単な説明】

【0007】

【図1】例示の画像処理システムのブロック図である。

【0008】

【図2】例示の画像処理システムを実装するために用いられる例示のハードウェア構成要素のブロック図である。

【0009】

【図3】例示の画像処理カメラシステムの図である。

【0010】

【図4】４カメラ画像処理カメラシステムにおいて近傍の視野間で重なる領域の例である。

【0011】

【図5】画像処理システムを実装する車両の例示の図を示す。

【0012】

【図6】図５の車両によって観察されるシーンを図示する例示の合成画像を示す。

【0013】

【図7】本明細書に開示されるように実装された画像処理システムにおいて用いられる例示のカメラのブロック図である。

【0014】

【図8】画像処理システムによって行われる例示の動作の概要を図示する。

【0015】

【図9】同じ露光／利得設定を備える１つのグループにグループ化された４つのカメラを備える画像処理システムの例示の状態である。

【0016】

【図10】各カメラが同じ露光／利得設定を持つように割り当てられる低ダイナミックレンジ設定を観察する画像処理システムの例示の画像出力を図示する。

【0017】

【図11】１つのカメラが分離され、他のカメラとは異なるそれ自体の露光／利得設定に割り当てられた画像処理システムの例示の状態である。

【0018】

【図12】カメラが分離されている、高ダイナミックレンジ設定を観察する画像処理システムの例示の画像出力を図示する。

【0019】

【図13】ヒューリスティックを用いてカメラを動的にグループ化することによって画像処理システムを実装するための例示の方法である。

【0020】

【図14】例示の動的なカメラグループ化のグラフである。

【0021】

【図15】４つのカメラがループ構成に配置される場合、全数探索を用いてカメラが検討及びグループ化される例示の手法を図示する。

【0022】

【図16】全数探索を用いてカメラを動的にグループ化することによって画像システムを実装するための例示の方法である。

【0023】

【図17】コストを、照度及び／又は色温度の比の関数として表示するグラフを図示する。

【0024】

【図18】グループにわたる低照度変化に対する例示のコスト関数を示す。

【発明を実施するための形態】

【0025】

本明細書に開示されるシステム及び方法は、システムオンチップ（ＳｏＣ）内に埋め込まれるマルチチャネル画像信号プロセッサ（ＩＳＰ）を用いる画像処理システムを実装する。ＩＳＰは、複数のカメラから画像を受け取り、画像統計を生成する。この画像統計は、設定の動的レンジを決定するために、統合された統計エンジンによって処理される。或る設定が、複数のカメラによって複数の角度から捕捉された集合的シーンを表す。カメラがシーンを観察している照度及び／又は色温度に従って、カメラを幾つかのグループに動的に配置する、動的なグループ化方法が実装される。マルチチャネルＩＳＰ及び統合統計エンジンアーキテクチャは、動的なグループ化方法とともに、高い画像品質を備える効率的な画像処理解決策を提供する。本明細書において開示される画像処理システムは、種々のカメラソースからの画像をともにブレンドして複合画像にする車両サラウンドビューシステム等の、サラウンドビュー画像合成システムを実装するために用いられ得る。

【0026】

本明細書に開示される画像処理解決策は、ＳｏＣの外部にある複数のＩＳＰを用いる解決策と比較して、リソース消費が少なく、高い画像品質を提供する。また、本明細書に開示される画像処理解決策は、合成画像における測光差を低減するための後処理方法を実装するために図形処理ユニット（ＧＰＵ）及び／又はデジタル信号プロセッサ（ＤＳＰ）を用いる解決策と比べて、リソース消費が少なくて済む。本明細書に開示される解決策は、レンズ歪補正及び視点変換を行うために幾何学変換エンジンを用い、測光差をなくすための後処理を必要としない。一例において、幾何学変換エンジンはＧＰＵとし得る。また、ＳｏＣ埋め込みＩＳＰの使用は、部品の数（例えば、外部ＩＳＰチップの数）を低減し、それによって、本明細書に開示される解決策を実装するための部品表及びコストを削減する。

【0027】

本明細書に説明されるマルチチャネルＩＳＰは、複数のカメラからの信号を同時に処理する能力を提供するため複数のチャネルを有する。画像処理システムへの各入力画像がマルチチャネルＩＳＰを用いて処理される。幾つかの例において、マルチチャネルＩＳＰはＳｏＣ内に実装され、他の例において、マルチチャネルＩＳＰはＳｏＣの外部で実装される。ＳｏＣ内でマルチチャネルＩＳＰを使用することにより、画像チャネルの各々がグローバルノードから、即ち、ＩＳＰそれ自体から制御され得る。

【0028】

マルチチャネルＩＳＰアーキテクチャは、カメラの各々から収集した統計を処理するために統合統計エンジンを用いる。マルチチャネルＩＳＰは、各カメラから統計（例えば、露出、照度、色温度、ホワイトバランス、焦点等）を収集し、その統計を統合統計エンジンに転送する。統合統計エンジンは、画像処理の前に統計をフォーマット（例えば、生フォーマット）で分析し、グローバル統計バッファを生成し、シーンを同種又は異種として分類するために、設定の総ダイナミックレンジを決定する。特に、設定の総ダイナミックレンジが閾値又はそれ以下である場合、シーンは同種として分類され、設定の総ダイナミックレンジが閾値を超える場合、シーンは異種として分類される。統合統計エンジンによって行われるシーンの分類及び統計の処理に基づいて、全体的に適正な露出及びホワイトバランスがＩＳＰによって選択される。このように、各画像に関連する統計は、各カメラの露出及びホワイトバランスに関する知的判定を行うために利用可能である。

【0029】

ＩＳＰは、設定の決定されたダイナミックレンジに基づいてカメラをグループ化する動的グループ化を実装する。例えば、シーンが照度又は色温度の観点から同種として考えられる（ダイナミックレンジが閾値と等しいかそれ以下であることによって判定される）場合、グループ内の各カメラを同じ露出に設定することによってカメラがグループ化される。本明細書に用いられる場合、用語「露出」は、露出時間を含むカメラの露出レベルを指す。画像センサは、全体的な露出に影響を与える露出時間と増幅／変換利得との両方を有する。別の例において、シーンが異種である（閾値を超えるダイナミックレンジを示す）場合、１つ又は複数のカメラが既存のグループから除去される。こういった動的グループ化は、画像調和とダイナミックレンジとの間のトレードオフを均衡させる。

【0030】

上述したように、カメラのグループ化は動的である。幾つかの例において、カメラは一日を通した光の変化に対応するように再グループ化される。或る例において、シーンのダイナミックレンジは、各カメラを横断する相対的に小さい或る時点におけるものである。この時点において、各カメラが同じグループに割り当てられる。また、この例を継続すると、光が変化するにつれて、ダイナミックレンジは閾値に到達し、カメラは再グループ化され、そのため、カメラのサブセットが所与のグループにあり、カメラの別のサブセットが別のグループにあるようになる。このように、カメラは、カメラによって観察される設定（照度及び／又は色温度）のパラメータが変化するにつれて動的に再グループ化される。

【0031】

このシステムは、品質視覚体験を提供し、（例えば、ダイナミックレンジが低いとき）標準ダイナミックレンジ設定で可視シームラインをなくすことによって、また（例えば、ダイナミックレンジが高いとき）非標準ダイナミックレンジ設定でダイナミックレンジを保持することによって、調和を達成する。特に、統計エンジン及びカメラの動的グループ化を組み込むことによって、計算を多用する後処理方法を不要にする。全体として、このシステムは、コスト効率がよく、より低いコスト／電力で、視覚的に優良な出力を提供する。

【0032】

本明細書において開示されるシステム及び方法は、画像事前処理が１つのＳｏＣにおいて成されるが、実際の画像合成は別のＳｏＣにおいて成されるという技術的解決策に適用する。このように、本明細書において開示されるシステム及び方法は、画像合成が同じ部分又はシステムにおいて発生するか否かに関係なく、同じグループ内のカメラに露光／利得設定を割り当てるために動的グループ化が用いられる画像事前処理に適用する。また、本明細書に開示されるシステム及び方法は、画像事前処理及び動的グループ化及び画像合成が同じＳｏＣにおいて成される技術的解決策に適用する。

【0033】

図１は、画像処理システム１００の実装の概要を示すブロック図である。画像処理システム１００は、システムオンチップ（ＳｏＣ）１０２内に埋め込まれる画像信号プロセッサ（ＩＳＰ）１０４を含む。ＩＳＰ１０４は、２つ又はそれ以上のカメラ１．．．Ｎからの或る画像に対応する信号を受信するように構成され、Ｎは２以上の整数である。ＩＳＰ１０４は更に、複数のカメラ１０５の露光／利得設定を観察に応じて割り当てることによって、２つ又はそれ以上のカメラ１．．．Ｎを、カメラ１．．．Ｎの各々によって観察された照度及び／又は色温度に基づいて、幾つかのグループに動的グループ化するように構成される。統計エンジン１０６が、ＩＳＰ１０４から画像信号及び画像信号に関連する統計を受信し、２つ又はそれ以上のカメラ１．．．Ｎから捕捉された画像に対応する設定の総ダイナミックレンジを決定するように構成される。統計エンジン１０６は、設定の総ダイナミックレンジをＩＳＰ１０４に転送する。幾何学変換エンジン１０８が、２つ又はそれ以上のカメラ１．．．Ｎによって捕捉された画像を結合する描画された合成画像１１０を描画するため、ＩＳＰ１０４から受け取った画像の幾何学変換を行うように構成される。

【0034】

図１に示される例において、幾何学変換エンジン１０８はＳｏＣ１０２の外部である。しかしながら他の例において、幾何学変換エンジン１０８はＳｏＣ１０２に埋め込まれる。幾つかの例において、幾何学変換エンジン１０８はグラフィックス処理ユニット（ＧＰＵ）であり、別の例において、幾何学変換エンジン１０８は、専用ハードウェアアクセラレータ（ＨＷＡ）、デジタル信号プロセッサ（ＤＳＰ）、又は別のタイプの汎用プロセッサである。幾何学変換エンジン１０８が汎用プロセッサによって実装される例では、幾つかの例において、汎用プロセッサは汎用処理ユニット１１２と同じであるが、他の例において、汎用プロセッサは、汎用処理ユニット１１２とは異なるモジュールである。幾つかの例において、ＧＰＵは省かれ得る。合成画像を提供するために、幾何学変換エンジン１０８は、レンズ歪補正及び視点変換を実行する。ＳｏＣ１０２内の汎用処理ユニット１１２は、ＩＳＰ１０４、統計エンジン１０６、及び幾つかの例において幾何学変換エンジン１０８を制御するための制御コードを実行する。

【0035】

一例において、カメラ１．．．Ｎの各々は、センサ、レンズ、ハウジング、及びデジタイザを含み、そのため、ＩＳＰ１０４はカメラ１．．．Ｎから画像データを受信する。ＩＳＰ１０４は、カメラ１．．．Ｎの各々から受け取った画像を処理する。或る例において、ＩＳＰはマルチチャネルＩＳＰとして実装され、そのため、２つ又はそれ以上のカメラ１０５の各々に対する個々のＩＳＰの必要性がなくなる。更なる例において、ＩＳＰ１０４は、バックチャネル制御信号又は他のフィードバック信号を介して、カメラ１０５の各々のグループ化に基づいて、カメラ１．．．Ｎの各々の露光／利得設定を設定／変更するように構成される。

【0036】

カメラ１０５の各々は、シーン角度の照度及び／又は色温度を測定する。照度は、単位面積当たりの光束を測定する照度及び光束発散度の尺度を指し、典型的にルクスの単位（記号ｌｘ）で測定される。色温度は、光の色及び色相の尺度であり、理想的な黒体放射体の温度を指す。理想的な黒体放射体は光源のものに匹敵する色の光を放射する。色温度は、従来から、単位ケルビン（記号Ｋ）で表され、これは絶対温度に対する尺度の単位でもある。本明細書に説明される例に関連する文脈において、色温度は、単位面積当たりで観察される色合いとも呼ばれる。そのため、説明を簡潔にするために、「色温度」はシーンにおける光源の色を指す。

【0037】

ダイナミックレンジは、総称として、シーンの最高照度尺度対シーンの最低照度尺度の比、及び、シーンの最高色温度対シーンの最低色温度の比を指す。ダイナミックレンジはデシベル（ｄＢ）で表される。ダイナミックレンジは、典型的に、倍率を備えるログ領域における比として表される。幾つかの例において、倍率は約２０である。このように、一例において、ダイナミックレンジは式１によって表される。
式１：２０ｌｏｇ（最高照度／最低照度）＝ダイナミックレンジ

【0038】

用語「ダイナミックレンジ」の使い方が画像処理における標準用法と矛盾する場合、本明細書に説明される例において、ダイナミックレンジは、強度における差又は強度デルタとも称され得る。幾つかの例において、照度及び／又は色温度を組み込む総ダイナミックレンジに到達するために、照度及び／又は色温度の加重平均、及び、三次元黒体軌跡を横切るシーンにおいて観察される範囲を表すメートル法が用いられる。

【0039】

動的グループ化プロセスは、同じグループにおけるカメラ１０５の各カメラがＩＳＰ１０４によって同じ露光／利得設定に割り当てられるように実行される。従って、ＩＳＰ１０４は、類似の照度及び／又は類似の色温度を備えるシーンの区分を観察するカメラ１０５を同じ露光／利得設定に設定するようにプログラムされる。類似の照度及び／又は色温度を有することは、測定照度又は色温度が閾値内であることを指す。例として、カメラ１が１０ルクスの光を観察し、カメラ２が１１ルクスの光を観察している場合、測定照度が充分に類似しているので、カメラ１とカメラ２は、ＩＳＰ１０４を介して、共通のグループに割り当てられ、同じ露光／利得設定を有するように設定される。この例においてカメラ１０５を同じ露光／利得設定に設定することによって、カメラ１及びカメラ２からの画像がともにブレンドされて描画された合成画像１１０を形成するときに、シームラインが回避される。別の例において、カメラ１とカメラ２の間の露出差が閾値を超える（例えば、大きな照度差がカメラ１と２によって観察される）場合、ＩＳＰ１０４は、カメラ１を第１のグループに、カメラ２を異なる露出を有する第２のグループに割り当てる。例えば、所与のカメラ１０５がシーンの暗い領域を観察しているが、別のカメラ１０５が明るい領域を観察しているシーンがある場合、カメラを同じ露光／利得設定に設定することは、所与の及び他のカメラ１０５の１つによって捕捉されたシーンの詳細を過度に限定し得る。即ち、１つの画像が暗くなりすぎるか露出過度になりすぎる恐れがある。このように、カメラ１０５を異なる露出を有する異なるグループに割り当てることによって、ＳｏＣは、描画される合成画像１１０に対するシーンのダイナミックレンジを保持する必要性と画像調和（そのため、合成画像がシームラインを有する）の必要性を絶えず均衡させる。

【0040】

カメラを異なるグループに割り当てるために用いられる閾値パラメータは、構成可能であり、従って、プログラム可能である。カメラ１０５は、カメラ１０５によって観察される設定が変わると、動的に再グループ化される。幾つかの例において、カメラ１０５は、一日の光の変化に合わせて再グループ化される。

【0041】

ＩＳＰ１０４は、カメラのグループ化が実施されるにつれて、各カメラの露光／利得設定を割り当てるための自動露出機能を実装する。或る例において、自動露出機能は、ＩＳＰ１０４内の機能的ソフトウェアモジュールとして実装される。動的グループ化処理は、ＩＳＰ１０４によって幾つかの手法で実装される。一例において、動的グループ化処理は、類似の視野照度及び／又は色温度を備えるカメラを同じグループにグループ化するヒューリスティックに基づいてカメラをグループ化する。別の例において、動的グループ化処理は、カメラを全数探索に基づいてグループ化する。幾つかの例において、全数探索グループ化は、カメラがグループ化される許容し得る手法に対するコストを計算し、コストを削減するためにカメラをグループ化する。これに関連して、コストは画像調和とダイナミックレンジが均衡される程度を定義し、そのため、画像調和が達成されダイナミックレンジが保持される。

【0042】

このように、画像処理システム１００を用いることにより、画像調和とダイナミックレンジの保持との間のトレードオフの注意深い均衡を提供して、描画された合成画像１１０においてシーンの詳細が可視化されるようにすることによって、描画された合成画像１１０は高い画像品質を達成する。ＩＳＰ１０４は、複数の外部ＩＳＰチップの必要性をなくすことによってコストを低減する。また、ＧＰＵ又はＤＳＰ、又は、描画された合成画像１１０における測光差を低減するために必要とされる幾何学変換エンジン１０８によって複雑な後処理方法を実装するために典型的に用いられる数Ｇｈｚ（より多くの電力を使用する）に比べて、Ｎ個のカメラ１０５の動的グループ化は、より低い周波数（例えば、２００Ｍｈｚ）で、典型的に少ない処理サイクルを用いる（例えば、幾何学変換エンジン１０８又はＧＰＵ／ＤＳＰ使用解決策の場合の有意に高い割合とは異なり、ＩＳＰは汎用処理ユニット１１２の２０％を使用する）。このように、ＩＳＰ１０４によって実装されるＮ個のカメラ１０５の動的グループ化は、幾何学変換エンジン１０８又は個別のＤＳＰによる複雑な後処理が行われないため、電力並びに面積を削減する。言い換えると、複雑な後処理において、幾何学変換エンジン１０８、ＧＰＵ、又は個別のＤＳＰを用いる必要性を回避することによって、低コスト化及び低放熱化が達成される。

【0043】

図２は、図１に図示された画像処理システムを含む画像処理システム２００を実装するために用いられる、例示のハードウェア構成要素のブロック図である。ＳｏＣ２０２が、汎用処理ユニット２１２、電力管理回路（ＰＭＣ）インタフェース２１６、統計エンジン２０６、画像信号プロセッサ（ＩＳＰ）２０４、ビデオポート２１４、内部メモリ２１８、ディスプレイコントローラサブシステム２２０、周辺機器２２２、外部メモリコントローラ２２４、及びデジタル信号プロセッサ（ＤＳＰ）２３２を含む。この例において、これらの部分は、システムバス２３１に双方向に接続される。幾何学変換エンジン２０８は、ＩＳＰ２０４から受け取る画像の幾何学変換を行い、２つ又はそれ以上のカメラ１．．．Ｎによって捕捉される画像を結合する合成画像をディスプレイ２２８上に描画するように構成される。図２に示される例において、幾何学変換エンジン２０８は、ＳｏＣ２０２の外部にある。他の例において、幾何学変換エンジン２０８は、ＳｏＣ２０２内に埋め込まれる。

【0044】

汎用処理ユニット２１２は制御コードを実行する。制御コードは、ＳｏＣ２０２によって実行されると、ユーザとの相互作用を促進する。このように、汎用処理ユニット２１２は、ＳｏＣ２０２が（典型的に周辺機器２２２を介して受け取られる）ユーザ入力にどのように応答するかを制御する。統計エンジン２０６は、ＩＳＰ２０４から受け取る照度及び／又は色温度統計を処理して、カメラ１．．．Ｎの各々によって観察される設定の総ダイナミックレンジを決定する。ＩＳＰ２０４は、画像の各々の照度及び／又は色温度に関連するデータを含む、カメラ２０５から受け取る画像及びデータを処理する。ＩＳＰ２０４はまた、各カメラによって観察される照度及び／又は色温度の類似性に応じて、カメラの露出を（ビデオポート２１４を介して）設定するように、動的グループ化を行う。ＩＳＰ２０４によって実装される動的グループ化は、合成され描画された画像に対する画像調和とダイナミックレンジとの間の計算されたトレードオフを提供する。或る例において、幾何学変換エンジン２０８は、レンズ歪補正及び視点変換を行うように構成される。視点変換が、あたかも画像が或る仮想視点から捕捉されたように見えるように画像を変換することによって視点を生成する。幾つかの例において、幾何学変換エンジン２０８はＩＳＰ２０４内に実装される。

【0045】

幾何学変換エンジン２０８は、ディスプレイ２２８上に表示されるべきデータの操作のために用いられる画像合成及びディスプレイ志向操作を行う。幾つかの例において、ＩＳＰ２０４ではなく、幾何学変換エンジン２０８がレンズ歪補正及び視点変換を行うように構成される。幾つかの例において、幾何学変換エンジン２０８はグラフィックス処理ユニット（ＧＰＵ）であり、他の例において、幾何学変換エンジン１０８は専用ハードウェアアクセラレータ（ＨＷＡ）、デジタル信号プロセッサ（ＤＳＰ）、又は別のタイプの汎用プロセッサである。幾何学変換エンジン２０８がＤＳＰによって実装される例では、幾つかの例において、ＤＳＰはＤＳＰ２３２と同じであるが、他の例では、ＤＳＰはＤＳＰ２３２とは異なるモジュールである。幾何学変換エンジン２０８が汎用プロセッサによって実装される例では、幾つかの例では、汎用プロセッサは汎用処理ユニット２１２と同じであるが、他の例では、汎用プロセッサは汎用処理ユニット２１２とは異なるモジュールである。ＧＰＵは、画像処理システム、又は任意のタイプのマルチカメラシステム、又は複数画像のブレンディングの実装のための必須要件ではない。

【0046】

ビデオポート２１４は、カメラ１．．．Ｎから入力画像を受け取る。ビデオポート２１４は、典型的に、処理の前に画像データを適切にバッファリングすることも含み、ＩＳＰ２０４がカメラ２０５の露出をフィードバックループで設定することを促進する。内部メモリ２１８は、他のユニットによって用いられるデータをストアし、ユニット間でデータを渡すために用いられ得る。ディスプレイコントローラサブシステム２２０は、画像処理システム２００によって用いられるディスプレイ２２８を駆動するための信号を生成する。少なくとも一例において、汎用処理ユニット２１２、ＩＳＰ２０４、統計エンジン２０６、幾何学変換エンジン２０８、及び／又は、ディスプレイコントローラサブシステム２２０は、命令及びデータキャッシュを含む。少なくとも一例において、汎用処理ユニット２１２、ＩＳＰ２０４、統計エンジン２０６、幾何学変換エンジン２０８、及び／又は、ディスプレイコントローラサブシステム２２０のための命令及びデータキャッシュは、それぞれ、汎用処理ユニット２１２、ＩＳＰ２０４、統計エンジン２０６、幾何学変換エンジン２０８、及び／又は、ディスプレイコントローラサブシステム２２０の各々の中に実装される。少なくとも１つの他の例において、汎用処理ユニット２１２、ＩＳＰ２０４、統計エンジン２０６、幾何学変換エンジン２０８、及び／又は、ディスプレイコントローラサブシステム２２０のための命令及びデータキャッシュは、内部メモリ２１８内に、ＳｏＣ２０２内の他の処理ユニットに、又はＳｏＣ２０２の外部の処理ユニットによって実装される。幾つかの例において、周辺機器２２２は、ダイレクトメモリアクセスコントローラ、電力制御ロジック、プログラマブルタイマ、及び、外部システムとのデータ交換のための外部通信ポート等の種々の部分である。ＰＭＣインタフェース２１６は、ＳｏＣ２０２に対する電力要求を管理するために、電力管理集積回路（ＰＭＩＣ）２２６とインタフェースする。外部メモリコントローラ２２４は、外部メモリ２３０へのデータ移動又は外部メモリ２３０からのデータ移動を制御する。或る例において、デジタル信号プロセッサ（ＤＳＰ）２３２は、合成画像をディスプレイ２２８上に描画するためのブレンディング／スティッチング操作を行う。

【0047】

図３は、図１及び図２によって説明されるような例示の画像処理システム３００の図である。この例において、４つのカメラが、異なる４つのシーン角度、即ち、シーン角度１ ３５１、シーン角度２ ３５２、シーン角度３ ３５３、及びシーン角度４ ３５４を捕捉する。この例において、近傍のシーン角度が重なり、そのため、シーン角度１ ３５１はシーン角度２ ３５２及びシーン角度４ ３５４と重なり、シーン角度２ ３５２はシーン角度１ ３５１及びシーン角度３ ３５３と重なり、シーン角度３ ３５３はシーン角度２ ３５２及びシーン角度４ ３５４と重なり、シーン角度４ ３５４はシーン角度３ ３５３及びシーン角度１ ３５１と重なる。４つのカメラによって捕捉されたシーン角度（図３では、シーン角度１ ３５１、シーン角度２ ３５２、シーン角度３ ３５３、及びシーン角度４ ３５４）はシステムオンチップ（ＳｏＣ）３０２に入力される。画像は、ＩＳＰ３０４によって処理され、ＩＳＰ３０４は４つのカメラの各々の露出をフィードバックループで設定するようにカメラの動的グループ化を実装する。ＩＳＰ３０４によって実装されるカメラの動的グループ化は、合成シーン画像３０８の画像調和とダイナミックレンジの保持との間のトレードオフを均衡させるようにカメラをグループ化する。ＳｏＣ３０２は、合成シーン画像３０８をディスプレイ端末３０６上に出力する。ディスプレイ端末３０６は、画像処理システム３００のユーザによってアクセスされる。オートモーティブ（例えば、駐車支援システム）及びセキュリティシステム用を含む、多くの異なる利用例が画像処理システム３００によってサポートされる。

【0048】

図４は、図１に示される画像処理システム１００、図２に示される画像処理システム２００、及び／又は図３に示される画像処理システム３００等の画像処理システムにおいて近傍の視野間で重なる領域の別の例である。図４に示されるように、複合画像合成は、視野１、視野２、視野３、及び視野４の４つの入力フレームからのデータを含む。重なる領域は、同じ物理的角度に対応するフレームの部分であり、２つの近傍のカメラによって捕捉される。図４に示される４つの視野は、例えば、車に搭載されたカメラ、或いはセキュリティ用途又はその他の画像処理システム用途のために建物内に設置されたカメラによって捕捉された角度に対応する。

【0049】

図５は、図１の画像処理システム１００、図２の画像処理システム２００、又は図３の画像処理システム３００を用いる画像合成システムを実装する車両５０１の例示の図形５００を示す。車両５０１は、図５の例では、俯瞰視野で示される。車両５０１は、このように、車両５０１の各直交辺及び各角部に配置されて車両５０１に固定される８個のカメラ５０５を含む。このように、カメラ５０５は各々、第１の視野５１０、第２の視野５１２、第３の視野５１４、第４の視野５１６、第５の視野５１８、第６の視野５２０、第７の視野５２２、及び第８の視野５２４を提供するそれぞれの視点配向を有する。図示された例において、カメラ５０５は各々、約９０°の視野を有するように示されている。しかしながら、他の例において、視野は他の角度及び配向を有する。カメラ５０５の各々は、（例えば、図１のＳｏＣ１０２、図２のＳｏＣ２０２、及び／又は図３のＳｏＣ３０２等のシステムオンチップ（ＳｏＣ）を介して）結合されるリアルタイム画像データを、ディスプレイ端末３０６等のディスプレイ端末上に表示される合成画像として、提供する。その結果、ユーザは、車両５０１の描画された三次元表現に関する所与の仮想位置から、ユーザの視野視点に対応する位置視点に基づく位置及び配向における合成画像を見る。

【0050】

また、図形５００は、カメラ５０５によって提供される視野間の重なりを示す。図５の例において、図形５００は、第１及び第２の視野５１０及び５１２に関連する第１の重なり５５０、第２及び第３の視野５１２及び５１４に関連する第２の重なり５５２、第３及び第４の視野５１４及び５１６に関連する第３の重なり５５４、及び第４及び第５の視野５１６及び５１８に関連する第４の重なり５５６を含む。図形５００はまた、第５及び第６の視野５１８及び５２０に関連する第５の重なり５５８、第６及び第７の視野５２０及び５２２に関連する第６の重なり５６０、第７及び第８の視野５２２及び５２４に関連する第７の重なり５６２、及び第８及び第１の視野５２４及び５１０に関連する第８の重なり５６４を含む。幾つかの例において、画像信号プロセッサ（ＩＳＰ）（図１のＩＳＰ１０４、図２のＩＳＰ２０４、及び図３のＩＳＰ３０４等）は、カメラ５０５を介して提供される画像信号に基づいて、重なり（第１の重なり５５０、第２の重なり５５２、第３の重なり５５４、第４の重なり５５６、第５の重なり５５８、第６の重なり５６０、第７の重なり５６２、及び第８の重なり５６４）を識別するように構成される。幾つかの例において、ＳｏＣ（図１のＳｏＣ１０２、図２のＳｏＣ２０２、又は図３のＳｏＣ３０２等）は、それぞれの重なり（第１の重なり５５０、第２の重なり５５２、第３の重なり５５４、第４の重なり５５６、第５の重なり５５８、第６の重なり５６０、第７の重なり５６２、及び第８の重なり５６４）において、画像データによって特徴付けられた画像をカメラ５０５の各々によって調整することによって、単一の連続した対象のシーンとして合成画像を生成するように構成される。従って、幾つかの例において、合成され描画された画像データは、車両５０１と、カメラ５０５の各々によって捕捉された対象のシーンの各々のリアルタイムビデオ画像との描画された三次元表現を含み、それらは、カメラ５０５の各々の視野５１０、５１２、５１４、５１６、５１８、５２０、５２２、及び５２４に関して連続的に重畳される。従って、合成画像は、例えば、車両５０１の描画された表現を実質的に囲むように重畳され、車両５０１の周りの、対応する対象のシーンのビデオ画像をユーザインタフェース２４（例えば、ディスプレイ２２８又はディスプレイ端末３０６）を介してユーザに表示する。

【0051】

図６は、描画された合成画像６００の第１の例を図示する。描画された合成画像６００は、車両６０１の描画された三次元の仮想表現（この例では、図５の例における車両５０１の３Ｄ表現）を含むものとして示される。この例において、描画された合成画像６００は、図１の画像処理システム１００、図２の画像処理システム２００、又は図３の画像処理システム３００を用いる画像合成システムによって、ともにスティッチングされている。この例において、ユーザは例えば、対象のシーンの三次元の特徴を確認することができる。描画された合成画像６００は、車両６０１の描画された三次元の仮想表現を囲む単一の連続した対象のシーンとして表現される複合画像データを示す。複合画像データは例えば、図１の画像プロセッサ（ＩＳＰ）１０４、図２のＩＳＰ２０４、又は図３のＩＳＰ３０４等の画像信号プロセッサに基づいて生成され、それらは、それぞれの視野５１０、５１２、５１４、５１６、５１８、５２０、５２２、及び５２４の間の、それぞれの重なり（第１の重なり５５０、第２の重なり５５２、第３の重なり５５４、第４の重なり５５６、第５の重なり５５８、第６の重なり５６０、第７の重なり５６２、及び第８の重なり５６４）において、図５のカメラ５０５の各々によって生成されるリアルタイムビデオデータ及び深度データをアラインする。従って、描画された合成画像６００は、例えば、車両６０１の描画された三次元の仮想表現（又は図５の車両５０１）と、カメラ５０５の各々によって捕捉された対象のシーンの各々のリアルタイムビデオ画像とを含み、それらは、図５のカメラ５０５の各々のそれぞれの視野（第１の視野５１０、第２の視野５１２、第３の視野５１４、第４の視野５１６、第５の視野５１８、第６の視野５２０、第７の視野５２２、及び第８の視野５２４）に関して連続的に重畳される。

【0052】

図６の例において、描画された合成画像６００は、所与の位置視点からユーザに表示されるものとして示される。所与の位置視点は、車両６０１（又は図５の車両５０１）の描画された三次元の仮想表現から所定の距離、オフセットされ、車両６０１の描画された三次元の仮想表現の前方と右側との間から直角に下を見る視野に対応する配向角（例えば、球面座標系における方位及び極角）に基づく。位置視点は例えば、複合画像データのプラットフォーム中心視野を実装するユーザに基づき、その場合、ユーザの位置視点が、車両６０１の描画された三次元の仮想表現からオフセットされ、車両６０１の描画された三次元の仮想表現の上に実質的に中心がくる。プラットフォーム中心視野では、例として、ユーザは、図３のディスプレイ端末３０６内に実装されるユーザインタフェース等のユーザインタフェースを介して入力を提供して、視野配向をグラフィカル制御又はハードウェア制御を介して移動、ズーム、又は変化させて、位置視点を変化させる。従って、ユーザは、車両６０１の描画された三次元の仮想表現に関して実質的に任意の角度及び／又は任意の距離から、対象のシーンのリアルタイムビデオ画像を見る。また、ユーザは、例えば、ユーザインタフェースを実装して、カメラ５０５のそれぞれ１つの視点配向に実質的に類似するユーザの位置視点に関連するカメラ視点視野等の、異なる視野に切り替える。このように、合成画像は、或る例において、車両６０１が位置する地理的領域に対応する環境内の空間認識を提供するように表示される。

【0053】

図７は、図１の画像処理システム１００、図２の画像処理システム２００、又は図３の画像処理システム３００等の画像処理システムによる使用のために用いられ得る、例示のカメラ７００である。従って、カメラ７００は、図１に図示されたカメラ１０５、図２に図示されたカメラ２０５、及び図５に図示されたカメラ５０５のブロック図である。カメラ７００は、センサ７０２、レンズ７０４、ハウジング７０６、及びデジタイザ７０８を含む。

【0054】

幾つかの例において、センサ７０２は、電荷結合素子（ＣＣＤ）又は相補型金属酸化物半導体（ＣＭＯＳ）である。レンズ７０４は、光を屈曲させ、屈折させ、センサ７０２上に焦点を合わせる。レンズ７０４は、センサ７０２、ハウジング７０６、及びデジタイザ７０８と併せて用いられ、オブジェクト及びシーンの画像を、写真フィルム上か又は画像を化学的又は電子的にストアできる別の媒体上に現像する。幾つかの例において、ＣＣＤ及びＣＭＯＳセンサは、デジタイザ７０８を用いることなく光信号を電気信号に変換する。従って、幾つかの例において、カメラ７００はデジタイザ７０８を含まない。ＣＣＤセンサは、アナログ電圧信号を出力するため、幾つかの例において、アナログデジタル（ＡＤ）変換のためのデジタイザ７０８を含む。ＣＭＯＳセンサはデジタル信号を直接的に出力する。幾つかの例において、また特に図７に図示されたカメラ７００において、画像処理システムがシステムオンチップ（ＳｏＣ）内にＩＳＰ（例えば、図１のＩＳＰ１０４、図２のＩＳＰ２０４、又は図３のＩＳＰ３０４）を埋め込んでいるので、カメラ７００は画像信号プロセッサ（ＩＳＰ）を含まない。このように、ＳｏＣ（例えば、図１のＳｏＣ１０２、図２のＳｏＣ２０２、又は図３のＳｏＣ３０２）は、異なるカメラ（例えば、図１のカメラ１０５、図２のカメラ２０５、又は図５のカメラ５０５）の各々に対して異なるＩＳＰを持つのではなく、１つのＩＳＰを埋め込む。

【0055】

図８は、図１の画像処理システム１００、図２の画像処理システム２００、及び／又は図３の画像処理システム３００等の画像処理システムによって行われる例示の動作の概要を図示する。この例において、４つの画像（画像８５１、画像８５２、画像８５３、及び画像８５４）が、４つの異なるカメラによって捕捉される。これらのカメラによって４つの画像が捕捉された後、レンズ歪補正８０２が行われ、その後、視点変換８０４が行われ、その後、ブレンディング／スティッチング動作８０６が行われて、描画された合成シーン画像８０８が生成される。視点変換８０４は、画像が或る仮想視点から捕捉されたかのように見えるように画像を変換することによって視点を生成する。１つの実装例において、描画された合成シーン画像８０８を生成するためのブレンディング／スティッチング動作８０６がデジタル信号プロセッサ（ＤＳＰ）（図２のＤＳＰ２３２等）によって実行され、レンズ歪補正８０２及び視点変換８０４が、図１のＩＳＰ１０４、図２のＩＳＰ２０４、又は図３のＩＳＰ３０４等の画像信号プロセッサ（ＩＳＰ）によって実行される。別の実装例において、図１の幾何学変換エンジン１０８又は図２の幾何学変換エンジン２０８等の幾何学変換エンジン（幾つかの例において、幾何学変換エンジン１０８はグラフィックス処理ユニット（ＧＰＵ）であり、幾何学変換エンジン２０８はグラフィックス処理ユニット（ＧＰＵ）である）によって、レンズ歪補正８０２及び視点変換８０４が実行され、一方で、描画された合成シーン画像８０８を生成するためのブレンディング／スティッチング動作８０６がＤＳＰ（図２のＤＳＰ２３２等）によって実行される。幾つかの例において、合成画像は、図１の描画された合成画像１１０、図３の合成シーン画像３０８、及び／又は図６の描画された合成画像６００を表す。

【0056】

図９は、画像処理システム（例えば、図１の画像処理システム１００、図２の画像処理システム２００、及び／又は図３の画像処理システム３００）の画像処理システム状態９００であり、４つのカメラ９０５が同じ露出を有する１つのグループにグループ化されている。カメラ１～４の各々はそれぞれの統計９０７を生成する。統計９０７は、自動露出、自動ホワイトバランス、及び自動焦点等のハードウェア支援統計を含む。カメラ９０５からの統計９０７は、自動露出エンジン９０９に提供され、自動露出エンジン９０９は、カメラをどのようにグループ化するかを決定し、それらを連続フィードバックループにグループ化する。自動露出エンジン９０９は、或る例において、システムオンチップ（ＳｏＣ）内に埋め込まれた画像信号プロセッサ（ＩＳＰ）（例えば、図１のＳｏＣ１０２内のＩＳＰ１０４、図２のＳｏＣ２０２内のＩＳＰ２０４、及び／又は図３のＳｏＣ３０２内のＩＳＰ３０４）内の機能的ソフトウェアモジュールである。この特定の画像処理システム状態９００において、４つのカメラ９０５は、（ブレンドされた）結果の描画された合成画像における可視シームラインを回避するために、自動露出エンジン９０９によって同じ露出を持つように設定される。画像処理システム状態９００は、典型的に、カメラ１～４によって測定されるダイナミックレンジの全体的な設定が低いときの状態である。カメラ１～４が同じ露出を持つように割り当てられているので、ダイナミックレンジを低減することによって画像調和が達成される。

【0057】

図１０は、画像処理システムが図９における例示の画像処理システム状態９００にあるときと同じ露光／利得設定を持つようにカメラがグループ化された後の画像処理システムの合成画像出力１０００を図示する。同じ露光／利得設定を持つようにカメラをグループ化することは、通常、設定が全体的に低ダイナミックレンジにあるときに行われる。カメラが同じ露光／利得設定を持つようにグループ化されていない場合、少なくとも２つのカメラ間の露光／利得設定が異なり得るため、画像品質を低下させる可視シームライン（これは、１つのカメラの境界が終わり別のカメラの境界が開始する箇所を示す）が合成画像出力、特に、画像領域１００１及び画像領域１００３に存在する可能性がある。これに対し、図１０では、画像領域１００１及び画像領域１００３内に可視シームラインは存在しない。これは、図９に示される画像処理システム状態９００によって図示されるように、カメラが同じ露光／利得設定に割り当てられているためである。このように、図１０ではえ、画像調和が達成され、そのため、シームラインが除去されている。画像調和は、多くのそのようなインスタンスにおいて、カメラが同じ露光／利得設定に割り当てられているときでも、ダイナミックレンジを妥協することなく達成される。

【0058】

図１１は１つのカメラが分離されている画像処理システム（例えば、図１の画像処理システム１００、図２の画像処理システム２００、及び／又は図３の画像処理システム３００）の例示の画像処理システム状態１１００である。この例において、図９に図示される例示の画像処理システム状態９００と同様に、カメラ１～４の各々はそれぞれの統計１１０７を生成する。統計１１０７は、自動露出、自動ホワイトバランス、及び自動焦点等のハードウェア支援統計を含む。カメラ１１０５からの統計１１０７は自動露出エンジン１１０９に提供され、自動露出エンジン１１０９は、カメラをどのようにグループ化するかを決定し、それらを連続フィードバックループにグループ化する。この特定の画像処理システム状態１１００において、カメラ１は、自動露出エンジン１１０９の異なるインスタンスの第１のインスタンス、即ち自動露出エンジン１によって、第１の露光／利得設定に設定され、一方、カメラ２～４は、自動露出エンジン１１０９の異なるインスタンスの第２のインスタンス、即ち、自動露出エンジン２によって第２の露光／利得設定を持つように設定される。第２の露光／利得設定は第１の露光／利得設定とは異なる。幾つかの例において、各自動露出エンジン１１０９（例えば、自動露出エンジン１及び自動露出エンジン２）は、システムオンチップ（ＳｏＣ）（例えば、図１のＳｏＣ１０２内のＩＳＰ１０４、図２のＳｏＣ２０２内のＩＳＰ２０４、及び／又は図３のＳｏＣ３０２内ＩＳＰ３０４）内に埋め込まれた画像信号プロセッサ（ＩＳＰ）によって実行されているソフトウェアモジュールのインスタンスである。サラウンドサウンドビューシステムは、カメラ１～４によって測定される場合に、典型的に、全体設定が高ダイナミックレンジを有するシチュエーションにおける画像処理システム状態１１００にある。カメラ１はカメラ２～４とは異なる露光／利得設定を備える異なるグループに割り当てられるので、画像調和を均衡させる一方で、結果の合成画像（例えば、図１の描画された合成画像１１０、図３の描画された合成シーン画像３０８、及び／又は図６の描画された合成画像６００）に対して合理的なダイナミックレンジが達成される。

【0059】

図１２は、１つのカメラが画像処理システムの他のカメラとは異なる露光／利得設定を持つように設定される高ダイナミックレンジ設定を観察する４つのカメラを備える画像処理システムの例示の合成画像出力１２００を図示する。図１２は、図１１の例示の画像処理システム状態１１００から生成される例示の画像を図示する。図１２に示される例示の合成画像出力１２００において、カメラの３つは、シーンの相対的に暗い部分を観察しているが、車の前方部分のカメラは、シーンの相対的に明るい部分を観察している。車の前方に位置するカメラは、画像領域１２１１を観察している。図１２において、図１１に示される画像処理システム状態１１００に従って合成画像出力１２００において合理的なダイナミックレンジを達成するために、前方カメラは、シーンにおいて他の３つのカメラとは異なるグループに割り当てられている。特に、画像領域１２１１を観察している前方カメラは、第１のグループに割り当てられて第１の露光／利得設定を持つように設定されるが、他の３つのカメラは、第２のグループに割り当てられて第１の露光／利得設定とは異なる第２の露光／利得設定を持つように設定される。前方カメラを残りの３つのカメラとは異なるグループに割り当てることによって、画像領域１２０１（丸で囲まれた箇所）及び画像領域１２０３（丸で囲まれた箇所）におけるシームラインの存在を均衡させている一方で、画像領域１２１１における道路標示が一層はっきりと見える。前方カメラが残りのカメラ（第２のグループ）と同じグループに割り当てられた場合、合成画像出力１２００は、画像領域１２０１及び画像領域１２０３にシームラインを示さないであろうが、前方カメラは露出過多になり得、画像領域１２１１は明るくなり過ぎ、道路の詳細がなくなる。図１２は、従って、画像調和に比べてダイナミックレンジが有利であるシナリオを表す。

【0060】

図１３は、ヒューリスティックを用いてカメラを動的にグループ化することによって、画像処理システム（例えば、図１の画像処理システム１００、図２の画像処理システム２００、及び／又は図３の画像処理システム３００）を実装するための例示の方法である。方法１３００は、例えば、図１の画像処理システム１００、図２の画像処理システム２００、及び／又は図３の画像処理システム３００等の画像処理システムによって実施される。１３０２で、各カメラの視野照度及び／又は色温度は、図１の画像信号プロセッサ（ＩＳＰ）１０４、図２のＩＳＰ２０４、及び／又は図３のＩＳＰ３０４等の画像信号プロセッサ（ＩＳＰ）に転送するため統計エンジン（例えば、図１の統計エンジン１０６及び／又は図２の統計エンジン２０６）によって推定される。幾つかの例において、各カメラの視野照度だけが推定されるか或いは各カメラの色温度だけが推定される。幾つかの例において、各カメラの視野照度及び／又は色温度を推定することは、各カメラの特定の時間期間にわたる平均の視野照度及び／又は色温度を推定することを含む。

【0061】

１３０４で、カメラのグループ化が、閾値を下回る視野照度及び／又は視野色温度における差異を備えるカメラをともにグループ化することによって行われる。より具体的には、類似の視野照度及び／又は類似の視野色温度を備えるカメラが、スプレッドに応じて、ともにグループ化される。スプレッドは、２つ又はそれ以上のカメラの最小測定視野照度及び／又は色温度と２つ又はそれ以上のカメラの最大測定視野照度及び／又は色温度とを決定することによって計算される。カメラは、カメラ視野照度及び／又は色温度のスプレッドが閾値より上の場合に、或るグループ割り当て方法によって、異なるグループに割り当てられる。グループ割り当て方法は、カメラに対して分類された測定照度及び／又は色温度内の第１の測定照度及び／又は色温度と第２の測定照度及び／又は色温度とを有する連続するカメラ間で、最大測定照度及び／又は色温度ジャンプを決定することを含み、第１の測定照度及び／又は色温度は第２の測定照度及び／又は色温度より低い。第１の測定視野照度及び／又は色温度に等しい又はそれ以下の測定視野照度及び／又は色温度を備えるカメラは、第１のグループに割り当てられ、第２の測定視野照度及び／又は色温度に等しい又はそれ以上の測定視野照度及び／又は色温度を備えるカメラは第２のグループに割り当てられる。本明細書に用いられる場合、用語「ジャンプ」は、連続するカメラ（カメラが、最も暗い測定視野照度及び／又は色温度から最も明るい視野測定照度及び／又は色温度の順に分類されている場合）の測定視野照度及び／又は／又は色温度の間の差に対応する。グループ化方法は、例えば、図１のＩＳＰ１０４、図２のＩＳＰ２０４、及び／又は図３のＩＳＰ３０４等の（ＩＳＰ）によって行われる。閾値は、構成可能である。各グループにおけるカメラは、ＩＳＰによって、同じ露光／利得設定を有するように割り当てられる。

【0062】

幾つかの例において、所与のグループ内のカメラは、２つ以上のグループが形成されるように更にグループ化される。所与のグループ内のカメラの測定視野照度及び／又は色温度のグループスプレッドが閾値を超えるとき、ヒューリスティック例を用いて、所与のグループ内のカメラはサブグループ割り当て方法によって再グループ化される。サブグループ割り当て方法は、カメラに対して分類された測定照度及び／又は色温度内で、所与のグループ内の連続するカメラ間の最大測定照度及び／又は色温度ジャンプを決定することであって、連続するカメラは、そのカメラに対して分類された測定照度及び／又は色温度内の第１の測定視野照度及び／又は色温度と第２の測定視野照度及び／又は色温度とを有し、第１の測定視野照度及び／又は色温度は、第２の測定視野照度及び／又は色温度より低い、最大測定照度及び／又は色温度ジャンプを決定することと、第１の測定視野照度及び／又は色温度に等しい又はそれ以下である測定視野照度及び／又は色温度を備える所与のグループ内のカメラを所与のグループ（同じグループ）に割り当て、第２の測定視野照度及び／又は色温度に等しい又はそれ以上の測定視野照度及び／又は色温度を備える所与のグループ内のカメラを別のグループ（新しいグループ）に割り当てることとを含む。幾つかの例において、サブグループスプレッドは、所与のグループ内のカメラの最小測定視野照度及び／又は色温度と所与のグループ内のカメラの最大測定視野照度及び／又は色温度とを決定することによって計算される。各グループ内のカメラは、同じ露光／利得設定を持つように、ＩＳＰによって割り当てられる。幾つかの例において、サブグループ内のジャンプが閾値を超える場合、或るグループに既に割り当てられたカメラの更なるグループ化が適切である。幾つかの例において、サブグループ化はそのシステムの特徴である。

【0063】

幾つかの例において、カメラをグループ化する際、他のファクタが考慮される。動的グループ化は、カメラの以前のグループ化を考慮し、それは、以前のグループにおける第１のカメラが、後続の動的グループ化の繰り返しの間に、第１のカメラのグループ内の他のカメラと類似の照度及び／又は色温度を観察する例を活用する。以前のグループ化が将来のグループ化に影響を与える例として、車両２が車両１とは反対方向に移動し、車両２が車の「ブライトライト」設定をイネーブルして、車両１に近づいているような、車両１が別の車両２に近づいている例を考慮する。車両１上の前方カメラは、ほんの数秒間のみ車両２のブライトライトを観察するので、車両１の前方カメラを他の３つのカメラとは異なるグループに割り当てることなく、グループ化は、ブライトライト設定を観察する直前（例えば、ブライトライト設定を観察する５秒前）にカメラが同じグループに割り当てられていたことを考慮する。従ってカメラを異なるグループにグループ化することはない。この例では、５秒の時間閾値が実装される。また、この例において、カメラの以前のグループ化は、どのカメラをともにグループ化するかを選択するときに考慮する１つのファクタである。以前のグループ化を考慮することが有用である別の例は、履歴統計を活用することによる。カメラの以前のグループ化の履歴統計は、幾つかのカメラが、しばしば、ともにグループ化されることを示し得、従って、次のグループ化は、それを、次のグループ化を考慮するためのファクタ（例えば、加重平均の使用）として用い得る。更なる例として、グループ化はカメラの相対的位置を考慮し、そのため、グループ化は重なる視野（ＦＯＶ）を備えるカメラを考慮する（例えば、重なるＦＯＶを備えるカメラは同じグループに入れられる。これは、他のカメラと近傍のカメラは、類似の照度及び／又は色温度視野尺度を有しやすいというヒューリスティックを用いて複雑性を削減する制約である）。他の例において、グループ化は、重なっていない視野を備えるカメラをともにグループ化する。

【0064】

１３０６で、各グループに対する露出履歴が更新され、各グループに対する露光／利得設定ロックが更新される。グループ露出履歴及びロックは、グループ露出継続性、平滑度、及び高速応答を促進するために維持される。グループ露出履歴は、或る例において、急激で大きなシーン照度変化を検出するために用いられる。或る実装例において、照度及び／又は色温度差異に対する閾値に加えて、第２の閾値、即ち、時間閾値が含まれ、そのため、時間閾値を超える特定の時間期間の間に照度及び／又は色温度が観察される場合にカメラが再グループ化される。例えば、幾つかのシナリオにおいて、数分の間（車がトンネルを通過する間）にカメラの異なる照度及び／又は色温度が観察される。幾つかの例において、そのようなシナリオは、照度及び／又は色温度尺度が一時的であり、数分が経過した後に、履歴的に一層一貫した照度及び／又は色温度メトリックに復帰することを意味している。同様に、幾つかの例において、小規模及び／又は過渡のシーン変化による好ましくない露出調整を避けるためにグループ露出ロックが用いられる。幾つかの例において、特定の閾値時間に亘って、大規模なカメラ視野照度及び／又は色温度変化が観察されるとき、グループ露光／利得設定がロック解除される（変更される）。他の例において、特定の閾値時間に亘るカメラ視野照度及び／又は色温度変化が小さい（例えば、カメラの１つが一時的に樹木の影を観察した）とき、グループ露光／利得設定がロックされる（そのため、露光／利得設定は変化しない）。１３０８で、ＩＳＰは、各グループに対するカメラ露出を選択する。グループ露出がロック解除されると各カメラの新しい露出が選択される。しかしながら、各グループに対するカメラ露出を変更する前に、ＩＳＰによってグループ露出履歴及びロック情報が調べられる。幾つかの例において、グループ露出履歴は、グループ化によって考慮されるファクタである。これは、グループ化が、過去に１つの露出設定を有する場合、露出を設定の時間から新規の現象を観察する時間までの時間閾値を超えていない場合（上述のように、「ブライトライト」及びトンネル例を考慮する）、類似の露出設定が適切であると判定するからである。例えば、時間閾値を超えることに応答して、カメラの露出設定がロック解除され、それによって、カメラの露出が変更される。また、幾つかの例において、事前定義された視野照度又は色温度ターゲットに基づいて、新しい露出が選択される。幾つかの例において、統計的、エンジニアリング的、又は数学的モデルを用いてオンライン又はオフラインで、事前定義された視野照度又は色温度ターゲットが推定される。１３１０で、合成画像（例えば、図１の描画された合成画像１１０、図３の合成シーン画像３０８、及び／又は図６の描画された合成画像６００）がシステムオンチップ（ＳｏＣ）（例えば、図１のＳｏＣ１０２、図２のＳｏＣ２０２、及び／又は図３のＳｏＣ３０２）によって、ディスプレイ（例えば、図２のディスプレイ２２８及び／又は図３のディスプレイ端末３０６）に描画される。

【0065】

図１４は、図１の画像処理システム１００、図２の画像処理システム２００、及び／又は図３の画像処理システム３００等の画像処理システムにおいて、ヒューリスティックを用いる例示の動的カメラグループ化のグラフ１４００である。動的グループ化は、例えば、図１の画像信号プロセッサ（ＩＳＰ）１０４、ＩＳＰ２０４、又はＩＳＰ３０４によって実装される。カメラの推定された視野照度が提供される（この例において、照度は色温度の尺度も同様に含む）。グラフ１４００の横軸１４０２（この例において、横軸１は、「カメラ 暗から明」と表記されている）に沿って、カメラ（例えば、図１のカメラ１０５、図２のカメラ２０５、又は図５のカメラ５０５）は、暗から明の順に並べられている。カメラは、それらの照度に基づいて、縦軸１４０４（この例において、縦軸は、「照度」と表記されている軸である）に沿って垂直に表示されている。図１４において、縦軸は「照度」と表記されているが、幾つかの例において、カメラは、それらの色温度に基づいて或いは測定視野照度及び／又は測定視野色温度の組み合わせに基づいて分類される。表記「照度」はこのように、照度に加えて、色温度の表記を組み合わせている。これは、「カメラ 暗から明へ」が最低色温度から最高色温度の分類を組み合わせているのと同様である。カメラ視野照度のスプレッド（例えば、最高観察視野照度と最低観察視野照度との差）が事前定義された閾値より低い場合、カメラは、均一の露光／利得設定を備える１つのグループに割り当てられる。カメラの視野照度の差異が事前定義された閾値を超える場合、カメラの分類された視野照度における最高視野照度ジャンプ（デルタ）が決定される。図１３に関連して説明されるように、用語「ジャンプ」は、連続するカメラの測定視野照度及び／又は色温度の間の差に対応する（カメラが、最も暗い測定視野照度及び／又は色温度から最も明るい視野測定照度及び／又は色温度の順に分類されている場合）。この例において、及び一般性を失うことなく、分類された視野における最高視野照度ジャンプは測定視野照度Ｂ１及びＢ２（例えば、Ｂ２＞Ｂ１）を備える２つのカメラを含むと想定すると、それらのカメラは、Ｂ１に等しい又はそれ以下の測定視野照度を備えるカメラが１つのグループに割り当てられ、一方、Ｂ２に等しい又はそれ以上の測定視野照度を備えるカメラは、異なるグループに割り当てられるように、グループに割り当てられる。グラフ１４００において、照度ジャンプ１４１０は、グループ１ １４０６において最高視野照度を備えるカメラと、グループ２ １４０８において最低視野照度を備えるカメラとの間に示される。

【0066】

幾つかの例において、例えば、１３０４で、図１３に説明される方法を用いて、図４におけるカメラを２つのグループではなく３つのグループに例えば割り当てることによって、複数のジャンプが決定される。例として、グループ内のカメラの分類された視野照度内のカメラにおける最高照度ジャンプ（デルタ）が決定される。また、一般性を失うことなく、分類された視野における最高視野照度ジャンプは、測定視野照度Ｂ２及びＢ３（例えば、Ｂ３＞Ｂ２）を備える同じグループ内の２つのカメラを含むことを想定する。その結果、Ｂ２に等しい又はそれ以下の測定視野照度を備えるカメラは１つのグループに割り当てられ、一方、Ｂ３に等しい又はそれ以上の測定視野照度を備えるカメラは異なるグループに割り当てられる。

【0067】

図１５は、或る例において、４つのカメラがループ構造に配置される場合、画像処理システム（例えば、図１の画像処理システム１００、図２の画像処理システム２００、及び／又は図３の画像処理システム３００）内の全数探索を用いて、カメラが検討及びグループ化される異なる手法を示す。グループ化は、例えば、図１のＩＳＰ１０４、図２のＩＳＰ２０４、及び／又は図３のＩＳＰ３０４によって行われる。図１５に図示される例によって示されるグループ化のタイプはカメラグループ化を制約し、そのため、近傍のカメラのみがともにグループ化される（なお、この制約は、幾つかの例において、緩和されている）。４つのカメラを備える例において、５つの異なるシナリオが存在する。即ち、４つのカメラを含む１つのグループ１５０２、各グループに１つのカメラを備える４つのグループ１５０４、２＋２グループ化１５０６（２つの可能な手法）、３＋１グループ化
１５０８（４つの可能な手法）、及び２＋１＋１グループ化１５１０（４つの可能な手法）である。このように、この例において、カメラがグループ化されるために、合計１２の異なる手法がある。網羅的な動的グループ化方法は、１２の可能な手法の各々に対してコスト関数を計算し、図１６、図１７、及び図１８に関連して下記に説明するように、コストを削減するためカメラをグループ化する。

【0068】

図１６は、全数探索を用いてカメラを動的グループ化することによって画像処理システム（例えば、図１の画像処理システム１００、図２の画像処理システム２００、及び／又は図３の画像処理システム３００）を実装するための例示の方法１６００である。全数探索動的カメラグループ化は、例えば、図１のＩＳＰ１０４、図２のＩＳＰ２０４、及び図３のＩＳＰ３０４等の画像信号プロセッサ（ＩＳＰ）によって行われる。網羅的な動的グループ化方法は、カメラがグループ化される手法の各々に対してコスト関数を計算し、コストを削減するためカメラをグループ化する。これに関連し、コストは、ダイナミックレンジ維持を有利にして、画像調和をどの程度諦められているか、又はその逆を反映する。１６０２で、統計エンジン（例えば、図１の統計エンジン１０６及び／又は図２の統計エンジン２０６）は、ＩＳＰに転送するため、各カメラの視野照度及び／又は色温度を推定する。幾つかの例において、各カメラの視野照度のみが推定される、或いは、各カメラの色温度のみが推定される。幾つかの例において、各カメラの視野照度及び／又は色温度を推定することは、各カメラの、特定の時間にわたる平均視野照度及び／又は色温度を推定することを含む。カメラ画像照度は、カメラ露出及び視野の照度によって影響される。同じシーンにおいて、幾つかの例では、カメラ露出が高くなると、その結果、画像照度が高くなる。しかしながら、現在のカメラ露出及び現在の画像照度は、システムのパラメータである。従って、幾つかの例において、視野（シーン）照度は、現在のカメラ画像照度及び／又は現在のカメラ露出から（例えば、ほぼ線形の関係を想定することによって）推定される。露出と画像色温度は実質的に独立している。また、説明したように、色温度は、そのシーンにおける光源の色を指す。従って、２つのカメラ視野が、有意に異なる色温度を観察する場合、幾つかの例において、ＩＳＰ（図１のＩＳＰ１０４、図２のＩＳＰ２０４、及び／又は図３のＩＳＰ３０４等）は、色差を低減するように異なるホワイトバランスゲインを適用する。

【0069】

１６０４で、複数のカメラがグループ化される複数の手法が定義される。図１５に示される例において、１２の可能な手法がある（同じグループにおけるカメラが近接している場合）。しかしながら、１６０４では、幾つかの例において、付加的な制約が追加され、そのため、可能な手法のサブセットが除外される（例えば、各グループにおいて１つのカメラを備える４つのグループ１５０４等のグループが除外される）。１６０６で、複数のグループ化の手法に対する１つ又は複数のコスト関数が定義される。幾つかの例において、コスト関数は、グループ内の不均一な照度及び／又は色温度に対するコスト、及びグループを横断する低照度及び／又は色温度変化に対するコストを比較検討する。一例において、グループ化に対する１つ又は複数のコスト関数は、グループ内の不均一な照度及び／又は色温度に対するコストを定義する第１のコスト関数、及びグループを横断する照度及び／又は色温度変化に対するコストを定義する第２のコスト関数を含む複数のコスト関数である。１６０８で、カメラがグループ化される複数の手法（例えば、７通りのグループ化）の各々に対するコストは１つ又は複数のコスト関数に基づいて計算される。

【0070】

１６１０で、ＩＳＰは、コストを削減するため、カメラの各々を１つ又は複数のグループにグループ化する。一例として、各カメラのためのグループを選択するために、ＩＳＰは、コストを最低レベルまで削減するグループ化配置（例えば、最低コストグループ化）を選択する。また、グループ化を変更するための閾値が定義される。コストの削減が閾値より大きい場合、ＩＳＰは、コストを削減するため、カメラのグループ化を変更する。コストの削減が閾値未満である場合、ＩＳＰは、カメラの現在のグループ化を変更しないことを選択する。幾つかの例において、コストを削減するためのグループ化は、カメラの以前のグループ化（例えば、上述の「ブライトライト」例を参照）、グループ露出履歴（例えば、上述の「トンネル」例を参照）、及び／又はカメラの相対的位置（例えば、重ならない視野を備えるカメラは、事実上、同じグループに属する）に基づく。１６１２で、ＩＳＰは、各グループに対するカメラ露出を選択する。グループの所与の１つ内の１つ又は複数のカメラは同じカメラ露出を有する。１６１４で、合成画像（例えば、図１の描画された合成画像１１０、図３の合成シーン画像３０８、及び／又は図６の描画された合成画像６００）はディスプレイ（例えば、図２のディスプレイ２２８及び／又は図３のディスプレイ端末３０６）に描画される。

【0071】

幾つかの例において、合成画像は、図１の幾何学変換エンジン１０８及び／又は図２の幾何学変換エンジン２０８等の幾何学変換エンジンによって描画される。他の例において、合成画像は、図１のＳｏＣ１０２及び／又は図２のＳｏＣ２０２等のＳｏＣによって描画される。本明細書において開示されるシステム及び方法は、画像事前処理が１つのＳｏＣにおいて生じるが、実際の画像合成は別のＳｏＣにおいて生じるという技術的解決策に適用する。このように、本明細書において開示されるシステム及び方法は、画像合成が同じ部分又はシステムにおいて生じるか否かに関係なく、同じグループ内のカメラに露光／利得設定を割り当てるために動的グループ化が用いられる画像事前処理に適用する。同時に、本明細書に開示されるシステム及び方法は、画像事前処理及び動的グループ化及び画像合成が同じＳｏＣにおいて生じる技術的解決策に適用する。

【0072】

図１７は、コストを、図面１７０６に図示される４つのカメラ画像処理システムにおいて提示される１つのグループにおける照度及び／又は色温度の比の関数として表示するグラフ１７００を図示する。従って、少なくとも一例において、グラフ１７００は、図面１７０６に対するコスト関数の出力を表す。図１７に示されるコスト関数は、或る例において、図１６の１６０６で定義される１つ又は複数のコスト関数である。特に、図１６に関連して説明したように（１６０６を参照）、グループ内の不均一な照度及び／又は色温度に対するコストは、例えば、全体のコストを計算する（又は全体のコストのファクタとする）ために用いられる。カメラのグループ化は全数探索ステージの間に与えられる。例えば、図面１７０６において、カメラの２つ（例えば、Ｃ０及びＣ１）は１つのグループに属するが、他の２つのカメラ（例えば、Ｃ２及びＣ３）は別のグループに属する。

【0073】

本例において、それぞれ、カメラＣ０、Ｃ１、Ｃ２、及びＣ３の視野照度／色温度がＢ０、Ｂ１、Ｂ２、及びＢ３であると推定する。（Ｃ２、Ｃ３）グループの場合、最も明るい／最高色温度視野対最も暗い／最低色温度視野の比ｒは式２によって与えられる。
式２：ｍａｘ（Ｂ２，Ｂ３）／ｍｉｎ（Ｂ２，Ｂ３）＝ｒ

【0074】

幾つかの例において、グループにおいて一層多くのカメラがある場合、比ｒは、式２に類似する手法で定義される。グループが単一のカメラを有する場合、この比は１であると定義される。ほぼ１（例えば、２未満）の低い比は、グループにおける均一の照度及び／又は色温度を示唆し、それはカメラがほぼ同じグループにあることを示唆する。高い比、即ち、４（例えば）に等しい又はそれ以上である比は、グループにおける不均一な照度を示唆し、カメラが同じグループ内にあることはほぼない。幾つかの例において、１つのグループ内の不均一な照度及び／又は色温度に対するコスト１７０４は、比１７０２の関数として定義され、それは、図１７に示されるように、１付近の小さい比の場合は０に近く、より大きい比値の場合は増大する。幾つかの例において、コスト関数の特定の形状は経験的に決定される。幾つかの例において、コスト関数に対する線形関数又は他の高次関数が定義される。また、幾つかの例において、グループの全体コストは、各グループのコストの合計である。また、図１７に示されるコスト関数は、照度尺度のみ又は色温度尺度のみを含むように拡張可能である。

【0075】

図１８は、コスト１８０４を、図１８０６に図示される４つのカメラ画像処理システムにおいて提示される、グループを横断する低照度及び／又は色温度変化の比１８０２の関数として表すグラフ１８００を図示する。従って、少なくとも一例において、グラフ１８００は、図１８０６に対するコスト関数の出力を表す。図１８に示されるコスト関数は、或る例において、図１６の１６０６で定義される１つ又は複数のコスト関数である。図１６（１６０６を参照）に関連して説明されるように、例えば、全体のコスト（又は全体のコストのファクタ）を計算するために、グループを横断する低照度及び／又は色温度変化に対するコストが用いられる。

【0076】

図１８は、グループを横断する低照度及び／又は色温度変化に対するコストをどのように定義するかの例を示す。本例の場合、４カメラ画像処理システムが実装されていることが想定される。カメラのグループ化は図１８０６に示される。この例において、カメラの２つ（例えば、Ｃ０及びＣ１）が１つのグループに属し、他の２つのカメラ（例えば、Ｃ２及びＣ３）が別のグループに属すること、及び、それぞれ、カメラの視野照度／色温度はＢ０、Ｂ１、Ｂ２、及びＢ３であることが更に想定される。Ｃ０とＣ３との間にグループ境界が存在する。幾つかの例において、カメラ間のこの境界の照度／色温度比は、式３によって定義される。
式３：ｍａｘ（Ｂ０／Ｂ３，Ｂ３／Ｂ０）＝ｒ

【0077】

ほぼ１（又は例えば、２未満）である低い比は、境界を横断する低い照度及び／又は色温度変化を示唆する（例えば、Ｃ０及びＣ３は類似の視野照度及び／又は色温度を有し、恐らく同じグループにあるべきである）。高い比は、境界を横断する高い照度及び／又は色温度変化を示唆する（例えば、Ｃ０及びＣ３は、大きい視野照度及び／又は色温度差を有し、恐らく異なるグループにあるべきである）。幾つかの例において、１つのグループ境界のための低い照度及び／又は色温度に対するコスト関数は、上記の比の関数として定義され、図１８に示されるように、ほぼ１の小さい比１８０２の場合は大きく、大きい比値の場合は、ほぼ０まで小さくなる。図１８に示されるように、比１８０２が増大する（グループ間の照度／色温度における差が大きくなることを意味する）につれて、コスト１８０４（グループを異なるように維持するためのシステムに対するコスト）は減少し、またその逆も同様である。幾つかの例において、関数の固有の形状は経験的に決定される。幾つかの例において、コスト関数に対する線形関数又は他の一層高次の関数が定義される。また、幾つかの例において、コストは、グループ境界の領域に対するグループを横断する低い照度及び／又は色温度変化に対するコストの合計として定義される。また、図１８に示されるコスト関数は、照度尺度のみ、又は色温度尺度のみを含むように拡張可能である。

【0078】

特許請求の範囲内で、説明した実施形態における変更が可能であり、他の実施形態が可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】